데이터 스트리밍 개념
참조: http://bcho.tistory.com/1119 Bounded Data: 데이터가 저장되고 변경이 없는 데이터. Unbounded Data: 데이터가 정해져 있지 않고 계속 추가되는 데이터. 처리방법 배치: 일정 시간 단위로 모은뒤 처리. 스트리밍 처리: 실시간으로 처리 에로사항: 데이터가 시스템에 도착하는 순서가 일정하지 않으므로, 처리하는 것이 배치에 비해 복잡함. 종류 Time agnostic: 들어오는 데로 처리하는 방식 Filtering: 특정데이터만 필터링 해서 저장하는 방식 Inner joins: 값을 서로 비교하여 매칭 시켜 값을 구하는 방식 Approximation algorithms: 근사치로 값을 구하는 방식. 사용하는 알고리즘 종류로는 K-means나 Approximate..
BigData/Spark
2017. 3. 28. 18:15
공지사항
최근에 올라온 글
링크
TAG
- spark
- spring
- serverless
- 모두의딥러닝
- Configuration
- python
- BigData
- executor
- AWS
- NIO
- Gradle
- javascript
- 점프투파이썬
- 파이썬
- Error
- ML
- API
- 머신러닝
- 텐서플로우
- AI
- mybatis
- Maven
- tensorflow
- TDD
- Java
- memory
- 중앙정보처리학원
- web
- mysql
- Docker
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
글 보관함