MapReduce란?
참조: http://blog.acronym.co.kr/312http://12bme.tistory.com/154 몽고DB에 대해서 알아보다 MapReduce 개념에 대해 다시 되짚고자 찾아서 정리한다. 맵리듀스: 대용량 데이터를 빠르고 안전하게 처리하기 위해 만들어짐. 맵리듀스 구성: 대용량 파일을 한번에 처리하기 어렵기 때문에, 적절한 크기로 잘라낸 후 처리한다. (하지만 스플릿의 크기가 너무 작을 경우, 오버헤드가 발생할 수 있기 때문에 하둡에서 권장하는 크기는 64MB 이상)맵(Map) 분산 저장된 로컬 서버에서 일어나는 작업Key/Value 상의 형태로 데이터를 읽습니다.리듀스(Reduce)하둡에서 최초 입력 파일은 Split하여 HDFS에 분산 저장.MappingReduce 합치는 작업 역할파티셔..
BigData
2019. 3. 16. 19:29
공지사항
최근에 올라온 글
링크
TAG
- ML
- BigData
- AWS
- Configuration
- Gradle
- web
- Java
- spark
- spring
- 머신러닝
- mybatis
- Error
- executor
- TDD
- mysql
- API
- AI
- 모두의딥러닝
- tensorflow
- javascript
- memory
- 점프투파이썬
- python
- 텐서플로우
- 중앙정보처리학원
- Maven
- NIO
- 파이썬
- Docker
- serverless
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
글 보관함