티케이

블로그를 기록 용도로 사용하기로 생각을 바꿨습니다. 그래서 현재 메모 용도로 사용하고 있는 Notion으로 주소를 변경합니다. https://www.notion.so/sshkim/670b436a56f14687987bbca5d6d45551

참조: http://blog.acronym.co.kr/312http://12bme.tistory.com/154 몽고DB에 대해서 알아보다 MapReduce 개념에 대해 다시 되짚고자 찾아서 정리한다. 맵리듀스: 대용량 데이터를 빠르고 안전하게 처리하기 위해 만들어짐. 맵리듀스 구성: 대용량 파일을 한번에 처리하기 어렵기 때문에, 적절한 크기로 잘라낸 후 처리한다. (하지만 스플릿의 크기가 너무 작을 경우, 오버헤드가 발생할 수 있기 때문에 하둡에서 권장하는 크기는 64MB 이상)맵(Map) 분산 저장된 로컬 서버에서 일어나는 작업Key/Value 상의 형태로 데이터를 읽습니다.리듀스(Reduce)하둡에서 최초 입력 파일은 Split하여 HDFS에 분산 저장.MappingReduce 합치는 작업 역할파티셔..

두가지 구조에 대한 장, 단점 그리고 비용에 대해 알아봤다. 구조(Lambda는 두가지 구조에서 동일하게 사용하는 제품이므로 비교 대상에서 제외한다.)Lambda-Kinesis-Firehose-S3 Lambda-DynamoDB Storage에 따른 장/단점구조장점단점Kinesis-Firehose-S3비용이 싸다.추후에 데이터를 분석할 때, DynamoDB보다 유리하다. (현재 S3에서 분석하는 툴이 AWS에 많기 때문)서비스를 위해 따로 DB(또는 서비스 공간)을 마련해서 가공을 해야 된다.DynamoDB데이터를 따로 서비스를 위해 가공할 필요가 없다. (쿼리를 통해 서비스에 바로 사용할 수 있다.)비용이 많이 든다.비용가정초당 600개 데이터를 한달간 저장 했을 때 비용을 계산한다.용량은 대략 278G..