티케이

블로그를 기록 용도로 사용하기로 생각을 바꿨습니다. 그래서 현재 메모 용도로 사용하고 있는 Notion으로 주소를 변경합니다. https://www.notion.so/sshkim/670b436a56f14687987bbca5d6d45551

참조: http://blog.acronym.co.kr/312http://12bme.tistory.com/154 몽고DB에 대해서 알아보다 MapReduce 개념에 대해 다시 되짚고자 찾아서 정리한다. 맵리듀스: 대용량 데이터를 빠르고 안전하게 처리하기 위해 만들어짐. 맵리듀스 구성: 대용량 파일을 한번에 처리하기 어렵기 때문에, 적절한 크기로 잘라낸 후 처리한다. (하지만 스플릿의 크기가 너무 작을 경우, 오버헤드가 발생할 수 있기 때문에 하둡에서 권장하는 크기는 64MB 이상)맵(Map) 분산 저장된 로컬 서버에서 일어나는 작업Key/Value 상의 형태로 데이터를 읽습니다.리듀스(Reduce)하둡에서 최초 입력 파일은 Split하여 HDFS에 분산 저장.MappingReduce 합치는 작업 역할파티셔..

두가지 구조에 대한 장, 단점 그리고 비용에 대해 알아봤다. 구조(Lambda는 두가지 구조에서 동일하게 사용하는 제품이므로 비교 대상에서 제외한다.)Lambda-Kinesis-Firehose-S3 Lambda-DynamoDB Storage에 따른 장/단점구조장점단점Kinesis-Firehose-S3비용이 싸다.추후에 데이터를 분석할 때, DynamoDB보다 유리하다. (현재 S3에서 분석하는 툴이 AWS에 많기 때문)서비스를 위해 따로 DB(또는 서비스 공간)을 마련해서 가공을 해야 된다.DynamoDB데이터를 따로 서비스를 위해 가공할 필요가 없다. (쿼리를 통해 서비스에 바로 사용할 수 있다.)비용이 많이 든다.비용가정초당 600개 데이터를 한달간 저장 했을 때 비용을 계산한다.용량은 대략 278G..

상세한 내용: https://blog.michaelyin.info/web-scraping-framework-review-scrapy-vs-selenium/ConclusionSo which one is better web scraping framwork? There is no solid answer, the answer depends heavily on the actual situation. Below is a quick reference table. FrameworkSeleniumScrapyJavascript SupportSupport javascript very wellIt is time consuming to inspect and develop spider to simulate ajax/pjax re..

람다를 사용하다 발생한 문제점 그리고 미처 발견하지 못했던 특징들을 기록하기 위한 페이지로 람다의 기본적인 특징은 다음의 링크를 참조하면 될 것 같다. 그리고 이 페이지에 대한 정보는 모두? 공식 문서를 참조했다.https://docs.aws.amazon.com/ko_kr/lambda/latest/dg/welcome.html Q. 람다의 구조(동시성)A. 람다는 기본적으로 1개의 Worker를 가지고 있는 Container 개념이다. 예를 들어 하나의 람다 함수에 동시성 예약이 1개로 설정되어있다면, 해당 함수는 1개 이상의 업무는 할 수 없다.동시성 개수: 한 시점(ms)을 기준으로 실행 가능한 개수.동시성 제한: AWS Support의 요청을 통해 확장은 가능하나 기본적으로 하나의 계정에는 1000개..

소개: pip 라이브러리로 cookiecutter라는게 있다.(cookiecutter에 대한 내용 https://github.com/audreyr/cookiecutter) django와 vue로 초기 설정을 할 때, 해당 라이브러리(https://github.com/vchaptsev/cookiecutter-django-vue)를 이용하여 설정을 해보려고 한다.(해당 라이브러리는 cookiecutter를 base로하여 django와 vue를 사용할 수 있도록 설정하는 라이브러리다.) 순서cookiecutter를 설치한다. (pip install cookiecutter)cookiecutter url을 이용하여 원하는 라이브러리를 불러온다.ex) cookiecutter gh:vchaptsev/cookiecut..

참조: https://wamp-proto.org/http://autobahn.readthedocs.io/en/latest/wamp/programming.html WAMP는 routed protocol이다. 예제:Browser → (N) BrowserBrowser → (N) ServerServer → (N) BrowserServer → (N) Server.... 기능:비동기 RPC(Remote Procedure Calls)Publish & Subscribe 구조:publisher → router(WAMP) → subscriber

참조:http://epicdevs.com/17 위 참조 사이트의 내용을 간략하게 정리하였다. 구성Broker 는 Topic 기준으로 메세지를 관리.Producer 는 Topic의 메세지를 생성하고, Broker에 전달Consumer 는 Broker가 쌓아둔 Topic을 가져가서 처리하게 된다.Topic 은 업무 또는 메세지. 차이점(장점)다수의 메세지를 batch 형태로 처리 가능. (TCP/IP 라운드트립 횟수를 줄인다.)TCP 기반의 프로토콜 사용.(오버헤드 감소)분산 시스템으로 설계 (분산 및 복제가 다른 메시징 시스템에 비해 손쉽다)Transactions Per Second(TPS)가 우수하다.파일시스템에 저장데이터의 영속성이 보장파일시스템에 저장하여 메세지(데이터)가 많아도 성능이 크게 저하가 ..

참조: https://stackoverflow.com/questions/3798835/understanding-get-and-set-and-python-descriptors The descriptor is how Python's property type is implemented. A descriptor simply implements __get__, __set__, etc. and is then added to another class in its definition (as you did above with the Temperature class). For example:temp=Temperature() temp.celsius #calls celsius.__get__Accessing the proper..

참조: https://wikidocs.net/1744 5) 클래스 변수와 인스턴스 변수6.4절에서는 클래스의 네임스페이스와 인스턴스의 네임스페이스, 그리고 그 둘 사이의 관계에 대해 배웠습니다. 이번 절에서는 초보자들이 많이 어려워하는 개념 중 하나인 클래스 변수(class variable)와 인스턴스 변수(instance variable)에 대해 살펴보겠습니다.다음은 은행 계좌를 클래스로 표현한 것입니다. Account 클래스에는 생성자와 소멸자가 있습니다. 생성자(__init__)가 클래스의 인스턴스가 생성될 때 자동으로 호출되는 함수라면 소멸자(__del__)는 클래스의 인스턴스가 소멸될 때 자동으로 호출되는 함수입니다.>>> class Account: num_accounts = 0 def __in..