본문 바로가기 메뉴 바로가기

티케이

프로필사진
  • 글쓰기
  • 관리
  • 태그
  • 방명록
  • RSS

티케이

검색하기 폼
  • 분류 전체보기 (130)
    • 컴퓨터 과학 (6)
      • Network (2)
    • FrontEnd (4)
      • JavaScript (4)
    • BackEnd (53)
      • Java (20)
      • Python (24)
      • Spring (9)
    • OS (4)
      • Linux (2)
      • bash (2)
    • DB (6)
      • MySQL|MariaDB (6)
    • Server (10)
      • AWS (6)
      • Web (4)
    • CI (8)
      • Git (1)
      • Maven|Gradle (5)
      • Docker (2)
    • BigData (10)
      • Spark (4)
      • hadoop (1)
      • etc (2)
    • AI (19)
      • Tensorflow (19)
    • 기타 (8)
      • Architecture (3)
      • Methodology (2)
      • 알고리즘 (1)
      • 메모 (1)
  • 방명록

BigData/hadoop (1)
Hadoop 개념 및 구조

우선 기본적인 하둡의 개념에 대해 아주 간략히 정리해보고자 한다. 하둡 소개: 빅데이터 에코시스템들의 대부분은 하둡을 위해 존재하고 하둡에 의존하여 발전하고 있다.기능:1. 대용랑 데이터를 분산 저장2. 분산 저장된 데이터를 분석공식 홈페이지: http://hadoop.apache.org주요 구성 요소:1. DataNode: 블록(64MB or 128MB) 단위로 분할된 대용량 파일들이 DataNode의 디스크에 저장 및 관리2. NameNode: DataNode에 저장된 파일들의 메타 정보를 메모리상에서 로드 관리3. EditsLog: 파일들의 변경(수정, 삭제 등) 이력 정보가 저장된 로그 파일4. FsImage: NameNode의 메모리상에 올리와 있는 메타 정보를 스냅샵 이미지로 만들어 생성한 파..

BigData/hadoop 2017. 6. 24. 17:16
이전 1 다음
이전 다음
공지사항
최근에 올라온 글
링크
TAG
  • spring
  • mybatis
  • mysql
  • memory
  • spark
  • 점프투파이썬
  • AI
  • 머신러닝
  • Maven
  • executor
  • BigData
  • web
  • NIO
  • python
  • Configuration
  • 중앙정보처리학원
  • Java
  • javascript
  • 텐서플로우
  • Error
  • ML
  • 모두의딥러닝
  • API
  • AWS
  • TDD
  • serverless
  • Gradle
  • Docker
  • tensorflow
  • 파이썬
more
«   2025/05   »
일 월 화 수 목 금 토
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31
글 보관함

Blog is powered by Tistory / Designed by Tistory

티스토리툴바