티케이

메이븐 Scope 기능에 대해 설명된 블로그가 있어 첨부한다. 출처: http://homo-ware.tistory.com/43 * compile : 기본영역으로 아무것도 지정되지 않은 경우 사용됨. compile 의존관계에 있는 것은 프로젝트의 모든 클래스에서 사용가능함. 또한, 이와 같은 의존관계는 의존관계에 있는 프로젝트에 포함됨. * provided : compile 과 매우 유사히지만, 실행시 의존관계를 제공하는 JDK나 컨테이너에 대해서 적용됨. 예를 들어, JEE에 대한 웹 어플리케이션을 만드는 경우, 웹 컨테이너가 서블릿 API와 Java EE API관련 클래스들을 제공하기 때문에 provided 영역으로 의존관계가 세팅되어야 함. 이 영역은 컴파일과 테스트의 클래스패스 용으로 사용되며, 자..

출처: http://ecogeo.tistory.com/89 자바에서 웹어플리케이션은 JEE 스펙에서 정의한 디렉토리 구조를 갖는 war 파일의 형태로 컨테이너에 배포됩니다. 메이븐에서는 웹어플리케이션을 package 단계에서 기본적으로 war 파일로 포장합니다. 그런데 꼭 war라는 아카이브 파일로만 배포할 수 있는 건 아닙니다. maven-war-plugin 플러그인에는 war:war 골뿐만 아니라 war:exploded나 war:in-place도 있습니다. 웹어플리케이션을 배포하기 위한 패키징 유형을 3가지로 나눌 수 있습니다. 1. package(archive) : 아카이브(war,ear) 파일로 배포 - 아카이브는 결국 WAS에 의해 압축이 풀림 - 파일이 많을 경우 압축해제 시간 오래걸릴 수 있..

웹 서버(Apache, Nginx): 정적인 컨텐츠(html...) + http 웹 컨테이너(Tomcat): 동적인 컨텐츠(jsp…) 출처: http://knight76.tistory.com/entry/Nginx Nginx 특징비동기NIO 방식적은 메모리로 높은 효율기본적으로 Apache에서 지원하는 기능 지원SSLLoad balancingGzipUrl rewritingwebdav등….

참조: http://spark.apache.org/docs/latest/programming-guide.html | http://pubdata.tistory.com/38 Transformation 함수scala> val rdd1 = sc.parallelize(List("coffee","coffee","tea","milk"))rdd1: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[9] at parallelize at :27 scala> val rdd2 = sc.parallelize(List("coffee","cola","water"))rdd2: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[10..

출처: http://knight76.tistory.com/entry/spark%EC%9D%98-mapValuesreduceByKey-%EC%98%88%EC%8B%9C sparkContext에 mapValues와 reduceByKey 예시. val inputrdd = sc.parallelize(Seq(("arth",10), ("arth", 20), ("samuel", 60), ("jack", 65))) val mapped = inputrdd.mapValues(x => 1);mapped.collect.foreach(println) val reduced = mapped.reduceByKey(_ + _)reduced.collect.foreach(println) mapValues는 map의 값을 1로 변경한다.r..

선택 정렬 : 선택 정렬(選擇整列, selection sort)은 제자리 정렬 알고리즘의 하나로, 다음과 같은 순서로 이루어진다. 비교하는 것이 상수 시간에 이루어진다는 가정 아래, n개의 주어진 리스트를 이와 같은 방법으로 정렬하는 데에는 Θ(n2) 만큼의 시간이 걸린다. 주어진 리스트 중에 최솟값을 찾는다. 그 값을 맨 앞에 위치한 값과 교체한다(패스(pass)). 맨 처음 위치를 뺀 나머지 리스트를 같은 방법으로 교체한다. 소스 void selectionSort(int[] list) { int indexMin, temp; for (int i = 0; i

참조: http://bcho.tistory.com/1119 Bounded Data: 데이터가 저장되고 변경이 없는 데이터. Unbounded Data: 데이터가 정해져 있지 않고 계속 추가되는 데이터. 처리방법 배치: 일정 시간 단위로 모은뒤 처리. 스트리밍 처리: 실시간으로 처리 에로사항: 데이터가 시스템에 도착하는 순서가 일정하지 않으므로, 처리하는 것이 배치에 비해 복잡함. 종류 Time agnostic: 들어오는 데로 처리하는 방식 Filtering: 특정데이터만 필터링 해서 저장하는 방식 Inner joins: 값을 서로 비교하여 매칭 시켜 값을 구하는 방식 Approximation algorithms: 근사치로 값을 구하는 방식. 사용하는 알고리즘 종류로는 K-means나 Approximate..

참조: https://docs.oracle.com/javase/8/docs/api/java/time/LocalDate.html https://docs.oracle.com/javase/8/docs/api/java/time/format/DateTimeFormatter.html#patterns http://d2.naver.com/helloworld/645609 http://kwseo.github.io/java/2016/02/10/java8-about-date-2.html 대표적인 클래스 이름 설명 LocalDate 날짜만을 표현하는 클래스(년, 월, 일 등) 시간 제외. LocalTime 시간만을 표현하는 클래스(시, 분, 초 등) 날짜 제외. LocalDateTime 날짜와 시간을 모두 표현하는 클래스 Zo..

MyISAM InnoDB 성능 읽기 작업이 빠름 쓰기 작업이 느림 용량이 작음 읽기 작업이 느림 쓰기 작업이 빠름 용량이 큼 특징 비-트랜잭션-세이프 무결성이 보장되지 않음 테이블 레벨 락(Table-level Lock) 트랜잭션 무결성 보장 외래키 생성 가능 동시성 제어 가능 행 단위 락(Row-level Lock)

참조: http://bcho.tistory.com Spark의 기능 및 장점 분산 처리 실시간 스트리밍 머신러닝 다양한 언어 지원 Spark의 스택 구조 인프라 계층 Standalone Scheduler(기본) Yarn(하둡) Mesos(Docker 또는 가상화 플랫폼) 스파크 코어 메모리 기반의 분산 클러스터 컴퓨팅 스파크 라이브러리 빅데이터를 SQL로 핸들링하는 Spark SQL 실시간 스트리밍 Spark Streaming 머신러닝 MLlib 그래프 데이터 프로세싱 GraphX 스파크 기본 원리 및 API 실제로 파일이 읽혀지는 시기는 액션이 수행(count)되는 순간이다. (sc.textFile이 아니다) 이유는 메모리는 한정되어 있으므로 filter등의 동작에 의해, 데이터를 정재 후 올리는 경우..