티케이

모두의 딥러닝Recurrent Neural Network강의-1이번 강의는 Recurrent Neural Network이다. RNN으로도 불리는 학습법은 시간 개념이 + 된 학습법이라고 생각하면 된다.보통 자연어 처리에서 많이 사용 되는 방법인데. 자연어를 이해할 때는 하나의 언어 만을 가지고는 판단할 수 없다. 이전에 무슨 단어가 나왔는지에 따른 합(이전 단어와 현재 단어)으로 해당 문장이 의미하는 문장을 이해 할 수 있다. 위의 이미지(왼쪽)를 보면 하나의 화살표가 계속 재귀 하는 걸 알 수 있다. 이것이 CNN과 같은 학습법과의 차이점이다. 위의 이미지를 보면, RNN 어떻게 학습이 되는지 알 수 있다.새로운 상태값은, 이전의 상태값과 입력값을 처리하는 함수를 통해 출력된다. 바닐라 RNN은 가장 ..

모두의 딥러닝Convolutional Neural Networks 강의-1 이번 강의는 영상 분석에서 많이 사용하는 CNN이다. CNN 강의 중 유명한 cs231n 강의에서 모든 자료는 발췌했다고 한다. 고양이에게 어떤 영상을 보여주고, 고양이 뇌를(뉴런) 분석하니, 특정 모양에서 특정 뉴런들이 반응하는 걸 확인하였다. 그걸 보고 똑같이 학습을 시켜 보자란 취지에서 착악된게 CNN 학습법이다. CNN이 학습하는 방법에 대해 나타낸 이미지이다. 우선 Convolution 한 후, ReLU를 한다. 이 작업을 반복하다, Pooling을 한다. 그리고 마지막으로 Fully Connected Layer를 만들어 Softmax 클래스로 분류한다. 물론, 어떻게 Layer 구조를 정하는지는 정해져 있지 않았다. 우..

모두의 딥러닝Neural Network 2: ReLU and 초기값 정하기 (2006/2007 breakthrough) 강의-1 이번 강의는 2006/2007년도 논문에 대해 이야기를 시작하며, Back-propagation에서 발생했던 문제에 대해 이야기한다.지금까지의 이야기를 정리하면, 다른 문제는 Linear regression으로 해결 되었지만, XOR의 문제의 경우, 기존의 방식으로는 해결이 불가능했다. 그래서 발견한게 Layer를 2개 이상으로 처리하는 것이었고, 그로 인해, 해당 문제는 해결할 수 있었다. 이것을 뉴럴 네트워크라 불렀다. 그러나 뉴럴 네트워크의 문제점은, 우리는 Cost함수 값을 최저값으로 만들어야되는데, W와 b값을 조절할 수가 없었다. 그렇게 침체기를 맞다, 나온게 Bac..

모두의 딥러닝Neural Network 1: XOR 문제와 학습방법, Backpropagation (1986 breakthrough) 강의-1 이제부터는 뉴럴 네트워크에 대해서 강의한다.우선 이전 강의에서 XOR에 대한 문제와 그리고 문제를 해결하는 방법에 대해 간략히 말했다. XOR의 그래프는 다음과 같이 Layer를 2개 이상 둬 해결할 수 있었다. 그러나 Minsky 교수님께서 Layer를 여러 개 사용하여 XOR 문제를 풀 순 있지만, 학습을 시키기 위해 W와 b값을 조절해야 하는데, 그 값을 조절할 수 없다고 한다.물론 이 부분은 Back-propagation이란 알고리즘으로 해결된다. 위의 이미지는 뉴럴 네트워크를 사용하여 XOR 을 해결할 수 있는걸 보여준다. 해당 부분에 대해 김성훈 교수님..

모두의 딥러닝딥러닝의 기본 개념과, 문제, 그리고 해결 강의-1우리의 궁극적인 목표는 생각하는 기계를 만드는 것이다.우리의 뇌는 위의 이미지와 같이 구성되어 있는데, 뉴런은 각각의 다른 길이로 구성된 신경(w)으로 되어있다. 그래서 해당 신경으로부터 전해진 데이터(x)를 합한(시그마) 다음 그 값이 통과하면서 어떤 값(bias)이 곱해지고 일정 값이 이상이 되면 신호를 전달하는 구조로 되어있다고 한다. 이러한 뇌를 똑같이 구성하면 우리가 원하는 궁극적인 목표인 생각하는 기계를 만들 수 있을 것이라 생각했다. Logistic regression을 여러 개로 구성하면 위의 이미지와 같이 구성이 된다. 당시에는 우리가 원하는 목표인 생각하는 기계를 만들 수 있다는 기대로 가득 찼다. 그러나 위의 이미지에서 나..

모두의 딥러닝ML의 실용과 몇가지 팁 강의 이번 강의에서는 러닝레이트(learning rate), 오버피팅(overfitting), 그리고 일반화(regularization)에 대해서 학습한다.우선 위의 이미지는 Gradient decent 그래프와 그를 구성하는 소스 그리고 함수를 나타낸다. 여기서 Learning rate란 우리가 Gradient decent 알고리즘을 적용시킬 때, 얼마만큼 경사각을 내려갈 것인지 정하는 부분이다. 지금까지 0.0001 ~ 0.1까지 다양하게 학습시켰던 그 숫자가 함수에서 나타나는 a값이고 Learning rate 이다.이 Learning rate는 값을 어떻게 정하느냐에 따라 학습이 잘될 수도, 잘 안될 수 도 있을 만큼 아주 중요한 숫자이다.Learning rat..

모두의 딥러닝Softmax Regression (Multinomial Logistic Regression) 강의-1 이번 강의에서는 Softmax에 대해서 강의를 한다. Softmax란 기존의 Logistic(binary) classification을 여러 그룹으로 분류하기 위한 학습법이라고 설명한다.다시 한번 강의에서 Logistic regression에 대해 설명한다. 해당 내용을 간단히 설명하자면, Wx를 z로 두고, 해당 값을 sigmoid라는 0~1사이의 값으로 변환하는 함수에 대입을 시킨다. 그러면 우리가 원하는 hypothesis를 구할 수 있다. 추가적으로 hypothesis를 통해 나온 값을 Y hat이라 부르는데 위에 모자를 쓴 것과 비슷한 모양이라고 해서 hat이라고 부른다고 한다. ..

모두의 딥러닝Logistic (Regression) Classification 강의-1 이번 강의는 Logistic Regression Classification에 대해 설명을 한다. 무엇이냐 하면, 데이터를 통해 Binary로 1 또는 0으로 분류를 하는 학습이라고 생각하면 된다.강의 초반에는 계속적으로 Hypothesis와 Cost 그리고 Gradient decent에 대해 설명을 한다.그리고 이전에 배웠던 Linear regression으로 분류를 시도? 한다. 분포도가 작은 경우는 다음과 같이 분류가 가능하다. 그러나, 분포도가 큰 경우, 또 다음과 같이 분류 하기가 힘들어 보인다. Binary로 분류하기 위해서는 해당 데이터가 1인지 0인지에 대해서만 알면 된다. 그러나 Linear regres..

모두의 딥러닝여러개의 입력(feature)의 Linear Regression 강의 이번 동영상에서는 기존의 입력에서 추가적인 입력을 다룬다.예제로 학업 성적에 대해 다루는데, 이전 시험 성적 데이터로 나중에 시험 성적을 예측할 수는 있지만, 조금 더 신뢰성 있고, 정확도를 높이기 위해, 이전 시험 데이터 갯수를 늘이고, 시험 시간 등 기타 요소들을 추가로 넣으면 더욱 정확한 결과값이 나올 것이다. 위의 이미지를 토대로 hypothesis를 만들면 어떻게 될까? X에 대한 값에 따라 w의 값만 곱해주면 된다.그렇다면 cost 함수는 어떻게 될까? 해당 가설을 그대로 대입해주면 된다. 이렇게 몇개 x가 증가되지않은 상황에서의 계산은 기존과 같이 x를 추가해서 계산을 하면 될 것 같다.그러나 만약 x의 값이 ..

모두의 딥러닝 Linear Regression cost함수 최소화 강의Cost Function이번 강의에서는 Cost 함수에 대해 설명을 한다. 우선 다음과 같이 Hypothesis값을 수정하는데, Cost함수에 대한 이해를 쉽게 하기 위해, 값(b)을 없애서 설명하는 걸로 나온다. 그러나 신기하게도, 해당 값이 있고 없고가 cost 함수를 최소화 시키는게 문제가 안된다. 왜냐하면 b에 값이 없어진 만큼 w에서 값을 변경하면 되니깐..?? 공식을 가볍게 만들기 위해서 이기도 하지만, 나중에 행렬로 계산을 할 때가 되면, 정말로 b값을 행렬에 넣어서 공식을 간단히 한다. 위의 이미지를 보면, 정말로 W 데이터를 넣고 계산을 한 cost의 값을 알 수 있다. W가 1일 경우가 cost 값이 제일 낮은 것을 ..