네이버 부스트캠프 모각공 캠페인 7일차 - 딥러닝 학습방법 이해하기

모든 설명 및 자료의 출처는 네이버 부스트코스의 <[부스트캠프  AI Tech 3기] Pre-Course>입니다.

(https://www.boostcourse.org/onlyboostcampaitech3/joinLectures/329424)

 

<핵심만 담은 AI 수학지식>

딥러닝 학습방법 이해하기

 

신경망(neural network) - 비선형모델

↑ 선형 모델 

데이터가 바뀌면 결과값도 바뀌게 됩니다. 이때 출력 벡터의 차원은 d 에서 p 로 바뀌게 됩니다.

d 개의 변수로 p개의 선형모델을 만들어서 p개의 잠재변수를 설명하는 모델을 상상해 볼 수 있습니다.

 

↑ 출력 벡터 o 에 softmax 함수를 합성하면 확률벡터가 되므로 특정 클래스 k에 속할 확률로 해석할 수 있습니다.

 

softmax 연산

모델의 출력을 확률로 해석할 수 있게 변환해주는 연산

분류 문제를 풀 때 선형 모델과 소프트맥스 함수를 결합하여 예측합니다.

 

신경망은 선형모델과 활성함수(activation function)를 합성한 함수입니다.

 

 

What is 활성함수?

 

활성함수는 R(실수값) 위에 정의된 비선형(nonlinear) 함수로서 딥러닝에서 매우 중요한 개념입니다.

활성함수를 쓰지 않으면 딥러닝은 선형모델과 차이가 없습니다.

시그모이드(sigmoid) 함수나 tanh 함수는 전통적으로 많이 쓰이던 활성함수지만 딥러닝에선 ReLU 함수를 많이 쓰고 있습니다.

---

 

 

다층(multi-layer) 퍼셉트론(MLP)는 신경망이 여러층 합성된 함수입니다.

 

왜 층을 여러개를 쌓나요?

 

이론적으로는 2층 신경망으로도 임의의 연속함수를 근사할 수 있습니다.

그러나 층이 깊을수록 목적함수를 근사하는데 필요한 뉴런(노드)의 숫자가 훨씬 빨리 줄어들어 좀 더 효율적으로 학습이 가능합니다.

 

역전파 알고리즘

 

딥러닝은 역전파(backpropagation) 알고리즘을 이용하여 각 층에 사용된 패러미터를 학습합니다.

 

역전파알고리즘의 원리는 각 층 패러미트의 그래디언트 벡터는 윗층부터 역순으로 계산하게 됩니다.

 

 

역전파 알고리즘은 합수함수 미분법인 연쇄법칙(chain-rule)기반 자동미분을 사용합니다.

 

 

예제 : 2층 신경망

 

#부스트캠프 #aitech #부스트캠프aitech3기 #모각공 #네이버커넥트 #네이버커넥트재단

---

출처

[부스트캠프 AI Tech 3기] Pre-Course