네이버 부스트캠프 모각공 캠페인 9일차 - 뉴럴 네트워크 - MLP (Multi-Layer Perceptron)

모든 설명 및 자료의 출처는 네이버 부스트코스의 <[부스트캠프  AI Tech 3기] Pre-Course>입니다.

(https://www.boostcourse.org/onlyboostcampaitech3/joinLectures/329424)

 

<인공지능 본격 탐구: 딥러닝 기초>

뉴럴 네트워크 - MLP (Multi-Layer Perceptron)

 

Neural Networks

"Neural networks are computing systems vaguely inspired by the biological neural networks
that constitute animal brains" 라고 Neural networks라고 정의할 수 있습니다.

->초기의 비행기가 새를 모방했으나, 현재의 비행기에서 새를 볼 수 없는 것처럼 인공지능을 만든다해서 인간의 뇌(뉴런)을 모방할 필요는 없습니다.

 

"Neural networks are function approximators that stack affine transformations followed by nonlinear transformations" 위와 같은 정의가 좀 더 와닿는 정의라고 볼 수 있습니다.

 

Linear Neural Networks

Partial derivative(편미분)

One way of interpreting a matrix is to regard it as a mapping between two vector spaces - 두 벡터사이의 변환

 

Beyond Linear Neural Networks

 

What if we stack more? 

이는 행렬 두개의 곱과 다르지 않기 때문에 아래와 같이 nonliear transform 이 필요합니다.

 

Activation functions

There is a single hidden layer feedforward network that approximates any mesurablefunction to any desired degree of accuracy on some comepact set K 

<추가학습> feedforward(순전파)/Backpropagation(역전파) 개념
(출처: https://blog.naver.com/jevida/221854140581)

다층 퍼셉트론(Multi-layer Perceptron, MLP)으로 학습 한다는 것은 최종 출력값과 실제값의 오차가 최소화 되도록 가중치와 바이어스를 계산하여 결정하는 것이다. 순전파 (Feedforward) 알고리즘 에서 발생한 오차를 줄이기 위해 새로운 가중치를 업데이트하고, 새로운 가중치로 다시 학습하는 과정을 역전파 (Backpropagation) 알고리즘 이라고 한다. 이러한 역전파 학습을 오차가0에 가까워 질 때까지 반복한다. 역전파 알고리즘을 실행할때 가중치를 결정하는 방법에서는 경사하강법이 사용된다.

[순전파 (Feedfoward)]
입력층(input layer)에서 은닉층 방향(hidden layer)으로 이동하면서 각 입력에 해당하는 가중치가 곱해지고, 결과적으로 가중치 합으로 계산되어 은닉층 뉴런의 함수 값(일반적으로 시그모이드(Sigmoid) 사용)이 입력된다. 그리고 최종 결과가 출력된다.

[역전파 (Backpropagation)]
역전파 알고리즘은 input과 output 값을 알고 있는 상태에서 신경망을 학습 시키는 방법이다. 이 방법을 Supervised learning(지도학습)이라고 한다. 초기 가중치, weight 값은 랜덤으로 주어지고 각각 노드들은 하나의 퍼셉트론으로, 노드를 지날때 마다 활성함수를 적용한다.

 

 

Multi - Layer Perceptron

 

↑물론 더 깊게 만들 수 있습니다.

 

Loss function

 

 

 

---

출처

[부스트캠프 AI Tech 3기] Pre-Course

 

순전파(Feedforward)와 역전파(Backpropagation) 개념