네이버 부스트캠프 모각공 캠페인 6일차 - 경사하강법 - 순한맛

모든 설명 및 자료의 출처는 네이버 부스트코스의 <[부스트캠프  AI Tech 3기] Pre-Course>입니다.

(https://www.boostcourse.org/onlyboostcampaitech3/joinLectures/329424)

 

<핵심만 담은 AI를 위한 수학 지식>

경사하강법 - 순한맛

 

미분이란?

미분(differentiation)은 변수의 움직임에 따른 함수값의 변화를 측정하기 위한 도구로 최적화에서 제일 많이 사용하는 기법입니다.

 

최근엔 미분을 손으로 계산하는 대신 컴퓨터가 계산할 수 있습니다.

 

미분을 그림으로 이해하기

 

미분은 함수 f의 주어진 점 (x, f(x))에서의 접선의 기울기를 구합니다.

 

한 점에서 접선의 기울기를 알면 어느 방향으로 점을 움직여야 함수값이 증가하는지/감소하는지 알 수 있습니다.

 

 

미분값을 더하면 경사상승법(gradient ascent)이라 하며, 함수의 극대값의 위치를 구할 때 사용합니다.

미분값을 빼면 경사하강법(gradient descent)이라 하며, 함수의 극솟값의 위치를 구할 때 사용합니다.

경사상승/경사하강 방법은 극값에 도달하면 움직임을 멈춥니다.

 

경사하강법 : 알고리즘

↑종료조건이 성립하기 전까지 미분값을 계속 업데이트합니다.

lr은 학습률로서 미분을 통해 업데이트하는 속도를 조절할 수 있습니다.

 

변수가 벡터인 경우

 

미분은 변수의 움직임에 따른 함수값의 변화를 측정하기 위한 도구로 최적화에서 제일 많이 사용하는 기법입니다.

벡터가 입력인 다변수 함수의 경우 편미분(partial differentiation)을 사용합니다.

 

 

각 변수 별로 편미분을 계싼한 그레디언트(gradient) 벡터를 이용하여 경사하강/경사상승법에 사용할 수 있습니다.

 

그레디언트 벡터

 

---

출처

[부스트캠프 AI Tech 3기] Pre-Course