네이버 부스트캠프 모각공 캠페인 1일차 - 딥러닝 기본 용어 설명 & Historical Review

 

모든 설명 및 자료의 출처는 네이버 부스트코스의 <[부스트캠프  AI Tech 3기] Pre-Course>입니다.

(https://www.boostcourse.org/onlyboostcampaitech3/joinLectures/329424)

 

<인공지능 (AI) 맛보기>

딥러닝 기본 용어 설명 & Historical Review

 

무엇이 좋은 딥러닝을 만드는가 (What make you a good deep learner?)

1. Implementation Skills - Tensorflow / Pytoch (과거엔 텐서플로우, 현재엔 파이토치가 각광받는 상황)

2. Math Skills - Linear Algebra, Probaility (선형대수학, 확률론)

3. Knowing a lot of recent Papers (인공지능 분야는 발전된 방법론이 빠르게 논문을 통해 출현하기때문)

 

인공지능의 정의

Artificial Intelligence (이하 인공지능, AI) 안에 Machine Learning(머신러닝, ML) 그 안에 Deep Learning(딥러닝, DL)

인공지능은 사람을 모방하는 것. 

 

Key Components of Deep Learning

 

1. 데이터 :The data that the model can learn from : 학습에 필요한 데이터

2. 모델: The model how to transform the data : 데이터를 다룰 모델

3. 로스: The loss function that quantifies the badness of the model : 모델의 성능을 결정하는 로스

4. 알고리즘: The algorithm to adjust the parameters to minimize the loss : 로스를 최소화

 

-Data

--Data depend on the type of the problem to solve

-Model

--같은 데이터가 주어졌다하더라도 모델의 성능에 따라 결과가 다를 수 있음

-Loss

-- The loss function is a proxy of what we want to achieve

 

Historical Review

 

Deep Learning's Most Important Ideas - A Brief Historical Review - Denny Brits

 

2012년부터 DL/ML에 있어 기념비적인 논문들

 

2012 - AlexNet : 딥러닝을 이용한 방법론을 통해 처음으로 우승한 사례

2013 - DQN : 알파고를 만든 방법론, 오늘날의 딥마인드를 있게한 논문

2014 - Encoder / Decoder : 다른 언어로 구성된 단어의 연속이 주어졌을때, 또다른 언어의 단어의 연속으로 배출하는 기술

             Adam Optimizer : 웬만하면 잘되는 최적화기술

2015 - GAN : Generative Adversarial Network

            ResNet : Residual Networks, 네트워크가 깊게 쌓을 수 있게 만든 방법론

2017 - Transformer : Attention Is All You Need 

2018 - BERT : Bidirectional Encoder Representations from Transformers

2019 - BIG Language Models(GPT_X) : an autoregressive language model with 175 billion parameters, Big Language Model

2020 - Self-Supervised Learning : SimCLR , a simple framework for contrastive learning of visual representations

 

딥러닝에 대해 기본적인 용어설명과 딥러닝에 있어 빼놀수 없는 연구들을 설명할 수 있는 강의

입문자들에게 머신러닝, 딥러닝에 대한 개요와 흥미를 유발할 수 있어 좋았다.

---

출처

[부스트캠프 AI Tech 3기] Pre-Course