인공지능(AI) 맛보기 : 딥러닝 기본 용어 설명 - Historical Review

인공지능(AI) 맛보기 : 딥러닝 기본 용어 설명 - Historical Review 강의 요약 및 복습을 위한 참고자료 입니다. 

전문용어에 대해 보기 쉬운 설명을 보강하였습니다. 

모든 내용은 [부스트캠프 AI Tech 3기] Pre-Course 의 내용입니다. 

 

 

 

 

 

딥러닝 ⊂ 머신러닝 ⊂ AI  ( = 딥러닝은 머신러닝, 머신러닝은 AI에 속한다)

 

-      AI는 사람의 지능을 모방한다

-      머신러닝은 데이터를 통해 학습한다

 

 

 

 

 좋은 딥러너(Good deep learner)의 조건

 

-      좋은 구현실력 

-      수학실력 (선형대수,확률론)

-      연구 알기

 

 

 

딥러닝에 중요한 4가지 (아래를 중심으로 연구를 이해)

 

1) 데이터 : 모델이 배울 수 있다.

2) 모델 : 데이터를 변환한다. (ex 이미지를 라벨로 바꾸어주는 모델 필요)

3) 손실함수(Loss Function) : 가중치 값이 최적인지를 보기 위한 함수 (평균제곱오차, 교차 엔트로피 오차 등)

4) 알고리즘 : 로스를 최소화

 

 

 

1) Data

Data depend on the type of the problem to solve

Ex) 이미지 분류 / 이미지 라벨링하기 / 이미지 안에 어떤 바운딩박스가 있는가 / 이미지의 색깔 무엇인가?

 

2) Model

같은 데이터/테스크여도 모델에 따라 결과의 질이 다르다

 

3) Loss function : 어떻게 모델을 학습할건가?

The loss function is a proxy of what we want to achieve. : 이루고자 하는 것의 근사치

(1)   회귀문제 : 출력값과 타겟 점 사이의 제곱을 최소화 시키는 목적

(2)   분류 문제 : 출력값과 내 라벨 데이터 사이의 값 축소

(3)   확률 문제 : 출력값의 평균 분산 등을 모델링 할 때 사용

 

4) Optimization Algorithm 

bad work (loss function의 결과값) 최소화 하는 모델의 인자를 찾는다. 

학습하지 않은 데이터에서 잘 작동하는가를 체크하고자, 학습이 잘 안되게 하는 요건도 추가할 수 있다

(ex. 실제 환경 작동여부 체크)

 

 

 

Historical Review

Deep learning’s most important ideas – A Brief Historical Review 참조

 

 

2012 – AlexNet : 이미지가 들어갔을 때 분류하는 것이 목적. 딥러닝의 성능을 보여줌

2013 – DQN : 딥마인드, 알파고 등의 기반

2014 – Encoder/Decoder : 단어가 주어졌을 때 시퀀스를 만들 때 활용

2014 – Adam Optimizer : 실험결과가 웬만하면 잘나온다

2015 – Generative Adversarial Network : 네트워크가 생성자(Generator) / 구분자 (Discriminator) 를 만들어서 학습

2015 – Residual Networks : Network를 깊게 쌓을 수 있게 만들어줌

2017 – Transformer

2018 – BERT : 방대한 단어들을 활용하여 Pre-training 한 후, 풀고자 하는 문제의 소스 데이터에 이 네트워크를 Fine – Tuning 해 좋은 성능을 낸다.

2019 – Big Language Models(GPT-X) : 약간의 파인 튜닝으로 다양한 표/시퀀스 모델 등을 만들 수 있으며, 많은 파라미터로 이루어진 모델.

2020 – Self Supervised Learning : SimCLR, 한정된 학습데이터 외에 라벨을 모르는 데이터를 활용한다.