딥러닝 기본 용어 설명

What make you a good deep learner?

Implementation Skills(구현 능력) : Tensorflow, Pytorch

Math Skills : Linear Algebra, Probability

Knowing a lot of recent Papers : 연구자는 최신 논문의 트렌드, 발표들을 잘 알아야 함

 

Artificial Intelligence : Mimic human Intelligence 

Machine Learning : Data-driven approach

Deep Learning : Neural networks

Key Components of Deep Learning

   The Data that the model can learn from

data depend on the type of the problem to solve

   The Model how to transform the data

AlexNet, GoogLeNet, ResNet, LSTM ...

   The Loss function that quantifies the badness of the model

a proxy(근사치) of what we want to achieve : loss가 줄어든다고 해서 항상 우리가 원하는 값이 되는 것은 아님

   The Optimization algorithms to adjust the parameters to minimize the loss

data, model, loss func가 정해져 있을 때 Network를 어떻게 줄일지에 대한 것

 

   Dropout, Early stopping, k-fold validation, Weight decay, Batch normalization, MixUp, Ensemble,      Bayesian Optimization

network가 한번도 보지 못한 data를 잘 맞추는 걸(실제 환경에서 잘 작동하도록) 목표로 여러가지 Technique을 함께 사용

 

>>> 새로운 논문을 봤을 때 위 네가지 항목에 비추어서 연구를 바라보게 되면 지금 이 논문이 다른 논문에 비해 어떤 장점이 있고 어떤 contribution이 있는지 이해하기 쉬움