728x90
What make you a good deep learner?
Implementation Skills(구현 능력) : Tensorflow, Pytorch
Math Skills : Linear Algebra, Probability
Knowing a lot of recent Papers : 연구자는 최신 논문의 트렌드, 발표들을 잘 알아야 함
더보기
Artificial Intelligence : Mimic human Intelligence
Machine Learning : Data-driven approach
Deep Learning : Neural networks
Key Components of Deep Learning
The Data that the model can learn from
data depend on the type of the problem to solve
The Model how to transform the data
AlexNet, GoogLeNet, ResNet, LSTM ...
The Loss function that quantifies the badness of the model
a proxy(근사치) of what we want to achieve : loss가 줄어든다고 해서 항상 우리가 원하는 값이 되는 것은 아님
The Optimization algorithms to adjust the parameters to minimize the loss
data, model, loss func가 정해져 있을 때 Network를 어떻게 줄일지에 대한 것
Dropout, Early stopping, k-fold validation, Weight decay, Batch normalization, MixUp, Ensemble, Bayesian Optimization
network가 한번도 보지 못한 data를 잘 맞추는 걸(실제 환경에서 잘 작동하도록) 목표로 여러가지 Technique을 함께 사용
>>> 새로운 논문을 봤을 때 위 네가지 항목에 비추어서 연구를 바라보게 되면 지금 이 논문이 다른 논문에 비해 어떤 장점이 있고 어떤 contribution이 있는지 이해하기 쉬움
728x90