Week5 주간 학습정리 - [CV 이론]

 

개념/code 학습 중 생긴 이슈 및 해결 방법에 대해 기록하자

 

개념 Issue & Solution

1. Zero shot & Few shot..

• Zero-shot learning (ZSL)은 모델이 학습 과정에서 본 적 없는 새로운 클래스를 인식할 수 있도록 하는 학습 방법
• 일반적으로 딥러닝은 training에 사용된 class만을 예측할 수 있다. 따라서 unseen data가 입력되면 seen class로 예측하는 바보가 되버리는데, Zero shot은 train set에 포함되지 않은 unseen class를 예측하는 분야
• 즉, unseen data를 입력 받아도, seen data로 학습된 지식을 전이하여 unseen data를 unseen class로 예측 가능
• open set recognition은 unseen data를 unseen으로 몰아넣는 반면에, ZSL은 unseen data의 구체적인 class를 예측함

* reference : https://deep-learning-study.tistory.com/873

[논문 읽기] Zero-Shot Learning(ZSL) 이란?

 

• Few-shot learning(FSL)은 적은 수의 데이터 샘플을 사용하여 모델을 학습시키는 기법
• 일반적인 딥러닝 모델은 대규모의 데이터셋이 필요하지만, Few-shot learning은 이름 그대로 몇 개의 샘플만으로도 모델이 새로운 작업을 잘 수행할 수 있도록 학습시키는 것이 목표
• 주요 개념
  • 지원 세트(Support Set): 모델이 학습할 때 사용하는 몇 개의 샘플과 해당 샘플의 라벨.
  • 쿼리 세트(Query Set): 학습한 모델이 예측해야 하는 샘플들.
• Few-shot Learning의 주요 접근법
  • 메타 학습(Meta-learning):
    • 모델이 새로운 작업을 빠르게 학습할 수 있도록 "학습하는 방법을 학습"하는 것. 즉, 다양한 작업에 대해 학습을 하여, 새로운 작업에 대한 적응 능력을 키우는 방식
    • 대표적인 알고리즘: MAML(Model-Agnostic Meta-Learning).
  • 프로토타입 네트워크(Prototype Networks):
    
    • 각 클래스의 프로토타입(평균 벡터)을 계산한 후, 쿼리 샘플과 프로토타입 간의 거리를 계산하여 가장 가까운 클래스를 예측하는 방식
  • Matching Networks:
    
    • 쿼리 샘플과 지원 세트 샘플 간의 유사도를 측정해, 유사도가 높은 클래스에 해당하는 것으로 예측
  • Siamese Networks:
    
    • 두 개의 입력 샘플이 같은 클래스에 속하는지 여부를 학습하는 신경망 구조입니다. 이 방식은 이미지 분류에 많이 사용
• 응용 분야 
  •  Few-shot learning은 데이터가 부족하거나 새로운 카테고리를 빠르게 학습해야 하는 상황에서 유용
    • 의료 분야: 새로운 질병의 진단을 위한 모델.
    • 자연어 처리(NLP): 특정한 태스크에 대해 적은 데이터만으로도 높은 성능을 발휘하는 언어 모델.
    • 컴퓨터 비전: 새로운 클래스의 이미지를 적은 수로 분류하는 문제.

2. down sampling & upsampling

 

3. affine transform

• Affine Transform는 컴퓨터 그래픽스와 이미지 처리에서 자주 사용되는 선형 변환 기법으로, 물체의 기하학적 모양을 유지하면서 위치, 크기, 방향을 변환하는 방법
•  

 

4. artifact

 

5. PSNR (Peak Signal-to-noise ratio)

 

 

• 이미지 합성 분야(NeRF, GAN, Superesolution 등)에서 많이 쓰이는 3가지 지표 PSNR, SSIM, LPIPS
• PSNR은 영상 화질 손실양을 평가하기 위해 사용되는 지표
• 이미지 저장, 전송, 압축, 영상 처리 등에서 영상 화질이 바뀌었을 때 사용됨
• PSNR은 클수록 좋음
• PSNR에서는 MSE가 분모로 들어감으로써, MSE가 작아 질수록 PSNR값이 커짐 → PSNR이 클수록 손실양이 적고 퀄리티가 좋다는 것을 의미
• MAX는 1개 픽셀당 갖고 있는 정보량(흑백 : 255, RGB : 255x3, RGBA : 255x4)을 나타냄 → MSE를 픽셀 정보량으로 Scale을 변경(Normalization)한다고 생각 할 수 있음
• 픽셀간의 단순 오차를 나타내는 것이 MSE이고, MSE의 Scale을 변경(Normalization) 한 것이 PSNR라고 생각 할 수 있음
• Point-NeRF(2022)의 결과 이미지

 

* reference : https://xoft.tistory.com/3

 

6. Fourier transform

 

7. Bottleneck

저차원으로 병목을 주는 것

 

8. what is zero convolution????

→ 0만 출력하는 것??

→ 더 찾아보기~~

zero conv는 filter를 다 0으로 채워진 값으로 사용한다는 건가?

 

Code Issue & Solution

1. 

 

 

 

 

Retrospect

단순 개발자가 아닌 problem solver가 되자!

단순히 이론만 쌓는 것에 급급하기 보다는 AI 업계 흐름과 세상 문제에 집중하자!

 

남과 비교하지 말고 나의 부족한 부분을 매일 채워 나가자!

 

AI 는 Deep, Machine learning 알고리즘(방법론)만 있는 것이 아니다!

AI 분야에 더 넓은 시야를 가지고 데이터, 문제 정의, AI Ethics(윤리) 등에 관심을 가지고 바라보자!!

 

끊임 없이 자기 개발을 하자!

트렌드를 파악하자! AI 트렌드! 사회의 트렌드!

기술 보다는 큰 그림을 보자! BIG PICTURE!!

어떤 주제에 초점을 맞춰서 AI를 연구/개발 할 것인가 → 사회적 문제에 집중하자!

기본을 놓치지 말자!!