Week9 주간 학습정리 - [CV level 2 대회 진행 중]

📌Competition tip 

 1. mAP를 제대로 이해해서 활용해보자!!

BBOX threshold를 높게 준 경우

BBOX threshold를 낮게 준 경우

 

→ 일반적으로 시각화를 위해서는 bbox threshold를 높게 준다

→ 시각화를 할 bbox는 class score가 0.5이상인 애들만 그려라

→ 깔끔하게 그려짐

 

→ thres를 낮게 하면 거의 모든 박스를 다 그림

→ map가 높음

→ 좋은건가..

→ 대회 성능을 높이는 데는 좋지만 실제 서비스에는 thres가 낮은게 좋을수도 있지 않나..

 

⇒ map의 중요한 성질

→ recall, precision을 그래프에 찍었을 때 그 아랫면적을 AP로 계산

→ 이 말은 곧 RECALL이 무조건 1에 가까울수록 추가적인 성능 향상이 존재한다.

→ 박스를 100개 예측하든 1000개 하든 만 개 하든 박스의 개수에 따라서는 AP의 성능이 증가 되면 증가 됐지 절대 감소되지는 않음!!!

 

x축 : recall, y축 : precision

 

→ 어쨋든 기존보단 아랫 면적이 더 생기니까

→ precision이 다 0에 가까워서 추가 면적이 거의 안 생기면 어쩔 수 없는 거고,,

→ 조금이라도 precision이 생기면 굿굿!!

 

⇒ 무조건 AP를 올리기 위해서는 박스를 많이 예측하는 게 AP관점에서는 훨씬 더 유리하다

⇒ 그래서 이런 문제? 현상?들이 생길 수 있음

→ 사람 눈으로 보기에는 mAP높은게 더 안 좋음

→ 앙상블을 할 때도 결국 a모델이 예측하는 박스와 b모델이 예측하는 박스를 합치는 건데 그럼 박스 개수가 많아지게 되면서 mAP가 올라갈 수 있다

→ 이때도 시각화 해보면 정말 많은 박스가 나오겠지..

→ 암튼 요런거는 map의 현상? 특성? 이다~~~

 

• 실제 연구에서는 맨 마지막 class threshold를 0.05로 많이 함
• 시각화를 잘 해줘야 하는 분야의 경우에는 그럴싸한 박스만 남기는 게 중요
• 분야에 따라 threshold나 평가 metric을 다르게 설정해라~~

 

 

📌 이 글에 있는 모든 사진은 네이버 커넥트 재단의 수업 자료에서 캡쳐한 것입니다.

📌 ⓒ NAVER Connect Foundation