Generalization and Overfitting(No.2)

<과적합(Overfitting)을 줄이는 방법>

- Test set은 주로 전체 데이터의 10~30%정도로 설정한다.

- Training data를 가지고 error를 확인하고 Validation set을 가지고 오류를 검증한다.

빨간색: Overfitting을 방지하는 최적의 위치이다. 파란색: Overfitting이 진행되는 중이다.

<Structure of Neural Networks>

- 회귀(Regression)해결 방법

 

회귀란? Real Number로 결과값을 예측하는 것

 

방법1 : 데이터 전 처리 - Normalize

• 실제 결과값을 Normalize하는 것이다. 예를 들어, 실제 결과값의 범위가 [0~100]이라 하면 전처리(Normalize)했을 때 [0~1]로 결과값의 범위를 바꿀 수 있다. 이제 [0~1]의 범위로 바뀌었으므로 Sigmoid함수에 넣어서 출력할 수 있다!

방법2 : 출력층(Output layers)의 선형으로 출력

• 선형으로 출력한다는 것은 활성화함수에 값을 통과시키지 않고 (입력값 * w)의 합으로 출력한다는 것이다. 여기서 주의해야 할 점은 마지막 출력층에서만 Sigmoid 즉 활성화함수를 사용하지 않는 것이고 hidden layer에서는 Sigmoid를 사용해야 한다는 것이다.
• hidden layer사이의 Neural Net에서 이미 학습이 충분히 이루어졌다고 생각 하기 때문에 마지막에는 출력값만 출력해도 예측에는 문제가 없을 것이라는 생각에서 출발한 방법이다. 또한, Regression은 Real Number를 출력해야 하므로 활성화 함수를 통과시키지 않는 것이 좋을것이다.