[AI 기본 지식] 손실함수의 모든 것

손실 함수란?

손실함수는 딥러닝 모델을 학습하면서 적절한 가중치를 찾아가는 과정입니다. 즉, 최적화를 위해 사용하는 함수라고 보시면됩니다. 손실 함수는 loss function, cost function이라고도 합니다.

 

▶ MSE(Mean Squared Error)

역전파 포스팅에서 사용했던 손실함수이죠. 예측값과 실제값의 차를 제곱한 뒤 개수 n으로 나누어 주는 함수입니다. 수식은 아래와 같습니다. MSE는 주로 Regression에서 많이 이용됩니다.

▶ RMSE(Root Mean Squared Error)

MSE에 루트를 씌운 손실함수입니다. MSE는 오류(실제값-예측값)의 제곱을 구하기 때문에, 실제의 오류 평균보다 더 커지기 때문에 루트를 사용하여 값의 왜곡을 줄여줍니다. 

▶ MAE(Mean Absolute Error)

MSE와 유사하지만, 제곱 대신 절대값의 평균을 이용하는 손실함수입니다. 이 함수 또한 Regression에서 많이 이용됩니다.

▶ Cross Entropy

크로스 엔트로피는 실제 분포 q에 대하여 알지 못하는 상태에서, 모델링을 통해 구한 분포인 p를 통해 q를 예측하는 것 입니다. 수식은 아래와 같습니다.

여기서 p는 특정 확률에 대한 목표 확률값, q는 현재 학습한 확률값입니다. 즉, 현재 학습한 q가 p에 가까워 질수록 크로스 엔트로피 값은 작아지게 됩니다. 즉, 로스값이 작아지게되는 것이죠. 따라서 머신러닝에서 많이 사용합니다. 

 

예를 들어서 실제 값 p = [1,0,0,0]고, 예측값이 q = [0.25, 0.25, 0.25, 0.25]라면 다음과 같이 계산할 수 있습니다.

손실 값은 2가 나옵니다. 

 

▶ Binary Cross Entropy

크로스 엔트로피인데, 2개의 클래스가 존재하는 크로스 엔트로피입니다. 수식을 유도하자면 다음과 같이 나타낼 수 있습니다.