이 글은 인공지능 딥러닝 모델 성능 지표를 간략히 정리한 것이다. 개발 목적에 따라 다양한 딥러닝 모델을 사용하고, 그에 따라 적절한 성능 지표를 모니터링해 튜닝 등 품질을 개선하는 것이 좋다. 필요할 때 찾아보기 귀찮으니 정리해 놓기로 한다. 이와 관련된 다양한 성능지표를 확인해 본다.
개요
많은 딥러닝 모델 개발의 경우, 성능 지표를 미리 고민하지 않고, 개발을 하였다가 뒤늦게 관련 기능을 추가하느라 고생하는 경우가 있다. 이런 경우를 대비해, 미리 어떤 지표가 있는 지 확인해 본다.
본론
가장 단순한 성능 지표부터 시작해, LLM에서 많이 사용되는 지표도 확인해 보자.
여기서 수식은 n개의 데이터 셋을 가진 입력 변수 x에 대한 참 값 y가 있다고 가정한다. ŷ 은 입력 x 에 대한 f(x)의 결과로 가정한다. f(x)의 참 값은 y이다.
- MSE (Mean Squared Error) : 편차의 제곱을 n으로 나눈 편차 평균
- RMSE (Root Mean Squared Error): 예측값과 실제값의 편차 평균의 제곱근 값
- CvRMSE (Coefficent of Variation of RMSE): RMSE를 표준화하여 데이터 변동성을 알려주는 지표. RMSE의 백분율임. 데이터 평균에 대한 RMSE의 백분류로 계산
- MAE (Mean Absolute Error) : 편차값에 가까운 절대 차이 평균값
- Accuray : 모델이 정확히 값을 예측했는 지 지표. 분류 모델 등 사용. 여기서 1은 조건 부합 시 참(1), 거짓(0)을 반환하는 indicator function 임
- MAPE (Mean Abslute Percentage Error): 회귀분석 모델 예측에 주로 사용되는 지표.
이외에, LLM에 주로 사용되는 ROGUE, BLEU, 컴퓨터 비전에 주로 사용되는 mAP, IoU, F1, call, recall 등 지표가 있다.
