AI의 성적표 - 평가란 무엇인가?

AI를 만들었다면, 이 모델이 얼마나 잘 작동하는지 확인해야 해요.

그 기준이 바로 평가예요.

 

 

 

대표 평가 지표
정확도 (Accuracy)

전체 데이터 중 AI가 정답을 맞힌 비율이에요.
100문제 중 90개를 맞혔다면 정확도 90%.

 

 

그런데 왜 100%는 어려울까?

100%가 이론적으로 좋아 보이지만, 현실에서는 달성하기 어렵고 때로는 오히려 위험해요.

01
데이터의 노이즈

현실 데이터에는 항상 오타, 화질 저하 같은 예외 상황이 섞여 있어요.

이 모든 예외까지 맞히려고 하면 오히려 규칙이 꼬여버려요.

 

02
과적합(Overfitting)의 위험

100점을 받기 위해 문제집을 통째로 암기해 버리면, 새로운 데이터를 만났을 때 대처하지 못하는 모델이 돼요.

이전 글: 과적합 (Overfitting) vs 일반화 (Generalization)

03
트레이드 오프 (Trade-off)

정확도에 집착해 스팸 필터를 너무 엄격하게 만들면, 중요한 업무 메일까지 스팸으로 분류하는 부작용이 생겨요.

하나를 얻으면 하나를 잃어요.

 

 

평가가 중요한 이유

AI는 학습 중에 오차를 줄이는 방향으로 계속 수정돼요.
무엇을 기준으로 평가하느냐에 따라 AI의 성격이 완전히 달라져요.

그래서 평가 기준을 잘못 세우면, 엉뚱한 방향으로 학습된 AI가 만들어질 수 있어요.

 

 

 

요약

평가란, AI의 성적표

실전에 투입되기 전, 얼마나 믿을 만한지 검증하는 단계예요.

 

진짜 목표, 100점이 아닌 일반화

단순히 높은 점수가 아니라, 현실에서도 안정적인 성능을 내는지 확인하는 거예요.