정확도의 한계 - 정밀도와 재현율

정확도 하나만으론 부족할 때가 있어요.

어떻게 틀렸느냐가 더 중요한 상황을 위한 두 가지 지표를 살펴볼게요.

이전 글: AI의 성적표 - 평가란 무엇인가?

 

 

 

정확도가 믿을 수 없는 3가지 상황

01
데이터 불균형의 함정

데이터 비율이 깨져 있으면 정확도가 의미가 없어요.

암 환자 1명 + 정상인 99명인 집단에서 AI가 "모두 정상"이라고만 해도 정확도 99%
하지만 정작 중요한 암 환자를 찾는 데는 완전히 실패한 모델이에요.

 

02
오답의 '무게'를 구분 못함

정확도는 모든 틀린 답을 똑같은 '오답'으로 처리해요.

하지만 현실에서는 어떻게 틀렸느냐가 훨씬 중요해요.

스팸을 정상으로 분류 → 스팸 메일이 들어옴 (불편함)
암 환자를 정상으로 분류 → 치료를 못 받음 (생명 위험)

 

03
100%라도 믿을 수 없을 때

모델이 데이터를 이해한 게 아니라 통째로 암기하면 학습 데이터에서 100%가 나와요.

하지만 새로운 데이터를 만나면 처참하게 무너지는 과적합 상태예요.

 

 

 

그래서 나온 두 가지 지표

신중함 측정
정밀도 (Precision)

질문   "내가 맞다고 한 것 중 진짜가 얼마나 있나?"

사례   스팸 10건 분류 → 진짜 스팸 9건 = 정밀도 90%

중요한 때   무고한 사람을 범인으로 몰면 안 되는 상황 (예시: 스팸 차단, 유죄 판결)

 

꼼꼼함 측정
재현율 (Recall)

질문   "진짜 정답들을 하나도 안 놓치고 다 찾았나?"

사례   암 환자 10명 중 8명 발견 = 재현율 80%

중요한 때   하나라도 놓치면 큰일 나는 상황 (예시: 암 진단, 화재 경보, 불량품 검수)

 

 

비교

	정밀도 높으면	재현율 높으면
핵심 질문	"맞다고 한 것 중 진짜가 몇 개?"	"진짜 중에서 몇 개나 찾았어?"
줄이려는 실수	오보 (가짜 맞힘)	미검거 (가짜 틀림)
강조 사례	스팸 차단, 유죄 판결	암 진단, 화재 경보

 

 

마피아 게임으로 이해하기

	정밀도 높은 팀	재현율 높은 팀
특징	확실한 증거가 있을 때만 처형. 억울한 시민을 죽이는 일이 거의 없어요.	조금이라도 의심되면 처형. 마피아를 한 명도 놓치지 않아요.
단점	교묘히 숨은 마피아를 놓칠 수 있어요.	선량한 시민도 억울하게 처형될 수 있어요.

 

 

시소 관계 (Trade-off)
정밀도와 재현율은 보통 한쪽을 높이면 다른 쪽이 낮아지는 시소 관계에 있어요.

정밀도를 높이려면 확실한 것만 골라야 하니, 놓치는 게 생기고 재현율이 낮아져요.
재현율을 높이려면 의심되는 건 다 잡아야 하니, 오보가 늘어나고 정밀도가 낮아져요.

그래서 두 지표를 함께 고려한 F1-Score도 자주 사용해요.
정밀도와 재현율을 적절히 버무린 종합 점수로, 어느 하나에 치우치지 않은 균형 잡힌 평가가 필요할 때 씁니다.

 

 

 

요약

정밀도   "내가 맞다고 한 건 확실해" - 확신도를 보는 지표

재현율   "하나도 안 놓치고 다 찾았어" - 포괄성을 보는 지표