AI는 왜 틀릴까?

AI를 제대로 활용하려면, AI가 얼마나 대단한지보다 어디서 틀리는지를 아는 게 더 중요해요.

 

 

 

AI는 "이해"가 아니라 "예측"을 한다
사람처럼 문장의 의미를 깊이 이해하는 게 아니에요.
질문을 받으면 "다음에 올 가장 확률 높은 단어가 뭘까?"를 계속 계산하는 거예요.

[질문 입력] "오늘 날씨 어때?"  →  [확률 계산] 다음 단어로 가장 적합한 것은?  →  [답변 생성] 확률이 높은 단어를 순서대로 이어 붙임

 

 

대표적인 한계

환각(Hallucination)
AI가 자신 있게 거짓말하는 현상

AI는 모르는 내용이라도 "가장 그럴듯한 답변"을 확률적으로 만들어내려 해요.

그래서 사실이 아닌 내용을 마치 사실인 것처럼 유창하게 말하는 경우가 생겨요.

 

왜 이런 일이 생길까?
AI는 "모른다"라고 멈추는 게 아니라, 배운 패턴으로 가장 그럴듯한 답을 계속 만들어내도록 설계돼 있기 때문이에요.

예시
조선시대 맥북 투척 사건에 대해 알려줘
존재하지 않는 사건임에도 "조선왕조실록에 기록된 바에 따르면, 세종 12년에..."하며 그럴듯한 가짜 정보를 지어낼 수 있어요.

 

그 밖의 한계

최신 정보의 부재  학습 데이터가 2025년까지라면, 2026년에 일어난 사건에 대해서는 알지 못하거나 추측으로 대답해요.

상식의 부족   사람이 당연하게 아는 물리 법칙이나 사회적 맥락도, 데이터로 배우지 못했다면 엉뚱한 소리를 해요.

 

요약

AI는 전지전능한 존재가 아니라 확률 계산 도구예요.

가장 정답일 것 같은 확률을 계산하기 때문에, 항상 틀릴 가능성이 있어요.

그래서 중요한 정보는 사람이 직접 교차 확인(Cross-check)하는 습관이 필요해요.