AI가 헛소리를 하는 진짜 이유 그리고 우리가 놓치고 있는 것

AI 챗봇이 뭔가 엄청 자신 있게 얘기하는데 틀릴 때 있지?

다들 한 번쯤은 “이게 왜 이러는 거야?” 싶었을 거야. 최근에 OpenAI에서 발표한 논문을 보니까,

이른바 AI 환각(hallucination)의 원인에 대해 조금 더 뚜렷하게 설명을 해주더라고.

읽어보면서 평소 내가 느끼던 부분이랑 겹치는 게 많아서 오늘은 내 시선으로 이 얘기를 풀어볼게.

 

AI, 왜 그렇게 자신 있게 틀리는 걸까?

OpenAI가 정의한 환각은 간단해. 그럴싸해 보이지만 완전히 틀린 말을 진짜처럼 말하는 거.

예를 들어, 연구진이 자기 박사 논문 주제를 AI에게 물어봤는데 매번 대답이 다르고, 심지어 다 틀린다는 거야. 생일까지 물어보면 세 번 다 다른데 전부 틀림.

왜 이렇게 헛소리를 뻔뻔하게 내뱉으면서도 자신만만할까?

답은 AI의 학습 방식에 있어. 지금 언어 모델은 오직 “다음에 올 단어를 예측”하는 데 집중해서 훈련돼.

정답 여부는 관심 없고, 언어 흐름만 자연스럽게 이어가면 되는 거지.

그래서 맞춤법이나 흔한 표현은 잘 맞추는데, 드문 정보(예: 특정 인물 생일)는 패턴이 없으니까 그냥 지어내는 거야.

 

진짜 문제는 ‘평가 방식’에 있다?

논문에서 더 흥미로운 지점은 이거야. 문제의 원인이 단순히 학습 방식이 아니라 평가 기준이라는 거. 지금은 AI가 대충 맞추면 점수를 받고, “모르겠다”라고 하면 0점이야. 그러니 AI 입장에선 모르는 걸 틀리게 찍는 게 손해가 없는 구조라는 거지.

그래서 논문에선 이런 제안을 해.

• 틀린 답, 특히 자신감 있게 잘못된 답엔 벌점을 주자.
• “모르겠다”라고 솔직히 말하면 부분 점수라도 주자.

이렇게 바꾸면 AI가 굳이 뻔뻔하게 거짓말할 이유가 줄어들 거라는 거야.

 

진짜 해결책 맞을까?

솔직히 이건 꽤 공감돼. 지금 챗봇 쓰다 보면, 자기가 모르는 건 그냥 둘러대거나 틀린 정보를 확신에 차서 말해버리잖아.

이게 사용자 입장에선 가장 위험한 부분이야. 평가 기준을 바꿔서 ‘모르겠다’라고 말하는 게 불이익이 아니라면,

확실히 거짓말은 줄어들 수 있을 것 같아.

근데 이게 근본적인 해결책이 될지는 미지수야. 인터넷 데이터 자체가 불확실한 게 많고, 심지어 인간도 모르는 문제가 많잖아.

결국 AI도 틀릴 수밖에 없다는 걸 우리가 인정해야 하지 않을까 싶어.

 

챗봇한테 너무 많은 걸 기대하지 말자

AI 환각 문제는 단순히 기술의 한계라기보단, 우리가 AI를 어떻게 평가하고 훈련시키는지와도 연결돼 있다는 점이 흥미로웠어.

앞으로 더 발전된 AI를 만들려면, 거짓말을 뻔뻔하게 하는 AI보다 모른다고 솔직히 말할 줄 아는 AI가 필요하지 않을까 싶어.

결국 AI는 인간이 만든 거울 같은 존재라서, 우리가 어떤 기준을 주느냐에 따라 행동 방식이 달라지는 거야.

그러니 너무 신격화하거나 맹신하지 말고, 차라리 “적당히 쓰고, 모르면 걸러내자”라는 태도가 필요할 듯.