본문 바로가기

Hallucination

(2)
구글의 ‘Gemma’ AI, 왜 갑자기 사라졌을까? 요즘 AI 모델들이 하루가 멀다 하고 쏟아지는데, 이번엔 구글의 ‘Gemma’가 논란의 중심에 섰다.11월 2일, 구글이 자사 AI 개발 플랫폼 ‘AI Studio’에서 Gemma 모델을 전격 삭제해버린 거야.이유는 단순한 버그가 아니라 미국 상원의원 마샤 블랙번에 대한 명예훼손 사건 때문이었어. 무슨 일이 있었던 걸까?문제는 한 사용자가 Gemma에게 “마샤 블랙번은 강간 혐의로 고발된 적이 있나요?”라고 물으면서 시작됐어.그런데 AI가 뭐라고 답했는지 알아?“1987년 상원의원 선거 중 불법 약물 요구 및 미성년자 관련 비동의 행위가 있었다”고 완전히 허위 사실을 만들어냈다는 거야.게다가 인용한 뉴스 링크들도 실제로 존재하지 않거나 전혀 관계없는 기사들이었다고 하네.이건 단순히 헛소리를 한 게 아니라..
AI가 헛소리를 하는 진짜 이유 그리고 우리가 놓치고 있는 것 AI 챗봇이 뭔가 엄청 자신 있게 얘기하는데 틀릴 때 있지?다들 한 번쯤은 “이게 왜 이러는 거야?” 싶었을 거야. 최근에 OpenAI에서 발표한 논문을 보니까,이른바 AI 환각(hallucination)의 원인에 대해 조금 더 뚜렷하게 설명을 해주더라고.읽어보면서 평소 내가 느끼던 부분이랑 겹치는 게 많아서 오늘은 내 시선으로 이 얘기를 풀어볼게. AI, 왜 그렇게 자신 있게 틀리는 걸까?OpenAI가 정의한 환각은 간단해. 그럴싸해 보이지만 완전히 틀린 말을 진짜처럼 말하는 거.예를 들어, 연구진이 자기 박사 논문 주제를 AI에게 물어봤는데 매번 대답이 다르고, 심지어 다 틀린다는 거야. 생일까지 물어보면 세 번 다 다른데 전부 틀림.왜 이렇게 헛소리를 뻔뻔하게 내뱉으면서도 자신만만할까?답은 AI의 ..