AI가 만든 AI 보고서, 결국 스스로를 무너뜨리다

요즘 기업들은 AI를 도입하지 않으면 뒤처질 것처럼 이야기해. 보고서도 AI가 쓰고, 분석도 AI가 하고, 회의록도 AI가 정리해 준다. 생산성만 놓고 보면 정말 꿈같은 시대야.

그런데 최근 한 사건은 조금 다른 질문을 던졌어. "AI가 만든 결과물을 우리는 얼마나 믿어도 될까?"

아이러니하게도 AI의 미래를 설명하던 보고서가 AI 때문에 철회되는 일이 발생했어.

 

AI를 칭찬하던 보고서가 사라졌다

세계적인 회계·컨설팅 기업 KPMG는 2025년 발표했던 AI 관련 보고서를 최근 철회했어. 문제는 보고서에 포함된 여러 기업과 기관의 AI 활용 사례가 사실과 다르다는 지적이 나왔기 때문이야.

보고서에는 글로벌 금융기관과 공공기관들이 AI를 어떻게 활용하고 있는지 다양한 사례가 소개됐는데, 정작 해당 기관들은 "그런 방식으로 AI를 사용한 적이 없다"거나 "사실과 다르다"는 입장을 내놓았어. 이후 조사 과정에서 일부 내용이 생성형 AI의 환각(Hallucination) 현상과 관련됐을 가능성이 제기됐고 결국 KPMG는 보고서를 웹사이트에서 내리게 됐어.

더 놀라운 건 GPTZero의 분석 결과였어.

조사에 따르면 보고서에 포함된 수십 개의 인용과 참고자료 중 상당수가 왜곡되거나 실제와 다른 형태로 작성된 것으로 나타났어. 일부는 존재하지 않는 출처였고, 일부는 실제 자료를 잘못 해석하거나 엉뚱하게 연결한 사례였다고 해.

 

문제는 AI가 아니다

많은 사람들이 이 뉴스를 보면서 "역시 AI는 믿으면 안 된다"고 이야기해.

그런데 사실 더 중요한 문제는 따로 있어. AI는 원래부터 진실을 보장하는 도구가 아니었어.

AI는 확률적으로 가장 그럴듯한 문장을 생성하는 시스템이지 사실 검증 엔진이 아니야. 그래서 AI가 틀린 답을 내놓는 것 자체는 새로운 일이 아니야. 진짜 문제는 사람이 검증을 포기하기 시작했다는 점이야.

예전에는 보고서를 작성하면 자료를 확인하고, 출처를 대조하고, 숫자를 검증하는 과정이 필수였어. 하지만 AI가 워낙 자연스럽게 문장을 만들어주다 보니 어느 순간 사람들은 "그럴듯하면 맞겠지"라는 유혹에 빠지기 시작했어.

KPMG 역시 책임 있는 AI 활용 원칙과 인간의 검증 절차를 강조하면서 자체 조사에 들어갔다고 밝혔어.

 

사실 이것은 시작일 뿐이다

흥미로운 점은 이번 사건이 처음이 아니라는 거야.

최근에는 또 다른 글로벌 컨설팅 기업인 EY도 AI 환각과 허위 각주 문제가 발견된 보고서를 철회한 바 있어. AI가 작성한 문서가 기업 보고서, 연구자료, 마케팅 문서에 점점 더 많이 활용되면서 비슷한 사례는 앞으로 계속 등장할 가능성이 높아 보이거든.

해외 커뮤니티에서도 반응은 비슷했어.

많은 사람들이 "AI보다 인간의 검증 부재가 더 큰 문제"라고 이야기했고, 일부는 "AI를 강하게 밀어붙이던 기업이 정작 AI 때문에 신뢰를 잃었다"며 씁쓸한 반응을 보였어.

 

AI 시대에 가장 중요한 직업

AI 시대가 오면 없어지는 직업 이야기를 많이 해. 하지만 오히려 더 중요해지는 역할도 있어.

바로 검증하는 사람. 사실을 확인하는 사람. 책임지는 사람.

AI는 초안을 작성할 수 있어. AI는 수천 페이지를 요약할 수도 있어. AI는 보고서를 몇 분 만에 만들어낼 수도 있어.

하지만 "이 내용이 사실인가?"를 최종적으로 판단하는 책임은 아직 인간에게 남아 있어.

어쩌면 미래의 경쟁력은 AI를 잘 사용하는 사람이 아니라 AI를 검증할 수 있는 사람에게 있을지도 몰라.

 

AI 네이티브 시대의 새로운 역설

기업들은 AI 도입률을 경쟁하고 있어.

누가 더 많은 AI를 쓰는지, 누가 더 많은 업무를 자동화했는지, 누가 더 많은 비용을 절감했는지 이야기해.

그런데 앞으로는 다른 질문이 더 중요해질 것 같아.

"당신의 조직은 AI가 틀렸을 때 그것을 발견할 수 있는가?"

이번 KPMG 사건은 단순한 해프닝이 아니야. AI 시대의 품질관리, 책임, 신뢰가 무엇인지 보여주는 상징적인 사건이야.

AI는 점점 더 똑똑해지고 있어. 하지만 신뢰는 여전히 인간이 만들어야 해.

 

AI는 초안을 대신 써줄 수 있다.

하지만 진실의 최종 서명란에는 아직 인간의 이름이 필요하다.