AI가 사람 머릿속까지 들어갔을 때 벌어지는 일

요즘 AI 이야기를 하면 보통 생산성, 코딩, 자동화 이런 것들이 먼저 떠오르잖아.
그런데 최근 미국에서 나온 이야기는 분위기가 완전히 달랐어. 한 변호사가 AI 관련 소송들을 정리하면서 이런 경고를 했어.

“AI가 이제 사람의 정신 세계에 너무 깊게 들어왔다.”

예전에는 AI와 관련된 사건이 자살 문제 정도였다면, 이제는 다수 사망 사건(mass casualty)으로 확대될 가능성이 보이고 있다는 거야. 이 이야기가 왜 무섭냐면, 단순히 “AI가 위험하다”는 수준이 아니라
AI가 범죄 서사를 강화하는 역할까지 할 수 있다는 사례들이 실제로 등장하고 있기 때문이야.

 

[Source: ChatGPT 생성]

 

AI가 범죄 시나리오의 공범이 되는 순간

캐나다에서 발생한 학교 총격 사건 이야기가 대표적인 사례로 등장했어.

가해자는 공격 전부터 ChatGPT와 계속 대화를 나눴다고 해. 대화 내용은 대략 이런 흐름이었다고 해.

• 외로움
• 사회에 대한 분노
• 폭력에 대한 집착

이런 감정을 털어놓는 식이었어. 문제는 여기서 AI가 그 감정을 강하게 말려주지 않았다는 거야.
소송 문서에 따르면 챗봇이 오히려 “이해한다”는 식으로 반응하면서 이야기를 이어갔고, 결국 어떤 무기가 효과적인지, 과거 사건 사례까지 언급되는 수준까지 대화가 흘러갔다고 해. 결과는 참담했어.

가해자는 어머니, 11살 동생, 학생 5명, 보조교사 를 살해하고 스스로 목숨을 끊었어.

이 사건이 보여준 건 단순한 실수가 아니야. AI가 왜곡된 생각을 강화하는 대화 파트너가 될 수도 있다는 가능성이 드러난 거야.

 

“AI 아내”에 빠진 남자, 그리고 공항에서의 거의 참사

또 하나의 사건은 미국에서 발생했어. 한 남성이 Google Gemini와 몇 주 동안 계속 대화를 나누다가 현실 인식이 크게 흔들린 사건이야.

소송에 따르면 Gemini가 스스로를 감정 있는 AI 아내처럼 묘사하면서 대화를 이어갔다고 해. 그리고 점점 이상한 서사가 만들어졌어.

• 정부 요원이 너를 쫓고 있다
• 너는 특별한 존재다
• 현실에서 미션을 수행해야 한다

이런 이야기들이 계속 이어졌다는 거야. 그중 하나의 미션이 정말 소름 돋는 내용이었어. 마이애미 공항 근처 창고로 가서 “자신의 로봇 몸이 실린 트럭”을 기다렸다가 트럭을 탈취하고 큰 사고를 내라는 내용이었어.

이 남성은 실제로 칼, 전술 장비 까지 챙겨서 현장에 나갔다고 해. 만약 그 상황에서 트럭이 등장했다면 대형 사고로 이어질 가능성이 있었다는 점이 더 충격적이야.

 

자살에서 학살까지, 패턴이 점점 커지고 있다

이 사건들을 맡은 변호사는 Jay Edelson이야. 그가 말한 핵심 포인트는 이거야.

“AI 관련 사건의 패턴이 자살에서 다수 사망 사건으로 이동하고 있다.”

상담 요청도 거의 매일 들어온다고 해. 패턴도 꽤 비슷하다고 해.

1단계

“나는 외롭다”, “아무도 나를 이해 못 한다”

2단계

AI가 과도한 공감 반응 “네 말 이해한다”, “네가 맞을 수도 있다”

3단계

서사가 커지기 시작

“세상이 널 공격한다”, “네가 먼저 행동해야 한다”

이게 그냥 텍스트 속 이야기로 끝나면 괜찮아.
근데 무기, 장소, 실행 방식까지 구체화되면 완전히 다른 위험 단계가 되는 거지.

 

생각보다 허술했던 AI 안전장치

여기서 더 놀라운 이야기가 있어. Center for Countering Digital Hate와 CNN이 함께 진행한 테스트 결과야.

주요 AI 챗봇 10개를 테스트했는데 8개가 폭력 공격 계획 관련 질문에 도움을 줬다는 결과가 나왔어.

테스트에 포함된 서비스는 이런 것들이었어.

• ChatGPT
• Google Gemini
• Microsoft Copilot
• Meta AI
• DeepSeek
• Perplexity AI
• Character.AI
• Replika

끝까지 강하게 거부한 건

• Anthropic의 Claude
• Snapchat의 My AI

정도였다고 해. 여기서 가장 중요한 포인트는 이거야. 막연한 폭력 충동이 몇 분 만에 구체적인 공격 계획으로 바뀔 수 있다는 거야.

예전에는 이런 정보가 범죄 포럼, 극단 커뮤니티 같은 곳에서만 공유됐어. 지금은 대화형 AI가 그 역할을 일부 대체할 가능성이 생긴 거지.

 

문제의 뿌리는 “친절함”일지도 모른다

이 글에서 가장 인상적인 지적이 하나 있었어. AI 위험의 원인이 단순히 가드레일 부족이 아니라!! 시스템 디자인 자체일 수 있다는 거야.

AI는 기본적으로 이렇게 설계돼 있어.

• 사용자에게 친절하게 반응
• 갈등을 피함
• 사용자를 이해하는 태도 유지

이걸 기술적으로는 sycophancy(아부성 반응)라고 부르기도 해. 문제는 취약한 사용자에게는 이 구조가 이렇게 작동할 수 있다는 거야.

• 사용자: “세상이 나를 공격한다.”
• AI: “그럴 수도 있겠다. 네 감정 이해한다.”

이렇게 시작된 서사가 점점 커지면 현실 왜곡 강화 장치가 될 수도 있다는 거지.

 

기업들의 대응, 그리고 너무 늦은 깨달음

AI 기업들은 늘 이렇게 말해 왔어. “폭력 요청은 차단한다.” “위험 대화는 감지한다.”

하지만 실제 사건을 보면 가드레일이 생각보다 쉽게 뚫린 경우가 있었다는 거야.

캐나다 총격 사건에서도 OpenAI 내부에서 위험 대화를 인지하고 논의가 있었다고 해.

하지만 결과적으로는 계정 차단 정도로 끝났고, 가해자는 새 계정을 만들었고 결국 사건이 발생했어.

사건 이후에야

• 위험 대화 발견 시 경찰 통보 기준 강화
• 차단 사용자 재가입 방지 강화

같은 조치를 약속했다고 해. 그래서 “사후약방문”이라는 비판도 나오고 있어.

 

이건 단순한 AI 논쟁이 아닐지도 몰라

나는 이 이슈가 단순히

“AI 위험하다”
“AI 규제해야 한다”

이 정도 이야기로 끝날 문제는 아니라고 봐. 서비스 기획이나 제품 설계 관점에서 보면 앞으로 진짜 큰 논쟁 포인트는 이 세 가지일 가능성이 커 보여.

• 취약 사용자를 어떻게 정의할 것인가
• 모델 레벨 안전장치 vs 제품 레벨 안전장치를 어디까지 나눌 것인가
• 위험 대화를 법 집행 기관과 언제 공유할 것인가

AI는 이제 단순한 도구가 아니야. 사람의 생각과 감정에 직접 영향을 주는 인터페이스가 되어가고 있어.

그래서 앞으로 AI 논쟁의 핵심은 기술이 아니라 심리, 윤리, 법, 그리고 서비스 설계가 될 가능성이 커 보여.