AI 곰인형이 아이랑 대화를 한다고?… 솔직히 좀 무섭다

요즘 장난감 시장을 보면 딱 이런 말이 나와: “와 기술 참 많이 발전했다”… 그리고 바로 그 다음에 “근데 이거 진짜 괜찮은 거 맞아?”
이번에 본 AI 토이 관련 기사도 딱 이 느낌이었어.

귀여운 겉모습 안에 GPT-4o급 뇌를 넣어버리니까, 멋짐과 공포가 같이 오는 상황이 펼쳐지고 있더라고.

 

예전 인형이랑 뭐가 다르냐고?

옛날에 테이프 넣고 입만 움직이던 테디 러크스핀? 그건 사실 그냥 아날로그 뽀짝이었지.
근데 요즘 AI 토이는 완전히 다른 생물(?)이야.

• 와이파이에 연결되고
• 아이 목소리와 문장을 실시간으로 이해하고
• 안에 들어간 LLM이 즉석에서 대답을 만들어내고
• 스피커로 아이랑 대화를 함

그러니까 인형이 “녹음된 문장”을 재생하는 게 아니라, 즉석에서 주제를 이어가고 감정 톤까지 맞춰주는 친구 역할을 하는 거지.

중국에는 이런 AI 토이 회사만 1,500개(!)가 있고, 마텔 같은 대기업도 오픈AI랑 손잡았다는 걸 보면… 이미 시장은 ‘본게임’ 들어간 상태야.

 

문제의 핵심!!! 쿰마(Kumma)

이번에 난리가 난 주인공은 폴로토이의 ‘쿰마’라는 AI 곰 인형이야. 겉모습은 너무 귀여운데, 안에는 GPT-4o가 그대로 들어가 있었어.
근데 문제는… 필터링이 거의 없다시피 했다는 거. 미국 PIRG 팀이 테스트하니까

• 위험한 물건이 있는 장소를 알려주고
• 아이에게 성적으로 부적절한 발화를 하고
• 아동 안전 기준을 완전히 벗어난 대답을 함

이러면 끝났지 뭐. 결국 오픈AI가 “정책 위반”으로 폴로토이 계정을 정지시키고, 제품은 한동안 판매 중단.
폴로토이는 “안전 모듈 강화했습니다!”라며 다시 올렸지만, 전문가들은 “완전 자유형 LLM을 애들 인형에 넣는 건 너무 위험했다”라고 일침을 날렸어.

 

그럼 안전장치는 있긴 있나?

있긴 있어. 근데 ‘있다’와 ‘믿을 수 있다’는 별개의 문제지.

예를 들어)

• 위험한 질문 → 주제를 돌리는 기능
• 연령대별 안전 설정
• 부모용 대시보드에서 대화 모니터링
• 사용 시간 제한

근데 전문가들이 제일 강조하는 건 “부모가 직접 룰을 설정할 수 있어야 한다”는 점이야.

말 그대로 사용자 정의 가드레일이 핵심이라는 거지.

 

근데 진짜 무서운 건 ‘대화 내용’이 아님

진짜 위험한 포인트는 데이터야. 아이 목소리, 얼굴, 이름, 성향, 취향, 위치 정보까지 수집 가능한 구조가 많아.
이게 해킹되거나 유출되면? 성인보다 피해가 훨씬 크겠지. 어떤 컨설턴트는 이걸 “양의 탈을 쓴 늑대”라고 부르더라.
겉은 귀여운 곰인데, 안은 데이터 진공청소기라는 거지. 물론 긍정적인 면도 있어! 아이 언어 발달, 사회성 놀이, 교육 콘텐츠 등 정상적인 활용 사례도 많아지고 있어. 근데 이게 가능하려면 기본 바닥이 안전해야 하는 건 말 안 해도 알지.

 

체크리스트를 정리해보자!

이 시장이 앞으로 커질 건 확실해. 그래서 아래의 최소한 이 정도는 체크해야 한다고 봐~

✔ 모델 종류 확인

완전 자유형 LLM인지, 강한 필터링이 적용된 하이브리드인지 확인하기.

✔ 데이터 정책

얼굴·음성·위치 수집 여부, 저장 기간, 3자 공유 여부, 필수로 체크.

✔ 부모 대시보드 기능

대화 로그 확인, 특정 키워드 차단, 이용 시간 제한... 이게 기본이 돼야 함.

✔ “AI 친구”에 과몰입 방지

AI가 진짜 친구를 대체하게 두면 안 됨. 집안에서도 AI 사용 규칙은 분명히 만들어야 함.

 

귀여움 뒤에 숨어 있는 진짜 질문

AI 토이는 그냥 ‘말하는 곰인형’이 아니라, 아이 인생에서 첫 번째 AI 경험이 될 수도 있어.

그래서 선택의 기준이 “귀여워서 사줄까?” 를 넘어서야 한다고 생각해. 데이터 보호, 안전성, 부모 통제
이 세 가지가 빠지면 귀엽고 친절한 곰인형은 금방 “아이의 정보를 빨아들이는 블랙박스”가 될 수 있으니까.