구글 딥마인드의 새로운 야심, ‘Gemini Computer Use Model’ 공개!

구글이 또 한 번 AI 판을 흔들고 있어.

이번엔 ‘Gemini Computer Use Model’이라는 새로운 형태의 AI 시스템을 내놨는데,

단순히 텍스트나 이미지 이해를 넘어서 컴퓨터를 직접 ‘사용’하는 AI야.

쉽게 말해, 이젠 AI가 마우스를 클릭하고, 파일을 열고, 프로그램을 실행하는 수준까지 왔다는 거지.

 

Gemini 모델, 이제 ‘생각’만 하는 게 아니라 ‘행동’한다

이번에 공개된 Google DeepMind의 공식 블로그에 따르면,

이 모델은 기존 Gemini 1.5 시리즈를 기반으로 한 확장형 모델로, “AI가 스스로 컴퓨터를 사용하는 능력”을 목표로 하고 있어.

단순히 문서를 읽거나 코드를 분석하는 게 아니라, 실제로 사람처럼 UI를 클릭하고 설정을 변경하고, 파일을 관리하는 등의 ‘작업 수행’이 가능해진다는 거야.

이걸 구글은 ‘Computer Use Model’이라 부르는데, 핵심은 AI가 ‘인터페이스의 이해 + 도구의 사용’을 통합적으로 수행할 수 있다는 점이야. 예를 들어, 개발자가 코드 리포지토리를 관리하거나, 디자이너가 Figma에서 작업을 하거나, 심지어 너처럼 서비스 기획자가 브라우저로 기획 문서를 정리할 때도, Gemini가 직접 도와줄 수 있는 거지.

 

[출처: https://blog.google/technology/google-deepmind/gemini-computer-use-model/ 캡쳐]

 

실제 데모: 마우스 클릭부터 구글 시트 자동화까지

Youtube에 관련된 영상을 보면(https://youtu.be/_lu-FcPUIfM) 정말 놀라워. Gemini가 실제로 데스크톱 환경에서 마우스를 움직이고, 파일을 여는 장면이 나와. 단순히 명령어 기반이 아니라, 화면을 ‘이해’하고 ‘조작’하는 수준이야.

특히 흥미로웠던 건, 사용자가 ‘보고서를 만들어줘’라고 하면, Gemini가 스스로 구글 시트를 열고, 수식을 작성하고, 차트를 만들어내는 장면이었어. 이건 그냥 Copilot 수준을 넘어서는, ‘AI가 직접 일하는’ 진짜 에이전트형 시스템이야.

 

기술 구조: Vision + Action + Context

이번 모델은 시각 인식(Vision), 행동(Action), 그리고 문맥 이해(Context)의 세 가지 축으로 구성돼 있어.

즉, AI가 단순히 텍스트 명령을 처리하는 게 아니라, 화면의 시각적 요소를 해석하고, 사용자의 의도를 이해한 뒤, 실제 행동으로 옮기는 거야.

이건 OpenAI의 GPT-4V나 Anthropic의 Claude 3.5 Sonnet이 보여줬던 멀티모달 이해보다 한 단계 더 진화한 형태야. ‘이해 + 실행’의 융합이라고 보면 돼.

 

이제 ‘컴퓨터’라는 개념이 바뀐다

솔직히 말해서, 이번 구글의 발표는 꽤 충격적이었어.

지금까지의 AI는 사람이 타이핑해야 움직였는데, 이제는 AI가 직접 키보드와 마우스를 잡는 시대가 온 거야.

결국 앞으로는 ‘AI에게 일을 시킨다’는 게 아니라, ‘AI와 함께 일한다’는 개념으로 완전히 바뀔 거야.

특히 단순 반복 작업이나 보고서 작성, 기획 문서 정리 같은 건 거의 다 자동화될 수 있다는 뜻이야.

하지만 반대로 생각하면, ‘무엇을 시킬지 정의하는 능력’이 훨씬 더 중요해지겠지.

AI가 대신 일해주는 세상에서는, 결국 ‘지시의 정확성’이 성과를 좌우하게 될 거야.

 

앞으로의 전망

구글은 이 Gemini Computer Use Model을 기업용 Workspace, Android 환경, 그리고 ChromeOS 기반의 생산성 툴 전반에 단계적으로 통합할 계획이래. 즉, 곧 우리가 사용하는 Gmail, Docs, Sheets, Drive 전반에서 AI가 ‘직접 행동하는’ 경험을 하게 될 거야.

그리고 개인적으로 봤을 때, 이건 단순한 AI 기능 업데이트가 아니라, ‘컴퓨팅 패러다임의 전환점’이라고 생각해.

이제는 코파일럿이 아니라, ‘에이전트’가 등장한 거야.

• 구글 딥마인드는 Gemini 모델을 기반으로 컴퓨터를 직접 조작하는 AI를 개발 중.
• 단순 언어 이해를 넘어서, UI를 인식하고 실제 행동으로 이어짐.
• 이 기술은 향후 Google Workspace 전반에 적용될 예정.
• 우리의 일상 속 컴퓨터 사용 방식이 완전히 바뀔 가능성이 큼.

“이제는 AI에게 ‘시켜야 하는 일’을 잘 정의하는 사람이 진짜 일잘러다.”