AI 때문에 사전이 다시 써지고 있다.

회사 회의실.

개발자 한 명이 말한다.

"이번에 LLM 기반 Agent를 RAG 아키텍처로 붙여서 Inference Cost를 줄이고 Hallucination을 최소화하겠습니다."

기획자: "..."

디자이너: "..."

대표: "...좋은 방향인 것 같네요."

사실 아무도 못 알아들었다. 그런데 신기한 건 아무도 모른다고 말하지 않는다.

왜냐하면 요즘 AI 업계에서는 모르는 척하는 것도 실력처럼 보이기 때문이다.

 

AI 업계는 왜 자꾸 새로운 단어를 만들까?

예전 IT 업계도 어려웠다. API. SDK. DB. ERP. CRM. 하지만 AI 업계는 차원이 다르다.

요즘은 하루가 멀다 하고 새로운 용어가 나온다.

LLM, RAG, MCP, Agent, Token, Hallucination, Context Window, Fine-tuning, Inference, Distillation

거의 영어 시험 보는 수준이다. 심지어 개발자들도 가끔 헷갈린다.

어느 순간 AI 업계는 기술 산업이 아니라 새로운 언어를 만드는 산업처럼 보이기 시작했다.

 

Hallucination : AI의 우아한 거짓말

AI 용어 중 가장 유명한 단어다. Hallucination. 직역하면 환각이다. 그런데 사실상 뜻은 이거다.

"AI가 자신감 넘치게 틀린 소리 하는 현상"

예를 들어.

사용자: "세종대왕이 스마트폰을 발명했어?"

AI: "네. 세종대왕은 1443년에 스마트폰의 초기 개념을..."

여기서 중요한 건 AI가 모른다고 말하지 않는다는 점이다. 모르면 상상해서 말한다. 심지어 엄청 그럴듯하게.

그래서 Hallucination은 기술 용어라기보다 AI 업계식 표현이다.

사람으로 치면... "아는 척 대마왕 증후군" 정도가 더 정확하다.

 

Token : AI 세계의 칼로리

요즘 AI 회사들이 제일 좋아하는 단어. Token. AI는 문장을 그대로 읽지 않는다. 잘게 잘라 먹는다. 마치 김밥을 한 입씩 먹는 것처럼.

예를 들어 "오늘 점심 뭐 먹지?" 라는 문장이 있다면 AI는 이것을 여러 조각으로 나눠 처리한다. 그 조각 하나하나가 토큰이다.

그리고 재미있는 사실. AI 업계는 이제 토큰을 돈처럼 쓴다.

개발자: "이번 달 토큰 얼마나 썼어?"

PM: "예산 초과났어."

대표: "토큰 절약해."

갑자기 회사에서 쌀 걱정하는 것 같은 분위기가 된다.

 

Agent : AI 비서인가? AI 직원인가?

요즘 가장 많이 남용되는 단어다. Agent. 발표 자료를 보면 다 Agent다.

메일 보내는 것도 Agent. 회의록 쓰는 것도 Agent. 일정 잡는 것도 Agent. 심지어 복사 붙여넣기 하는 것도 Agent. 그럼 도대체 Agent가 뭐냐. 쉽게 말하면 "시키면 알아서 여러 단계를 수행하는 AI"다.

예전 챗봇은 "질문 → 답변" 이었다.

Agent는 "질문 → 검색 → 분석 → 실행 → 보고"까지 한다.

쉽게 말하면 신입사원 한 명 채용한 느낌이다. 문제는 아직도 가끔 커피 대신 서버를 삭제한다는 것이다.

 

RAG : AI 오픈북 시험

이름은 제일 어렵다. Retrieval Augmented Generation. 듣기만 해도 퇴근하고 싶어진다. 그런데 뜻은 간단하다. "AI에게 컨닝페이퍼를 주는 기술" 이다. 일반 AI는 기억에 의존한다. RAG는 자료를 찾아본다. 학생으로 치면

일반 AI: "아마 그런 것 같은데요?"

RAG AI: "잠시만요. 책 찾아볼게요."

그래서 최근 기업용 AI 대부분은 RAG를 사용한다. 왜냐하면 환각을 줄여주기 때문이다.

 

Inference : AI가 드디어 일을 하는 순간

많은 사람들이 AI 학습만 생각한다. 하지만 실제 돈이 나가는 건 학습보다 추론이다. Inference.

쉽게 말하면 "AI가 실제 답변하는 과정" 이다. 우리가 ChatGPT에 질문하면 그 순간 엄청난 GPU들이 움직인다.

전기를 먹는다. 돈을 먹는다. 그리고 답을 만든다. 이게 추론이다. 그래서 AI 회사 CEO들은 늘 같은 고민을 한다.

"똑똑하게 만들까?" "싸게 만들까?" 왜냐하면 둘 다 하기는 어렵기 때문이다.

 

AGI : AI 업계 최고의 떡밥

AI 업계 사람들을 술자리에서 싸우게 만드는 단어. AGI. Artificial General Intelligence.

쉽게 말하면 "사람처럼 모든 일을 할 수 있는 AI"다. 문제는 아무도 정의를 정확히 모른다.

그래서 AGI 이야기가 나오면 축구 이야기만큼 길어진다.

어떤 사람은 "5년 안에 온다."

어떤 사람은 "50년 걸린다."

어떤 사람은 "이미 왔다." 라고 말한다. 결국 AI 업계 최대의 도시전설 같은 존재다.

 

진짜 알아야 할 용어

사실 모든 용어를 외울 필요는 없다.

• Agent = 업무 자동화
• RAG = 최신 정보 검색
• Hallucination = 틀린 정보 생성
• Token = 비용
• Context Window = 기억력
• Inference = 운영비

이 정도만 알아도 대부분 회의에서 살아남는다.

 

AI 시대의 진짜 문해력

예전에는 영어를 알아야 인터넷을 잘 썼다. 지금은 AI 용어를 알아야 AI를 잘 쓴다. 그런데 더 중요한 건 용어 자체가 아니다.

그 단어 뒤에 숨은 의미다. Hallucination은 신뢰 문제고, Token은 비용 문제고, Agent는 책임 문제고, RAG는 데이터 문제다.

결국 용어를 이해한다는 건 기술을 이해하는 것이 아니라, 그 기술이 가진 한계와 위험을 읽는 능력에 가깝다.

 

AI보다 무서운 건 AI 용어다.

하지만 다행인 건 대부분의 용어는 이름만 어려울 뿐이다. Hallucination은 "아는 척", Token은 "밥값", Agent는 "신입사원", RAG는 "오픈북 시험", AGI는 "AI 업계의 로또 번호" 정도로 이해해도 의외로 틀리지 않는다.

다만 다음 회의에서 누군가 "Agentic RAG 기반 MCP Architecture로 Multi-Agent Workflow를..."

이라고 말하기 시작하면, 그때는 그냥 커피 한 잔 들고 잠시 자리를 비워도 된다.