“BTS도 없는 QA부서가 있더라”, 테스트 없는 품질은 결국 운이다

한때 QA는 프로젝트 끝에 붙는 마지막 관문처럼 취급됐어.

개발 끝나면 테스트하고, 버그 몇 개 잡고, 릴리즈 승인 도장 찍는 팀.

그런데 AI 시대가 오면서 이 구조는 완전히 흔들리고 있어.

아이러니하게도 어떤 조직은 AI를 도입한다면서도 여전히 QA를 “확인하는 사람” 정도로 생각해.
심지어 BTS도 없이 QA 조직을 운영하는 곳도 있어.

여기서 BTS는 방탄소년단이 아니라, Bug Tracking System. 버그를 기록하고, 원인을 추적하고, 우선순위를 관리하고, 회귀 이력을 남기는 시스템. 이게 없는데 QA를 한다? 그건 품질관리라기보다 기억력 테스트에 가까워.

 

QA 없는 회사는 있어도, 품질 없는 회사는 오래 못 간다

AI 시대에도 품질은 사라지지 않아. 오히려 더 어려워졌어. 예전엔 기능이 맞냐 틀리냐였어. 지금은 질문이 달라졌어.

• AI가 틀린 답을 얼마나 그럴듯하게 만드는가
• 동일 입력에서 결과 일관성이 유지되는가
• 편향이 발생하는가
• 프롬프트 조작에 안전한가
• 데이터가 유출되지 않는가
• 비용 대비 품질이 유지되는가

즉, “동작한다”와 “신뢰할 수 있다”는 완전히 다른 문제야.

 

QA부서인데 BTS도 없다?

생각보다 흔해. 실제 현장에서 이런 상황을 종종 봐.

유형 1. 메신저 QA

버그가 나오면 단톡방에 올림. “이거 수정됐나요?”

3일 후 “어… 뭐였지?”

끝.

유형 2. 엑셀 QA

버그 관리 파일 이름. 최종_v2_진짜최종_수정완료.xlsx 누가 언제 수정했는지 모름.

히스토리 없음.

유형 3. 감(感) QA

“예전엔 안 그랬던 것 같은데요?” 재현 조건 없음. 로그 없음. 근거 없음.

 

AI 시대에는 이런 운영 방식이 바로 한계에 도달해. 왜냐하면 AI 서비스는 버그가 눈에 안 보이기 때문이야.

결과 품질, 데이터 흐름, 모델 행동, 비용까지 봐야 하니까.

 

QA라면 반드시 알아야 하는 지식들

1. 테스트 설계(Test Design)

테스트는 많이 하는 게 중요한 게 아니야. 잘 고르는 게 중요해.

대표 기법으로는 동등분할, 경계값 분석, 상태전이 테스트, Pairwise, 의사결정 테이블, 탐색적 테스트

좋은 QA는 테스트 케이스 수를 자랑하지 않아. 누락 없는 범위를 자랑해.

2. 요구사항 분석

QA가 요구사항을 못 읽으면 개발보다 늦게 움직여. 기능 요구사항, 비기능 요구사항, 예외 시나리오, Acceptance Criteria, API 계약

좋은 QA는 버그보다 요구사항 오류를 먼저 찾음.

3. BTS(Bug Tracking System)

최소항목	설명
제목	한 줄 요약
환경	OS/브라우저
재현 단계	누가 해도 재현 가능
실제 결과	무슨 일이 발생
기대 결과	원래 기대
우선순위	심각도
로그	증거

 

없으면 기억에 의존하게 돼.

4. 자동화(Test Automation)

AI 시대 QA는 코드를 피할 수 없어. SQL, API 테스트, 스크립트, CI/CD, 자동화 프레임워크

 

5. AI QA

앞으로 가장 중요한 영역.

• 정확성: 답이 사실인가
• 일관성: 같은 입력에서 같은 결과인가
• 안정성: 프롬프트 공격에 안전한가
• 비용: 토큰 비용 통제 가능한가
• 평가: 정량 평가 가능한가

 

서비스기획자와 QA의 관계

기획은 무엇을 만들지 결정해. 개발은 어떻게 만들지 결정해. QA는 정말 그렇게 동작하는지 증명해.

좋은 QA는 테스트만 하지 않아. 질문해. “이 요구사항은 모순 아닌가요?” “사용자는 이렇게 행동하지 않을까요?” “운영 환경은 고려됐나요?” 이 질문을 하는 순간 QA는 비용이 아니라 품질 아키텍트가 돼.

 

AI 시대 QA의 미래

앞으로 없어지는 QA는 이런 사람이야.

• 수동 클릭만 하는 사람
• 보고서만 만드는 사람
• 개발 끝나고 들어오는 사람

반대로 살아남는 QA는 이런 사람이야.

• 데이터 읽는 사람
• 자동화하는 사람
• 품질 지표 설계하는 사람
• AI 결과를 검증하는 사람
• 제품 관점으로 사고하는 사람

그리고 마지막으로.

BTS 없는 QA 조직,
테스트 전략 없는 QA 조직,
품질 지표 없는 QA 조직은…

QA팀이 있는 게 아니라 QA 역할을 맡은 누군가가 있을 뿐이야.

AI 시대에도 품질은 자동으로 만들어지지 않아.

오히려 더 치열하게 설계해야 생긴다.