
상담팀에 AI 답변 보조를 붙인 뒤 처리량이 올라갔습니다. 그런데 팀장이 원인을 묻자 숫자가 흐려집니다. 신입 상담원이 빨라진 것인지, 쉬운 문의가 많이 들어온 것인지, 어려운 문의가 다른 큐로 밀린 것인지 한 화면에서 구분되지 않습니다.
이 장면은 특정 고객의 실제 사례가 아니라, 상담 AI 파일럿을 설계할 때 생길 수 있는 상황을 단순화한 가상 예시입니다. 상담 AI의 평균 효과를 먼저 보는 것보다, 어떤 상담원에게 어떤 문의가 들어갔을 때 어떤 결과가 달라졌는지를 나누어 보는 일이 먼저입니다. 전 팀에 한꺼번에 붙이면 효과가 커 보이거나 작아 보이는 이유를 찾기 어려워집니다.
NBER의 원문 연구는 고객지원 상담원 5,179명을 대상으로 생성형 AI 대화 보조 도구가 도입되는 시점을 나누어 살폈습니다. 이 연구에서 AI 접근은 시간당 해결 이슈를 평균 13.8% 늘렸고, 효과는 경험이 적고 숙련도가 낮은 상담원에게 더 크게 나타났으며 경험이 많은 상담원에게는 작거나 거의 없었습니다. 상담원은 AI 제안을 무시할 수 있었고 대화에 대한 책임도 계속 사람에게 있었습니다.
이 결과가 모든 상담 조직에서 같은 상승률을 보장한다는 뜻은 아닙니다. 연구는 한 기업의 특정 상담 환경을 관찰한 것이고, 도구·문의 유형·교육 방식이 다른 조직에 그대로 일반화할 수 없습니다. 다만 평균값 뒤에 상담원·문의 난이도별 차이가 숨어 있을 수 있다는 점은 첫 파일럿의 범위를 정할 때 유용한 출발점입니다.

상담 AI를 평가할 때 다음 세 축을 처음부터 기록해 두세요.
같은 AI 제안이라도 신입이 기본 답변의 누락을 줄이는 데 쓰는 경우와 숙련자가 복잡한 예외를 처리하는 경우의 효과는 다를 수 있습니다. 그래서 “도입 전후 전체 평균”만 비교하면 대상 구성이 바뀐 효과를 AI 효과로 잘못 읽을 위험이 있습니다.
먼저 최근 상담 기록에서 각 축을 완벽하게 분류하려고 하기보다, 파일럿에서 반드시 구분할 최소한의 두세 구간을 정합니다. 예를 들어 신입·경력 상담원을 나누고, 단순 문의·예외 문의를 나누는 식입니다. 분류가 어려운 문의는 억지로 한 칸에 넣지 말고 ‘보류’로 남겨야 이후의 오류 원인을 추적할 수 있습니다.

연구 결과만 보고 신입 상담원과 쉬운 문의에만 AI를 붙이면 안전해 보입니다. 하지만 그 결과만으로 전체 상담팀의 도입 효과를 말할 수는 없습니다. 쉬운 문의에서 빨라졌다는 사실과 예외 문의의 품질이 유지된다는 사실은 서로 다른 주장입니다.
첫 파일럿은 위험이 낮고 반복성이 있으면서, 팀이 실제로 자주 처리하는 문의를 고르는 편이 좋습니다. 동시에 비교를 위해 다음 세 구간을 함께 남깁니다.
무작위 배정이 가능하면 상담원·시간대·문의 유형이 한쪽으로 몰리지 않게 나누고, 어렵다면 배정 기준과 차이를 기록한 뒤 비슷한 구간끼리 비교합니다. 중요한 것은 “AI를 쓴 팀이 더 빨랐다”가 아니라 어떤 조건에서 빨라졌고, 어떤 조건에서 재문의·이관·수정이 늘었는지를 볼 수 있는 설계입니다.

상담 AI의 권한을 ‘사용’과 ‘미사용’으로만 나누면 현업이 실제로 어디에서 위험을 느끼는지 기록하기 어렵습니다. 다음처럼 단계별로 나누면 파일럿 범위와 승인선을 설명하기 쉬워집니다.
NIST AI RMF Core는 AI 시스템의 맥락과 적용 범위를 문서화하고, 사람의 감독 역할·책임·역량을 구분하며, 배포 뒤에도 성능과 위험을 계속 측정하도록 안내합니다. 상담 파일럿으로 옮기면 “누가 최종 답변을 책임지는가”, “어떤 입력은 AI에 보내지 않는가”, “어떤 신호에서 사람이 즉시 개입하는가”를 운영 문서에 적는 일입니다.
예를 들어 결제 취소, 본인 확인, 법적 분쟁처럼 외부 영향이 큰 문의는 AI가 초안을 만들더라도 자동 전송하지 않는 식으로 시작할 수 있습니다. 이것은 모든 조직에 맞는 정답이 아니라, 위험 허용 범위와 상담 정책을 확인하기 위한 실무 제안입니다.

파일럿에서 기록할 지표는 최소한 네 묶음으로 나눕니다.
속도가 올랐는데 재문의와 이관이 같이 늘었다면, AI가 상담원을 돕기보다 어려운 문제를 다음 단계로 밀어낸 것일 수 있습니다. 반대로 처리 시간은 비슷해도 신입이 근거를 더 빨리 찾고 관리자 도움 요청이 줄었다면, 조직이 원하는 효과가 그쪽에 있을 수 있습니다.
각 지표는 전체 평균과 함께 상담원 경험·문의 복잡도·채널별로 나눠 보세요. NBER 연구처럼 효과가 사람의 경험에 따라 달라질 수 있다는 근거가 있을 때는, 평균을 하나의 점수로 합치기보다 어느 구간에서 이득과 비용이 생겼는지를 보존하는 편이 안전합니다. 표본이 작거나 분류가 흔들리면 “효과 없음”이라고 단정하지 말고 다음 실험에서 무엇을 더 통제할지 적습니다.

처음부터 전사 도입을 약속하지 말고, 다음과 같이 짧은 검증을 설계할 수 있습니다.
중단 조건도 시작 전에 적어 둡니다. 예를 들어 근거가 없는 답변이 고객에게 그대로 전송되거나, 재문의율과 관리자 이관률이 기준선보다 연속해서 높아지거나, 개인정보가 허용 범위를 벗어나 입력되면 해당 권한을 즉시 추천 단계로 되돌립니다. 중단은 실패 선언이 아니라 더 큰 범위로 확장하기 전에 위험을 줄이는 운영 장치입니다.
상담 AI 파일럿을 실제 업무에 붙이려면 다음 네 가지 산출물을 먼저 합의하는 일이 좋습니다.
이 글의 수치와 연구 결과는 특정 고객지원 환경에서 나온 외부 근거입니다. 조직의 상담 채널, 상품 위험도, 데이터 권한, 상담원 교육 방식이 다르면 결과도 달라질 수 있습니다. 우리 조직의 문의 구간과 승인선을 먼저 그린 뒤 작은 범위에서 확인해야 합니다.
상담 AI 파일럿의 대상 선정과 권한·측정 기준을 함께 설계하고 싶다면 아래 채널로 문의하실 수 있습니다.
NBER, Generative AI at Work — 고객지원 상담원 5,179명을 대상으로 한 생성형 AI 대화 보조 도입 연구의 표본·측정·이질적 효과를 확인했습니다.
NBER 원문 PDF — 연구 설계, 상담원 책임 범위, 한계와 세부 결과를 직접 확인했습니다.
NIST, AI RMF Core — AI 적용 맥락, 사람의 역할·감독, 배포 후 측정과 중단·관리 원칙을 참고했습니다.