표지


AI가 고객 문의를 분류해도, ‘급한 일’까지 정해주지는 않습니다

고객센터에 문의가 쌓이면 먼저 AI로 유형을 나누고 싶어집니다. 배송 지연, 결제 오류, 로그인 문제처럼 주제를 붙이면 담당 큐로 보내기 쉬워 보이기 때문입니다.


하지만 무슨 문의인지 알아내는 일과 지금 누가 먼저 처리해야 하는지 정하는 일은 다른 판단입니다. “배송이 늦어요”라는 문장은 단순 배송 문의일 수도 있고, 이미 결제한 고객이 약속된 날짜를 넘긴 긴급 이슈일 수도 있습니다. 반대로 화난 표현이 들어갔다고 항상 가장 높은 우선순위가 되는 것도 아닙니다.


아래 장면은 특정 고객사의 사례나 당사의 성과를 담은 글이 아닙니다. 고객지원 자동화를 설계할 때 사용할 수 있는 가정입니다. 문의를 잘 분류하는 모델과 실제 업무를 움직이는 운영 규칙을 어떻게 나눌지 정리해 보겠습니다.


문의의 주제와 처리 우선순위는 다른 질문입니다

섹션1


고객 문의 자동화에는 적어도 세 가지 질문이 섞여 있습니다.


첫째는 무슨 요청인가입니다. Microsoft의 Conversational Language Understanding(CLU)은 입력에서 의도(intent)와 엔터티(entity)를 예측하도록 학습할 수 있고, 실제 행동은 이를 사용하는 클라이언트 애플리케이션이 수행한다고 설명합니다. 라벨링한 데이터의 품질과 평가셋도 모델 결과에 영향을 줍니다. Microsoft 공식 문서


둘째는 얼마나 급한가입니다. 고객의 감정, 약속된 처리시간, 서비스 영향, 이미 시도한 해결 방법은 주제 분류만으로 결정되지 않습니다.


셋째는 무엇을 해도 되는가입니다. FAQ를 안내해도 되는지, 사람 큐로 넘겨야 하는지, 계정·결제·보상처럼 권한이 필요한 처리를 즉시 멈춰야 하는지는 별도 규칙입니다.


따라서 “분류 정확도가 높아졌으니 자동응답을 확대하자”는 결론은 한 단계가 빠져 있습니다. 분류 결과가 우선순위와 행동으로 넘어가는 조건을 따로 설계해야 합니다.


감정 점수 하나로 긴급도를 정하면 놓치는 장면이 생깁니다

섹션2


상담 분석 도구는 대화의 감정, 주제, 엔터티를 찾아 검토가 필요한 상호작용을 표시할 수 있습니다. Google Cloud의 Customer Experience Insights와 AWS Contact Lens도 대화 분석, 감정 분석, 주제·카테고리 식별을 제공한다고 설명합니다. Google 공식 문서, AWS 공식 문서


이 결과를 업무 우선순위와 같은 것으로 사용하면 다음과 같은 오판이 생깁니다.

관찰된 신호 실제로 확인할 질문
화난 표현이 많음 약속시간 초과나 서비스 장애처럼 즉시 영향이 있는가?
결제·환불 단어가 있음 자동 안내로 끝낼 수 있는가, 계정 확인과 권한 승인이 필요한가?
문의 유형의 확률이 높음 다른 유형으로 잘못 분류됐을 때 손실이 큰가?
정보가 충분해 보임 본인 확인, 주문 상태, 이전 처리 기록이 함께 확인됐는가?

감정은 참고 신호일 수 있지만, 긴급도는 조직이 정한 서비스 수준과 영향 기준으로 판단해야 합니다. 불확실한 문의를 ‘낮은 우선순위’로 보내지 않는 규칙이 분류 모델보다 먼저 필요할 때도 있습니다.


분류·우선순위·행동을 세 칸으로 나눕니다

섹션3


고객지원 흐름을 다음 세 칸으로 나누면 자동화의 경계가 보입니다.


1. 이해: 문의를 구조화합니다

의도, 상품·주문번호, 날짜, 채널 같은 정보를 추출하고 모르는 유형은 None 또는 확인 필요로 남깁니다. Microsoft CLU 문서의 평가 지표와 None 의도·신뢰도 임계값 설명처럼, 학습하지 않은 입력을 억지로 기존 유형에 넣지 않는 장치가 필요합니다. Microsoft 평가 문서


2. 우선순위: 업무 기준으로 큐를 정합니다

긴급도·영향·약속시간·고객 확인 상태를 조합해 우선순위를 정합니다. 이 단계는 모델 점수 하나로 결정하지 않고, 운영 정책과 담당자의 합의로 기준을 기록해야 합니다.


3. 행동: 허용된 다음 수만 실행합니다

정해진 FAQ 안내는 자동화할 수 있지만, 환불·계정 잠금 해제·보상 약속·민감정보 확인은 사람 큐나 별도 승인이 필요할 수 있습니다. NIST AI RMF Core도 사람과 AI의 역할·감독 책임을 구분하고, 배포 후 모니터링과 이의 제기·재검토·복구 절차를 마련하도록 설명합니다. NIST AI RMF Core


세 칸을 분리하면 “모델이 무엇을 예측했는가”와 “조직이 무엇을 허용했는가”를 한 화면에서 구분할 수 있습니다.


작은 파일럿은 정답률보다 놓치면 안 되는 문의를 봅니다

섹션4


처음에는 반복되는 문의 유형 하나를 고르고, 과거 대화 표본으로 검증해 보세요. 표본에는 정답 라벨과 함께 “사람에게 즉시 넘겼어야 했는가”와 “사람이 결과를 뒤집었는가”도 남깁니다.


확인할 항목은 다음과 같습니다.


이 기록이 있어야 모델을 다시 학습할지, 라벨 체계를 바꿀지, 운영 규칙을 고칠지 구분할 수 있습니다. 특정 정확도 목표를 미리 약속하기보다 놓치면 안 되는 문의를 얼마나 안전하게 사람에게 연결했는지를 먼저 확인하는 방식입니다.


우리가 함께 설계할 수 있는 범위

섹션5


AI/AX 컨설팅에서는 고객 문의를 곧바로 챗봇 답변으로 바꾸지 않습니다. 현재 문의가 어느 채널로 들어오고, 누가 우선순위를 정하며, 어떤 처리에 권한과 기록이 필요한지부터 확인합니다. 그다음 아래 산출물을 함께 만들 수 있습니다.


상담 자동화의 시작점은 어떤 문의를 놓치면 안 되고 어느 행동을 사람의 승인으로 남길지 정하는 일입니다. 모델 선택은 그 다음입니다. 업무명, 문의가 들어오는 빈도, 현재 가장 오래 걸리는 이관 장면을 알려 주시면 그 경계부터 같이 그려볼 수 있습니다.


💬 카카오톡 오픈채팅으로 AI/AX 컨설팅 문의하기


👤 류웅수 프로필 보기


#AI #AX #고객지원 #문의분류 #업무설계