
AI를 업무에 붙인 뒤 가장 곤란한 순간은 답변이 완전히 틀렸을 때만 오지 않습니다. 얼핏 맞는 것 같아서 한동안 쓰다가, 어느 날부터 사람이 다시 처음부터 확인하고 있을 때 더 늦게 문제를 알아차립니다. 팀 안에서 “쓸 만하다”와 “업무에 넣어도 된다”의 기준이 서로 다르기 때문입니다.
이때 프롬프트를 계속 고치는 것만으로는 부족합니다. 어떤 입력을 시험했고, 무엇을 통과로 볼지, 실패했을 때 누가 어떤 이유로 멈췄는지를 남겨야 다음 수정이 의미를 갖습니다. 이 글은 특정 고객사의 도입 성과를 보고하는 글이 아닙니다. OpenAI의 공식 evals 문서와 NIST AI RMF의 측정·모니터링 항목을 확인한 뒤, 개인 업무나 작은 팀에서 시작할 수 있는 실무 제안으로 정리했습니다.
회의록을 요약하거나 고객 문의를 분류하는 일은 AI에게 맡기기 쉬워 보입니다. 그런데 실제로 결과를 받아 보면 담당자는 다시 원문을 열어 봅니다. 요약이 틀려서일 수도 있지만, 더 자주 생기는 문제는 “어디까지 맞으면 통과인지”가 정해져 있지 않다는 데 있습니다.
예를 들어 문의 분류 결과가 대체로 맞아도 긴급 문의를 일반 문의로 보내면 업무상 실패입니다. 반대로 문장이 조금 투박해도 담당자가 다음 조치를 바로 고를 수 있다면 쓸 수 있습니다. 모델의 평균적인 정확도와 우리 업무의 통과 기준은 같은 말이 아닙니다.

평가셋은 거창한 데이터베이스부터 만드는 일이 아닙니다. 이미 사람이 처리했던 입력과 결과를 모아, “이 경우에는 무엇을 해야 하는가”를 비교할 수 있게 만드는 작은 시험 묶음입니다. 정상 사례만 모으면 모델이 무난한 답을 내는지는 볼 수 있어도, 실제로 멈춰야 하는 경계는 보이지 않습니다.
OpenAI 공식 문서는 평가 데이터의 구조와 사람이 붙인 정답을 정의하고, 모델 출력이 그 기준을 만족하는지 grader(채점기)로 비교하는 흐름을 예시로 보여 줍니다. 우리 업무에 적용하면 다음 세 종류를 함께 넣는 편이 좋습니다.
이렇게 모은 자료는 “AI가 잘하나?”를 묻는 목록이 아니라, “이 업무에서 실패하면 안 되는 장면은 무엇인가?”를 합의하는 문서가 됩니다.

업무용 AI를 볼 때는 최소한 다음 세 층을 나눠 기록해 보세요.
첫째는 내용 기준입니다. 원문에 없는 사실을 덧붙이지 않았는지, 필수 항목을 빠뜨리지 않았는지를 봅니다. 둘째는 업무 기준입니다. 담당자가 다음 단계로 넘길 수 있는 형식인지, 우선순위가 실제 흐름과 맞는지를 확인합니다. 셋째는 책임 기준입니다. 사람이 다시 봐야 하는 조건, 외부로 보내면 안 되는 내용, 중단해야 하는 상황이 드러나는지 살핍니다.
세 기준을 한 점수로 합치면 어느 항목 때문에 실패했는지 알기 어렵습니다. 점수를 매기더라도 항목별로 남겨야 프롬프트를 바꿀지, 입력 자료를 보강할지, 아예 사람 단계로 되돌릴지 결정할 수 있습니다.
실패한 답만 저장하면 다음 사람이 같은 실수를 반복합니다. 최소한 아래 항목은 한 줄로 남겨 두는 것이 좋습니다.
NIST AI RMF는 테스트 세트와 측정 방법을 문서화하고, 배포 뒤에도 시스템의 기능과 행동을 모니터링하며 오류를 추적하라고 설명합니다. 이는 규정 준수 문서만을 뜻하지 않습니다. 우리 팀이 다음 개선에서 무엇을 비교했는지 되짚을 수 있는 운영 기록에 가깝습니다.
처음부터 전사 업무를 자동화하려고 하면 평가 대상과 책임자가 너무 많아집니다. 먼저 한 사람이 매일 반복하고, 결과의 다음 단계가 분명한 업무 하나를 고르는 편이 낫습니다. 예를 들면 문의를 세 범주로 나누거나, 회의 메모에서 후속 할 일만 뽑는 작업입니다.
작은 시험에서는 자동화율을 높이는 것보다 실패를 발견하는 속도를 봅니다. 같은 입력 묶음에 프롬프트나 자료 연결을 하나씩 바꿔 보고, 어떤 조건에서 결과가 달라졌는지 기록합니다. 기준을 통과하지 못한 결과는 억지로 자동화하지 않고 사람 검토 단계에 남겨 두는 것이 시험의 일부입니다.

AI/AX 컨설팅에서 제가 함께 정리할 수 있는 산출물은 특정 도구의 사용법만이 아닙니다. 현재 업무에서 반복되는 입력과 결과를 분리하고, 평가셋에 넣을 실패 장면을 고르고, 통과 기준과 사람의 승인 지점을 한 장의 흐름으로 정리하는 일입니다. 필요하면 작은 범위의 시험을 설계하고, 기록을 바탕으로 계속 쓸지 멈출지 판단할 수 있게 합니다.
다만 평가셋이 있다고 자동화가 성공하는 것은 아닙니다. 원문을 확보할 수 없거나, 담당자가 통과 기준에 합의하지 못하거나, 실패했을 때 되돌릴 절차가 없다면 먼저 그 조건을 해결해야 합니다. 평가셋은 도입을 정당화하는 장식이 아니라, 도입하지 말아야 할 이유도 드러내는 도구입니다.
새 도구를 더 붙이기 전에 최근 처리한 업무 몇 건을 펼쳐 놓고 아래 질문에 답해 보세요.
이 세 질문에 답이 남으면 AI를 잘 쓰는 법보다 먼저, 우리 업무에서 무엇을 시험해야 하는지가 보입니다. 결과를 더 매끄럽게 만드는 것보다 결과를 비교할 수 있게 만드는 일이 정착의 시작입니다.
반복 업무에 AI를 붙였는데 결과가 들쭉날쭉하거나, 무엇을 통과로 볼지 팀 안에서 정하기 어렵다면 현재 업무명·반복 빈도·가장 자주 멈추는 사례만 정리해 주세요. 입력 자료, 평가셋, 사람의 검수 지점을 함께 진단하고 작은 시험 범위를 설계할 수 있습니다.