
신입 구성원이 온보딩 과제를 예상보다 빨리 제출했습니다. 결과물의 형식도 맞고, 설명에 인용된 자료도 그럴듯합니다. 그런데 멘토가 한 단계만 바꾼 질문을 던지자 답이 멈춥니다. 왜 이 방법을 골랐는지, 어디서 오류가 날 수 있는지, 다음 자료가 달라지면 무엇을 다시 확인해야 하는지 설명하기 어려운 상황입니다.
이 장면은 특정 고객의 실제 사례가 아니라, AI를 온보딩에 붙일 때 점검해야 할 업무 장면을 단순화한 가상 예시입니다. 과제가 끝났다는 사실과 그 과제를 독립적으로 수행할 능력이 생겼다는 사실은 같은 항목이 아닙니다. 교육 담당자와 팀 리더가 봐야 할 것은 AI를 썼는지의 여부보다 결과를 설명하고, 오류를 찾고, 조금 다른 문제에 적용할 수 있는지입니다.
Anthropic의 2026년 연구는 주니어 소프트웨어 엔지니어 52명을 대상으로 AI 사용이 학습 확인 결과에 미치는 영향을 무작위 대조 방식으로 살폈습니다. AI를 사용한 집단은 퀴즈 평균이 50%, 직접 코딩한 집단은 67%로 17%포인트 차이가 났습니다. 반면 AI 집단의 과제 완료 시간은 약 2분 빨랐지만, 시간 차이는 통계적으로 유의하지 않았습니다. 연구는 디버깅·코드 읽기·코드 작성·개념 이해를 확인했고, 특히 디버깅 문항에서 차이가 크게 나타났다고 보고합니다.
이 결과가 “AI를 쓰면 교육이 실패한다”거나 모든 직무의 학습을 예측한다는 뜻은 아닙니다. 표본이 작고, 특정 파이썬 라이브러리를 처음 다루는 상황에서 즉시 퀴즈를 본 연구이며, 장기적인 역량 변화까지 증명하지 않습니다. 다만 완료 속도만으로 학습을 판단하면 놓치는 항목이 생긴다는 질문을 온보딩 설계에 던져 줍니다.

AI가 만든 결과물이 틀리지 않았더라도, 그 안에 어떤 판단이 들어갔는지는 별도로 확인해야 합니다. 신입이 보고서를 제출했다면 다음 네 질문은 서로 다른 능력을 봅니다.
첫 번째 질문은 산출물 품질에 가깝고, 나머지는 독립 수행과 연결됩니다. AI를 허용한 과제에서 첫 번째만 확인하면 “완료”를 “습득”으로 잘못 읽기 쉽습니다. 반대로 AI를 무조건 금지하면 실제 업무에서 사용할 도구와 교육 장면이 분리됩니다.
NIST AI 위험관리 프레임워크의 핵심 기능은 AI를 운영할 때 역할과 책임, 사람의 감독, 역량과 교육을 조직의 맥락에서 정의하고 문서화하도록 안내합니다. 온보딩에 적용하면 AI 사용 여부를 감시하는 대신, 결과물·설명·오류 진단·변형 문제 대응을 각각 관찰 가능한 증거로 설계하는 편이 낫습니다.

아래 구조는 특정 연구에서 검증된 표준이 아니라, 온보딩 파일럿을 설계할 때 사용할 수 있는 실무 제안입니다. 한 과제를 세 번 반복하되, 매번 확인하려는 능력을 다르게 둡니다.
예를 들어 고객 문의를 분류하는 온보딩이라면, 첫 단계에서 분류 결과를 만들고, 두 번째 단계에서 경계 사례를 설명하게 하고, 세 번째 단계에서 정책 문구가 바뀐 문의를 다시 분류하게 할 수 있습니다. 핵심은 세 칸의 점수를 더해 하나의 “교육 점수”로 만들기보다, 어느 칸에서 막혔는지를 보존하는 것입니다.

프롬프트 길이나 AI 사용 횟수만으로 학습 태도를 판정하면 업무에 필요한 판단을 놓칠 수 있습니다. 대신 멘토가 다음 흔적을 확인할 수 있게 하세요.
이런 질문은 AI를 사용했는지보다 사람이 어떤 감독을 했는지를 봅니다. NIST AI RMF의 Govern·Map 항목도 조직이 AI 위험관리 교육을 제공하고, 사람의 역할·책임·감독 수준과 운영자 역량을 구분해 정의하도록 제시합니다. 신입에게도 “AI를 쓰지 말라”는 규칙보다 “어떤 결과를 직접 확인하고 언제 도움을 요청할지”를 알려 주는 편이 실제 역할과 맞습니다.
다만 이 기록을 감시 로그처럼 운영하면 안 됩니다. 학습을 위해 필요한 질문과 수정 근거만 남기고, 민감한 업무 자료나 개인 정보가 외부 도구로 전송되지 않도록 허용 범위도 함께 정해야 합니다.

처음부터 전 직무의 교육 과정을 바꾸기보다 한 역할의 한 모듈을 골라 시험해 보세요. 파일럿에서 남길 최소 증거 묶음은 다음과 같습니다.
제출률이나 소요 시간은 운영 지표로 유용하지만, 그것만으로 학습을 결론 내리면 안 됩니다. 네 칸의 증거를 따로 읽어 “어떤 단계에서 독립성이 생겼는가”를 확인해야 합니다. Anthropic 연구의 원문처럼 특정 작업·표본·즉시 평가에 한정된 자료는 장기 역량의 인과 증거가 아닙니다. 그러므로 파일럿 결과를 전사 정책으로 일반화하기 전에 직무·자료·멘토 방식이 달라져도 같은 관찰이 나오는지 다시 확인해야 합니다.
파일럿을 중단하거나 다시 설계할 조건도 미리 적습니다. 예를 들어 변형 문제에서 반복적으로 같은 개념을 설명하지 못하거나, 확인되지 않은 AI 답변이 그대로 외부 고객에게 전달될 위험이 있다면 과제 난도보다 검토 절차와 허용 데이터 범위를 먼저 조정해야 합니다.

AI를 활용한 온보딩을 설계할 때는 다음 범위를 한 장의 운영 문서로 합의해 두는 것이 좋습니다.
이 글에서 말한 ‘수행·설명·변형’은 교육 설계를 위한 제안이지, 모든 조직에 맞는 정답이나 연구로 검증된 표준은 아닙니다. 실제 적용은 직무의 위험도, 개인정보·영업비밀의 범위, 사용 도구의 보안 설정, 멘토가 가진 검토 시간에 따라 달라집니다. NIST AI RMF의 사람-AI 상호작용 부록도 운영 환경에서 사람과 AI의 역할·책임을 구분하고 문서화하는 접근을 설명합니다.
온보딩 과제를 AI로 더 빨리 끝내는 것과, 다음 문제를 스스로 안전하게 다루는 것은 다른 목표입니다. 두 목표를 같은 화면에서 섞지 않고 각각 확인할 수 있게 만들면, AI를 도입하면서도 교육의 빈틈을 발견할 수 있습니다.
AI를 활용한 온보딩 과제와 독립 수행 검증 범위를 함께 설계하고 싶다면 아래 채널로 문의하실 수 있습니다.
Anthropic, AI assistance and coding skills — AI 사용과 코딩 역량 확인을 비교한 무작위 대조 연구의 설계·결과·한계를 확인했습니다.
SWE-bench 관련 원문 연구(ArXiv) — 연구 표본, 평가 항목과 즉시 평가라는 범위를 확인했습니다.
NIST, AI Risk Management Framework Core — AI 위험관리 교육, 역할·책임, 사람의 감독과 운영자 역량을 확인했습니다.
NIST, AI Risk Management and Human-AI Interaction — 사람과 AI의 역할·책임을 구분하고 문서화하는 원칙을 참고했습니다.