
현장 품질팀이 제품 사진을 AI에 보내면 불량 후보를 빠르게 표시할 수 있습니다. 하지만 사진의 각도나 조명이 달라진 날에도 같은 기준으로 판정할 수 있을까요? 표시된 점수를 곧바로 합격·폐기 결정으로 연결하면, 모델의 문제가 아니라 촬영 조건의 변화와 책임선의 부재가 품질 사고로 이어질 수 있습니다.
Microsoft의 Image Analysis 투명성 문서는 이미지 결과를 실제 정답(ground truth)과 비교해 참·거짓 양성·음성을 구분하고 정밀도와 재현율을 상황에 맞게 선택해야 한다고 설명합니다. Google Cloud의 Manufacturing Data Engine 문서는 제조 데이터 허브와 엣지 기반 Visual Inspection AI를 별도 구성요소로 제시합니다. NIST AI 위험관리 프레임워크는 사용 맥락, 사람의 감독, 배포 후 측정과 한계를 문서화하라고 안내합니다.
이 글은 특정 비전 모델의 성능이나 고객 도입 성과를 주장하지 않습니다. 위 공식 문서를 바탕으로 현장 사진 검사를 업무에 붙일 때 먼저 정해야 할 조건과 작은 파일럿 방법을 제안합니다.

현장에서는 “사진을 올리면 불량 여부를 알려 달라”는 요구부터 나오기 쉽습니다. 그러나 모델이 보는 것은 제품 자체가 아니라 카메라에 들어온 픽셀입니다. 카메라가 조금 위로 올라갔거나, 반사광이 생겼거나, 제품이 프레임 밖으로 밀렸다면 같은 제품도 다른 입력이 됩니다.
Microsoft 문서가 설명하듯 이미지 결과의 정확도는 실제 시각 내용과 AI 출력이 얼마나 맞는지로 평가해야 합니다. 그러려면 먼저 어떤 사진을 평가 대상으로 삼을지 정의해야 합니다. 이 부분은 특정 제품 문서가 정해 주는 운영 규칙이 아니라, 현장에 적용하기 위한 실무 제안입니다.
첫 파일럿에서는 다음 촬영 계약을 한 장으로 고정하는 편이 좋습니다.
| 항목 | 기록할 기준 | 기준을 벗어나면 |
|---|---|---|
| 위치 | 제품 기준점과 카메라 거리·각도 | 재촬영 큐로 보냄 |
| 조명 | 광원 방향, 밝기 범위, 반사 허용 범위 | 판정 보류 |
| 범위 | 한 사진에 포함되어야 할 부위 | 누락 부위 재촬영 |
| 식별 | 라인·시간·배치 번호 | 결과와 원본을 연결하지 않음 |
사진이 계약을 통과하지 못하면 모델 점수를 계산하기 전에 재촬영 필요로 돌립니다. 이 한 단계가 없으면 촬영 실패가 불량 판정으로 섞여, 나중에 모델을 바꿔도 원인을 찾기 어려워집니다.

AI 출력의 확률이나 점수는 업무 결정을 대신하는 문장이 아닙니다. 같은 0.82라는 값도 작은 흠집을 놓치면 안 되는 공정과, 오탐 때문에 라인이 자주 멈추는 공정에서 의미가 다릅니다. Microsoft 문서가 정밀도와 재현율의 선택이 상황에 따라 달라질 수 있다고 설명하는 이유도 여기에 있습니다.
그래서 첫 운영에서는 결과를 세 칸으로 나누는 제안을 합니다.
| 상태 | 의미 | 다음 행동 |
|---|---|---|
| 통과 후보 | 현재 촬영 조건과 기준에서 이상 신호가 낮음 | 표본 재검사 또는 다음 공정으로 이동 |
| 확인 필요 | 점수·사진·결함 종류가 기준 밖 | 품질 담당자가 원본과 함께 판정 |
| 재촬영 필요 | 사진이 기준을 충족하지 않음 | 같은 대상의 사진을 다시 수집 |
불량을 바로 확정하는 칸을 별도로 두려면 누가 어떤 근거로 확정하는지 먼저 정해야 합니다. NIST AI RMF의 Govern 3.2와 Map 3.5가 사람과 AI 구성에서 역할·책임과 감독 범위를 구분해 문서화하라고 안내하는 대목을 현장 판정에 적용한 것입니다. AI가 표시한 부위를 사람이 확인하는지, 재촬영을 요청할 권한이 누구에게 있는지, 폐기·출하 보류를 승인하는 사람이 누구인지가 한 줄씩 적혀 있어야 합니다.

사진 검사가 운영되면 “오늘 오탐이 몇 건이었나”만 모으기 쉽습니다. 하지만 오탐과 미탐을 다시 확인하려면 그 사진이 언제, 어느 라인에서, 어떤 카메라와 모델 버전으로 찍혔는지 알아야 합니다. 사람의 최종 판정과 판정을 바꾼 이유도 함께 남아야 다음 업데이트의 근거가 됩니다.
기록 항목은 거창한 데이터 플랫폼보다 한 건의 검사 이력에서 시작할 수 있습니다.
NIST AI RMF의 Measure 기능은 배포 전후의 테스트, 불확실성, 운영 중 동작과 한계를 기록하고 정기적으로 측정하라고 설명합니다. Google Cloud 문서도 제조 데이터 허브와 엣지 비전 검사를 서로 연결할 수 있는 구성으로 소개하지만, 연결 자체가 현장 판정 책임을 자동으로 정해 주는 것은 아닙니다. 이 글에서 제안하는 기록 항목은 그 연결을 실제 품질 흐름으로 바꾸기 위한 업무 설계입니다.

첫 파일럿의 목표를 “사진을 많이 자동 판정하기”로 잡으면 예외가 뒤로 밀립니다. 대신 한 라인의 한 결함 유형을 골라, 정상 사진·결함 사진·촬영 실패 사진을 함께 모으고 그림자 모드로 결과를 기록해 보십시오. 모델의 결과를 바로 공정 제어에 쓰지 않고 기존 검사와 나란히 비교하는 방식입니다.
2주 정도의 짧은 검증이라도 다음 질문에는 답이 남아야 합니다.
재촬영 필요가 늘어났는가?NIST는 AI 시스템을 실제 배포 조건과 비슷한 환경에서 평가하고, 일반화 한계를 기록하며, 운영 중 동작을 계속 모니터링해야 한다고 적습니다. 따라서 이 파일럿의 성공 기준도 정확도 하나가 아니라 재촬영률, 사람 확인 시간, 미탐의 심각도, 중단 조건이 재현되는지까지 포함해야 합니다. 이 수치와 기준은 조직의 공정 위험도에 따라 달라지며, 여기서는 도입을 위한 실무 제안으로만 제시합니다.
현장 사진 검사 도입을 검토한다면 먼저 공정 한 곳의 촬영 계약과 예외 상태를 정리하고, 기존 검사 기록에서 확인 가능한 표본을 골라 그림자 모드 파일럿을 설계할 수 있습니다. 그 다음에는 모델 선택보다 중요한 사람 승인선, 재촬영 큐, 기록 항목, 중단 조건을 문서로 남기고 실제 검토 시간을 측정합니다. 어떤 도구를 쓰든 업무명·사진이 들어오는 빈도·현재 가장 자주 멈추는 예외를 알려 주시면 범위부터 함께 좁힐 수 있습니다.
Microsoft Learn, Transparency Note and use cases for Image Analysis — 이미지 결과를 ground truth와 비교하는 정확도·정밀도·재현율 정의와 제조 검사 범위 확장 사례를 확인했습니다.
Google Cloud, Manufacturing Data Engine overview — 제조 데이터 허브와 엣지 기반 Visual Inspection AI가 별도 구성요소로 연결될 수 있음을 확인했습니다.
NIST, AI Risk Management Framework Core — 사람의 감독·역할 구분, 배포 전후 측정, 운영 중 모니터링과 일반화 한계 기록 원칙을 참고했습니다.
태그: AI품질검사, 컴퓨터비전, 제조자동화, AX컨설팅, 현장품질, 업무설계