
회의 직전에 팀원이 이렇게 묻는 장면을 생각해 보겠습니다. “이번 분기 고객 데이터는 어느 범위까지 공유할 수 있죠?” 사내 문서를 연결한 AI가 그럴듯한 답을 내놓았지만, 담당자는 곧바로 복사해 보내지 못합니다. 검색된 문서가 지난 분기 정책인지, 질문한 사람이 그 문서를 볼 권한이 있는지, 답변의 어느 문장이 어떤 원문에 기대고 있는지 한 번에 확인하기 어렵기 때문입니다.
검색증강생성(RAG)은 질문에 맞는 자료를 검색하고, 검색 결과를 모델의 입력에 보강하고, 그 근거를 바탕으로 답을 생성하는 패턴입니다. Microsoft의 RAG 설명도 색인이 문서 제목·URL 같은 메타데이터를 함께 보관하면 인용 품질을 높일 수 있다고 설명합니다. 하지만 RAG를 붙였다는 사실만으로 답변이 최신이거나, 권한에 맞거나, 검증 가능한 것은 아닙니다.
이 글은 특정 조직의 검색 정확도나 비용 절감을 주장하지 않습니다. Microsoft 공식 문서와 NIST AI 위험관리 프레임워크가 설명하는 검색·권한·문서화 원칙을 바탕으로, 사내 문서 검색을 업무에 연결할 때 먼저 설계할 세 가지 경계와 작은 파일럿 방법을 제안합니다. 예시 상황은 모두 가정입니다.

사내 검색을 도입하면 처음에는 “질문을 잘 이해하는가”를 먼저 보게 됩니다. 그러나 현업이 실제로 멈추는 지점은 질문 이해만이 아닙니다. 답변이 참고한 문서가 무엇인지, 그 문서가 현재 업무에 적용되는지, 답변을 받은 사람이 그 내용을 사용해도 되는지가 함께 확인되어야 합니다.
따라서 첫 화면에 답변 문장만 크게 보여 주기보다 다음 네 가지를 함께 보여 주는 편이 좋습니다.
Microsoft 문서는 RAG를 검색–보강–생성의 흐름으로 설명하면서, 검색 결과가 불완전하면 모델이 근거가 있어도 부정확한 답을 만들 수 있다고 적습니다. 이 점에서 검색 시스템의 목표는 “대답을 내놓기”보다 “대답을 검토할 수 있게 만들기”에 가깝습니다. 우리 조직에서 첫 질문은 “어떤 모델을 쓸까?”보다 “어떤 답변을 누가 어떤 근거로 채택할까?”가 되어야 합니다.

파일이 최근에 수정됐다는 사실과 내용이 현재 유효하다는 사실은 다릅니다. 초안에 메모를 추가한 날짜가 최신일 수 있지만, 실제 정책의 시행일은 이전일 수 있습니다. 반대로 오래 수정되지 않은 운영 매뉴얼이 현재도 유효할 수도 있습니다.
문서를 색인하기 전에 최소한 다음 메타데이터를 정해 두세요.
| 메타데이터 | 확인 질문 | 없을 때의 처리 |
|---|---|---|
| 적용일·종료일 | 이 내용이 어느 업무 기간에 유효한가? | 답변에서 유효 기간을 모른다고 표시 |
| 문서 상태 | 초안·시행·폐기 중 어느 상태인가? | 시행 문서와 섞지 않고 검색에서 제외하거나 보류 |
| 책임자 | 내용이 바뀌면 누가 승인·갱신하는가? | 담당자 확인 전에는 자동 답변을 제한 |
| 원문 위치 | 사용자가 직접 열어 볼 수 있는가? | 인용 대신 검토 대기 상태로 표시 |
이 표는 검색 점수를 높이는 공식이 아니라 운영 제안입니다. 예를 들어 “이번 분기 고객 데이터”라는 질문에는 문서의 수정 시각보다 데이터 기준일, 정책 적용일, 예외 승인 기간이 더 중요할 수 있습니다. 검색 결과에 이 값들을 함께 담으면 담당자가 오래된 답을 최신 답으로 오해하는 일을 줄일 수 있습니다.

권한이 없는 문서를 모델에게 먼저 보여 준 다음 답변에서 가리는 방식은 안전한 경계가 아닙니다. 모델의 내부 추론에 이미 비인가 내용이 들어갔을 수 있고, 답변에 직접 나오지 않더라도 요약·비교·추론으로 새어 나올 수 있습니다.
Microsoft의 문서 수준 접근 제어 안내는 색인 단계에서 문서별 권한 메타데이터를 준비하고, 질의 시점에 사용자의 신원·그룹·역할과 대조해 결과를 잘라내는 방식을 설명합니다. 보안 필터 패턴도 문서에 사용자·그룹 식별자를 저장하고 검색 쿼리에서 필터를 적용하는 흐름을 보여 줍니다. 핵심은 “모델이 알아서 비밀을 지킨다”가 아니라 “허용된 결과만 모델 입력으로 넘어간다”는 구조입니다.
실무에서 먼저 정할 질문은 다음과 같습니다.
권한 필터가 없거나 최신 권한을 알 수 없는 자료는 검색 품질이 아무리 좋아도 업무용 답변의 근거로 쓰기 어렵습니다. 민감한 문서가 섞인 조직이라면 이 단계가 모델 선택보다 먼저입니다.

답변 아래에 문서 링크 하나를 붙이는 것만으로는 충분하지 않습니다. 어떤 문단이 어떤 문서의 어느 구간을 요약했는지, 원문이 말하지 않은 해석이 어디서 추가됐는지가 보여야 검토자가 빠르게 판단할 수 있습니다.
인용을 설계할 때는 다음처럼 답변의 단위를 쪼개 보세요.
Microsoft의 RAG 구현 안내는 인용 추적과 문서 수준 보안을 RAG의 중요한 과제로 함께 다룹니다. NIST AI RMF도 시스템의 지식 한계와 사람이 결과를 어떻게 감독하는지를 문서화하라고 권고합니다. 이 원칙을 적용하면 “AI가 그렇게 말했다”가 아니라 “이 답변의 이 문장은 이 원문의 이 구간에 기대고 있고, 이 조건에서는 사람 확인이 필요하다”라고 설명할 수 있습니다.

처음부터 전사 문서를 색인하지 말고, 질문이 반복되며 담당자가 확인할 수 있는 한 업무를 고르세요. 예를 들어 “고객 데이터 공유 범위”처럼 실제 문의가 자주 들어오지만 잘못 답했을 때 영향이 큰 질문 20~30개를 모을 수 있습니다. 목표는 높은 정답률을 발표하는 것이 아니라, 오래된 문서·비인가 문서·근거 부족 질문에서 시스템이 어떻게 멈추는지 확인하는 것입니다.
파일럿 원장에는 다음 항목을 남겨 보세요.
NIST가 말하는 측정·관리의 관점에서는 운영 중 오류와 불확실성을 계속 관찰할 수 있어야 합니다. 따라서 파일럿의 성공 조건을 “모든 질문에 답한다”로 두지 말고, “답할 수 없는 질문에서 멈추고 이유를 남긴다”로도 정의해야 합니다. 검색 결과가 비어 있을 때 억지로 일반론을 생성하지 않는 것이 오히려 업무에 맞는 동작일 수 있습니다.
사내 문서 검색을 업무에 붙일 때는 모델 교체보다 먼저 다음 경계를 함께 정리할 수 있습니다.
이는 특정 검색 제품이나 모델의 도입, 보안 인증, 정확도 수치를 보장하는 서비스 설명이 아닙니다. 문서 저장소의 권한 구조, 갱신 책임, 질문의 민감도, 현업 검토 시간에 따라 설계가 달라집니다. 첫 단계에서는 “누가 어떤 문서를 볼 수 있고, 답변의 어느 문장을 어떤 원문으로 확인할 것인가”를 한 장의 흐름으로 그려 보세요.
사내 문서 검색과 AI 답변을 실제 업무의 최신성·권한·검토 흐름에 연결하고 싶다면 아래 채널로 문의하실 수 있습니다.
Microsoft Foundry, Retrieval-augmented generation (RAG) — 검색·보강·생성 흐름, 인용 메타데이터, 검색 품질과 보안·비용의 한계를 확인했습니다.
Microsoft Azure AI Search, Document-level access control — 문서 권한 메타데이터와 질의 시점의 접근 제어 방식을 확인했습니다.
Microsoft Azure AI Search, Security filters for trimming results — 사용자·그룹 식별자 기반 검색 결과 필터 예시를 확인했습니다.
NIST, AI Risk Management Framework Core — 지식 한계, 사람 감독, 측정·관리와 문서화 원칙을 참고했습니다.