표지


AI가 엉뚱하게 답할 때, 요청문에서 빠진 기준부터 찾는 법

AI에게 분명히 물었다고 생각했는데 답이 자꾸 옆길로 갈 때가 있습니다. 원하는 형식이 아닌 글을 쓰거나, 질문하지 않은 내용을 길게 설명하거나, 그럴듯하지만 확인할 수 없는 사실을 섞는 경우입니다. 이때 “더 전문적으로 써줘”, “정확하게 답해줘”를 덧붙이는 것만으로는 방향이 잘 바뀌지 않습니다.


먼저 요청문에서 네 가지를 확인해 보세요. 무엇을 만들지, 누구를 위한 결과인지, 어떤 자료를 근거로 삼을지, 무엇을 통과 기준으로 볼지입니다. 이 네 가지 중 하나라도 비어 있으면 AI는 그 빈칸을 일반적으로 가장 그럴듯한 내용으로 채웁니다. 엉뚱한 답을 고치는 일은 문장을 길게 만드는 일이 아니라, 빠진 판단 기준을 찾아 넣는 일에 가깝습니다.


이 글은 특정 고객사의 도입 성과를 보고하는 글이 아닙니다. TTA·AWS·IBM·Anthropic의 공개 문서를 확인한 뒤, 그 내용을 개인 업무에서 점검할 수 있는 실무 제안으로 풀었습니다. 공식 자료에서 확인한 사실과 제가 덧붙인 적용 판단은 구분해서 적겠습니다.


‘엉뚱한 답’은 한 가지 문제가 아닙니다

섹션1


먼저 결과가 어느 방식으로 빗나갔는지 나눠 보는 편이 좋습니다.


각 문제의 원인이 다릅니다. 첫 번째는 독자와 난이도의 문제일 수 있고, 두 번째는 출력 형식의 문제일 수 있습니다. 세 번째는 근거와 금지선이 빠진 상태일 가능성이 큽니다. 네 번째는 프롬프트를 고치는 것보다 최신 자료를 연결하거나 확인하는 절차가 먼저일 수 있습니다.


TTA 정보통신용어사전은 프롬프트 엔지니어링을 원하는 결과를 얻기 위해 입력을 구조화하고 조정하는 과정으로 설명합니다. 핵심은 특정 문장 기법을 외우는 데 있지 않습니다. 결과를 바꾸는 입력 조건을 찾아 조정하는 데 있습니다.


첫 번째로, 결과의 목적을 한 문장으로 줄여 보세요

섹션2


“프롬프트엔지니어링을 설명해 줘”는 주제만 있고 목적은 없습니다. 읽는 사람이 개념을 이해하면 되는지, 업무에 적용할 방법을 고르면 되는지, 팀에서 사용할 요청문을 만들어야 하는지에 따라 답은 달라져야 합니다.


목적을 다음처럼 바꿔 적으면 방향이 선명해집니다.

생성형 AI를 처음 업무에 쓰는 사람이 답변이 빗나갔을 때 원인을 구분하고, 다음 요청문에서 고칠 항목을 선택할 수 있도록 설명해 주세요.


이 문장에는 결과를 읽은 뒤의 행동이 들어 있습니다. 단순한 정의를 나열하는 대신 원인을 구분하고 다음 요청문을 고르는 내용이 필요해집니다.


목적은 거창할 필요가 없습니다. “회의 요약을 팀 공유용으로 정리한다”, “상품 설명에서 확인되지 않은 주장을 걸러낸다”, “아이디어를 비교할 기준을 만든다”처럼 결과가 쓰일 장면이 드러나면 됩니다.


두 번째로, AI가 판단할 자료와 모르는 범위를 적어 보세요

섹션3


AI가 엉뚱한 답을 하는 가장 흔한 장면은 중요한 자료가 없는 상태에서 구체적인 결론을 요구할 때입니다. 독자의 상황, 참고할 원문, 기준 날짜, 제외할 내용이 비어 있으면 AI가 그 부분을 추정합니다.


설명을 위한 합성 예시를 보겠습니다. 다음 요청은 짧지만 판단 재료가 거의 없습니다.

우리 회사에 맞는 AI 자동화 방법을 추천해 줘.


이 요청만으로는 회사 규모, 반복 업무, 보안 조건, 사용하는 도구, 사람이 최종 승인해야 하는 단계가 보이지 않습니다. 그래서 답변은 업무 자동화의 장점을 넓게 설명하거나, 누구에게나 적용할 수 있는 도구 목록으로 흐르기 쉽습니다.


다음처럼 자료의 역할을 나누면 답의 범위가 달라집니다.

반복 업무는 고객 문의를 분류하고 담당자에게 전달하는 일입니다. 문의 원문에는 개인정보가 포함될 수 있어 외부 서비스로 보내기 전 검토가 필요합니다. 자동 분류 결과는 사람이 승인한 뒤 사용합니다. 이 조건에서 먼저 시험할 수 있는 흐름과, 아직 자동화하면 안 되는 단계를 구분해 주세요. 확인되지 않은 비용이나 성과 수치는 제시하지 마세요.


이 예시에서 중요한 것은 문장이 길어졌다는 사실이 아닙니다. AI가 사용할 수 있는 자료와 추정하면 안 되는 범위를 함께 적었다는 점입니다. 공개된 제품 문서나 내부에서 확인된 기록이 없다면, 그 사실도 입력 조건으로 밝혀 두는 편이 안전합니다.


세 번째로, 원하는 출력보다 먼저 판단 기준을 정하세요

섹션4


표로 달라거나 세 문단으로 써 달라는 형식 지시는 유용합니다. 하지만 형식만 맞고 결론이 쓸모없을 수 있습니다. 그래서 출력 형식과 함께 무엇을 좋은 결과로 볼지 적어야 합니다.


예를 들어 도구를 비교한다면 “장단점을 표로 정리해 줘”보다 아래 기준이 더 중요할 수 있습니다.


이 기준을 넣으면 AI가 보기 좋은 표를 만드는 데서 그치지 않고, 실제 선택에 필요한 항목을 중심으로 답할 가능성이 높아집니다. 기준을 충족하지 못한 항목은 “확인 필요”로 표시하라고 요청할 수도 있습니다.


Anthropic의 공식 문서도 프롬프트를 다듬기 전에 사용 사례의 성공 기준을 분명히 정의하고, 그 기준으로 경험적으로 시험할 방법을 마련하라고 안내합니다. 모든 문제가 프롬프트 문제인 것도 아닙니다. 지연 시간이나 비용은 모델 선택이나 시스템 설계가 더 직접적인 해결책일 수 있다고 설명합니다.


네 번째로, 한 번에 여러 문장을 고치지 말고 원인을 분리하세요

섹션5


답이 마음에 들지 않는다고 요청문 전체를 매번 다시 쓰면 무엇이 효과가 있었는지 알 수 없습니다. 처음에는 한 가지 조건만 바꿔 두 결과를 비교해 보세요.


예를 들어 같은 원문에 다음 순서로 시험할 수 있습니다.

  1. 독자와 결과 목적만 추가합니다.
  2. 참고 자료와 기준 날짜를 추가합니다.
  3. 제외할 주장과 검토 기준을 추가합니다.
  4. 출력 형식과 분량을 마지막에 정합니다.

이렇게 하면 “문체를 자연스럽게 해 달라”는 요청보다 독자 장면을 명시했을 때 결과가 좋아졌는지 확인할 수 있습니다. 두 결과를 비교할 때는 문장이 더 매끄러운지만 보지 말고, 목적을 충족했는지, 근거 없는 내용이 줄었는지, 사람이 검토하기 쉬운지 살펴봐야 합니다.


프롬프트 엔지니어링은 한 번의 주문으로 완벽한 답을 받는 기술이라기보다, 입력 조건과 결과 기준을 조금씩 맞춰 가는 작업에 가깝습니다. IBM은 대표적인 기법으로 예시를 제공하는 방식, 작업을 나누는 방식, 역할과 맥락을 지정하는 방식을 소개하지만, 기법 자체보다 어떤 결과를 개선하려는지 먼저 정하는 것이 중요합니다.


프롬프트를 더 고치기 전에 다른 원인을 확인할 때

다음과 같은 경우라면 요청문을 계속 다듬기보다 다른 단계부터 살펴보는 편이 낫습니다.


이때 필요한 것은 자료 연결, 모델 선택, 평가용 입력과 기준, 또는 업무 설계일 수 있습니다. 프롬프트는 AI에게 방향을 알려 주지만 없는 사실을 만들어 주는 자료 창고는 아닙니다. 좋은 요청문도 검증 절차를 대신하지 않습니다.


다음 요청문에서 바로 확인할 네 줄

섹션7


다음에 AI가 엉뚱한 답을 하면 요청문을 처음부터 다시 쓰기 전에 아래 네 줄만 채워 보세요.

목적: 이 답을 읽은 뒤 독자가 이해하거나 결정할 것


상황과 자료: AI가 판단에 사용할 원문, 독자 장면, 기준 날짜


금지선: 추정하면 안 되는 사실, 공개하면 안 되는 정보, 확인이 필요한 부분


통과 기준: 좋은 답으로 볼 조건과 사람이 마지막에 확인할 항목


그다음에도 결과가 빗나가면 문제의 종류를 다시 나누면 됩니다. 입력 자료가 부족한지, 목적이 모호한지, 형식만 잘못됐는지, 애초에 다른 도구나 업무 단계가 필요한지부터 확인하는 겁니다.


제가 프롬프트를 고를 때 가장 중요하게 보는 기준은 멋진 문구가 아니라 다음 행동이 분명해지는가입니다. AI가 답을 잘했는지 판단할 수 있고, 틀렸을 때 어느 조건을 고칠지 알 수 있다면 그 요청문은 이미 실무에서 쓸 수 있는 수준에 가까워집니다.


앞서 정리한 것처럼 AI 글이나 업무 결과가 어색할 때는 질문의 표현만 보는 대신, AI가 판단할 자료가 어떤 역할로 들어갔는지도 함께 봐야 합니다. 요청문을 고친 뒤에도 결과를 공개하거나 업무에 적용하기 전에는 원문과 근거를 사람이 다시 확인하는 단계가 남습니다.


참고한 공식 자료

AI/AX 업무를 함께 점검하고 싶다면

반복 업무에 AI를 붙였는데 결과가 들쭉날쭉하거나, 자동화 전에 사람이 확인해야 할 지점을 정하기 어렵다면 현재 업무명·반복 빈도·가장 자주 막히는 단계만 정리해 주세요. 그 정보를 바탕으로 입력 자료, 검수 기준, 작은 시험 범위를 함께 진단하고 설계할 수 있습니다.


💬 카카오톡 오픈채팅으로 AI/AX 컨설팅 문의하기


👤 류웅수 프로필 보기


#프롬프트엔지니어링 #AI활용 #생성형AI