표지


AI가 PR을 검토해도, 머지 기준과 테스트 책임은 사람이 먼저 정해야 합니다

풀 리퀘스트(PR)가 올라오면 AI 리뷰를 먼저 요청하는 팀이 많아졌습니다. 몇 초 뒤 문제 후보와 수정 제안이 줄줄이 달리면, 리뷰어가 읽어야 할 코드가 줄어든 것처럼 느껴집니다. 그런데 코멘트 수가 늘었다고 해서 그 변경을 머지해도 된다는 판단까지 자동으로 생기지는 않습니다.


이 글은 특정 고객의 개발팀 성과나 당사의 운영 결과를 말하는 글이 아닙니다. GitHub Copilot code review 공식 문서, Copilot 리뷰 사용 안내, Google Code Review 가이드, NIST AI RMF를 바탕으로, AI 리뷰를 머지 전 검증 흐름에 넣을 때 필요한 기준을 정리한 실무 제안입니다.


코멘트가 많아도 머지 기준은 생기지 않습니다

섹션1


AI가 PR을 읽고 “이 부분은 예외 처리가 필요합니다”, “이 테스트를 추가해 보세요”라고 말해도 그 코멘트는 검토 대상입니다. 코멘트가 맞는지, 이번 변경 범위에 해당하는지, 실제 실패를 재현하는지는 저장소의 코드와 테스트를 보고 판단해야 합니다.


예를 들어 결제 화면의 조건문을 고치는 PR에 AI가 입력값 검증을 제안했다고 하겠습니다. 제안 자체는 유용할 수 있지만, 운영 코드의 규칙과 맞는지, 기존 테스트가 경계값을 다루는지, 새 테스트가 실제 결함이 있을 때 실패하는지는 별도의 질문입니다. 반대로 AI가 아무 코멘트도 남기지 않았다고 해서 변경에 문제가 없다는 뜻도 아닙니다.


GitHub 공식 안내도 Copilot code review가 문제를 찾아 수정 제안을 할 수 있다고 설명하면서, 기본 리뷰는 Comment이며 Approve나 Request changes가 아니라고 구분합니다. 즉 AI 코멘트는 리뷰 과정에 들어오는 신호이지, 팀의 필수 승인이나 코드 소유자의 책임을 자동으로 대신하는 증거가 아닙니다.


AI 리뷰와 코드 리뷰는 같은 일이 아닙니다

섹션2


Google의 Code Review 가이드는 리뷰에서 설계, 기능, 복잡도, 테스트, 이름, 주석, 스타일, 문서를 살펴보라고 안내합니다. 코드가 실행되는지만 보는 것이 아니라, 이 변경이 시스템에 들어가도 되는지와 다음 사람이 유지할 수 있는지를 함께 확인하는 구조입니다.


AI가 잘하는 지점과 사람이 맡아야 할 지점을 분리하면 흐름이 선명해집니다.


이 구분은 AI를 덜 쓰자는 뜻이 아닙니다. AI를 초벌 관찰자로 두고, 머지 조건은 저장소의 테스트·소유권·릴리스 규칙에 연결하자는 뜻입니다. NIST AI RMF가 강조하는 사람의 역할과 감독도 이 지점에서 구체적인 체크 항목으로 바꿔야 합니다.


변경 유형별로 확인할 증거를 나눕니다

섹션3


모든 PR에 같은 리뷰 질문을 붙이면 코멘트만 늘고 중요한 증거가 묻힐 수 있습니다. 먼저 변경 유형을 나누고, 유형별로 “머지 전에 무엇이 확인되어야 하는가”를 적는 편이 낫습니다.


예를 들어 다음처럼 시작할 수 있습니다.

변경 유형 AI가 보조할 수 있는 일 사람이 확인할 증거
입력·권한 변경 누락된 검증과 위험한 경로 후보 표시 권한 경계, 거부 케이스 테스트, 로그 정책
계산·규칙 변경 경계값과 기존 분기 비교 요구사항 예시, 회귀 테스트, 기존 결과와의 차이
외부 연동 변경 예외 응답과 재시도 후보 표시 장애 시 동작, 타임아웃·중복 처리, 실제 계약
화면·사용자 흐름 변경 누락된 상태와 접근성 후보 표시 사용자 시나리오, 브라우저 확인, 문서 변경
구조·성능 변경 복잡한 경로와 중복 코드 후보 표시 설계 이유, 부하 기준, 롤백 방법

표에서 AI 칸은 추천이나 초벌 확인을 뜻하고, 마지막 열은 머지 조건을 뜻합니다. 어떤 모델을 쓰든 이 경계가 없으면 팀은 “AI가 지적하지 않았다”를 품질 기준처럼 사용하게 됩니다. 반대로 사람이 모든 줄을 같은 강도로 읽지 않고 변경 유형에 맞는 증거를 요구하면 리뷰 시간과 책임 범위를 함께 설명하기 쉬워집니다.


작은 PR 스무 건으로 검증 루프를 만듭니다

섹션4


처음부터 전 저장소의 PR에 AI 리뷰를 켜기보다, 최근 PR 스무 건 정도를 골라 같은 기준으로 비교해 보는 방법을 제안합니다. 이 숫자는 성과를 보장하는 기준이 아니라, 팀이 흐름을 관찰할 수 있을 만큼 작게 시작하기 위한 예시입니다.


각 PR에서 다음을 별도로 기록합니다.

  1. AI가 남긴 코멘트 중 실제로 수정할 가치가 있었던 것과 그렇지 않은 것
  2. 사람이 발견했지만 AI가 언급하지 않은 결함·요구사항 누락·경계 조건
  3. 테스트가 통과했지만 리뷰어가 추가로 확인한 내용
  4. 코멘트를 반영한 뒤에도 남은 불확실성과 최종 승인자

코멘트는 결함 가능성, 보안·권한, 테스트 후보, 스타일·가독성, 이번 범위 밖처럼 분류할 수 있습니다. 중요한 것은 AI 코멘트의 개수가 아니라, 어떤 종류의 판단을 보조했고 어떤 종류는 여전히 사람이 맡았는지 확인하는 일입니다.


이 기록으로 팀은 두 가지를 판단할 수 있습니다. 첫째, AI 리뷰를 켜도 사람이 반드시 읽어야 하는 변경 유형이 무엇인지 알 수 있습니다. 둘째, 테스트 통과를 머지 승인과 혼동하고 있지는 않은지 드러납니다. 결과가 좋지 않다면 기능을 넓히기보다 기준표나 테스트 자체를 먼저 고치는 편이 안전합니다.


우리가 함께 설계할 수 있는 범위

섹션5


AI 코드 리뷰를 도입할 때는 도구를 켜는 일보다 현재 PR 흐름을 먼저 그려야 합니다. 어떤 저장소에서 어떤 변경이 반복되고, 지금 리뷰어가 확인하는 증거가 무엇인지부터 확인합니다.


함께 정리할 수 있는 범위는 다음과 같습니다.


이 글의 제안은 특정 저장소의 품질이나 처리 속도를 보장하지 않습니다. 저장소의 테스트 수준, 코드 소유권, 배포 규칙, AI 도구의 설정에 따라 결과가 달라집니다. 다만 “AI가 리뷰했으니 승인해도 된다”는 문장을 “이번 변경에서 어떤 증거가 확인됐고 누가 최종 책임지는가”라는 질문으로 바꾸는 것부터 시작할 수 있습니다.


개발팀의 PR 흐름과 AI 리뷰 기준을 함께 정리하고 싶다면 아래 채널로 문의하실 수 있습니다.


💬 카카오톡 오픈채팅으로 AI/AX 컨설팅 문의하기


👤 류웅수 프로필 보기


참고 자료

GitHub Copilot code review 공식 문서 — PR의 문제 후보와 수정 제안을 설명하는 범위를 확인했습니다.


GitHub Copilot 리뷰 사용 안내 — 기본 리뷰가 댓글이며 필수 승인과 구분된다는 내용을 확인했습니다.


Google Code Review 가이드 및 리뷰어가 확인할 항목 — 설계·기능·복잡도·테스트·문서와 코드 소유권을 검토 기준으로 삼는 내용을 참고했습니다.


NIST AI RMF — AI 시스템의 사람 역할과 감독을 정의·평가하는 관점을 참고했습니다.


#AI코드리뷰 #개발생산성 #AX컨설팅 #테스트자동화