결과물 검증 루틴 만들기

검토는 마지막에 붙이는 단계가 아니다

30분 만에 나온 12장 발표자료를 열어 본다. 폰트가 정갈하고 차트도 예쁘다. 그런데 4번 슬라이드의 매출 숫자가 본문 문단의 숫자와 다르다. 발견한 시점은 회의 시작 5분 전이다.

이런 사고는 검토를 나중에 붙이는 일 로 취급할 때 일어난다. 공식 문서의 문장은 이렇다. ChatGPT는 진행 상황을 보여 주고, 정보나 승인이 필요할 때 멈춘다. 영향이 큰 행동은 승인하기 전에 검토하고, 최종 결과는 쓰거나 공유하기 전에 확인한다. 그리고 첫 결과는 “검사하고 반박하고 개선할 수 있는 초안”으로 대하라고 권한다. 완성도 높은 답변도 여전히 불완전하거나 틀릴 수 있기 때문이다.

그래서 이 챕터의 목표는 “꼼꼼히 보자”는 다짐이 아니다. 매번 같은 순서로 돌아가는 루틴 을 만드는 것이다.

4단계 검증 루프

AI 생성 교육용 도해. 정확한 기능 조건과 세부 절차는 이 챕터의 본문 및 공식 참고 자료를 함께 확인한다

가장 값어치 있는 단계는 3번이 아니라 1번 이다. 검토 기준이 프롬프트에 들어 있으면 결과물이 검토 가능한 형태로 나온다. 공식 예시 프롬프트에도 이 요구가 그대로 들어 있다. “발견 사항과 제안을 분리하고, 근거가 약한 주장은 표시하고, 최종본으로 취급하기 전에 검토용 초안을 보여 달라.”

산출물을 열어 본다

공식 문서의 확인 항목은 다섯 줄이다.

• 중요한 숫자, 이름, 날짜, 인용, 주장 을 검증한다.
• 생성된 파일을 열고 모든 섹션·탭·슬라이드·페이지 를 살펴본다.
• ChatGPT가 올바르고 가장 최신인 원본 자료 를 썼는지 확인한다.
• 빠진 정보와 근거 없는 가정 을 찾는다.
• 결과가 목표를 놓쳤다면 범위를 좁힌 수정 을 요청한다.

“파일을 열고 모든 슬라이드를 본다”가 유난히 강조되는 이유가 있다. 대화창의 요약은 그럴듯하게 잘 쓰이지만, 실제 파일의 마지막 탭이나 마지막 슬라이드는 미완성 상태로 남아 있을 수 있다.

오른쪽 패널에서 슬라이드 썸네일과 확대 미리보기를 함께 본다. 요약만 읽고 넘기지 않는다 · 출처: OpenAI 공식 문서

산출물별 체크리스트

산출물	반드시 열어 볼 곳	자주 어긋나는 것
발표자료(deck)	모든 슬라이드, 발표자 노트, 차트의 축과 단위	본문 문단과 차트 수치 불일치, 마지막 슬라이드의 미완성 문장
스프레드시트	모든 탭, 수식이 참조하는 범위, 합계 행	요약 탭과 원본 탭의 합계 불일치, 빈 셀을 0으로 처리한 계산
메모·보고서	결론 문단, 근거로 든 인용, 각 숫자의 출처	원문에 없는 인용, 추정치를 확정치처럼 쓴 문장
사이트(Sites)	방문자 관점의 전체 흐름, 링크, 폼, 접근 범위	기밀 정보 노출, 의도보다 넓은 접근 범위

표의 마지막 줄은 7-2에서 다룬 공유 전 검토와 이어진다. 사이트는 여러 사람이 동시에 보는 결과물이므로 “내용 검토”와 “대상 검토”를 함께 한다.

압박 질문 여섯 개

공식 문서가 제시하는 되묻기 질문은 그대로 옮겨 쓸 만하다.

질문	무엇을 드러내나
이 내용에 어떤 출처를 썼나요	실제 근거의 존재 여부
주요 주장마다 출처를 표시해 주세요	근거와 문장의 대응 관계
어떤 가정을 했나요	숨은 전제
접근할 수 없었던 정보가 있나요	빠진 자료
무엇이 바뀌면 제안이 달라지나요	결론의 취약점
이 결과를 원본 파일과 다시 대조해 주세요	자료와 결과물의 불일치

여기에 문서가 덧붙인 한 문장이 중요하다. 자료에 접근하지 못했거나 작업의 일부를 완료하지 못했다면 그렇다고 분명히 말하도록 요청 한다. 명시된 공백은 자신 있는 추측보다 다루기 쉽다.

발견과 제안을 왜 분리해야 하나

발견(finding)은 자료에서 확인된 사실이고, 제안(recommendation)은 그 사실에 대한 판단이다. 둘이 섞인 문서는 검토가 불가능하다. “이탈률이 3주 연속 올랐으므로 온보딩을 개편해야 한다”는 문장에서 앞부분은 확인할 수 있고 뒷부분은 논의할 사항인데, 한 문장에 있으면 확인과 논의가 함께 흐려진다. 그래서 공식 예시 프롬프트가 매번 두 가지를 함께 요구한다. 발견과 제안을 분리하고, 근거가 약한 주장은 표시하라.

해보기

검토 기준을 넣은 요청

첨부한 인터뷰 노트와 설문 결과로 제품 리더십 회의용 8장 발표자료를 만들어 주세요.
가장 자주 나온 고객 문제 세 가지에 집중하고 근거를 함께 담아 주세요.
발견 사항과 제안을 분리하고, 근거가 약한 주장은 표시해 주세요.
각 숫자는 어느 파일에서 나왔는지 표시하고, 본문과 슬라이드의 숫자가 일치하는지
끝내기 전에 확인해 주세요.
최종본으로 취급하기 전에 검토용 초안을 먼저 보여 주세요.

압박 질문 한 묶음으로 던지기

지금 결과물을 검증하고 싶습니다. 다음을 순서대로 답해 주세요.
1. 각 주요 주장의 출처를 하나씩 표시해 주세요.
2. 어떤 가정을 했는지 나열해 주세요.
3. 접근하지 못한 자료가 있으면 그대로 알려 주세요.
4. 무엇이 바뀌면 제안이 달라지는지 알려 주세요.
5. 이 결과를 원본 파일과 다시 대조해 주세요.

문장별 근거 강도 분류

이 문서의 문장을 세 가지로 분류해 표로 정리해 주세요.
A: 첨부 자료에 직접 근거가 있는 문장
B: 자료에서 추론한 문장
C: 근거를 찾지 못한 문장
C에 해당하는 문장은 삭제하거나 "확인 필요"로 표시해 주세요.

스프레드시트 교차 검증

방금 만든 스프레드시트의 모든 탭을 열어 확인해 주세요.
요약 탭의 수치가 원본 탭의 합계와 일치하는지 대조하고, 어긋나는 셀 위치를 알려 주세요.
빈 셀을 어떻게 처리했는지도 설명해 주세요.

나쁜 예와의 대비는 분명하다. “검토해 주세요” 는 무엇을 볼지 정하지 않은 요청이고, 위 프롬프트들은 무엇을 어떤 기준으로 어떤 형식으로 확인할지 를 정한 요청이다.

책임 있는 사용의 기본

OpenAI Academy의 책임 있는 사용 안내는 검증 루틴의 배경을 이룬다. 비개발자 직장인에게 바로 적용되는 항목들이다.

• 직장과 OpenAI의 정책을 지킨다. 회사에서 쓴다면 회사 규칙이 먼저다. 업무에 쓰기 전에 조직의 AI 정책을 확인한다.
• 중요한 일에는 사람을 개입시킨다. ChatGPT는 부정확하거나 최신이 아닐 수 있으므로 중요한 사실은 신뢰할 수 있는 출처로 다시 확인한다.
• 편향과 관점을 살핀다. 모델은 편향에서 자유롭지 않으므로 결과를 주의해 검토하고 결론을 비판적으로 평가한다.
• 법률·의료·재무 조언에는 전문가 검토를 구한다. ChatGPT는 면허를 가진 전문가가 아니다. 중요한 결정은 자격 있는 전문가에게 확인하거나 조직 정책을 따른다.
• AI 사용을 투명하게 밝힌다. 조직이나 학교가 AI 사용 공개를 요구한다면 대화 링크나 기록을 남겨 어떻게 기여했는지 설명할 수 있게 한다.
• 다른 사람의 음성이나 데이터를 공유할 때는 동의를 받는다. 녹음 기능은 개인정보를 담을 수 있으므로 참가자 전원의 동의를 얻고 조직 정책을 따른다.
• 최신 정보가 필요하면 검색이나 딥리서치를 켠다. 그리고 인용을 확인하고 링크를 열어 세부를 검증한 뒤 결과에 의존한다.

공식 제품 문서도 같은 선을 긋는다. 법률·재무·의료·보안 등 영향이 큰 결정에는 적절한 전문가 검토가 필요하며, ChatGPT는 정보에 근거한 판단을 돕는 도구이지 판단을 대체하는 도구가 아니다. 기능 노출과 사용 조건은 플랜·플랫폼·지역·롤아웃·워크스페이스 설정에 따라 달라지므로, 조직에서 허용된 범위 안에서 쓰는 것도 검증의 일부다.

정리

• 검토는 요청 단계에서 시작한다. 발견과 제안 분리, 근거 약한 주장 표시, 최종 취급 전 초안 제출을 프롬프트에 넣는다.
• 진행 중 멈춤과 승인 요청을 읽고, 영향이 큰 행동은 승인 전에 검토한다.
• 파일을 열어 모든 섹션·탭·슬라이드·페이지를 본다. 숫자·이름·날짜·인용·주장을 검증한다.
• 출처, 가정, 접근하지 못한 자료, 결론이 바뀌는 조건을 되묻는다. 접근 실패는 추측이 아니라 공백으로 말하게 한다.
• 회사 정책이 먼저다. 법률·의료·재무·보안 판단에는 전문가 검토가 따로 필요하다.

다음 섹션에서는 지금까지 배운 기능들을 직무별·상황별 워크플로로 조립한다. 검증 루틴은 그 모든 워크플로의 마지막 단계로 계속 등장한다.

이해도 점검

퀴즈를 불러오는 중…