사내 문서 RAG 챗봇 발주서: 근거 표기와 할루시네이션 검수 항목 정리

일반 챗봇 견적과 RAG 챗봇 발주서는 항목이 다릅니다

사내 문서를 근거로 답하는 RAG(검색 증강 생성) 챗봇은 겉보기에는 일반 챗봇과 비슷하지만, 발주서에 담아야 할 요구사항과 인수검수 기준이 전혀 다릅니다. 일반 챗봇이 '질문에 그럴듯하게 답하는가'를 본다면, RAG 챗봇은 '어느 문서를 근거로, 얼마나 정확하게, 지어내지 않고 답하는가'를 봐야 합니다. 비개발 실무자가 이 차이를 발주서에 옮기지 못하면, 데모에서는 잘 답하다가 실제 사내 문서에 붙이는 순간 출처 없는 답변과 운영비 급증이 드러납니다.

이 글은 견적 비교가 아니라, 인덱싱 범위, 근거 표기, 할루시네이션 통제, 개인정보 처리, 토큰 기반 운영비라는 다섯 축을 발주 요구사항과 검수 체크리스트로 바꾸는 방법에 초점을 맞춥니다.

발주서에 반드시 쓰는 요구사항: 인덱싱 범위와 근거 표기

무엇을 색인하고 무엇을 뺄지 먼저 정합니다

RAG 품질은 모델이 아니라 '무엇을 검색 대상으로 넣었는가'에서 갈립니다. 발주서에는 색인 대상 문서의 종류(사규, 제품 매뉴얼, 계약서, 회의록 등), 파일 형식(PDF, 한글, 스프레드시트, 이미지 스캔본), 갱신 주기, 그리고 색인에서 제외할 영역을 구체적으로 적어야 합니다. 특히 폐기된 구버전 문서, 접근 권한이 나뉜 부서 자료, 외부 공개 금지 자료의 처리 방식을 명시해야 '옛날 규정으로 답하는' 사고를 막습니다.

• 색인 대상 목록: 문서 종류별로 포함·제외를 표로 정리
• 권한 연동: 질문자의 접근 권한에 따라 검색 결과가 달라지는지(부서·직급별 필터링) 요구 여부
• 갱신 처리: 문서가 수정·폐기되면 색인이 언제, 어떻게 반영되는지

근거(출처) 표기는 '기능'이 아니라 '검수 기준'으로 적습니다

RAG 챗봇의 핵심은 답변마다 어느 문서의 어느 부분을 근거로 삼았는지 보여주는 것입니다. 발주서에는 '답변에 출처를 표기한다'를 넘어, 출처의 단위(문서명, 페이지, 문장·구절), 원문으로 바로 이동 가능한지, 근거가 없을 때 '해당 내용을 사내 문서에서 찾지 못했습니다'라고 답하는지를 요구사항으로 적어야 합니다. 참고로 Anthropic은 답변을 원본 문서에 근거시키고 각 주장이 인용한 문장을 반환하는 Citations 기능을 공개하며, 자체 구현 방식 대비 recall 정확도가 최대 15% 향상됐다고 밝혔습니다(Anthropic, Introducing Citations on the Anthropic API, 2025.01.23). 구현 방식은 업체마다 다르지만, '근거 문장 단위 표기'를 검수 가능한 기준으로 두는 것이 중요합니다.

할루시네이션과 개인정보, 운영비를 검수 항목으로 옮기기

할루시네이션은 '틀린 답'과 '지어낸 근거'를 나눠 테스트합니다

인수검수 때는 정상 질문뿐 아니라 사내 문서에 답이 없는 질문, 서로 다른 문서가 충돌하는 질문, 유도성 질문을 섞은 평가셋을 미리 만들어 검증해야 합니다. 체크리스트 예시는 다음과 같습니다.

• 문서에 없는 내용을 물으면 지어내지 않고 '모른다'로 답하는가
• 답변에 붙은 출처가 실제로 그 내용을 담고 있는가(출처는 있는데 내용이 다른 '가짜 근거' 여부)
• 구버전과 최신 문서가 충돌할 때 어느 쪽을 택하고 그 이유를 밝히는가
• 평가셋 통과 기준을 발주 시점에 수치가 아닌 '검수 통과 조건'으로 합의했는가

개인정보 처리는 권고와 의무를 구분해 적습니다

사내 문서에는 임직원 인사정보, 고객 연락처, 계약 상대방 정보가 섞이기 쉽습니다. 개인정보보호위원회는 생성형 AI 개발·활용 생애주기를 목적 설정, 전략 수립, AI 학습·개발, 시스템 적용·관리의 네 단계로 나누고 각 단계에서 확인할 최소한의 안전조치를 제시하는 안내서를 공개했습니다. 이 안내서는 모델 개발자뿐 아니라 모델을 이용해 AI 서비스를 만드는 '이용자'도 대상으로 합니다(개인정보보호위원회, 생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서, 2025.08.06). 다만 이는 법령 자체가 아니라 안내서인 만큼, 법적 의무와 권고·예시를 구분해 발주서에 담고, 실제 적용 범위는 자사 상황에 맞춰 법무 검토를 거치는 편이 안전합니다. 발주서에는 색인 전 개인정보 비식별·마스킹 처리 여부, 데이터 보관 위치(국내·해외), 질의·답변 로그의 학습 사용 금지 여부를 명시하세요.

운영비는 토큰 구조로 이해하고 발주서에 조건을 겁니다

RAG 챗봇은 질문마다 참조 문서를 함께 모델에 보내므로, 입력 토큰이 일반 챗봇보다 훨씬 큽니다. 입력 토큰과 출력 토큰은 별도 요율로 과금됩니다. Anthropic 공식 가격 문서 기준으로 100만 토큰당 Claude Opus 5.5는 입력 $4·출력 $20, Sonnet 5.5는 입력 $2·출력 $10, Haiku 5.5는 프롬프트 10만 토큰 이하에서 입력 $0.10·출력 $0.50이며, 프롬프트가 10만 토큰을 넘으면 입력 $0.50·출력 $2.50로 오릅니다(Anthropic, Pricing, 2026.11 확인). 같은 참조 문서를 반복해서 보내는 RAG 구조에서는 프롬프트 캐싱으로 입력 비용을 줄일 수 있는데, 캐시 읽기는 기본 입력가의 0.1배(Opus 5.5·Sonnet 5.5는 0.05배), 5분 캐시 쓰기는 1.25배, 1시간 캐시 쓰기는 2배로 과금됩니다(Anthropic, Prompt Caching, 2026.11 확인). 발주서에는 어떤 모델을 어느 작업에 쓰는지, 캐싱 적용 여부, 예상 월 질의량과 평균 참조 문서 크기를 근거로 한 월 운영비 추정 산식을 요구하세요.

발주 전 한 장으로 정리하기

RAG 챗봇 발주의 핵심은 '검색-근거-검증' 품질과 운영비 구조를 데모가 아닌 문서로 합의하는 것입니다. 인덱싱 범위와 제외 항목, 근거 문장 단위 표기, 할루시네이션 평가셋, 개인정보 처리 방식, 토큰 기반 월 운영비 산식. 이 다섯 가지를 발주서 요구사항과 인수검수 체크리스트 양쪽에 적어두면, 계약 후 분쟁이 크게 줄어듭니다. 사내 문서 RAG 챗봇 구축을 검토 중이시라면 AI·문서검색 솔루션 개발에서 요구사항 정리부터 함께 논의하실 수 있습니다.