AI 개발 계약에 필요한 성능 평가와 검수 기준

AI 검수는 실제 업무 질문으로 시작합니다

AI 개발 계약에서 정확도라는 말만 쓰면 서로 다른 결과를 기대할 수 있습니다. 어떤 입력을 처리하고 어떤 결과를 허용할지, 판단할 수 없는 상황에서 어떻게 응답할지를 먼저 정해야 합니다. 보기 좋은 데모와 합의된 평가를 통과하는 시스템을 구분하세요.

평가 데이터와 판정 방법을 함께 고정하세요

개발용 자료와 검수용 자료를 분리하고 정상 입력, 애매한 질문, 자료에 없는 질문, 권한이 없는 요청을 포함합니다. 정답 판정 기준과 평가 표본, 응답 시간, 호출 비용, 사람의 승인 조건을 계약 산출물에 넣으세요. 모델이나 검색 자료가 바뀌면 같은 평가를 다시 실행할 수 있어야 합니다.

설계와 운영에서 확인할 항목

• 평가셋 기반 정확도 기준: 실제 업무 데이터로 만든 평가셋(테스트 케이스 모음)을 발주사와 벤더가 함께 확정하고, 정답률의 하한선을 인수 조건으로 합의합니다. 데모 화면이 아니라 이 평가셋 통과 여부로 검수합니다.
• 근거 없는 답변의 허용 기준: 근거 없는 답을 내놓는 비율의 상한을 정하고, 답변에 출처나 근거를 함께 반환하도록 요구합니다. 근거를 제시하지 못할 때는 '모른다'고 답하는 동작을 명세에 포함합니다.
• 중요 작업의 사람 승인 승인 단계: 금액 처리, 외부 발송, 데이터 삭제처럼 되돌리기 어려운 작업은 AI가 단독으로 실행하지 못하게 하고, 사람의 확인 단계를 거치도록 설계와 계약에 반영합니다.
• LLM 비용 상한과 모델 업데이트 조항: 호출량과 월 비용의 상한을 정하고 초과 시 알림과 차단 규칙을 둡니다. 벤더가 쓰는 모델이 바뀌거나 가격이 오를 때의 책임과 재검증 절차를 미리 계약에 적습니다.
• 운영 중 재평가와 모니터링 SLA: 인수로 끝내지 말고, 운영 중 정확도가 기준 아래로 떨어지면 재평가와 보정을 수행하는 주기와 응답 시간을 SLA로 명시합니다. 입력 데이터가 바뀌면 성능도 변하기 때문입니다.

프로젝트를 준비하고 있다면 위 항목을 요구사항과 검수 목록으로 정리해 개발 범위를 확인하세요. AI 개발 서비스에서 상담 범위를 확인할 수 있습니다.