챗봇 검수·운영 콘솔

단일·복합 조건, 연속 대화, 비교, 예외 시나리오를 묶음 단위로 실행하고 합격률과 중대 결함을 한눈에 보여줍니다. 중대 결함이 1건이라도 있으면 합격률과 무관하게 불합격으로 판정하는 하니스 구조.

• Vitest 기반 시나리오 러너와 기대·실제 결과 대조 리포트 생성
• Bull Queue로 시나리오 묶음을 병렬 실행하고 진행률 집계
• 중대 결함 우선 판정 규칙을 합격률 계산식에 분리 적용

시나리오 단위 합격 판정과 중대 결함 즉시 불합격 규칙을 분리해 검수 합격 기준을 코드로 고정하는 구조를 구현합니다.

답변의 의사·병원·평가 정보를 DB 레코드와 대조한 결과와 차단된 문장을 로그로 보여줍니다. 답변 문장을 엔티티 단위로 추출해 DB 레코드와 대조하고 불일치 시 차단·재생성하는 구조.

• 답변 엔티티 추출 후 레코드 ID 대조 검증 레이어 설계
• 불일치 유형별(없는 의사·잘못된 진료과·평가 조작) 차단 사유 분류
• 차단 이력 테이블과 필터 조회 API 구현

DB에 없는 정보가 포함된 답변을 사용자에게 내보내지 않고 차단 사유와 함께 로그로 남기는 검증 레이어를 설계합니다.

표준질환과 동의어·증상 연관을 관리하고 검색 결과 변화를 미리 확인합니다. 사전 변경 시 임베딩을 재계산하는 Bull 작업과 변경 이력 구조.

• 표준질환·동의어 테이블과 변경 이력 감사 테이블 설계
• 동의어 추가 시 임베딩 재생성 작업을 큐로 비동기 처리
• 사전 변경 전후 검색 결과 비교 미리보기 API 구현

사전 편집이 하이브리드 검색에 반영되는 과정을 큐 작업과 미리보기로 검증할 수 있는 관리 화면을 구현합니다.

LLM 호출 사용량을 모델·기능별로 집계하고 대화 로그를 가명처리한 상태로 열람하며 보관기간 파기 일정을 관리합니다. 저장 시 가명처리와 필드 암호화를 적용하고 보관기간 경과 건을 스케줄러로 파기하는 구조.

• 호출 단위 토큰 사용 기록 테이블과 일별 집계 Materialized View
• 대화 로그 저장 전 개인식별 정보 마스킹과 AES 필드 암호화 적용
• 보관기간 경과 로그를 파기하는 Cron 작업과 파기 이력 기록

건강 정보가 담긴 대화 기록을 가명처리·암호화해 저장하고 보관기간 경과 시 파기하는 흐름을 콘솔에서 확인하도록 설계합니다.