RAG 파이프라인 진단 콘솔

문서 수집부터 답변 생성까지 6단계 파이프라인의 처리 흐름과 실패 지점을 한 화면에서 확인합니다.

• PostgreSQL 트리거 기반 스테이지별 처리 로그 적재, pgvector 임베딩 차원과 유사도 스코어를 함께 기록
• Recharts로 파이프라인 단계별 처리량·지연시간을 퍼널 형태로 시각화
• 실패 사례를 원인 유형(검색실패/근거부족/청킹오류)별로 자동 태깅하는 분류 로직 구현

PostgreSQL 트리거와 pgvector 메타데이터를 결합해 파이프라인 각 단계의 처리 이력을 추적 가능한 감사 로그 구조로 설계합니다

벡터 유사도, 키워드 매칭, 메타데이터 필터를 결합한 검색 가중치를 화면에서 직접 조정하고 결과 변화를 즉시 확인합니다.

• pgvector ivfflat 인덱스 기반 벡터 유사도 검색과 Postgres tsvector 전문 검색 병렬 실행
• 슬라이더 UI로 vector/keyword/metadata 3개 신호의 가중치를 실시간 조정, 결과 리스트 즉시 갱신
• 메타데이터 필터(문서유형·시행일·확인일) 조합을 URL 쿼리 상태와 동기화

단일 벡터 검색만으로 놓치는 키워드·메타데이터 매치를 함께 포착하도록 3개 신호를 가중합 스코어로 통합하는 검색 구조를 설계합니다

리랭커 적용 전후 검색 결과의 순위 변화와 응답 품질 차이를 나란히 비교합니다. 동일 질의를 리랭커 on/off 두 경로로 병렬 실행해 순위 diff와 상위 문서 변경 내역을 시각화합니다.

• 동일 질의에 대해 리랭커 적용/미적용 경로를 병렬 실행하는 비교 러너 구현
• 순위 변화를 좌우 대조 리스트 + 이동 화살표로 시각화하는 diff 컴포넌트 설계
• 리랭커 적용 시간과 원본 검색 대비 순위 변경 문서 수를 함께 기록

리랭커 on/off 두 경로를 병렬 실행해 순위 diff를 즉시 대조할 수 있는 비교 프레임워크를 구현합니다

근거 문서 기반으로 생성된 답변과 출처(문서명·시행일·확인일)를 함께 검증하고, 근거가 부족한 질의는 보류 처리합니다.

• 생성된 답변 문장과 근거 문서 chunk를 매핑해 인라인 출처 표기 구현
• 검색 신뢰도 임계값 기반 conservative fallback 로직 — 근거 부족 시 보류 응답으로 자동 전환
• OpenAI API 기반 답변 생성 요청에 근거 문서 컨텍스트를 구조화해 전달

검색 신뢰도 임계값 기반 보류 로직을 구현해, 근거가 확보되지 않은 질의에는 오답 대신 안내 메시지로 전환하는 안전장치를 설계합니다