← 포트폴리오 목록
서베이렌즈 통계 분석 시스템
본 프로젝트는 스캔된 수기 설문지를 업로드하면 외부 AI OCR API 연동으로 텍스트·손글씨 응답을 자동 인식하고, t-test·ANOVA·정규성 검사 등 통계 분석을 자동 수행해 실시간 대시보드로 시각화하는 맞춤 구현한 프로젝트입니다.
OCR 후처리 정규화 규칙 엔진 구축체크박스/숫자/서술형 필드별 정규식 기반 보정 규칙 12종 설계, 오탐 항목 자동 재검수 플래그 처리
통계 검정 자동화 파이프라인 설계scipy.stats 기반 t-test/ANOVA/Shapiro-Wilk 정규성 검사를 문항 유형별로 자동 분기하는 로직 구현
실시간 통계 위젯 갱신 구조 구현WebSocket 이벤트 기반으로 OCR 처리 완료 즉시 대시보드 위젯 6종을 자동 갱신하는 구조 설계
Overview
프로젝트 개요
본 프로젝트는 스캔된 수기 설문지를 업로드하면 외부 AI OCR API 연동으로 텍스트·손글씨 응답을 자동 인식하고, t-test·ANOVA·정규성 검사 등 통계 분석을 자동 수행해 실시간 대시보드로 시각화하는 맞춤 구현한 프로젝트입니다. React 18 + FastAPI(Python) 기반으로 OCR 후처리 정규화, 통계 엔진, 리포팅 대시보드를 하나의 파이프라인으로 통합해 설계합니다.
요구사항 정의
프로젝트 핵심 과제
프로젝트 진행 시 해결한 핵심 기술 과제입니다.
완전 자유 서체·악필 손글씨 응답은 OCR 인식률이 외부 API 품질에 의존하는 리스크
신뢰도 임계값 기반 수기 보정 큐로 대응합니다
체크박스·복수응답 문항의 정규화 과정에서 오탐지가 발생할 수 있으며
문항 유형별 정규화 규칙과 재검수 플래그로 대응합니다
대량 스캔본 동시 업로드 시 OCR API 호출 제한(rate limit)에 걸릴 수 있으며
큐 기반 순차 처리와 지수 백오프 재시도로 대응합니다
표본 크기가 작은 그룹 비교 시 정규성 검사 결과에 따라 모수/비모수 검정을 다르게 선택해야 하는 통계적 판단 로직 설계가 필요합니다
핵심 기능 1
실시간 리포팅 대시보드
관리자가 접속 시 전체 설문 진행 현황과 핵심 통계 지표(응답자 수, 문항별 평균, 검정 결과)를 실시간으로 확인할 수 있는 통합 대시보드를 제공합니다
핵심 기능 2
설문지 업로드
관리자가 스캔된 설문지 PDF/이미지를 일괄 업로드하면 외부 AI OCR API 연동으로 텍스트·숫자·체크박스·손글씨 응답까지 자동 인식해 정형 데이터로 변환합니다
핵심 기능 3
통계 분석
문항별 응답 데이터를 기반으로 평균·표준편차 산출은 물론 t-test, ANOVA, 정규성 검사 등 통계 검정을 자동 수행하고 결과를 해석 가능한 형태로 제공합니다
핵심 기능 4
설문지 관리
업로드된 설문지 목록과 OCR 처리 상태를 관리하고, 개별 응답 원본과 정형화 결과를 비교 조회할 수 있습니다. 열람 권한은 역할 기반으로 제어해 응답자 개인정보 보안을 유지합니다
구현 과정
프로젝트 진행 단계
STEP 1
설문 데이터 모델 설계 및 OCR 연동 아키텍처 수립
설문 응답 스키마 및 OCR 파이프라인 설계, PostgreSQL 테이블 12개 정의
STEP 2
OCR 업로드 및 후처리 정규화 파이프라인 개발
AWS S3 업로드, 외부 OCR API 연동, 응답 정규화 로직 구현
STEP 3
통계 분석 엔진 및 API 개발
scipy/statsmodels 기반 t-test/ANOVA/정규성 검사 API 20여개 구현
STEP 4
리포팅 대시보드 UI 및 통합 테스트
React 대시보드 위젯 구현, WebSocket 실시간 갱신 연동, 통합 테스트 수행
프로젝트 성과
OCR 후처리 정규화 규칙 엔진 구축체크박스/숫자/서술형 필드별 정규식 기반 보정 규칙 12종 설계, 오탐 항목 자동 재검수 플래그 처리
통계 검정 자동화 파이프라인 설계scipy.stats 기반 t-test/ANOVA/Shapiro-Wilk 정규성 검사를 문항 유형별로 자동 분기하는 로직 구현
실시간 통계 위젯 갱신 구조 구현WebSocket 이벤트 기반으로 OCR 처리 완료 즉시 대시보드 위젯 6종을 자동 갱신하는 구조 설계
대용량 업로드 처리 큐 아키텍처 구축S3 presigned URL과 비동기 큐로 수백 건 단위 설문지 일괄 업로드를 처리하는 구조 설계
Review
기술적 주안점
- OCR 처리 결과가 반영되는 즉시 통계 위젯이 갱신되는 실시간 리포팅 구조를 WebSocket과 React Query 조합으로 구현합니다
- 외부 OCR API 연동과 후처리 정규화 파이프라인을 결합해 손글씨 설문 응답을 구조화된 데이터로 자동 변환하는 구조를 설계합니다
- scipy/statsmodels 기반 통계 엔진을 FastAPI 서비스로 분리해 문항별 t-test·ANOVA·정규성 검사를 자동 수행하는 구조를 설계합니다
