← 포트폴리오 목록
다중소스 크롤링 관제 & 콘텐츠 운영 플랫폼
P1의 커뮤니티 MVP를 넘어, 다중 소스 크롤링 확장·실시간 관제·콘텐츠 모더레이션·회원 이상행위 감지를 통합하는 운영 백오피스를 구현합니다.
크롤링 관제 상태 파이프라인 구현WebSocket 기반 크롤링 Job 실행 상태 실시간 push 구조 설계, 상태바·타임라인·우선큐 3중 시각화 적용
소스별 동시성·딜레이 정책 엔진 설계Bull Queue Concurrency 옵션을 소스 단위로 분리 설정하는 정책 엔진 구현, 타겟 서버 부하 분산 구조 설계
신고 우선순위 검수 큐 구축신고 누적 콘텐츠를 우선순위로 정렬하는 검수 큐 구현, 다중 선택 일괄 처리 트랜잭션 원자성 보장
Overview
프로젝트 개요
P1의 커뮤니티 MVP를 넘어, 다중 소스 크롤링 확장·실시간 관제·콘텐츠 모더레이션·회원 이상행위 감지를 통합하는 운영 백오피스를 구현합니다. Bull Queue 기반 소스별 정책 엔진과 WebSocket 실시간 상태 파이프라인으로 크롤링 소스가 1~2개에서 점차 확장되어도 안정적으로 운영할 수 있는 관제 구조를 설계합니다.
요구사항 정의
프로젝트 핵심 과제
프로젝트 진행 시 해결한 핵심 기술 과제입니다.
1~2개 타겟에서 점차 확장되는 크롤링 소스마다 파싱 셀렉터가 달라 수집이 깨질 리스크
소스별 설정 분리와 실패 알림 체계를 설계합니다
다수 소스를 동시 수집할 때 특정 타겟 사이트에 요청이 몰려 차단(rate limit)당할 리스크
소스별 딜레이·동시성 정책을 개별 조정 가능하도록 설계합니다
신고 누적 회원과 정상 활동 회원을 구분하는 임계값 설계가 모호할 수 있어
신고 유형별 가중치를 둔 점수화 로직을 설계합니다
삭제 처리된 콘텐츠가 재크롤링 시 다시 적재되는 것을 막기 위한 삭제 이력과 크롤링 필터의 동기화 전략이 필요합니다
핵심 기능 1
크롤링 관제 대시보드
관리자가 크롤링 스케줄러의 실행 상태, 최근 수집 결과, 에러 로그를 한눈에 확인할 수 있는 관제 화면입니다
핵심 기능 2
크롤러 소스 관리
신규 타겟 사이트를 등록하고 셀렉터·딜레이 정책을 설정해 수집 대상을 점진적으로 확장 관리합니다. 소스별 CSS 셀렉터를 JSON 설정으로 등록하고, 중복 방지 정책을 소스 단위로 지정합니다
핵심 기능 3
콘텐츠 관리
신고 접수되거나 부적절한 크롤링 결과 게시글을 검수해 숨김·삭제 처리하는 모더레이션 화면입니다. 신고 우선순위 큐와 다중 선택 일괄 처리를 제공합니다
핵심 기능 4
회원 관리
전체 회원을 조회하고 신고가 누적된 회원을 식별해 차단·해제 처리하는 화면입니다. 신고 누적 집계 뷰와 세션 무효화 기반 차단 처리를 제공합니다
구현 과정
프로젝트 진행 단계
STEP 1
크롤링 소스 확장 아키텍처 설계
다중 소스 등록 스키마 설계, Bull Queue 기반 소스별 동시성·딜레이 정책 설계, 관제 대시보드 데이터 모델 정의
STEP 2
관제 API 및 실시간 상태 파이프라인 개발
크롤링 Job 이력 API, WebSocket 실시간 상태 push, 우선순위 재시도 큐 API 구현
STEP 3
운영 콘솔 UI 개발
React 기반 관제 대시보드·소스 관리·콘텐츠 관리·회원 관리 4개 화면 구현
STEP 4
모더레이션 자동화 및 통합 테스트
신고 우선순위 큐 처리 로직 구현, 회원 이상행위 감지 집계 뷰 설계, 백오피스 통합 테스트 수행
프로젝트 성과
크롤링 관제 상태 파이프라인 구현WebSocket 기반 크롤링 Job 실행 상태 실시간 push 구조 설계, 상태바·타임라인·우선큐 3중 시각화 적용
소스별 동시성·딜레이 정책 엔진 설계Bull Queue Concurrency 옵션을 소스 단위로 분리 설정하는 정책 엔진 구현, 타겟 서버 부하 분산 구조 설계
신고 우선순위 검수 큐 구축신고 누적 콘텐츠를 우선순위로 정렬하는 검수 큐 구현, 다중 선택 일괄 처리 트랜잭션 원자성 보장
회원 이상행위 집계 뷰 설계Materialized View 기반 회원별 신고 누적 집계, 차단 시 JWT Refresh 토큰 즉시 무효화 로직 구현
Review
기술적 주안점
- 크롤링 스케줄러의 실행 상태와 실패 큐를 관제탑 형태로 통합 시각화하여 다중 소스 운영 상황을 즉시 파악할 수 있도록 설계합니다
- 1~2개 타겟으로 시작한 크롤링 대상을 설정 기반으로 점진 확장할 수 있는 소스 관리 구조를 설계합니다
- 신고·저품질 콘텐츠를 우선 검수열로 분리하고, 삭제 이력을 재크롤링 필터에 반영해 반복 노출을 차단하는 구조를 설계합니다
