Feature #1576
open
길문
길문
잡코리아 채용공고 크롤링 시스템 구축 및 스테이징 운영 검증
Feature #1576:
잡코리아 채용공고 크롤링 시스템 구축 및 스테이징 운영 검증
Start date:
11/09/2026
Due date:
12/04/2026 (Due in 17 days)
% Done:
100%
Estimated time:
(Total: 0:00 h)
Description
1. 목표¶
잡코리아의 채용공고를 자동 수집하고, 정규화·중복 제거·품질 검증을 거쳐 PostgreSQL에 저장하는 크롤링 시스템을 구축한다.
수집된 데이터는 FastAPI 및 Frontend에서 조회할 수 있도록 연동하며, 스테이징 서버 자동 배포와 실제 동작 검증까지 완료한다.
2. 하위 일감¶
T61 — 크롤러 데이터 출처·수집 정책·라이선스 관리
- 잡코리아 단일 수집 대상 및 데이터 사용 범위 정의
- 수집 정책·접근 제한·보안 기준 관리
T62 — 채용공고 크롤러 Adapter·독립 Batch Worker 개발
- 잡코리아 검색결과 및 상세 공고 HTTP 수집
- HTML 파싱·정규화 및 Batch Worker 구현
- 실제 채용공고 수집 검증
T63 — 크롤링 데이터 정규화·중복·만료·품질 검증
- 수집 데이터의 PostgreSQL 저장
- 동일 공고 중복 방지 및 변경사항 반영
- 데이터 품질·멱등성 검증
T64 — 크롤러 스케줄러·실행 관리·장애 복구
- 주기적 자동 수집 스케줄 구축
- 실행 이력 및 성공·실패 상태 관리
- 장애 처리·재실행·중복 실행 방지
3. 완료 기준 (Definition of Done)¶
- T61~T64 하위 일감의 필수 개발·테스트 완료
- 실제 잡코리아 채용공고 수집 및 PostgreSQL 저장 검증
- 중복 방지·오류 처리·자동 실행 검증
- FastAPI 및 Frontend 데이터 조회 정상 동작
- GitHub PR 리뷰·CI PASS 및
main병합 - 기존 자동 배포를 통한 스테이징 서버 반영 확인
- 스테이징 서버에서 수집·저장·조회·화면 표시 및 스케줄 실행 검증
- 배포 SHA·테스트 로그·화면 등 Evidence 기록
- 하위 일감 T61~T64 완료 및 Redmine CLOSED 확인
- PM 최종 검수 후 상위 일감 진척률 100%, CLOSED 처리
4. 운영 원칙¶
- 기존 스테이징 서비스와 DB 데이터 보존
- 수집 대상은 잡코리아 단일 사이트
- 기존 크롤러·PostgreSQL·FastAPI·Frontend 구현 최대한 재사용
main병합만으로 일감 완료 처리 금지- 스테이징 실제 검증 실패 또는 미완료 시 상위 일감 OPEN/BLOCKED 유지
5. 최종 산출물¶
- 잡코리아 채용공고 수집 시스템
- PostgreSQL 정규화·저장 파이프라인
- 자동 수집 스케줄러 및 실행 로그
- FastAPI·Frontend 조회 기능
- 스테이징 배포 및 통합 테스트 Evidence
- 하위 일감별 완료 보고서
Related issues