Private
Tracker *Bug Feature Support
Subject *
Description ## 1. 목표 잡코리아의 채용공고를 자동 수집하고, 정규화·중복 제거·품질 검증을 거쳐 PostgreSQL에 저장하는 크롤링 시스템을 구축한다. 수집된 데이터는 FastAPI 및 Frontend에서 조회할 수 있도록 연동하며, 스테이징 서버 자동 배포와 실제 동작 검증까지 완료한다. ## 2. 하위 일감 **T61 — 크롤러 데이터 출처·수집 정책·라이선스 관리** - 잡코리아 단일 수집 대상 및 데이터 사용 범위 정의 - 수집 정책·접근 제한·보안 기준 관리 **T62 — 채용공고 크롤러 Adapter·독립 Batch Worker 개발** - 잡코리아 검색결과 및 상세 공고 HTTP 수집 - HTML 파싱·정규화 및 Batch Worker 구현 - 실제 채용공고 수집 검증 **T63 — 크롤링 데이터 정규화·중복·만료·품질 검증** - 수집 데이터의 PostgreSQL 저장 - 동일 공고 중복 방지 및 변경사항 반영 - 데이터 품질·멱등성 검증 **T64 — 크롤러 스케줄러·실행 관리·장애 복구** - 주기적 자동 수집 스케줄 구축 - 실행 이력 및 성공·실패 상태 관리 - 장애 처리·재실행·중복 실행 방지 ## 3. 완료 기준 (Definition of Done) 1. T61~T64 하위 일감의 필수 개발·테스트 완료 2. 실제 잡코리아 채용공고 수집 및 PostgreSQL 저장 검증 3. 중복 방지·오류 처리·자동 실행 검증 4. FastAPI 및 Frontend 데이터 조회 정상 동작 5. GitHub PR 리뷰·CI PASS 및 `main` 병합 6. 기존 자동 배포를 통한 스테이징 서버 반영 확인 7. 스테이징 서버에서 수집·저장·조회·화면 표시 및 스케줄 실행 검증 8. 배포 SHA·테스트 로그·화면 등 Evidence 기록 9. 하위 일감 T61~T64 완료 및 Redmine CLOSED 확인 10. PM 최종 검수 후 상위 일감 진척률 100%, CLOSED 처리 ## 4. 운영 원칙 - 기존 스테이징 서비스와 DB 데이터 보존 - 수집 대상은 잡코리아 단일 사이트 - 기존 크롤러·PostgreSQL·FastAPI·Frontend 구현 최대한 재사용 - `main` 병합만으로 일감 완료 처리 금지 - 스테이징 실제 검증 실패 또는 미완료 시 상위 일감 OPEN/BLOCKED 유지 ## 5. 최종 산출물 - 잡코리아 채용공고 수집 시스템 - PostgreSQL 정규화·저장 파이프라인 - 자동 수집 스케줄러 및 실행 로그 - FastAPI·Frontend 조회 기능 - 스테이징 배포 및 통합 테스트 Evidence - 하위 일감별 완료 보고서 Edit
Status *New In Progress Resolved Feedback Closed Rejected
Assignee 길래 문DONGHYUN WooLio yunRedmine AdminYeoreum Kim길래 문나경 고다라 정박 진상재 이서현 임성용 양성호 최수아 황영우 조예주 김예진 전우섭 심정민 조종복 김중섭 안지나 팡충만 장형준 안희주 노희주 채
Parent task
Estimated time Hours
Spent time Hours
Activity--- Please select --- Design Development
Comment