Feature #1573
closed
길문
길문
Feature #1576: 잡코리아 채용공고 크롤링 시스템 구축 및 스테이징 운영 검증
[T62] 채용공고 크롤러 Adapter·독립 Batch Worker 개발
Feature #1573:
[T62] 채용공고 크롤러 Adapter·독립 Batch Worker 개발
Start date:
11/16/2026
Due date:
11/20/2026
% Done:
100%
Estimated time:
Description
선행 일감 T18, T61
관련 기능 F-012, F-024
1. 작업 목표¶
AI Career Platform에서 채용공고를 자동 수집할 수 있도록 Python 기반 크롤러 Adapter 및 독립 Batch Worker를 개발한다.
크롤러는 FastAPI Backend와 기능적으로 연계하되, 실제 수집 작업은 별도 프로세스에서 수행하도록 구성한다.
T61에서 승인된 데이터 출처만 수집하며, 출처별 Adapter를 분리하여 외부 사이트 구조 변경 시 해당 모듈만 수정할 수 있도록 한다.
2. 주요 작업 내용¶
① 크롤러 아키텍처 및 폴더 구조 설계
- FastAPI 요청 처리와 크롤링 실행 프로세스 분리
- 독립 Python Batch Worker 실행 구조 설계
- 출처별 Adapter 인터페이스 정의
- 수집·정규화·품질 검증·DB 저장 계층 분리
- T63 데이터 검증 및 T64 스케줄러와 연동 가능한 구조 설계
② 데이터 출처별 Adapter 개발
- 승인된 API/CSV 기반 수집 방식 우선 지원
- 허용된 웹사이트의 수집 Adapter 확장 구조 마련
- 출처별 데이터 요청 및 응답 파싱
- 사이트별 Adapter 독립적인 수정·교체 지원
- APPROVED / HOLD / DENIED 상태에 따른 수집 허용 여부 확인
③ 채용공고 데이터 정규화
수집된 데이터를 공통 데이터 구조로 변환한다.
주요 필드:
source_id,external_id- 채용공고 제목 및 기업 정보
- 직무 및 요구 기술
- 공고 상태
- 게시일 및 마감일
- 원본 URL 및 수집 시각
- 타임존 정보
실제 필드명과 자료형은 T05 데이터 사전 및 T63 계약에 맞춰 확정한다.
④ 독립 Batch Worker 구현
- Python CLI 기반 크롤러 실행 기능
source_id,run_id등 실행 인자 처리- 출처별 수집 처리 및 종료 상태 반환
- 실행 결과 및 오류에 대한 구조화 로그 기록
- Timeout 및 제한된 재시도 기능
- Rate Limit 준수
- 수집 중 오류 발생 시 실패 원인 구분
⑤ 테스트 자동화
pytest 기반 정상·예외 테스트를 작성한다.
주요 테스트:
- 승인된 출처의 정상 수집
- 비승인 출처 호출 차단
- 필수 데이터 누락 및 잘못된 날짜 형식
- API 응답 오류 및 Timeout
- HTTP 429/5xx 발생 시 재시도
- 동일 데이터 반복 수집 시 중복 처리 방지
- 한 출처의 오류가 다른 출처에 미치는 영향 검증
외부 서비스가 승인되지 않은 상태에서는 합성 Fixture 및 Mock 응답을 사용한다.
3. 주요 산출물¶
- Python 크롤러 Adapter 및 공통 인터페이스
- 독립 Batch Worker 실행 코드
- 데이터 정규화 모듈
- Mock Fixture 및 pytest 자동 테스트
- 실행 명령 및 오류 대응 가이드
- 테스트 결과 및 JUnit XML
- GitHub PR 및 CI 검증 결과
4. 완료 조건 (Definition of Done)¶
- FastAPI와 분리된 독립 Python Batch Worker 실행 가능
- 승인된 출처만 수집 가능
- Adapter별 독립 수정 및 테스트 가능
- 채용공고 데이터 정규화 검증 PASS
- 정상·오류·권한 거부 테스트 PASS
- 동일 Fixture 반복 처리 시 중복 데이터 생성 0건
- 실행 결과 및 오류 로그 확인 가능
- GitHub PR 리뷰 및 병합 완료
- 테스트 명령, 결과 및 CI 증빙 첨부
5. 선행조건 및 주의사항¶
- 선행 일감: T18, T61
- T61 승인 전에는 Mock 및 설계 중심으로 진행
- T63 품질 검증 계약과 데이터 저장 책임 협의
- T64에서 Scheduler·실행 이력·재처리를 구현하므로 중복 구현 금지
- 승인 없는 외부 웹사이트 크롤링 금지
- Staging DB 및 운영 서버 설정 변경 금지
- DB SUPERUSER 계정 사용 및 비밀번호 공유 금지
6. GitHub 작업지시서¶
7. 결과 보고 기준¶
- TASK=T62
- STATUS=NOT_STARTED / IN_PROGRESS / PASS / PARTIAL / HOLD
- BRANCH=
- PR_URL=
- TEST_EVIDENCE=
- CI_RUN_URL=
- BLOCKER=
Subtasks
Related issues