Private
Tracker *Bug Feature Support
Subject *
Description 선행 일감 T18, T61 관련 기능 F-012, F-024 ### 1. 작업 목표 AI Career Platform에서 채용공고를 자동 수집할 수 있도록 **Python 기반 크롤러 Adapter 및 독립 Batch Worker**를 개발한다. 크롤러는 FastAPI Backend와 기능적으로 연계하되, 실제 수집 작업은 별도 프로세스에서 수행하도록 구성한다. T61에서 승인된 데이터 출처만 수집하며, 출처별 Adapter를 분리하여 외부 사이트 구조 변경 시 해당 모듈만 수정할 수 있도록 한다. ### 2. 주요 작업 내용 **① 크롤러 아키텍처 및 폴더 구조 설계** - FastAPI 요청 처리와 크롤링 실행 프로세스 분리 - 독립 Python Batch Worker 실행 구조 설계 - 출처별 Adapter 인터페이스 정의 - 수집·정규화·품질 검증·DB 저장 계층 분리 - T63 데이터 검증 및 T64 스케줄러와 연동 가능한 구조 설계 **② 데이터 출처별 Adapter 개발** - 승인된 API/CSV 기반 수집 방식 우선 지원 - 허용된 웹사이트의 수집 Adapter 확장 구조 마련 - 출처별 데이터 요청 및 응답 파싱 - 사이트별 Adapter 독립적인 수정·교체 지원 - APPROVED / HOLD / DENIED 상태에 따른 수집 허용 여부 확인 **③ 채용공고 데이터 정규화** 수집된 데이터를 공통 데이터 구조로 변환한다. 주요 필드: - `source_id`, `external_id` - 채용공고 제목 및 기업 정보 - 직무 및 요구 기술 - 공고 상태 - 게시일 및 마감일 - 원본 URL 및 수집 시각 - 타임존 정보 실제 필드명과 자료형은 T05 데이터 사전 및 T63 계약에 맞춰 확정한다. **④ 독립 Batch Worker 구현** - Python CLI 기반 크롤러 실행 기능 - `source_id`, `run_id` 등 실행 인자 처리 - 출처별 수집 처리 및 종료 상태 반환 - 실행 결과 및 오류에 대한 구조화 로그 기록 - Timeout 및 제한된 재시도 기능 - Rate Limit 준수 - 수집 중 오류 발생 시 실패 원인 구분 **⑤ 테스트 자동화** pytest 기반 정상·예외 테스트를 작성한다. 주요 테스트: 1. 승인된 출처의 정상 수집 2. 비승인 출처 호출 차단 3. 필수 데이터 누락 및 잘못된 날짜 형식 4. API 응답 오류 및 Timeout 5. HTTP 429/5xx 발생 시 재시도 6. 동일 데이터 반복 수집 시 중복 처리 방지 7. 한 출처의 오류가 다른 출처에 미치는 영향 검증 외부 서비스가 승인되지 않은 상태에서는 합성 Fixture 및 Mock 응답을 사용한다. ### 3. 주요 산출물 - Python 크롤러 Adapter 및 공통 인터페이스 - 독립 Batch Worker 실행 코드 - 데이터 정규화 모듈 - Mock Fixture 및 pytest 자동 테스트 - 실행 명령 및 오류 대응 가이드 - 테스트 결과 및 JUnit XML - GitHub PR 및 CI 검증 결과 ### 4. 완료 조건 (Definition of Done) - FastAPI와 분리된 독립 Python Batch Worker 실행 가능 - 승인된 출처만 수집 가능 - Adapter별 독립 수정 및 테스트 가능 - 채용공고 데이터 정규화 검증 PASS - 정상·오류·권한 거부 테스트 PASS - 동일 Fixture 반복 처리 시 중복 데이터 생성 0건 - 실행 결과 및 오류 로그 확인 가능 - GitHub PR 리뷰 및 병합 완료 - 테스트 명령, 결과 및 CI 증빙 첨부 ### 5. 선행조건 및 주의사항 - 선행 일감: T18, T61 - T61 승인 전에는 Mock 및 설계 중심으로 진행 - T63 품질 검증 계약과 데이터 저장 책임 협의 - T64에서 Scheduler·실행 이력·재처리를 구현하므로 중복 구현 금지 - 승인 없는 외부 웹사이트 크롤링 금지 - Staging DB 및 운영 서버 설정 변경 금지 - DB SUPERUSER 계정 사용 및 비밀번호 공유 금지 ### 6. GitHub 작업지시서 https://github.com/ai-career-platform/ai-career-platform/blob/main/docs/work-orders/remaining-30/T62.md ### 7. 결과 보고 기준 - TASK=T62 - STATUS=NOT_STARTED / IN_PROGRESS / PASS / PARTIAL / HOLD - BRANCH= - PR_URL= - TEST_EVIDENCE= - CI_RUN_URL= - BLOCKER= Edit
Status *New In Progress Resolved Feedback Closed Rejected
Priority *Low Normal High Urgent Immediate
Assignee 길래 문DONGHYUN WooLio yunRedmine AdminYeoreum Kim길래 문나경 고다라 정박 진상재 이서현 임성용 양성호 최수아 황영우 조예주 김예진 전우섭 심정민 조종복 김중섭 안지나 팡충만 장형준 안희주 노희주 채
Parent task
Start date
Due date
Estimated time Hours
% Done0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %
Spent time Hours
Activity--- Please select --- Design Development
Comment