Project

General

Profile

Feature #1573

closed
길문 길문

Feature #1576: 잡코리아 채용공고 크롤링 시스템 구축 및 스테이징 운영 검증

[T62] 채용공고 크롤러 Adapter·독립 Batch Worker 개발

Feature #1573: [T62] 채용공고 크롤러 Adapter·독립 Batch Worker 개발

Added by 길래 문 11 days ago. Updated 9 days ago.

Status:
Closed
Priority:
High
Assignee:
Start date:
11/16/2026
Due date:
11/20/2026
% Done:

100%

Estimated time:

Description

선행 일감 T18, T61
관련 기능 F-012, F-024

1. 작업 목표

AI Career Platform에서 채용공고를 자동 수집할 수 있도록 Python 기반 크롤러 Adapter 및 독립 Batch Worker를 개발한다.

크롤러는 FastAPI Backend와 기능적으로 연계하되, 실제 수집 작업은 별도 프로세스에서 수행하도록 구성한다.

T61에서 승인된 데이터 출처만 수집하며, 출처별 Adapter를 분리하여 외부 사이트 구조 변경 시 해당 모듈만 수정할 수 있도록 한다.

2. 주요 작업 내용

① 크롤러 아키텍처 및 폴더 구조 설계

  • FastAPI 요청 처리와 크롤링 실행 프로세스 분리
  • 독립 Python Batch Worker 실행 구조 설계
  • 출처별 Adapter 인터페이스 정의
  • 수집·정규화·품질 검증·DB 저장 계층 분리
  • T63 데이터 검증 및 T64 스케줄러와 연동 가능한 구조 설계

② 데이터 출처별 Adapter 개발

  • 승인된 API/CSV 기반 수집 방식 우선 지원
  • 허용된 웹사이트의 수집 Adapter 확장 구조 마련
  • 출처별 데이터 요청 및 응답 파싱
  • 사이트별 Adapter 독립적인 수정·교체 지원
  • APPROVED / HOLD / DENIED 상태에 따른 수집 허용 여부 확인

③ 채용공고 데이터 정규화

수집된 데이터를 공통 데이터 구조로 변환한다.

주요 필드:

  • source_id, external_id
  • 채용공고 제목 및 기업 정보
  • 직무 및 요구 기술
  • 공고 상태
  • 게시일 및 마감일
  • 원본 URL 및 수집 시각
  • 타임존 정보

실제 필드명과 자료형은 T05 데이터 사전 및 T63 계약에 맞춰 확정한다.

④ 독립 Batch Worker 구현

  • Python CLI 기반 크롤러 실행 기능
  • source_id, run_id 등 실행 인자 처리
  • 출처별 수집 처리 및 종료 상태 반환
  • 실행 결과 및 오류에 대한 구조화 로그 기록
  • Timeout 및 제한된 재시도 기능
  • Rate Limit 준수
  • 수집 중 오류 발생 시 실패 원인 구분

⑤ 테스트 자동화

pytest 기반 정상·예외 테스트를 작성한다.

주요 테스트:

  1. 승인된 출처의 정상 수집
  2. 비승인 출처 호출 차단
  3. 필수 데이터 누락 및 잘못된 날짜 형식
  4. API 응답 오류 및 Timeout
  5. HTTP 429/5xx 발생 시 재시도
  6. 동일 데이터 반복 수집 시 중복 처리 방지
  7. 한 출처의 오류가 다른 출처에 미치는 영향 검증

외부 서비스가 승인되지 않은 상태에서는 합성 Fixture 및 Mock 응답을 사용한다.

3. 주요 산출물

  • Python 크롤러 Adapter 및 공통 인터페이스
  • 독립 Batch Worker 실행 코드
  • 데이터 정규화 모듈
  • Mock Fixture 및 pytest 자동 테스트
  • 실행 명령 및 오류 대응 가이드
  • 테스트 결과 및 JUnit XML
  • GitHub PR 및 CI 검증 결과

4. 완료 조건 (Definition of Done)

  • FastAPI와 분리된 독립 Python Batch Worker 실행 가능
  • 승인된 출처만 수집 가능
  • Adapter별 독립 수정 및 테스트 가능
  • 채용공고 데이터 정규화 검증 PASS
  • 정상·오류·권한 거부 테스트 PASS
  • 동일 Fixture 반복 처리 시 중복 데이터 생성 0건
  • 실행 결과 및 오류 로그 확인 가능
  • GitHub PR 리뷰 및 병합 완료
  • 테스트 명령, 결과 및 CI 증빙 첨부

5. 선행조건 및 주의사항

  • 선행 일감: T18, T61
  • T61 승인 전에는 Mock 및 설계 중심으로 진행
  • T63 품질 검증 계약과 데이터 저장 책임 협의
  • T64에서 Scheduler·실행 이력·재처리를 구현하므로 중복 구현 금지
  • 승인 없는 외부 웹사이트 크롤링 금지
  • Staging DB 및 운영 서버 설정 변경 금지
  • DB SUPERUSER 계정 사용 및 비밀번호 공유 금지

6. GitHub 작업지시서

https://github.com/ai-career-platform/ai-career-platform/blob/main/docs/work-orders/remaining-30/T62.md

7. 결과 보고 기준

  • TASK=T62
  • STATUS=NOT_STARTED / IN_PROGRESS / PASS / PARTIAL / HOLD
  • BRANCH=
  • PR_URL=
  • TEST_EVIDENCE=
  • CI_RUN_URL=
  • BLOCKER=

Add

Subtasks


Add

Related issues

길문 Updated by 길래 문 10 days ago Actions #1

  • Parent task set to #1576

길문 Updated by 길래 문 10 days ago Actions #2

  • % Done changed from 0 to 90

길문 Updated by 길래 문 9 days ago Actions #3

  • Status changed from New to Closed
  • % Done changed from 90 to 100

Also available in: PDF Atom