Feature #1577
open[AX 2기] 채용공고 크롤러 고도화 및 관리자 웹 통합 구축
0%
Description
[AX 2기] 채용공고 크롤러 고도화 및 관리자 웹 통합 구축¶
1. 작업 목적¶
AI Career Platform의 기존 크롤러(T61~T64) 개발 결과를 기반으로, AX 2기 수강생에게 적합한 채용공고를 안정적으로 수집·관리·제공할 수 있도록 크롤러 아키텍처를 고도화한다.
기존에 구현한 수집 Adapter, 정규화·중복 제거, PostgreSQL 저장, Scheduler, Dispatcher, Worker 및 장애 복구 기능을 최대한 재사용한다.
이번 개발에서는 검색어 관리 → 목록·상세 HTML 수집 → 원본 저장 → 별도 파싱·검증 → 정제 DB 반영 → 증분 수집·스케줄링 → 관리자 웹 관리까지 전체 과정을 구축한다.
학습용 프로젝트 특성에 맞춰 합성 Fixture 기반으로 우선 개발·검증하며, 실제 외부 사이트 수집은 해당 출처의 접근·이용 조건이 충족되기 전까지 비활성화한다.
2. 주요 개발 범위¶
① 검색어 및 수집 작업 관리 (T151)¶
AX 2기를 위한 기본 검색어 6개를 설정한다.
- AI
- Python
- 데이터 분석
- LLM
- 업무 자동화
- AI 엔지니어
검색어는 개별적으로 검색하고 결과는 하나의 공고 DB로 통합한다.
관리자는 검색어의 추가·수정·삭제·활성화·비활성화 및 우선순위를 관리할 수 있어야 한다.
검색어별 수집 건수와 동일 공고가 발견된 검색어 이력도 관리한다.
② 목록·상세 HTML 원본 수집 및 보관 (T152)¶
수집과 파싱을 분리한다.
- 검색 결과 목록 수집
- 상세 공고 URL 추출
- 상세 HTML 확보
- HTTP 상태·응답 크기·URL 중복 등 최소 안전 검증
- 원본 HTML 별도 저장
- URL·검색어·수집 시각·해시·저장 상태 DB 기록
원본 수집 단계에서는 실제 공고 필드 파싱·정규화 및 정제 DB 반영을 수행하지 않는다.
원본 보관은 해당 출처의 허용 범위와 보존·삭제 정책을 따른다.
③ 독립 파싱·검증·후처리 (T153)¶
수집된 원본 HTML을 별도 Parse Worker에서 처리한다.
- 공고 제목·회사·직무·지역 등 필드 추출
- 필수값·날짜·타임존 검증
- 데이터 정규화 및 품질 검사
- 중복 제거와 PostgreSQL UPSERT
- 파싱 오류 기록 및 재처리
- Parser 버전 및 원본 추적 정보 기록
파싱 로직 변경 시 외부 사이트를 다시 수집하지 않고, 보관된 원본으로 재처리할 수 있도록 설계한다.
④ 증분 수집·분할 스케줄링·장애 복구 (T154)¶
모든 공고를 반복 수집하는 대신 신규 공고를 우선 수집하고 필요한 범위에서 기존 공고를 재확인한다.
- 마지막 성공 수집 이후 신규 공고 우선 처리
- 최근 3~7일 공고의 수정·지연 노출 재확인
- 검색어별 체크포인트 관리
- 미완료·실패 작업 이어서 실행
- 검색어별 데이터량에 따른 배치 분할
- 중복 실행 방지 및 오류 복구
- 실행 이력·결과 건수·오류 상태 기록
초기 실행 가능 시간창은 21:00~다음 날 08:00 KST로 제안하며, 관리자가 변경할 수 있도록 한다.
실제 수집 시간·요청량은 대상 사이트의 허용 조건을 우선 적용한다. 접근 차단을 우회하지 않으며 403·429·CAPTCHA 등 제한이 발생하면 수집을 중단한다.
⑤ 크롤러 관리자 API 및 권한 연동 (T155)¶
FastAPI 기반 크롤러 관리자 기능을 구현한다.
- 검색어 등록·조회·수정·삭제
- 수집 스케줄 및 실행 설정 조회·변경
- 수집 작업 상태 및 진행률 조회
- 실행 이력·오류 로그 조회
- 검색어별 수집 결과·통계 조회
- 실패 작업 재처리 관리
- 관리자 인증·권한 및 감사 이력
기존 인증·인가 구조를 재사용하며, 권한 없는 사용자에게 관리 기능을 제공하지 않는다.
⑥ 크롤러 관리자 웹 UI 및 통합 QA (T156)¶
관리자가 브라우저에서 크롤러 상태와 설정을 확인하고 관리할 수 있도록 웹 화면을 구현한다.
주요 화면은 다음과 같다.
- 검색어 관리
- 수집 일정·배치 설정
- 수집 실행 현황
- 검색어별 수집 통계
- 정상·실패·중복·파싱 오류 현황
- 실행 이력 및 상세 오류 조회
관리자 UI → API → Fetch Worker → Raw Storage → Parse Worker → PostgreSQL까지 학습용 Fixture 기반 통합 E2E 검증을 수행한다.
3. 하위 개발 일감¶
| 일감 | 작업 제목 | 선행 일감 |
|---|---|---|
| T151 | AX 2기 검색어·수집 작업 관리 | T61,T62,T63,T64 |
| T152 | 목록·상세 HTML 원본 수집·보관 | T151,T62,T61 |
| T153 | 독립 파싱·검증·후처리 파이프라인 | T152,T63 |
| T154 | 증분 수집·분할 스케줄링·안전 재개 | T151,T152,T153,T64 |
| T155 | 크롤러 관리자 API 및 권한 연동 | T151,T152,T153,T154,T15 |
| T156 | 크롤러 관리자 웹 UI 및 통합 QA | T155,T20,T21 |
각 하위 일감은 독립적으로 개발·검증하며 완료 결과를 본 상위 Feature에서 통합 관리한다.
4. 기존 시스템 재사용 및 보호¶
기존 T61~T64에서 개발한 다음 기능을 우선 재사용한다.
- JobKorea Adapter 및 Batch Worker
- 데이터 Normalizer·Validator
- PostgreSQL UPSERT 및 중복 제거
- Scheduler·Dispatcher·실행 이력
- Heartbeat·Timeout·재시도·장애 복구
- Ubuntu systemd Timer
- 기존 GitHub CI 및 Auto-CD
기존 앱 DB, 크롤러 학습 DB, Docker 컨테이너·볼륨 및 기존 서비스는 보호한다.
새로운 구현을 이유로 기존 크롤러를 전면 재작성하지 않는다.
5. 개발 및 검증 원칙¶
- 기존 구현을 확인하고 최소한의 변경으로 개발한다.
- 각 일감은 독립 브랜치·PR·CI 검증 후 main에 병합한다.
- 스테이징 적용은 기존 Auto-CD 체계를 사용한다.
- 합성 Fixture와 격리 DB로 정상·실패·경계 테스트를 우선 수행한다.
- 실제 스테이징에서 기능별 통합 검증을 수행한다.
- 실제 외부 사이트 수집은 허용 조건 확인 전까지 HOLD를 유지한다.
- 기존 DB·컨테이너·볼륨 및 서비스에 대한 영향과 복원 결과를 검증한다.
- 개발 결과는 GitHub Evidence 및 Redmine 하위 일감에 기록한다.
6. 전체 완료 기준 (Definition of Done)¶
- AX 2기 기본 검색어 6개 등록 및 관리자 CRUD 검증
- 검색어별 독립 수집 작업 및 결과 통합 검증
- 목록·상세 Raw HTML 수집·저장 검증
- 독립 Parse Worker 및 Validation 검증
- 중복 제거·UPSERT·원본 재처리 검증
- 증분 수집·배치 분할·실패 작업 재개 검증
- 관리자가 실행 시간창 및 수집 설정 변경 가능
- 크롤러 관리자 API 정상·오류·권한 검증
- 관리자 웹 UI 기능 및 접근 권한 검증
- UI → API → Worker → DB 학습용 Fixture E2E PASS
- GitHub PR·CI·Auto-CD·Staging QA Evidence 확보
- 기존 서비스 및 데이터 보존 확인
- 하위 T151~T156 완료 기준 충족 및 최종 통합 검수
7. GitHub 작업지시서¶
Repository
https://github.com/ai-career-platform/ai-career-platform
상위 개발 계획
하위 작업지시서
계획 문서 병합 PR
https://github.com/ai-career-platform/ai-career-platform/pull/90
8. 최종 목표¶
AX 2기 수강생을 위한 채용공고 수집 시스템을 검색어·수집·원본 보관·파싱·검증·정제·스케줄링·관리자 웹 기능으로 분리하여 안정적으로 운영 가능한 학습용 아키텍처를 구축한다.
관리자가 소스코드를 수정하지 않고 검색어와 수집 설정을 변경할 수 있으며, 전체 처리 과정과 장애 현황을 확인할 수 있는 시스템을 완성한다.
완료 판정: T151~T156의 기술 검증과 학습용 스테이징 통합 E2E가 모두 PASS되고, 필수 Evidence가 확인되면 상위 Feature 완료 처리한다. 실제 외부 사이트 Live 수집 활성화는 별도 조건으로 관리한다.
Related issues