Private
Tracker *Bug Feature Support
Subject *
Description # [T152] 목록·상세 HTML 원본 수집·보관 ## 1. 작업 목적 AI Career Platform의 기존 크롤러(T62~T64)를 기반으로, **채용공고 목록 및 상세 페이지의 원본 HTML을 수집·보관하는 독립 Fetch Worker**를 구축한다. 기존에는 HTML을 가져온 직후 파싱·정규화·DB 저장을 수행했다. 이번 작업에서는 원본 수집과 데이터 분석을 분리하여, 크롤러가 확보한 원본을 별도로 관리하도록 개선한다. 이를 통해 향후 HTML 파싱 로직을 수정하더라도 외부 사이트를 다시 수집하지 않고, 저장된 원본으로 재처리할 수 있는 기반을 마련한다. 본 일감은 학습용 합성 HTML을 이용해 먼저 개발·검증하며, 실제 잡코리아 웹사이트 수집은 허용 조건이 충족되기 전까지 실행하지 않는다. ## 2. 주요 개발 내용 ### ① 목록 HTML 수집 - T151에서 정의한 활성 검색어 목록을 조회 - 검색어별 독립적인 목록 수집 작업 생성 - 목록 HTML 확보 및 원본 저장 - 상세 공고 URL 후보 추출 - 중복 상세 URL 제거 - 수집 시각 및 검색어 정보 기록 ### ② 상세 HTML 수집 - 목록에서 추출한 상세 공고 URL 처리 - 상세페이지 HTML 확보 - 동일 URL 중복 요청 방지 - HTTP 상태 및 응답 크기 검증 - 수집 성공·실패 이력 기록 목록과 상세 HTML은 서로 구분하여 저장하고 연결 관계를 유지한다. ### ③ 원본 HTML 저장 구조 원본 HTML과 수집 메타데이터를 분리하여 관리한다. **원본 저장소** - 목록 HTML - 상세 HTML - HTML 무결성 확인용 SHA-256 해시 - 접근 권한 및 보존·삭제 정책 **PostgreSQL 메타데이터** - Raw Artifact ID - 검색어 ID 및 수집 작업 ID - 원본 URL - 목록/상세 구분 - 수집 시각 - HTTP 응답 상태 - 파일 크기 - 콘텐츠 해시 - 원본 저장 위치(storage_key) - 수집 처리 상태 및 오류 코드 실제 HTML 본문은 DB에 무조건 저장하지 않고, 허용된 범위에서 별도 파일 또는 객체 저장소에 보관한다. ### ④ Fetch Worker 분리 Fetch Worker는 원본 확보 및 최소한의 안전 검증만 담당한다. - URL 및 출처 검증 - HTTP 상태·콘텐츠 타입 검증 - 응답 크기 제한 - 중복 요청 방지 - 원본 저장 - 수집 상태 기록 **공고 제목·기업명·직무 등의 실제 데이터 파싱, 정규화 및 UPSERT는 수행하지 않는다.** 이는 다음 일감인 T153의 독립 Parse Worker가 담당한다. ### ⑤ 오류 처리 및 복구 - 네트워크 오류 및 타임아웃 기록 - 원본 저장 실패 처리 - 부분 수집 작업의 상태 기록 - 동일 작업 재실행 시 중복 저장 방지 - 원본 파일과 DB 메타데이터 불일치 복구 - HTTP 403·429·CAPTCHA·robots 차단 시 수집 중단 차단 회피를 위한 프록시 변경, 접근 제한 우회 또는 무제한 재시도는 구현하지 않는다. ## 3. 개발 일정 **시작일: 2026-11-13 (금)** **완료예정일: 2026-11-18 (수)** | 날짜 | 주요 작업 | |---|---| | 11/13 (금) | 기존 Fetch 코드 분석 및 Raw Storage 설계 | | 11/16 (월) | 목록·상세 HTML 수집 및 저장 기능 구현 | | 11/17 (화) | 메타데이터·중복 방지·오류 복구 구현 | | 11/18 (수) | Fixture 통합 테스트, PR·CI 검증 및 완료 보고 | ## 4. 기존 시스템 재사용 다음 기존 구현을 우선 확인하고 재사용한다. - T62 JobKorea Adapter 및 HTML Fetch 기능 - T63 기존 데이터 저장·중복 처리 구조 - T64 Scheduler·Dispatcher·실행 이력 - T151 검색어·수집 작업 관리 구조 - 기존 PostgreSQL 연결 및 Migration 체계 기존 수집 기능을 전면 재작성하지 않고, 원본 수집과 파싱의 책임을 분리하는 데 필요한 변경만 수행한다. ## 5. 개발 및 안전 원칙 1. 합성 목록·상세 HTML을 이용하여 우선 개발한다. 2. 실제 외부 사이트 HTTP 요청은 현재 HOLD를 유지한다. 3. 원본 HTML은 수집·저장 권한이 확인된 범위에서만 보관한다. 4. 원본 데이터의 접근 권한·보존 기간·삭제 정책을 정의한다. 5. HTML 내용은 저장·표시 과정에서 실행되지 않도록 처리한다. 6. 기존 앱 DB, 크롤러 DB, Docker 볼륨 및 Auto-CD를 보호한다. 7. 기존 systemd Timer 및 Live 스케줄 비활성 상태를 유지한다. 8. 관리자 웹 UI 개발은 T156에서 진행한다. ## 6. 완료 기준 (DoD) - [ ] 검색어별 목록 HTML 수집 작업 수행 - [ ] 목록에서 상세 공고 URL 후보 추출 - [ ] 상세 HTML 원본 저장 - [ ] 목록·상세 원본 연결 관계 확인 - [ ] URL·검색어·시각·HTTP 상태·해시 메타데이터 기록 - [ ] 동일 URL 및 동일 원본 중복 처리 검증 - [ ] 응답 크기·형식·잘못된 URL 검증 - [ ] 원본 저장 실패 및 부분 작업 복구 검증 - [ ] HTTP 403·429 및 접근 제한 시 중단 처리 검증 - [ ] Fetch Worker와 Parse Worker의 책임 분리 확인 - [ ] 합성 Fixture 기반 E2E 검증 PASS - [ ] 외부 HTTP 요청 0건 확인 - [ ] 기존 서비스·DB·Docker 볼륨 보존 - [ ] GitHub PR 및 필수 CI PASS - [ ] main Merge 및 실제 Staging Fixture QA PASS - [ ] Redmine Evidence 등록 및 완료 검수 ## 7. 제출 산출물 - 독립 Fetch Worker 구현 코드 - Raw HTML 저장 구조 및 필요한 Migration - 목록·상세 원본 관리 메타데이터 계약 - 원본 저장·조회·삭제 및 장애 복구 안내 - 합성 HTML Fixture 및 pytest - 정상·오류·중복·부분 실패 테스트 Evidence - GitHub PR URL, CI 결과 및 Merge SHA - 스테이징 통합 검증 보고서 ## 8. GitHub 작업지시서 https://github.com/ai-career-platform/ai-career-platform/blob/main/docs/work-orders/crawler-enhancement/T152.md ## 9. 최종 목표 AX 2기 검색어별 채용공고 목록 및 상세 HTML을 안전하게 확보하고, 원본과 메타데이터를 분리 저장하는 기능을 완성한다. 이후 T153에서 Fetch Worker를 다시 실행하지 않고도 저장된 합성 HTML을 파싱·검증·정규화할 수 있도록 연계한다. Edit
Status *New In Progress Resolved Feedback Closed Rejected
Priority *Low Normal High Urgent Immediate
Assignee 길래 문DONGHYUN WooLio yunRedmine AdminYeoreum Kim길래 문나경 고다라 정박 진상재 이서현 임성용 양성호 최수아 황영우 조예주 김예진 전우섭 심정민 조종복 김중섭 안지나 팡충만 장형준 안희주 노희주 채
Parent task
Start date
Due date
Estimated time Hours
% Done0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %
Spent time Hours
Activity--- Please select --- Design Development
Comment