Private
Tracker *Bug Feature Support
Subject *
Description # [T154] 증분 수집·분할 스케줄링·안전 재개 ## 1. 작업 목적 AI Career Platform의 기존 T64 Scheduler·Dispatcher·Worker·실행 이력 및 장애 복구 기능을 재사용하여, AX 2기 채용공고 크롤러의 **증분 수집·배치 분할·야간 스케줄링·실패 작업 재개 기능**을 구축한다. 모든 검색어의 채용공고를 매번 처음부터 수집하는 대신, 마지막 성공 수집 이후 신규 등록된 공고를 우선적으로 처리하고, 최근 공고의 변경 사항 및 이전 실패 작업을 추가 확인하도록 개선한다. 또한 작업을 작은 단위로 분할하여 관리하고, 장애 발생 시 이미 완료된 작업을 반복하지 않고 미완료 작업부터 안전하게 재개할 수 있도록 한다. 기존 크롤러 실행 구조를 최대한 재사용하며, 실제 외부 사이트 자동 수집은 허용 조건이 충족되기 전까지 비활성 상태로 유지한다. ## 2. 전체 처리 구조 **T151 — 검색어·수집 작업 관리** 활성 검색어 6개 조회 및 작업 생성 ↓ **T154 — Scheduler / Dispatcher** 증분 수집 대상 결정 → 작업 분할 → 시간창·실행 조건 확인 → 작업 배정 ↓ **T152 — Fetch Worker** 목록·상세 HTML 원본 수집 및 저장 ↓ **T153 — Parse Worker** 원본 파싱·검증·정규화·중복 제거·DB 반영 ↓ **T154 — 실행 결과 관리** 검색어별 체크포인트 갱신 → 실패·미완료 작업 기록 → 다음 실행 대상 결정 ## 3. 주요 개발 내용 ### ① 검색어별 증분 수집 검색어마다 마지막 성공 수집 정보를 독립적으로 관리한다. 주요 관리 항목: - keyword_id - last_success_at - last_checked_at - last_seen_posting_id - last_seen_posted_at - next_check_at - 수집 작업 상태 마지막 수집 이후 신규로 등록된 공고를 우선 처리한다. 단, 원본 사이트의 등록일이나 검색 결과 정렬이 항상 정확하다고 가정하지 않는다. **증분 수집 기준은 마지막 성공 시각, 공고 식별자, 최초 발견 시각 및 최근 확인 시각을 함께 활용**하도록 설계한다. 검색어별 수집 실패 시 성공 체크포인트를 잘못 갱신하지 않아야 한다. ### ② 최근 공고 재확인 신규 공고만 수집하면 기존 공고의 수정·마감일 변경 또는 늦게 노출된 공고를 놓칠 수 있다. 따라서 다음 정책을 구현한다. - 마지막 성공 수집 이후 신규 공고 우선 - 최근 3~7일 공고의 변경 여부 재확인 - 기존 공고의 수정 사항 감지 - 동일 공고 중복 저장 방지 - 이전 수집에서 실패한 공고 재처리 최근 재확인 기간은 초기 설정값이며, 향후 관리자가 변경할 수 있도록 한다. ### ③ 수집 작업 분할 검색어별 데이터량과 작업 상태를 기준으로 전체 수집 작업을 여러 개의 작은 배치로 분할한다. 초기 설계 기준: - AX 2기 기본 검색어 6개 - 검색어별 독립 작업 생성 - 배치당 처리 건수 설정 가능 - 한 번에 실행하는 Worker 수 제한 - 작업 단위의 시작·종료 및 처리 건수 기록 - 실패한 배치만 재처리 - 작업 중복 실행 방지 초기 Fixture 테스트는 배치당 5건을 기본값 후보로 사용하되, 실제 외부 요청량은 출처별 허용 범위가 확인된 후 확정한다. **배치 분할은 실행 안정성과 재개 편의를 위한 것이며, 사이트의 접근 제한이나 차단을 우회하는 목적으로 사용하지 않는다.** ### ④ 야간 수집 시간창 관리 초기 실행 가능 시간창을 다음과 같이 설정한다. - 시작: 21:00 KST - 종료: 다음 날 08:00 KST - 시간대: Asia/Seoul - 실행 시간창: 관리자 설정 가능 - 시간창 밖: 새로운 수집 작업을 시작하지 않음 21:00~08:00은 관리 가능한 실행 시간의 초기 제안값이며, 해당 시간 동안 지속적으로 외부 요청을 수행한다는 의미는 아니다. 실제 작업 실행은 대상 사이트의 수집 허용 조건·요청량 제한·오류 상태를 우선 확인한다. 시간창 종료 시 새 작업 배정을 중단하고, 진행 중인 작업은 지정된 정책에 따라 안전하게 마무리하거나 중단·재개 가능 상태로 전환한다. ### ⑤ 기존 T64 Scheduler 확장 다음 기존 기능을 재사용한다. - PostgreSQL 기반 Scheduler - Dispatcher - 독립 Worker 실행 - 실행 이력 및 이벤트 기록 - 중복 실행 방지 Lock - Heartbeat - Timeout - 제한된 Retry - Ubuntu systemd Timer 기존 하루 1회 실행 구조를 검색어별 분할 작업 관리 방식으로 확장하되, 불필요하게 새로운 스케줄러 프레임워크를 도입하지 않는다. 기존 Auto-CD 및 systemd Timer 구조를 유지하면서 필요한 범위만 수정한다. ### ⑥ 실행 상태 및 체크포인트 관리 작업별 다음 정보를 기록한다. - job_id / batch_id - keyword_id - run_id - scheduled_at - started_at - ended_at - status - fetched_count - inserted_count - updated_count - duplicate_count - failed_count - retry_count - error_code - checkpoint 정보 작업이 중단되더라도 완료된 배치를 식별하고, 미완료 작업만 다시 실행할 수 있도록 한다. 체크포인트는 실제 성공 범위가 확인된 이후에만 갱신한다. ### ⑦ 장애 복구 및 안전한 재개 다음 상황을 검증한다. - Worker 비정상 종료 - DB 연결 오류 - 원본 HTML 저장 실패 - 파싱 작업 실패 - 중복 실행 요청 - 서버 재시작 - 시간창 종료 - 작업 재시도 중 재중단 복구 시 기존 작업의 실행 상태를 검증하고, 이미 완료된 작업을 불필요하게 반복하지 않도록 한다. 동일한 작업이 재실행되더라도 정제 공고 DB에 중복 데이터가 발생하지 않아야 한다. ### ⑧ 접근 제한 및 오류 중단 정책 다음 오류 발생 시 새로운 외부 요청을 중단한다. - HTTP 401 / 403 - HTTP 429 - CAPTCHA 또는 접근 제한 화면 - robots.txt 수집 불허 - 허용되지 않은 URL·출처 - 수집 허용 조건 미충족 차단 이후 요청 시간을 조정하거나 다른 IP·계정으로 우회하는 기능은 구현하지 않는다. 실제 사이트 정책상 요청이 허용되는 경우에 한해, 사전에 정한 요청 제한과 오류 복구 정책을 적용한다. ## 4. 개발 일정 **시작일: 2026-11-25 (수)** **완료예정일: 2026-12-01 (화)** | 날짜 | 주요 작업 | |---|---| | 11/25 (수) | 기존 T64 분석, 검색어별 체크포인트·작업 상태 계약 설계 | | 11/26 (목) | 신규 공고 우선 수집·최근 공고 재확인 로직 구현 | | 11/27 (금) | 배치 분할·야간 시간창·Scheduler 연동 구현 | | 11/30 (월) | 장애 복구·중복 실행 방지·미완료 작업 재개 테스트 | | 12/01 (화) | Fixture E2E, PR·CI 검증, Staging QA 및 완료 보고 | 일정은 T151~T153이 완료되었다는 전제의 계획이며, 선행 작업 결과에 따라 조정할 수 있다. ## 5. 기존 시스템 재사용 - T151 검색어 및 작업 큐 관리 - T152 Fetch Worker와 Raw HTML 저장소 - T153 Parse Worker·Validation·UPSERT - T64 Scheduler·Dispatcher·run_events·Heartbeat·Lock·Retry - 기존 PostgreSQL Migration 체계 - 기존 systemd Timer 및 Auto-CD 구성 기존 T64 기능을 재개발하지 않고, 증분 수집과 분할 실행에 필요한 기능만 확장한다. ## 6. 개발 및 안전 원칙 1. 기존 구현을 최대한 재사용하고 최소한으로 변경한다. 2. 실제 잡코리아 자동 수집은 현재 HOLD를 유지한다. 3. 합성 Fixture 및 격리 DB에서 먼저 개발·검증한다. 4. 검색어별 성공 체크포인트를 정확하게 관리한다. 5. 실패 작업 재개 시 중복 데이터가 생성되지 않도록 한다. 6. 21:00~08:00 실행 시간창은 관리자 설정값으로 구현한다. 7. 수집 속도·작업 분할을 접근 제한 우회에 사용하지 않는다. 8. 기존 앱 DB·크롤러 DB·Docker 볼륨 및 Auto-CD를 보호한다. 9. Live 수집 스케줄 및 기존 Timer를 임의로 활성화하지 않는다. 10. 관리자 API 및 웹 UI는 T155~T156에서 구현한다. ## 7. 완료 기준 (DoD) - [ ] 검색어별 독립 체크포인트 관리 - [ ] 마지막 성공 수집 이후 신규 공고 우선 처리 - [ ] 최근 3~7일 공고 재확인 로직 - [ ] 검색어별 데이터량에 따른 배치 분할 - [ ] 작업별 상태 및 처리 건수 기록 - [ ] 21:00~08:00 KST 시간창 처리 - [ ] 자정 경계·타임존·시간창 밖 비실행 검증 - [ ] 완료된 배치 재실행 방지 - [ ] 실패·미완료 작업 재개 - [ ] Worker 종료·DB 오류·재시작 복구 검증 - [ ] 중복 실행 방지 및 멱등성 테스트 - [ ] HTTP 403·429·접근 제한 시 중단 정책 검증 - [ ] T64 Scheduler·Dispatcher 기존 기능 회귀 테스트 - [ ] 합성 Fixture 기반 분할 실행 E2E PASS - [ ] 외부 Live 수집 비활성 상태 유지 - [ ] 기존 서비스·DB·Auto-CD·Docker 볼륨 보존 - [ ] GitHub PR 및 필수 CI PASS - [ ] main Merge 및 실제 Staging Fixture QA PASS - [ ] Redmine Evidence 등록 및 완료 검수 ## 8. 제출 산출물 - 증분 수집 및 체크포인트 관리 구현 코드 - 검색어별 배치 분할·실행 관리 코드 - Scheduler·Dispatcher 확장 코드 - 장애 복구·재시도·안전 재개 구현 - 필요한 DB Migration 및 Rollback - 합성 데이터 기반 테스트 Fixture - 정상·중복·실패·시간창 경계 테스트 Evidence - GitHub PR URL 및 CI 결과 - main Merge SHA - Staging Fixture 통합 검증 보고서 ## 9. GitHub 작업지시서 https://github.com/ai-career-platform/ai-career-platform/blob/main/docs/work-orders/crawler-enhancement/T154.md ## 10. 최종 목표 AX 2기 검색어별로 신규 채용공고를 우선 처리하고, 최근 공고의 변경 사항과 이전 실패 작업을 재확인하는 증분 수집 시스템을 구축한다. 관리자가 설정한 시간창 내에서 허용된 범위의 수집 작업을 작은 배치로 실행하고, 장애 발생 시 진행 위치를 보존하여 안전하게 재개할 수 있는 구조를 완성한다. 향후 T155 크롤러 관리자 API와 T156 관리자 웹 UI에서 수집 일정·작업 상태·오류·재처리 기능을 관리할 수 있도록 한다. Edit
Status *New In Progress Resolved Feedback Closed Rejected
Priority *Low Normal High Urgent Immediate
Assignee 길래 문DONGHYUN WooLio yunRedmine AdminYeoreum Kim길래 문나경 고다라 정박 진상재 이서현 임성용 양성호 최수아 황영우 조예주 김예진 전우섭 심정민 조종복 김중섭 안지나 팡충만 장형준 안희주 노희주 채
Parent task
Start date
Due date
Estimated time Hours
% Done0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %
Spent time Hours
Activity--- Please select --- Design Development
Comment