Feature #1576
open잡코리아 채용공고 크롤링 시스템 구축 및 스테이징 운영 검증
100%
Description
1. 목표¶
잡코리아의 채용공고를 자동 수집하고, 정규화·중복 제거·품질 검증을 거쳐 PostgreSQL에 저장하는 크롤링 시스템을 구축한다.
수집된 데이터는 FastAPI 및 Frontend에서 조회할 수 있도록 연동하며, 스테이징 서버 자동 배포와 실제 동작 검증까지 완료한다.
2. 하위 일감¶
T61 — 크롤러 데이터 출처·수집 정책·라이선스 관리
- 잡코리아 단일 수집 대상 및 데이터 사용 범위 정의
- 수집 정책·접근 제한·보안 기준 관리
T62 — 채용공고 크롤러 Adapter·독립 Batch Worker 개발
- 잡코리아 검색결과 및 상세 공고 HTTP 수집
- HTML 파싱·정규화 및 Batch Worker 구현
- 실제 채용공고 수집 검증
T63 — 크롤링 데이터 정규화·중복·만료·품질 검증
- 수집 데이터의 PostgreSQL 저장
- 동일 공고 중복 방지 및 변경사항 반영
- 데이터 품질·멱등성 검증
T64 — 크롤러 스케줄러·실행 관리·장애 복구
- 주기적 자동 수집 스케줄 구축
- 실행 이력 및 성공·실패 상태 관리
- 장애 처리·재실행·중복 실행 방지
3. 완료 기준 (Definition of Done)¶
- T61~T64 하위 일감의 필수 개발·테스트 완료
- 실제 잡코리아 채용공고 수집 및 PostgreSQL 저장 검증
- 중복 방지·오류 처리·자동 실행 검증
- FastAPI 및 Frontend 데이터 조회 정상 동작
- GitHub PR 리뷰·CI PASS 및
main병합 - 기존 자동 배포를 통한 스테이징 서버 반영 확인
- 스테이징 서버에서 수집·저장·조회·화면 표시 및 스케줄 실행 검증
- 배포 SHA·테스트 로그·화면 등 Evidence 기록
- 하위 일감 T61~T64 완료 및 Redmine CLOSED 확인
- PM 최종 검수 후 상위 일감 진척률 100%, CLOSED 처리
4. 운영 원칙¶
- 기존 스테이징 서비스와 DB 데이터 보존
- 수집 대상은 잡코리아 단일 사이트
- 기존 크롤러·PostgreSQL·FastAPI·Frontend 구현 최대한 재사용
main병합만으로 일감 완료 처리 금지- 스테이징 실제 검증 실패 또는 미완료 시 상위 일감 OPEN/BLOCKED 유지
5. 최종 산출물¶
- 잡코리아 채용공고 수집 시스템
- PostgreSQL 정규화·저장 파이프라인
- 자동 수집 스케줄러 및 실행 로그
- FastAPI·Frontend 조회 기능
- 스테이징 배포 및 통합 테스트 Evidence
- 하위 일감별 완료 보고서
Related issues
길문 Updated by 길래 문 9 days ago
- Assignee set to 길래 문
[AI Career Platform] 크롤러 시스템 T61~T64 통합 개발 및 최종 검증 결과¶
상위 일감: Feature #1576 — 잡코리아 채용공고 크롤링 시스템 구축 및 스테이징 운영 검증
하위 일감
- #1572 — T61 크롤러 데이터 출처·수집 정책·라이선스 관리
- #1573 — T62 채용공고 크롤러 Adapter·독립 Batch Worker 개발
- #1574 — T63 크롤링 데이터 정규화·중복·만료·품질 검증
- #1575 — T64 크롤러 스케줄러·실행 관리·장애 복구
1. 개발 및 구현 결과¶
T61~T64의 학습용 크롤링 시스템 개발과 스테이징 통합 검증을 완료함.
- 잡코리아 단일 출처 크롤러 및 독립 Batch Worker 구현
- 채용공고 데이터 정규화, PostgreSQL UPSERT 및 중복 제거
- FastAPI 채용공고 조회 API 및 Frontend 연동
- PostgreSQL 기반 스케줄러·Dispatcher·실행 이력 구현
- Worker Timeout, Heartbeat, 중복 Claim 방지 및 장애 복구
- Ubuntu systemd service/timer 및 기존 Auto-CD 통합
- Fixture 기반 자동 예약 실행 E2E 검증 완료
2. GitHub 및 CI/CD 결과¶
Repository: https://github.com/ai-career-platform/ai-career-platform
병합 완료 PR
- PR #85 — https://github.com/ai-career-platform/ai-career-platform/pull/85
- PR #86 — https://github.com/ai-career-platform/ai-career-platform/pull/86
- PR #87 — https://github.com/ai-career-platform/ai-career-platform/pull/87
- PR #88 — https://github.com/ai-career-platform/ai-career-platform/pull/88
- PR #89 — https://github.com/ai-career-platform/ai-career-platform/pull/89
최종 main / Staging SHA:
e6ccf525a2986ce51c18922b5df3f6215a9c0f32
- GitHub CI: PASS
- Crawler MVP CI: PASS
- 기존 Auto-CD: PASS
- 스테이징 Docker 이미지 통합 및 배포: PASS
CI Evidence
- https://github.com/ai-career-platform/ai-career-platform/actions/runs/42446299443
- https://github.com/ai-career-platform/ai-career-platform/actions/runs/42446299418
- https://github.com/ai-career-platform/ai-career-platform/actions/runs/42446311511
3. T64 단계별 검증 결과¶
| 단계 | 검증 내용 | 결과 |
|---|---|---|
| STEP 01 | 격리 PostgreSQL Fixture E2E, 15/15 | PASS |
| STEP 02 | systemd 구문 및 실행 준비 | PASS |
| STEP 03 | 수집 제한·재시도·안전장치, 19/19 | PASS |
| STEP 04A | 실제 flock → Docker Compose → Dispatcher | PASS |
| STEP 04B | systemd Timer 자동 호출(5분 주기) | PASS |
| STEP 04C | 실제 스테이징 Fixture 예약 실행 E2E | PASS |
4. 최종 스테이징 E2E 결과¶
실제 실행 경로
systemd Timer → Service → flock → Docker Compose → Dispatcher → Fixture Worker → PostgreSQL
검증 결과
- RUN_ID:
279d35e8-5a16-4c11-ab2d-6fbe86f7c7e3 - RUN_STATUS: SUCCEEDED
- 수집한 합성 공고: 2건
- 신규 INSERT: 2건
- UPDATE: 0건
- 중복 실행: 0건
- 실패: 0건
- 신규 실행 이력: 1건
- 신규 이벤트: 3건
- 외부 HTTP 요청: 0건(Fixture 코드 경로 기준)
정상·실패·Timeout·Heartbeat·중복 실행 및 복구 검증을 완료함.
5. 기존 데이터 및 서비스 보존 결과¶
- 기존 실제 채용공고 5건 및 데이터 해시 보존: PASS
- 신규 합성 공고 SYNTH-AX-001/002 별도 저장
- 기존 애플리케이션 DB 51개 테이블 보존: PASS
- 기존 Docker 컨테이너 및 볼륨 보존: PASS
- 기존 Auto-CD 유지: PASS
- 기존 Backend / Frontend / PostgreSQL 정상: PASS
6. 최종 안전 상태¶
검증 종료 후 자동 실행 설정을 비활성 상태로 복원함.
SCHEDULE_ENABLED=FALSE
SCHEDULE_MODE=FIXTURE
CRAWLER_TIMER=DISABLED/INACTIVE
LIVE_COLLECTION=HOLD
AUTO_CD=PASS
실제 외부 사이트 자동 수집은 활성화하지 않음.
7. 완료 범위 및 잔여 사항¶
완료 범위
T62~T64의 크롤러·정규화·DB 적재·자동 실행·장애 복구 구현 및 학습용 Fixture 통합 검증 완료.
T61의 출처별 정책 검사, 접근 차단, 실행 안전장치 구현 및 검증 완료.
별도 HOLD 범위
- 잡코리아 실제 주기 수집 활성화
- T61의 실제 수집·저장·재배포 권한 및 데이터 보존·삭제 조건 확인
- 관리자 인증/RBAC 기반 웹 관리 기능
위 항목들은 이번 학습용 Fixture 자동화의 완료 판정과 구분하여 관리함.
8. 최종 판정¶
CRAWLER_IMPLEMENTATION=PASS
NORMALIZATION=PASS
POSTGRES_UPSERT=PASS
DUPLICATE_PREVENTION=PASS
FASTAPI=PASS
FRONTEND=PASS
CI=PASS
AUTO_CD=PASS
STAGING_FIXTURE_E2E=PASS
SYSTEMD_TIMER_TEST=PASS
WORKER_RECOVERY=PASS
EXISTING_DATA_PRESERVED=PASS
LIVE_COLLECTION=HOLD
결론: AI Career Platform의 학습용 잡코리아 크롤링 시스템 구축 및 Fixture 기반 자동 실행·스테이징 검증을 완료함.
상위 Feature #1576의 학습용 구현·검증 완료 범위를 기준으로 종료 검토 요청.
하위 일감 #1572~#1575의 개별 완료 기준 및 잔여 HOLD 항목은 별도 확인 후 상태 반영.