Project

General

Profile

Feature #1576

open
길문 길문

잡코리아 채용공고 크롤링 시스템 구축 및 스테이징 운영 검증

Feature #1576: 잡코리아 채용공고 크롤링 시스템 구축 및 스테이징 운영 검증

Added by 길래 문 10 days ago. Updated 9 days ago.

Status:
New
Priority:
Normal
Assignee:
Start date:
11/09/2026
Due date:
12/04/2026 (Due in 17 days)
% Done:

100%

Estimated time:
(Total: 0:00 h)

Description

1. 목표

잡코리아의 채용공고를 자동 수집하고, 정규화·중복 제거·품질 검증을 거쳐 PostgreSQL에 저장하는 크롤링 시스템을 구축한다.

수집된 데이터는 FastAPI 및 Frontend에서 조회할 수 있도록 연동하며, 스테이징 서버 자동 배포와 실제 동작 검증까지 완료한다.

2. 하위 일감

T61 — 크롤러 데이터 출처·수집 정책·라이선스 관리

  • 잡코리아 단일 수집 대상 및 데이터 사용 범위 정의
  • 수집 정책·접근 제한·보안 기준 관리

T62 — 채용공고 크롤러 Adapter·독립 Batch Worker 개발

  • 잡코리아 검색결과 및 상세 공고 HTTP 수집
  • HTML 파싱·정규화 및 Batch Worker 구현
  • 실제 채용공고 수집 검증

T63 — 크롤링 데이터 정규화·중복·만료·품질 검증

  • 수집 데이터의 PostgreSQL 저장
  • 동일 공고 중복 방지 및 변경사항 반영
  • 데이터 품질·멱등성 검증

T64 — 크롤러 스케줄러·실행 관리·장애 복구

  • 주기적 자동 수집 스케줄 구축
  • 실행 이력 및 성공·실패 상태 관리
  • 장애 처리·재실행·중복 실행 방지

3. 완료 기준 (Definition of Done)

  1. T61~T64 하위 일감의 필수 개발·테스트 완료
  2. 실제 잡코리아 채용공고 수집 및 PostgreSQL 저장 검증
  3. 중복 방지·오류 처리·자동 실행 검증
  4. FastAPI 및 Frontend 데이터 조회 정상 동작
  5. GitHub PR 리뷰·CI PASS 및 main 병합
  6. 기존 자동 배포를 통한 스테이징 서버 반영 확인
  7. 스테이징 서버에서 수집·저장·조회·화면 표시 및 스케줄 실행 검증
  8. 배포 SHA·테스트 로그·화면 등 Evidence 기록
  9. 하위 일감 T61~T64 완료 및 Redmine CLOSED 확인
  10. PM 최종 검수 후 상위 일감 진척률 100%, CLOSED 처리

4. 운영 원칙

  • 기존 스테이징 서비스와 DB 데이터 보존
  • 수집 대상은 잡코리아 단일 사이트
  • 기존 크롤러·PostgreSQL·FastAPI·Frontend 구현 최대한 재사용
  • main 병합만으로 일감 완료 처리 금지
  • 스테이징 실제 검증 실패 또는 미완료 시 상위 일감 OPEN/BLOCKED 유지

5. 최종 산출물

  • 잡코리아 채용공고 수집 시스템
  • PostgreSQL 정규화·저장 파이프라인
  • 자동 수집 스케줄러 및 실행 로그
  • FastAPI·Frontend 조회 기능
  • 스테이징 배포 및 통합 테스트 Evidence
  • 하위 일감별 완료 보고서

Add

Subtasks 4 (0 open — 4 closed)

Feature #1572: [T61] 크롤러 데이터 출처·수집 정책·라이선스 관리Closed길래 문11/09/202611/13/2026

Remove subtaskActions
Feature #1573: [T62] 채용공고 크롤러 Adapter·독립 Batch Worker 개발Closed길래 문11/16/202611/20/2026

Remove subtaskActions
Feature #1574: [T63] 크롤링 데이터 정규화·중복·만료·품질 검증Closed길래 문11/23/202611/27/2026

Remove subtaskActions
Feature #1575: [T64] 크롤러 스케줄러·실행 관리·장애 복구Closed길래 문11/30/202612/04/2026

Remove subtaskActions

Add

Related issues

길문 Updated by 길래 문 10 days ago Actions #1

  • Subtask #1572 added

길문 Updated by 길래 문 10 days ago Actions #2

  • Subtask #1573 added

길문 Updated by 길래 문 10 days ago Actions #3

  • Subtask #1574 added

길문 Updated by 길래 문 10 days ago Actions #4

  • Subtask #1575 added

길문 Updated by 길래 문 9 days ago Actions #5

  • Assignee set to 길래 문

[AI Career Platform] 크롤러 시스템 T61~T64 통합 개발 및 최종 검증 결과

상위 일감: Feature #1576 — 잡코리아 채용공고 크롤링 시스템 구축 및 스테이징 운영 검증

하위 일감

  • #1572 — T61 크롤러 데이터 출처·수집 정책·라이선스 관리
  • #1573 — T62 채용공고 크롤러 Adapter·독립 Batch Worker 개발
  • #1574 — T63 크롤링 데이터 정규화·중복·만료·품질 검증
  • #1575 — T64 크롤러 스케줄러·실행 관리·장애 복구

1. 개발 및 구현 결과

T61~T64의 학습용 크롤링 시스템 개발과 스테이징 통합 검증을 완료함.

  • 잡코리아 단일 출처 크롤러 및 독립 Batch Worker 구현
  • 채용공고 데이터 정규화, PostgreSQL UPSERT 및 중복 제거
  • FastAPI 채용공고 조회 API 및 Frontend 연동
  • PostgreSQL 기반 스케줄러·Dispatcher·실행 이력 구현
  • Worker Timeout, Heartbeat, 중복 Claim 방지 및 장애 복구
  • Ubuntu systemd service/timer 및 기존 Auto-CD 통합
  • Fixture 기반 자동 예약 실행 E2E 검증 완료

2. GitHub 및 CI/CD 결과

Repository: https://github.com/ai-career-platform/ai-career-platform

병합 완료 PR

최종 main / Staging SHA:
e6ccf525a2986ce51c18922b5df3f6215a9c0f32

  • GitHub CI: PASS
  • Crawler MVP CI: PASS
  • 기존 Auto-CD: PASS
  • 스테이징 Docker 이미지 통합 및 배포: PASS

CI Evidence

3. T64 단계별 검증 결과

단계 검증 내용 결과
STEP 01 격리 PostgreSQL Fixture E2E, 15/15 PASS
STEP 02 systemd 구문 및 실행 준비 PASS
STEP 03 수집 제한·재시도·안전장치, 19/19 PASS
STEP 04A 실제 flock → Docker Compose → Dispatcher PASS
STEP 04B systemd Timer 자동 호출(5분 주기) PASS
STEP 04C 실제 스테이징 Fixture 예약 실행 E2E PASS

4. 최종 스테이징 E2E 결과

실제 실행 경로

systemd Timer → Service → flock → Docker Compose → Dispatcher → Fixture Worker → PostgreSQL

검증 결과

  • RUN_ID: 279d35e8-5a16-4c11-ab2d-6fbe86f7c7e3
  • RUN_STATUS: SUCCEEDED
  • 수집한 합성 공고: 2건
  • 신규 INSERT: 2건
  • UPDATE: 0건
  • 중복 실행: 0건
  • 실패: 0건
  • 신규 실행 이력: 1건
  • 신규 이벤트: 3건
  • 외부 HTTP 요청: 0건(Fixture 코드 경로 기준)

정상·실패·Timeout·Heartbeat·중복 실행 및 복구 검증을 완료함.

5. 기존 데이터 및 서비스 보존 결과

  • 기존 실제 채용공고 5건 및 데이터 해시 보존: PASS
  • 신규 합성 공고 SYNTH-AX-001/002 별도 저장
  • 기존 애플리케이션 DB 51개 테이블 보존: PASS
  • 기존 Docker 컨테이너 및 볼륨 보존: PASS
  • 기존 Auto-CD 유지: PASS
  • 기존 Backend / Frontend / PostgreSQL 정상: PASS

6. 최종 안전 상태

검증 종료 후 자동 실행 설정을 비활성 상태로 복원함.

SCHEDULE_ENABLED=FALSE
SCHEDULE_MODE=FIXTURE
CRAWLER_TIMER=DISABLED/INACTIVE
LIVE_COLLECTION=HOLD
AUTO_CD=PASS

실제 외부 사이트 자동 수집은 활성화하지 않음.

7. 완료 범위 및 잔여 사항

완료 범위

T62~T64의 크롤러·정규화·DB 적재·자동 실행·장애 복구 구현 및 학습용 Fixture 통합 검증 완료.

T61의 출처별 정책 검사, 접근 차단, 실행 안전장치 구현 및 검증 완료.

별도 HOLD 범위

  • 잡코리아 실제 주기 수집 활성화
  • T61의 실제 수집·저장·재배포 권한 및 데이터 보존·삭제 조건 확인
  • 관리자 인증/RBAC 기반 웹 관리 기능

위 항목들은 이번 학습용 Fixture 자동화의 완료 판정과 구분하여 관리함.

8. 최종 판정

CRAWLER_IMPLEMENTATION=PASS
NORMALIZATION=PASS
POSTGRES_UPSERT=PASS
DUPLICATE_PREVENTION=PASS
FASTAPI=PASS
FRONTEND=PASS
CI=PASS
AUTO_CD=PASS
STAGING_FIXTURE_E2E=PASS
SYSTEMD_TIMER_TEST=PASS
WORKER_RECOVERY=PASS
EXISTING_DATA_PRESERVED=PASS

LIVE_COLLECTION=HOLD

결론: AI Career Platform의 학습용 잡코리아 크롤링 시스템 구축 및 Fixture 기반 자동 실행·스테이징 검증을 완료함.

상위 Feature #1576의 학습용 구현·검증 완료 범위를 기준으로 종료 검토 요청.

하위 일감 #1572~#1575의 개별 완료 기준 및 잔여 HOLD 항목은 별도 확인 후 상태 반영.

Also available in: PDF Atom