Project

General

Profile

Feature #1576

open
길문 길문

잡코리아 채용공고 크롤링 시스템 구축 및 스테이징 운영 검증

Feature #1576: 잡코리아 채용공고 크롤링 시스템 구축 및 스테이징 운영 검증

Added by 길래 문 10 days ago. Updated 9 days ago.

Status:
New
Priority:
Normal
Assignee:
Start date:
11/09/2026
Due date:
12/04/2026 (Due in 17 days)
% Done:

100%

Estimated time:
(Total: 0:00 h)

Description

1. 목표

잡코리아의 채용공고를 자동 수집하고, 정규화·중복 제거·품질 검증을 거쳐 PostgreSQL에 저장하는 크롤링 시스템을 구축한다.

수집된 데이터는 FastAPI 및 Frontend에서 조회할 수 있도록 연동하며, 스테이징 서버 자동 배포와 실제 동작 검증까지 완료한다.

2. 하위 일감

T61 — 크롤러 데이터 출처·수집 정책·라이선스 관리

  • 잡코리아 단일 수집 대상 및 데이터 사용 범위 정의
  • 수집 정책·접근 제한·보안 기준 관리

T62 — 채용공고 크롤러 Adapter·독립 Batch Worker 개발

  • 잡코리아 검색결과 및 상세 공고 HTTP 수집
  • HTML 파싱·정규화 및 Batch Worker 구현
  • 실제 채용공고 수집 검증

T63 — 크롤링 데이터 정규화·중복·만료·품질 검증

  • 수집 데이터의 PostgreSQL 저장
  • 동일 공고 중복 방지 및 변경사항 반영
  • 데이터 품질·멱등성 검증

T64 — 크롤러 스케줄러·실행 관리·장애 복구

  • 주기적 자동 수집 스케줄 구축
  • 실행 이력 및 성공·실패 상태 관리
  • 장애 처리·재실행·중복 실행 방지

3. 완료 기준 (Definition of Done)

  1. T61~T64 하위 일감의 필수 개발·테스트 완료
  2. 실제 잡코리아 채용공고 수집 및 PostgreSQL 저장 검증
  3. 중복 방지·오류 처리·자동 실행 검증
  4. FastAPI 및 Frontend 데이터 조회 정상 동작
  5. GitHub PR 리뷰·CI PASS 및 main 병합
  6. 기존 자동 배포를 통한 스테이징 서버 반영 확인
  7. 스테이징 서버에서 수집·저장·조회·화면 표시 및 스케줄 실행 검증
  8. 배포 SHA·테스트 로그·화면 등 Evidence 기록
  9. 하위 일감 T61~T64 완료 및 Redmine CLOSED 확인
  10. PM 최종 검수 후 상위 일감 진척률 100%, CLOSED 처리

4. 운영 원칙

  • 기존 스테이징 서비스와 DB 데이터 보존
  • 수집 대상은 잡코리아 단일 사이트
  • 기존 크롤러·PostgreSQL·FastAPI·Frontend 구현 최대한 재사용
  • main 병합만으로 일감 완료 처리 금지
  • 스테이징 실제 검증 실패 또는 미완료 시 상위 일감 OPEN/BLOCKED 유지

5. 최종 산출물

  • 잡코리아 채용공고 수집 시스템
  • PostgreSQL 정규화·저장 파이프라인
  • 자동 수집 스케줄러 및 실행 로그
  • FastAPI·Frontend 조회 기능
  • 스테이징 배포 및 통합 테스트 Evidence
  • 하위 일감별 완료 보고서

Add

Subtasks 4 (0 open — 4 closed)

Feature #1572: [T61] 크롤러 데이터 출처·수집 정책·라이선스 관리Closed길래 문11/09/202611/13/2026

Remove subtaskActions
Feature #1573: [T62] 채용공고 크롤러 Adapter·독립 Batch Worker 개발Closed길래 문11/16/202611/20/2026

Remove subtaskActions
Feature #1574: [T63] 크롤링 데이터 정규화·중복·만료·품질 검증Closed길래 문11/23/202611/27/2026

Remove subtaskActions
Feature #1575: [T64] 크롤러 스케줄러·실행 관리·장애 복구Closed길래 문11/30/202612/04/2026

Remove subtaskActions

Add

Related issues

Also available in: PDF Atom