Project

General

Profile

Feature #1577

open
길문

[AX 2기] 채용공고 크롤러 고도화 및 관리자 웹 통합 구축

Feature #1577: [AX 2기] 채용공고 크롤러 고도화 및 관리자 웹 통합 구축

Added by 길래 문 9 days ago. Updated 9 days ago.

Status:
New
Priority:
Normal
Assignee:
-
Start date:
11/09/2026
Due date:
12/14/2026 (Due in 27 days)
% Done:

0%

Estimated time:
(Total: 0:00 h)

Description

[AX 2기] 채용공고 크롤러 고도화 및 관리자 웹 통합 구축

1. 작업 목적

AI Career Platform의 기존 크롤러(T61~T64) 개발 결과를 기반으로, AX 2기 수강생에게 적합한 채용공고를 안정적으로 수집·관리·제공할 수 있도록 크롤러 아키텍처를 고도화한다.

기존에 구현한 수집 Adapter, 정규화·중복 제거, PostgreSQL 저장, Scheduler, Dispatcher, Worker 및 장애 복구 기능을 최대한 재사용한다.

이번 개발에서는 검색어 관리 → 목록·상세 HTML 수집 → 원본 저장 → 별도 파싱·검증 → 정제 DB 반영 → 증분 수집·스케줄링 → 관리자 웹 관리까지 전체 과정을 구축한다.

학습용 프로젝트 특성에 맞춰 합성 Fixture 기반으로 우선 개발·검증하며, 실제 외부 사이트 수집은 해당 출처의 접근·이용 조건이 충족되기 전까지 비활성화한다.

2. 주요 개발 범위

① 검색어 및 수집 작업 관리 (T151)

AX 2기를 위한 기본 검색어 6개를 설정한다.

  • AI
  • Python
  • 데이터 분석
  • LLM
  • 업무 자동화
  • AI 엔지니어

검색어는 개별적으로 검색하고 결과는 하나의 공고 DB로 통합한다.

관리자는 검색어의 추가·수정·삭제·활성화·비활성화 및 우선순위를 관리할 수 있어야 한다.

검색어별 수집 건수와 동일 공고가 발견된 검색어 이력도 관리한다.

② 목록·상세 HTML 원본 수집 및 보관 (T152)

수집과 파싱을 분리한다.

  • 검색 결과 목록 수집
  • 상세 공고 URL 추출
  • 상세 HTML 확보
  • HTTP 상태·응답 크기·URL 중복 등 최소 안전 검증
  • 원본 HTML 별도 저장
  • URL·검색어·수집 시각·해시·저장 상태 DB 기록

원본 수집 단계에서는 실제 공고 필드 파싱·정규화 및 정제 DB 반영을 수행하지 않는다.

원본 보관은 해당 출처의 허용 범위와 보존·삭제 정책을 따른다.

③ 독립 파싱·검증·후처리 (T153)

수집된 원본 HTML을 별도 Parse Worker에서 처리한다.

  • 공고 제목·회사·직무·지역 등 필드 추출
  • 필수값·날짜·타임존 검증
  • 데이터 정규화 및 품질 검사
  • 중복 제거와 PostgreSQL UPSERT
  • 파싱 오류 기록 및 재처리
  • Parser 버전 및 원본 추적 정보 기록

파싱 로직 변경 시 외부 사이트를 다시 수집하지 않고, 보관된 원본으로 재처리할 수 있도록 설계한다.

④ 증분 수집·분할 스케줄링·장애 복구 (T154)

모든 공고를 반복 수집하는 대신 신규 공고를 우선 수집하고 필요한 범위에서 기존 공고를 재확인한다.

  • 마지막 성공 수집 이후 신규 공고 우선 처리
  • 최근 3~7일 공고의 수정·지연 노출 재확인
  • 검색어별 체크포인트 관리
  • 미완료·실패 작업 이어서 실행
  • 검색어별 데이터량에 따른 배치 분할
  • 중복 실행 방지 및 오류 복구
  • 실행 이력·결과 건수·오류 상태 기록

초기 실행 가능 시간창은 21:00~다음 날 08:00 KST로 제안하며, 관리자가 변경할 수 있도록 한다.

실제 수집 시간·요청량은 대상 사이트의 허용 조건을 우선 적용한다. 접근 차단을 우회하지 않으며 403·429·CAPTCHA 등 제한이 발생하면 수집을 중단한다.

⑤ 크롤러 관리자 API 및 권한 연동 (T155)

FastAPI 기반 크롤러 관리자 기능을 구현한다.

  • 검색어 등록·조회·수정·삭제
  • 수집 스케줄 및 실행 설정 조회·변경
  • 수집 작업 상태 및 진행률 조회
  • 실행 이력·오류 로그 조회
  • 검색어별 수집 결과·통계 조회
  • 실패 작업 재처리 관리
  • 관리자 인증·권한 및 감사 이력

기존 인증·인가 구조를 재사용하며, 권한 없는 사용자에게 관리 기능을 제공하지 않는다.

⑥ 크롤러 관리자 웹 UI 및 통합 QA (T156)

관리자가 브라우저에서 크롤러 상태와 설정을 확인하고 관리할 수 있도록 웹 화면을 구현한다.

주요 화면은 다음과 같다.

  • 검색어 관리
  • 수집 일정·배치 설정
  • 수집 실행 현황
  • 검색어별 수집 통계
  • 정상·실패·중복·파싱 오류 현황
  • 실행 이력 및 상세 오류 조회

관리자 UI → API → Fetch Worker → Raw Storage → Parse Worker → PostgreSQL까지 학습용 Fixture 기반 통합 E2E 검증을 수행한다.

3. 하위 개발 일감

일감 작업 제목 선행 일감
T151 AX 2기 검색어·수집 작업 관리 T61,T62,T63,T64
T152 목록·상세 HTML 원본 수집·보관 T151,T62,T61
T153 독립 파싱·검증·후처리 파이프라인 T152,T63
T154 증분 수집·분할 스케줄링·안전 재개 T151,T152,T153,T64
T155 크롤러 관리자 API 및 권한 연동 T151,T152,T153,T154,T15
T156 크롤러 관리자 웹 UI 및 통합 QA T155,T20,T21

각 하위 일감은 독립적으로 개발·검증하며 완료 결과를 본 상위 Feature에서 통합 관리한다.

4. 기존 시스템 재사용 및 보호

기존 T61~T64에서 개발한 다음 기능을 우선 재사용한다.

  • JobKorea Adapter 및 Batch Worker
  • 데이터 Normalizer·Validator
  • PostgreSQL UPSERT 및 중복 제거
  • Scheduler·Dispatcher·실행 이력
  • Heartbeat·Timeout·재시도·장애 복구
  • Ubuntu systemd Timer
  • 기존 GitHub CI 및 Auto-CD

기존 앱 DB, 크롤러 학습 DB, Docker 컨테이너·볼륨 및 기존 서비스는 보호한다.

새로운 구현을 이유로 기존 크롤러를 전면 재작성하지 않는다.

5. 개발 및 검증 원칙

  1. 기존 구현을 확인하고 최소한의 변경으로 개발한다.
  2. 각 일감은 독립 브랜치·PR·CI 검증 후 main에 병합한다.
  3. 스테이징 적용은 기존 Auto-CD 체계를 사용한다.
  4. 합성 Fixture와 격리 DB로 정상·실패·경계 테스트를 우선 수행한다.
  5. 실제 스테이징에서 기능별 통합 검증을 수행한다.
  6. 실제 외부 사이트 수집은 허용 조건 확인 전까지 HOLD를 유지한다.
  7. 기존 DB·컨테이너·볼륨 및 서비스에 대한 영향과 복원 결과를 검증한다.
  8. 개발 결과는 GitHub Evidence 및 Redmine 하위 일감에 기록한다.

6. 전체 완료 기준 (Definition of Done)

  • AX 2기 기본 검색어 6개 등록 및 관리자 CRUD 검증
  • 검색어별 독립 수집 작업 및 결과 통합 검증
  • 목록·상세 Raw HTML 수집·저장 검증
  • 독립 Parse Worker 및 Validation 검증
  • 중복 제거·UPSERT·원본 재처리 검증
  • 증분 수집·배치 분할·실패 작업 재개 검증
  • 관리자가 실행 시간창 및 수집 설정 변경 가능
  • 크롤러 관리자 API 정상·오류·권한 검증
  • 관리자 웹 UI 기능 및 접근 권한 검증
  • UI → API → Worker → DB 학습용 Fixture E2E PASS
  • GitHub PR·CI·Auto-CD·Staging QA Evidence 확보
  • 기존 서비스 및 데이터 보존 확인
  • 하위 T151~T156 완료 기준 충족 및 최종 통합 검수

7. GitHub 작업지시서

Repository

https://github.com/ai-career-platform/ai-career-platform

상위 개발 계획

https://github.com/ai-career-platform/ai-career-platform/blob/main/docs/work-orders/crawler-enhancement/FEATURE.md

하위 작업지시서

https://github.com/ai-career-platform/ai-career-platform/tree/main/docs/work-orders/crawler-enhancement

계획 문서 병합 PR

https://github.com/ai-career-platform/ai-career-platform/pull/90

8. 최종 목표

AX 2기 수강생을 위한 채용공고 수집 시스템을 검색어·수집·원본 보관·파싱·검증·정제·스케줄링·관리자 웹 기능으로 분리하여 안정적으로 운영 가능한 학습용 아키텍처를 구축한다.

관리자가 소스코드를 수정하지 않고 검색어와 수집 설정을 변경할 수 있으며, 전체 처리 과정과 장애 현황을 확인할 수 있는 시스템을 완성한다.

완료 판정: T151~T156의 기술 검증과 학습용 스테이징 통합 E2E가 모두 PASS되고, 필수 Evidence가 확인되면 상위 Feature 완료 처리한다. 실제 외부 사이트 Live 수집 활성화는 별도 조건으로 관리한다.


Add

Subtasks 6 (6 open — 0 closed)

Feature #1578: [T151] AX 2기 검색어·수집 작업 관리New길래 문11/09/202611/12/2026

Remove subtaskActions
Feature #1579: [T152] 목록·상세 HTML 원본 수집·보관New길래 문11/13/202611/18/2026

Remove subtaskActions
Feature #1580: [T153] 독립 파싱·검증·후처리 파이프라인New길래 문11/19/202611/24/2026

Remove subtaskActions
Feature #1581: [T154] 증분 수집·분할 스케줄링·안전 재개New길래 문11/25/202612/01/2026

Remove subtaskActions
Feature #1582: [T155] 크롤러 관리자 API 및 권한 연동New길래 문12/02/202612/07/2026

Remove subtaskActions
Feature #1583: [T156] 크롤러 관리자 웹 UI 및 통합 QANew길래 문12/08/202612/14/2026

Remove subtaskActions

Add

Related issues

길문 Updated by 길래 문 9 days ago Actions #1

  • Subtask #1578 added

길문 Updated by 길래 문 9 days ago Actions #2

  • Subtask #1579 added

길문 Updated by 길래 문 9 days ago Actions #3

  • Subtask #1580 added

길문 Updated by 길래 문 9 days ago Actions #4

  • Subtask #1581 added

길문 Updated by 길래 문 9 days ago Actions #5

  • Subtask #1582 added

길문 Updated by 길래 문 9 days ago Actions #6

  • Subtask #1583 added

Also available in: PDF Atom