Feature #1578
openFeature #1577: [AX 2기] 채용공고 크롤러 고도화 및 관리자 웹 통합 구축
[T151] AX 2기 검색어·수집 작업 관리
0%
Description
[T151] AX 2기 검색어·수집 작업 관리¶
1. 작업 목적¶
AI Career Platform의 기존 크롤러(T61~T64)를 활용하여 AX 2기 수강생을 위한 채용공고 검색어와 수집 작업을 데이터베이스에서 관리하는 기능을 개발한다.
검색어를 Python 코드에 고정하지 않고 관리자가 추가·수정·삭제·활성화할 수 있도록 구성한다.
검색어별 수집 작업 및 상태를 관리하고 향후 HTML 수집 Worker(T152), Scheduler(T154), 관리자 API(T155), 관리자 웹 UI(T156)에서 공통으로 활용할 수 있는 기반을 구축한다.
2. 기본 검색어 설정¶
초기 검색어 6개를 등록한다.
| 우선순위 | 검색어 | 초기 상태 |
|---|---|---|
| 1 | AI | 활성 |
| 2 | Python | 활성 |
| 3 | 데이터 분석 | 활성 |
| 4 | LLM | 활성 |
| 5 | 업무 자동화 | 활성 |
| 6 | AI 엔지니어 | 활성 |
검색어는 각각 독립적으로 수집 작업을 생성하며, 동일 공고가 여러 검색어에서 발견되더라도 공고 데이터는 중복 저장하지 않는다.
3. 주요 개발 내용¶
① 검색어 DB 관리¶
- 검색어 등록·조회·수정·삭제
- 검색어 활성화·비활성화
- 검색어 우선순위 관리
- 중복 검색어 등록 방지
- 검색어 변경 이력 기록
- 검색어와 채용공고 간 발견 관계 관리
② 수집 작업 관리¶
- 검색어별 수집 작업 생성
- 수집 작업별 고유 ID 부여
- 작업 생성 시각·상태 관리
- 수집 작업 중복 생성 방지
- 검색어별 수집 결과 건수 관리
- 기존 T64 실행 이력 및 Scheduler와 연결 가능한 계약 정의
작업 상태는 PENDING, RUNNING, FETCHED, FAILED, COMPLETED 등을 기준으로 정의하되 기존 T64 상태 모델을 검토하여 중복 구현하지 않는다.
③ 기존 시스템 연동¶
- T61 출처 정책 및 실행 제한 재사용
- T62 크롤러 Adapter·Batch Worker 재사용
- T63 정규화·중복 제거·UPSERT 계약 재사용
- T64 Scheduler·Dispatcher·실행 이력 구조 재사용
- 기존 PostgreSQL 테이블과 충돌하지 않도록 설계
4. 개발 일정¶
시작일: 2026-11-09
완료예정일: 2026-11-12
| 날짜 | 주요 작업 |
|---|---|
| 11/09 (월) | 기존 구조 분석, 검색어·작업 관리 DB 계약 설계 |
| 11/10 (화) | 검색어 6개 Seed 및 CRUD 기능 구현 |
| 11/11 (수) | 수집 작업 관리·중복 방지·상태 관리 구현 |
| 11/12 (목) | 단위·통합 테스트, PR·CI 검증 및 완료 보고 |
일정은 개발 계획 기준이며, 실제 테스트·PR·배포 결과에 따라 조정할 수 있다.
5. 개발 및 안전 원칙¶
- 기존 구현을 최대한 재사용하고 최소한의 코드만 변경한다.
- 실제 잡코리아 수집은 실행하지 않는다.
- 합성 Fixture와 격리 DB에서 기능을 검증한다.
- 기존 DB 데이터와 Docker 볼륨을 보존한다.
- 기존 Auto-CD와 systemd Timer 설정을 변경하지 않는다.
- 실제 Live 수집 기능은 비활성 상태를 유지한다.
- 관리자 웹 UI 구현은 T156에서 진행한다.
6. 완료 기준 (DoD)¶
- AX 2기 기본 검색어 6개 등록
- 검색어 CRUD 정상 동작
- 검색어 활성화·비활성화 및 우선순위 관리
- 검색어 중복·빈값·잘못된 입력 검증
- 검색어별 수집 작업 생성·조회·상태 관리
- 동일 작업 중복 생성 방지
- 동일 공고의 복수 검색어 발견 관계 처리
- 기존 T64 Scheduler 및 실행 이력과 호환성 확인
- 기존 데이터·서비스 보존 검증
- GitHub PR 및 필수 CI PASS
- main Merge 및 실제 Staging Fixture QA PASS
- Redmine Evidence 등록 및 완료 검수
7. 제출 산출물¶
- 검색어·작업 관리 DB 계약 및 필요 Migration
- 검색어 초기 Seed
- 검색어 CRUD 및 수집 작업 관리 구현 코드
- pytest 및 검증 Evidence
- PR URL, CI 결과 및 Merge SHA
- 기존 시스템 영향 및 복원 확인 결과
8. GitHub 작업지시서¶
9. 최종 목표¶
관리자가 설정한 AX 2기 검색어 6개를 DB에서 관리하고, 검색어별 수집 작업을 안정적으로 생성·조회·추적할 수 있는 기반을 완성한다.
T152~T156에서 추가 구현 없이 해당 검색어 및 작업 관리 계약을 재사용할 수 있도록 한다.
Subtasks
Related issues
No data to display