Project

General

Profile

Feature #1572

closed
길문 길문

Feature #1576: 잡코리아 채용공고 크롤링 시스템 구축 및 스테이징 운영 검증

[T61] 크롤러 데이터 출처·수집 정책·라이선스 관리

Feature #1572: [T61] 크롤러 데이터 출처·수집 정책·라이선스 관리

Added by 길래 문 11 days ago. Updated 9 days ago.

Status:
Closed
Priority:
High
Assignee:
Start date:
11/09/2026
Due date:
11/13/2026
% Done:

100%

Estimated time:

Description

선행 일감 T04, T05, T25
관련 기능 F-012, F-024

1. 작업 목표

AI Career Platform의 채용공고 크롤러 개발에 앞서 데이터 출처별 수집 가능 여부, 라이선스, 접근 권한, 수집 주기 및 데이터 보존 정책을 정의하고 승인 기준을 마련한다.

T62(크롤러 개발), T63(품질 검증), T64(스케줄러 운영)가 동일한 출처 관리 정책을 사용하도록 표준 계약을 수립한다.

2. 주요 작업 내용

① 데이터 출처 조사 및 등록

  • 채용공고 수집 후보 사이트 및 API/CSV 출처 조사
  • 출처별 공식 URL, 데이터 제공 방식, 담당자 정리
  • 출처별 API 이용 조건 및 라이선스 확인
  • 수집 허용 범위와 재배포 가능 여부 확인

② 수집 승인 및 접근 정책 정의

  • 출처별 APPROVED / HOLD / DENIED 상태 관리
  • 승인자, 승인일, 승인 근거, 재검토일 기록
  • 승인되지 않은 출처의 자동 수집 차단 정책
  • 이용 조건 변경 시 출처 비활성화 절차 정의

③ 수집 주기 및 호출 제한 정책

  • 기본 수집 주기: 매일 새벽 1회
  • 초기 실행 시각 제안: 03:00 KST
  • 출처별 호출 횟수, Rate Limit, Timeout 정책
  • 오류 발생 시 재시도·대기 정책
  • 관리자 화면에서 수집 활성화 여부 및 주기 변경이 가능하도록 설정 계약 정의

④ 데이터 보안 및 보존 정책

  • 개인정보 및 민감정보 수집 제한
  • 인증정보·API Key의 안전한 관리 기준
  • 원본 데이터 보존기간 및 삭제 정책
  • 외부 데이터의 서비스 표시·학습 활용·재배포 허용 범위 정의

⑤ 후속 개발 일감 연계

  • T62: 승인된 출처만 호출하는 Adapter 계약 전달
  • T63: 출처별 데이터 품질·정규화 기준 전달
  • T64: 실행 주기, 활성화 상태, 중단·재시도 정책 전달

3. 주요 산출물

  • docs/data/SOURCE_REGISTRY.md — 데이터 출처 등록 및 승인 현황
  • 데이터 출처·라이선스 승인 체크리스트
  • 수집 주기·Rate Limit·Timeout 정책 명세
  • 출처 활성화/비활성화 관리 기준
  • 정상·차단 사례 테스트 결과 및 증빙
  • GitHub PR 및 CI 검증 결과

4. 완료 조건 (Definition of Done)

  • 출처별 APPROVED / HOLD / DENIED 상태와 승인 근거를 확인할 수 있다.
  • 승인되지 않은 출처의 수집을 차단하는 규칙이 정의되어 있다.
  • 수집 주기·호출 제한·보존 정책이 문서화되어 있다.
  • T62~T64 담당자가 동일한 출처 정책을 참조할 수 있다.
  • 정상·거부 테스트 사례와 결과 증빙을 제출한다.
  • GitHub PR 리뷰 및 병합을 완료한다.
  • 미승인 외부 데이터 수집이나 Staging DB 변경이 없어야 한다.

5. 선행조건 및 주의사항

  • 선행 일감: T04, T05, T25
  • 선행 계약이 미확정이면 정책 설계와 Mock 검증까지만 진행
  • 승인 없는 외부 사이트 크롤링 금지
  • Staging DB Schema, Seed 및 운영환경 변경 금지
  • 실제 크롤러 구현과 스케줄러 활성화는 T62~T64에서 별도 진행

6. GitHub 작업지시서

https://github.com/ai-career-platform/ai-career-platform/blob/main/docs/work-orders/remaining-30/T61.md

7. 결과 보고 기준

  • TASK=T61
  • STATUS=NOT_STARTED / IN_PROGRESS / PASS / PARTIAL / HOLD
  • PR_URL=
  • TEST_EVIDENCE=
  • BLOCKER=

Add

Subtasks


Add

Related issues

Also available in: PDF Atom