Feature #1572
closed
길문
길문
Feature #1576: 잡코리아 채용공고 크롤링 시스템 구축 및 스테이징 운영 검증
[T61] 크롤러 데이터 출처·수집 정책·라이선스 관리
Feature #1572:
[T61] 크롤러 데이터 출처·수집 정책·라이선스 관리
Start date:
11/09/2026
Due date:
11/13/2026
% Done:
100%
Estimated time:
Description
선행 일감 T04, T05, T25
관련 기능 F-012, F-024
1. 작업 목표¶
AI Career Platform의 채용공고 크롤러 개발에 앞서 데이터 출처별 수집 가능 여부, 라이선스, 접근 권한, 수집 주기 및 데이터 보존 정책을 정의하고 승인 기준을 마련한다.
T62(크롤러 개발), T63(품질 검증), T64(스케줄러 운영)가 동일한 출처 관리 정책을 사용하도록 표준 계약을 수립한다.
2. 주요 작업 내용¶
① 데이터 출처 조사 및 등록
- 채용공고 수집 후보 사이트 및 API/CSV 출처 조사
- 출처별 공식 URL, 데이터 제공 방식, 담당자 정리
- 출처별 API 이용 조건 및 라이선스 확인
- 수집 허용 범위와 재배포 가능 여부 확인
② 수집 승인 및 접근 정책 정의
- 출처별 APPROVED / HOLD / DENIED 상태 관리
- 승인자, 승인일, 승인 근거, 재검토일 기록
- 승인되지 않은 출처의 자동 수집 차단 정책
- 이용 조건 변경 시 출처 비활성화 절차 정의
③ 수집 주기 및 호출 제한 정책
- 기본 수집 주기: 매일 새벽 1회
- 초기 실행 시각 제안: 03:00 KST
- 출처별 호출 횟수, Rate Limit, Timeout 정책
- 오류 발생 시 재시도·대기 정책
- 관리자 화면에서 수집 활성화 여부 및 주기 변경이 가능하도록 설정 계약 정의
④ 데이터 보안 및 보존 정책
- 개인정보 및 민감정보 수집 제한
- 인증정보·API Key의 안전한 관리 기준
- 원본 데이터 보존기간 및 삭제 정책
- 외부 데이터의 서비스 표시·학습 활용·재배포 허용 범위 정의
⑤ 후속 개발 일감 연계
- T62: 승인된 출처만 호출하는 Adapter 계약 전달
- T63: 출처별 데이터 품질·정규화 기준 전달
- T64: 실행 주기, 활성화 상태, 중단·재시도 정책 전달
3. 주요 산출물¶
docs/data/SOURCE_REGISTRY.md— 데이터 출처 등록 및 승인 현황- 데이터 출처·라이선스 승인 체크리스트
- 수집 주기·Rate Limit·Timeout 정책 명세
- 출처 활성화/비활성화 관리 기준
- 정상·차단 사례 테스트 결과 및 증빙
- GitHub PR 및 CI 검증 결과
4. 완료 조건 (Definition of Done)¶
- 출처별 APPROVED / HOLD / DENIED 상태와 승인 근거를 확인할 수 있다.
- 승인되지 않은 출처의 수집을 차단하는 규칙이 정의되어 있다.
- 수집 주기·호출 제한·보존 정책이 문서화되어 있다.
- T62~T64 담당자가 동일한 출처 정책을 참조할 수 있다.
- 정상·거부 테스트 사례와 결과 증빙을 제출한다.
- GitHub PR 리뷰 및 병합을 완료한다.
- 미승인 외부 데이터 수집이나 Staging DB 변경이 없어야 한다.
5. 선행조건 및 주의사항¶
- 선행 일감: T04, T05, T25
- 선행 계약이 미확정이면 정책 설계와 Mock 검증까지만 진행
- 승인 없는 외부 사이트 크롤링 금지
- Staging DB Schema, Seed 및 운영환경 변경 금지
- 실제 크롤러 구현과 스케줄러 활성화는 T62~T64에서 별도 진행
6. GitHub 작업지시서¶
7. 결과 보고 기준¶
- TASK=T61
- STATUS=NOT_STARTED / IN_PROGRESS / PASS / PARTIAL / HOLD
- PR_URL=
- TEST_EVIDENCE=
- BLOCKER=
Subtasks
Related issues