Feature #1574
closed
길문
길문
Feature #1576: 잡코리아 채용공고 크롤링 시스템 구축 및 스테이징 운영 검증
[T63] 크롤링 데이터 정규화·중복·만료·품질 검증
Feature #1574:
[T63] 크롤링 데이터 정규화·중복·만료·품질 검증
Start date:
11/23/2026
Due date:
11/27/2026
% Done:
100%
Estimated time:
Description
선행 일감 T61, T62, T09
관련 기능 F-012, F-024
1. 작업 목표¶
AI Career Platform의 크롤러(T62)가 수집한 채용공고 데이터를 표준화하고, 중복·만료·오류 데이터를 검증하는 데이터 품질 관리 모듈을 개발한다.
동일한 채용공고를 여러 번 수집하거나 수집 도중 오류가 발생하더라도 데이터 중복 및 정합성 문제가 발생하지 않도록 한다.
T64의 자동 실행·실패 재처리 기능에서도 동일한 검증 규칙을 사용할 수 있도록 구성한다.
2. 주요 작업 내용¶
① 수집 데이터 표준화 및 검증
- 채용공고 제목·기업·직무·요구 기술 등 공통 데이터 형식 검증
source_id,external_id식별자 검증- 필수값 누락 및 잘못된 데이터 형식 탐지
- URL 및 게시·마감일 형식 검증
- UTC 저장 및 KST 표시를 위한 타임존 정합성 확인
- 원본 데이터와 정규화 결과 간 추적 가능성 확보
② 중복 채용공고 식별 및 처리
source_id + external_id를 기준으로 중복 확인- 외부 ID가 없는 경우 대체 식별 기준 별도 정의
- 동일 공고 중복 INSERT 방지
- 기존 공고의 제목·마감일·상태 변경 시 업데이트 정책 적용
- 재게시된 채용공고의 신규 등록 또는 갱신 판정
- 기업명이나 공고 제목만 같다는 이유로 임의 병합하지 않도록 검증
③ 채용공고 만료 및 상태 관리
- 게시일·마감일 기준 만료 여부 검증
- 원본에서 삭제·비활성화된 공고 구분
- 공고 상태 변경 이력 관리 기준 정의
- 만료·삭제·재게시 처리 정책 검증
- 기존 데이터 보존 및 갱신 기준 문서화
④ 데이터 품질 검사 및 오류 격리
- 필수 필드 누락 및 비정상 값 검출
- 허용되지 않은 데이터 필드 및 개인정보 저장 차단
- 오류 데이터에 대한 실패 코드 및 사유 기록
- 정상 데이터와 오류 데이터 분리 처리
- 치명적인 데이터 계약 위반 시 Batch 실패 처리
- 출처별 오류 발생 건수 및 품질 통계 생성
⑤ 재실행 멱등성 보장
- 동일 데이터 반복 처리 시 중복 생성 방지
- Batch 중단 후 재실행 시 데이터 정합성 유지
- 재시도 과정에서 INSERT/UPDATE 결과 일관성 유지
- 데이터 저장 결과와 실행 체크포인트 간 정합성 검증
- T64 장애 복구 기능과 연계 가능한 처리 결과 계약 정의
⑥ pytest 및 SQL 자동 테스트
다음 테스트 시나리오를 구성한다.
- 정상 채용공고 데이터 입력 및 검증
- 동일 외부 ID 중복 처리
- 외부 ID 누락 및 필수값 오류
- 게시일·마감일·타임존 오류
- 기존 공고 수정 및 재게시
- 만료·삭제 상태 변경
- 수집 중 오류 발생 후 재시도
- 동일 Fixture 2회 실행 시 중복 데이터 0건 확인
테스트는 개인 로컬 또는 격리 PostgreSQL 환경에서 진행한다.
3. 주요 산출물¶
- 데이터 품질 검증 규칙 및 문서
- 채용공고 정규화·검증 모듈
- 중복 처리 및 멱등성 검증 로직
- 데이터 검증 SQL 및 pytest
- 정상·오류·재시도 테스트 Fixture
- 데이터 품질 및 오류 리포트
- JUnit XML 등 테스트 실행 증빙
- GitHub PR 및 CI 검증 결과
4. 완료 조건 (Definition of Done)¶
- 수집 데이터 필수값 및 형식 검증 PASS
source_id + external_id기반 중복 식별 PASS- 동일 Fixture 반복 처리 시 신규 중복 0건
- 게시일·마감일 및 만료 판정 재현 가능
- 공고 수정·재게시·삭제 처리 기준 문서화
- 잘못된 데이터 저장 차단 및 오류 원인 기록
- 실패 후 재시도 시 데이터 정합성 유지
- pytest 및 격리 DB SQL 테스트 PASS
- 테스트 결과와 오류 사례 증빙 제출
- GitHub PR 리뷰 및 병합 완료
5. 선행조건 및 주의사항¶
- 선행 일감: T61, T62, T09
- T61의 승인된 데이터 출처 및 수집 정책 준수
- T62의 Adapter·Batch Worker 입력 계약 확인
- T09 Migration 승인 전에는 격리 DB 또는 Mock으로 테스트
- T64의 실행 이력·스케줄러 기능과 중복 구현 금지
- 기존 T05 데이터 사전의 테이블·컬럼 계약과 일치 여부 확인
- Staging DB의 무단 DDL/DML/Seed 변경 금지
- 실제 사용자 개인정보나 인증정보를 테스트 데이터에 포함하지 않음
6. GitHub 작업지시서¶
7. 결과 보고 기준¶
- TASK=T63
- STATUS=NOT_STARTED / IN_PROGRESS / PASS / PARTIAL / HOLD
- BRANCH=
- PR_URL=
- TEST_EVIDENCE=
- CI_RUN_URL=
- BLOCKER=
Subtasks
Related issues