Private
Tracker *Bug Feature Support
Subject *
Description 선행 일감 T61, T62, T09 관련 기능 F-012, F-024 ### 1. 작업 목표 AI Career Platform의 크롤러(T62)가 수집한 채용공고 데이터를 표준화하고, 중복·만료·오류 데이터를 검증하는 **데이터 품질 관리 모듈**을 개발한다. 동일한 채용공고를 여러 번 수집하거나 수집 도중 오류가 발생하더라도 데이터 중복 및 정합성 문제가 발생하지 않도록 한다. T64의 자동 실행·실패 재처리 기능에서도 동일한 검증 규칙을 사용할 수 있도록 구성한다. ### 2. 주요 작업 내용 **① 수집 데이터 표준화 및 검증** - 채용공고 제목·기업·직무·요구 기술 등 공통 데이터 형식 검증 - `source_id`, `external_id` 식별자 검증 - 필수값 누락 및 잘못된 데이터 형식 탐지 - URL 및 게시·마감일 형식 검증 - UTC 저장 및 KST 표시를 위한 타임존 정합성 확인 - 원본 데이터와 정규화 결과 간 추적 가능성 확보 **② 중복 채용공고 식별 및 처리** - `source_id + external_id`를 기준으로 중복 확인 - 외부 ID가 없는 경우 대체 식별 기준 별도 정의 - 동일 공고 중복 INSERT 방지 - 기존 공고의 제목·마감일·상태 변경 시 업데이트 정책 적용 - 재게시된 채용공고의 신규 등록 또는 갱신 판정 - 기업명이나 공고 제목만 같다는 이유로 임의 병합하지 않도록 검증 **③ 채용공고 만료 및 상태 관리** - 게시일·마감일 기준 만료 여부 검증 - 원본에서 삭제·비활성화된 공고 구분 - 공고 상태 변경 이력 관리 기준 정의 - 만료·삭제·재게시 처리 정책 검증 - 기존 데이터 보존 및 갱신 기준 문서화 **④ 데이터 품질 검사 및 오류 격리** - 필수 필드 누락 및 비정상 값 검출 - 허용되지 않은 데이터 필드 및 개인정보 저장 차단 - 오류 데이터에 대한 실패 코드 및 사유 기록 - 정상 데이터와 오류 데이터 분리 처리 - 치명적인 데이터 계약 위반 시 Batch 실패 처리 - 출처별 오류 발생 건수 및 품질 통계 생성 **⑤ 재실행 멱등성 보장** - 동일 데이터 반복 처리 시 중복 생성 방지 - Batch 중단 후 재실행 시 데이터 정합성 유지 - 재시도 과정에서 INSERT/UPDATE 결과 일관성 유지 - 데이터 저장 결과와 실행 체크포인트 간 정합성 검증 - T64 장애 복구 기능과 연계 가능한 처리 결과 계약 정의 **⑥ pytest 및 SQL 자동 테스트** 다음 테스트 시나리오를 구성한다. 1. 정상 채용공고 데이터 입력 및 검증 2. 동일 외부 ID 중복 처리 3. 외부 ID 누락 및 필수값 오류 4. 게시일·마감일·타임존 오류 5. 기존 공고 수정 및 재게시 6. 만료·삭제 상태 변경 7. 수집 중 오류 발생 후 재시도 8. 동일 Fixture 2회 실행 시 중복 데이터 0건 확인 테스트는 개인 로컬 또는 격리 PostgreSQL 환경에서 진행한다. ### 3. 주요 산출물 - 데이터 품질 검증 규칙 및 문서 - 채용공고 정규화·검증 모듈 - 중복 처리 및 멱등성 검증 로직 - 데이터 검증 SQL 및 pytest - 정상·오류·재시도 테스트 Fixture - 데이터 품질 및 오류 리포트 - JUnit XML 등 테스트 실행 증빙 - GitHub PR 및 CI 검증 결과 ### 4. 완료 조건 (Definition of Done) - 수집 데이터 필수값 및 형식 검증 PASS - `source_id + external_id` 기반 중복 식별 PASS - 동일 Fixture 반복 처리 시 신규 중복 0건 - 게시일·마감일 및 만료 판정 재현 가능 - 공고 수정·재게시·삭제 처리 기준 문서화 - 잘못된 데이터 저장 차단 및 오류 원인 기록 - 실패 후 재시도 시 데이터 정합성 유지 - pytest 및 격리 DB SQL 테스트 PASS - 테스트 결과와 오류 사례 증빙 제출 - GitHub PR 리뷰 및 병합 완료 ### 5. 선행조건 및 주의사항 - 선행 일감: T61, T62, T09 - T61의 승인된 데이터 출처 및 수집 정책 준수 - T62의 Adapter·Batch Worker 입력 계약 확인 - T09 Migration 승인 전에는 격리 DB 또는 Mock으로 테스트 - T64의 실행 이력·스케줄러 기능과 중복 구현 금지 - 기존 T05 데이터 사전의 테이블·컬럼 계약과 일치 여부 확인 - Staging DB의 무단 DDL/DML/Seed 변경 금지 - 실제 사용자 개인정보나 인증정보를 테스트 데이터에 포함하지 않음 ### 6. GitHub 작업지시서 https://github.com/ai-career-platform/ai-career-platform/blob/main/docs/work-orders/remaining-30/T63.md ### 7. 결과 보고 기준 - TASK=T63 - STATUS=NOT_STARTED / IN_PROGRESS / PASS / PARTIAL / HOLD - BRANCH= - PR_URL= - TEST_EVIDENCE= - CI_RUN_URL= - BLOCKER= Edit
Status *New In Progress Resolved Feedback Closed Rejected
Priority *Low Normal High Urgent Immediate
Assignee 길래 문DONGHYUN WooLio yunRedmine AdminYeoreum Kim길래 문나경 고다라 정박 진상재 이서현 임성용 양성호 최수아 황영우 조예주 김예진 전우섭 심정민 조종복 김중섭 안지나 팡충만 장형준 안희주 노희주 채
Parent task
Start date
Due date
Estimated time Hours
% Done0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %
Spent time Hours
Activity--- Please select --- Design Development
Comment