Private
Tracker *Bug Feature Support
Subject *
Description # [T153] 독립 파싱·검증·후처리 파이프라인 ## 1. 작업 목적 AI Career Platform의 기존 크롤러(T62~T64) 및 T152에서 구축한 원본 HTML 저장 구조를 활용하여, **원본 수집과 데이터 파싱·검증·정제 과정을 완전히 분리한 독립 Parse Worker**를 구축한다. 기존 크롤러는 HTML 수집 후 즉시 파싱·정규화·DB 저장까지 처리하는 방식이었다. 이번 작업에서는 T152에서 저장한 목록·상세 HTML을 별도 프로세스에서 읽어 다음 작업을 수행하도록 개선한다. - HTML 파싱 및 공고 필드 추출 - 필수 데이터 및 형식 검증 - 데이터 정규화 및 품질 검사 - 중복 공고 제거 - PostgreSQL UPSERT - 실패 데이터 격리 및 재처리 - 파싱 버전 및 처리 결과 관리 이를 통해 HTML 구조 변경이나 파싱 오류가 발생하더라도 외부 사이트를 재수집하지 않고 보관된 원본을 이용해 문제를 수정하고 재처리할 수 있도록 한다. ## 2. 전체 처리 흐름 **T152 Fetch Worker** 목록 HTML 수집 → 상세 HTML 수집 → 원본 저장 → Raw Artifact ID 생성 ↓ **T153 Parse Worker** 원본 HTML 읽기 → 필드 추출 → 데이터 검증 → 정규화 → 중복 판정 → PostgreSQL 저장 ↓ **후처리 결과** 정상 공고 / 중복 공고 / 검증 실패 / 재처리 대상 Fetch Worker는 원본 확보만 담당하고, Parse Worker는 저장된 원본 데이터를 처리한다. ## 3. 주요 개발 내용 ### ① 독립 Parse Worker 구현 - 기존 Fetch Worker와 별도 실행 프로세스로 구성 - DB에서 미처리 Raw Artifact 조회 - 저장된 HTML 원본 로딩 - HTML 파싱 수행 - 처리 상태 및 결과 기록 - 실행 중 오류 발생 시 해당 작업의 실패 원인 기록 - 동일 원본 재처리 지원 Parse Worker는 원본 HTML을 처리하며 **실제 외부 사이트에 다시 HTTP 요청을 보내지 않는다.** ### ② 채용공고 필드 추출 기존 T62 HTML 파서 및 T63 Normalizer를 재사용한다. 주요 추출 대상 필드는 다음과 같다. | 필드 | 내용 | |---|---| | external_posting_id | 원본 사이트 채용공고 식별자 | | title | 채용공고 제목 | | company_name | 기업명 | | job_role | 직무 또는 업무 분야 | | location | 근무지역 | | employment_type | 고용형태 | | experience | 경력 조건 | | salary | 급여 정보(제공되는 경우) | | posted_at | 등록일 | | deadline_at | 마감일 | | source_url | 원본 공고 URL | | skill_keywords | 기술·역량 키워드 | 기존 데이터 계약에 정의되지 않은 필드는 임의로 필수값으로 지정하지 않고, 필요 시 데이터 계약을 보완한다. ### ③ 데이터 검증 및 정규화 - 필수값 누락 여부 검증 - 문자열 길이 및 공백 정리 - 날짜·시간대 유효성 검증 - 잘못된 공고 ID·URL 검증 - 동일 기업명의 무분별한 자동 병합 방지 - 경력·고용형태·지역 값의 표준화 - 허용 범위를 벗어난 개인정보·불필요한 데이터 제외 - 비정상 HTML 및 추출 실패 처리 정상 데이터를 정제 DB에 반영하고, 검증 실패 데이터는 오류 사유와 함께 별도로 관리한다. ### ④ 중복 제거 및 PostgreSQL UPSERT 기존 T63에서 구현한 UPSERT 구조를 최대한 재사용한다. 공고 식별 기준: **(source_code, external_posting_id)** 처리 정책: - 신규 공고: INSERT - 기존 공고의 내용 변경: UPDATE - 기존 공고와 동일한 내용: UNCHANGED - 동일 실행 내 중복 공고: DUPLICATE - 필수 데이터 검증 실패: INVALID 동일 공고가 AI, Python, LLM 등 여러 검색어에서 발견되어도 공고 자체는 한 번만 저장한다. 단, 어떤 검색어에서 발견되었는지는 T151에서 정의한 검색어·공고 관계 정보를 통해 추적할 수 있도록 한다. ### ⑤ 파싱 버전 및 원본 추적 관리 HTML 파싱 로직은 향후 변경될 수 있으므로 다음 정보를 기록한다. - raw_artifact_id - parser_version - parsed_at - validation_status - error_code - 정제 공고 ID - 처리 결과 및 변경 여부 원본 HTML → 파서 버전 → 정규화 결과 → 저장된 공고를 추적할 수 있어야 한다. ### ⑥ 실패 데이터 격리 및 재처리 다음 상황을 지원한다. - HTML 구조 변경으로 인한 파싱 실패 - 필수 필드 누락 - 잘못된 날짜·형식 - DB 저장 오류 - Worker 실행 중단 - 같은 원본의 중복 처리 요청 실패한 원본은 정상 데이터로 잘못 저장하지 않으며, 오류 원인과 상태를 기록한다. 파서 수정 이후 관리자가 해당 데이터를 재처리하도록 요청할 수 있는 내부 기능을 제공한다. 관리자 웹 UI 구현은 T156에서 진행한다. ### ⑦ 후처리 결과 통계 작업별 다음 통계를 기록한다. - 처리 대상 원본 건수 - 파싱 성공 건수 - 신규 INSERT 건수 - UPDATE 건수 - UNCHANGED 건수 - 중복 건수 - 검증 실패 건수 - 재처리 성공·실패 건수 해당 통계는 향후 T155 관리자 API와 T156 관리자 웹 UI에서 재사용한다. ## 4. 개발 일정 **시작일: 2026-11-19 (목)** **완료예정일: 2026-11-24 (화)** | 날짜 | 주요 작업 | |---|---| | 11/19 (목) | 기존 파서·Normalizer 분석 및 독립 Parse Worker 설계 | | 11/20 (금) | HTML 필드 추출·검증·정규화 기능 구현 | | 11/23 (월) | PostgreSQL UPSERT·파싱 버전·재처리 기능 구현 | | 11/24 (화) | Fixture E2E, 오류·중복 테스트, PR·CI 및 완료 보고 | 일정은 개발 계획이며, 선행 T152 완료 여부에 따라 조정할 수 있다. ## 5. 기존 시스템 재사용 다음 기능을 우선 확인하고 재사용한다. - T62 HTML Parser 및 JobKorea Adapter - T63 Normalizer·Validator·UPSERT - T64 Worker 실행 이력 및 오류 관리 - T151 검색어·공고 발견 관계 - T152 Raw HTML Storage 및 메타데이터 계약 - 기존 PostgreSQL 연결 및 Migration 체계 기존 파서와 UPSERT를 다시 구현하지 않고, 독립 실행·원본 재처리·검증 상태 관리에 필요한 부분만 추가한다. ## 6. 개발 및 안전 원칙 1. 원본 HTML 수집과 파싱 프로세스를 분리한다. 2. Parse Worker에서는 외부 HTTP 요청을 실행하지 않는다. 3. 저장된 합성 HTML을 이용해 우선 개발·검증한다. 4. 검증 실패 데이터를 정제 공고 DB에 반영하지 않는다. 5. 원본 HTML은 허용된 보존 기간 및 접근 정책을 따른다. 6. 동일 원본 재실행 시 중복 공고가 생성되지 않도록 한다. 7. 기존 데이터·DB 스키마·Auto-CD·Docker 볼륨을 보호한다. 8. 기존 스케줄러 및 Live 수집 비활성 상태를 유지한다. 9. 관리자 API 및 웹 UI 구현은 T155~T156에서 진행한다. ## 7. 완료 기준 (DoD) - [ ] 독립 Parse Worker 구현 - [ ] T152에서 저장한 원본 HTML 로딩 - [ ] 채용공고 필드 추출 정상 동작 - [ ] 필수 데이터·날짜·URL·형식 검증 - [ ] 데이터 정규화 및 품질 검사 - [ ] 동일 공고 중복 제거 및 PostgreSQL UPSERT - [ ] INSERT / UPDATE / UNCHANGED 결과 구분 - [ ] 여러 검색어에서 발견된 동일 공고 관계 유지 - [ ] Raw Artifact와 정제 공고 추적 가능 - [ ] Parser 버전 및 검증 이력 기록 - [ ] 파싱 실패 데이터 격리 및 재처리 검증 - [ ] 동일 원본 반복 처리 시 중복 INSERT 0건 - [ ] Parse Worker 외부 HTTP 요청 0건 - [ ] 기존 데이터 및 서비스 보존 - [ ] 합성 Fixture 기반 전체 후처리 E2E PASS - [ ] GitHub PR 및 필수 CI PASS - [ ] main Merge 및 실제 Staging Fixture QA PASS - [ ] Redmine Evidence 등록 및 완료 검수 ## 8. 제출 산출물 - 독립 Parse Worker 구현 코드 - HTML 필드 추출 및 Normalizer 연동 코드 - 데이터 검증·후처리 로직 - Raw Artifact와 정제 공고 연결 계약 - 필요한 DB Migration 및 Rollback - Parser 버전 및 재처리 관리 기능 - 합성 HTML Fixture 및 pytest - 정상·중복·실패·재처리 테스트 Evidence - GitHub PR URL·CI 결과·Merge SHA - 스테이징 Fixture 통합 검증 보고서 ## 9. GitHub 작업지시서 https://github.com/ai-career-platform/ai-career-platform/blob/main/docs/work-orders/crawler-enhancement/T153.md ## 10. 최종 목표 T152에서 확보한 HTML 원본을 독립 프로세스에서 파싱·검증·정규화하고 PostgreSQL에 저장하는 안정적인 후처리 파이프라인을 완성한다. 원본 재수집 없이 파싱 오류를 수정하고 재처리할 수 있으며, 향후 T154 증분 수집·스케줄링 및 T155~T156 관리자 기능에서 공통으로 재사용할 수 있도록 한다. Edit
Status *New In Progress Resolved Feedback Closed Rejected
Priority *Low Normal High Urgent Immediate
Assignee 길래 문DONGHYUN WooLio yunRedmine AdminYeoreum Kim길래 문나경 고다라 정박 진상재 이서현 임성용 양성호 최수아 황영우 조예주 김예진 전우섭 심정민 조종복 김중섭 안지나 팡충만 장형준 안희주 노희주 채
Parent task
Start date
Due date
Estimated time Hours
% Done0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %
Spent time Hours
Activity--- Please select --- Design Development
Comment