Project

General

Profile

Feature #1120 » data_quality_report.md

수아 황, 10/27/2026 02:07 AM

 

OIBC 2026 — #1120 데이터 품질 검증 보고서

관련 일감: https://sulfite-footbath-next.ngrok-free.dev/issues/1120

점검 수행 완료·튜터 검토 대기. 원본 데이터 상태는 처리·검토 필요이며 품질 전체 통과가 아니다.

범위와 근거

  • 실행 시각(KST): 2026-10-27T11:01:37.373744+09:00
  • 원본: OIBC_2026_DATA (1).zip / SHA-256: f8b8914d1e45c7a7e8108fc2bfb2c1287373a07e2621cfe653bb3a12a438834e
  • 원본 ZIP CRC 검사 통과. 실행 전후 SHA-256 동일. 원본 데이터·모델 코드 변경 없음.
  • 데이터 10개 파일의 결측·키 중복·비유한값·시간·식별자·숫자 범위를 검사했다.
  • 발전소별 용량·기간·관측 건수는 site_quality.csv, 문제 위치는 quality_cases.csv, 전체 수치는 audit_results.json에 있다.
  • 단위·우측닫힘·회차 의미는 ZIP의 README를 근거로 대조했다. 실제 계측 장치의 단위/정확도까지 증명한 것은 아니다.

요구사항별 결과

요구사항 수행 결과 판정
발전소 수·용량 253개, 총 42655.37kW; 참조 두 그룹 각각 20,000kW 이상 구조 확인
발전소별 기간·건수 발전소별 3,802~38,244행; 가장 늦은 첫 기록 2024-12-24 15:00:00+09:00 이력 길이 차이 주의
발전량 결측 셀 빈값 없음, 첫~마지막 기록 사이 7시간 누락 처리 필요
발전량 이상 후보 음수 40행, 1시간 발전량/용량 수치 비교 초과 9행 원인·처리 검토
중복 A 실측에 값이 충돌하는 중복 키 존재 연결 전 해결 필요
시간·단위 KST와 시간 구간 규약 확인; B 학습 예보 비정시 시각, A/B 풍속·강설량 단위 차이 처리 기준 필요

파일별 실행 결과

파일 행 수 빈 셀 수 중복 초과 행 비정시 행 기준 달력 누락 키 기준 달력 외 키
sites.csv 253 0 0 0 해당 없음 해당 없음
smp.csv 8,760 0 0 0 해당 없음 해당 없음
test/forecast_wa.parquet 1,068,456 0 0 0 264 0
test/forecast_wb.parquet 1,278,960 0 0 0 0 0
train/forecast_wa.parquet 4,710,356 0 0 0 9580 0
train/forecast_wb.parquet 5,621,996 10,384 0 92 26544 92
train/generation.parquet 4,392,566 0 0 0 해당 없음 해당 없음
train/observed_wa.parquet 2,359,974 0 6 0 0 0
train/observed_wb.parquet 2,824,223 0 0 0 1 0
train/smp.csv 38,688 0 0 0 해당 없음 해당 없음

누락 키는 기상지점×시간(예보는 회차 포함)의 기대 조합과 실제 키를 대조한 값이다. 동일 시각에 여러 관측지점·회차가 있을 수 있어 시각 수나 발전소 수와 다르다. 기상 학습 구간 기준은 train/smp.csv다. 장비 편입 이전 여부가 확인되지 않은 기상 누락은 원인 미확인으로 남긴다.

중요한 품질 문제와 처리 제안

우선순위 문제 제안 — 미적용
P1 B 학습 예보 비정시 시각 원인 확인 전 정시 강제 변환 금지. 변환 시 키 충돌을 별도 검증. 해당 값은 직접 연결에 쓰지 않고 제외·대체 후보로 분리하되 비교 실험 후 결정.
P1 A 실측 중복 키의 값 충돌 임의 첫 행·평균 선택 금지. 후보별 차이와 수신 시각 정보를 확인. 예보 전용 기준 모델에는 미래 실측을 연결하지 않음.
P1 평가 예보의 누락 행 평가 행 삭제 금지. 다른 제공 회차/제공사, 학습 구간 통계 등 예측 시점에 가용한 대체 후보 비교.
P1 음수 발전량과 행 누락 기록 누락을 0발전과 구분. 음수는 원본 보존·품질 플래그 부여 후 학습 제외/0 보정 후보 비교.
P2 기상 실측 극단값·습도 100 초과 오류 표시값 후보로 기록. 물리적으로 불가능한 범위와 극단적이지만 가능한 값을 구분하여 검토.
P2 발전량/용량 비율 초과 kW와 kWh를 구분하고 1시간 구간 전제하에 검토. 임의 용량 상한 절단 금지.
P2 B 예보 강수 관련 빈값 8개 열별 빈 셀 수와 실제 영향 행 수를 구분. 학습 구간에서 정한 대체 기준 사용.
P2 A 예보 온도 열 동일 설명과 차이 실제 차이가 있어 중복 컬럼으로 단정하지 않음. 사용 여부는 검증 후 결정.

검토 임계값

숫자 범위 경보는 README에 제시된 이상 후보 기준(예: 풍속·운량·UV·기압)을 사용했다. 이는 통계적/물리적 검토 신호이며, 해당 행이 오류라는 확정이나 공식 제출 무효 조건이 아니다.

  • test/forecast_wa.parquet / wa_humidity_gt_100_review: 89행
  • train/forecast_wa.parquet / wa_humidity_gt_100_review: 99행
  • train/forecast_wa.parquet 온도 세 열이 모두 동일하지 않은 행: 244
  • train/forecast_wb.parquet 시각 내림 적용 시 중복 초과 행: 35 (메모리 진단만 수행)
  • train/observed_wa.parquet / wa_wind_speed_gt_50_review: 14행
  • train/observed_wb.parquet / wb_cloud_gt_100_review: 433행
  • train/observed_wb.parquet / wb_uv_idx_gt_15_review: 394행
  • train/observed_wb.parquet / wb_vis_gt_50_review: 896행
  • train/observed_wb.parquet / wb_wind_speed_gt_200_review: 230행
  • train/observed_wb.parquet / wb_pressure_lt_900_review: 428행

통과·문제 발견·미실행 구분

  • 통과: ZIP CRC, 원본 불변 확인. 각 파일의 키 빈값·알 수 없는 식별자·무한값 여부는 JSON의 개별 수치를 근거로 판단한다.
  • 문제 발견: 결측 조합·비정시 시각·충돌 중복·음수 및 범위 이상 후보. 원본의 전체 품질 통과로 기록하지 않는다.
  • 미실행: 데이터 정제·대체 적용, 모델 학습, 성능 비교, 공식 채점 재현, 튜터 승인.
  • 전처리 전후 행 수는 동일하다. 삭제 0행, 결측 대체 0행. 검증을 위해 메모리에서 계산한 정시 내림 결과는 저장 데이터에 적용하지 않았다.

미확인과 인수인계

  • ZIP에 없는 문제정의서·scoring.py와 최신 FAQ의 위치가 필요하다.
  • 음수·비정시·실측 중복의 원인 및 최종 처리 기준은 튜터/팀 검토가 필요하다.
  • 다음 #1121에서는 이력 길이가 다른 발전소를 고려한 과거 학습→미래 검증 구간을 설계한다.
  • #1122에서는 예측 시점(대상일 전일 17:00 KST)에 실제 알 수 있는 입력과 회차를 구분한다.
  • #1123에서 이상재에게 검증 결과·데이터 처리 규칙·분할 기준을 전달한다.

재현 방법

작업 폴더: ai_project_expert_kit. Python 환경에 pandas, numpy, pyarrow가 필요하다.

python tools/audit_oibc_1120.py --zip "C:\Users\hjmo-\Downloads\OIBC_2026_DATA (1).zip" --out outputs/oibc_1120

예상 결과: audit_results.json, site_quality.csv, quality_cases.csv, data_quality_report.md 생성. 라이브러리를 찾지 못하면 동일 Python 환경의 패키지 설치를 확인한다. 입력 파일 부재·ZIP 손상·실행 중 원본 변경은 오류로 종료한다.

검증 코드: tools/audit_oibc_1120.py. 실행 환경 버전은 audit_results.json에 기록했다.

산출물 교차 검증 결과

검증표·문제 위치 목록·발전소별 표의 교차 검증 59건 통과, 0건 실패. 기대 조합 - 누락 + 기준 외 조합 + 중복 초과 행 = 실제 행 수, 발전소별 합계와 전체 합계, 문제 목록 건수와 진단 수치를 대조했다.

문제 위치 목록은 40,766개의 규칙별 기록이다. 한 원본 행이 여러 경보에 해당하거나 원래 없는 조합을 기록할 수 있으므로 고유 오류 행 수가 아니다.

재현: python tools/verify_oibc_1120_outputs.py outputs/oibc_1120

이 검사는 산출물 간 집계 일치 확인이며 원본 데이터의 모든 값이 정상이라는 판정이 아니다.

(1-1/2)