Project

General

Profile

Actions

Feature #1120

closed
수황 수황

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

[OIBC] 데이터 품질 검증

Feature #1120: [OIBC] 데이터 품질 검증

Added by 수아 황 22 days ago. Updated 19 days ago.

Status:
Closed
Priority:
Normal
Assignee:
Start date:
10/27/2026
Due date:
10/28/2026
% Done:

100%

Estimated time:

Description

결측값, 중복값, 이상값, 발전소 수, 발전소별 Capacity, 시간범위 및 단위 정합성 점검


Files

data_quality_report.md (8.04 KB) data_quality_report.md 수아 황, 10/27/2026 02:07 AM
oibc_1120_evidence.zip (159 KB) oibc_1120_evidence.zip 수아 황, 10/27/2026 02:07 AM

수황 Updated by 수아 황 22 days ago Actions #1

[결과]
#1120 요구 범위인 결측값·중복값·이상값·발전소 수·발전소별 Capacity·시간범위·단위 정합성 점검을 수행했습니다. 점검 및 보고서 작성 완료를 기준으로 Resolved / 100%로 기록하며, 튜터 검토는 대기 중입니다. 원본 품질 전체 통과나 데이터 정제 완료를 뜻하지 않습니다.

[산출물·검증 근거]
첨부 1: data_quality_report.md — 점검 결과·우선순위·처리 제안·한계
첨부 2: oibc_1120_evidence.zip — 전체 JSON, 발전소별 품질 CSV, 문제 위치 CSV, 실행 가능한 검증 스크립트 2개 및 QA 결과

  • 데이터 10개 파일 전체 점검, 발전소 253개 및 총 42,655.37kW 확인
  • 원본 ZIP CRC 통과, 실행 전후 SHA-256 동일
  • 집계·누락 조합·문제 위치 목록 교차 검증 59건 통과 / 실패 0건

[주요 발견]

  • 발전량 음수 40행, 기록 기간 내부 7시간 누락, 1시간 발전량/용량 수치 비교 초과 9행
  • A 실측에 값이 충돌하는 중복 키 6개(총 12행)
  • B 학습 예보 비정시 시각 92행. 정시 내림 시 중복 초과 행 35개가 생겨 무조건 변환 금지
  • 학습 가격표 시간축 기준 A 예보 9,580개 / B 예보 26,544개 관측지점·회차·시각 조합 누락
  • 평가 A 예보 264개 조합 누락, B 평가 예보는 기대 조합과 일치
  • B 학습 예보 강수 관련 8열에서 같은 1,298행에 빈값(빈 셀 합계 10,384개)
  • B 실측 기상 1개 관측지점·시각 조합 누락
  • 단위 차이, 극단값, A 예보 온도 열 설명과 실제 차이도 보고서에 기록

[해석·미확인]
누락 조합 수는 고유 시각 수·발전소 수와 다릅니다. 문제 위치 CSV의 40,766건은 규칙별 기록으로 고유 오류 행 수가 아닙니다. 비정시·음수·중복의 원인은 미확인입니다. 문제정의서·scoring.py는 제공 ZIP에 없어 별도 확보가 필요합니다.

[적용 여부·다음 행동]
원본 변경·행 삭제·결측 대체·모델 학습은 수행하지 않았습니다. 처리 규칙은 튜터/팀 검토 후 결정합니다. 다음은 #1121 시계열 검증 구간 설계이며 #1122 예측 시점 입력 가용성 점검과 연결합니다. #1123에서 이상재에게 검증 자료를 인계합니다.

수황 Updated by 수아 황 19 days ago Actions #2

  • Status changed from Resolved to Closed

[2026-10-29 완료 상태 정리]
사용자 요청에 따라 기존 Resolved / 100%인 결측·중복·이상값·용량·시간·단위 점검 및 품질 보고서 작성 범위를 Closed / 100%로 정리합니다. 기존 댓글·검증·첨부 산출물과 #1123 댓글 7의 데이터 기준 인수인계 완료 기록을 근거로 합니다. 기존 내용과 한계는 보존합니다. 실제 수신 지연·최종 cutoff는 #1158(D04), 공식 정산은 #1159(D05) 후속 항목으로 유지하며, 이번 종료가 모든 원본 데이터의 품질 통과·모델 성능·공식 제출 승인을 뜻하지 않습니다. 담당자·일정·첨부·기존 100%는 유지합니다.

Actions

Also available in: PDF Atom