# OIBC 2026 — #1120 데이터 품질 검증 보고서

관련 일감: https://sulfite-footbath-next.ngrok-free.dev/issues/1120

**점검 수행 완료·튜터 검토 대기. 원본 데이터 상태는 처리·검토 필요이며 품질 전체 통과가 아니다.**

## 범위와 근거

- 실행 시각(KST): 2026-10-27T11:01:37.373744+09:00
- 원본: `OIBC_2026_DATA (1).zip` / SHA-256: `f8b8914d1e45c7a7e8108fc2bfb2c1287373a07e2621cfe653bb3a12a438834e`
- 원본 ZIP CRC 검사 통과. 실행 전후 SHA-256 동일. 원본 데이터·모델 코드 변경 없음.
- 데이터 10개 파일의 결측·키 중복·비유한값·시간·식별자·숫자 범위를 검사했다.
- 발전소별 용량·기간·관측 건수는 site_quality.csv, 문제 위치는 quality_cases.csv, 전체 수치는 audit_results.json에 있다.
- 단위·우측닫힘·회차 의미는 ZIP의 README를 근거로 대조했다. 실제 계측 장치의 단위/정확도까지 증명한 것은 아니다.

## 요구사항별 결과

| 요구사항 | 수행 결과 | 판정 |
|---|---|---|
| 발전소 수·용량 | 253개, 총 42655.37kW; 참조 두 그룹 각각 20,000kW 이상 | 구조 확인 |
| 발전소별 기간·건수 | 발전소별 3,802~38,244행; 가장 늦은 첫 기록 2024-12-24 15:00:00+09:00 | 이력 길이 차이 주의 |
| 발전량 결측 | 셀 빈값 없음, 첫~마지막 기록 사이 7시간 누락 | 처리 필요 |
| 발전량 이상 후보 | 음수 40행, 1시간 발전량/용량 수치 비교 초과 9행 | 원인·처리 검토 |
| 중복 | A 실측에 값이 충돌하는 중복 키 존재 | 연결 전 해결 필요 |
| 시간·단위 | KST와 시간 구간 규약 확인; B 학습 예보 비정시 시각, A/B 풍속·강설량 단위 차이 | 처리 기준 필요 |

## 파일별 실행 결과

| 파일 | 행 수 | 빈 셀 수 | 중복 초과 행 | 비정시 행 | 기준 달력 누락 키 | 기준 달력 외 키 |
|---|---:|---:|---:|---:|---:|---:|
| `sites.csv` | 253 | 0 | 0 | 0 | 해당 없음 | 해당 없음 |
| `smp.csv` | 8,760 | 0 | 0 | 0 | 해당 없음 | 해당 없음 |
| `test/forecast_wa.parquet` | 1,068,456 | 0 | 0 | 0 | 264 | 0 |
| `test/forecast_wb.parquet` | 1,278,960 | 0 | 0 | 0 | 0 | 0 |
| `train/forecast_wa.parquet` | 4,710,356 | 0 | 0 | 0 | 9580 | 0 |
| `train/forecast_wb.parquet` | 5,621,996 | 10,384 | 0 | 92 | 26544 | 92 |
| `train/generation.parquet` | 4,392,566 | 0 | 0 | 0 | 해당 없음 | 해당 없음 |
| `train/observed_wa.parquet` | 2,359,974 | 0 | 6 | 0 | 0 | 0 |
| `train/observed_wb.parquet` | 2,824,223 | 0 | 0 | 0 | 1 | 0 |
| `train/smp.csv` | 38,688 | 0 | 0 | 0 | 해당 없음 | 해당 없음 |

누락 키는 기상지점×시간(예보는 회차 포함)의 기대 조합과 실제 키를 대조한 값이다. 동일 시각에 여러 관측지점·회차가 있을 수 있어 시각 수나 발전소 수와 다르다. 기상 학습 구간 기준은 train/smp.csv다. 장비 편입 이전 여부가 확인되지 않은 기상 누락은 원인 미확인으로 남긴다.

## 중요한 품질 문제와 처리 제안

| 우선순위 | 문제 | 제안 — 미적용 |
|---|---|---|
| P1 | B 학습 예보 비정시 시각 | 원인 확인 전 정시 강제 변환 금지. 변환 시 키 충돌을 별도 검증. 해당 값은 직접 연결에 쓰지 않고 제외·대체 후보로 분리하되 비교 실험 후 결정. |
| P1 | A 실측 중복 키의 값 충돌 | 임의 첫 행·평균 선택 금지. 후보별 차이와 수신 시각 정보를 확인. 예보 전용 기준 모델에는 미래 실측을 연결하지 않음. |
| P1 | 평가 예보의 누락 행 | 평가 행 삭제 금지. 다른 제공 회차/제공사, 학습 구간 통계 등 예측 시점에 가용한 대체 후보 비교. |
| P1 | 음수 발전량과 행 누락 | 기록 누락을 0발전과 구분. 음수는 원본 보존·품질 플래그 부여 후 학습 제외/0 보정 후보 비교. |
| P2 | 기상 실측 극단값·습도 100 초과 | 오류 표시값 후보로 기록. 물리적으로 불가능한 범위와 극단적이지만 가능한 값을 구분하여 검토. |
| P2 | 발전량/용량 비율 초과 | kW와 kWh를 구분하고 1시간 구간 전제하에 검토. 임의 용량 상한 절단 금지. |
| P2 | B 예보 강수 관련 빈값 | 8개 열별 빈 셀 수와 실제 영향 행 수를 구분. 학습 구간에서 정한 대체 기준 사용. |
| P2 | A 예보 온도 열 동일 설명과 차이 | 실제 차이가 있어 중복 컬럼으로 단정하지 않음. 사용 여부는 검증 후 결정. |

### 검토 임계값

숫자 범위 경보는 README에 제시된 이상 후보 기준(예: 풍속·운량·UV·기압)을 사용했다. 이는 통계적/물리적 검토 신호이며, 해당 행이 오류라는 확정이나 공식 제출 무효 조건이 아니다.

- `test/forecast_wa.parquet` / `wa_humidity_gt_100_review`: 89행
- `train/forecast_wa.parquet` / `wa_humidity_gt_100_review`: 99행
- `train/forecast_wa.parquet` 온도 세 열이 모두 동일하지 않은 행: 244
- `train/forecast_wb.parquet` 시각 내림 적용 시 중복 초과 행: 35 (메모리 진단만 수행)
- `train/observed_wa.parquet` / `wa_wind_speed_gt_50_review`: 14행
- `train/observed_wb.parquet` / `wb_cloud_gt_100_review`: 433행
- `train/observed_wb.parquet` / `wb_uv_idx_gt_15_review`: 394행
- `train/observed_wb.parquet` / `wb_vis_gt_50_review`: 896행
- `train/observed_wb.parquet` / `wb_wind_speed_gt_200_review`: 230행
- `train/observed_wb.parquet` / `wb_pressure_lt_900_review`: 428행

## 통과·문제 발견·미실행 구분

- **통과:** ZIP CRC, 원본 불변 확인. 각 파일의 키 빈값·알 수 없는 식별자·무한값 여부는 JSON의 개별 수치를 근거로 판단한다.
- **문제 발견:** 결측 조합·비정시 시각·충돌 중복·음수 및 범위 이상 후보. 원본의 전체 품질 통과로 기록하지 않는다.
- **미실행:** 데이터 정제·대체 적용, 모델 학습, 성능 비교, 공식 채점 재현, 튜터 승인.
- 전처리 전후 행 수는 동일하다. 삭제 0행, 결측 대체 0행. 검증을 위해 메모리에서 계산한 정시 내림 결과는 저장 데이터에 적용하지 않았다.

## 미확인과 인수인계

- ZIP에 없는 문제정의서·scoring.py와 최신 FAQ의 위치가 필요하다.
- 음수·비정시·실측 중복의 원인 및 최종 처리 기준은 튜터/팀 검토가 필요하다.
- 다음 #1121에서는 이력 길이가 다른 발전소를 고려한 과거 학습→미래 검증 구간을 설계한다.
- #1122에서는 예측 시점(대상일 전일 17:00 KST)에 실제 알 수 있는 입력과 회차를 구분한다.
- #1123에서 이상재에게 검증 결과·데이터 처리 규칙·분할 기준을 전달한다.

## 재현 방법

작업 폴더: ai_project_expert_kit. Python 환경에 pandas, numpy, pyarrow가 필요하다.
```powershell
python tools/audit_oibc_1120.py --zip "C:\Users\hjmo-\Downloads\OIBC_2026_DATA (1).zip" --out outputs/oibc_1120
```

예상 결과: audit_results.json, site_quality.csv, quality_cases.csv, data_quality_report.md 생성. 라이브러리를 찾지 못하면 동일 Python 환경의 패키지 설치를 확인한다. 입력 파일 부재·ZIP 손상·실행 중 원본 변경은 오류로 종료한다.

검증 코드: tools/audit_oibc_1120.py. 실행 환경 버전은 audit_results.json에 기록했다.

## 산출물 교차 검증 결과

검증표·문제 위치 목록·발전소별 표의 교차 검증 59건 통과, 0건 실패. 기대 조합 - 누락 + 기준 외 조합 + 중복 초과 행 = 실제 행 수, 발전소별 합계와 전체 합계, 문제 목록 건수와 진단 수치를 대조했다.

문제 위치 목록은 40,766개의 규칙별 기록이다. 한 원본 행이 여러 경보에 해당하거나 원래 없는 조합을 기록할 수 있으므로 고유 오류 행 수가 아니다.

재현: `python tools/verify_oibc_1120_outputs.py outputs/oibc_1120`

이 검사는 산출물 간 집계 일치 확인이며 원본 데이터의 모든 값이 정상이라는 판정이 아니다.
