Project

General

Profile

Feature #1124 » OIBC_1124_Forecast_Experiment_Design_v1.0.md

#1124 Forecast Experiment 구조 설계서 v1.0 - 상재 이, 10/27/2026 07:27 AM

 

#1124 Forecast Experiment 구조 설계 v1.0

  • 작성: 이상재 (Forecasting) · 2026-10-27 KST
  • 일감: #1124 (상위 #980) · 선행: #1119 (Resolved), #991 (In Progress 70%) · 연계: #1123 (Feedback), #990/#992 (조영우)
  • 원본 데이터: OIBC_2026_DATA.zip SHA-256 f8b8914d1e45c7a7e8108fc2bfb2c1287373a07e2621cfe653bb3a12a438834e (#1119~#1123과 동일 원본 확인)
  • 상태: 설계 완료 (v1.0). D01D03은 PR #188 수아 제안과 합의 방향 반영. 모델 학습·성능 평가는 범위 밖(#1125#1127)
  • 정산 기준: #991 계산기를 단일 원본으로 호출. #991 검증 완료 시 run별 scoring_version만 갱신되며 본 구조는 변경 없음

0. 설계 전제 — 과제 구조에서 나오는 제약

사실 (README·#1121·#1122) 실험 구조에 미치는 영향
평가 구간 2025-06-01 01:00 ~ 2026-06-01 00:00 (8,760h) 1년치를 한 번에 제출 단일 모델/정책으로 사계절 전체를 맞춰야 함 → 검증도 계절을 덮어야 함
평가 구간에 발전량·실측 기상 없음 Persistence·전일 동시각·lag 계열은 제출용으로 사용 불가. Naive는 climatology형으로 정의 (#1125)
예측 시점 D-1 17:00 KST, 예보 round 10·17 모두 허용 입력 = 예보 A/B(30종) + 정적(용량·좌표·거리) + 달력·태양기하. round 처리 방식은 실험 축
정산 `S = Σ SMP·actual − 0.10·Σ SMP·k· Σforecast − Σactual
구성(G1/G2)은 1년 고정, 각 ≥20,000 kW 예측은 발전소 단위로 내고, 그룹 합산은 구성(조영우)에 맡김

1. 입력 / 출력

1.1 입력 (D03 합의 대상, #1122 feature_policy 기준)

구분 내용 비고
키 site_id, ts(KST, 우측닫힘)
예보 A forecast_wa (wa_station, round, ts) 10종 wa_temp_max/min은 wa_temp와 동일 → 1개만 사용
예보 B forecast_wb (wb_station, round, ts) 20종 풍속 단위 km/h (A는 m/s)
정적 capacity_kw, lat, lon, wa_dist, wb_dist current_group은 입력 제외
파생 태양 고도·방위·cosZ(구간 중앙 −30분), hour, doy sin/cos, month 공식 baseline.py와 동일 방식
제외 발전량 lag, 실측 기상, SMP 평가 구간에 없음 / 정산 전용

1.2 학습 타깃

  • cf = energy / capacity_kw (설비이용률) 를 기본 타깃으로, 예측 후 × capacity_kw로 kWh 복원
    • 이유: 발전소 간 스케일 통일 → 짧은 이력 발전소(1월 fold 154h)도 전체 발전소 모델로 커버 (D02)
  • 야간(태양고도 ≤ 0)은 0으로 고정, 학습에서 제외
  • 출력 후처리: prediction_kwh = clip(pred, 0, capacity_kw) (음수 금지는 제출 규칙, 상한은 정책 — 이상 9행 확인 필요)

1.3 출력 산출물 (#1123 D06 계약안 수용)

산출물 컬럼 용도
oof_predictions.parquet (검증) site_id, ts, fold, actual_kwh, prediction_kwh, residual_kwh, round_policy, model_version, data_version, split_version, feature_version 지표 계산, 조영우 #992 residual 입력
test_predictions.parquet (제출용) site_id, ts, prediction_kwh, model_version, … 실적 없음 → actual/residual 컬럼 없음
group_forecast.csv group, ts, forecast_kwh 구성(composition) 확정 후 합산해 제출 형식 생성
  • residual_kwh = actual_kwh − prediction_kwh (양수 = 과소예측). #991·#1123과 동일
  • 검증 산출물과 test 산출물은 파일·디렉터리 분리 (test에 정답/잔차 생성 금지)

2. 검증 구조 (D02)

2.1 #1121 설계안 v1 수용 + 계절 fold 추가 제안

Fold 학습 검증 대상일 검증 행 253개소 커버 출처
DEV_JUL24 (PR #188 D02) 2023-06-01 ~ 2024-06-30 00:00 2024-07-01 ~ 07-31 166,656 고정 224개소 / 36,300.895 kW (744h 완전 + 사전 이력) 추가
DEV_OCT24 (PR #188 D02) 2023-06-01 ~ 2024-09-30 00:00 2024-10-01 ~ 10-31 187,488 고정 252개소 / 41,379.75 kW 추가
DEV_JAN ~ 2024-12-31 00:00 2025-01-01 ~ 01-30 182,160 253 #1121
DEV_FEB ~ 2025-01-31 00:00 2025-02-01 ~ 02-27 163,944 253 #1121
HOLDOUT ~ 2025-02-28 00:00 2025-03-01 ~ 05-31 558,624 253 #1121 (선택에 사용 금지)
  • 검증 행 수(DEV_JAN/FEB/HOLDOUT)는 원본에서 재계산해 #1121과 일치 확인
  • 추가 이유: 평가 구간이 1년(여름 피크 포함)인데 #1121안은 겨울·봄만 검증 → 여름·가을 일반화 미검증 (#1121 위험 항목과 동일)
  • 계절 fold는 발전소 집합이 253개소와 다르므로 발전소 단위 지표(wMAE_site 등)만 비교에 사용. 특히 7월 224개소는 36,300.895 kW로 2×20,000 kW 구성 자체가 불가 → 정산 검증 불가 (PR #188)
  • 7월 부분 기록 26개소는 평가 cohort에서 제외하되 학습에는 사용 가능
  • 공통 규칙: expanding window(시작 2023-06-01 고정), fold 경계일 하루 정답 집계 제외(#1121), 전처리·스케일러는 fold 학습 구간에서만 fit

2.2 최종 학습

  • 모델·feature·round 정책 확정 후 2023-06-01 ~ cutoff 전체로 재학습 → test 예측
  • cutoff 해석(D04: 공식 첫 예측 2025-05-31 17:00 vs #1121 보수안 00:00)은 문길래 확인 후 확정

3. 평가 Metric

레벨 지표 정의 용도
주 지표 W_ref (그룹 페널티) `0.10·Σ_g Σ_t SMP·k· Σ_site∈g residual
보조 W_greedy 동일, #990 greedy 구성 기준 구성 의존성 점검 (순위가 뒤집히는지)
보조 wMAE_site `Σ SMP·k· residual
보조 nMAE, nRMSE, bias 용량 정규화, 주간(elev>0)만 진단·발표용
슬라이스 시간대(11~15시 vs 그외), 월, round, 단기이력 발전소 원인 분석
  • 검증 SMP는 train/smp.csv, k는 ts.hour ∈ [11,15] → 3으로 생성 (#991 derive_from_hour와 동일)
  • 절대오차 기반 비용이므로 손실함수 후보로 L1/Huber + SMP·k 가중을 #1127에서 비교
  • 정산 계산은 자체 구현하지 않고 #991 계산기를 호출 (단일 scoring 원본 유지). 각 run의 metrics에 사용한 scoring_version을 기록하고, #991 검증 완료 후의 run만 공식 비교 기준으로 사용

4. 실험 실행 구조

config (yaml) ─► data loader ─► feature builder ─► fold runner ─► model (fit/predict)
                (hash 검증)     (feature_version)   (split_config)     │
                                                                       ▼
                       registry ◄── metrics (#991 호출) ◄── oof / test artifacts
  • config 1개 = run 1개: model, feature_set, round_policy, target, folds, seed
  • model 인터페이스: fit(X, y, weight) / predict(X) — Naive·MLR·LightGBM·XGBoost·CatBoost 동일 시그니처
  • round_policy 실험 축: r17 / r10 / avg(10,17) (공식 baseline) / both_as_features
  • 결측 예보 (D01): 같은 제공사·관측소·대상시각의 다른 round로 대체하고 플래그 기록. 평가 A 264개 조합 누락 대비 필수 (두 round 동시 누락은 학습·평가 모두 0건 확인, 발생 시 학습 구간 중앙값 후보)
  • 재현성: seed 고정, git_sha, 입력 파일 SHA-256 기록. 원본 데이터는 git 미포함

5. 결과 저장 방식 (Experiment Registry, #1128과 연결)

runs/<run_id>/            run_id = YYYYMMDD-HHMMSS-<model>-<tag>
  config.yaml
  metrics.json            fold별 + 전체
  oof_predictions.parquet
  test_predictions.parquet (최종 후보만)
  model/                  (선택)
registry.csv              run 1행

registry 필드 (WBS §12 기준):
run_id, created_at, owner, git_sha, data_version, feature_version, split_version, model_name, hyperparameters, round_policy, train_range, validation_range, prediction_artifact, residual_artifact, vpp_assignment_version, scoring_version, RMSE, MAE, bias, wMAE_site, gross_sales, error_penalty, net_settlement_revenue, notes, status(PLANNED|RUNNING|VALIDATED|REJECTED|CANDIDATE|FINAL)

6. 후속 일감 연결

일감 이 설계에서 넘기는 것
#1125 Naive climatology 정의(발전소별 month×hour 평균 CF), 공식 baseline.py 재현을 기준선 0으로 등록
#1126 MLR 동일 feature·fold·metric으로 비교
#1127 비선형 round_policy, 손실함수(L1/가중), global vs plant 비교 축
#1128 Registry/Residual 5장 registry 스키마, 1.3 oof 계약 → #992

7. 결정 필요 사항

ID 내용 제안 확인 대상
D01 결측 예보 처리 17시 우선, 없으면 동일 제공사·관측소·대상시각 10시로 대체 + 대체 플래그 (avg/both 정책은 역방향도 동일) 황수아 (PR #188 방향 일치)
D02 검증 구간 #1121안 + 7월(224개소)·10월(252개소) 고정 cohort 추가, 3~5월 holdout 유지 황수아·튜터 (PR #188 방향 일치)
D03 입력 목록 예보·설비·달력. 발전량 lag는 평가 구간에 데이터가 없어 제외 확정, 학습 구간 통계(발전소별 CF)는 사용. wa_temp_max/min 중복 제거 황수아 (PR #188 방향 일치, lag 문구 조정 요청)
D04 최종 학습 cutoff 공식 해석 확인 문길래
D05 scoring_version #991 계산기 호출, 정본 확인 후 승격 조영우·문길래
— 예측 상한(capacity clip) 9행 초과 사례 원인 확인 후 확정 황수아
    (1-1/1)