Project

General

Profile

Actions

Feature #1124

closed
상이 상이

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

[OIBC] Forecast Experiment 구조 설계

Feature #1124: [OIBC] Forecast Experiment 구조 설계

Added by 상재 이 22 days ago. Updated 20 days ago.

Status:
Closed
Priority:
Normal
Assignee:
Start date:
10/27/2026
Due date:
10/27/2026
% Done:

100%

Estimated time:

Description

Forecast 입력/출력, Experiment 실행 구조, 평가 Metric, 모델 결과 저장방식을 정의


Files

OIBC_1124_Forecast_Experiment_Design_v1.0.md (9.67 KB) OIBC_1124_Forecast_Experiment_Design_v1.0.md #1124 Forecast Experiment 구조 설계서 v1.0 상재 이, 10/27/2026 07:27 AM

상이 Updated by 상재 이 22 days ago Actions #1

  • % Done changed from 0 to 10

상이 Updated by 상재 이 21 days ago Actions #2

  • % Done changed from 10 to 50

상이 Updated by 상재 이 21 days ago Actions #3

[결과]
Forecast 입력/출력, Experiment 실행 구조, 평가 Metric, 모델 결과 저장방식을 정의했습니다. 설계서 v1.0 첨부. 설계 완료 기준으로 Resolved / 100%로 기록하며 튜터 검토는 대기 중입니다. 모델 학습·성능 평가는 범위 밖(#1125~#1127)입니다.

[핵심 결정]

  • 과제 구조: 평가 구간(2025-06-01~2026-06-01) 1년치를 한 번에 제출하며, 평가 구간에는 발전량·실측 기상이 없음 → Persistence·전일 동시각·lag 계열은 제출용으로 사용 불가. Naive는 climatology형(발전소별 month×hour 평균 CF)으로 정의(#1125)
  • 입력: 예보 A/B(round 10·17) + 정적(용량·좌표·거리) + 달력·태양기하. 실측 기상·발전량 lag·SMP 제외, wa_temp_max/min 중복 제거
  • 타깃: 설비이용률(energy/capacity_kw) 학습 후 kWh 복원 → 짧은 이력 발전소도 전체 발전소 모델로 커버. 야간 0 고정
  • 출력: oof_predictions(site_id, ts, fold, actual_kwh, prediction_kwh, residual_kwh, 버전 4종) / test_predictions(정답·잔차 없음) / group_forecast. residual = actual − prediction (#991·#1123과 동일)
  • 검증: #1121 v1(1월·2월 개발, 3~5월 holdout) + PR #188 계절 fold(7월 고정 224개소, 10월 고정 252개소). 계절 fold는 발전소 단위 지표로만 비교(7월은 36,300.895kW로 2×20MW 구성 불가)
  • Metric: 주 지표 = 참조 구성 기준 그룹 페널티 0.10·Σ SMP·k·|Σresidual|, 보조 = greedy 구성 페널티, 발전소 단위 SMP·k 가중 MAE, nMAE/nRMSE/bias
  • 정산 계산은 자체 구현하지 않고 #991 계산기를 단일 원본으로 호출. run별 scoring_version 기록, #991 검증 완료 후 run만 공식 비교 기준으로 사용
  • 저장: runs/<run_id>/(config, metrics, oof, test) + registry.csv. 필드는 WBS §12 기준 (#1128로 연결)

[검증 근거]

  • 원본 ZIP SHA-256 f8b8914d…834e로 #1119~#1123과 동일 원본 확인
  • #1121 fold 검증 행(182,160 / 163,944 / 558,624)과 PR #188 계절 cohort(224개소·36,300.895kW·166,656행 / 252개소·41,379.75kW·187,488행), 예보 누락 조합(평가 A 264·학습 A 64·학습 B 1,679, 두 round 동시 누락 0)을 원본에서 재계산해 일치 확인

[후속]
#1125·#1126 설계 병행 진행, #1128 Registry/Residual 형식은 영우님과 확정. D01~D03은 PR #188 방향과 일치하며 수아님 설정 반영 후 실험 결과를 비교 기준으로 보고합니다.

상이 Updated by 상재 이 21 days ago Actions #4

  • Status changed from Resolved to In Progress
  • % Done changed from 100 to 50

[진척도 정정]
진척도 기준(시작 10% / 중간 50% / PR 완성 90% / 튜터 검토·머지 100%)에 맞춰 Resolved·100% → In Progress·50%로 정정합니다. 설계서 v1.0은 작성 완료, PR 미생성 상태입니다.

상이 Updated by 상재 이 21 days ago Actions #5

  • % Done changed from 50 to 90

[PR 생성 — 튜터 검토 요청]
PR: https://github.com/GilbertMoon/icn-solar-cad-agent/pull/193
브랜치: forecast/oibc-1124-experiment-design (base main)

[PR 내용]

  • oibc/docs/FORECAST_EXPERIMENT_DESIGN_v1.0.md: #1124 설계서 (입력/출력, 검증 구조, 평가 Metric, 실험 실행 구조, 결과 저장 방식)
  • oibc/ Experiment Skeleton: 10/20 작성 commit 5f2888f를 cherry-pick (b511c3c), 코드 변경 없음
  • README / REVIEW_NOTES(자체 검증 기록·설계서와 skeleton 차이 7가지) / ASSUMPTIONS 문서 정리 (085003b)
  • 변경 범위: oibc/ 신규 28개 파일, 기존 파일 변경 없음

[자체 검증]

  • pytest 13 passed (Python 3.13 / 3.10), synthetic RMSE 140.61 / 87.76 / 43.35 / 40.51 kWh 동일 — synthetic이므로 성능 근거 아님
  • push된 브랜치 28개 파일 해시를 검증본과 대조해 일치 확인 후 테스트 재실행
  • 설계서 수치(fold 검증 행, 7월 224개소·10월 252개소 cohort, 예보 누락 조합)를 원본 ZIP에서 재계산해 #1121·PR #188과 일치

[알려진 차이·미확인]

  • skeleton은 공식 데이터 수령 전 버전(공식 로더 없음, persistence·발전량 이력 feature 포함, 임시 fold, 정산 지표 미구현) → 후속 일감에서 반영 (REVIEW_NOTES 5절)
  • 문제정의서·scoring.py 미확보, D04 cutoff·예측 상한 clip 정책 미확정

진척도: PR 완성 기준 90%. 튜터 검토 후 머지되면 100%로 갱신합니다.

상이 Updated by 상재 이 21 days ago Actions #6

  • Status changed from In Progress to Resolved
  • % Done changed from 90 to 100

[완료 — 튜터 검토 후 main 병합]
PR #193: https://github.com/GilbertMoon/icn-solar-cad-agent/pull/193
MERGE_METHOD=SQUASH, MERGE_SHA=8c43dd36a9d2d80daf4902144fd037db8d888d31 (튜터 병합)

[최종 반영 내용]

  • 설계서 oibc/docs/FORECAST_EXPERIMENT_DESIGN_v1.1.md + 10/20 experiment skeleton (코드 변경 없음)
  • Codex 독립 검토: 1차 CHANGES_REQUIRED(R01~R05) → 반영 후 재검토 PASS(문서 설계 범위)
  • 튜터 검토 4건 반영: 최신 main 동기화(handoff_data_basis_v3), wa_temp_max/min 제외 사유를 입력 선택 정책으로 수정, D01 두 round 결측 시 오류/REVIEW·임의 대체 금지, D05 승인 전 #991은 provisional / README-domain evaluator로만 사용
  • 테스트 13 passed

[아직 완료가 아닌 것 — 후속 일감]

  • 실제 Forecast/OOF 생성, 실제 모델 성능 비교 (#1125~)
  • D04 최종 cutoff 승인, D05 공식 scoring 승인, 실제 Revenue 검증

진척도: 튜터 검토 후 머지 기준 100%. 다음은 #1125 Naive Baseline.

상이 Updated by 상재 이 20 days ago Actions #7

  • Status changed from Resolved to Closed
Actions

Also available in: PDF Atom