Feature #1124
closedFeature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료
[OIBC] Forecast Experiment 구조 설계
100%
Description
Forecast 입력/출력, Experiment 실행 구조, 평가 Metric, 모델 결과 저장방식을 정의
Files
상이 Updated by 상재 이 21 days ago
- File OIBC_1124_Forecast_Experiment_Design_v1.0.md OIBC_1124_Forecast_Experiment_Design_v1.0.md added
- Status changed from New to Resolved
- % Done changed from 50 to 100
[결과]
Forecast 입력/출력, Experiment 실행 구조, 평가 Metric, 모델 결과 저장방식을 정의했습니다. 설계서 v1.0 첨부. 설계 완료 기준으로 Resolved / 100%로 기록하며 튜터 검토는 대기 중입니다. 모델 학습·성능 평가는 범위 밖(#1125~#1127)입니다.
[핵심 결정]
- 과제 구조: 평가 구간(2025-06-01~2026-06-01) 1년치를 한 번에 제출하며, 평가 구간에는 발전량·실측 기상이 없음 → Persistence·전일 동시각·lag 계열은 제출용으로 사용 불가. Naive는 climatology형(발전소별 month×hour 평균 CF)으로 정의(#1125)
- 입력: 예보 A/B(round 10·17) + 정적(용량·좌표·거리) + 달력·태양기하. 실측 기상·발전량 lag·SMP 제외, wa_temp_max/min 중복 제거
- 타깃: 설비이용률(energy/capacity_kw) 학습 후 kWh 복원 → 짧은 이력 발전소도 전체 발전소 모델로 커버. 야간 0 고정
- 출력: oof_predictions(site_id, ts, fold, actual_kwh, prediction_kwh, residual_kwh, 버전 4종) / test_predictions(정답·잔차 없음) / group_forecast. residual = actual − prediction (#991·#1123과 동일)
- 검증: #1121 v1(1월·2월 개발, 3~5월 holdout) + PR #188 계절 fold(7월 고정 224개소, 10월 고정 252개소). 계절 fold는 발전소 단위 지표로만 비교(7월은 36,300.895kW로 2×20MW 구성 불가)
- Metric: 주 지표 = 참조 구성 기준 그룹 페널티 0.10·Σ SMP·k·|Σresidual|, 보조 = greedy 구성 페널티, 발전소 단위 SMP·k 가중 MAE, nMAE/nRMSE/bias
- 정산 계산은 자체 구현하지 않고 #991 계산기를 단일 원본으로 호출. run별 scoring_version 기록, #991 검증 완료 후 run만 공식 비교 기준으로 사용
- 저장: runs/<run_id>/(config, metrics, oof, test) + registry.csv. 필드는 WBS §12 기준 (#1128로 연결)
[검증 근거]
- 원본 ZIP SHA-256 f8b8914d…834e로 #1119~#1123과 동일 원본 확인
- #1121 fold 검증 행(182,160 / 163,944 / 558,624)과 PR #188 계절 cohort(224개소·36,300.895kW·166,656행 / 252개소·41,379.75kW·187,488행), 예보 누락 조합(평가 A 264·학습 A 64·학습 B 1,679, 두 round 동시 누락 0)을 원본에서 재계산해 일치 확인
[후속]
#1125·#1126 설계 병행 진행, #1128 Registry/Residual 형식은 영우님과 확정. D01~D03은 PR #188 방향과 일치하며 수아님 설정 반영 후 실험 결과를 비교 기준으로 보고합니다.
상이 Updated by 상재 이 21 days ago
- % Done changed from 50 to 90
[PR 생성 — 튜터 검토 요청]
PR: https://github.com/GilbertMoon/icn-solar-cad-agent/pull/193
브랜치: forecast/oibc-1124-experiment-design (base main)
[PR 내용]
- oibc/docs/FORECAST_EXPERIMENT_DESIGN_v1.0.md: #1124 설계서 (입력/출력, 검증 구조, 평가 Metric, 실험 실행 구조, 결과 저장 방식)
- oibc/ Experiment Skeleton: 10/20 작성 commit 5f2888f를 cherry-pick (b511c3c), 코드 변경 없음
- README / REVIEW_NOTES(자체 검증 기록·설계서와 skeleton 차이 7가지) / ASSUMPTIONS 문서 정리 (085003b)
- 변경 범위: oibc/ 신규 28개 파일, 기존 파일 변경 없음
[자체 검증]
- pytest 13 passed (Python 3.13 / 3.10), synthetic RMSE 140.61 / 87.76 / 43.35 / 40.51 kWh 동일 — synthetic이므로 성능 근거 아님
- push된 브랜치 28개 파일 해시를 검증본과 대조해 일치 확인 후 테스트 재실행
- 설계서 수치(fold 검증 행, 7월 224개소·10월 252개소 cohort, 예보 누락 조합)를 원본 ZIP에서 재계산해 #1121·PR #188과 일치
[알려진 차이·미확인]
- skeleton은 공식 데이터 수령 전 버전(공식 로더 없음, persistence·발전량 이력 feature 포함, 임시 fold, 정산 지표 미구현) → 후속 일감에서 반영 (REVIEW_NOTES 5절)
- 문제정의서·scoring.py 미확보, D04 cutoff·예측 상한 clip 정책 미확정
진척도: PR 완성 기준 90%. 튜터 검토 후 머지되면 100%로 갱신합니다.
상이 Updated by 상재 이 21 days ago
- Status changed from In Progress to Resolved
- % Done changed from 90 to 100
[완료 — 튜터 검토 후 main 병합]
PR #193: https://github.com/GilbertMoon/icn-solar-cad-agent/pull/193
MERGE_METHOD=SQUASH, MERGE_SHA=8c43dd36a9d2d80daf4902144fd037db8d888d31 (튜터 병합)
[최종 반영 내용]
- 설계서 oibc/docs/FORECAST_EXPERIMENT_DESIGN_v1.1.md + 10/20 experiment skeleton (코드 변경 없음)
- Codex 독립 검토: 1차 CHANGES_REQUIRED(R01~R05) → 반영 후 재검토 PASS(문서 설계 범위)
- 튜터 검토 4건 반영: 최신 main 동기화(handoff_data_basis_v3), wa_temp_max/min 제외 사유를 입력 선택 정책으로 수정, D01 두 round 결측 시 오류/REVIEW·임의 대체 금지, D05 승인 전 #991은 provisional / README-domain evaluator로만 사용
- 테스트 13 passed
[아직 완료가 아닌 것 — 후속 일감]
- 실제 Forecast/OOF 생성, 실제 모델 성능 비교 (#1125~)
- D04 최종 cutoff 승인, D05 공식 scoring 승인, 실제 Revenue 검증
진척도: 튜터 검토 후 머지 기준 100%. 다음은 #1125 Naive Baseline.