Actions
Feature #1125
closed
상이
상이
Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료
[OIBC] Naive Baseline 설계 및 실데이터 첫 Baseline OOF 산출
Feature #1125:
[OIBC] Naive Baseline 설계 및 실데이터 첫 Baseline OOF 산출
Start date:
10/27/2026
Due date:
10/28/2026
% Done:
100%
Estimated time:
Description
[범위 — 튜터 요청(10/27)으로 확대]
기존: Persistence, Previous Day Same Hour 등 최소 성능 기준이 되는 Naive Baseline 방식 정의
변경: Naive Baseline 방식 정의 + 실제 공모전 데이터에 연결된 재현 가능한 첫 Baseline Forecast/OOF 산출
[세부]
- Naive 방식: 평가 구간에 발전량이 없어 Persistence·전일 동시각은 제출용 사용 불가 → 설계서 v1.1 기준 climatology(발전소별 월×시 평균 CF, 4단계 fallback, 학습 구간 통계만)로 정의
- 실데이터 연결: main의 handoff_data_basis_v3(split_config.json, feature_policy.json, forecast_round_policy.json)를 읽는 공식 데이터 로더
- 산출물: DEV 4개 fold(DEV_JUL_2024, DEV_OCT_2024, DEV_JAN, DEV_FEB)의 oof_dev.parquet + 키·행 수 검증 + 실험 기록(registry). HOLDOUT은 생성하지 않음
- 정산 지표: D05 승인 전이므로 provisional(README-domain)로 표시
- 절차: Codex 독립 검토 → PR → 튜터 검토·병합
기준 문서: oibc/docs/FORECAST_EXPERIMENT_DESIGN_v1.1.md (PR #193)
상이 Updated by 상재 이 21 days ago
- Subject changed from [OIBC] Naive Baseline 설계 to [OIBC] Naive Baseline 설계 및 실데이터 첫 Baseline OOF 산출
- Description updated (diff)
- Status changed from New to In Progress
- Start date changed from 10/28/2026 to 10/27/2026
- % Done changed from 0 to 10
[시작 10% — 범위 확대]
#1124 병합(PR #193, 8c43dd3) 후 튜터 요청에 따라 #1125에서 "실제 공모전 데이터에 연결된 재현 가능한 첫 Baseline Forecast/OOF 산출"을 함께 진행합니다. 실데이터 첫 OOF를 11/02 전에 만들어 Gate 3(11/01 end-to-end dry run)에 맞추기 위함입니다. 본대회 #1142는 이 결과를 공식 데이터로 재실행해 첫 제출 후보를 만드는 일로 범위를 조정합니다.
상이 Updated by 상재 이 21 days ago
- % Done changed from 10 to 50
진척 50% (중간)
- 브랜치 forecast/oibc-1125-naive-baseline-oof (로컬, push 전): 8a7fcc4 코드·테스트 / eb1c046 REVIEW_NOTES_1125.md
- 실데이터 DEV OOF 산출: DEV_JUL_2024·DEV_OCT_2024·DEV_JAN·DEV_FEB (HOLDOUT·test 예측 없음)
- DEV wMAE_site: Naive(climatology) 0.4489 / 공식 baseline.py 재현(기준선 0) 0.2484 — 정산 지표는 PROVISIONAL (D05 HOLD)
- baseline.py 재현 확인: 원본 출력과 2,216,280행 최대 차이 0.0 kWh
- 테스트 26 passed
- 다음: Codex 독립 검토 → 반영 → PR(90%)
상이 Updated by 상재 이 21 days ago
- Status changed from In Progress to Resolved
- % Done changed from 90 to 100
완료 100% (튜터 검토 후 머지)
- PR #195 merged by tutor: main 58ab9fd9cd0350e807e0de865ba889251dea51fa
- 공식 데이터 로더 (handoff_data_basis_v3 계약 검증), Naive climatology, 공식 baseline.py 재현(기준선 0)
- DEV 4개 fold OOF: DEV wMAE_site Naive 0.4489 / 기준선 0 0.2484
- baseline.py parity: 계약 키 2,216,280개, 최대 차이 0.0 kWh
- 정산은 #991 담당 (PROVISIONAL_EXTERNAL_PENDING, D05 HOLD), Forecast는 자체 지표만 계산
- Codex 독립 검토 PASS + 튜터 리뷰 T1·T2 반영, 테스트 31 passed
- 남은 일: D06 handoff package(oof_dev.parquet + manifest.json + metrics.json + SHA256)를 영우님께 전달, D04·D05·D06 결정 대기
상이 Updated by 상재 이 21 days ago
- Status changed from Resolved to Closed
튜터 병합 확인 → Closed
- MERGE_STATUS=PASS, MERGE_METHOD=SQUASH, MERGE_SHA=58ab9fd9cd0350e807e0de865ba889251dea51fa
- 이번 병합은 실데이터 DEV OOF Baseline이 재현 가능하게 준비됐다는 의미이며, D04/D05 승인·HOLDOUT 평가·공식 Revenue 검증·제출 준비 완료를 의미하지 않음
- 후속: D06 OOF handoff package를 조영우님께 전달 → 수신·열 매핑 확인 후 #992 Residual/VPP 검증으로 연결
Actions