Project

General

Profile

Actions

Feature #1125

closed
상이 상이

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

[OIBC] Naive Baseline 설계 및 실데이터 첫 Baseline OOF 산출

Feature #1125: [OIBC] Naive Baseline 설계 및 실데이터 첫 Baseline OOF 산출

Added by 상재 이 22 days ago. Updated 21 days ago.

Status:
Closed
Priority:
Normal
Assignee:
Start date:
10/27/2026
Due date:
10/28/2026
% Done:

100%

Estimated time:

Description

[범위 — 튜터 요청(10/27)으로 확대]
기존: Persistence, Previous Day Same Hour 등 최소 성능 기준이 되는 Naive Baseline 방식 정의
변경: Naive Baseline 방식 정의 + 실제 공모전 데이터에 연결된 재현 가능한 첫 Baseline Forecast/OOF 산출

[세부]

  • Naive 방식: 평가 구간에 발전량이 없어 Persistence·전일 동시각은 제출용 사용 불가 → 설계서 v1.1 기준 climatology(발전소별 월×시 평균 CF, 4단계 fallback, 학습 구간 통계만)로 정의
  • 실데이터 연결: main의 handoff_data_basis_v3(split_config.json, feature_policy.json, forecast_round_policy.json)를 읽는 공식 데이터 로더
  • 산출물: DEV 4개 fold(DEV_JUL_2024, DEV_OCT_2024, DEV_JAN, DEV_FEB)의 oof_dev.parquet + 키·행 수 검증 + 실험 기록(registry). HOLDOUT은 생성하지 않음
  • 정산 지표: D05 승인 전이므로 provisional(README-domain)로 표시
  • 절차: Codex 독립 검토 → PR → 튜터 검토·병합

기준 문서: oibc/docs/FORECAST_EXPERIMENT_DESIGN_v1.1.md (PR #193)

상이 Updated by 상재 이 21 days ago Actions #1

  • Subject changed from [OIBC] Naive Baseline 설계 to [OIBC] Naive Baseline 설계 및 실데이터 첫 Baseline OOF 산출
  • Description updated (diff)
  • Status changed from New to In Progress
  • Start date changed from 10/28/2026 to 10/27/2026
  • % Done changed from 0 to 10

[시작 10% — 범위 확대]
#1124 병합(PR #193, 8c43dd3) 후 튜터 요청에 따라 #1125에서 "실제 공모전 데이터에 연결된 재현 가능한 첫 Baseline Forecast/OOF 산출"을 함께 진행합니다. 실데이터 첫 OOF를 11/02 전에 만들어 Gate 3(11/01 end-to-end dry run)에 맞추기 위함입니다. 본대회 #1142는 이 결과를 공식 데이터로 재실행해 첫 제출 후보를 만드는 일로 범위를 조정합니다.

상이 Updated by 상재 이 21 days ago Actions #2

  • % Done changed from 10 to 50

진척 50% (중간)

  • 브랜치 forecast/oibc-1125-naive-baseline-oof (로컬, push 전): 8a7fcc4 코드·테스트 / eb1c046 REVIEW_NOTES_1125.md
  • 실데이터 DEV OOF 산출: DEV_JUL_2024·DEV_OCT_2024·DEV_JAN·DEV_FEB (HOLDOUT·test 예측 없음)
  • DEV wMAE_site: Naive(climatology) 0.4489 / 공식 baseline.py 재현(기준선 0) 0.2484 — 정산 지표는 PROVISIONAL (D05 HOLD)
  • baseline.py 재현 확인: 원본 출력과 2,216,280행 최대 차이 0.0 kWh
  • 테스트 26 passed
  • 다음: Codex 독립 검토 → 반영 → PR(90%)

상이 Updated by 상재 이 21 days ago Actions #3

  • % Done changed from 50 to 90

상이 Updated by 상재 이 21 days ago Actions #4

  • Status changed from In Progress to Resolved
  • % Done changed from 90 to 100

완료 100% (튜터 검토 후 머지)

  • PR #195 merged by tutor: main 58ab9fd9cd0350e807e0de865ba889251dea51fa
  • 공식 데이터 로더 (handoff_data_basis_v3 계약 검증), Naive climatology, 공식 baseline.py 재현(기준선 0)
  • DEV 4개 fold OOF: DEV wMAE_site Naive 0.4489 / 기준선 0 0.2484
  • baseline.py parity: 계약 키 2,216,280개, 최대 차이 0.0 kWh
  • 정산은 #991 담당 (PROVISIONAL_EXTERNAL_PENDING, D05 HOLD), Forecast는 자체 지표만 계산
  • Codex 독립 검토 PASS + 튜터 리뷰 T1·T2 반영, 테스트 31 passed
  • 남은 일: D06 handoff package(oof_dev.parquet + manifest.json + metrics.json + SHA256)를 영우님께 전달, D04·D05·D06 결정 대기

상이 Updated by 상재 이 21 days ago Actions #5

  • Status changed from Resolved to Closed

튜터 병합 확인 → Closed

  • MERGE_STATUS=PASS, MERGE_METHOD=SQUASH, MERGE_SHA=58ab9fd9cd0350e807e0de865ba889251dea51fa
  • 이번 병합은 실데이터 DEV OOF Baseline이 재현 가능하게 준비됐다는 의미이며, D04/D05 승인·HOLDOUT 평가·공식 Revenue 검증·제출 준비 완료를 의미하지 않음
  • 후속: D06 OOF handoff package를 조영우님께 전달 → 수신·열 매핑 확인 후 #992 Residual/VPP 검증으로 연결
Actions

Also available in: PDF Atom