Project

General

Profile

Actions

Feature #1128

closed
상이 상이

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

[OIBC] Experiment Registry 및 Residual Handoff 구조 정리

Feature #1128: [OIBC] Experiment Registry 및 Residual Handoff 구조 정리

Added by 상재 이 22 days ago. Updated 19 days ago.

Status:
Closed
Priority:
Normal
Assignee:
Start date:
10/29/2026
Due date:
10/30/2026
% Done:

100%

Estimated time:

Description

Model Metadata, Prediction Artifact, Experiment Registry, Residual Matrix 구조를 정의하고 조영우 VPP 작업으로 넘길 인터페이스 정리

상이 Updated by 상재 이 20 days ago Actions #1

  • Status changed from New to In Progress
  • % Done changed from 0 to 10

상이 Updated by 상재 이 20 days ago Actions #2

  • % Done changed from 10 to 50

상이 Updated by 상재 이 19 days ago Actions #3

#1128 Experiment Registry · Residual Handoff 구조 — 구현·검토 완료, PR 제출

정의한 구조 (oibc/docs/REGISTRY_AND_HANDOFF_1128.md)

  • Model Metadata: run별 manifest.json 필드와 팀 계약(integration_contract required_metadata, D06 6항) 대응표
  • Prediction Artifact: oof_dev(DEV, residual 포함) / oof_holdout(freeze 후 1회) / test_predictions(제출용, actual·residual 없음)
  • Experiment Registry v2: run 기록(registry_oibc2026_v2.csv, wMAE_site·round_policy·실험 단계·seed 포함) + #1127 §5.2 판정 기록(decisions_oibc2026_v2.csv, seed 짝 정합성 검사)
  • Residual Matrix: OOF 1개·fold 1개당 표 1개(행 ts × 열 cohort site_id, 값 residual_kwh), 빈칸 채우지 않음, 253개소 전체는 DEV_JAN·DEV_FEB만, HOLDOUT 잔차 미사용
  • 인계 인터페이스(D06): 패키지 생성 시 계약 위반이면 파일을 만들지 않음, 받는 쪽은 계약 폴더와 대조해 검증. #992 validator 입력과의 열·해시 대응표 정리

검증

  • pytest 47 passed
  • 실데이터: Naive 재실행 시 예측이 #1125와 완전히 동일(700,248행, DEV wMAE_site 0.4489). #1125·#1126 결과로 인계 패키지 생성·검증 PASS. 일부러 망가뜨린 패키지(학습 cutoff·data_version 변경, SMP 해시 삭제, HOLDOUT 파일 추가 등)는 모두 FAIL
  • Codex 독립 검토 3회: RH01~RH07 반영 후 PASS
  • 미검증: 실제 #992 adapter·optimizer 실행

함께 포함: #1126 merge 때 빠진 검토 기록(REVIEW_NOTES_1126.md Review Log)을 문서 커밋으로 복원

후속 메모: 현재 모델은 seed를 받지 않음 → #1143에서 고정 seed 지원 추가 후 A1 실행

상이 Updated by 상재 이 19 days ago Actions #4

  • % Done changed from 50 to 90

상이 Updated by 상재 이 19 days ago Actions #5

  • Status changed from In Progress to Closed
  • % Done changed from 90 to 100

#1128 머지 완료 — PM 승인

승인 범위

  • Experiment Registry v2 및 decision registry 구조
  • Forecast → VPP D06 handoff package 생성·검증
  • residual = actual − prediction, atol 1e-9 kWh / rtol 0
  • canonical fold, feature_version exact match, key·artifact SHA 검증
  • HOLDOUT/test artifact 차단, Forecast 측 settlement 값 차단
  • seed 적용 여부 검사, paired-seed decision 정합성 검사
  • Residual Matrix는 구조 정의만, 실제 생성은 #1144

유지되는 제한

  • #992 adapter/optimizer 실제 재실행은 범위 밖 (D06 실제 통합 이력으로 별도 유지)
  • GitHub Actions/commit status 실행 없음 → 47 passed는 로컬·Codex 독립 검증 근거로만 취급
  • D04=REVIEW, D05=HOLD 유지
  • HOLDOUT은 freeze 전 실행 금지

후속

  • #1143: 현재 모델은 seed를 받지 않으므로 고정 seed 지원 추가 후 A1 실행
  • #1144: Residual Matrix 생성

100% / Closed 처리합니다.

Actions

Also available in: PDF Atom