Actions
Feature #1128
closed
상이
상이
Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료
[OIBC] Experiment Registry 및 Residual Handoff 구조 정리
Feature #1128:
[OIBC] Experiment Registry 및 Residual Handoff 구조 정리
Start date:
10/29/2026
Due date:
10/30/2026
% Done:
100%
Estimated time:
Description
Model Metadata, Prediction Artifact, Experiment Registry, Residual Matrix 구조를 정의하고 조영우 VPP 작업으로 넘길 인터페이스 정리
상이 Updated by 상재 이 19 days ago
#1128 Experiment Registry · Residual Handoff 구조 — 구현·검토 완료, PR 제출¶
- PR: https://github.com/GilbertMoon/icn-solar-cad-agent/pull/201 (branch forecast/oibc-1128-registry-handoff, head ea036bf, 7 commits)
- 범위: 구조 정의서 + 실험 기록표(registry) v2 + 영우님(#992) 인계 패키지 생성·검사 도구 + 테스트. Residual Matrix는 구조만 정의(생성은 #1144). test 예측(#1142), 판정 계산(#1143), 정산(#991)은 제외
정의한 구조 (oibc/docs/REGISTRY_AND_HANDOFF_1128.md)
- Model Metadata: run별 manifest.json 필드와 팀 계약(integration_contract required_metadata, D06 6항) 대응표
- Prediction Artifact: oof_dev(DEV, residual 포함) / oof_holdout(freeze 후 1회) / test_predictions(제출용, actual·residual 없음)
- Experiment Registry v2: run 기록(registry_oibc2026_v2.csv, wMAE_site·round_policy·실험 단계·seed 포함) + #1127 §5.2 판정 기록(decisions_oibc2026_v2.csv, seed 짝 정합성 검사)
- Residual Matrix: OOF 1개·fold 1개당 표 1개(행 ts × 열 cohort site_id, 값 residual_kwh), 빈칸 채우지 않음, 253개소 전체는 DEV_JAN·DEV_FEB만, HOLDOUT 잔차 미사용
- 인계 인터페이스(D06): 패키지 생성 시 계약 위반이면 파일을 만들지 않음, 받는 쪽은 계약 폴더와 대조해 검증. #992 validator 입력과의 열·해시 대응표 정리
검증
- pytest 47 passed
- 실데이터: Naive 재실행 시 예측이 #1125와 완전히 동일(700,248행, DEV wMAE_site 0.4489). #1125·#1126 결과로 인계 패키지 생성·검증 PASS. 일부러 망가뜨린 패키지(학습 cutoff·data_version 변경, SMP 해시 삭제, HOLDOUT 파일 추가 등)는 모두 FAIL
- Codex 독립 검토 3회: RH01~RH07 반영 후 PASS
- 미검증: 실제 #992 adapter·optimizer 실행
함께 포함: #1126 merge 때 빠진 검토 기록(REVIEW_NOTES_1126.md Review Log)을 문서 커밋으로 복원
후속 메모: 현재 모델은 seed를 받지 않음 → #1143에서 고정 seed 지원 추가 후 A1 실행
상이 Updated by 상재 이 19 days ago
- Status changed from In Progress to Closed
- % Done changed from 90 to 100
#1128 머지 완료 — PM 승인¶
- PR #201 승인 후 main 머지 (merge commit 44de730): https://github.com/GilbertMoon/icn-solar-cad-agent/pull/201
승인 범위
- Experiment Registry v2 및 decision registry 구조
- Forecast → VPP D06 handoff package 생성·검증
- residual = actual − prediction, atol 1e-9 kWh / rtol 0
- canonical fold, feature_version exact match, key·artifact SHA 검증
- HOLDOUT/test artifact 차단, Forecast 측 settlement 값 차단
- seed 적용 여부 검사, paired-seed decision 정합성 검사
- Residual Matrix는 구조 정의만, 실제 생성은 #1144
유지되는 제한
- #992 adapter/optimizer 실제 재실행은 범위 밖 (D06 실제 통합 이력으로 별도 유지)
- GitHub Actions/commit status 실행 없음 → 47 passed는 로컬·Codex 독립 검증 근거로만 취급
- D04=REVIEW, D05=HOLD 유지
- HOLDOUT은 freeze 전 실행 금지
후속
100% / Closed 처리합니다.
Actions