Actions
Feature #1127
closed
상이
상이
Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료
[OIBC] 비선형 Forecast 모델 실험계획 수립
Feature #1127:
[OIBC] 비선형 Forecast 모델 실험계획 수립
Start date:
10/29/2026
Due date:
10/30/2026
% Done:
100%
Estimated time:
Description
LightGBM, XGBoost, CatBoost 등 후보 모델과 공통 Feature Set, 비교 기준 및 실험순서 정의
상이 Updated by 상재 이 20 days ago
- Status changed from New to In Progress
- % Done changed from 0 to 10
시작 10%
- 사용하는 선행 결과: #1121 split(Resolved), #1122 feature policy(Resolved), #1124 실험 구조, #1125·#1126 기준선 결과(Closed) — 모두 완료
- 범위: 비선형 Forecast 모델(LightGBM, XGBoost, CatBoost) 후보, 공통 Feature Set, 비교 기준, 실험 순서 정의 (실험 계획 문서). 실제 실행·선택은 본대회 #1143~#1145
- 비교 기준선 (DEV wMAE_site): Naive 0.4489 / MLR linear 0.3034 / MLR cosz 0.2641 / 공식 baseline 재현 0.2484
- 데이터 계약 handoff_data_basis_v3, DEV 4 fold, HOLDOUT 잠금 유지, 정산은 #991 (D05 HOLD), OOF 인계는 PM 확정 D06 Integration Contract 기준
- 흐름: 자체 검증 → Codex 검토 → PR(90%) → 튜터 merge(100%)
상이 Updated by 상재 이 20 days ago · Edited
#1127 비선형 Forecast 모델 실험계획 — PR 제출¶
- PR: https://github.com/GilbertMoon/icn-solar-cad-agent/pull/198 (branch forecast/oibc-1127-nonlinear-plan, head b466108)
- 변경: oibc/docs/NONLINEAR_EXPERIMENT_PLAN_1127.md (신규), oibc/README.md 링크 1줄. 문서만 변경, 코드 변경 없음
계획 요약
- 후보 모델: M0 LightGBM, M2 XGBoost(hist), M3 CatBoost. 기준선 A1 = 공식 baseline 설정 + 공통 후처리 clip(CF,0,1)×cap + 고정 seed (A0 = #1125 run 참고값 DEV 0.2484)
- 공통 Feature Set: FS0(24) → FS1(43) → FS2(약 53, 예보 파생) → FS+stat(채택 FS + 학습 구간 발전소 통계 2종)
- 비교 기준: DEV wMAE_site, seed {11,22,33} 짝 실행. 채택 = 평균 개선 ≥ 0.002, 평균 개선 ≥ 2×표준편차, 4개 fold 중 3개 이상 개선. 미달 시 기준 유지
- 실험 순서(한 번에 한 축): E0b 기준선 준비 → E1 모델 → E2 feature → E3 round → E4 loss → E5a 하이퍼파라미터 / E5b FS+stat / E5c 학습 구간(승인 시만) → E6 앙상블 진단(판정 없음). E1 채택 모델 하나만 다음 단계 진행
- 경계: HOLDOUT_MAR_MAY 잠금(freeze 후 1회), 정산은 #991 담당, D06 Integration Contract 준수
검증
- Codex 독립 검토 4회 → PASS (b466108, 실험계획 문서 범위). 진단 수치는 원본 OOF로 Codex 재현
- 미검증(후속 실행 일감): 실제 비선형 실험, 시간·메모리 측정, 새 OOF의 D06 연결
팀 결정 대기: SMP 가중 손실, 학습 구간 확장(split override)
튜터님 검토·머지 요청드립니다.
상이 Updated by 상재 이 20 days ago
- Status changed from In Progress to Closed
- % Done changed from 90 to 100
#1127 머지 완료 — PM 결정 반영¶
- PR #198 승인 후 main 머지 (merge commit 36385d3): https://github.com/GilbertMoon/icn-solar-cad-agent/pull/198
- 이번 머지는 실험계획 승인이며, 모델 선택 결과는 승인 대상이 아닙니다
PM 결정 (후속 실행 일감 #1143~#1145에 적용)
- SMP 가중 손실: 사용하지 않음. SMP는 모델 입력에서도 계속 제외. k(11~15시) 가중은 진단용 실험으로만 허용하며 공식 점수 대체 지표로 보지 않음. D05 확정 후 재검토
- 학습 구간 확장(2023-06 이전): 첫 실험 사이클에서 미승인. 비교 기준은 handoff_data_basis_v3 / data_criteria_agreed_v2 유지. E5c는 앞 단계로 부족할 때만, 별도 split_version(fold 시작·마감·행 수 명시)과 독립 데이터 QA를 거쳐 제안
- HOLDOUT_MAR_MAY는 설정 freeze까지 잠금 유지
- D04=REVIEW, D05=HOLD 유지, D06 Integration Contract 계속 적용
- 실험 순서, 한 번에 한 축 변경, seed 짝 비교, 채택 기준은 계획서대로 승인
100% / Closed 처리합니다.
Actions