Project

General

Profile

Actions

Feature #1127

closed
상이 상이

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

[OIBC] 비선형 Forecast 모델 실험계획 수립

Feature #1127: [OIBC] 비선형 Forecast 모델 실험계획 수립

Added by 상재 이 22 days ago. Updated 20 days ago.

Status:
Closed
Priority:
Normal
Assignee:
Start date:
10/29/2026
Due date:
10/30/2026
% Done:

100%

Estimated time:

Description

LightGBM, XGBoost, CatBoost 등 후보 모델과 공통 Feature Set, 비교 기준 및 실험순서 정의

상이 Updated by 상재 이 20 days ago Actions #1

  • Status changed from New to In Progress
  • % Done changed from 0 to 10

시작 10%

  • 사용하는 선행 결과: #1121 split(Resolved), #1122 feature policy(Resolved), #1124 실험 구조, #1125·#1126 기준선 결과(Closed) — 모두 완료
  • 범위: 비선형 Forecast 모델(LightGBM, XGBoost, CatBoost) 후보, 공통 Feature Set, 비교 기준, 실험 순서 정의 (실험 계획 문서). 실제 실행·선택은 본대회 #1143~#1145
  • 비교 기준선 (DEV wMAE_site): Naive 0.4489 / MLR linear 0.3034 / MLR cosz 0.2641 / 공식 baseline 재현 0.2484
  • 데이터 계약 handoff_data_basis_v3, DEV 4 fold, HOLDOUT 잠금 유지, 정산은 #991 (D05 HOLD), OOF 인계는 PM 확정 D06 Integration Contract 기준
  • 흐름: 자체 검증 → Codex 검토 → PR(90%) → 튜터 merge(100%)

상이 Updated by 상재 이 20 days ago · Edited Actions #2

#1127 비선형 Forecast 모델 실험계획 — PR 제출

계획 요약

  • 후보 모델: M0 LightGBM, M2 XGBoost(hist), M3 CatBoost. 기준선 A1 = 공식 baseline 설정 + 공통 후처리 clip(CF,0,1)×cap + 고정 seed (A0 = #1125 run 참고값 DEV 0.2484)
  • 공통 Feature Set: FS0(24) → FS1(43) → FS2(약 53, 예보 파생) → FS+stat(채택 FS + 학습 구간 발전소 통계 2종)
  • 비교 기준: DEV wMAE_site, seed {11,22,33} 짝 실행. 채택 = 평균 개선 ≥ 0.002, 평균 개선 ≥ 2×표준편차, 4개 fold 중 3개 이상 개선. 미달 시 기준 유지
  • 실험 순서(한 번에 한 축): E0b 기준선 준비 → E1 모델 → E2 feature → E3 round → E4 loss → E5a 하이퍼파라미터 / E5b FS+stat / E5c 학습 구간(승인 시만) → E6 앙상블 진단(판정 없음). E1 채택 모델 하나만 다음 단계 진행
  • 경계: HOLDOUT_MAR_MAY 잠금(freeze 후 1회), 정산은 #991 담당, D06 Integration Contract 준수

검증

  • Codex 독립 검토 4회 → PASS (b466108, 실험계획 문서 범위). 진단 수치는 원본 OOF로 Codex 재현
  • 미검증(후속 실행 일감): 실제 비선형 실험, 시간·메모리 측정, 새 OOF의 D06 연결

팀 결정 대기: SMP 가중 손실, 학습 구간 확장(split override)

튜터님 검토·머지 요청드립니다.

상이 Updated by 상재 이 20 days ago Actions #3

  • % Done changed from 10 to 90

상이 Updated by 상재 이 20 days ago Actions #4

  • Status changed from In Progress to Closed
  • % Done changed from 90 to 100

#1127 머지 완료 — PM 결정 반영

PM 결정 (후속 실행 일감 #1143~#1145에 적용)

  • SMP 가중 손실: 사용하지 않음. SMP는 모델 입력에서도 계속 제외. k(11~15시) 가중은 진단용 실험으로만 허용하며 공식 점수 대체 지표로 보지 않음. D05 확정 후 재검토
  • 학습 구간 확장(2023-06 이전): 첫 실험 사이클에서 미승인. 비교 기준은 handoff_data_basis_v3 / data_criteria_agreed_v2 유지. E5c는 앞 단계로 부족할 때만, 별도 split_version(fold 시작·마감·행 수 명시)과 독립 데이터 QA를 거쳐 제안
  • HOLDOUT_MAR_MAY는 설정 freeze까지 잠금 유지
  • D04=REVIEW, D05=HOLD 유지, D06 Integration Contract 계속 적용
  • 실험 순서, 한 번에 한 축 변경, seed 짝 비교, 채택 기준은 계획서대로 승인

100% / Closed 처리합니다.

Actions

Also available in: PDF Atom