Project

General

Profile

Actions

Feature #1440

closed
상이 상이

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

Feature #1467: [OIBC][11/04] 오늘 결과 도출 및 제출 후보 CSV 2개 생성

[OIBC][Track A-1] FS2 + L1 3-seed 평균 제출 후보 생성·검증

Feature #1440: [OIBC][Track A-1] FS2 + L1 3-seed 평균 제출 후보 생성·검증

Added by 상재 이 14 days ago. Updated 14 days ago.

Status:
Closed
Priority:
High
Assignee:
Start date:
11/04/2026
Due date:
11/04/2026
% Done:

100%

Estimated time:

Description

핵심 질문

FS2 Feature와 모델 구조(M0 LightGBM, R2, 학습 구간)는 그대로 두고 손실만 L2 → L1으로 바꿨을 때, 현재 제출 Forecast(FS2 3-seed 평균)보다 안정적으로 좋아지는가

근거 (E4, PR #211)

  • FS2 + L2 0.240739 → FS2 + L1 0.235120 (seed별 metric 평균), 평균 개선 +0.005619
  • 4/4 fold 개선 (JUL +0.0067, OCT +0.0075, JAN +0.0004, FEB +0.0074), seed 3개 모두 개선
  • L2 재실행 = 기존 FS2 비트 일치

할 일

  1. seed 평균 검증·평가 기간 예측 경로를 FS2 + L1로 확장 (#1142·FS2 경로 FROZEN, L1용 별도 설정). PM 승인 TEST_PREDICTION_FS2_L1 필요
  2. PRED_AVG_L1 = (pred_s11 + pred_s22 + pred_s33) / 3 을 실제로 만든 뒤 DEV 재계산
  3. 평가 기간 예측 생성 → 수아님 QA, 영우님 #990 reference 패키지·validator
  4. Codex 검토 (E5a 코드와 묶어서 진행 가능)

비교 기준

현재 제출 Forecast: FS2 3-seed prediction average, DEV 0.239870, #990 reference VPP

PASS 조건 (사전 등록)

  • L1_ENSEMBLE_DEV < 0.239870
  • 4/4 fold 개선 유지 (FS2 3-seed 평균 대비)
  • seed 안정성 PASS (seed별 L1이 같은 seed의 L2보다 모두 좋음)
  • best seed 사후 선택 없음
  • NaN / Inf / 음수 0, 2,216,280행
  • 학습 구간 #1142와 동일, HOLDOUT 미사용
  • Codex PASS, 수아님 QA PASS, #990 reference VPP, 공식 validator PASS, PM GO

산출물

L1 3-seed 평균 OOF·manifest, prediction_test.csv + SHA-256, 인계 ZIP, 결과 보고 (운영안 공통 보고 형식)

추가 (11/03 저녁): 그룹 합계 기준 확인 — 탐색용

공식 벌점은 그룹(G1·G2) 합계 오차에 붙으므로 #990 배정 기준 그룹 합계 wMAE(Σ SMP·k·|Σ_g pred − Σ_g actual| / Σ SMP·k·Σ_g actual)를 함께 확인

  • baseline → FS2 평균 (실제 01 → 02, 공식 +6,526,605원): 발전소별 −3.4%, 그룹 합계 −5.9% → 방향 일치. 단 JAN 그룹 합계 악화
  • FS2 평균 → FS2+L1 평균: 발전소별 0.239870 → 0.234348 (−2.3%, 4/4) / 그룹 합계 0.139369 → 0.137398 (−1.4%, 2/4: JUL +0.0067, OCT +0.0063, JAN −0.0035, FEB −0.0014)
  • JAN·FEB는 253곳 전체 = 실제 그룹 구성과 같은 fold. 겨울 한낮 과대 bias가 그룹 합계에서 쌓이는 것으로 보임(추정)

현재 판단

  • 발전소별 PASS 조건은 충족, 그룹 합계 근거는 약함 → 조건부 후보, 제출 여부 PM 판단
  • PASS 조건 추가 제안 (PM 확정 필요): 그룹 합계 지표(#990 배정)도 FS2 3-seed 평균보다 좋을 것
  • 정식 경로(seed 평균 산출물·평가 기간 예측의 L1 확장, Codex)는 PM 판단 후 진행
Actions

Also available in: PDF Atom