Feature #1440
Updated by 상재 이 14 days ago
### 핵심 질문
FS2 Feature와 모델 구조(M0 LightGBM, R2, 학습 구간)는 그대로 두고 손실만 L2 → L1으로 바꿨을 때, 현재 제출 Forecast(FS2 3-seed 평균)보다 안정적으로 좋아지는가
### 근거 (E4, PR #211)
- FS2 + L2 0.240739 → FS2 + L1 0.235120 (seed별 metric 평균), 평균 개선 +0.005619
- 4/4 fold 개선 (JUL +0.0067, OCT +0.0075, JAN +0.0004, FEB +0.0074), seed 3개 모두 개선
- L2 재실행 = 기존 FS2 비트 일치
### 할 일
1. seed 평균 검증·평가 기간 예측 경로를 FS2 + L1로 확장 (#1142·FS2 경로 FROZEN, L1용 별도 설정). PM 승인 `TEST_PREDICTION_FS2_L1` 필요
2. PRED_AVG_L1 = (pred_s11 + pred_s22 + pred_s33) / 3 을 실제로 만든 뒤 DEV 재계산
3. 평가 기간 예측 생성 → 수아님 QA, 영우님 #990 reference 패키지·validator
4. Codex 검토 (E5a 코드와 묶어서 진행 가능)
### 비교 기준
현재 제출 Forecast: FS2 3-seed prediction average, DEV 0.239870, #990 reference VPP
### PASS 조건 (사전 등록)
- L1_ENSEMBLE_DEV < 0.239870
- 4/4 fold 개선 유지 (FS2 3-seed 평균 대비)
- seed 안정성 PASS (seed별 L1이 같은 seed의 L2보다 모두 좋음)
- best seed 사후 선택 없음
- NaN / Inf / 음수 0, 2,216,280행
- 학습 구간 #1142와 동일, HOLDOUT 미사용
- Codex PASS, 수아님 QA PASS, #990 reference VPP, 공식 validator PASS, PM GO
### 산출물
L1 3-seed 평균 OOF·manifest, prediction_test.csv + SHA-256, 인계 ZIP, 결과 보고 (운영안 공통 보고 형식)
### 추가 (11/03 저녁): 그룹 합계 기준 확인 — 탐색용
공식 벌점은 그룹(G1·G2) 합계 오차에 붙으므로 #990 배정 기준 그룹 합계 wMAE(Σ SMP·k·|Σ_g pred − Σ_g actual| / Σ SMP·k·Σ_g actual)를 함께 확인
- baseline → FS2 평균 (실제 01 → 02, 공식 +6,526,605원): 발전소별 −3.4%, 그룹 합계 −5.9% → 방향 일치. 단 JAN 그룹 합계 악화
- FS2 평균 → FS2+L1 평균: 발전소별 0.239870 → 0.234348 (−2.3%, 4/4) / 그룹 합계 0.139369 → 0.137398 (−1.4%, 2/4: JUL +0.0067, OCT +0.0063, **JAN −0.0035, FEB −0.0014**)
- JAN·FEB는 253곳 전체 = 실제 그룹 구성과 같은 fold. 겨울 한낮 과대 bias가 그룹 합계에서 쌓이는 것으로 보임(추정)
### 현재 판단
- 발전소별 PASS 조건은 충족, 그룹 합계 근거는 약함 → **조건부 후보, 제출 여부 PM 판단**
- PASS 조건 추가 제안 (PM 확정 필요): 그룹 합계 지표(#990 배정)도 FS2 3-seed 평균보다 좋을 것
- 정식 경로(seed 평균 산출물·평가 기간 예측의 L1 확장, Codex)는 PM 판단 후 진행
Back