Project

General

Profile

Actions

Feature #1440

closed
상이 상이

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

Feature #1467: [OIBC][11/04] 오늘 결과 도출 및 제출 후보 CSV 2개 생성

[OIBC][Track A-1] FS2 + L1 3-seed 평균 제출 후보 생성·검증

Feature #1440: [OIBC][Track A-1] FS2 + L1 3-seed 평균 제출 후보 생성·검증

Added by 상재 이 14 days ago. Updated 14 days ago.

Status:
Closed
Priority:
High
Assignee:
Start date:
11/04/2026
Due date:
11/04/2026
% Done:

100%

Estimated time:

Description

핵심 질문

FS2 Feature와 모델 구조(M0 LightGBM, R2, 학습 구간)는 그대로 두고 손실만 L2 → L1으로 바꿨을 때, 현재 제출 Forecast(FS2 3-seed 평균)보다 안정적으로 좋아지는가

근거 (E4, PR #211)

  • FS2 + L2 0.240739 → FS2 + L1 0.235120 (seed별 metric 평균), 평균 개선 +0.005619
  • 4/4 fold 개선 (JUL +0.0067, OCT +0.0075, JAN +0.0004, FEB +0.0074), seed 3개 모두 개선
  • L2 재실행 = 기존 FS2 비트 일치

할 일

  1. seed 평균 검증·평가 기간 예측 경로를 FS2 + L1로 확장 (#1142·FS2 경로 FROZEN, L1용 별도 설정). PM 승인 TEST_PREDICTION_FS2_L1 필요
  2. PRED_AVG_L1 = (pred_s11 + pred_s22 + pred_s33) / 3 을 실제로 만든 뒤 DEV 재계산
  3. 평가 기간 예측 생성 → 수아님 QA, 영우님 #990 reference 패키지·validator
  4. Codex 검토 (E5a 코드와 묶어서 진행 가능)

비교 기준

현재 제출 Forecast: FS2 3-seed prediction average, DEV 0.239870, #990 reference VPP

PASS 조건 (사전 등록)

  • L1_ENSEMBLE_DEV < 0.239870
  • 4/4 fold 개선 유지 (FS2 3-seed 평균 대비)
  • seed 안정성 PASS (seed별 L1이 같은 seed의 L2보다 모두 좋음)
  • best seed 사후 선택 없음
  • NaN / Inf / 음수 0, 2,216,280행
  • 학습 구간 #1142와 동일, HOLDOUT 미사용
  • Codex PASS, 수아님 QA PASS, #990 reference VPP, 공식 validator PASS, PM GO

산출물

L1 3-seed 평균 OOF·manifest, prediction_test.csv + SHA-256, 인계 ZIP, 결과 보고 (운영안 공통 보고 형식)

추가 (11/03 저녁): 그룹 합계 기준 확인 — 탐색용

공식 벌점은 그룹(G1·G2) 합계 오차에 붙으므로 #990 배정 기준 그룹 합계 wMAE(Σ SMP·k·|Σ_g pred − Σ_g actual| / Σ SMP·k·Σ_g actual)를 함께 확인

  • baseline → FS2 평균 (실제 01 → 02, 공식 +6,526,605원): 발전소별 −3.4%, 그룹 합계 −5.9% → 방향 일치. 단 JAN 그룹 합계 악화
  • FS2 평균 → FS2+L1 평균: 발전소별 0.239870 → 0.234348 (−2.3%, 4/4) / 그룹 합계 0.139369 → 0.137398 (−1.4%, 2/4: JUL +0.0067, OCT +0.0063, JAN −0.0035, FEB −0.0014)
  • JAN·FEB는 253곳 전체 = 실제 그룹 구성과 같은 fold. 겨울 한낮 과대 bias가 그룹 합계에서 쌓이는 것으로 보임(추정)

현재 판단

  • 발전소별 PASS 조건은 충족, 그룹 합계 근거는 약함 → 조건부 후보, 제출 여부 PM 판단
  • PASS 조건 추가 제안 (PM 확정 필요): 그룹 합계 지표(#990 배정)도 FS2 3-seed 평균보다 좋을 것
  • 정식 경로(seed 평균 산출물·평가 기간 예측의 L1 확장, Codex)는 PM 판단 후 진행

상이 Updated by 상재 이 14 days ago Actions #1

  • Description updated (diff)
  • Status changed from New to In Progress
  • % Done changed from 0 to 50

탐색용 그룹 합계 확인 결과를 본문 "추가 (11/03 저녁)"에 기록했습니다. 도구: compare_to_reference.py (#1441 자료 v2 tools/). 정식 판정 아님, 공식 scorer 아님(D05 HOLD).

상이 Updated by 상재 이 14 days ago Actions #2

  • Status changed from In Progress to Closed
  • % Done changed from 50 to 100

결론: FS2 + L1을 단독 제출 후보로 올리지 않고 종료 (#1452로 이어감)

검증 결과 (DEV, 탐색용 확인 포함)

  • E4 판정(seed 짝 비교): L1 ADOPT. 평균 +0.005619, 4/4 fold
  • L1 3-seed 평균 vs FS2 3-seed 평균 (현재 제출 02)
    • 발전소별: 0.239870 → 0.234348 (−2.3%), 4/4 fold 개선 → 운영안 Track A PASS 조건 충족
    • 그룹 합계(#990 배정): 0.139369 → 0.137398 (−1.4%), 2/4 fold (JUL +0.0067, OCT +0.0063, JAN −0.0035, FEB −0.0014)
  • 공식 벌점은 그룹 합계 오차에 붙고, JAN·FEB는 253곳 전체(실제 그룹 구성과 같음) fold입니다. 실제 제출과 가장 닮은 fold에서 그룹 합계가 나빠졌습니다.
  • 원인으로 보이는 것: 겨울 한낮 과대예측(11~15시 bias L1 1월 +4.6, 2월 +2.2 kWh)이 그룹 합계에서 쌓임 (추정)

판단

  • 발전소별 기준은 통과하지만 그룹 합계 근거가 약해, FS2 + L1을 그대로 제출 후보로 올리지 않습니다.
  • L1은 버리지 않습니다. #1452(겨울 한낮 과대예측 원인 분석·bias 보정)에서 "L1 + 보정"으로 다시 판정합니다.
  • 제출 패키지 생성은 #1453에서 Track A가 직접 진행합니다.

남긴 것

  • 그룹 합계 비교 도구 compare_to_reference.py (#1441 자료 v2 tools/)
  • seed 평균·평가 기간 예측의 L1 확장 코드는 미커밋 상태이며, #1452 후보가 정해지면 그 후보 기준으로 정식 경로를 만듭니다.

상이 Updated by 상재 이 14 days ago Actions #3

보완 (Codex 검토 반영, 11/04)

  • L1(FS2 + L1 seed 3개 평균)은 발전소별 지표가 DEV 4/4 fold에서 개선됐습니다(0.239870 → 0.234348).
  • 그룹 합계 지표도 DEV 전체로는 개선됐습니다(0.139369 → 0.137398, −1.4%). fold별로는 JUL·OCT가 개선됐고, 253곳 전체 cohort인 JAN·FEB는 악화했습니다.
  • 그룹 기준은 PM 확정 전입니다. 그래서 이번 단계에서는 제출을 보류하고 #1440 후보 작업을 종료합니다.
  • 겨울 한낮 과대예측이 원인이라는 것은 가설입니다. #1452에서 bias 보정과 함께 검증하고, PM 기준에 따라 다시 판정합니다.
  • 이 종료는 E4 L1 ADOPT의 취소나 실제 제출 점수 악화의 입증을 뜻하지 않습니다.
  • 근거 도구: compare_to_reference.py v2 (SHA 35afae76…). Codex 재검토 PASS (보고서: codex_rereview_track_a2_tools_v2.md)

상이 Updated by 상재 이 14 days ago Actions #4

  • Parent task changed from #980 to #1467

11/04 운영 방식 변경(학생별 날짜 상위 일감)에 따라 상위 일감을 #980 → #1467로 옮김. E4 이후 Track A(이상재) 작업.

Actions

Also available in: PDF Atom