Feature #1455
closedFeature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료
Feature #1454: [OIBC][PM 11/04] 오늘 개인(문길래) 결과 도출 및 제출 여부 결정
[OIBC][PM 11/04-01] FS2+L1 LightGBM Reference 확정 및 Evidence 정리
100%
Description
[OIBC][PM 11/04-01] FS2+L1 LightGBM Reference 확정 및 Evidence 정리
■ 목적
오늘 제출 후보 비교의 기준이 되는 팀 공통 Forecast Reference를 확정한다.
새 모델을 추가로 탐색하는 작업이 아니라,
#1443에서 이미 확보한 LightGBM FS2+L1 3-seed 결과를 재사용하여
오늘 이후 모든 후보 비교의 기준선을 고정하는 것이 목적이다.
■ 기준 후보
REFERENCE_MODEL=LightGBM
FEATURE_SET=FS2
LOSS=L1
SEEDS=11,22,33
SEED_POLICY=3-seed average
DEV_FOLDS=JUL,OCT,JAN,FEB
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO
■ 기존 Evidence
#1443 Track A-4 결과를 기준 Evidence로 사용한다.
DEV wMAE:
- Overall = 0.234348
- JUL = 0.298349
- OCT = 0.271403
- JAN = 0.188875
- FEB = 0.182120
Bias:
- Overall = +0.0699
Midday Bias:
- 0.970
OOF:
- 700,248 rows
- duplicate = 0
- NaN = 0
- Inf = 0
- negative prediction = 0
검증:
- 동일 Feature / Fold / Seed / Cutoff 정책 확인
- OIBC tests = 321 passed
- Full pytest = 634 passed, 5 skipped, 24 subtests passed
GitHub:
- PR #214 MERGED
- MERGE_SHA=c3e9a796859e3d54c83966e6097067929ef18b5c
■ 확인 사항
- #1443 결과가 오늘 기준 Reference로 재사용 가능한지 확인
- LightGBM FS2+L1 3-seed average의 provenance / config / artifact 연결 확인
- 이후 #1451 및 기타 개선 후보가 모두 동일 Reference 대비 비교되도록 기준 고정
- 새로운 tuning 또는 candidate search는 이 일감에서 수행하지 않음
■ 완료 조건
아래 값이 최종 고정되면 완료한다.
REFERENCE_FORECAST=LightGBM_FS2_L1_AVG3
REFERENCE_DEV_WMAE=0.234347719
REFERENCE_SEEDS=11,22,33
REFERENCE_FOLDS=JUL,OCT,JAN,FEB
REFERENCE_PROVENANCE=PASS
REFERENCE_QA=PASS
REFERENCE_READY_FOR_COMPARISON=YES
PM_1104_01_RESULT=PASS|HOLD
NEXT_ACTION=PM_1104_02