Feature #1455
closedFeature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료
Feature #1454: [OIBC][PM 11/04] 오늘 개인(문길래) 결과 도출 및 제출 여부 결정
[OIBC][PM 11/04-01] FS2+L1 LightGBM Reference 확정 및 Evidence 정리
100%
Description
[OIBC][PM 11/04-01] FS2+L1 LightGBM Reference 확정 및 Evidence 정리
■ 목적
오늘 제출 후보 비교의 기준이 되는 팀 공통 Forecast Reference를 확정한다.
새 모델을 추가로 탐색하는 작업이 아니라,
#1443에서 이미 확보한 LightGBM FS2+L1 3-seed 결과를 재사용하여
오늘 이후 모든 후보 비교의 기준선을 고정하는 것이 목적이다.
■ 기준 후보
REFERENCE_MODEL=LightGBM
FEATURE_SET=FS2
LOSS=L1
SEEDS=11,22,33
SEED_POLICY=3-seed average
DEV_FOLDS=JUL,OCT,JAN,FEB
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO
■ 기존 Evidence
#1443 Track A-4 결과를 기준 Evidence로 사용한다.
DEV wMAE:
- Overall = 0.234348
- JUL = 0.298349
- OCT = 0.271403
- JAN = 0.188875
- FEB = 0.182120
Bias:
- Overall = +0.0699
Midday Bias:
- 0.970
OOF:
- 700,248 rows
- duplicate = 0
- NaN = 0
- Inf = 0
- negative prediction = 0
검증:
- 동일 Feature / Fold / Seed / Cutoff 정책 확인
- OIBC tests = 321 passed
- Full pytest = 634 passed, 5 skipped, 24 subtests passed
GitHub:
- PR #214 MERGED
- MERGE_SHA=c3e9a796859e3d54c83966e6097067929ef18b5c
■ 확인 사항
- #1443 결과가 오늘 기준 Reference로 재사용 가능한지 확인
- LightGBM FS2+L1 3-seed average의 provenance / config / artifact 연결 확인
- 이후 #1451 및 기타 개선 후보가 모두 동일 Reference 대비 비교되도록 기준 고정
- 새로운 tuning 또는 candidate search는 이 일감에서 수행하지 않음
■ 완료 조건
아래 값이 최종 고정되면 완료한다.
REFERENCE_FORECAST=LightGBM_FS2_L1_AVG3
REFERENCE_DEV_WMAE=0.234347719
REFERENCE_SEEDS=11,22,33
REFERENCE_FOLDS=JUL,OCT,JAN,FEB
REFERENCE_PROVENANCE=PASS
REFERENCE_QA=PASS
REFERENCE_READY_FOR_COMPARISON=YES
PM_1104_01_RESULT=PASS|HOLD
NEXT_ACTION=PM_1104_02
길문 Updated by 길래 문 14 days ago
- Due date set to 11/04/2026
- Status changed from New to Closed
- Priority changed from Normal to High
- Start date set to 11/04/2026
- % Done changed from 0 to 100
[#1455 PM 11/04-01 최종 결과]
#1443에서 생성한 LightGBM FS2+L1 3-seed average 결과를 오늘 PM 공통 Forecast Reference로 재검증했습니다.
REFERENCE_FORECAST=LightGBM_FS2_L1_AVG3
REFERENCE_MODEL=LightGBM
REFERENCE_FEATURE_SET=FS2
REFERENCE_LOSS=L1
REFERENCE_SEEDS=11,22,33
REFERENCE_SEED_POLICY=equal arithmetic mean
REFERENCE_FOLDS=JUL,OCT,JAN,FEB
DEV:
- Overall=0.234347719
- JUL=0.298348820
- OCT=0.271402619
- JAN=0.188874832
- FEB=0.182119920
Bias:
- Overall=+0.069866937
- Midday=0.970233507
OOF QA:
- rows=700248
- duplicate=0
- NaN=0
- Inf=0
- negative prediction=0
검증:
- seed 11/22/33 OOF hash 및 fold 완료 확인
- avg3가 세 prediction의 정확한 산술평균임을 확인
- 기존 DEV SMP로 metric 재계산 일치
- site/time grid 일치
- generation / sites / train SMP / forecast WA·WB 입력 hash 일치
- config / feature / fold / cutoff / source provenance 일치
- 새 training / OOF 생성 / tuning 없음
Evidence:
PREREGISTRATION_COMMIT=5915e956cf5c54c17bb3030c1706382b325a1761
EXECUTION_CODE_COMMIT=7f98cae7aba36b9116bc4db07864b68fc93c9669
CONFIG_HASH=8560c89f35f0df46
SOURCE_ZIP_SHA256=f8b8914d1e45c7a7e8108fc2bfb2c1287373a07e2621cfe653bb3a12a438834e
MERGE_SHA=c3e9a796859e3d54c83966e6097067929ef18b5c
기존 결과 문서의 EXECUTION_CODE_COMMIT 전체 SHA에는 b가 하나 더 들어간 오기가 있었으며,
manifest 및 Git commit 확인 결과 위 SHA가 올바른 값입니다.
기존 테스트 Evidence:
- OIBC 321 passed
- Full pytest 634 passed, 5 skipped, 24 subtests passed
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO
REFERENCE_PROVENANCE=PASS
REFERENCE_QA=PASS
TEST_REUSE=PASS
CURRENT_MAIN_COMPATIBLE=YES
REFERENCE_READY_FOR_COMPARISON=YES
PM_1104_01_RESULT=PASS
NEXT_ACTION=PM_1104_02