Feature #1458
closedFeature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료
Feature #1454: [OIBC][PM 11/04] 오늘 개인(문길래) 결과 도출 및 제출 여부 결정
[OIBC][PM 11/04-04] 최종 후보 비교 및 오늘 제출 Gate 판정
100%
Description
[OIBC][PM 11/04-04] 최종 후보 비교 및 오늘 제출 Gate 판정
■ 목적
PM_1104_01~03에서 정리된 후보를 동일 기준으로 최종 비교하고,
오늘 실제 제출할 가치가 있는 후보가 있는지 PM 관점에서 결정한다.
이번 일감의 목적은 추가 모델 개발이 아니라
최종 의사결정과 제출 승인 여부를 확정하는 것이다.
■ 입력 후보
PM_1104_03에서 압축된 최대 2~3개 후보만 사용한다.
예:
- FS2+L1 LightGBM Reference
- FS2+L1 + Group-Direct Blend
- 추가 제한 개선 후보 1개
새로운 후보를 이 단계에서 추가하지 않는다.
■ 비교 기준
각 후보에 대해 동일한 기준으로 아래 항목을 비교한다.
- Forecast 성능
- Overall DEV wMAE
- JUL
- OCT
- JAN
- FEB
- 안정성
- 4개 fold 중 개선 fold 수
- 특정 fold 악화 여부
- 계절별 편차
- Bias
- Overall bias
- Midday bias
- JAN / FEB 과대예측 여부
- VPP / Group Diagnostic
- G1 / G2 aggregate error
- Group penalty diagnostic
- 기존 #990 VPP 기준 대비 개선 여부
- QA
- row count
- duplicate
- NaN
- Inf
- negative prediction
- timestamp / site key consistency
- 제출 Artifact
- forecast.csv 생성 가능
- composition.csv 확정
- manifest 생성
- SHA 기록
- 팀 validator PASS
- 주최 측 공개 validator PASS
■ 현재 공식 Reference
Submission #2
SCORE=6,424,865,945
FORECAST=FS2 3-seed average
VPP=#990 reference
중요:
Leaderboard score는 후보 선택이나 tuning에 사용하지 않는다.
현재 점수는 기존 제출 Reference 식별 목적으로만 사용한다.
■ 제출 Gate
다음 조건을 종합적으로 판단한다.
SUBMIT 후보 권장 조건:
- 기존 Reference 대비 DEV 또는 group diagnostic에서 명확한 개선이 있음
- 개선이 특정 한 fold에만 의존하지 않음
- Bias / Midday bias에 심각한 악화 없음
- QA PASS
- 제출 artifact 재현 가능
- validator PASS
- 기존 제출 대비 변경 이유를 설명할 수 있음
다음 경우 제출 보류 가능:
- 개선폭이 사실상 미미함
- fold별 결과가 불안정함
- bias가 크게 악화됨
- group error 개선이 일관되지 않음
- artifact / validator / provenance가 불완전함
■ 최종 후보 선정
아래 값을 반드시 확정한다.
FINAL_CANDIDATE=
FINAL_FORECAST=
FINAL_VPP=
FINAL_BLEND_POLICY=
REFERENCE_DEV_WMAE=
FINAL_DEV_WMAE=
DEV_DELTA=
FOLD_IMPROVEMENT_COUNT=
BIAS_STATUS=
MIDDAY_BIAS_STATUS=
GROUP_ERROR_STATUS=
QA_STATUS=
VALIDATOR_STATUS=
ARTIFACT_STATUS=
■ 최종 판정
SUBMIT=YES|NO
SUBMIT=YES인 경우:
- 다음 PM_1104_05에서 최종 artifact freeze 및 실제 제출 진행
SUBMIT=NO인 경우:
- 제출 보류 이유 기록
- 오늘 최선 후보 기록
- 다음 개선 작업 명시
■ 원칙
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO
NEW_LARGE_EXPERIMENT=NO
■ 완료 조건
FINAL_GATE_RESULT=PASS|HOLD
FINAL_CANDIDATE=
SUBMIT=YES|NO
SUBMIT_REASON=
QA_STATUS=
VALIDATOR_STATUS=
PM_1104_04_RESULT=PASS|HOLD
NEXT_ACTION=PM_1104_05
길문 Updated by 길래 문 14 days ago
- Status changed from New to Closed
- % Done changed from 0 to 100
[#1458 최종 Gate 판정]
PM_1104_03에서 압축된 후보를 기준으로
오늘 실제 제출 가치가 있는지 최종 판단했습니다.
최종 검토 대상:
- LightGBM FS2+L1 Reference
- LightGBM + CatBoost 50:50
- 3-model equal mean
이 중 LGBM+Cat 50:50이 현재 가장 유력한 제출 후보입니다.
주요 비교:
Reference
- DEV wMAE = 0.234348
- Group aggregate error = 2,287,440
- Midday bias = 0.9702
LGBM+Cat 50:50
- DEV wMAE = 0.233001
- DEV 개선폭 = -0.001346, 약 0.57% 개선
- Group aggregate error = 2,259,766
- Group 개선폭 = 약 1.21%
- Group 기준 4/4 fold 개선
- Plant wMAE 기준 2/4 fold 개선
- Midday bias = 1.0568로 Reference 대비 악화
판단:
Overall DEV와 Group aggregate error가 동시에 개선되었고,
Group 기준으로는 4개 fold 모두 개선되었습니다.
Midday bias가 악화되고 CatBoost 추가에 따른 운영 복잡도는 증가하지만,
현재 확인된 개선 신호를 무효화할 정도의 hard blocker는 아니라고 판단합니다.
따라서 “점수가 반드시 오른다”는 의미는 아니지만,
현재 남아 있는 제출 기회를 사용할 만큼
2차 제출 대비 개선 가능성을 검토할 가치가 있는 후보로 판단합니다.
FINAL_GATE_RESULT=PASS
FINAL_CANDIDATE=LGBM+Cat 50:50
FINAL_FORECAST=LGBM_FS2_L1_AVG3 + CatBoost_FS2_L1_AVG3
FINAL_BLEND_POLICY=50:50
FINAL_VPP=#990
REFERENCE_DEV_WMAE=0.234348
FINAL_DEV_WMAE=0.233001
DEV_DELTA=-0.001346
REFERENCE_GROUP_ERROR=2287440
FINAL_GROUP_ERROR=2259766
GROUP_IMPROVEMENT_PCT≈1.21%
PLANT_FOLD_IMPROVEMENT_COUNT=2/4
GROUP_FOLD_IMPROVEMENT_COUNT=4/4
BIAS_STATUS=ACCEPTABLE
MIDDAY_BIAS_STATUS=WORSE_THAN_REFERENCE_BUT_NOT_HARD_BLOCKER
GROUP_ERROR_STATUS=IMPROVED
QA_STATUS=PASS
SUBMIT=YES
단, 실제 제출은 다음 단계 PM_1104_05에서
forecast/composition/manifest 생성,
SHA 기록,
팀 validator 및 주최 측 공개 validator PASS를
hard gate로 확인한 뒤 진행합니다.
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO
PM_1104_04_RESULT=PASS
NEXT_ACTION=PM_1104_05