Feature #1457
closedFeature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료
Feature #1454: [OIBC][PM 11/04] 오늘 개인(문길래) 결과 도출 및 제출 여부 결정
[OIBC][PM 11/04-03] 추가 개선 후보 최소 검토 및 제출 후보 압축
100%
Description
[OIBC][PM 11/04-03] 추가 개선 후보 최소 검토 및 제출 후보 압축
■ 목적
PM_1104_01에서 확정한 FS2+L1 Reference와
PM_1104_02에서 재검증한 Group-Direct Blend 후보를 기준으로,
현재 진행 중인 추가 개선 방향 중
오늘 실제 제출 판단에 활용할 가치가 있는 후보만 최소 범위로 검토한다.
새로운 대규모 탐색이나 장시간 튜닝이 목적이 아니라,
오늘 제출 후보를 2~3개 이내로 압축하는 것이 목적이다.
■ 기준 Reference
REFERENCE_FORECAST=LightGBM_FS2_L1_AVG3
REFERENCE_DEV_WMAE=0.234347719
SEEDS=11,22,33
DEV_FOLDS=JUL,OCT,JAN,FEB
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO
■ 검토 대상
다음 기존 일감 중
오늘 바로 비교 가능한 결과만 사용한다.
-
#1442
E5a 하이퍼파라미터 제한 탐색 -
#1452
계절 / 한낮 과대예측 원인 분석 및 bias 보정 -
#1453
계절 / 잔차 기반 개선 후보 -
필요 시 #1443의 모델 조합 후보
- LightGBM + CatBoost
- LightGBM + XGBoost
- 3-model mean
단,
새로운 대규모 실험을 시작하지 않는다.
■ 수행 원칙
-
기존 결과가 이미 있으면 재사용한다.
-
추가 실행이 필요한 경우에도
사전에 정의한 소수 후보만 확인한다. -
Hyperparameter 탐색은 제한적으로 수행한다.
-
모델 Ensemble은 단순 평균 또는
사전에 제한된 소수 조합만 확인한다. -
Bias 보정은
이미 확인된 JAN / midday 과대예측 등
명확한 문제에 한해서 검토한다. -
결과 확인 후 파라미터를 반복적으로 조정하는 방식은 금지한다.
■ 최소 비교 항목
각 후보에 대해 다음을 정리한다.
- Overall DEV wMAE
- JUL wMAE
- OCT wMAE
- JAN wMAE
- FEB wMAE
- Overall bias
- Midday bias
- Fold improvement count
- Group error diagnostic
- Runtime / complexity
- Artifact 생성 가능 여부
■ 후보 비교 기준
기본 Reference 대비:
- Overall DEV가 개선되는가
- 특정 fold만 좋아지고 다른 fold가 크게 악화되지 않는가
- Bias / Midday bias가 악화되지 않는가
- Group error가 개선되는가
- 추가 복잡도 대비 개선 효과가 충분한가
아주 작은 개선만 있고
운영 복잡도가 크게 증가하면 우선순위를 낮춘다.
■ 후보 압축
최종적으로 오늘 제출 Gate에 넘길 후보를
최대 2~3개로 제한한다.
예:
CANDIDATE_A=
FS2+L1 Reference
CANDIDATE_B=
FS2+L1 + Group-Direct Blend
CANDIDATE_C=
Best limited bias / ensemble candidate
후보가 Reference보다 명확하게 낫지 않으면
Reference 자체도 최종 후보로 유지한다.
■ 완료 조건
아래 형식으로 결과를 정리한다.
REFERENCE_CANDIDATE=
GROUP_DIRECT_CANDIDATE=
ADDITIONAL_CANDIDATE=
BEST_DEV_CANDIDATE=
BEST_BIAS_CANDIDATE=
BEST_GROUP_ERROR_CANDIDATE=
CANDIDATES_FOR_FINAL_GATE=
1.
2.
3.
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
PM_1104_03_RESULT=PASS|HOLD
NEXT_ACTION=PM_1104_04