Project

General

Profile

Actions

Feature #1457

closed
길문 길문

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

Feature #1454: [OIBC][PM 11/04] 오늘 개인(문길래) 결과 도출 및 제출 여부 결정

[OIBC][PM 11/04-03] 추가 개선 후보 최소 검토 및 제출 후보 압축

Feature #1457: [OIBC][PM 11/04-03] 추가 개선 후보 최소 검토 및 제출 후보 압축

Added by 길래 문 14 days ago. Updated 14 days ago.

Status:
Closed
Priority:
Normal
Assignee:
Start date:
11/04/2026
Due date:
11/04/2026
% Done:

100%

Estimated time:

Description

[OIBC][PM 11/04-03] 추가 개선 후보 최소 검토 및 제출 후보 압축

■ 목적

PM_1104_01에서 확정한 FS2+L1 Reference와
PM_1104_02에서 재검증한 Group-Direct Blend 후보를 기준으로,

현재 진행 중인 추가 개선 방향 중
오늘 실제 제출 판단에 활용할 가치가 있는 후보만 최소 범위로 검토한다.

새로운 대규모 탐색이나 장시간 튜닝이 목적이 아니라,
오늘 제출 후보를 2~3개 이내로 압축하는 것이 목적이다.

■ 기준 Reference

REFERENCE_FORECAST=LightGBM_FS2_L1_AVG3
REFERENCE_DEV_WMAE=0.234347719

SEEDS=11,22,33
DEV_FOLDS=JUL,OCT,JAN,FEB

HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO

■ 검토 대상

다음 기존 일감 중
오늘 바로 비교 가능한 결과만 사용한다.

  1. #1442
    E5a 하이퍼파라미터 제한 탐색

  2. #1452
    계절 / 한낮 과대예측 원인 분석 및 bias 보정

  3. #1453
    계절 / 잔차 기반 개선 후보

  4. 필요 시 #1443의 모델 조합 후보

    • LightGBM + CatBoost
    • LightGBM + XGBoost
    • 3-model mean

단,
새로운 대규모 실험을 시작하지 않는다.

■ 수행 원칙

  1. 기존 결과가 이미 있으면 재사용한다.

  2. 추가 실행이 필요한 경우에도
    사전에 정의한 소수 후보만 확인한다.

  3. Hyperparameter 탐색은 제한적으로 수행한다.

  4. 모델 Ensemble은 단순 평균 또는
    사전에 제한된 소수 조합만 확인한다.

  5. Bias 보정은
    이미 확인된 JAN / midday 과대예측 등
    명확한 문제에 한해서 검토한다.

  6. 결과 확인 후 파라미터를 반복적으로 조정하는 방식은 금지한다.

■ 최소 비교 항목

각 후보에 대해 다음을 정리한다.

  • Overall DEV wMAE
  • JUL wMAE
  • OCT wMAE
  • JAN wMAE
  • FEB wMAE
  • Overall bias
  • Midday bias
  • Fold improvement count
  • Group error diagnostic
  • Runtime / complexity
  • Artifact 생성 가능 여부

■ 후보 비교 기준

기본 Reference 대비:

  • Overall DEV가 개선되는가
  • 특정 fold만 좋아지고 다른 fold가 크게 악화되지 않는가
  • Bias / Midday bias가 악화되지 않는가
  • Group error가 개선되는가
  • 추가 복잡도 대비 개선 효과가 충분한가

아주 작은 개선만 있고
운영 복잡도가 크게 증가하면 우선순위를 낮춘다.

■ 후보 압축

최종적으로 오늘 제출 Gate에 넘길 후보를
최대 2~3개로 제한한다.

예:

CANDIDATE_A=
FS2+L1 Reference

CANDIDATE_B=
FS2+L1 + Group-Direct Blend

CANDIDATE_C=
Best limited bias / ensemble candidate

후보가 Reference보다 명확하게 낫지 않으면
Reference 자체도 최종 후보로 유지한다.

■ 완료 조건

아래 형식으로 결과를 정리한다.

REFERENCE_CANDIDATE=
GROUP_DIRECT_CANDIDATE=
ADDITIONAL_CANDIDATE=

BEST_DEV_CANDIDATE=
BEST_BIAS_CANDIDATE=
BEST_GROUP_ERROR_CANDIDATE=

CANDIDATES_FOR_FINAL_GATE=
1.
2.
3.

HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO

PM_1104_03_RESULT=PASS|HOLD

NEXT_ACTION=PM_1104_04

길문 Updated by 길래 문 14 days ago Actions #1

  • Status changed from New to Closed
  • % Done changed from 0 to 100

PM_1104_03_RESULT=PASS

REFERENCE_CANDIDATE=LightGBM_FS2_L1_AVG3
REFERENCE_DEV_WMAE=0.234348
REFERENCE_GROUP_DIAGNOSTIC=2287440
REFERENCE_STATUS=KEEP_FOR_FINAL_GATE

L2_L1_50_50_CANDIDATE=L2+L1 50:50
L2_L1_50_50_DEV_WMAE=0.235747
L2_L1_50_50_GROUP_DIAGNOSTIC=2279428
L2_L1_50_50_STATUS=DROP

ENSEMBLE_LGBM_CAT_RESULT=DEV 0.233001 / Group 2259766 / Group 4-of-4 fold 개선 / midday bias 악화
ENSEMBLE_LGBM_XGB_RESULT=DEV 0.234696 / Group 2295539
ENSEMBLE_3MODEL_RESULT=DEV 0.233433 / Group 2271311
BEST_ENSEMBLE_CANDIDATE=LGBM+Cat 50:50

BEST_DEV_CANDIDATE=LGBM+Cat 50:50
BEST_BIAS_CANDIDATE=L2+L1 50:50
BEST_GROUP_ERROR_CANDIDATE=LGBM+Cat 50:50
BEST_OPERATIONAL_CANDIDATE=LightGBM FS2+L1 Reference

CANDIDATES_FOR_FINAL_GATE=

  1. LGBM+Cat 50:50
  2. LightGBM FS2+L1 Reference
  3. 3-model equal mean

FINAL_GATE_CANDIDATE_COUNT=3

OFFICIAL_SCORE_IMPROVEMENT_CLAIM=NO
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO

NEXT_ACTION=PM_1104_04

Actions

Also available in: PDF Atom