Project

General

Profile

Actions

Feature #1454

closed
길문 길문

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

[OIBC][PM 11/04] 오늘 개인(문길래) 결과 도출 및 제출 여부 결정

Feature #1454: [OIBC][PM 11/04] 오늘 개인(문길래) 결과 도출 및 제출 여부 결정

Added by 길래 문 14 days ago. Updated 13 days ago.

Status:
Closed
Priority:
Normal
Assignee:
Start date:
11/04/2026
Due date:
11/04/2026
% Done:

100%

Estimated time:
(Total: 0:00 h)

Description

[OIBC][PM 11/04] 오늘 결과 도출 및 제출 여부 결정

■ 목적

11/04 기준으로 현재까지 확보된 Forecast / VPP / Bias / Ensemble 관련 결과를 PM 관점에서 통합 검토하고,
오늘 제출 가능한 최종 후보를 도출한 뒤 실제 제출 여부를 결정한다.

단순히 새로운 모델을 많이 시도하는 것이 아니라,
이미 확보된 Evidence를 재사용하여 가장 가능성 높은 후보만 빠르게 비교·검증하고
제출 가치가 있는 경우에만 최종 제출까지 완료하는 것을 목표로 한다.

■ 현재 기준

현재 팀 공통 Forecast 기준은 다음과 같다.

REFERENCE_MODEL=LightGBM
FEATURE_SET=FS2
LOSS=L1
SEEDS=11,22,33
SEED_POLICY=3-seed average
DEV_FOLDS=JUL,OCT,JAN,FEB

#1443 3-model 비교 결과:

  • LightGBM DEV wMAE = 0.234348
  • CatBoost DEV wMAE = 0.234536
  • XGBoost DEV wMAE = 0.237215
  • 모델 간 차이는 크지 않으며 fold별 우세 모델이 다름
  • 따라서 단순 모델 교체보다 blend / bias / VPP / 후처리 개선 가능성을 우선 확인

현재 공식 제출 Reference:

  • Submission #2
  • Score = 6,424,865,945
  • Forecast = FS2 3-seed average
  • VPP = #990 reference

■ 진행 방향

  1. FS2+L1 LightGBM 3-seed average를 팀 공통 Reference로 확정
  2. #1314 / #1451 조영우 독립 group-direct 모델을 FS2+L1 기준으로 재결합 및 재검증
  3. #1442 / #1452 / #1453 결과 중 오늘 바로 적용 가능한 후보만 최소 범위로 검토
  4. 후보별 DEV 성능, fold 안정성, bias, midday bias, 그룹 오차, validator 결과 비교
  5. 최종 후보를 1~2개로 축소
  6. 제출 Gate를 통해 오늘 제출 여부 결정
  7. 제출 시 forecast / composition / manifest / validator / SHA Evidence까지 정리

■ 원칙

  • HOLDOUT은 후보 선택에 사용하지 않는다.
  • Leaderboard 결과를 모델 튜닝에 사용하지 않는다.
  • Submission feedback 기반 과적합을 하지 않는다.
  • 오늘 새 대규모 모델 탐색이나 장시간 hyperparameter search는 진행하지 않는다.
  • 기존 Evidence와 검증 결과를 최대한 재사용한다.
  • 후보별 비교 조건은 동일하게 유지한다.
  • 개선이 불명확하면 제출하지 않는 것도 정상적인 결과로 인정한다.

■ 제출 Gate

다음 조건을 기준으로 최종 제출 여부를 판단한다.

  • 기존 Reference 대비 DEV 개선 여부
  • 4개 fold에서의 안정성
  • 특정 계절 / 시간대 과대·과소예측 악화 여부
  • 그룹별 오차 개선 여부
  • NaN / Inf / negative / duplicate 여부
  • 제출 CSV 구조 및 공식/팀 validator 통과 여부
  • Artifact / SHA / Manifest 재현성 확보 여부

최종 판정:

SUBMIT=YES|NO

YES:

  • 최종 후보 생성
  • validator PASS
  • SHA / manifest 기록
  • 실제 제출 수행
  • 제출 결과 및 score 기록

NO:

  • 제출 보류 사유 명시
  • 가장 유망한 다음 후보 및 다음 작업 기록

■ 완료 조건

오늘 안에 반드시 아래 중 하나를 확정한다.

  1. 제출할 최종 후보 1개를 확정하고 실제 제출까지 완료
    또는
  2. 제출하지 않을 명확한 근거와 다음 개선 방향을 확정

PM_1104_RESULT=PASS|HOLD
FINAL_CANDIDATE=
SUBMIT=YES|NO
SUBMISSION_RESULT=
NEXT_ACTION=


Subtasks 5 (0 open — 5 closed)

Feature #1455: [OIBC][PM 11/04-01] FS2+L1 LightGBM Reference 확정 및 Evidence 정리Closed길래 문11/04/202611/04/2026

Actions
Feature #1456: [OIBC][PM 11/04-02] Group-Direct 후보 FS2+L1 기준 재결합 및 재검증Closed길래 문11/04/202611/04/2026

Actions
Feature #1457: [OIBC][PM 11/04-03] 추가 개선 후보 최소 검토 및 제출 후보 압축Closed길래 문11/04/202611/04/2026

Actions
Feature #1458: [OIBC][PM 11/04-04] 최종 후보 비교 및 오늘 제출 Gate 판정Closed길래 문11/04/202611/04/2026

Actions
Feature #1459: [OIBC][PM 11/04-05] 최종 Artifact Freeze 및 제출 실행·Evidence 정리Closed길래 문11/04/202611/04/2026

Actions

길문 Updated by 길래 문 14 days ago Actions #1

  • Parent task set to #980

길문 Updated by 길래 문 14 days ago Actions #2

  • Subtask #1455 added

길문 Updated by 길래 문 14 days ago Actions #3

  • Subtask #1456 added

길문 Updated by 길래 문 14 days ago Actions #4

  • Subtask #1457 added

길문 Updated by 길래 문 14 days ago Actions #5

  • Subtask #1458 added

길문 Updated by 길래 문 14 days ago Actions #6

  • Subtask #1459 added

길문 Updated by 길래 문 13 days ago Actions #7

  • Status changed from New to Closed

[#1454 PM 11/04 최종 결과 및 종료]

오늘 PM 기준으로 Forecast / Ensemble / VPP / 제출 artifact를 통합 검토하고,
최종 후보 선정 → Gate 판정 → artifact freeze → 실제 제출까지 완료했습니다.

■ 오늘 진행 요약

  1. FS2+L1 LightGBM Reference 확정
  • REFERENCE_MODEL=LightGBM
  • FEATURE_SET=FS2
  • LOSS=L1
  • SEEDS=11,22,33
  • DEV_WMAE=0.234348
  1. 추가 후보 압축
  • L2+L1 50:50
  • LGBM+Cat 50:50
  • LGBM+XGB 50:50
  • 3-model mean
  • Group-Direct는 provenance/artifact 한계로 오늘 PM 제출 후보에서는 제외
  1. 최종 Gate
    최종 제출 후보로 다음을 확정:

FINAL_CANDIDATE=LGBM+Cat 50:50
FINAL_FORECAST=0.5LightGBM_FS2_L1_AVG3 + 0.5CatBoost_FS2_L1_AVG3
FINAL_VPP=#990
FINAL_BLEND_POLICY=50:50

Reference 대비:

  • DEV wMAE: 0.234348 → 0.233001
  • Group aggregate error: 2,287,440 → 2,259,766
  • Group 기준 4/4 fold 개선
  • Midday bias는 일부 악화했으나 hard blocker로 판단하지 않음
  1. 최종 제출 artifact 생성 및 검증
  • composition.csv 생성/확정
  • forecast.csv 생성
  • manifest / evidence ZIP 생성
  • team validator PASS
  • official public validator PASS
  • duplicate / NaN / Inf / negative = 0
  • #990 composition 유지
  1. 실제 제출 완료

Submission #3

  • 제출일시: 2026-11-04 14:34:47
  • Score: 6,434,253,664
  • 현재 순위: 242위
  • 이전 대비 순위: +19

공식 제출 점수 비교:

  • Submission #1: 6,418,339,340
  • Submission #2: 6,424,865,945
  • Submission #3: 6,434,253,664

Submission #3 vs #2:
+9,387,719

Submission #3 vs #1:
+15,914,324

현재 Submission #3이 팀 최고 기록입니다.

■ Guardrail

HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO
NEW_LARGE_EXPERIMENT=NO

오늘 제출 결과를 보고 같은 날 추가 튜닝이나 즉시 재제출은 진행하지 않습니다.

■ 최종 판정

PM_1104_RESULT=PASS
FINAL_CANDIDATE=LGBM+Cat 50:50
SUBMIT=YES
SUBMISSION_EXECUTED=YES
SUBMISSION_RESULT=SUCCESS
SUBMISSION_SCORE=6434253664
CURRENT_BEST_SCORE=6434253664
CURRENT_RANK=242
RANK_CHANGE=+19

오늘 목표였던
“결과 도출 → 후보 비교 → 제출 여부 결정 → 실제 제출 → Evidence 정리”
까지 모두 완료했습니다.

NEXT_ACTION=
오늘 추가 제출 없음.
각 담당자의 후속 실험은 계속 진행하되,
이번 leaderboard 결과를 직접적인 tuning target으로 사용하지 않고
다음 사전 정의 후보 검증 후 차기 제출 여부를 판단합니다.

Actions

Also available in: PDF Atom