Project

General

Profile

Actions

Feature #1458

closed
길문 길문

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

Feature #1454: [OIBC][PM 11/04] 오늘 개인(문길래) 결과 도출 및 제출 여부 결정

[OIBC][PM 11/04-04] 최종 후보 비교 및 오늘 제출 Gate 판정

Feature #1458: [OIBC][PM 11/04-04] 최종 후보 비교 및 오늘 제출 Gate 판정

Added by 길래 문 14 days ago. Updated 14 days ago.

Status:
Closed
Priority:
Normal
Assignee:
Start date:
11/04/2026
Due date:
11/04/2026
% Done:

100%

Estimated time:

Description

[OIBC][PM 11/04-04] 최종 후보 비교 및 오늘 제출 Gate 판정

■ 목적

PM_1104_01~03에서 정리된 후보를 동일 기준으로 최종 비교하고,
오늘 실제 제출할 가치가 있는 후보가 있는지 PM 관점에서 결정한다.

이번 일감의 목적은 추가 모델 개발이 아니라
최종 의사결정과 제출 승인 여부를 확정하는 것이다.

■ 입력 후보

PM_1104_03에서 압축된 최대 2~3개 후보만 사용한다.

예:

  • FS2+L1 LightGBM Reference
  • FS2+L1 + Group-Direct Blend
  • 추가 제한 개선 후보 1개

새로운 후보를 이 단계에서 추가하지 않는다.

■ 비교 기준

각 후보에 대해 동일한 기준으로 아래 항목을 비교한다.

  1. Forecast 성능
  • Overall DEV wMAE
  • JUL
  • OCT
  • JAN
  • FEB
  1. 안정성
  • 4개 fold 중 개선 fold 수
  • 특정 fold 악화 여부
  • 계절별 편차
  1. Bias
  • Overall bias
  • Midday bias
  • JAN / FEB 과대예측 여부
  1. VPP / Group Diagnostic
  • G1 / G2 aggregate error
  • Group penalty diagnostic
  • 기존 #990 VPP 기준 대비 개선 여부
  1. QA
  • row count
  • duplicate
  • NaN
  • Inf
  • negative prediction
  • timestamp / site key consistency
  1. 제출 Artifact
  • forecast.csv 생성 가능
  • composition.csv 확정
  • manifest 생성
  • SHA 기록
  • 팀 validator PASS
  • 주최 측 공개 validator PASS

■ 현재 공식 Reference

Submission #2

SCORE=6,424,865,945
FORECAST=FS2 3-seed average
VPP=#990 reference

중요:
Leaderboard score는 후보 선택이나 tuning에 사용하지 않는다.
현재 점수는 기존 제출 Reference 식별 목적으로만 사용한다.

■ 제출 Gate

다음 조건을 종합적으로 판단한다.

SUBMIT 후보 권장 조건:

  • 기존 Reference 대비 DEV 또는 group diagnostic에서 명확한 개선이 있음
  • 개선이 특정 한 fold에만 의존하지 않음
  • Bias / Midday bias에 심각한 악화 없음
  • QA PASS
  • 제출 artifact 재현 가능
  • validator PASS
  • 기존 제출 대비 변경 이유를 설명할 수 있음

다음 경우 제출 보류 가능:

  • 개선폭이 사실상 미미함
  • fold별 결과가 불안정함
  • bias가 크게 악화됨
  • group error 개선이 일관되지 않음
  • artifact / validator / provenance가 불완전함

■ 최종 후보 선정

아래 값을 반드시 확정한다.

FINAL_CANDIDATE=
FINAL_FORECAST=
FINAL_VPP=
FINAL_BLEND_POLICY=

REFERENCE_DEV_WMAE=
FINAL_DEV_WMAE=
DEV_DELTA=

FOLD_IMPROVEMENT_COUNT=
BIAS_STATUS=
MIDDAY_BIAS_STATUS=
GROUP_ERROR_STATUS=

QA_STATUS=
VALIDATOR_STATUS=
ARTIFACT_STATUS=

■ 최종 판정

SUBMIT=YES|NO

SUBMIT=YES인 경우:

  • 다음 PM_1104_05에서 최종 artifact freeze 및 실제 제출 진행

SUBMIT=NO인 경우:

  • 제출 보류 이유 기록
  • 오늘 최선 후보 기록
  • 다음 개선 작업 명시

■ 원칙

HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO
NEW_LARGE_EXPERIMENT=NO

■ 완료 조건

FINAL_GATE_RESULT=PASS|HOLD

FINAL_CANDIDATE=
SUBMIT=YES|NO
SUBMIT_REASON=

QA_STATUS=
VALIDATOR_STATUS=

PM_1104_04_RESULT=PASS|HOLD

NEXT_ACTION=PM_1104_05

Actions

Also available in: PDF Atom