Project

General

Profile

Actions

Feature #1454

closed
길문 길문

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

[OIBC][PM 11/04] 오늘 개인(문길래) 결과 도출 및 제출 여부 결정

Feature #1454: [OIBC][PM 11/04] 오늘 개인(문길래) 결과 도출 및 제출 여부 결정

Added by 길래 문 14 days ago. Updated 13 days ago.

Status:
Closed
Priority:
Normal
Assignee:
Start date:
11/04/2026
Due date:
11/04/2026
% Done:

100%

Estimated time:
(Total: 0:00 h)

Description

[OIBC][PM 11/04] 오늘 결과 도출 및 제출 여부 결정

■ 목적

11/04 기준으로 현재까지 확보된 Forecast / VPP / Bias / Ensemble 관련 결과를 PM 관점에서 통합 검토하고,
오늘 제출 가능한 최종 후보를 도출한 뒤 실제 제출 여부를 결정한다.

단순히 새로운 모델을 많이 시도하는 것이 아니라,
이미 확보된 Evidence를 재사용하여 가장 가능성 높은 후보만 빠르게 비교·검증하고
제출 가치가 있는 경우에만 최종 제출까지 완료하는 것을 목표로 한다.

■ 현재 기준

현재 팀 공통 Forecast 기준은 다음과 같다.

REFERENCE_MODEL=LightGBM
FEATURE_SET=FS2
LOSS=L1
SEEDS=11,22,33
SEED_POLICY=3-seed average
DEV_FOLDS=JUL,OCT,JAN,FEB

#1443 3-model 비교 결과:

  • LightGBM DEV wMAE = 0.234348
  • CatBoost DEV wMAE = 0.234536
  • XGBoost DEV wMAE = 0.237215
  • 모델 간 차이는 크지 않으며 fold별 우세 모델이 다름
  • 따라서 단순 모델 교체보다 blend / bias / VPP / 후처리 개선 가능성을 우선 확인

현재 공식 제출 Reference:

  • Submission #2
  • Score = 6,424,865,945
  • Forecast = FS2 3-seed average
  • VPP = #990 reference

■ 진행 방향

  1. FS2+L1 LightGBM 3-seed average를 팀 공통 Reference로 확정
  2. #1314 / #1451 조영우 독립 group-direct 모델을 FS2+L1 기준으로 재결합 및 재검증
  3. #1442 / #1452 / #1453 결과 중 오늘 바로 적용 가능한 후보만 최소 범위로 검토
  4. 후보별 DEV 성능, fold 안정성, bias, midday bias, 그룹 오차, validator 결과 비교
  5. 최종 후보를 1~2개로 축소
  6. 제출 Gate를 통해 오늘 제출 여부 결정
  7. 제출 시 forecast / composition / manifest / validator / SHA Evidence까지 정리

■ 원칙

  • HOLDOUT은 후보 선택에 사용하지 않는다.
  • Leaderboard 결과를 모델 튜닝에 사용하지 않는다.
  • Submission feedback 기반 과적합을 하지 않는다.
  • 오늘 새 대규모 모델 탐색이나 장시간 hyperparameter search는 진행하지 않는다.
  • 기존 Evidence와 검증 결과를 최대한 재사용한다.
  • 후보별 비교 조건은 동일하게 유지한다.
  • 개선이 불명확하면 제출하지 않는 것도 정상적인 결과로 인정한다.

■ 제출 Gate

다음 조건을 기준으로 최종 제출 여부를 판단한다.

  • 기존 Reference 대비 DEV 개선 여부
  • 4개 fold에서의 안정성
  • 특정 계절 / 시간대 과대·과소예측 악화 여부
  • 그룹별 오차 개선 여부
  • NaN / Inf / negative / duplicate 여부
  • 제출 CSV 구조 및 공식/팀 validator 통과 여부
  • Artifact / SHA / Manifest 재현성 확보 여부

최종 판정:

SUBMIT=YES|NO

YES:

  • 최종 후보 생성
  • validator PASS
  • SHA / manifest 기록
  • 실제 제출 수행
  • 제출 결과 및 score 기록

NO:

  • 제출 보류 사유 명시
  • 가장 유망한 다음 후보 및 다음 작업 기록

■ 완료 조건

오늘 안에 반드시 아래 중 하나를 확정한다.

  1. 제출할 최종 후보 1개를 확정하고 실제 제출까지 완료
    또는
  2. 제출하지 않을 명확한 근거와 다음 개선 방향을 확정

PM_1104_RESULT=PASS|HOLD
FINAL_CANDIDATE=
SUBMIT=YES|NO
SUBMISSION_RESULT=
NEXT_ACTION=


Subtasks 5 (0 open — 5 closed)

Feature #1455: [OIBC][PM 11/04-01] FS2+L1 LightGBM Reference 확정 및 Evidence 정리Closed길래 문11/04/202611/04/2026

Actions
Feature #1456: [OIBC][PM 11/04-02] Group-Direct 후보 FS2+L1 기준 재결합 및 재검증Closed길래 문11/04/202611/04/2026

Actions
Feature #1457: [OIBC][PM 11/04-03] 추가 개선 후보 최소 검토 및 제출 후보 압축Closed길래 문11/04/202611/04/2026

Actions
Feature #1458: [OIBC][PM 11/04-04] 최종 후보 비교 및 오늘 제출 Gate 판정Closed길래 문11/04/202611/04/2026

Actions
Feature #1459: [OIBC][PM 11/04-05] 최종 Artifact Freeze 및 제출 실행·Evidence 정리Closed길래 문11/04/202611/04/2026

Actions
Actions

Also available in: PDF Atom