Project

General

Profile

Actions

Feature #1455

closed
길문 길문

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

Feature #1454: [OIBC][PM 11/04] 오늘 개인(문길래) 결과 도출 및 제출 여부 결정

[OIBC][PM 11/04-01] FS2+L1 LightGBM Reference 확정 및 Evidence 정리

Feature #1455: [OIBC][PM 11/04-01] FS2+L1 LightGBM Reference 확정 및 Evidence 정리

Added by 길래 문 14 days ago. Updated 14 days ago.

Status:
Closed
Priority:
High
Assignee:
Start date:
11/04/2026
Due date:
11/04/2026
% Done:

100%

Estimated time:

Description

[OIBC][PM 11/04-01] FS2+L1 LightGBM Reference 확정 및 Evidence 정리

■ 목적

오늘 제출 후보 비교의 기준이 되는 팀 공통 Forecast Reference를 확정한다.

새 모델을 추가로 탐색하는 작업이 아니라,
#1443에서 이미 확보한 LightGBM FS2+L1 3-seed 결과를 재사용하여
오늘 이후 모든 후보 비교의 기준선을 고정하는 것이 목적이다.

■ 기준 후보

REFERENCE_MODEL=LightGBM
FEATURE_SET=FS2
LOSS=L1
SEEDS=11,22,33
SEED_POLICY=3-seed average
DEV_FOLDS=JUL,OCT,JAN,FEB

HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO

■ 기존 Evidence

#1443 Track A-4 결과를 기준 Evidence로 사용한다.

DEV wMAE:

  • Overall = 0.234348
  • JUL = 0.298349
  • OCT = 0.271403
  • JAN = 0.188875
  • FEB = 0.182120

Bias:

  • Overall = +0.0699

Midday Bias:

  • 0.970

OOF:

  • 700,248 rows
  • duplicate = 0
  • NaN = 0
  • Inf = 0
  • negative prediction = 0

검증:

  • 동일 Feature / Fold / Seed / Cutoff 정책 확인
  • OIBC tests = 321 passed
  • Full pytest = 634 passed, 5 skipped, 24 subtests passed

GitHub:

  • PR #214 MERGED
  • MERGE_SHA=c3e9a796859e3d54c83966e6097067929ef18b5c

■ 확인 사항

  1. #1443 결과가 오늘 기준 Reference로 재사용 가능한지 확인
  2. LightGBM FS2+L1 3-seed average의 provenance / config / artifact 연결 확인
  3. 이후 #1451 및 기타 개선 후보가 모두 동일 Reference 대비 비교되도록 기준 고정
  4. 새로운 tuning 또는 candidate search는 이 일감에서 수행하지 않음

■ 완료 조건

아래 값이 최종 고정되면 완료한다.

REFERENCE_FORECAST=LightGBM_FS2_L1_AVG3
REFERENCE_DEV_WMAE=0.234347719
REFERENCE_SEEDS=11,22,33
REFERENCE_FOLDS=JUL,OCT,JAN,FEB

REFERENCE_PROVENANCE=PASS
REFERENCE_QA=PASS
REFERENCE_READY_FOR_COMPARISON=YES

PM_1104_01_RESULT=PASS|HOLD
NEXT_ACTION=PM_1104_02

Actions

Also available in: PDF Atom