Project

General

Profile

Actions

Feature #1455

closed
길문 길문

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

Feature #1454: [OIBC][PM 11/04] 오늘 개인(문길래) 결과 도출 및 제출 여부 결정

[OIBC][PM 11/04-01] FS2+L1 LightGBM Reference 확정 및 Evidence 정리

Feature #1455: [OIBC][PM 11/04-01] FS2+L1 LightGBM Reference 확정 및 Evidence 정리

Added by 길래 문 14 days ago. Updated 14 days ago.

Status:
Closed
Priority:
High
Assignee:
Start date:
11/04/2026
Due date:
11/04/2026
% Done:

100%

Estimated time:

Description

[OIBC][PM 11/04-01] FS2+L1 LightGBM Reference 확정 및 Evidence 정리

■ 목적

오늘 제출 후보 비교의 기준이 되는 팀 공통 Forecast Reference를 확정한다.

새 모델을 추가로 탐색하는 작업이 아니라,
#1443에서 이미 확보한 LightGBM FS2+L1 3-seed 결과를 재사용하여
오늘 이후 모든 후보 비교의 기준선을 고정하는 것이 목적이다.

■ 기준 후보

REFERENCE_MODEL=LightGBM
FEATURE_SET=FS2
LOSS=L1
SEEDS=11,22,33
SEED_POLICY=3-seed average
DEV_FOLDS=JUL,OCT,JAN,FEB

HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO

■ 기존 Evidence

#1443 Track A-4 결과를 기준 Evidence로 사용한다.

DEV wMAE:

  • Overall = 0.234348
  • JUL = 0.298349
  • OCT = 0.271403
  • JAN = 0.188875
  • FEB = 0.182120

Bias:

  • Overall = +0.0699

Midday Bias:

  • 0.970

OOF:

  • 700,248 rows
  • duplicate = 0
  • NaN = 0
  • Inf = 0
  • negative prediction = 0

검증:

  • 동일 Feature / Fold / Seed / Cutoff 정책 확인
  • OIBC tests = 321 passed
  • Full pytest = 634 passed, 5 skipped, 24 subtests passed

GitHub:

  • PR #214 MERGED
  • MERGE_SHA=c3e9a796859e3d54c83966e6097067929ef18b5c

■ 확인 사항

  1. #1443 결과가 오늘 기준 Reference로 재사용 가능한지 확인
  2. LightGBM FS2+L1 3-seed average의 provenance / config / artifact 연결 확인
  3. 이후 #1451 및 기타 개선 후보가 모두 동일 Reference 대비 비교되도록 기준 고정
  4. 새로운 tuning 또는 candidate search는 이 일감에서 수행하지 않음

■ 완료 조건

아래 값이 최종 고정되면 완료한다.

REFERENCE_FORECAST=LightGBM_FS2_L1_AVG3
REFERENCE_DEV_WMAE=0.234347719
REFERENCE_SEEDS=11,22,33
REFERENCE_FOLDS=JUL,OCT,JAN,FEB

REFERENCE_PROVENANCE=PASS
REFERENCE_QA=PASS
REFERENCE_READY_FOR_COMPARISON=YES

PM_1104_01_RESULT=PASS|HOLD
NEXT_ACTION=PM_1104_02

길문 Updated by 길래 문 14 days ago Actions #1

  • Due date set to 11/04/2026
  • Status changed from New to Closed
  • Priority changed from Normal to High
  • Start date set to 11/04/2026
  • % Done changed from 0 to 100

[#1455 PM 11/04-01 최종 결과]

#1443에서 생성한 LightGBM FS2+L1 3-seed average 결과를 오늘 PM 공통 Forecast Reference로 재검증했습니다.

REFERENCE_FORECAST=LightGBM_FS2_L1_AVG3
REFERENCE_MODEL=LightGBM
REFERENCE_FEATURE_SET=FS2
REFERENCE_LOSS=L1
REFERENCE_SEEDS=11,22,33
REFERENCE_SEED_POLICY=equal arithmetic mean
REFERENCE_FOLDS=JUL,OCT,JAN,FEB

DEV:

  • Overall=0.234347719
  • JUL=0.298348820
  • OCT=0.271402619
  • JAN=0.188874832
  • FEB=0.182119920

Bias:

  • Overall=+0.069866937
  • Midday=0.970233507

OOF QA:

  • rows=700248
  • duplicate=0
  • NaN=0
  • Inf=0
  • negative prediction=0

검증:

  • seed 11/22/33 OOF hash 및 fold 완료 확인
  • avg3가 세 prediction의 정확한 산술평균임을 확인
  • 기존 DEV SMP로 metric 재계산 일치
  • site/time grid 일치
  • generation / sites / train SMP / forecast WA·WB 입력 hash 일치
  • config / feature / fold / cutoff / source provenance 일치
  • 새 training / OOF 생성 / tuning 없음

Evidence:
PREREGISTRATION_COMMIT=5915e956cf5c54c17bb3030c1706382b325a1761
EXECUTION_CODE_COMMIT=7f98cae7aba36b9116bc4db07864b68fc93c9669
CONFIG_HASH=8560c89f35f0df46
SOURCE_ZIP_SHA256=f8b8914d1e45c7a7e8108fc2bfb2c1287373a07e2621cfe653bb3a12a438834e
MERGE_SHA=c3e9a796859e3d54c83966e6097067929ef18b5c

기존 결과 문서의 EXECUTION_CODE_COMMIT 전체 SHA에는 b가 하나 더 들어간 오기가 있었으며,
manifest 및 Git commit 확인 결과 위 SHA가 올바른 값입니다.

기존 테스트 Evidence:

  • OIBC 321 passed
  • Full pytest 634 passed, 5 skipped, 24 subtests passed

HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO

REFERENCE_PROVENANCE=PASS
REFERENCE_QA=PASS
TEST_REUSE=PASS
CURRENT_MAIN_COMPATIBLE=YES
REFERENCE_READY_FOR_COMPARISON=YES

PM_1104_01_RESULT=PASS
NEXT_ACTION=PM_1104_02

Actions

Also available in: PDF Atom