Project

General

Profile

Actions

Feature #1456

closed
길문 길문

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

Feature #1454: [OIBC][PM 11/04] 오늘 개인(문길래) 결과 도출 및 제출 여부 결정

[OIBC][PM 11/04-02] Group-Direct 후보 FS2+L1 기준 재결합 및 재검증

Feature #1456: [OIBC][PM 11/04-02] Group-Direct 후보 FS2+L1 기준 재결합 및 재검증

Added by 길래 문 14 days ago. Updated 14 days ago.

Status:
Closed
Priority:
High
Assignee:
Start date:
11/04/2026
Due date:
11/04/2026
% Done:

100%

Estimated time:

Description

[OIBC][PM 11/04-02] Group-Direct 후보 FS2+L1 기준 재결합 및 재검증

■ 목적

#1314 / #1451에서 개발 중인 조영우 독립 Group-Direct Forecast 후보를
오늘 확정한 팀 공통 Reference인

LightGBM + FS2 + L1 + 3-seed average

기준으로 다시 결합하고,
기존 FS2 기준에서 확인된 개선 효과가 그대로 유지되는지 검증한다.

기존 Group-Direct 결과를 그대로 채택하지 않고,
새 Reference 대비 동일 조건에서 다시 비교하는 것이 목적이다.

■ 기준 Reference

REFERENCE_FORECAST=LightGBM_FS2_L1_AVG3
REFERENCE_DEV_WMAE=0.234347719
REFERENCE_SEEDS=11,22,33
REFERENCE_FOLDS=JUL,OCT,JAN,FEB

HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO

■ 기존 Group-Direct 후보

기존 #1314 결과:

  • Group-Direct 모델:
    HistGradientBoosting
    loss=absolute_error
  • Group aggregate feature 기반
  • 기존 FS2 forecast와 Group-Direct forecast 결합
  • 기존 후보 blend:
    0.4 × FS2
    • 0.6 × Group-Direct

기존 잠정 DEV 그룹 벌점:

FS2:

  • JUL 21.142
  • OCT 20.559
  • JAN 12.193
  • FEB 15.393
  • Total 69.288

기존 Blend:

  • JUL 19.195
  • OCT 19.192
  • JAN 12.053
  • FEB 14.470
  • Total 64.909

기존 기준 대비 약 -6.3%, 4/4 fold 개선.

단, 위 결과는 기존 FS2 기준이므로
이번 일감에서는 FS2+L1 Reference 기준으로 반드시 다시 계산한다.

■ 수행 내용

  1. 최신 main 기준으로 작업 상태 확인

  2. Group-Direct 모델 자체는 기존 구현을 최대한 재사용

  3. 기존 FS2 forecast 대신
    LightGBM FS2+L1 3-seed average forecast를 baseline으로 사용

  4. 최소 다음 후보 비교

A.
FS2+L1 단일 Reference

B.
기존 비율 재사용:
0.4 × FS2+L1

  • 0.6 × Group-Direct

C.
필요한 경우 사전 제한된 소수 blend만 추가 확인
예:
0.5 / 0.5
0.6 / 0.4

대규모 weight search는 금지한다.

  1. 각 후보별 DEV 4-fold 비교
  • JUL
  • OCT
  • JAN
  • FEB
  • 전체
  1. 다음 항목 비교
  • DEV forecast metric
  • 그룹 aggregate error / penalty diagnostic
  • fold별 개선/악화
  • overall bias
  • midday bias
  • NaN / Inf / negative
  • row/key consistency
  1. 최신 D05 구현 기준으로 가능한 diagnostic은 다시 계산

주의:
official scorer parity는 UNVERIFIED이므로
DEV 내부 결과를 공식 점수 상승으로 표현하지 않는다.

■ 판단 기준

Group-Direct Blend를 오늘 제출 후보로 유지하려면:

  • FS2+L1 Reference 대비 전체적으로 개선
  • 개선이 특정 1개 fold에만 의존하지 않을 것
  • 심각한 bias / midday bias 악화가 없을 것
  • 4개 fold 중 다수에서 개선할 것
  • artifact / validator 생성 가능할 것

기존 0.4/0.6 비율이 더 이상 유리하지 않으면
그 사실을 그대로 보고한다.

■ 완료 조건

최종 결과를 아래 형식으로 정리한다.

REFERENCE_RESULT=
GROUP_DIRECT_ONLY_RESULT=
BLEND_04_06_RESULT=
OTHER_LIMITED_BLEND_RESULT=

BEST_GROUP_DIRECT_CANDIDATE=

DEV_IMPROVEMENT=
FOLD_IMPROVEMENT_COUNT=
BIAS_STATUS=
MIDDAY_BIAS_STATUS=
GROUP_ERROR_STATUS=

HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO

GROUP_DIRECT_CANDIDATE_READY=YES|NO

PM_1104_02_RESULT=PASS|HOLD

NEXT_ACTION=PM_1104_03

길문 Updated by 길래 문 14 days ago Actions #1

  • Status changed from New to Closed
  • % Done changed from 0 to 100

[#1456 최종 판정]

FS2+L1 LightGBM Reference 기준으로 Group-Direct 후보 재결합 검증을 시도했으나,
현재 PM integration worktree / Git / 기존 handoff에서
#1314 원본 코드, 고정 config, fold/cutoff, #990 mapping provenance,
DEV group prediction artifact 및 manifest를 확인하지 못했습니다.

기존 독립 모델을 임의 재구현하면 #1314와 동일 실험이라는 보장이 없어
추가 구현은 진행하지 않았습니다.

따라서 오늘 PM 제출 후보 선정에서는
Group-Direct 후보를 제외하고 다음 단계로 진행합니다.

다만 #1314 / #1451에서 원본 artifact가 확보될 경우,
본 일감의 Reference와 검증 기준을 그대로 참고하여
FS2+L1 기준 재결합을 별도로 수행할 수 있습니다.

PM_1104_02_RESULT=PASS_WITH_LIMITATION
GROUP_DIRECT_CANDIDATE_READY=NO
PM_BLOCKED=NO
TODAY_CANDIDATE_FLOW_CONTINUE=YES

REFERENCE_FORECAST=LightGBM_FS2_L1_AVG3
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO

NEXT_ACTION=PM_1104_03
REFERENCE_FOR_FOLLOWUP=#1314,#1451

Actions

Also available in: PDF Atom