Feature #1456
closedFeature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료
Feature #1454: [OIBC][PM 11/04] 오늘 개인(문길래) 결과 도출 및 제출 여부 결정
[OIBC][PM 11/04-02] Group-Direct 후보 FS2+L1 기준 재결합 및 재검증
100%
Description
[OIBC][PM 11/04-02] Group-Direct 후보 FS2+L1 기준 재결합 및 재검증
■ 목적
#1314 / #1451에서 개발 중인 조영우 독립 Group-Direct Forecast 후보를
오늘 확정한 팀 공통 Reference인
LightGBM + FS2 + L1 + 3-seed average
기준으로 다시 결합하고,
기존 FS2 기준에서 확인된 개선 효과가 그대로 유지되는지 검증한다.
기존 Group-Direct 결과를 그대로 채택하지 않고,
새 Reference 대비 동일 조건에서 다시 비교하는 것이 목적이다.
■ 기준 Reference
REFERENCE_FORECAST=LightGBM_FS2_L1_AVG3
REFERENCE_DEV_WMAE=0.234347719
REFERENCE_SEEDS=11,22,33
REFERENCE_FOLDS=JUL,OCT,JAN,FEB
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO
■ 기존 Group-Direct 후보
기존 #1314 결과:
- Group-Direct 모델:
HistGradientBoosting
loss=absolute_error - Group aggregate feature 기반
- 기존 FS2 forecast와 Group-Direct forecast 결합
- 기존 후보 blend:
0.4 × FS2- 0.6 × Group-Direct
기존 잠정 DEV 그룹 벌점:
FS2:
- JUL 21.142
- OCT 20.559
- JAN 12.193
- FEB 15.393
- Total 69.288
기존 Blend:
- JUL 19.195
- OCT 19.192
- JAN 12.053
- FEB 14.470
- Total 64.909
기존 기준 대비 약 -6.3%, 4/4 fold 개선.
단, 위 결과는 기존 FS2 기준이므로
이번 일감에서는 FS2+L1 Reference 기준으로 반드시 다시 계산한다.
■ 수행 내용
-
최신 main 기준으로 작업 상태 확인
-
Group-Direct 모델 자체는 기존 구현을 최대한 재사용
-
기존 FS2 forecast 대신
LightGBM FS2+L1 3-seed average forecast를 baseline으로 사용 -
최소 다음 후보 비교
A.
FS2+L1 단일 Reference
B.
기존 비율 재사용:
0.4 × FS2+L1
- 0.6 × Group-Direct
C.
필요한 경우 사전 제한된 소수 blend만 추가 확인
예:
0.5 / 0.5
0.6 / 0.4
대규모 weight search는 금지한다.
- 각 후보별 DEV 4-fold 비교
- JUL
- OCT
- JAN
- FEB
- 전체
- 다음 항목 비교
- DEV forecast metric
- 그룹 aggregate error / penalty diagnostic
- fold별 개선/악화
- overall bias
- midday bias
- NaN / Inf / negative
- row/key consistency
- 최신 D05 구현 기준으로 가능한 diagnostic은 다시 계산
주의:
official scorer parity는 UNVERIFIED이므로
DEV 내부 결과를 공식 점수 상승으로 표현하지 않는다.
■ 판단 기준
Group-Direct Blend를 오늘 제출 후보로 유지하려면:
- FS2+L1 Reference 대비 전체적으로 개선
- 개선이 특정 1개 fold에만 의존하지 않을 것
- 심각한 bias / midday bias 악화가 없을 것
- 4개 fold 중 다수에서 개선할 것
- artifact / validator 생성 가능할 것
기존 0.4/0.6 비율이 더 이상 유리하지 않으면
그 사실을 그대로 보고한다.
■ 완료 조건
최종 결과를 아래 형식으로 정리한다.
REFERENCE_RESULT=
GROUP_DIRECT_ONLY_RESULT=
BLEND_04_06_RESULT=
OTHER_LIMITED_BLEND_RESULT=
BEST_GROUP_DIRECT_CANDIDATE=
DEV_IMPROVEMENT=
FOLD_IMPROVEMENT_COUNT=
BIAS_STATUS=
MIDDAY_BIAS_STATUS=
GROUP_ERROR_STATUS=
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
GROUP_DIRECT_CANDIDATE_READY=YES|NO
PM_1104_02_RESULT=PASS|HOLD
NEXT_ACTION=PM_1104_03
길문 Updated by 길래 문 14 days ago
- Status changed from New to Closed
- % Done changed from 0 to 100
[#1456 최종 판정]
FS2+L1 LightGBM Reference 기준으로 Group-Direct 후보 재결합 검증을 시도했으나,
현재 PM integration worktree / Git / 기존 handoff에서
#1314 원본 코드, 고정 config, fold/cutoff, #990 mapping provenance,
DEV group prediction artifact 및 manifest를 확인하지 못했습니다.
기존 독립 모델을 임의 재구현하면 #1314와 동일 실험이라는 보장이 없어
추가 구현은 진행하지 않았습니다.
따라서 오늘 PM 제출 후보 선정에서는
Group-Direct 후보를 제외하고 다음 단계로 진행합니다.
다만 #1314 / #1451에서 원본 artifact가 확보될 경우,
본 일감의 Reference와 검증 기준을 그대로 참고하여
FS2+L1 기준 재결합을 별도로 수행할 수 있습니다.
PM_1104_02_RESULT=PASS_WITH_LIMITATION
GROUP_DIRECT_CANDIDATE_READY=NO
PM_BLOCKED=NO
TODAY_CANDIDATE_FLOW_CONTINUE=YES
REFERENCE_FORECAST=LightGBM_FS2_L1_AVG3
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
NEXT_ACTION=PM_1104_03
REFERENCE_FOR_FOLLOWUP=#1314,#1451