Feature #1474
openFeature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료
Feature #1472: [OIBC][PM 11/05] 현재 최고 Group-Direct 후보 기반 제한 개선 및 차기 제출 여부 결정[문길래]
[OIBC][PM 11/05-02] 최고 Group-Direct 후보 Bias / Group Residual 제한 Correction 검증
0%
Description
[OIBC][PM 11/05-02] 최고 Group-Direct 후보 Bias / Group Residual 제한 Correction 검증
■ 목적
PM_1105_01에서 확인된 systematic bias가 존재하는 경우,
현재 최고 Group-Direct Blend에
사전 제한된 소수 correction만 적용하여
DEV / Group / Bias가 동시에 개선되는지 확인한다.
■ 선행 조건
SYSTEMATIC_BIAS_FOUND=YES
CORRECTION_WORTH_TESTING=YES
그 외에는:
PM_1105_02_RESULT=SKIP_WITH_REASON
■ 기준 후보
BASELINE=
0.4FS2+L1 + 0.6Group-Direct
VPP=#990
■ Correction 후보
최대 2~3개만 허용.
예:
A.
target group / target time window에 작은 scaling 적용
B.
A보다 한 단계 강한 scaling 적용
C.
필요한 경우에만 하나 추가
실행 전에 반드시 고정:
CORRECTION_A_RULE=
CORRECTION_B_RULE=
CORRECTION_C_RULE=
결과를 보고 coefficient 추가 탐색 금지.
■ 허용 유형
- G1/G2 group-specific correction
- midday correction
- JAN/FEB + midday correction
- 단순 multiplicative scaling
■ 금지 유형
- site별 correction
- fold별 correction
- model별 별도 tuning
- leaderboard 기반 coefficient 선택
- 반복적인 grid search
■ 비교 항목
각 후보:
- Overall DEV
- JUL
- OCT
- JAN
- FEB
- G1 error
- G2 error
- Total group error
- Overall bias
- Midday bias
- Fold improvement count
- QA
■ KEEP 기준
다음 조건을 모두 또는 대부분 만족해야 한다.
- Group error 개선
- Overall DEV 개선 또는 동등
- Midday bias 개선
- 최소 3/4 fold에서 악화 없음
- QA PASS
- rule 단순 / 재현 가능
■ 완료 조건
PM_1105_02_RESULT=PASS|HOLD|SKIP_WITH_REASON
BASELINE_RESULT=
CORRECTION_A_RULE=
CORRECTION_A_RESULT=
CORRECTION_B_RULE=
CORRECTION_B_RESULT=
CORRECTION_C_RULE=
CORRECTION_C_RESULT=
BEST_CORRECTION=
DEV_DELTA=
GROUP_DELTA=
MIDDAY_BIAS_DELTA=
FOLD_IMPROVEMENT_COUNT=
CORRECTION_KEEP=YES|NO
NEXT_ACTION=PM_1105_03