Feature #1475
openFeature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료
Feature #1472: [OIBC][PM 11/05] 현재 최고 Group-Direct 후보 기반 제한 개선 및 차기 제출 여부 결정[문길래]
[OIBC][PM 11/05-03] FS2+L1 / Group-Direct 제한 Blend Sensitivity 검증
0%
Description
[OIBC][PM 11/05-03] FS2+L1 / Group-Direct 제한 Blend Sensitivity 검증
■ 목적
현재 최고 후보의 핵심 구조인
FS2+L1
+
Group-Direct
비율을 제한된 소수 후보에서만 비교하여,
현재 0.4/0.6 비율이 안정적인지 확인한다.
이번 일감은 weight optimization이 아니다.
사전에 정의한 3개 비율만 비교한다.
■ 기준 후보
CURRENT_BASELINE=
0.4FS2+L1 + 0.6Group-Direct
■ 사전 고정 후보
A.
0.5 × FS2+L1
+
0.5 × Group-Direct
B.
0.4 × FS2+L1
+
0.6 × Group-Direct
C.
0.3 × FS2+L1
+
0.7 × Group-Direct
정확히 이 3개만 비교한다.
추가 비율 탐색 금지.
■ 중요
5차 제출 점수가 가장 높았다는 사실은
현재 baseline 식별에만 사용한다.
0.4/0.6이 leaderboard에서 좋았다는 이유로
DEV 선택을 유도하지 않는다.
비율 비교는 DEV Evidence만 사용한다.
■ 수행 내용
각 후보별:
- Overall DEV
- JUL
- OCT
- JAN
- FEB
- Group total error
- G1 error
- G2 error
- Overall bias
- Midday bias
- Fold improvement count
- QA
■ Near-tie 기준
DEV absolute delta <= 0.0005이면
near-tie로 분류.
Near-tie이면:
- Group error
- Bias
- Fold consistency
- Operational simplicity
를 함께 판단한다.
■ 비율 변경 기준
0.4/0.6에서 변경하려면:
- Overall DEV 개선
- Group error 개선 또는 최소 동등
- Bias 악화 없음
- 특정 한 fold에 의존하지 않음
이 모두 충분해야 한다.
그렇지 않으면:
KEEP_04_06=YES
■ 금지
- 0.45/0.55
- 0.35/0.65
- 0.25/0.75
- fold별 weight
- season별 weight
- site별 weight
- leaderboard 기반 weight 선택
■ 완료 조건
PM_1105_03_RESULT=PASS|HOLD
BLEND_05_05_DEV=
BLEND_05_05_GROUP=
BLEND_05_05_BIAS=
BLEND_04_06_DEV=
BLEND_04_06_GROUP=
BLEND_04_06_BIAS=
BLEND_03_07_DEV=
BLEND_03_07_GROUP=
BLEND_03_07_BIAS=
BEST_DEV_BLEND=
BEST_GROUP_BLEND=
BEST_BIAS_BLEND=
BEST_LIMITED_BLEND=
KEEP_04_06=YES|NO
BLEND_CHANGE_JUSTIFIED=YES|NO
NEXT_ACTION=PM_1105_04