Feature #1476
openFeature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료
Feature #1472: [OIBC][PM 11/05] 현재 최고 Group-Direct 후보 기반 제한 개선 및 차기 제출 여부 결정[문길래]
[OIBC][PM 11/05-04] 최종 개선 후보 비교 및 제출 Gate 판정
0%
Description
[OIBC][PM 11/05-04] 최종 개선 후보 비교 및 제출 Gate 판정
■ 목적
PM_1105_01~03 결과를 통합하여,
새 후보가 현재 최고 Group-Direct Blend를
실제로 교체하여 추가 제출할 만큼 충분히 좋은지 최종 판단한다.
새로운 실험은 이 단계에서 하지 않는다.
■ 현재 최고 기준
CURRENT_BEST_CANDIDATE=
0.4FS2+L1 + 0.6Group-Direct
CURRENT_BEST_SUBMISSION=#5
CURRENT_BEST_SCORE=6,436,427,653
Score는 Reference 식별용으로만 사용한다.
■ 입력 후보
A.
CURRENT_BASELINE
B.
BEST_CORRECTION
(KEEP된 경우만)
C.
BEST_LIMITED_BLEND
(현재 baseline과 다른 후보가 KEEP된 경우만)
새 후보 추가 금지.
■ 핵심 질문
"새 후보가 현재 최고 Submission #5 후보를
교체하여 추가 제출할 충분한 근거가 있는가?"
■ 비교 항목
- Overall DEV
- JUL/OCT/JAN/FEB
- Group total error
- G1/G2 error
- Overall bias
- Midday bias
- Fold consistency
- QA
- Artifact 재현 가능성
- 운영 복잡도
■ 제출 조건
SUBMIT=YES 권장:
- DEV 또는 Group error 명확한 개선
- 다른 핵심 지표 심각한 악화 없음
- 다수 fold에서 안정적
- QA PASS
- artifact 생성 가능
- validator 실행 가능
SUBMIT=NO 권장:
- 개선폭 noise 수준
- 특정 fold 의존
- bias 악화
- group error 악화
- correction rule 복잡
- 현재 최고를 교체할 이유 부족
■ Near-tie
DEV 차이 <=0.0005이면
DEV만으로 교체하지 않는다.
Group / Bias / 안정성에서 명확한 우위가 있어야 한다.
■ 완료 조건
PM_1105_04_RESULT=PASS|HOLD
BASELINE_CANDIDATE=
BASELINE_DEV=
BASELINE_GROUP=
BASELINE_BIAS=
CORRECTION_CANDIDATE=
CORRECTION_STATUS=
BLEND_CANDIDATE=
BLEND_STATUS=
BEST_NEW_CANDIDATE=
FINAL_CANDIDATE=
DEV_DELTA=
GROUP_DELTA=
MIDDAY_BIAS_DELTA=
FOLD_IMPROVEMENT_COUNT=
QA_STATUS=
OPERATIONAL_COMPLEXITY_STATUS=
SUBMIT=YES|NO
SUBMIT_REASON=
NEXT_ACTION=
PM_1105_05
또는
NO_SUBMISSION_KEEP_CURRENT_BEST