Project

General

Profile

Feature #1476

Updated by 길래 문 13 days ago

[OIBC][PM 11/05-04] 최종 개선 후보 비교 및 제출 Gate 판정 

 ■ 목적 

 PM_1105_01~03 PM_1105_01~03에서 확인한 결과를 통합하여, 
 새 후보가 현재 최고 Group-Direct Blend를 
 후보인 LGBM+Cat 50:50을 실제로 교체하여 추가 제출할 교체할 만큼 충분히 좋은지 
 충분한 개선 근거가 있는지 최종 판단한다. 

 이번 일감에서는 새로운 실험은 이 단계에서 하지 실험을 추가하지 않는다. 

 이미 검증된 후보만 동일 기준으로 비교하고, 
 11/05 추가 제출 여부를 PM 관점에서 확정한다. 

 ■ 현재 최고 기준 

 CURRENT_BEST_CANDIDATE= 
 0.4*FS2+L1 + 0.6*Group-Direct LGBM+Cat 50:50 

 CURRENT_BEST_SUBMISSION=#5 CURRENT_BEST_SUBMISSION= 
 CURRENT_BEST_SCORE=6,436,427,653 Submission #3 

 Score는 Reference 식별용으로만 사용한다. CURRENT_BEST_SCORE= 
 6,434,253,664 

 단, 
 공식 Submission score는 
 후보 선택이나 tuning 기준으로 사용하지 않는다. 

 현재 DEV 기준: 

 BASELINE_DEV_WMAE=0.233001 
 BASELINE_GROUP_ERROR=2259766 
 BASELINE_MIDDAY_BIAS=1.0568 

 VPP=#990 

 DEV_FOLDS= 
 JUL,OCT,JAN,FEB 

 ■ 입력 후보 

 PM_1105_01~03에서 KEEP된 후보만 사용한다. 

 예: 

 A. 
 CURRENT_BASELINE CURRENT_BASELINE= 
 LGBM+Cat 50:50 

 B. 
 BEST_CORRECTION BEST_CORRECTION_CANDIDATE= 
 (KEEP된 경우만) PM_1105_02 결과 

 C. 
 BEST_LIMITED_BLEND BEST_LIMITED_BLEND= 
 (현재 baseline과 다른 PM_1105_03 결과 

 후보가 KEEP된 경우만) KEEP되지 않았다면 
 해당 후보는 비교 대상에서 제외한다. 

 새 후보 추가 금지. 후보를 이 단계에서 추가하지 않는다. 

 ■ 핵심 질문 

 최종 판단 질문은 하나다. 

 "새 후보가 현재 최고 Submission #5 후보를 후보 LGBM+Cat 50:50을 
 교체하여 추가 실제 제출할 충분한 근거가 만큼 충분히 낫다고 볼 수 있는가?" 

 단순히 숫자 하나가 조금 낮다는 이유만으로 
 새 후보를 채택하지 않는다. 

 ■ 비교 항목 

 각 후보에 대해 동일하게 다음을 비교한다. 

 1. Forecast 성능 

 - Overall DEV wMAE 
 - JUL/OCT/JAN/FEB JUL 
 - OCT 
 - JAN 
 - FEB 

 2. Group total Diagnostic 

 - G1 error 
 - G1/G2 G2 error 
 - Total group error 
 - Fold별 group error 

 3. Bias 

 - Overall bias 
 - Midday bias 
 - Fold consistency JAN midday bias 
 - FEB midday bias 

 4. 안정성 

 - 개선 fold 수 
 - 악화 fold 수 
 - 최대 fold 악화폭 
 - 특정 fold 의존 여부 

 5. QA 

 - duplicate 
 - Artifact 재현 가능성 NaN 
 - Inf 
 - negative 
 - key consistency 

 6. 운영 복잡도 

 ■ - 추가 rule 필요 여부 
 - 새로운 model 필요 여부 
 - 제출 조건 artifact 재현 난이도 
 - submission pipeline 적용 가능 여부 

 SUBMIT=YES 권장: ■ 후보 비교 원칙 

 현재 baseline을 교체하려면 
 최소 다음 조건을 만족해야 한다. 

 1. Overall DEV가 baseline보다 개선 

 또는 

 Overall DEV가 near-tie 수준이더라도 
 Group error / Midday bias / fold 안정성이 명확하게 개선 

 2. Group error가 개선 또는 최소 동등 

 3. Midday bias가 개선 또는 최소 심각하게 악화하지 않음 

 4. 개선이 특정 1개 fold에만 의존하지 않음 

 5. QA PASS 

 6. artifact 생성 및 validator 검증 가능 

 7. 추가 복잡도 대비 개선 효과가 충분 

 ■ Near-tie 처리 

 DEV absolute delta가 0.0005 이하이면 
 단독 DEV 차이만으로 후보를 교체하지 않는다. 

 Near-tie에서는 다음을 함께 본다. 

 - Group error 
 - Midday bias 
 - Fold consistency 
 - Operational simplicity 

 새 후보가 명확한 부가 이점이 없다면 
 기존 50:50을 유지한다. 

 ■ Correction 후보 판단 

 PM_1105_02의 correction 후보가 KEEP된 경우: 

 다음을 반드시 확인한다. 

 - DEV 개선 
 - Group error 개선 
 - Midday bias 개선 
 - 모든 fold에 동일 rule 적용 
 - correction rule이 단순하고 재현 가능 

 Bias만 개선되고 DEV 또는 Group이 악화되면 
 최종 후보로 채택하지 않는다. 

 ■ Blend 후보 판단 

 PM_1105_03의 제한 blend 후보가 KEEP된 경우: 

 60:40 / 50:50 / 40:60 중 
 사전에 정의된 후보만 비교한다. 

 차이가 near-tie이고 
 Group error / Bias advantage가 명확하지 않으면 
 50:50을 유지한다. 

 ■ 제출 판단 기준 

 SUBMIT=YES 권장 조건: 

 - 현재 최고 baseline보다 명확한 개선 
 - DEV와 Group 중 최소 하나는 분명한 개선 
 - 다른 핵심 지표 심각한 악화 없음 지표가 심각하게 악화되지 않음 
 - 다수 fold에서 안정적 방향이 일관 
 - QA PASS 
 - artifact 생성 재현 가능 
 - validator 실행 가능 

 SUBMIT=NO 권장: 권장 조건: 

 - 개선폭 개선폭이 사실상 noise 수준 
 - 특정 fold 의존 fold만 개선 
 - bias 악화 
 - 또는 group error 악화 
 - correction rule rule이 복잡 
 - operational risk 증가 
 - 현재 최고를 최고 후보를 교체할 이유 근거 부족 

 SUBMIT=NO도 정상적인 성공 결과로 인정한다. 

 ■ Near-tie 현재 최고 Submission과의 관계 

 DEV 차이 <=0.0005이면 Submission #3 score는 
 DEV만으로 교체하지 현재 최고 기록 식별용으로만 사용한다. 

 공식 score를 보고: 

 - 후보 선택 
 - correction 강도 변경 
 - blend weight 변경 
 - 재튜닝 

 하지 않는다. 

 ■ 이번 일감에서 하지 않을 것 

 금지: 

 - 새로운 training 
 - 새로운 feature 
 - 새로운 model 
 - 추가 correction 탐색 
 - 추가 blend search 
 - HOLDOUT 확인 
 - leaderboard 기반 후보 변경 
 - submission feedback tuning 

 ■ 최종 후보 확정 

 반드시 아래 중 하나를 확정한다. 

 CASE A — 개선 후보 채택 

 FINAL_CANDIDATE= 
 BEST_NEW_CANDIDATE 

 SUBMIT=YES 

 → PM_1105_05 진행 

 CASE B — 기존 후보 유지 

 FINAL_CANDIDATE= 
 LGBM+Cat 50:50 

 SUBMIT=NO 

 → 오늘 추가 제출하지 않음 

 ■ 결과 표 

 최소 다음 형식으로 정리한다. 

 | Candidate | DEV | Group / Error | Midday Bias / 안정성에서 명확한 우위가 있어야 한다. | Fold Improvement | Complexity | Decision | 
 |---|---:|---:|---:|---:|---|---| 
 | Baseline 50:50 | | | | | LOW | | 
 | Correction | | | | | | | 
 | Limited Blend | | | | | LOW | | 

 ■ 완료 조건 

 PM_1105_04_RESULT=PASS|HOLD 

 BASELINE_CANDIDATE= 
 BASELINE_DEV= BASELINE_DEV_WMAE= 
 BASELINE_GROUP= BASELINE_GROUP_ERROR= 
 BASELINE_BIAS= BASELINE_MIDDAY_BIAS= 

 CORRECTION_CANDIDATE= 
 CORRECTION_DEV_WMAE= 
 CORRECTION_GROUP_ERROR= 
 CORRECTION_MIDDAY_BIAS= 
 CORRECTION_STATUS= 

 BLEND_CANDIDATE= 
 BLEND_DEV_WMAE= 
 BLEND_GROUP_ERROR= 
 BLEND_MIDDAY_BIAS= 
 BLEND_STATUS= 

 BEST_NEW_CANDIDATE= 

 FINAL_CANDIDATE= 

 DEV_DELTA= 
 GROUP_DELTA= 
 MIDDAY_BIAS_DELTA= 

 FOLD_IMPROVEMENT_COUNT= 

 QA_STATUS= 
 OPERATIONAL_COMPLEXITY_STATUS= 

 SUBMIT=YES|NO 
 SUBMIT_REASON= 

 HOLDOUT_USED_FOR_SELECTION=NO 
 LEADERBOARD_USED_FOR_SELECTION=NO 
 SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO 

 NEXT_ACTION= 
 PM_1105_05 
 또는 
 NO_SUBMISSION_KEEP_CURRENT_BEST

Back