Project

General

Profile

Feature #1474

Updated by 길래 문 13 days ago

[OIBC][PM 11/05-02] 최고 Group-Direct 후보 사전 제한 Bias / Group Residual 제한 Correction 후보 검증 

 ■ 목적 

 PM_1105_01에서 확인된 systematic bias가 존재하는 경우, residual / midday bias / group bias를 대상으로, 
 현재 최고 Group-Direct Blend에 
 사전 제한된 소수 사전에 제한한 소수의 correction만 적용하여 
 DEV / Group / Bias가 동시에 현재 최고 후보인 LGBM+Cat 50:50보다 실제로 개선되는지 확인한다. 검증한다. 

 이번 일감은 새로운 모델 개발이 아니라, 
 현재 최고 후보의 반복적인 bias를 최소한의 규칙으로 보정할 수 있는지 확인하는 단계다. 

 PM_1105_01에서 systematic bias가 확인되지 않았다면 
 본 일감은 SKIP_WITH_REASON으로 종료한다. 

 ■ 선행 기준 후보 

 BASELINE_CANDIDATE=LGBM+Cat 50:50 

 BASELINE_DEV_WMAE=0.233001 
 BASELINE_GROUP_ERROR=2259766 
 BASELINE_MIDDAY_BIAS=1.0568 

 VPP=#990 

 DEV_FOLDS= 
 JUL,OCT,JAN,FEB 

 ■ 입력 조건 

 PM_1105_01 결과에서 다음 값이 확정되어 있어야 한다. 

 SYSTEMATIC_BIAS_FOUND=YES 
 CORRECTION_WORTH_TESTING=YES 

 그 외에는: 그리고 최소 다음 target이 존재해야 한다. 

 PM_1105_02_RESULT=SKIP_WITH_REASON TARGET_PERIOD= 
 TARGET_GROUP= 
 TARGET_TIME_WINDOW= 
 BIAS_DIRECTION= 

 예: 

 TARGET_PERIOD=JAN,FEB 
 TARGET_GROUP=G1 
 TARGET_TIME_WINDOW=11~15 
 BIAS_DIRECTION=OVERPREDICTION 

 ■ 기준 후보 핵심 원칙 

 BASELINE= 이번 일감에서는 correction 후보를 최대 2~3개로 제한한다. 

 결과를 본 뒤 correction 강도를 반복적으로 조정하지 않는다. 

 사전에 correction rule을 고정하고, 
 0.4*FS2+L1 모든 DEV fold에 동일 규칙을 적용한다. 

 ■ 허용 Correction 유형 

 PM_1105_01에서 확인된 패턴에 따라 
 아래 중 필요한 최소 유형만 사용한다. 

 1. Time-window correction 

 예: 
 11~15시 prediction을 일정 비율 축소 

 2. Group-specific correction 

 예: 
 G1 또는 G2에만 동일한 correction 적용 

 3. Season + 0.6*Group-Direct time-window correction 

 VPP=#990 예: 
 JAN/FEB의 11~15시에만 correction 적용 

 단, 
 복잡한 site별 correction은 금지한다. 

 ■ Correction 후보 수 

 최대 2~3개만 허용. 3개: 

 예: CORRECTION_A= 
 CORRECTION_B= 
 CORRECTION_C= 

 A. 가능하면 2개만 사용한다. 

 예시: 

 A: 
 target group / window prediction × 0.99 

 B: 
 target time window에 작은 scaling 적용 window prediction × 0.98 

 B. C: 
 A보다 한 단계 강한 scaling 적용 필요한 경우만 × 0.97 

 C. 하지만 실제 계수는 
 필요한 경우에만 하나 PM_1105_01의 residual magnitude를 기준으로 사전에 고정한다. 

 결과를 보고 0.985, 0.992 등의 추가 탐색은 하지 않는다. 

 ■ 수행 내용 

 1. Baseline 재확인 

 LGBM+Cat 50:50 prediction을 그대로 baseline으로 사용한다. 

 새 training 금지. 

 2. Correction rule 사전 고정 

 실행 전에 전 반드시 고정: 기록: 

 CORRECTION_A_RULE= 
 CORRECTION_B_RULE= 
 CORRECTION_C_RULE= 

 결과를 보고 coefficient 추가 탐색 금지. TARGET_PERIOD= 
 TARGET_GROUP= 
 TARGET_TIME_WINDOW= 

 ■ 허용 유형 3. DEV 전체에 동일 적용 

 - G1/G2 group-specific correction JUL 
 - midday correction OCT 
 - JAN/FEB + midday correction JAN 
 - 단순 multiplicative scaling FEB 

 ■ 금지 유형 모든 fold에 동일 정책을 적용한다. 

 - site별 특정 fold만 별도 correction 
 - fold별 correction 
 - model별 별도 tuning 
 - leaderboard 기반 coefficient 선택 
 - 반복적인 grid search 금지. 

 ■ 비교 항목 4. 각 후보 성능 계산 

 각 후보: 후보별: 

 - Overall DEV wMAE 
 - JUL wMAE 
 - OCT wMAE 
 - JAN wMAE 
 - FEB wMAE 
 - Overall bias 
 - Midday bias 
 - G1 group error 
 - G2 group error 
 - Total group error 
 - Overall bias fold improvement count 

 5. 안전성 확인 

 각 후보에 대해: 

 - duplicate 
 - NaN 
 - Inf 
 - negative 
 - capacity exceed 여부 
 - key consistency 

 를 확인한다. 

 6. Correction 효과 분석 

 특히 다음을 구분한다. 

 - Midday bias bias는 개선됐지만 DEV가 악화되는가? 
 - Fold improvement count Group error는 개선됐지만 plant wMAE가 크게 악화되는가? 
 - QA 특정 fold만 좋아지는가? 
 - 전체적으로 안정적인가? 

 ■ KEEP 기준 

 Correction 후보를 다음 조건을 모두 또는 대부분 만족해야 한다. 단계로 넘기려면: 

 - Group error 개선 
 - 1. Overall DEV DEV가 baseline보다 개선 또는 사실상 동등 
 - 2. Group error가 개선 
 3. Midday bias bias가 개선 
 - 4. 최소 3/4 fold에서 group 기준 악화 없음 
 - 5. 특정 1개 fold에 개선이 과도하게 의존하지 않음 
 6. QA PASS 
 - rule 단순 / 7. rule이 단순하고 재현 가능 

 아래 경우 DROP: 

 - DEV 개선 없음 
 - group error 악화 
 - bias만 좋아지고 전체 성능 악화 
 - 특정 fold만 개선 
 - correction rule이 복잡함 
 - 작은 개선 대비 운영 복잡도 증가 

 ■ 중요 

 현재 최고 제출 score는 
 correction coefficient 선택에 사용하지 않는다. 

 Submission #3 / #4 결과를 보고 
 correction 방향이나 강도를 조정하지 않는다. 

 ■ 이번 일감에서 하지 않을 것 

 금지: 

 - 새로운 model training 
 - hyperparameter tuning 
 - blend weight 변경 
 - site별 correction 
 - fold별 correction 
 - HOLDOUT 확인 
 - leaderboard score 기반 coefficient 선택 
 - 반복적인 correction search 
 - Group-Direct 모델 추가 

 ■ Guardrail 

 HOLDOUT_USED_FOR_SELECTION=NO 
 LEADERBOARD_USED_FOR_SELECTION=NO 
 SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO 

 ■ 결과 비교 표 

 최소 다음 형식으로 정리한다. 

 | Candidate | Overall | JUL | OCT | JAN | FEB | Midday Bias | Group Error | Fold Status | 
 |---|---:|---:|---:|---:|---:|---:|---:|---| 
 | Baseline | | | | | | | | | 
 | Correction A | | | | | | | | | 
 | Correction B | | | | | | | | | 
 | Correction C | | | | | | | | | 

 ■ 완료 조건 

 PM_1105_02_RESULT=PASS|HOLD|SKIP_WITH_REASON 

 BASELINE_RESULT= 

 CORRECTION_A_RULE= 
 CORRECTION_A_RESULT= 

 CORRECTION_B_RULE= 
 CORRECTION_B_RESULT= 

 CORRECTION_C_RULE= 
 CORRECTION_C_RESULT= 

 BEST_CORRECTION= 

 BASELINE_DEV_WMAE= 
 BEST_DEV_WMAE= 
 DEV_DELTA= 

 BASELINE_GROUP_ERROR= 
 BEST_GROUP_ERROR= 
 GROUP_DELTA= 

 BASELINE_MIDDAY_BIAS= 
 BEST_MIDDAY_BIAS= 
 MIDDAY_BIAS_DELTA= 

 FOLD_IMPROVEMENT_COUNT= 

 QA_STATUS= 

 CORRECTION_KEEP=YES|NO 

 NEXT_ACTION=PM_1105_03 HOLDOUT_USED_FOR_SELECTION=NO 
 LEADERBOARD_USED_FOR_SELECTION=NO 
 SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO 

 NEXT_ACTION= 
 PM_1105_03 
 또는 
 DROP_CORRECTION_AND_KEEP_BASELINE

Back