Project

General

Profile

Feature #1475

Updated by 길래 문 13 days ago

[OIBC][PM 11/05-03] FS2+L1 LGBM / Group-Direct CatBoost 제한 Blend Sensitivity 검증 

 ■ 목적 

 현재 최고 후보의 핵심 구조인 후보인 

 FS2+L1 
 LGBM + 
 Group-Direct CatBoost 50:50 

 비율을 주변의 제한된 소수 후보에서만 비교하여, blend 비율만 사전에 고정하여 비교하고, 
 현재 0.4/0.6 비율이 안정적인지 50:50이 안정적인 선택인지 또는 
 60:40 / 40:60 중 하나가 DEV / Group / Bias 측면에서 더 균형적인지 확인한다. 

 이번 일감은 새로운 weight optimization이 아니다. 

 사전에 정의한 3개 비율만 비교한다. 비교하고, 
 결과를 본 뒤 추가 비율을 탐색하지 않는다. 

 ■ 기준 후보 

 CURRENT_BASELINE= BASELINE_CANDIDATE=LGBM+Cat 50:50 

 BASELINE_DEV_WMAE=0.233001 
 0.4*FS2+L1 + 0.6*Group-Direct BASELINE_GROUP_ERROR=2259766 
 BASELINE_MIDDAY_BIAS=1.0568 

 VPP=#990 

 DEV_FOLDS= 
 JUL,OCT,JAN,FEB 

 ■ 비교 후보 

 사전 고정 후보 후보: 

 A. 
 0.5 × FS2+L1 LGBM 60% 
 + 
 0.5 × Group-Direct CatBoost 40% 

 B. 
 0.4 × FS2+L1 LGBM 50% 
 + 
 0.6 × Group-Direct CatBoost 50% 

 C. 
 0.3 × FS2+L1 LGBM 40% 
 + 
 0.7 × Group-Direct CatBoost 60% 

 정확히 이 3개만 아래 세 개만 비교한다. 

 BLEND_60_40 
 BLEND_50_50 
 BLEND_40_60 

 추가 비율 탐색 금지. 

 예: 

 55:45 
 45:55 
 70:30 
 30:70 

 등은 결과를 본 뒤 추가하지 않는다. 

 ■ 중요 원칙 

 5차 제출 점수가 가장 높았다는 사실은 11/04 Submission #3 / #4의 실제 점수는 
 현재 baseline 식별에만 사용한다. 

 0.4/0.6이 leaderboard에서 좋았다는 이유로 
 DEV 선택을 유도하지 blend weight 선택에 사용하지 않는다. 

 비율 Weight 비교는 동일 DEV Evidence만 사용한다. 

 HOLDOUT 사용 금지. 

 ■ 입력 Artifact 

 #1443에서 검증된 동일 DEV grid의: 

 - LightGBM FS2+L1 avg3 OOF 
 - CatBoost FS2+L1 avg3 OOF 

 를 재사용한다. 

 새 training 금지. 

 두 prediction은 반드시: 

 - 동일 fold 
 - 동일 site 
 - 동일 timestamp 
 - 동일 actual 
 - 동일 feature contract 
 - 동일 cutoff 

 인지 재확인한다. 

 ■ 수행 내용 

 1. Key / Grid Alignment 확인 

 LightGBM / CatBoost prediction의: 

 - fold 
 - site 
 - timestamp 
 - actual 

 이 exact match인지 확인한다. 

 Mismatch가 있으면 HOLD 처리한다. 

 2. 사전 정의 Blend 생성 

 다음 세 prediction을 생성한다. 

 BLEND_60_40 = 
 0.6 * LightGBM 
 + 
 0.4 * CatBoost 

 BLEND_50_50 = 
 0.5 * LightGBM 
 + 
 0.5 * CatBoost 

 BLEND_40_60 = 
 0.4 * LightGBM 
 + 
 0.6 * CatBoost 

 추가 post-processing 금지. 

 3. Plant-level DEV 계산 

 각 후보별: 

 - Overall DEV wMAE 
 - JUL 
 - OCT 
 - JAN 
 - FEB 

 를 계산한다. 

 4. Bias 계산 

 각 후보별: 

 - Overall bias 
 - Group total error Midday bias 
 - JUL midday bias 
 - OCT midday bias 
 - JAN midday bias 
 - FEB midday bias 

 를 비교한다. 

 5. VPP Group Diagnostic 

 #990 composition 기준으로 각 후보를 aggregate하여: 

 - G1 error 
 - G2 error 
 - Overall bias Total group error 
 - Midday bias JUL group error 
 - Fold improvement count OCT group error 
 - QA JAN group error 
 - FEB group error 

 ■ Near-tie 기준 를 계산한다. 

 공식 점수로 표현하지 않는다. 

 이는 DEV absolute delta <= 0.0005이면 
 near-tie로 분류. internal diagnostic이다. 

 Near-tie이면: 6. Fold 안정성 비교 

 각 후보가 50:50 대비: 

 - Group error 개선 fold 수 
 - Bias 악화 fold 수 
 - Fold consistency 가장 큰 악화 fold 
 - Operational simplicity 가장 큰 개선 fold 

 를 함께 판단한다. 정리한다. 

 7. QA 

 각 후보: 

 - row count 
 - duplicates 
 - NaN 
 - Inf 
 - negative 
 - key consistency 

 확인. 

 ■ 비율 변경 판단 기준 

 0.4/0.6에서 변경하려면: 50:50을 변경하려면 
 단순히 Overall DEV가 아주 조금 낮다는 것만으로는 부족하다. 

 - 새 비율을 채택하려면: 

 1. Overall DEV 개선 
 - 2. Group error 개선 또는 최소 동등 
 - Bias 3. Midday bias 개선 또는 최소 악화 없음 
 - 4. 특정 한 fold에 1개 fold에만 의존하지 않음 않을 것 
 5. 최소 3/4 fold에서 심각한 악화 없음 
 6. 개선폭이 수치 noise 수준이 아닐 것 
 7. 추가 운영 복잡도 없음 

 이 모두 충분해야 한다. 

 그렇지 조건을 만족하지 않으면: 

 KEEP_04_06=YES KEEP_50_50=YES 

 로 종료한다. 

 ■ 금지 Near-tie 기준 

 #1443에서 사용한 기준을 참고하여 
 DEV absolute difference가 0.0005 이하이면 
 near-tie로 분류한다. 

 Near-tie이면 
 작은 차이만으로 weight 변경을 주장하지 않는다. 

 Bias / Group / fold 안정성을 함께 본다. 

 ■ Correction과의 관계 

 PM_1105_02에서 correction 후보가 KEEP된 경우에도 
 이번 Blend 비교는 correction을 섞지 않고 
 원본 LGBM / CatBoost OOF만 사용한다. 

 즉: 

 03 = weight sensitivity 자체 검증 

 으로 유지한다. 

 Correction + blend 결합은 
 이번 일감에서 새로 만들지 않는다. 

 필요하면 04 최종 Gate에서 
 이미 검증된 후보끼리만 비교한다. 

 ■ 이번 일감에서 하지 않을 것 

 금지: 

 - 0.45/0.55 새로운 training 
 - 0.35/0.65 새로운 model 
 - 0.25/0.75 hyperparameter 변경 
 - 추가 weight search 
 - fold별 weight 
 - season별 weight 
 - site별 weight 
 - HOLDOUT 사용 
 - leaderboard 기반 weight 선택 
 - submission score 기반 weight 선택 
 - bias correction 추가 

 ■ 결과 표 

 최소 다음 형식으로 정리한다. 

 | Candidate | Overall | JUL | OCT | JAN | FEB | Overall Bias | Midday Bias | Group Error | 
 |---|---:|---:|---:|---:|---:|---:|---:|---:| 
 | 60:40 | | | | | | | | | 
 | 50:50 | | | | | | | | | 
 | 40:60 | | | | | | | | | 

 ■ 완료 조건 

 PM_1105_03_RESULT=PASS|HOLD 

 BLEND_05_05_DEV= BLEND_60_40_DEV= 
 BLEND_05_05_GROUP= BLEND_60_40_GROUP= 
 BLEND_05_05_BIAS= BLEND_60_40_MIDDAY_BIAS= 

 BLEND_04_06_DEV= BLEND_50_50_DEV= 
 BLEND_04_06_GROUP= BLEND_50_50_GROUP= 
 BLEND_04_06_BIAS= BLEND_50_50_MIDDAY_BIAS= 

 BLEND_03_07_DEV= BLEND_40_60_DEV= 
 BLEND_03_07_GROUP= BLEND_40_60_GROUP= 
 BLEND_03_07_BIAS= BLEND_40_60_MIDDAY_BIAS= 

 BEST_DEV_BLEND= 
 BEST_GROUP_BLEND= 
 BEST_BIAS_BLEND= 

 NEAR_TIE_STATUS= 

 BEST_LIMITED_BLEND= 

 KEEP_04_06=YES|NO KEEP_50_50=YES|NO 
 BLEND_CHANGE_JUSTIFIED=YES|NO 

 HOLDOUT_USED_FOR_SELECTION=NO 
 LEADERBOARD_USED_FOR_SELECTION=NO 
 SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO 

 NEXT_ACTION=PM_1105_04

Back