Project

General

Profile

Feature #1473

Updated by 길래 문 13 days ago

[OIBC][PM 11/05-01] 현재 최고 Group-Direct Blend 후보 Residual / Midday Bias 구조 진단 

 ■ 목적 

 11/04 현재 최고 제출 후보인 

 0.4 × FS2+L1 
 LGBM + 
 0.6 × Group-Direct CatBoost 50:50 

 의 DEV residual 구조를 분석하여, 

 - 
 반복적으로 나타나는 시간대 
 - / 계절 
 - G1 / G2 
 - plant / group aggregate 

 단위로 반복되는 systematic VPP 그룹 단위 bias가 있는지 확인한다. 

 이번 일감은 correction을 적용하는 단계가 아니라 일감의 목적은 새로운 모델을 만드는 것이 아니라, 
 다음 단계에서 correction을 시도할 현재 최고 후보의 가장 명확한 약점을 진단하고 
 11/05 제한 개선 실험을 진행할 가치가 있는지 진단하는 단계이다. 있는 구간을 찾는 것이다. 

 분석 결과 반복적인 패턴이 확인되지 않으면 
 추가 correction 실험을 진행하지 않고 종료한다. 

 ■ 기준 후보 

 BASELINE_CANDIDATE= BASELINE_CANDIDATE=LGBM+Cat 50:50 

 FINAL_FORECAST= 
 0.4*FS2+L1 0.5 * LightGBM_FS2_L1_AVG3 
 + 0.6*Group-Direct 
 0.5 * CatBoost_FS2_L1_AVG3 

 VPP=#990 

 DEV_FOLDS= 
 JUL,OCT,JAN,FEB 

 기존 Group diagnostic: 현재 기준 성능: 

 FS2+L1= Overall DEV wMAE=0.233001 

 JUL=0.297436 
 68.308M OCT=0.271861 
 JAN=0.189016 
 FEB=0.177644 

 Group-Direct Blend= Overall bias=+0.0667 
 64.754M Midday bias=+1.0568 

 DEV 기준 4/4 fold 개선. Group aggregate error=2,259,766 

 ■ 핵심 분석 질문 

 1. Midday 11~15시에 반복적인 과대/과소예측이 있는가? 
 2. JAN / FEB에서 다른 계절과 다른 residual 패턴이 있는가? 
 3. G1 / G2 중 특정 그룹에서 반복 systematic bias가 있는가? 반복되는가? 
 2. 11~15시 midday 구간에 systematic over/under prediction이 있는가? 
 3. JAN / FEB에서 반복적인 계절 패턴이 존재하는가? 
 4. plant prediction 분배 과정에서 특정 site가 error를 site 일부가 전체 bias를 과도하게 주도하는가? 
 5. group-direct 예측과 plant aggregate 사이에 일관된 fold별 residual 구조가 있는가? 방향이 일관되는가? 
 6. 동일 방향 bias가 최소 3/4 fold에서 반복되는가? 제한적 correction을 적용할 만큼 안정적인 패턴인가? 

 ■ 수행 내용 

 1. DEV OOF / prediction grid 정렬 확인 

 - JUL 
 - OCT 
 - JAN 
 - FEB 
 

 각 fold에 대해: 

 - timestamp 
 - site 
 - group actual 
 - actual prediction 
 - prediction residual 

 KEY_ALIGNMENT=PASS가 선행 조건. 정렬 및 key consistency를 확인한다. 

 2. Residual 정의 정의: 

 RESIDUAL= RESIDUAL = 
 prediction - actual 

 양수: 
 overprediction 과대예측 

 음수: 
 underprediction 과소예측 

 3. 시간대 2. 시간대별 residual 분석 

 KST 기준: hour 기준으로: 

 - 06~10 
 - 11~15 
 - 16~19 

 구간을 최소 비교한다. 

 특히 11~15시를 핵심 분석 대상으로 한다. 

 각 구간별: 

 - mean bias 
 - absolute error 
 - weighted error 
 - sample count 

 를 정리한다. 

 3. Fold별 Midday Bias 분석 

 JUL 
 OCT 
 JAN 
 FEB 

 각 fold에서 11~15시 bias를 계산한다. 

 다음 여부를 확인한다. 

 - 4개 fold 중 같은 방향의 bias가 몇 개 존재하는가 
 - 특정 fold만 과도하게 영향을 주는가 
 - JAN / FEB에서 반복적인 과대예측이 있는가 

 4. G1 / G2 그룹별 분석 

 #990 기준: composition 기준으로: 

 G1 
 G2 

 각 그룹별: 

 - overall bias residual 
 - midday bias residual 
 - fold별 bias JUL/OCT/JAN/FEB residual 
 - group aggregate error 

 를 비교한다. 

 특정 그룹에서만 반복적인 bias가 있는지 확인한다. 

 5. 계절 Site contribution 분석 

 특히 JAN 전체 error / FEB: bias에 영향을 많이 주는 site를 확인한다. 

 - midday overprediction 여부 단, 
 개별 site에 대한 새로운 model selection이나 site별 tuning은 하지 않는다. 

 목적은: 

 - group 차이 일부 site가 전체 bias를 주도하는지 
 - plant 분포 전체적으로 넓게 퍼진 문제인지 

 를 구분하는 것이다. 

 가능하면: 

 TOP_ERROR_SITES= 
 - fold 반복성 TOP_BIAS_SITES= 

 정도로 요약한다. 

 6. Site contribution 계절별 패턴 분석 

 TOP_ERROR_SITES= 특히: 

 JAN 
 TOP_BIAS_SITES= FEB 

 단, 에 대해 다음을 확인한다. 

 - midday overprediction 
 site별 tuning은 하지 않는다. - morning / evening 대비 midday 차이 
 - G1 / G2 차이 
 - 특정 site 집중 여부 

 ■ 7. Correction 가치 판단 기준 

 Correction을 아래 조건을 만족하면 
 다음 단계로 넘기려면: 일감 PM_1105_02로 넘긴다. 

 예: 

 - 동일 방향 bias가 최소 3/4 fold에서 반복 
 - target group 특정 시간대 / time window가 명확 그룹에서 명확한 systematic residual 존재 
 - correction target이 단순하고 설명 가능 
 - 특정 한 1개 fold만의 현상이 아님 

 반대로: 

 - fold별 방향이 제각각 
 - 특정 소수 site만 문제 
 - 개선 target이 불명확 
 - correction이 전체 DEV 악화 위험이 큼 

 이면 추가 correction rule을 단순하게 정의 가능 실험은 진행하지 않는다. 

 ■ 금지 이번 일감에서 하지 않을 것 

 금지: 

 - correction 적용 
 - 새 새로운 model training 
 - 새로운 model hyperparameter search 
 - blend weight 변경 
 - bias correction 실제 적용 
 - site별 tuning 모델 선택 
 - 새로운 feature 추가 
 - HOLDOUT 확인 
 - leaderboard 기반 분석 
 - Submission score를 이용한 tuning 

 이번 일감은 오직 진단 단계이다. 

 ■ Guardrail 

 HOLDOUT_USED_FOR_SELECTION=NO 
 LEADERBOARD_USED_FOR_SELECTION=NO 
 SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO 

 ■ 완료 조건 

 아래 형식으로 결과를 정리한다. 

 PM_1105_01_RESULT=PASS|HOLD 

 BASELINE_CANDIDATE=LGBM+Cat 50:50 

 OVERALL_BIAS= 
 MIDDAY_BIAS= 

 JUL_BIAS= JUL_MIDDAY_BIAS= 
 OCT_BIAS= OCT_MIDDAY_BIAS= 
 JAN_BIAS= JAN_MIDDAY_BIAS= 
 FEB_BIAS= FEB_MIDDAY_BIAS= 

 MIDDAY_BIAS_DIRECTION= 
 MIDDAY_FOLD_CONSISTENCY= 

 G1_BIAS_STATUS= 
 G2_BIAS_STATUS= 

 MIDDAY_FOLD_CONSISTENCY= JAN_BIAS_STATUS= 
 FEB_BIAS_STATUS= 

 TOP_ERROR_SITES= 
 TOP_BIAS_SITES= 

 SYSTEMATIC_BIAS_FOUND=YES|NO 

 TARGET_PERIOD= 
 TARGET_GROUP= 
 TARGET_TIME_WINDOW= 
 BIAS_DIRECTION= 

 CORRECTION_WORTH_TESTING=YES|NO 

 HOLDOUT_USED_FOR_SELECTION=NO 
 LEADERBOARD_USED_FOR_SELECTION=NO 
 SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO 

 NEXT_ACTION= 
 PM_1105_02 
 또는 
 STOP_NO_SYSTEMATIC_BIAS

Back