Feature #1473
Updated by 길래 문 13 days ago
[OIBC][PM 11/05-01] 현재 최고 Group-Direct Blend 후보 Residual / Midday Bias 구조 진단
■ 목적
11/04 현재 최고 제출 후보인
0.4 × FS2+L1
LGBM +
0.6 × Group-Direct CatBoost 50:50
의 DEV residual 구조를 분석하여,
-
반복적으로 나타나는 시간대
- / 계절
- G1 / G2
- plant / group aggregate
단위로 반복되는 systematic VPP 그룹 단위 bias가 있는지 확인한다.
이번 일감은 correction을 적용하는 단계가 아니라 일감의 목적은 새로운 모델을 만드는 것이 아니라,
다음 단계에서 correction을 시도할 현재 최고 후보의 가장 명확한 약점을 진단하고
11/05 제한 개선 실험을 진행할 가치가 있는지 진단하는 단계이다. 있는 구간을 찾는 것이다.
분석 결과 반복적인 패턴이 확인되지 않으면
추가 correction 실험을 진행하지 않고 종료한다.
■ 기준 후보
BASELINE_CANDIDATE= BASELINE_CANDIDATE=LGBM+Cat 50:50
FINAL_FORECAST=
0.4*FS2+L1 0.5 * LightGBM_FS2_L1_AVG3
+ 0.6*Group-Direct
0.5 * CatBoost_FS2_L1_AVG3
VPP=#990
DEV_FOLDS=
JUL,OCT,JAN,FEB
기존 Group diagnostic: 현재 기준 성능:
FS2+L1= Overall DEV wMAE=0.233001
JUL=0.297436
68.308M OCT=0.271861
JAN=0.189016
FEB=0.177644
Group-Direct Blend= Overall bias=+0.0667
64.754M Midday bias=+1.0568
DEV 기준 4/4 fold 개선. Group aggregate error=2,259,766
■ 핵심 분석 질문
1. Midday 11~15시에 반복적인 과대/과소예측이 있는가?
2. JAN / FEB에서 다른 계절과 다른 residual 패턴이 있는가?
3. G1 / G2 중 특정 그룹에서 반복 systematic bias가 있는가? 반복되는가?
2. 11~15시 midday 구간에 systematic over/under prediction이 있는가?
3. JAN / FEB에서 반복적인 계절 패턴이 존재하는가?
4. plant prediction 분배 과정에서 특정 site가 error를 site 일부가 전체 bias를 과도하게 주도하는가?
5. group-direct 예측과 plant aggregate 사이에 일관된 fold별 residual 구조가 있는가? 방향이 일관되는가?
6. 동일 방향 bias가 최소 3/4 fold에서 반복되는가? 제한적 correction을 적용할 만큼 안정적인 패턴인가?
■ 수행 내용
1. DEV OOF / prediction grid 정렬 확인
- JUL
- OCT
- JAN
- FEB
각 fold에 대해:
- timestamp
- site
- group actual
- actual prediction
- prediction residual
KEY_ALIGNMENT=PASS가 선행 조건. 정렬 및 key consistency를 확인한다.
2. Residual 정의 정의:
RESIDUAL= RESIDUAL =
prediction - actual
양수:
overprediction 과대예측
음수:
underprediction 과소예측
3. 시간대 2. 시간대별 residual 분석
KST 기준: hour 기준으로:
- 06~10
- 11~15
- 16~19
구간을 최소 비교한다.
특히 11~15시를 핵심 분석 대상으로 한다.
각 구간별:
- mean bias
- absolute error
- weighted error
- sample count
를 정리한다.
3. Fold별 Midday Bias 분석
JUL
OCT
JAN
FEB
각 fold에서 11~15시 bias를 계산한다.
다음 여부를 확인한다.
- 4개 fold 중 같은 방향의 bias가 몇 개 존재하는가
- 특정 fold만 과도하게 영향을 주는가
- JAN / FEB에서 반복적인 과대예측이 있는가
4. G1 / G2 그룹별 분석
#990 기준: composition 기준으로:
G1
G2
각 그룹별:
- overall bias residual
- midday bias residual
- fold별 bias JUL/OCT/JAN/FEB residual
- group aggregate error
를 비교한다.
특정 그룹에서만 반복적인 bias가 있는지 확인한다.
5. 계절 Site contribution 분석
특히 JAN 전체 error / FEB: bias에 영향을 많이 주는 site를 확인한다.
- midday overprediction 여부 단,
개별 site에 대한 새로운 model selection이나 site별 tuning은 하지 않는다.
목적은:
- group 차이 일부 site가 전체 bias를 주도하는지
- plant 분포 전체적으로 넓게 퍼진 문제인지
를 구분하는 것이다.
가능하면:
TOP_ERROR_SITES=
- fold 반복성 TOP_BIAS_SITES=
정도로 요약한다.
6. Site contribution 계절별 패턴 분석
TOP_ERROR_SITES= 특히:
JAN
TOP_BIAS_SITES= FEB
단, 에 대해 다음을 확인한다.
- midday overprediction
site별 tuning은 하지 않는다. - morning / evening 대비 midday 차이
- G1 / G2 차이
- 특정 site 집중 여부
■ 7. Correction 가치 판단 기준
Correction을 아래 조건을 만족하면
다음 단계로 넘기려면: 일감 PM_1105_02로 넘긴다.
예:
- 동일 방향 bias가 최소 3/4 fold에서 반복
- target group 특정 시간대 / time window가 명확 그룹에서 명확한 systematic residual 존재
- correction target이 단순하고 설명 가능
- 특정 한 1개 fold만의 현상이 아님
반대로:
- fold별 방향이 제각각
- 특정 소수 site만 문제
- 개선 target이 불명확
- correction이 전체 DEV 악화 위험이 큼
이면 추가 correction rule을 단순하게 정의 가능 실험은 진행하지 않는다.
■ 금지 이번 일감에서 하지 않을 것
금지:
- correction 적용
- 새 새로운 model training
- 새로운 model hyperparameter search
- blend weight 변경
- bias correction 실제 적용
- site별 tuning 모델 선택
- 새로운 feature 추가
- HOLDOUT 확인
- leaderboard 기반 분석
- Submission score를 이용한 tuning
이번 일감은 오직 진단 단계이다.
■ Guardrail
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO
■ 완료 조건
아래 형식으로 결과를 정리한다.
PM_1105_01_RESULT=PASS|HOLD
BASELINE_CANDIDATE=LGBM+Cat 50:50
OVERALL_BIAS=
MIDDAY_BIAS=
JUL_BIAS= JUL_MIDDAY_BIAS=
OCT_BIAS= OCT_MIDDAY_BIAS=
JAN_BIAS= JAN_MIDDAY_BIAS=
FEB_BIAS= FEB_MIDDAY_BIAS=
MIDDAY_BIAS_DIRECTION=
MIDDAY_FOLD_CONSISTENCY=
G1_BIAS_STATUS=
G2_BIAS_STATUS=
MIDDAY_FOLD_CONSISTENCY= JAN_BIAS_STATUS=
FEB_BIAS_STATUS=
TOP_ERROR_SITES=
TOP_BIAS_SITES=
SYSTEMATIC_BIAS_FOUND=YES|NO
TARGET_PERIOD=
TARGET_GROUP=
TARGET_TIME_WINDOW=
BIAS_DIRECTION=
CORRECTION_WORTH_TESTING=YES|NO
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO
NEXT_ACTION=
PM_1105_02
또는
STOP_NO_SYSTEMATIC_BIAS
Back