Feature #1474
Updated by 길래 문 13 days ago
[OIBC][PM 11/05-02] 최고 Group-Direct 후보 사전 제한 Bias / Group Residual 제한 Correction 후보 검증
■ 목적
PM_1105_01에서 확인된 systematic bias가 존재하는 경우, residual / midday bias / group bias를 대상으로,
현재 최고 Group-Direct Blend에
사전 제한된 소수 사전에 제한한 소수의 correction만 적용하여
DEV / Group / Bias가 동시에 현재 최고 후보인 LGBM+Cat 50:50보다 실제로 개선되는지 확인한다. 검증한다.
이번 일감은 새로운 모델 개발이 아니라,
현재 최고 후보의 반복적인 bias를 최소한의 규칙으로 보정할 수 있는지 확인하는 단계다.
PM_1105_01에서 systematic bias가 확인되지 않았다면
본 일감은 SKIP_WITH_REASON으로 종료한다.
■ 선행 기준 후보
BASELINE_CANDIDATE=LGBM+Cat 50:50
BASELINE_DEV_WMAE=0.233001
BASELINE_GROUP_ERROR=2259766
BASELINE_MIDDAY_BIAS=1.0568
VPP=#990
DEV_FOLDS=
JUL,OCT,JAN,FEB
■ 입력 조건
PM_1105_01 결과에서 다음 값이 확정되어 있어야 한다.
SYSTEMATIC_BIAS_FOUND=YES
CORRECTION_WORTH_TESTING=YES
그 외에는: 그리고 최소 다음 target이 존재해야 한다.
PM_1105_02_RESULT=SKIP_WITH_REASON TARGET_PERIOD=
TARGET_GROUP=
TARGET_TIME_WINDOW=
BIAS_DIRECTION=
예:
TARGET_PERIOD=JAN,FEB
TARGET_GROUP=G1
TARGET_TIME_WINDOW=11~15
BIAS_DIRECTION=OVERPREDICTION
■ 기준 후보 핵심 원칙
BASELINE= 이번 일감에서는 correction 후보를 최대 2~3개로 제한한다.
결과를 본 뒤 correction 강도를 반복적으로 조정하지 않는다.
사전에 correction rule을 고정하고,
0.4*FS2+L1 모든 DEV fold에 동일 규칙을 적용한다.
■ 허용 Correction 유형
PM_1105_01에서 확인된 패턴에 따라
아래 중 필요한 최소 유형만 사용한다.
1. Time-window correction
예:
11~15시 prediction을 일정 비율 축소
2. Group-specific correction
예:
G1 또는 G2에만 동일한 correction 적용
3. Season + 0.6*Group-Direct time-window correction
VPP=#990 예:
JAN/FEB의 11~15시에만 correction 적용
단,
복잡한 site별 correction은 금지한다.
■ Correction 후보 수
최대 2~3개만 허용. 3개:
예: CORRECTION_A=
CORRECTION_B=
CORRECTION_C=
A. 가능하면 2개만 사용한다.
예시:
A:
target group / window prediction × 0.99
B:
target time window에 작은 scaling 적용 window prediction × 0.98
B. C:
A보다 한 단계 강한 scaling 적용 필요한 경우만 × 0.97
C. 하지만 실제 계수는
필요한 경우에만 하나 PM_1105_01의 residual magnitude를 기준으로 사전에 고정한다.
결과를 보고 0.985, 0.992 등의 추가 탐색은 하지 않는다.
■ 수행 내용
1. Baseline 재확인
LGBM+Cat 50:50 prediction을 그대로 baseline으로 사용한다.
새 training 금지.
2. Correction rule 사전 고정
실행 전에 전 반드시 고정: 기록:
CORRECTION_A_RULE=
CORRECTION_B_RULE=
CORRECTION_C_RULE=
결과를 보고 coefficient 추가 탐색 금지. TARGET_PERIOD=
TARGET_GROUP=
TARGET_TIME_WINDOW=
■ 허용 유형 3. DEV 전체에 동일 적용
- G1/G2 group-specific correction JUL
- midday correction OCT
- JAN/FEB + midday correction JAN
- 단순 multiplicative scaling FEB
■ 금지 유형 모든 fold에 동일 정책을 적용한다.
- site별 특정 fold만 별도 correction
- fold별 correction
- model별 별도 tuning
- leaderboard 기반 coefficient 선택
- 반복적인 grid search 금지.
■ 비교 항목 4. 각 후보 성능 계산
각 후보: 후보별:
- Overall DEV wMAE
- JUL wMAE
- OCT wMAE
- JAN wMAE
- FEB wMAE
- Overall bias
- Midday bias
- G1 group error
- G2 group error
- Total group error
- Overall bias fold improvement count
5. 안전성 확인
각 후보에 대해:
- duplicate
- NaN
- Inf
- negative
- capacity exceed 여부
- key consistency
를 확인한다.
6. Correction 효과 분석
특히 다음을 구분한다.
- Midday bias bias는 개선됐지만 DEV가 악화되는가?
- Fold improvement count Group error는 개선됐지만 plant wMAE가 크게 악화되는가?
- QA 특정 fold만 좋아지는가?
- 전체적으로 안정적인가?
■ KEEP 기준
Correction 후보를 다음 조건을 모두 또는 대부분 만족해야 한다. 단계로 넘기려면:
- Group error 개선
- 1. Overall DEV DEV가 baseline보다 개선 또는 사실상 동등
- 2. Group error가 개선
3. Midday bias bias가 개선
- 4. 최소 3/4 fold에서 group 기준 악화 없음
- 5. 특정 1개 fold에 개선이 과도하게 의존하지 않음
6. QA PASS
- rule 단순 / 7. rule이 단순하고 재현 가능
아래 경우 DROP:
- DEV 개선 없음
- group error 악화
- bias만 좋아지고 전체 성능 악화
- 특정 fold만 개선
- correction rule이 복잡함
- 작은 개선 대비 운영 복잡도 증가
■ 중요
현재 최고 제출 score는
correction coefficient 선택에 사용하지 않는다.
Submission #3 / #4 결과를 보고
correction 방향이나 강도를 조정하지 않는다.
■ 이번 일감에서 하지 않을 것
금지:
- 새로운 model training
- hyperparameter tuning
- blend weight 변경
- site별 correction
- fold별 correction
- HOLDOUT 확인
- leaderboard score 기반 coefficient 선택
- 반복적인 correction search
- Group-Direct 모델 추가
■ Guardrail
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO
■ 결과 비교 표
최소 다음 형식으로 정리한다.
| Candidate | Overall | JUL | OCT | JAN | FEB | Midday Bias | Group Error | Fold Status |
|---|---:|---:|---:|---:|---:|---:|---:|---|
| Baseline | | | | | | | | |
| Correction A | | | | | | | | |
| Correction B | | | | | | | | |
| Correction C | | | | | | | | |
■ 완료 조건
PM_1105_02_RESULT=PASS|HOLD|SKIP_WITH_REASON
BASELINE_RESULT=
CORRECTION_A_RULE=
CORRECTION_A_RESULT=
CORRECTION_B_RULE=
CORRECTION_B_RESULT=
CORRECTION_C_RULE=
CORRECTION_C_RESULT=
BEST_CORRECTION=
BASELINE_DEV_WMAE=
BEST_DEV_WMAE=
DEV_DELTA=
BASELINE_GROUP_ERROR=
BEST_GROUP_ERROR=
GROUP_DELTA=
BASELINE_MIDDAY_BIAS=
BEST_MIDDAY_BIAS=
MIDDAY_BIAS_DELTA=
FOLD_IMPROVEMENT_COUNT=
QA_STATUS=
CORRECTION_KEEP=YES|NO
NEXT_ACTION=PM_1105_03 HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO
NEXT_ACTION=
PM_1105_03
또는
DROP_CORRECTION_AND_KEEP_BASELINE
Back