Feature #1475
Updated by 길래 문 13 days ago
[OIBC][PM 11/05-03] FS2+L1 LGBM / Group-Direct CatBoost 제한 Blend Sensitivity 검증
■ 목적
현재 최고 후보의 핵심 구조인 후보인
FS2+L1
LGBM +
Group-Direct CatBoost 50:50
비율을 주변의 제한된 소수 후보에서만 비교하여, blend 비율만 사전에 고정하여 비교하고,
현재 0.4/0.6 비율이 안정적인지 50:50이 안정적인 선택인지 또는
60:40 / 40:60 중 하나가 DEV / Group / Bias 측면에서 더 균형적인지 확인한다.
이번 일감은 새로운 weight optimization이 아니다.
사전에 정의한 3개 비율만 비교한다. 비교하고,
결과를 본 뒤 추가 비율을 탐색하지 않는다.
■ 기준 후보
CURRENT_BASELINE= BASELINE_CANDIDATE=LGBM+Cat 50:50
BASELINE_DEV_WMAE=0.233001
0.4*FS2+L1 + 0.6*Group-Direct BASELINE_GROUP_ERROR=2259766
BASELINE_MIDDAY_BIAS=1.0568
VPP=#990
DEV_FOLDS=
JUL,OCT,JAN,FEB
■ 비교 후보
사전 고정 후보 후보:
A.
0.5 × FS2+L1 LGBM 60%
+
0.5 × Group-Direct CatBoost 40%
B.
0.4 × FS2+L1 LGBM 50%
+
0.6 × Group-Direct CatBoost 50%
C.
0.3 × FS2+L1 LGBM 40%
+
0.7 × Group-Direct CatBoost 60%
정확히 이 3개만 아래 세 개만 비교한다.
BLEND_60_40
BLEND_50_50
BLEND_40_60
추가 비율 탐색 금지.
예:
55:45
45:55
70:30
30:70
등은 결과를 본 뒤 추가하지 않는다.
■ 중요 원칙
5차 제출 점수가 가장 높았다는 사실은 11/04 Submission #3 / #4의 실제 점수는
현재 baseline 식별에만 사용한다.
0.4/0.6이 leaderboard에서 좋았다는 이유로
DEV 선택을 유도하지 blend weight 선택에 사용하지 않는다.
비율 Weight 비교는 동일 DEV Evidence만 사용한다.
HOLDOUT 사용 금지.
■ 입력 Artifact
#1443에서 검증된 동일 DEV grid의:
- LightGBM FS2+L1 avg3 OOF
- CatBoost FS2+L1 avg3 OOF
를 재사용한다.
새 training 금지.
두 prediction은 반드시:
- 동일 fold
- 동일 site
- 동일 timestamp
- 동일 actual
- 동일 feature contract
- 동일 cutoff
인지 재확인한다.
■ 수행 내용
1. Key / Grid Alignment 확인
LightGBM / CatBoost prediction의:
- fold
- site
- timestamp
- actual
이 exact match인지 확인한다.
Mismatch가 있으면 HOLD 처리한다.
2. 사전 정의 Blend 생성
다음 세 prediction을 생성한다.
BLEND_60_40 =
0.6 * LightGBM
+
0.4 * CatBoost
BLEND_50_50 =
0.5 * LightGBM
+
0.5 * CatBoost
BLEND_40_60 =
0.4 * LightGBM
+
0.6 * CatBoost
추가 post-processing 금지.
3. Plant-level DEV 계산
각 후보별:
- Overall DEV wMAE
- JUL
- OCT
- JAN
- FEB
를 계산한다.
4. Bias 계산
각 후보별:
- Overall bias
- Group total error Midday bias
- JUL midday bias
- OCT midday bias
- JAN midday bias
- FEB midday bias
를 비교한다.
5. VPP Group Diagnostic
#990 composition 기준으로 각 후보를 aggregate하여:
- G1 error
- G2 error
- Overall bias Total group error
- Midday bias JUL group error
- Fold improvement count OCT group error
- QA JAN group error
- FEB group error
■ Near-tie 기준 를 계산한다.
공식 점수로 표현하지 않는다.
이는 DEV absolute delta <= 0.0005이면
near-tie로 분류. internal diagnostic이다.
Near-tie이면: 6. Fold 안정성 비교
각 후보가 50:50 대비:
- Group error 개선 fold 수
- Bias 악화 fold 수
- Fold consistency 가장 큰 악화 fold
- Operational simplicity 가장 큰 개선 fold
를 함께 판단한다. 정리한다.
7. QA
각 후보:
- row count
- duplicates
- NaN
- Inf
- negative
- key consistency
확인.
■ 비율 변경 판단 기준
0.4/0.6에서 변경하려면: 50:50을 변경하려면
단순히 Overall DEV가 아주 조금 낮다는 것만으로는 부족하다.
- 새 비율을 채택하려면:
1. Overall DEV 개선
- 2. Group error 개선 또는 최소 동등
- Bias 3. Midday bias 개선 또는 최소 악화 없음
- 4. 특정 한 fold에 1개 fold에만 의존하지 않음 않을 것
5. 최소 3/4 fold에서 심각한 악화 없음
6. 개선폭이 수치 noise 수준이 아닐 것
7. 추가 운영 복잡도 없음
이 모두 충분해야 한다.
그렇지 조건을 만족하지 않으면:
KEEP_04_06=YES KEEP_50_50=YES
로 종료한다.
■ 금지 Near-tie 기준
#1443에서 사용한 기준을 참고하여
DEV absolute difference가 0.0005 이하이면
near-tie로 분류한다.
Near-tie이면
작은 차이만으로 weight 변경을 주장하지 않는다.
Bias / Group / fold 안정성을 함께 본다.
■ Correction과의 관계
PM_1105_02에서 correction 후보가 KEEP된 경우에도
이번 Blend 비교는 correction을 섞지 않고
원본 LGBM / CatBoost OOF만 사용한다.
즉:
03 = weight sensitivity 자체 검증
으로 유지한다.
Correction + blend 결합은
이번 일감에서 새로 만들지 않는다.
필요하면 04 최종 Gate에서
이미 검증된 후보끼리만 비교한다.
■ 이번 일감에서 하지 않을 것
금지:
- 0.45/0.55 새로운 training
- 0.35/0.65 새로운 model
- 0.25/0.75 hyperparameter 변경
- 추가 weight search
- fold별 weight
- season별 weight
- site별 weight
- HOLDOUT 사용
- leaderboard 기반 weight 선택
- submission score 기반 weight 선택
- bias correction 추가
■ 결과 표
최소 다음 형식으로 정리한다.
| Candidate | Overall | JUL | OCT | JAN | FEB | Overall Bias | Midday Bias | Group Error |
|---|---:|---:|---:|---:|---:|---:|---:|---:|
| 60:40 | | | | | | | | |
| 50:50 | | | | | | | | |
| 40:60 | | | | | | | | |
■ 완료 조건
PM_1105_03_RESULT=PASS|HOLD
BLEND_05_05_DEV= BLEND_60_40_DEV=
BLEND_05_05_GROUP= BLEND_60_40_GROUP=
BLEND_05_05_BIAS= BLEND_60_40_MIDDAY_BIAS=
BLEND_04_06_DEV= BLEND_50_50_DEV=
BLEND_04_06_GROUP= BLEND_50_50_GROUP=
BLEND_04_06_BIAS= BLEND_50_50_MIDDAY_BIAS=
BLEND_03_07_DEV= BLEND_40_60_DEV=
BLEND_03_07_GROUP= BLEND_40_60_GROUP=
BLEND_03_07_BIAS= BLEND_40_60_MIDDAY_BIAS=
BEST_DEV_BLEND=
BEST_GROUP_BLEND=
BEST_BIAS_BLEND=
NEAR_TIE_STATUS=
BEST_LIMITED_BLEND=
KEEP_04_06=YES|NO KEEP_50_50=YES|NO
BLEND_CHANGE_JUSTIFIED=YES|NO
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO
NEXT_ACTION=PM_1105_04
Back