Feature #1472
Updated by 길래 문 13 days ago
[OIBC][PM 11/05] 현재 최고 Group-Direct 후보 기반 제한 개선 및 차기 제출 여부 결정
■ 목적
11/04까지의 공식 제출 결과에서 11/04 제출에서 현재 팀 최고 기록을 만든
0.4 × FS2+L1
LGBM +
0.6 × Group-Direct CatBoost 50:50
후보를 기준으로,
새로운 PM 기준선으로 확정하고,
대규모 모델 탐색이 아니라 현재 후보의 residual / group bias / blend 구조를 확인된 약점을 제한적으로 분석하여 개선하여
11/05 11/05에 추가 제출 제출할 가치가 있는 개선 후보 1개를 도출하거나,
개선 근거가 부족하면 현재 최고 후보를 유지하고 제출하지 않는 결정을 내린다.
이번 작업은 일감은 PM 문길래 개인 작업으로 진행한다.
새로운 대규모 모델 탐색이 아니라 다른 담당자의 진행 결과를 기다리지 않고 독립적으로 수행하며,
현재 최고 후보의 명확한 약점만 제한적으로 개선하는 것이 목적이다. 필요한 경우 결과 완료 후 팀원들에게 공유한다.
■ 현재 공식 기준
현재 최고 제출 Reference 제출:
CURRENT_BEST_SUBMISSION=#5 SUBMISSION=#3
SCORE=6,434,253,664
RANK_AT_SUBMISSION=242
RANK_CHANGE=+19
CURRENT_BEST_SCORE=6,436,427,653 FINAL_CANDIDATE=
LGBM+Cat 50:50
CURRENT_BEST_CANDIDATE= FINAL_FORECAST=
0.4 × FS2+L1 0.5 * LightGBM_FS2_L1_AVG3
+
0.6 × Group-Direct 0.5 * CatBoost_FS2_L1_AVG3
CURRENT_VPP=#990 FINAL_VPP=#990
5차 제출 관련 DEV 근거: 현재 최고 후보 DEV:
FS2+L1 단독 Group diagnostic: Overall wMAE=0.233001
68.308M JUL=0.297436
OCT=0.271861
JAN=0.189016
FEB=0.177644
Group-Direct Blend: Overall bias=+0.0667
64.754M Midday bias=+1.0568
Group aggregate error=2,259,766
현재 확인된 특성:
- LightGBM FS2+L1 Reference 대비 DEV 개선
- Group aggregate error 개선
- Group 기준 4/4 fold 개선
기존 보고 기준:
전체 group weighted error
0.137398 → 0.130562 수준의 - Plant wMAE 기준 2/4 fold 개선 확인
단,
이 값들은 DEV 내부 diagnostic이며 공식 scorer 점수가 아니다. - FEB 강점 있음
- Midday bias는 Reference보다 악화
■ 현재까지 제출 결과 11/04 추가 비교 참고
Submission #1 #4:
6,418,339,340
Submission #2
6,424,865,945
Submission #3
6,434,253,664
LGBM+Cat 50:50
Submission #4
6,432,240,523
L2+L1 50:50 후보
SCORE=6,432,240,523
Submission #5 #3보다:
6,436,427,653
0.4×FS2+L1 + 0.6×Group-Direct -2,013,141
따라서 현재 최고는 최고 제출 Reference는 계속 Submission #5. #3으로 유지한다.
중요:
공식 점수는 현재 최고 후보 식별에만 사용한다.
다음 후보의: Submission #3 / #4의 leaderboard 결과는
- blend 비율
- correction 강도
- 모델 선택
- feature 선택
에 leaderboard 결과를 11/05 후보의 parameter / weight 선택이나 tuning에 사용하지 않는다.
■ 11/05 핵심 질문
1. 현재 "현재 최고 Group-Direct Blend의 residual에 반복적인 구조가 있는가? 후보 LGBM+Cat 50:50의
2. G1 DEV / G2 Group 성능을 유지하면서
확인된 bias 또는 특정 시간대에서 systematic bias가 존재하는가?
3. 제한적인 correction으로 group residual 문제를 제한적으로 개선할 수 있는가?"
그리고 최종적으로:
"개선 후보가 현재 최고 후보를 안정적으로 개선할 수 있는가? 교체하여
4. FS2+L1 / Group-Direct 비율을 제한된 소수 후보에서 비교했을 때
현재 0.4/0.6보다 명확히 나은 조합이 존재하는가?
5. 최종 후보가 실제 추가 제출할 만큼 충분한 개선 근거를 가지는가? 근거가 있는가?"
를 판단한다.
■ 진행 단계 우선 개선 방향
우선순위 1. 현재 최고 후보 Residual
Midday / 계절 Bias 구조 진단 제한 개선
현재 LGBM+Cat 50:50의 가장 명확한 약점인
midday bias를 분석한다.
특히:
- KST 11~15시
- JAN
- FEB
- G1 / G2
구간에서 residual 방향이
4개 DEV fold에 걸쳐 반복되는지 확인한다.
단,
성능을 보고 임의 보정값을 계속 조절하지 않는다.
사전에 제한한 소수 correction만 검토한다.
우선순위 2. 제한 Bias /
Group-aware residual correction
#990 VPP 기준으로
G1/G2에 반복적으로 나타나는 systematic residual이 있는지 확인한다.
Group Correction 검증 단위 개선이
특정 1개 fold가 아니라 다수 fold에서 유지될 때만
후보로 인정한다.
우선순위 3. FS2+L1 / Group-Direct 제한 Blend Sensitivity 검증
4. 최종 후보 비교 및 제출 Gate 판정 Limited blend sensitivity
필요한 경우 현재 50:50 주변의
5. SUBMIT=YES인 경우 Artifact Freeze 및 실제 제출 사전 제한된 소수 비율만 검토한다.
■ 원칙 예:
- HOLDOUT을 후보 선택에 사용하지 않는다. LGBM:Cat
- leaderboard 결과를 tuning에 60:40
50:50
40:60
단,
11/04 공식 제출 점수는
blend 선택 기준으로 사용하지 않는다.
DEV Evidence만 사용한다.
■ 이번 일감에서 하지 않을 것
금지:
- Submission feedback 기반 파라미터 최적화를 하지 않는다. 새로운 모델 계열 추가
- 새로운 대규모 model search를 진행하지 않는다. hyperparameter search
- 새로운 feature set 전면 개발을 하지 않는다. 개발
- 새로운 seed search
- leaderboard score를 이용한 weight 최적화
- Submission #3/#4 결과를 이용한 사후 tuning
- HOLDOUT 기반 후보 선택
- 반복적인 bias coefficient search
- VPP partition 탐색을 하지 대규모 재최적화
- Group-Direct 전체 재구현
■ 공통 Reference
BASELINE_CANDIDATE=
LGBM+Cat 50:50
BASELINE_DEV_WMAE=0.233001
BASELINE_GROUP_ERROR=2259766
BASELINE_MIDDAY_BIAS=1.0568
VPP=#990
DEV_FOLDS=
JUL,OCT,JAN,FEB
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO
■ 후보 판단 기준
새 후보를 제출 Gate로 넘기려면:
1. Overall DEV가 현재 0.233001보다 개선되거나 최소 동등할 것
2. Group aggregate error가 개선될 것
3. 개선이 특정 1개 fold에만 의존하지 않을 것
4. 최소 3/4 fold에서 group 기준 개선 권장
5. Midday bias가 현재보다 개선되거나 최소 악화하지 않을 것
6. JAN / FEB 중 하나를 개선하면서 다른 계절을 크게 악화시키지 않을 것
7. NaN / Inf / negative / duplicate = 0
8. artifact 재현 가능
9. submission pipeline 적용 가능
10. validator PASS 가능
아주 작은 개선만 있고
운영 복잡도가 크게 증가하면 채택하지 않는다.
■ 오늘 제출 판단
최종 후보가 현재 최고 후보 대비
- 기존 명확한 개선 Evidence를 최대한 재사용한다. 가지면:
SUBMIT=YES
추가 제출 package 생성 → validator → artifact freeze → 제출
개선이 불명확하거나
bias / fold 안정성 / artifact 측면에서 리스크가 크면:
SUBMIT=NO
현재 Submission #3을 최고 Reference로 유지한다.
■ Guardrail
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO
NEW_LARGE_EXPERIMENT=NO
공식 score는 결과 기록용으로만 사용한다.
■ 완료 조건
PM_1105_RESULT=PASS|HOLD
BASELINE_CANDIDATE=
BEST_NEW_CANDIDATE=
BASELINE_DEV_RESULT= BASELINE_DEV_WMAE=
BEST_DEV_RESULT= BEST_DEV_WMAE=
DEV_DELTA=
BASELINE_GROUP_ERROR=
BEST_GROUP_ERROR=
GROUP_DELTA=
BASELINE_BIAS= BASELINE_MIDDAY_BIAS=
BEST_BIAS= BEST_MIDDAY_BIAS=
MIDDAY_BIAS_STATUS=
FOLD_IMPROVEMENT_COUNT=
QA_STATUS=
ARTIFACT_STATUS=
VALIDATOR_STATUS=
SUBMIT=YES|NO
SUBMIT_REASON=
SUBMISSION_EXECUTED=YES|NO
SUBMISSION_SCORE=
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO
NEXT_ACTION=
Back