Feature #1454
closedFeature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료
[OIBC][PM 11/04] 오늘 개인(문길래) 결과 도출 및 제출 여부 결정
100%
Description
[OIBC][PM 11/04] 오늘 결과 도출 및 제출 여부 결정
■ 목적
11/04 기준으로 현재까지 확보된 Forecast / VPP / Bias / Ensemble 관련 결과를 PM 관점에서 통합 검토하고,
오늘 제출 가능한 최종 후보를 도출한 뒤 실제 제출 여부를 결정한다.
단순히 새로운 모델을 많이 시도하는 것이 아니라,
이미 확보된 Evidence를 재사용하여 가장 가능성 높은 후보만 빠르게 비교·검증하고
제출 가치가 있는 경우에만 최종 제출까지 완료하는 것을 목표로 한다.
■ 현재 기준
현재 팀 공통 Forecast 기준은 다음과 같다.
REFERENCE_MODEL=LightGBM
FEATURE_SET=FS2
LOSS=L1
SEEDS=11,22,33
SEED_POLICY=3-seed average
DEV_FOLDS=JUL,OCT,JAN,FEB
#1443 3-model 비교 결과:
- LightGBM DEV wMAE = 0.234348
- CatBoost DEV wMAE = 0.234536
- XGBoost DEV wMAE = 0.237215
- 모델 간 차이는 크지 않으며 fold별 우세 모델이 다름
- 따라서 단순 모델 교체보다 blend / bias / VPP / 후처리 개선 가능성을 우선 확인
현재 공식 제출 Reference:
- Submission #2
- Score = 6,424,865,945
- Forecast = FS2 3-seed average
- VPP = #990 reference
■ 진행 방향
- FS2+L1 LightGBM 3-seed average를 팀 공통 Reference로 확정
- #1314 / #1451 조영우 독립 group-direct 모델을 FS2+L1 기준으로 재결합 및 재검증
- #1442 / #1452 / #1453 결과 중 오늘 바로 적용 가능한 후보만 최소 범위로 검토
- 후보별 DEV 성능, fold 안정성, bias, midday bias, 그룹 오차, validator 결과 비교
- 최종 후보를 1~2개로 축소
- 제출 Gate를 통해 오늘 제출 여부 결정
- 제출 시 forecast / composition / manifest / validator / SHA Evidence까지 정리
■ 원칙
- HOLDOUT은 후보 선택에 사용하지 않는다.
- Leaderboard 결과를 모델 튜닝에 사용하지 않는다.
- Submission feedback 기반 과적합을 하지 않는다.
- 오늘 새 대규모 모델 탐색이나 장시간 hyperparameter search는 진행하지 않는다.
- 기존 Evidence와 검증 결과를 최대한 재사용한다.
- 후보별 비교 조건은 동일하게 유지한다.
- 개선이 불명확하면 제출하지 않는 것도 정상적인 결과로 인정한다.
■ 제출 Gate
다음 조건을 기준으로 최종 제출 여부를 판단한다.
- 기존 Reference 대비 DEV 개선 여부
- 4개 fold에서의 안정성
- 특정 계절 / 시간대 과대·과소예측 악화 여부
- 그룹별 오차 개선 여부
- NaN / Inf / negative / duplicate 여부
- 제출 CSV 구조 및 공식/팀 validator 통과 여부
- Artifact / SHA / Manifest 재현성 확보 여부
최종 판정:
SUBMIT=YES|NO
YES:
- 최종 후보 생성
- validator PASS
- SHA / manifest 기록
- 실제 제출 수행
- 제출 결과 및 score 기록
NO:
- 제출 보류 사유 명시
- 가장 유망한 다음 후보 및 다음 작업 기록
■ 완료 조건
오늘 안에 반드시 아래 중 하나를 확정한다.
- 제출할 최종 후보 1개를 확정하고 실제 제출까지 완료
또는 - 제출하지 않을 명확한 근거와 다음 개선 방향을 확정
PM_1104_RESULT=PASS|HOLD
FINAL_CANDIDATE=
SUBMIT=YES|NO
SUBMISSION_RESULT=
NEXT_ACTION=
길문 Updated by 길래 문 13 days ago
- Status changed from New to Closed
[#1454 PM 11/04 최종 결과 및 종료]
오늘 PM 기준으로 Forecast / Ensemble / VPP / 제출 artifact를 통합 검토하고,
최종 후보 선정 → Gate 판정 → artifact freeze → 실제 제출까지 완료했습니다.
■ 오늘 진행 요약
- FS2+L1 LightGBM Reference 확정
- REFERENCE_MODEL=LightGBM
- FEATURE_SET=FS2
- LOSS=L1
- SEEDS=11,22,33
- DEV_WMAE=0.234348
- 추가 후보 압축
- L2+L1 50:50
- LGBM+Cat 50:50
- LGBM+XGB 50:50
- 3-model mean
- Group-Direct는 provenance/artifact 한계로 오늘 PM 제출 후보에서는 제외
- 최종 Gate
최종 제출 후보로 다음을 확정:
FINAL_CANDIDATE=LGBM+Cat 50:50
FINAL_FORECAST=0.5LightGBM_FS2_L1_AVG3 + 0.5CatBoost_FS2_L1_AVG3
FINAL_VPP=#990
FINAL_BLEND_POLICY=50:50
Reference 대비:
- DEV wMAE: 0.234348 → 0.233001
- Group aggregate error: 2,287,440 → 2,259,766
- Group 기준 4/4 fold 개선
- Midday bias는 일부 악화했으나 hard blocker로 판단하지 않음
- 최종 제출 artifact 생성 및 검증
- composition.csv 생성/확정
- forecast.csv 생성
- manifest / evidence ZIP 생성
- team validator PASS
- official public validator PASS
- duplicate / NaN / Inf / negative = 0
- #990 composition 유지
- 실제 제출 완료
Submission #3
- 제출일시: 2026-11-04 14:34:47
- Score: 6,434,253,664
- 현재 순위: 242위
- 이전 대비 순위: +19
공식 제출 점수 비교:
- Submission #1: 6,418,339,340
- Submission #2: 6,424,865,945
- Submission #3: 6,434,253,664
Submission #3 vs #2:
+9,387,719
Submission #3 vs #1:
+15,914,324
현재 Submission #3이 팀 최고 기록입니다.
■ Guardrail
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO
NEW_LARGE_EXPERIMENT=NO
오늘 제출 결과를 보고 같은 날 추가 튜닝이나 즉시 재제출은 진행하지 않습니다.
■ 최종 판정
PM_1104_RESULT=PASS
FINAL_CANDIDATE=LGBM+Cat 50:50
SUBMIT=YES
SUBMISSION_EXECUTED=YES
SUBMISSION_RESULT=SUCCESS
SUBMISSION_SCORE=6434253664
CURRENT_BEST_SCORE=6434253664
CURRENT_RANK=242
RANK_CHANGE=+19
오늘 목표였던
“결과 도출 → 후보 비교 → 제출 여부 결정 → 실제 제출 → Evidence 정리”
까지 모두 완료했습니다.
NEXT_ACTION=
오늘 추가 제출 없음.
각 담당자의 후속 실험은 계속 진행하되,
이번 leaderboard 결과를 직접적인 tuning target으로 사용하지 않고
다음 사전 정의 후보 검증 후 차기 제출 여부를 판단합니다.