Actions
Feature #1454
closed
길문
길문
Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료
[OIBC][PM 11/04] 오늘 개인(문길래) 결과 도출 및 제출 여부 결정
Feature #1454:
[OIBC][PM 11/04] 오늘 개인(문길래) 결과 도출 및 제출 여부 결정
Start date:
11/04/2026
Due date:
11/04/2026
% Done:
100%
Estimated time:
(Total: 0:00 h)
Description
[OIBC][PM 11/04] 오늘 결과 도출 및 제출 여부 결정
■ 목적
11/04 기준으로 현재까지 확보된 Forecast / VPP / Bias / Ensemble 관련 결과를 PM 관점에서 통합 검토하고,
오늘 제출 가능한 최종 후보를 도출한 뒤 실제 제출 여부를 결정한다.
단순히 새로운 모델을 많이 시도하는 것이 아니라,
이미 확보된 Evidence를 재사용하여 가장 가능성 높은 후보만 빠르게 비교·검증하고
제출 가치가 있는 경우에만 최종 제출까지 완료하는 것을 목표로 한다.
■ 현재 기준
현재 팀 공통 Forecast 기준은 다음과 같다.
REFERENCE_MODEL=LightGBM
FEATURE_SET=FS2
LOSS=L1
SEEDS=11,22,33
SEED_POLICY=3-seed average
DEV_FOLDS=JUL,OCT,JAN,FEB
#1443 3-model 비교 결과:
- LightGBM DEV wMAE = 0.234348
- CatBoost DEV wMAE = 0.234536
- XGBoost DEV wMAE = 0.237215
- 모델 간 차이는 크지 않으며 fold별 우세 모델이 다름
- 따라서 단순 모델 교체보다 blend / bias / VPP / 후처리 개선 가능성을 우선 확인
현재 공식 제출 Reference:
- Submission #2
- Score = 6,424,865,945
- Forecast = FS2 3-seed average
- VPP = #990 reference
■ 진행 방향
- FS2+L1 LightGBM 3-seed average를 팀 공통 Reference로 확정
- #1314 / #1451 조영우 독립 group-direct 모델을 FS2+L1 기준으로 재결합 및 재검증
- #1442 / #1452 / #1453 결과 중 오늘 바로 적용 가능한 후보만 최소 범위로 검토
- 후보별 DEV 성능, fold 안정성, bias, midday bias, 그룹 오차, validator 결과 비교
- 최종 후보를 1~2개로 축소
- 제출 Gate를 통해 오늘 제출 여부 결정
- 제출 시 forecast / composition / manifest / validator / SHA Evidence까지 정리
■ 원칙
- HOLDOUT은 후보 선택에 사용하지 않는다.
- Leaderboard 결과를 모델 튜닝에 사용하지 않는다.
- Submission feedback 기반 과적합을 하지 않는다.
- 오늘 새 대규모 모델 탐색이나 장시간 hyperparameter search는 진행하지 않는다.
- 기존 Evidence와 검증 결과를 최대한 재사용한다.
- 후보별 비교 조건은 동일하게 유지한다.
- 개선이 불명확하면 제출하지 않는 것도 정상적인 결과로 인정한다.
■ 제출 Gate
다음 조건을 기준으로 최종 제출 여부를 판단한다.
- 기존 Reference 대비 DEV 개선 여부
- 4개 fold에서의 안정성
- 특정 계절 / 시간대 과대·과소예측 악화 여부
- 그룹별 오차 개선 여부
- NaN / Inf / negative / duplicate 여부
- 제출 CSV 구조 및 공식/팀 validator 통과 여부
- Artifact / SHA / Manifest 재현성 확보 여부
최종 판정:
SUBMIT=YES|NO
YES:
- 최종 후보 생성
- validator PASS
- SHA / manifest 기록
- 실제 제출 수행
- 제출 결과 및 score 기록
NO:
- 제출 보류 사유 명시
- 가장 유망한 다음 후보 및 다음 작업 기록
■ 완료 조건
오늘 안에 반드시 아래 중 하나를 확정한다.
- 제출할 최종 후보 1개를 확정하고 실제 제출까지 완료
또는 - 제출하지 않을 명확한 근거와 다음 개선 방향을 확정
PM_1104_RESULT=PASS|HOLD
FINAL_CANDIDATE=
SUBMIT=YES|NO
SUBMISSION_RESULT=
NEXT_ACTION=
Actions