Actions
Feature #1143
closed
상이
상이
Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료
[OIBC] 제출 피드백 기반 Nonlinear Forecast 모델 비교
Feature #1143:
[OIBC] 제출 피드백 기반 Nonlinear Forecast 모델 비교
Start date:
11/03/2026
Due date:
11/06/2026
% Done:
100%
Estimated time:
Description
Baseline 결과를 기준으로 LightGBM/XGBoost/CatBoost 등 후보를 동일 Validation 조건에서 비교. 내부 CV가 개선된 후보만 제출하고 공식 결과와 비교하여 KEEP/REVIEW/REJECT 판단
상이 Updated by 상재 이 16 days ago
- Status changed from New to In Progress
- % Done changed from 0 to 10
시작 (10%) — 2026-11-02¶
PM 공지(11/02)에 따라 첫 제출 흐름을 방해하지 않는 범위에서 병행합니다. #1142는 완료됐습니다(PR #204 머지, Resolved 100%).
지금 진행하는 것 (DEV 내부 실험, #1125·#1127·#1128 결과만 사용)
- 고정 seed 지원: 모델이 실제로 seed를 받아 쓰도록 하고, 기본값은
random_state=None으로 유지합니다(#1142 안전장치 보존) - LightGBM deterministic 설정과 재현성 확인 (같은 seed·환경에서 다시 돌려 같은 결과가 나오는지)
- 실행 환경·버전 차이의 영향 확인 (한 번에 한 조건만 바꿔 비교)
- E0b(기준선 A1) → E1 모델 비교(LightGBM·XGBoost·CatBoost, seed {11, 22, 33} 짝 비교, #1127 채택 규칙)
기다리는 것
- 개선 후보 제출과 공식 결과 비교에 따른 KEEP/REVIEW/REJECT 판정은 첫 제출(#1147) 결과가 나온 뒤에 진행합니다
지킬 것: HOLDOUT_USED_FOR_SELECTION=NO / FUTURE_INFORMATION_USED=NO / SUBMISSION_FEEDBACK_OVERFIT=NO / D05 HOLD
상이 Updated by 상재 이 15 days ago
- % Done changed from 10 to 50
PR #205 merge 완료 (main 0f49e62). ①② 완료, 진행률 50%로 변경합니다. In Progress 유지합니다.
- ① 고정 seed 재현성: 같은 조건으로 다시 실행하면 결과가 비트 단위까지 같습니다. n_jobs만 바꾸면 최대 3.25e-9 kWh 차이가 나서, 비교 실험에서는 n_jobs를 맞춥니다.
- ② E1 모델 비교 (seed 11/22/33, DEV fold 4개)
- M2 XGBoost: mean Δ −0.001198, 1/4 fold 개선 → KEEP_REFERENCE
- M3 CatBoost: mean Δ +0.000753, 2/4 fold 개선 → KEEP_REFERENCE
- E1 승자: M0 LightGBM (DEV wMAE 0.248844, A0 0.2484)
- E6 미리보기 (진단용, 판정 아님): M0+M2+M3 +0.002275, 4/4 fold 개선. 결과를 본 뒤 고른 조합이라 #1145에서 후보를 미리 정하고 다시 비교합니다.
- 검증: Codex ① PASS, ② v4 재검토 PASS (남은 지적 없음), pytest 119 passed
- 문서: docs/SEED_REPRODUCIBILITY_1143.md, docs/E1_MODEL_COMPARISON_1143.md, REVIEW_NOTES_1143.md
남은 것 (완료 조건)
- ③ 제출 피드백 기반 실데이터 검증(KEEP/REVIEW/REJECT)은 첫 제출(#1147)의 공식 점수가 나오고 PM이 확인한 뒤 진행합니다. 이 검증이 끝나야 #1143을 완료할 수 있습니다.
- 지금까지의 수치는 DEV 기준이며 노트북에서 측정했습니다. HOLDOUT과 공식 점수로는 아직 검증하지 않았습니다.
상이 Updated by 상재 이 15 days ago
- Status changed from In Progress to Closed
- % Done changed from 50 to 100
③ 제출 피드백 판정: KEEP (추가 제출 없음)¶
- 기준점: 첫 제출 S 6,418,339,340원, 114팀 중 111위 (11/02 16:09 기준). #1142 공식 baseline + #990 그룹 구성
- 판정 근거: #1143 범위에서 내부 CV(DEV) 채택 기준을 넘은 후보가 없어서, 추가 제출 없이 제출 baseline을 유지합니다.
- A1(M0): DEV 0.248844 (A0 0.2484보다 0.0004 나쁨)
- M2 XGBoost: mean Δ −0.001198, 1/4 fold → KEEP_REFERENCE
- M3 CatBoost: mean Δ +0.000753, 2/4 fold → KEEP_REFERENCE
- 넘기는 것
- 앙상블(M0+M2+M3, DEV +0.002275, 진단용)은 #1145에서 후보를 미리 정하고 정식 비교한 뒤 제출로 검증합니다.
- 상위권과의 차이(1위와 약 5,011만 원)는 페널티(예측 오차) 차이이므로 #1144(feature/residual)와 E4(계절 편향)에서 다룹니다.
- ①②: PR #205 merge (main 0f49e62)
- 결정: 이상재 (11/02). Slack으로 튜터님께 공지했습니다.
#1143을 100% / Closed로 처리합니다. 다음은 #1144를 진행합니다.
Actions