Actions
Feature #1443
closed
상이
상이
Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료
Feature #1467: [OIBC][11/04] 오늘 결과 도출 및 제출 후보 CSV 2개 생성
[OIBC][Track A-4] 모델 앙상블 정식 판정 준비 (FS2 + L1 기준, 사전 등록 후보)
Feature #1443:
[OIBC][Track A-4] 모델 앙상블 정식 판정 준비 (FS2 + L1 기준, 사전 등록 후보)
Start date:
11/05/2026
Due date:
11/06/2026
% Done:
100%
Estimated time:
Description
핵심 질문¶
#1143 진단에서 본 모델 평균 효과(M0+M2+M3 +0.0023, FS0+L2 기준)가 새 기준 FS2 + L1 위에서도 정식 판정을 통과하는가
사전 등록 후보¶
- M0 + M2 + M3 (LightGBM + XGBoost + CatBoost 예측 평균)
- M0 + M3 (LightGBM + CatBoost 예측 평균)
- 결과를 보고 다른 조합을 추가하지 않음
할 일¶
- XGBoost·CatBoost에 L1 손실 추가 (판정 도구 loss 검사 포함)
- M2·M3를 FS2 + L1로 seed 3개 실행 (CatBoost 실행시간 고려, 저녁 실행)
- 앙상블 seed 짝 비교로 정식 판정
PASS 조건¶
- §5.2 ADOPT 조건 (기준 FS2 + L1 3-seed)
- 같은 코드·같은 환경 실행, HOLDOUT 미사용, Codex PASS
- 제출 후보로 올릴 때는 Track A-1과 같은 제출 게이트 적용
일정¶
11/05 이후 (Track A-1·A-3 우선)
길문 Updated by 길래 문 14 days ago
- Status changed from New to Closed
- % Done changed from 0 to 100
[#1443 Track A-4 3모델 Benchmark 완료 요약 — 2026-11-04]
LightGBM / XGBoost / CatBoost 3개 모델을 동일 조건에서 비교하는 Track A-4 benchmark를 완료했습니다.
공통 조건:
- Feature: FS2
- Loss: L1 / MAE-equivalent
- Seeds: 11, 22, 33
- DEV Folds: JUL / OCT / JAN / FEB
- 동일 cutoff / preprocessing / evaluation grid 사용
- HOLDOUT / leaderboard / submission feedback은 모델 선택에 사용하지 않음
결과:
- LightGBM DEV wMAE = 0.234348
- CatBoost DEV wMAE = 0.234536
- XGBoost DEV wMAE = 0.237215
순위:
- LightGBM
- CatBoost
- XGBoost
LightGBM과 CatBoost 차이는 0.000188로 매우 작아 단일 우승 모델로 확정하지 않고 REVIEW로 유지했습니다.
Fold별 우세:
- JUL: LightGBM
- OCT: LightGBM
- JAN: XGBoost
- FEB: CatBoost
따라서 모델별 강점이 달라 Ensemble 검토 가치가 있다고 판단했습니다.
ENSEMBLE_WORTH_TESTING=YES
#1145 검토 후보:
- LightGBM + XGBoost
- LightGBM + CatBoost
- XGBoost + CatBoost
- LightGBM + XGBoost + CatBoost
검증:
- OOF model당 700,248행
- duplicate / NaN / Inf / negative prediction = 0
- OIBC tests = 321 passed
- Full pytest = 634 passed, 5 skipped, 24 subtests passed
GitHub:
PR #214 MERGED
MERGE_METHOD=SQUASH
MERGE_SHA=c3e9a796859e3d54c83966e6097067929ef18b5c
최종 판정:
TRACK_1443_RESULT=PASS
REDMINE_1443_READY_TO_CLOSE=YES
NEXT_ACTION=#1145 Candidate / Ensemble Freeze
Actions