Project

General

Profile

Actions

Feature #1443

closed
상이 상이

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

Feature #1467: [OIBC][11/04] 오늘 결과 도출 및 제출 후보 CSV 2개 생성

[OIBC][Track A-4] 모델 앙상블 정식 판정 준비 (FS2 + L1 기준, 사전 등록 후보)

Feature #1443: [OIBC][Track A-4] 모델 앙상블 정식 판정 준비 (FS2 + L1 기준, 사전 등록 후보)

Added by 상재 이 14 days ago. Updated 14 days ago.

Status:
Closed
Priority:
Normal
Assignee:
Start date:
11/05/2026
Due date:
11/06/2026
% Done:

100%

Estimated time:

Description

핵심 질문

#1143 진단에서 본 모델 평균 효과(M0+M2+M3 +0.0023, FS0+L2 기준)가 새 기준 FS2 + L1 위에서도 정식 판정을 통과하는가

사전 등록 후보

  • M0 + M2 + M3 (LightGBM + XGBoost + CatBoost 예측 평균)
  • M0 + M3 (LightGBM + CatBoost 예측 평균)
  • 결과를 보고 다른 조합을 추가하지 않음

할 일

  • XGBoost·CatBoost에 L1 손실 추가 (판정 도구 loss 검사 포함)
  • M2·M3를 FS2 + L1로 seed 3개 실행 (CatBoost 실행시간 고려, 저녁 실행)
  • 앙상블 seed 짝 비교로 정식 판정

PASS 조건

  • §5.2 ADOPT 조건 (기준 FS2 + L1 3-seed)
  • 같은 코드·같은 환경 실행, HOLDOUT 미사용, Codex PASS
  • 제출 후보로 올릴 때는 Track A-1과 같은 제출 게이트 적용

일정

11/05 이후 (Track A-1·A-3 우선)

길문 Updated by 길래 문 14 days ago Actions #1

  • Status changed from New to Closed
  • % Done changed from 0 to 100

[#1443 Track A-4 3모델 Benchmark 완료 요약 — 2026-11-04]

LightGBM / XGBoost / CatBoost 3개 모델을 동일 조건에서 비교하는 Track A-4 benchmark를 완료했습니다.

공통 조건:

  • Feature: FS2
  • Loss: L1 / MAE-equivalent
  • Seeds: 11, 22, 33
  • DEV Folds: JUL / OCT / JAN / FEB
  • 동일 cutoff / preprocessing / evaluation grid 사용
  • HOLDOUT / leaderboard / submission feedback은 모델 선택에 사용하지 않음

결과:

  • LightGBM DEV wMAE = 0.234348
  • CatBoost DEV wMAE = 0.234536
  • XGBoost DEV wMAE = 0.237215

순위:

  1. LightGBM
  2. CatBoost
  3. XGBoost

LightGBM과 CatBoost 차이는 0.000188로 매우 작아 단일 우승 모델로 확정하지 않고 REVIEW로 유지했습니다.

Fold별 우세:

  • JUL: LightGBM
  • OCT: LightGBM
  • JAN: XGBoost
  • FEB: CatBoost

따라서 모델별 강점이 달라 Ensemble 검토 가치가 있다고 판단했습니다.

ENSEMBLE_WORTH_TESTING=YES

#1145 검토 후보:

  • LightGBM + XGBoost
  • LightGBM + CatBoost
  • XGBoost + CatBoost
  • LightGBM + XGBoost + CatBoost

검증:

  • OOF model당 700,248행
  • duplicate / NaN / Inf / negative prediction = 0
  • OIBC tests = 321 passed
  • Full pytest = 634 passed, 5 skipped, 24 subtests passed

GitHub:
PR #214 MERGED
MERGE_METHOD=SQUASH
MERGE_SHA=c3e9a796859e3d54c83966e6097067929ef18b5c

최종 판정:
TRACK_1443_RESULT=PASS
REDMINE_1443_READY_TO_CLOSE=YES
NEXT_ACTION=#1145 Candidate / Ensemble Freeze

상이 Updated by 상재 이 14 days ago Actions #2

  • Parent task changed from #980 to #1467

11/04 운영 방식 변경(학생별 날짜 상위 일감)에 따라 상위 일감을 #980 → #1467로 옮김. E4 이후 Track A(이상재) 작업.

Actions

Also available in: PDF Atom