Project

General

Profile

Actions

Feature #1143

closed
상이 상이

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

[OIBC] 제출 피드백 기반 Nonlinear Forecast 모델 비교

Feature #1143: [OIBC] 제출 피드백 기반 Nonlinear Forecast 모델 비교

Added by 상재 이 21 days ago. Updated 15 days ago.

Status:
Closed
Priority:
Normal
Assignee:
Start date:
11/03/2026
Due date:
11/06/2026
% Done:

100%

Estimated time:

Description

Baseline 결과를 기준으로 LightGBM/XGBoost/CatBoost 등 후보를 동일 Validation 조건에서 비교. 내부 CV가 개선된 후보만 제출하고 공식 결과와 비교하여 KEEP/REVIEW/REJECT 판단

상이 Updated by 상재 이 16 days ago Actions #1

  • Status changed from New to In Progress
  • % Done changed from 0 to 10

시작 (10%) — 2026-11-02

PM 공지(11/02)에 따라 첫 제출 흐름을 방해하지 않는 범위에서 병행합니다. #1142는 완료됐습니다(PR #204 머지, Resolved 100%).

지금 진행하는 것 (DEV 내부 실험, #1125·#1127·#1128 결과만 사용)

  1. 고정 seed 지원: 모델이 실제로 seed를 받아 쓰도록 하고, 기본값은 random_state=None으로 유지합니다(#1142 안전장치 보존)
  2. LightGBM deterministic 설정과 재현성 확인 (같은 seed·환경에서 다시 돌려 같은 결과가 나오는지)
  3. 실행 환경·버전 차이의 영향 확인 (한 번에 한 조건만 바꿔 비교)
  4. E0b(기준선 A1) → E1 모델 비교(LightGBM·XGBoost·CatBoost, seed {11, 22, 33} 짝 비교, #1127 채택 규칙)

기다리는 것

  • 개선 후보 제출과 공식 결과 비교에 따른 KEEP/REVIEW/REJECT 판정은 첫 제출(#1147) 결과가 나온 뒤에 진행합니다

지킬 것: HOLDOUT_USED_FOR_SELECTION=NO / FUTURE_INFORMATION_USED=NO / SUBMISSION_FEEDBACK_OVERFIT=NO / D05 HOLD

상이 Updated by 상재 이 15 days ago Actions #2

  • % Done changed from 10 to 50

PR #205 merge 완료 (main 0f49e62). ①② 완료, 진행률 50%로 변경합니다. In Progress 유지합니다.

  • ① 고정 seed 재현성: 같은 조건으로 다시 실행하면 결과가 비트 단위까지 같습니다. n_jobs만 바꾸면 최대 3.25e-9 kWh 차이가 나서, 비교 실험에서는 n_jobs를 맞춥니다.
  • ② E1 모델 비교 (seed 11/22/33, DEV fold 4개)
    • M2 XGBoost: mean Δ −0.001198, 1/4 fold 개선 → KEEP_REFERENCE
    • M3 CatBoost: mean Δ +0.000753, 2/4 fold 개선 → KEEP_REFERENCE
    • E1 승자: M0 LightGBM (DEV wMAE 0.248844, A0 0.2484)
  • E6 미리보기 (진단용, 판정 아님): M0+M2+M3 +0.002275, 4/4 fold 개선. 결과를 본 뒤 고른 조합이라 #1145에서 후보를 미리 정하고 다시 비교합니다.
  • 검증: Codex ① PASS, ② v4 재검토 PASS (남은 지적 없음), pytest 119 passed
  • 문서: docs/SEED_REPRODUCIBILITY_1143.md, docs/E1_MODEL_COMPARISON_1143.md, REVIEW_NOTES_1143.md

남은 것 (완료 조건)

  • ③ 제출 피드백 기반 실데이터 검증(KEEP/REVIEW/REJECT)은 첫 제출(#1147)의 공식 점수가 나오고 PM이 확인한 뒤 진행합니다. 이 검증이 끝나야 #1143을 완료할 수 있습니다.
  • 지금까지의 수치는 DEV 기준이며 노트북에서 측정했습니다. HOLDOUT과 공식 점수로는 아직 검증하지 않았습니다.

상이 Updated by 상재 이 15 days ago Actions #3

  • Status changed from In Progress to Closed
  • % Done changed from 50 to 100

③ 제출 피드백 판정: KEEP (추가 제출 없음)

  • 기준점: 첫 제출 S 6,418,339,340원, 114팀 중 111위 (11/02 16:09 기준). #1142 공식 baseline + #990 그룹 구성
  • 판정 근거: #1143 범위에서 내부 CV(DEV) 채택 기준을 넘은 후보가 없어서, 추가 제출 없이 제출 baseline을 유지합니다.
    • A1(M0): DEV 0.248844 (A0 0.2484보다 0.0004 나쁨)
    • M2 XGBoost: mean Δ −0.001198, 1/4 fold → KEEP_REFERENCE
    • M3 CatBoost: mean Δ +0.000753, 2/4 fold → KEEP_REFERENCE
  • 넘기는 것
    • 앙상블(M0+M2+M3, DEV +0.002275, 진단용)은 #1145에서 후보를 미리 정하고 정식 비교한 뒤 제출로 검증합니다.
    • 상위권과의 차이(1위와 약 5,011만 원)는 페널티(예측 오차) 차이이므로 #1144(feature/residual)와 E4(계절 편향)에서 다룹니다.
  • ①②: PR #205 merge (main 0f49e62)
  • 결정: 이상재 (11/02). Slack으로 튜터님께 공지했습니다.

#1143을 100% / Closed로 처리합니다. 다음은 #1144를 진행합니다.

Actions

Also available in: PDF Atom