Project

General

Profile

Actions

Feature #1475

open
길문 길문

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

Feature #1472: [OIBC][PM 11/05] 현재 최고 Group-Direct 후보 기반 제한 개선 및 차기 제출 여부 결정[문길래]

[OIBC][PM 11/05-03] FS2+L1 / Group-Direct 제한 Blend Sensitivity 검증

Feature #1475: [OIBC][PM 11/05-03] FS2+L1 / Group-Direct 제한 Blend Sensitivity 검증

Added by 길래 문 13 days ago. Updated 13 days ago.

Status:
New
Priority:
Normal
Assignee:
Start date:
11/04/2026
Due date:
11/05/2026 (12 days late)
% Done:

0%

Estimated time:

Description

[OIBC][PM 11/05-03] FS2+L1 / Group-Direct 제한 Blend Sensitivity 검증

■ 목적

현재 최고 후보의 핵심 구조인

FS2+L1
+
Group-Direct

비율을 제한된 소수 후보에서만 비교하여,
현재 0.4/0.6 비율이 안정적인지 확인한다.

이번 일감은 weight optimization이 아니다.

사전에 정의한 3개 비율만 비교한다.

■ 기준 후보

CURRENT_BASELINE=
0.4FS2+L1 + 0.6Group-Direct

■ 사전 고정 후보

A.
0.5 × FS2+L1
+
0.5 × Group-Direct

B.
0.4 × FS2+L1
+
0.6 × Group-Direct

C.
0.3 × FS2+L1
+
0.7 × Group-Direct

정확히 이 3개만 비교한다.

추가 비율 탐색 금지.

■ 중요

5차 제출 점수가 가장 높았다는 사실은
현재 baseline 식별에만 사용한다.

0.4/0.6이 leaderboard에서 좋았다는 이유로
DEV 선택을 유도하지 않는다.

비율 비교는 DEV Evidence만 사용한다.

■ 수행 내용

각 후보별:

  • Overall DEV
  • JUL
  • OCT
  • JAN
  • FEB
  • Group total error
  • G1 error
  • G2 error
  • Overall bias
  • Midday bias
  • Fold improvement count
  • QA

■ Near-tie 기준

DEV absolute delta <= 0.0005이면
near-tie로 분류.

Near-tie이면:

  • Group error
  • Bias
  • Fold consistency
  • Operational simplicity

를 함께 판단한다.

■ 비율 변경 기준

0.4/0.6에서 변경하려면:

  • Overall DEV 개선
  • Group error 개선 또는 최소 동등
  • Bias 악화 없음
  • 특정 한 fold에 의존하지 않음

이 모두 충분해야 한다.

그렇지 않으면:

KEEP_04_06=YES

■ 금지

  • 0.45/0.55
  • 0.35/0.65
  • 0.25/0.75
  • fold별 weight
  • season별 weight
  • site별 weight
  • leaderboard 기반 weight 선택

■ 완료 조건

PM_1105_03_RESULT=PASS|HOLD

BLEND_05_05_DEV=
BLEND_05_05_GROUP=
BLEND_05_05_BIAS=

BLEND_04_06_DEV=
BLEND_04_06_GROUP=
BLEND_04_06_BIAS=

BLEND_03_07_DEV=
BLEND_03_07_GROUP=
BLEND_03_07_BIAS=

BEST_DEV_BLEND=
BEST_GROUP_BLEND=
BEST_BIAS_BLEND=

BEST_LIMITED_BLEND=

KEEP_04_06=YES|NO
BLEND_CHANGE_JUSTIFIED=YES|NO

NEXT_ACTION=PM_1105_04

길문 Updated by 길래 문 13 days ago Actions #1

  • Subject changed from [OIBC][PM 11/05-03] LGBM / CatBoost 제한 Blend Sensitivity 검증 to [OIBC][PM 11/05-03] FS2+L1 / Group-Direct 제한 Blend Sensitivity 검증
  • Description updated (diff)
Actions

Also available in: PDF Atom