Project

General

Profile

Actions

Feature #1472

open
길문 길문

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

[OIBC][PM 11/05] 현재 최고 Group-Direct 후보 기반 제한 개선 및 차기 제출 여부 결정[문길래]

Feature #1472: [OIBC][PM 11/05] 현재 최고 Group-Direct 후보 기반 제한 개선 및 차기 제출 여부 결정[문길래]

Added by 길래 문 13 days ago. Updated 13 days ago.

Status:
New
Priority:
High
Assignee:
Start date:
11/04/2026
Due date:
11/05/2026 (12 days late)
% Done:

2%

Estimated time:
(Total: 0:00 h)

Description

[OIBC][PM 11/05] 현재 최고 Group-Direct 후보 기반 제한 개선 및 차기 제출 여부 결정

■ 목적

11/04까지의 공식 제출 결과에서 현재 최고 기록을 만든

0.4 × FS2+L1
+
0.6 × Group-Direct

후보를 새로운 PM 기준선으로 확정하고,

현재 후보의 residual / group bias / blend 구조를 제한적으로 분석하여
11/05 추가 제출 가치가 있는 개선 후보 1개를 도출하거나,
개선 근거가 부족하면 현재 최고 후보를 유지하고 제출하지 않는 결정을 내린다.

이번 작업은 PM 문길래 개인 작업으로 진행한다.

새로운 대규모 모델 탐색이 아니라
현재 최고 후보의 명확한 약점만 제한적으로 개선하는 것이 목적이다.

■ 현재 최고 제출 Reference

CURRENT_BEST_SUBMISSION=#5

CURRENT_BEST_SCORE=6,436,427,653

CURRENT_BEST_CANDIDATE=
0.4 × FS2+L1
+
0.6 × Group-Direct

CURRENT_VPP=#990

5차 제출 관련 DEV 근거:

FS2+L1 단독 Group diagnostic:
68.308M

Group-Direct Blend:
64.754M

DEV Group 기준 4/4 fold 개선

기존 보고 기준:
전체 group weighted error
0.137398 → 0.130562 수준의 개선 확인

단,
이 값들은 DEV 내부 diagnostic이며 공식 scorer 점수가 아니다.

■ 현재까지 제출 결과

Submission #1
6,418,339,340

Submission #2
6,424,865,945

Submission #3
6,434,253,664
LGBM+Cat 50:50

Submission #4
6,432,240,523
L2+L1 50:50

Submission #5
6,436,427,653
0.4×FS2+L1 + 0.6×Group-Direct

현재 최고는 Submission #5.

중요:
공식 점수는 현재 최고 후보 식별에만 사용한다.

다음 후보의:

  • blend 비율
  • correction 강도
  • 모델 선택
  • feature 선택

에 leaderboard 결과를 사용하지 않는다.

■ 11/05 핵심 질문

  1. 현재 최고 Group-Direct Blend의 residual에 반복적인 구조가 있는가?
  2. G1 / G2 또는 특정 시간대에서 systematic bias가 존재하는가?
  3. 제한적인 correction으로 현재 최고 후보를 안정적으로 개선할 수 있는가?
  4. FS2+L1 / Group-Direct 비율을 제한된 소수 후보에서 비교했을 때
    현재 0.4/0.6보다 명확히 나은 조합이 존재하는가?
  5. 최종 후보가 실제 추가 제출할 만큼 충분한 개선 근거를 가지는가?

■ 진행 단계

  1. 현재 최고 후보 Residual / Bias 구조 진단
  2. 제한 Bias / Group Correction 검증
  3. FS2+L1 / Group-Direct 제한 Blend Sensitivity 검증
  4. 최종 후보 비교 및 제출 Gate 판정
  5. SUBMIT=YES인 경우 Artifact Freeze 및 실제 제출

■ 원칙

  • HOLDOUT을 후보 선택에 사용하지 않는다.
  • leaderboard 결과를 tuning에 사용하지 않는다.
  • Submission feedback 기반 파라미터 최적화를 하지 않는다.
  • 새로운 대규모 model search를 진행하지 않는다.
  • 새로운 feature set 전면 개발을 하지 않는다.
  • 새로운 VPP partition 탐색을 하지 않는다.
  • 기존 Evidence를 최대한 재사용한다.

■ 완료 조건

PM_1105_RESULT=PASS|HOLD

BASELINE_CANDIDATE=
BEST_NEW_CANDIDATE=

BASELINE_DEV_RESULT=
BEST_DEV_RESULT=

BASELINE_GROUP_ERROR=
BEST_GROUP_ERROR=

BASELINE_BIAS=
BEST_BIAS=

SUBMIT=YES|NO
SUBMIT_REASON=

SUBMISSION_EXECUTED=YES|NO
SUBMISSION_SCORE=

HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO

NEXT_ACTION=


Subtasks 5 (5 open — 0 closed)

Feature #1473: [OIBC][PM 11/05-01] 현재 최고 Group-Direct Blend Residual / Bias 구조 진단New길래 문11/04/202611/05/2026

Actions
Feature #1474: [OIBC][PM 11/05-02] 최고 Group-Direct 후보 Bias / Group Residual 제한 Correction 검증New길래 문11/04/202611/05/2026

Actions
Feature #1475: [OIBC][PM 11/05-03] FS2+L1 / Group-Direct 제한 Blend Sensitivity 검증New길래 문11/04/202611/05/2026

Actions
Feature #1476: [OIBC][PM 11/05-04] 최종 개선 후보 비교 및 제출 Gate 판정New길래 문11/04/202611/05/2026

Actions
Feature #1477: [OIBC][PM 11/05-05] 최종 Artifact Freeze 및 추가 제출·Evidence 정리New길래 문11/04/202611/05/2026

Actions
Actions

Also available in: PDF Atom