Project

General

Profile

Actions

Feature #1451

open
영조 영조

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

Feature #1467: [OIBC][11/04] 오늘 결과 도출 및 제출 후보 CSV 2개 생성

[OIBC][#1314-3] FS2+L1 기준 재결합 및 최종 투표 후보

Feature #1451: [OIBC][#1314-3] FS2+L1 기준 재결합 및 최종 투표 후보

Added by 영우 조 14 days ago. Updated 13 days ago.

Status:
In Progress
Priority:
Normal
Assignee:
Start date:
11/04/2026
Due date:
11/04/2026 (13 days late)
% Done:

50%

Estimated time:

Description

목표: Track A(#1440) FS2+L1이 확정되면 그 예측으로 #1314 결합을 다시 계산하고, 팀 투표용 최종 후보와 비교 자료를 만든다.

내용:

  • FS2+L1 3-seed 평균 OOF로 같은 DEV 평가 도구 재실행(기준값 재현 확인)
  • 결합 비율은 fold 하나를 빼고 정하는 방식 유지, 후보 비율 사전 등록
  • #1314-2 결과가 PASS면 새 배정 포함
  • 제출 CSV 생성, 팀 validator·주최 측 공개 validator PASS, 수아님 독립 QA 요청
  • 투표 자료: 구조도, fold별 그룹 벌점 표, 한계, 재현 명령·SHA

완료조건: 패키지 PASS, QA, PM 검토. 최종 채택은 팀 투표.
선행: #1314-2(순차 진행).

영조 Updated by 영우 조 14 days ago Actions #1

  • Due date changed from 11/07/2026 to 11/04/2026
  • Start date changed from 11/06/2026 to 11/04/2026
  • Parent task changed from #1314 to #1467

11/04 일별 상위 #1467의 04 단계로 이동(기존 상위 #1314).
PM #1456 판정 기준·출력 키(REFERENCE/BLEND_04_06/OTHER_LIMITED_BLEND 등)를 그대로 따르고, 사전 등록 후보만 비교한다.
A=FS2+L1 단독 / B=0.4·FS2+L1 + 0.6·Group-Direct / C=0.5·0.5, 0.6·0.4
HOLDOUT_USED_FOR_SELECTION=NO, 대규모 weight 탐색 없음.

영조 Updated by 영우 조 13 days ago Actions #2

  • Status changed from New to In Progress
  • % Done changed from 0 to 50

[#1451 DEV 재결합 결과 — #1456 기준·출력 키]

비교 조건: DEV 4 fold 그룹·시각 5,712행(중복 0), #990 배정, README 잠정 정산(D05 HOLD). 후보는 사전 등록한 A/B/C만 비교했고 비율 탐색은 하지 않았다.
Reference: LightGBM_FS2_L1_AVG3 (상재님 #1452 정식본, oof_dev SHA 9d5a75f4…, 그룹 합계 0.137398·발전소별 0.234348 재현 확인).
Group-Direct: #1314 v1 저장 DEV 그룹 예측(SHA b291b5d9…, 3설정 평균).

그룹 합계 가중 오차 / 잠정 벌점(JUL·OCT·JAN·FEB, 백만 원)
REFERENCE_RESULT(A, L1 단독) = 0.137398 / 68.308 (20.286·19.839·12.594·15.590)
GROUP_DIRECT_ONLY_RESULT = 0.133077 / 66.160 (19.687·19.334·12.641·14.498)
BLEND_04_06_RESULT(B) = 0.130249 / 64.754 (19.073·18.983·12.251·14.447)
OTHER_LIMITED_BLEND_RESULT = C 0.5/0.5: 0.130515 / 64.886, C 0.6/0.4: 0.131215 / 65.234

BEST_GROUP_DIRECT_CANDIDATE=B (0.4×FS2+L1 + 0.6×Group-Direct)
DEV_IMPROVEMENT=벌점 -5.2% (A 대비)
FOLD_IMPROVEMENT_COUNT=4/4 (B·C 모두 4/4)
BIAS_STATUS=전체 +0.09% (A +0.30%)
MIDDAY_BIAS_STATUS=MIXED — 11~15시 그룹 bias JAN +6.3%→+5.8%, FEB +2.4%→+1.3% 감소 / JUL -5.6%→-8.4% 과소예측 확대, OCT +0.8%→+2.5%
GROUP_ERROR_STATUS=4개 fold 모두 A 대비 감소
NaN/Inf/negative=0/0/0

HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO

한계

  • Group-Direct DEV 예측은 재학습하지 않은 v1 저장본이다. v1 전처리는 원본 parquet을 파일 단위로 읽고 시각 필터로 학습했다(잠금 기준 #1468 PM 확인 대기).
  • 10월 재현 차이는 #1469에서 확인 예정.
  • JUL·OCT는 224·252곳 코호트.
  • 제출 CSV에는 FS2+L1 평가기간 예측(test)이 필요하다.

GROUP_DIRECT_CANDIDATE_READY=NO (재현성·인계 #1469/#1470 완료 후 재판정)
NEXT_ACTION=#1469

영조 Updated by 영우 조 13 days ago Actions #3

[11/05 계획 및 현재 대기 — #1451 / #1314]

현재: 기존 FS2+L1과 Group-Direct 결합 결과는 note-2에 기록되어 있다. 새 LGBM+Cat 혼합 비교는 아직 미실행이며 실제 DEV OOF와 #1314 버전 대조가 선행되어야 한다. 상태 In Progress 50% 유지.

  1. 입력 수신: PM의 LGBM+Cat 50:50 완성 OOF 또는 LGBM/Cat avg3 개별 OOF 요청. 700,248행, fold·site_id·timestamp·actual·prediction, SHA 및 모델/데이터/split 출처 확인. 팀 내부로만 전달. 안내된 LGBM SHA a6d5e6a7…은 보유 파일 9d5a75f4…과 다르므로 동일본으로 가정 금지.
  2. 검증: 4개 fold 키와 실제값, 중복·누락·시각 기준, #990 mapping, SMP/k 대조. JUL 224 / OCT 252개소는 부분 코호트, JAN/FEB 253개소는 전체 코호트로 별도 보고.
  3. 사전 지정 단일 후보: 0.4 × (LGBM+Cat 50:50) + 0.6 × #1314 최종 후보. 두 원본 후보와 동일 키·기간·배정·가중치로 그룹별/기간별 가중오차 및 README 잠정 정산 비교. 수치 및 코드/입력 SHA 기록. 이 결합은 성능 검증 전이다.
  4. #1314 그룹 DEV b291b5d9…은 v1 보관본이다. 제출에 쓰인 코드와 재현 버전 및 학습 입력 접근 이력을 확인하고, v2 4-fold 재현본으로 오인하지 않는다. 일치 근거 부족 시 비교를 제한하거나 HOLD로 보고. note-2에 기록된 v1 전처리의 파일 단위 접근과 #1468의 잠금 기준 결정을 함께 확인한다.
  5. 완료조건: 검증표·재현 근거와 한계 기록, 독립 QA 및 PM 검수 후 완료 여부 결정. #1451 Closed 이후 #1468/#1314 후속 근거 보완을 순차 진행하며 PM #1473과 상재 #1452의 bias 진단 범위를 조율한다.

HOLDOUT 미열람·후보 선택 미사용, 외부 데이터와 리더보드 튜닝 금지. D05 HOLD: 내부 정산은 README 잠정이며 공식 점수나 수익 개선 확정이 아니다. 제출은 PM 판단과 별도 요청 후 진행.

팀 계획: https://app.slack.com/archives/C0CA39WAMGX/p1793784617851609

Actions

Also available in: PDF Atom