Project

General

Profile

Actions

Feature #1459

closed
길문 길문

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

Feature #1454: [OIBC][PM 11/04] 오늘 개인(문길래) 결과 도출 및 제출 여부 결정

[OIBC][PM 11/04-05] 최종 Artifact Freeze 및 제출 실행·Evidence 정리

Feature #1459: [OIBC][PM 11/04-05] 최종 Artifact Freeze 및 제출 실행·Evidence 정리

Added by 길래 문 14 days ago. Updated 13 days ago.

Status:
Closed
Priority:
High
Assignee:
Start date:
11/04/2026
Due date:
11/04/2026
% Done:

100%

Estimated time:

Description

[OIBC][PM 11/04-05] 최종 Artifact Freeze 및 제출 실행·Evidence 정리

■ 목적

PM_1104_04에서 SUBMIT=YES로 승인된 최종 후보에 대해
제출용 파일을 최종 확정하고,
validator 검증 → SHA / manifest 기록 → 실제 제출 → 결과 Evidence 정리까지 완료한다.

이번 일감에서는 모델 구조나 파라미터를 변경하지 않는다.
오직 승인된 최종 후보를 재현 가능한 제출 Artifact로 고정하고 제출하는 작업만 수행한다.

■ 입력 조건

PM_1104_04 결과:

FINAL_GATE_RESULT=PASS
SUBMIT=YES

아래 값이 이미 확정되어 있어야 한다.

FINAL_CANDIDATE=
FINAL_FORECAST=
FINAL_VPP=
FINAL_BLEND_POLICY=

새로운 후보 생성 및 재튜닝 금지.

■ 수행 내용

  1. 최종 Forecast Artifact 생성
  • forecast.csv 생성
  • 전체 평가기간 포함 여부 확인
  • 시간순 정렬 확인
  • VPP별 구조 확인
  • 제출 규격 확인

필수 QA:

  • expected row count 확인
  • duplicate = 0
  • NaN = 0
  • Inf = 0
  • negative prediction = 0
  • timestamp coverage = PASS
  • VPP key consistency = PASS
  1. 최종 VPP Composition 확정
  • composition.csv 생성 또는 승인된 기존 파일 재사용
  • 발전소 253개 전체 포함 확인
  • 중복 / 누락 없음
  • VPP 개수 = 2
  • 각 VPP ≥ 20MW 조건 확인

기존 #990을 사용하는 경우
해당 artifact SHA와 동일 여부를 기록한다.

  1. Validator 실행

최소:

  • 팀 내부 submission validator
  • 주최 측 공개 validator

결과:

TEAM_VALIDATOR=PASS|FAIL
OFFICIAL_PUBLIC_VALIDATOR=PASS|FAIL

둘 중 하나라도 FAIL이면 제출하지 않는다.

  1. Artifact Freeze

최종 제출 파일에 대해 SHA-256 기록:

COMPOSITION_SHA256=
FORECAST_SHA256=
MANIFEST_SHA256=

가능하면 최종 제출 ZIP도 생성:

SUBMISSION_ZIP=
SUBMISSION_ZIP_SHA256=

  1. Manifest 생성

최소 다음 내용을 기록:

  • candidate name
  • model
  • feature set
  • loss
  • seeds
  • blend policy
  • VPP policy
  • code commit
  • source data provenance
  • forecast SHA
  • composition SHA
  • validator 결과
  • 생성 시각
  1. 제출 직전 최종 Gate

다음 값이 모두 PASS일 때만 실제 제출한다.

FINAL_QA=PASS
TEAM_VALIDATOR=PASS
OFFICIAL_PUBLIC_VALIDATOR=PASS
ARTIFACT_FREEZE=PASS
MANIFEST=PASS

하나라도 실패하면:

SUBMISSION_EXECUTED=NO
SUBMIT_RESULT=HOLD

  1. 실제 제출

승인된 최종 Artifact 1개만 제출한다.

오늘 제출 기본 원칙:

  • 최종 승인 후보 1회 제출
  • 제출 직전 추가 수정 금지
  • 동일 후보 반복 제출 금지

제출 후 기록:

SUBMISSION_EXECUTED=YES
SUBMISSION_TIME=
SUBMISSION_ID=
SUBMISSION_SCORE=

공식 결과가 즉시 제공되지 않으면:

SUBMISSION_SCORE=PENDING

  1. 제출 결과 해석

제출 결과는 기록만 한다.

이번 제출 점수를 보고
같은 날 즉시 모델이나 파라미터를 다시 튜닝하지 않는다.

Leaderboard 결과는
다음 실험의 직접적인 tuning target으로 사용하지 않는다.

■ Evidence 정리

최종적으로 아래 Evidence를 남긴다.

  • 최종 Candidate
  • Forecast SHA
  • Composition SHA
  • Manifest SHA
  • ZIP SHA
  • Validator 결과
  • 제출 시각
  • 제출 결과 / score
  • Git commit / PR
  • 관련 Redmine 번호

■ 완료 조건

FINAL_CANDIDATE=
FINAL_FORECAST=
FINAL_VPP=
FINAL_BLEND_POLICY=

FORECAST_QA=PASS|FAIL
COMPOSITION_QA=PASS|FAIL

TEAM_VALIDATOR=PASS|FAIL
OFFICIAL_PUBLIC_VALIDATOR=PASS|FAIL

FORECAST_SHA256=
COMPOSITION_SHA256=
MANIFEST_SHA256=
SUBMISSION_ZIP_SHA256=

ARTIFACT_FREEZE=PASS|HOLD

SUBMISSION_EXECUTED=YES|NO
SUBMISSION_TIME=
SUBMISSION_ID=
SUBMISSION_SCORE=

PM_1104_05_RESULT=PASS|HOLD

■ 상위 일감 최종 보고

PM_1104_RESULT=PASS|HOLD

FINAL_CANDIDATE=
SUBMIT=YES|NO
SUBMISSION_RESULT=
SUBMISSION_SCORE=

NEXT_ACTION=

길문 Updated by 길래 문 13 days ago Actions #1

  • Status changed from New to Closed
  • % Done changed from 0 to 100

[#1459 최종 Artifact Freeze 및 제출 준비 완료]

PM_1104_05_RESULT=PASS

오늘 최종 승인된 후보에 대해 평가기간 prediction 생성, 제출 CSV 생성, QA, validator 검증, SHA freeze 및 Evidence 정리를 완료했습니다.

FINAL_CANDIDATE=LGBM+Cat 50:50
FINAL_FORECAST=0.5LightGBM_FS2_L1_AVG3 + 0.5CatBoost_FS2_L1_AVG3
FINAL_VPP=#990
FINAL_BLEND_POLICY=50:50

■ Final fit / Forecast

LightGBM:

  • FS2 + L1
  • seeds 11,22,33
  • 고정 #1443 설정 사용
  • 3-seed average 생성 완료

CatBoost:

  • FS2 + MAE/L1
  • seeds 11,22,33
  • 고정 #1443 설정 사용
  • 3-seed average 생성 완료

최종 forecast:

  • LightGBM avg3 50%
  • CatBoost avg3 50%
  • 추가 tuning / weight 변경 / post-processing 없음

기존 2025-02-28 training cutoff를 그대로 사용했습니다.

■ 최종 제출 파일

  1. composition.csv
    C:\dev\oibc-output\pm_1104_05\final_submission\composition.csv

SHA256:
933b670900ef0ee6c09eff7452d04c626e2945109430c5f98ba9a982bebda463

  • #990 reference와 byte-identical
  • 253 sites
  • G1=134 sites / 20,465.655 kW
  • G2=119 sites / 22,189.715 kW
  • VPP=2
  • 각 VPP >=20MW
  • 누락/중복 없음
  1. forecast.csv
    C:\dev\oibc-output\pm_1104_05\final_submission\forecast.csv

SHA256:
a8272…2963

  • 17,520 data rows
  • 2 VPP × 8,760 hours
  • duplicate=0
  • NaN=0
  • Inf=0
  • negative=0
  • evaluation time coverage PASS

■ Validator

TEAM_VALIDATOR=PASS

OFFICIAL_PUBLIC_VALIDATOR=PASS

공식 공개 validator 원본 SHA256:
8501d217e7336ce7c33aba9053a0fa3d0ef774524b8f00a22eb8096e56bae278

공식 Notion에서 확보한 원본과 SHA 일치 확인 후 실행했습니다.
해당 validator는 형식 검증용이며 공식 점수 계산기는 아닙니다.

■ Independent QA

최종 plant-level blend를 #990 기준으로 독립 재집계하여
forecast.csv와 전체 17,520 key를 비교했습니다.

  • key mismatch=0
  • 최대 차이=3.6e-12 kWh
  • duplicate=0
  • NaN=0
  • Inf=0
  • negative=0

■ Evidence

MANIFEST:
C:\dev\oibc-output\pm_1104_05\MANIFEST.json

MANIFEST_SHA256:
5cbb7db5…ce63

Evidence ZIP:
C:\dev\oibc-output\pm_1104_05\PM1104_05_evidence.zip

ZIP_SHA256:
072ec07b…d38c

ZIP 내부의 composition.csv / forecast.csv / manifest hash가
freeze된 최종 파일과 동일함을 확인했습니다.

■ Caveat

메모리 제약으로 기존 전체 fit 경로 대신 chunk 단위 feature 생성 후
동일 estimator에 공급하는 경로를 사용했습니다.

chunked-vs-whole feature 일치 검증은 PASS했습니다.

다만 #1443 prediction과 bit-for-bit 동일한 prediction을 생성하는지까지
재현 테스트하지는 않았고, 지시대로 DEV 재평가도 수행하지 않았습니다.

실행 코드는:
code\pm1459_final_fit.py

SHA:
4c803978…e45e

이며 Git에는 commit하지 않았습니다.

실행 worktree:
icn-solar-cad-agent-a4

HEAD:
754e726

해당 Git tree는 #214 merge commit
c3e9a796859e3d54c83966e6097067929ef18b5c
과 동일합니다.

■ Selection Guardrail

HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO
MODEL_SELECTION_REOPEN=NO
FINAL_CANDIDATE_CHANGE=NO
RETUNING_PERFORMED=NO

■ 최종 상태

FORECAST_QA=PASS
COMPOSITION_QA=PASS
TEAM_VALIDATOR=PASS
OFFICIAL_PUBLIC_VALIDATOR=PASS
ARTIFACT_FREEZE=PASS
SUBMISSION_READY=YES

SUBMISSION_EXECUTED=NO
SUBMISSION_STATUS=READY_FOR_MANUAL_UPLOAD

최종 업로드 파일:

  • composition.csv
  • forecast.csv

위 두 파일은 현재 freeze 상태이므로 추가 수정 없이 그대로 제출합니다.

제출 완료 후 아래 항목만 추가 기록 예정:

SUBMISSION_EXECUTED=YES
SUBMISSION_TIME=
SUBMISSION_ID=
SUBMISSION_SCORE=

PM_1104_05_RESULT=PASS
PM_1104_RESULT=PASS_PENDING_MANUAL_SUBMISSION
NEXT_ACTION=MANUAL_UPLOAD

Actions

Also available in: PDF Atom