Feature #1459
closedFeature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료
Feature #1454: [OIBC][PM 11/04] 오늘 개인(문길래) 결과 도출 및 제출 여부 결정
[OIBC][PM 11/04-05] 최종 Artifact Freeze 및 제출 실행·Evidence 정리
100%
Description
[OIBC][PM 11/04-05] 최종 Artifact Freeze 및 제출 실행·Evidence 정리
■ 목적
PM_1104_04에서 SUBMIT=YES로 승인된 최종 후보에 대해
제출용 파일을 최종 확정하고,
validator 검증 → SHA / manifest 기록 → 실제 제출 → 결과 Evidence 정리까지 완료한다.
이번 일감에서는 모델 구조나 파라미터를 변경하지 않는다.
오직 승인된 최종 후보를 재현 가능한 제출 Artifact로 고정하고 제출하는 작업만 수행한다.
■ 입력 조건
PM_1104_04 결과:
FINAL_GATE_RESULT=PASS
SUBMIT=YES
아래 값이 이미 확정되어 있어야 한다.
FINAL_CANDIDATE=
FINAL_FORECAST=
FINAL_VPP=
FINAL_BLEND_POLICY=
새로운 후보 생성 및 재튜닝 금지.
■ 수행 내용
- 최종 Forecast Artifact 생성
- forecast.csv 생성
- 전체 평가기간 포함 여부 확인
- 시간순 정렬 확인
- VPP별 구조 확인
- 제출 규격 확인
필수 QA:
- expected row count 확인
- duplicate = 0
- NaN = 0
- Inf = 0
- negative prediction = 0
- timestamp coverage = PASS
- VPP key consistency = PASS
- 최종 VPP Composition 확정
- composition.csv 생성 또는 승인된 기존 파일 재사용
- 발전소 253개 전체 포함 확인
- 중복 / 누락 없음
- VPP 개수 = 2
- 각 VPP ≥ 20MW 조건 확인
기존 #990을 사용하는 경우
해당 artifact SHA와 동일 여부를 기록한다.
- Validator 실행
최소:
- 팀 내부 submission validator
- 주최 측 공개 validator
결과:
TEAM_VALIDATOR=PASS|FAIL
OFFICIAL_PUBLIC_VALIDATOR=PASS|FAIL
둘 중 하나라도 FAIL이면 제출하지 않는다.
- Artifact Freeze
최종 제출 파일에 대해 SHA-256 기록:
COMPOSITION_SHA256=
FORECAST_SHA256=
MANIFEST_SHA256=
가능하면 최종 제출 ZIP도 생성:
SUBMISSION_ZIP=
SUBMISSION_ZIP_SHA256=
- Manifest 생성
최소 다음 내용을 기록:
- candidate name
- model
- feature set
- loss
- seeds
- blend policy
- VPP policy
- code commit
- source data provenance
- forecast SHA
- composition SHA
- validator 결과
- 생성 시각
- 제출 직전 최종 Gate
다음 값이 모두 PASS일 때만 실제 제출한다.
FINAL_QA=PASS
TEAM_VALIDATOR=PASS
OFFICIAL_PUBLIC_VALIDATOR=PASS
ARTIFACT_FREEZE=PASS
MANIFEST=PASS
하나라도 실패하면:
SUBMISSION_EXECUTED=NO
SUBMIT_RESULT=HOLD
- 실제 제출
승인된 최종 Artifact 1개만 제출한다.
오늘 제출 기본 원칙:
- 최종 승인 후보 1회 제출
- 제출 직전 추가 수정 금지
- 동일 후보 반복 제출 금지
제출 후 기록:
SUBMISSION_EXECUTED=YES
SUBMISSION_TIME=
SUBMISSION_ID=
SUBMISSION_SCORE=
공식 결과가 즉시 제공되지 않으면:
SUBMISSION_SCORE=PENDING
- 제출 결과 해석
제출 결과는 기록만 한다.
이번 제출 점수를 보고
같은 날 즉시 모델이나 파라미터를 다시 튜닝하지 않는다.
Leaderboard 결과는
다음 실험의 직접적인 tuning target으로 사용하지 않는다.
■ Evidence 정리
최종적으로 아래 Evidence를 남긴다.
- 최종 Candidate
- Forecast SHA
- Composition SHA
- Manifest SHA
- ZIP SHA
- Validator 결과
- 제출 시각
- 제출 결과 / score
- Git commit / PR
- 관련 Redmine 번호
■ 완료 조건
FINAL_CANDIDATE=
FINAL_FORECAST=
FINAL_VPP=
FINAL_BLEND_POLICY=
FORECAST_QA=PASS|FAIL
COMPOSITION_QA=PASS|FAIL
TEAM_VALIDATOR=PASS|FAIL
OFFICIAL_PUBLIC_VALIDATOR=PASS|FAIL
FORECAST_SHA256=
COMPOSITION_SHA256=
MANIFEST_SHA256=
SUBMISSION_ZIP_SHA256=
ARTIFACT_FREEZE=PASS|HOLD
SUBMISSION_EXECUTED=YES|NO
SUBMISSION_TIME=
SUBMISSION_ID=
SUBMISSION_SCORE=
PM_1104_05_RESULT=PASS|HOLD
■ 상위 일감 최종 보고
PM_1104_RESULT=PASS|HOLD
FINAL_CANDIDATE=
SUBMIT=YES|NO
SUBMISSION_RESULT=
SUBMISSION_SCORE=
NEXT_ACTION=
길문 Updated by 길래 문 13 days ago
- Status changed from New to Closed
- % Done changed from 0 to 100
[#1459 최종 Artifact Freeze 및 제출 준비 완료]
PM_1104_05_RESULT=PASS
오늘 최종 승인된 후보에 대해 평가기간 prediction 생성, 제출 CSV 생성, QA, validator 검증, SHA freeze 및 Evidence 정리를 완료했습니다.
FINAL_CANDIDATE=LGBM+Cat 50:50
FINAL_FORECAST=0.5LightGBM_FS2_L1_AVG3 + 0.5CatBoost_FS2_L1_AVG3
FINAL_VPP=#990
FINAL_BLEND_POLICY=50:50
■ Final fit / Forecast
LightGBM:
- FS2 + L1
- seeds 11,22,33
- 고정 #1443 설정 사용
- 3-seed average 생성 완료
CatBoost:
- FS2 + MAE/L1
- seeds 11,22,33
- 고정 #1443 설정 사용
- 3-seed average 생성 완료
최종 forecast:
- LightGBM avg3 50%
- CatBoost avg3 50%
- 추가 tuning / weight 변경 / post-processing 없음
기존 2025-02-28 training cutoff를 그대로 사용했습니다.
■ 최종 제출 파일
- composition.csv
C:\dev\oibc-output\pm_1104_05\final_submission\composition.csv
SHA256:
933b670900ef0ee6c09eff7452d04c626e2945109430c5f98ba9a982bebda463
- #990 reference와 byte-identical
- 253 sites
- G1=134 sites / 20,465.655 kW
- G2=119 sites / 22,189.715 kW
- VPP=2
- 각 VPP >=20MW
- 누락/중복 없음
- forecast.csv
C:\dev\oibc-output\pm_1104_05\final_submission\forecast.csv
SHA256:
a8272…2963
- 17,520 data rows
- 2 VPP × 8,760 hours
- duplicate=0
- NaN=0
- Inf=0
- negative=0
- evaluation time coverage PASS
■ Validator
TEAM_VALIDATOR=PASS
OFFICIAL_PUBLIC_VALIDATOR=PASS
공식 공개 validator 원본 SHA256:
8501d217e7336ce7c33aba9053a0fa3d0ef774524b8f00a22eb8096e56bae278
공식 Notion에서 확보한 원본과 SHA 일치 확인 후 실행했습니다.
해당 validator는 형식 검증용이며 공식 점수 계산기는 아닙니다.
■ Independent QA
최종 plant-level blend를 #990 기준으로 독립 재집계하여
forecast.csv와 전체 17,520 key를 비교했습니다.
- key mismatch=0
- 최대 차이=3.6e-12 kWh
- duplicate=0
- NaN=0
- Inf=0
- negative=0
■ Evidence
MANIFEST:
C:\dev\oibc-output\pm_1104_05\MANIFEST.json
MANIFEST_SHA256:
5cbb7db5…ce63
Evidence ZIP:
C:\dev\oibc-output\pm_1104_05\PM1104_05_evidence.zip
ZIP_SHA256:
072ec07b…d38c
ZIP 내부의 composition.csv / forecast.csv / manifest hash가
freeze된 최종 파일과 동일함을 확인했습니다.
■ Caveat
메모리 제약으로 기존 전체 fit 경로 대신 chunk 단위 feature 생성 후
동일 estimator에 공급하는 경로를 사용했습니다.
chunked-vs-whole feature 일치 검증은 PASS했습니다.
다만 #1443 prediction과 bit-for-bit 동일한 prediction을 생성하는지까지
재현 테스트하지는 않았고, 지시대로 DEV 재평가도 수행하지 않았습니다.
실행 코드는:
code\pm1459_final_fit.py
SHA:
4c803978…e45e
이며 Git에는 commit하지 않았습니다.
실행 worktree:
icn-solar-cad-agent-a4
HEAD:
754e726
해당 Git tree는 #214 merge commit
c3e9a796859e3d54c83966e6097067929ef18b5c
과 동일합니다.
■ Selection Guardrail
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO
MODEL_SELECTION_REOPEN=NO
FINAL_CANDIDATE_CHANGE=NO
RETUNING_PERFORMED=NO
■ 최종 상태
FORECAST_QA=PASS
COMPOSITION_QA=PASS
TEAM_VALIDATOR=PASS
OFFICIAL_PUBLIC_VALIDATOR=PASS
ARTIFACT_FREEZE=PASS
SUBMISSION_READY=YES
SUBMISSION_EXECUTED=NO
SUBMISSION_STATUS=READY_FOR_MANUAL_UPLOAD
최종 업로드 파일:
- composition.csv
- forecast.csv
위 두 파일은 현재 freeze 상태이므로 추가 수정 없이 그대로 제출합니다.
제출 완료 후 아래 항목만 추가 기록 예정:
SUBMISSION_EXECUTED=YES
SUBMISSION_TIME=
SUBMISSION_ID=
SUBMISSION_SCORE=
PM_1104_05_RESULT=PASS
PM_1104_RESULT=PASS_PENDING_MANUAL_SUBMISSION
NEXT_ACTION=MANUAL_UPLOAD