Feature #1477
Updated by 길래 문 13 days ago
[OIBC][PM 11/05-05] 최종 Artifact Freeze 및 추가 제출·Evidence 정리
■ 목적
PM_1105_04에서 SUBMIT=YES로 승인된 최종 후보에 대해
제출용 artifact를 재현 가능한 상태로 고정하고,
- final evaluation prediction
- composition.csv
- forecast.csv
- validator
- SHA
- manifest
- Evidence
- 실제 제출
- Git 기록 제출 결과 Evidence
까지 완료한다.
SUBMIT=NO이면 본 일감은 SKIP_WITH_REASON으로 종료한다. 이번 단계에서는 모델 선택이나 성능 비교를 다시 하지 않는다.
PM_1105_04에서 확정된 후보를 그대로 제출 artifact로 만드는 것이 목적이다.
■ 선행 조건
PM_1105_04 결과:
PM_1105_04_RESULT=PASS
SUBMIT=YES
아래 항목이 이미 확정되어 있어야 한다.
FINAL_CANDIDATE=
FINAL_FORECAST=
FINAL_VPP=
FINAL_BLEND_POLICY=
FINAL_CORRECTION_POLICY=
SUBMIT=NO인 경우 본 일감은:
PM_1105_05_RESULT=SKIP_WITH_REASON
으로 종료한다.
■ 현재 비교 기준
현재 최고 공식 제출:
CURRENT_BEST_SUBMISSION=#3
CURRENT_BEST_SCORE=6,434,253,664
CURRENT_BEST_CANDIDATE=
LGBM+Cat 50:50
단,
이 점수는 이번 artifact 생성 과정에서
모델이나 parameter를 변경하는 근거로 사용하지 않는다.
■ 수행 내용 원칙
1. Final 이번 단계에서 허용되는 작업:
- 이미 승인된 fixed model/config를 이용한 final fit
- evaluation prediction 생성
2. - 승인된 blend 적용
- 승인된 correction 적용
- #990 composition 확정 VPP aggregation
3. forecast.csv - submission CSV 생성
4. composition.csv 생성/재사용
5. Team - validator 실행
6. Official public validator
7. - SHA freeze 계산
8. Manifest - manifest 생성
9. Evidence ZIP
10. - 실제 제출
금지:
- 새로운 model
11. 결과 기록 - 새로운 feature
12. - 새로운 seed
- hyperparameter 변경
- correction coefficient 변경
- blend weight 변경
- DEV 재선택
- HOLDOUT selection
- leaderboard 기반 tuning
- submission feedback 기반 tuning
MODEL_SELECTION_REOPEN=NO
FINAL_CANDIDATE_CHANGE=NO
■ 1. 현재 Git Evidence 문서 생성 및 PR/Merge / Artifact 상태 확인
■ 먼저 아래를 확인한다.
- current branch
- HEAD SHA
- git status
- worktree
- uncommitted files
- 현재 main과의 차이
기존 artifact나 다른 작업자의 파일을
삭제 / reset / clean / overwrite 하지 않는다.
출력은 11/05 전용 경로를 사용한다.
예:
C:\dev\oibc-output\pm_1105_05\
최종 제출 파일 디렉터리:
composition.csv C:\dev\oibc-output\pm_1105_05\final_submission\
■ 2. 최종 Candidate 고정 확인
PM_1105_04의 값을 그대로 사용한다.
FINAL_CANDIDATE=
forecast.csv FINAL_FORECAST=
FINAL_VPP=#990
FINAL_BLEND_POLICY=
FINAL_CORRECTION_POLICY=
이 단계에서 값 변경 금지.
■ QA 3. Final Fit / Evaluation Prediction 생성
FORECAST: 필요한 경우 승인된 fixed configuration으로
evaluation prediction을 생성한다.
기존 evaluation prediction artifact가 있고
provenance가 충분하면 재사용한다.
없다면 final fit을 수행할 수 있다.
단, final fit은 productionization을 위한 것이며
tuning이 아니다.
반드시 고정:
- 8,760 timestamps feature contract
- training cutoff
- seeds
- estimator parameters
- preprocessing
- night/clip policy
를 유지한다.
■ 4. Evaluation Grid 확인
공식 evaluation period:
2025-06-01 01:00 KST
~
2026-06-01 00:00 KST
EXPECTED_TIMESTAMP_COUNT=8760
VPP=2
기본 forecast data row:
8760 × 2 VPP = 17,520
실제 submission schema는
기존 successful pipeline을 기준으로 확인한다.
■ 5. Final Forecast 생성
PM_1105_04에서 승인된 정책을 정확히 적용한다.
예:
- duplicate=0 baseline blend
- NaN=0 limited blend
- Inf=0 approved bias correction
- negative=0 approved group correction
COMPOSITION: 중요:
결과 확인 후 추가 보정 금지.
최종 plant-level prediction에 대해:
- site
- timestamp
- row count
- duplicate
- NaN
- Inf
- negative
- key alignment
을 확인한다.
■ 6. #990 Composition 확정
VPP는 별도 변경 승인 없으면 #990을 그대로 사용한다.
기존 #990 composition SHA:
933b670900ef0ee6c09eff7452d04c626e2945109430c5f98ba9a982bebda463
실제 파일 SHA를 다시 계산한다.
필수 QA:
- 253 sites
- duplicate=0
- missing=0
- VPP count=2
- G1=134 sites
- G2=119 sites
- G1 capacity=20,465.655 kW
- G2 capacity=22,189.715 kW
- 각 VPP >=20MW
#990을 사용하기로 했는데 SHA가 다르면 HOLD.
■ 7. forecast.csv 생성
최종 plant forecast를 #990 기준으로 aggregate하여
공식 submission format의 forecast.csv를 생성한다.
기존 successful submission pipeline을 우선 재사용한다.
최종 파일명:
forecast.csv
필수 확인:
- 8,760 timestamps
- VPP 2개
- full evaluation coverage
- deterministic ordering
- duplicate=0
- missing=0 NaN=0
- Inf=0
- negative=0
■ 8. composition.csv 생성
최종 제출 디렉터리에:
composition.csv
를 배치한다.
#990을 그대로 사용하는 경우
기존 원본과 byte-identical 여부도 확인한다.
■ 9. Team Validator
TEAM_VALIDATOR=PASS 기존 team submission validator를 사용한다.
OFFICIAL_PUBLIC_VALIDATOR=PASS 입력:
둘 중 하나라도 - sites.csv
- composition.csv
- forecast.csv
- official evaluation smp.csv
결과:
TEAM_VALIDATOR=PASS|FAIL
FAIL이면 제출 금지.
■ Artifact 10. Official Public Validator
11/04 확인된 공식 validator 원본을 우선 재사용한다.
EXPECTED_OFFICIAL_VALIDATOR_SHA256=
8501d217e7336ce7c33aba9053a0fa3d0ef774524b8f00a22eb8096e56bae278
실제 파일 SHA를 다시 확인한다.
동일한 원본으로 실행:
OFFICIAL_PUBLIC_VALIDATOR=PASS|FAIL
FAIL이면 제출 금지.
■ 11. Final QA
다음 항목을 모두 확인한다.
FORECAST_ROW_COUNT=
FORECAST_TIMESTAMP_COUNT=
FORECAST_VPP_COUNT=
FORECAST_DUPLICATES=
FORECAST_NAN=
FORECAST_INF=
FORECAST_NEGATIVE=
FORECAST_KEY_CONSISTENCY=
COMPOSITION_ROW_COUNT=
COMPOSITION_UNIQUE_SITE_COUNT=
COMPOSITION_VPP_COUNT=
COMPOSITION_DUPLICATES=
COMPOSITION_MISSING=
■ 12. SHA Freeze
최종 파일 SHA-256 계산:
COMPOSITION_SHA256=
FORECAST_SHA256=
추가 artifact:
MANIFEST_SHA256=
SUBMISSION_ZIP_SHA256=
필요하면 model prediction artifact SHA도 기록한다.
■ 13. Manifest 생성
MANIFEST.json에 최소 다음을 기록한다.
- issue
- parent issue
- candidate
- model
- feature set
- loss
- seeds
- blend policy
- correction policy
- VPP policy
- training cutoff
- code commit
- config hash
- input data SHA
- composition SHA
- forecast SHA
- validator 결과
- generation timestamp
Guardrail:
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO
MODEL_SELECTION_REOPEN=NO
RETUNING_PERFORMED=NO
■ 14. Evidence ZIP
필요하면 Evidence ZIP을 생성한다.
권장 포함:
- composition.csv
- forecast.csv
- MANIFEST.json
- validation result
ZIP 생성 후 내부 CSV SHA가
freeze된 원본과 동일한지 확인한다.
■ 15. Artifact Freeze Gate
다음이 모두 PASS일 때만 제출한다.
FORECAST_QA=PASS
COMPOSITION_QA=PASS
TEAM_VALIDATOR=PASS
OFFICIAL_PUBLIC_VALIDATOR=PASS
MANIFEST=PASS
SHA_FREEZE=PASS
모두 PASS:
ARTIFACT_FREEZE=PASS
SUBMISSION_READY=YES
하나라도 FAIL:
ARTIFACT_FREEZE=HOLD
SUBMISSION_READY=NO
SUBMISSION_EXECUTED=NO
■ 16. 실제 제출
SUBMISSION_EXECUTED=YES|NO 승인된 artifact 1개만 제출한다.
사용자가 실제 업로드할 파일:
composition.csv
forecast.csv
제출 직전 파일 수정 금지.
동일 후보 반복 제출 금지.
제출 후 기록:
SUBMISSION_EXECUTED=YES
SUBMISSION_TIME=
SUBMISSION_ID=
SUBMISSION_SCORE=
SUBMISSION_RANK=
점수는 기록만 한다. 점수가 즉시 확인되지 않으면:
SUBMISSION_SCORE=PENDING
SUBMISSION_RANK=PENDING
■ 17. 제출 결과 해석
제출 결과는 Evidence로만 기록한다.
같은 날 score를 보고 결과를 보고:
- model 변경
- weight 변경
- correction 변경
- 추가 tuning하지 tuning
하지 않는다.
추가 제출 여부는 별도 사전 정의 일감에서 판단한다.
■ 18. Git / Evidence 반영
최종 제출 후: 완료 후 최소 Evidence 문서를 Git에 남긴다.
예:
docs/OIBC_PM_1105_SUBMISSION_RESULT.md
형태의 Evidence 문서를 생성하고 기록 내용:
- 최종 후보
- DEV Gate 근거
- artifact SHA
- validator 결과
- submission 결과
- guardrail
대용량 CSV / prediction artifact는
기존 정책대로 Git 밖에 둔다.
필요하면:
branch
→ PR
→ review
→ squash merge
까지 완료한다. 진행한다.
대용량 CSV / prediction artifact는 Git에 넣지 않는다. ■ 이번 일감에서 하지 않을 것
금지:
- 후보 재선택
- DEV 재튜닝
- HOLDOUT 확인
- leaderboard tuning
- 추가 correction search
- 추가 blend search
- VPP 재최적화
- 결과를 본 뒤 같은 후보 수정 제출
■ 완료 조건
PM_1105_05_RESULT=PASS|HOLD|SKIP_WITH_REASON
FINAL_CANDIDATE=
FINAL_FORECAST=
FINAL_VPP=
FINAL_BLEND_POLICY=
FINAL_CORRECTION_POLICY=
FORECAST_QA=
COMPOSITION_QA=
TEAM_VALIDATOR=
OFFICIAL_PUBLIC_VALIDATOR=
COMPOSITION_SHA256=
FORECAST_SHA256=
MANIFEST_SHA256=
SUBMISSION_ZIP_SHA256=
ARTIFACT_FREEZE=
SUBMISSION_READY=
FINAL_COMPOSITION_CSV=
FINAL_FORECAST_CSV=
MANIFEST_FILE=
SUBMISSION_ZIP=
SUBMISSION_EXECUTED=
SUBMISSION_TIME=
SUBMISSION_ID=
SUBMISSION_SCORE=
SUBMISSION_RANK=
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO
GIT_EVIDENCE_STATUS=
PR=
MERGE_SHA=
PM_1105_RESULT=PASS|HOLD
NEXT_ACTION=
NONE
또는
FOLLOWUP_NEXT_DAY
Back