Project

General

Profile

Feature #1477

Updated by 길래 문 13 days ago

[OIBC][PM 11/05-05] 최종 Artifact Freeze 및 추가 제출·Evidence 정리 

 ■ 목적 

 PM_1105_04에서 SUBMIT=YES로 승인된 최종 후보에 대해 
 제출용 artifact를 재현 가능한 상태로 고정하고, 

 - final evaluation prediction 
 - composition.csv 
 - forecast.csv 
 - validator 
 - SHA 
 - manifest 
 - Evidence 
 - 실제 제출 
 - Git 기록 제출 결과 Evidence 

 까지 완료한다. 

 SUBMIT=NO이면 본 일감은 SKIP_WITH_REASON으로 종료한다. 이번 단계에서는 모델 선택이나 성능 비교를 다시 하지 않는다. 

 PM_1105_04에서 확정된 후보를 그대로 제출 artifact로 만드는 것이 목적이다. 

 ■ 선행 조건 

 PM_1105_04 결과: 

 PM_1105_04_RESULT=PASS 
 SUBMIT=YES 

 아래 항목이 이미 확정되어 있어야 한다. 

 FINAL_CANDIDATE= 
 FINAL_FORECAST= 
 FINAL_VPP= 
 FINAL_BLEND_POLICY= 
 FINAL_CORRECTION_POLICY= 

 SUBMIT=NO인 경우 본 일감은: 

 PM_1105_05_RESULT=SKIP_WITH_REASON 

 으로 종료한다. 

 ■ 현재 비교 기준 

 현재 최고 공식 제출: 

 CURRENT_BEST_SUBMISSION=#3 
 CURRENT_BEST_SCORE=6,434,253,664 

 CURRENT_BEST_CANDIDATE= 
 LGBM+Cat 50:50 

 단, 
 이 점수는 이번 artifact 생성 과정에서 
 모델이나 parameter를 변경하는 근거로 사용하지 않는다. 

 ■ 수행 내용 원칙 

 1. Final 이번 단계에서 허용되는 작업: 

 - 이미 승인된 fixed model/config를 이용한 final fit 
 - evaluation prediction 생성 
 2. - 승인된 blend 적용 
 - 승인된 correction 적용 
 - #990 composition 확정 VPP aggregation 
 3. forecast.csv - submission CSV 생성 
 4. composition.csv 생성/재사용 
 5. Team - validator 실행 
 6. Official public validator 
 7. - SHA freeze 계산 
 8. Manifest - manifest 생성 
 9. Evidence ZIP 
 10. - 실제 제출 

 금지: 

 - 새로운 model 
 11. 결과 기록 - 새로운 feature 
 12. - 새로운 seed 
 - hyperparameter 변경 
 - correction coefficient 변경 
 - blend weight 변경 
 - DEV 재선택 
 - HOLDOUT selection 
 - leaderboard 기반 tuning 
 - submission feedback 기반 tuning 

 MODEL_SELECTION_REOPEN=NO 
 FINAL_CANDIDATE_CHANGE=NO 

 ■ 1. 현재 Git Evidence 문서 생성 및 PR/Merge / Artifact 상태 확인 

 ■ 먼저 아래를 확인한다. 

 - current branch 
 - HEAD SHA 
 - git status 
 - worktree 
 - uncommitted files 
 - 현재 main과의 차이 

 기존 artifact나 다른 작업자의 파일을 
 삭제 / reset / clean / overwrite 하지 않는다. 

 출력은 11/05 전용 경로를 사용한다. 

 예: 

 C:\dev\oibc-output\pm_1105_05\ 

 최종 제출 파일 디렉터리: 

 composition.csv C:\dev\oibc-output\pm_1105_05\final_submission\ 

 ■ 2. 최종 Candidate 고정 확인 

 PM_1105_04의 값을 그대로 사용한다. 

 FINAL_CANDIDATE= 
 forecast.csv FINAL_FORECAST= 
 FINAL_VPP=#990 
 FINAL_BLEND_POLICY= 
 FINAL_CORRECTION_POLICY= 

 이 단계에서 값 변경 금지. 

 ■ QA 3. Final Fit / Evaluation Prediction 생성 

 FORECAST: 필요한 경우 승인된 fixed configuration으로 
 evaluation prediction을 생성한다. 

 기존 evaluation prediction artifact가 있고 
 provenance가 충분하면 재사용한다. 

 없다면 final fit을 수행할 수 있다. 

 단, final fit은 productionization을 위한 것이며 
 tuning이 아니다. 

 반드시 고정: 

 - 8,760 timestamps feature contract 
 - training cutoff 
 - seeds 
 - estimator parameters 
 - preprocessing 
 - night/clip policy 

 를 유지한다. 

 ■ 4. Evaluation Grid 확인 

 공식 evaluation period: 

 2025-06-01 01:00 KST 
 ~ 
 2026-06-01 00:00 KST 

 EXPECTED_TIMESTAMP_COUNT=8760 

 VPP=2 

 기본 forecast data row: 

 8760 × 2 VPP = 17,520 

 실제 submission schema는 
 기존 successful pipeline을 기준으로 확인한다. 

 ■ 5. Final Forecast 생성 

 PM_1105_04에서 승인된 정책을 정확히 적용한다. 

 예: 

 - duplicate=0 baseline blend 
 - NaN=0 limited blend 
 - Inf=0 approved bias correction 
 - negative=0 approved group correction 

 COMPOSITION: 중요: 

 결과 확인 후 추가 보정 금지. 

 최종 plant-level prediction에 대해: 

 - site 
 - timestamp 
 - row count 
 - duplicate 
 - NaN 
 - Inf 
 - negative 
 - key alignment 

 을 확인한다. 

 ■ 6. #990 Composition 확정 

 VPP는 별도 변경 승인 없으면 #990을 그대로 사용한다. 

 기존 #990 composition SHA: 

 933b670900ef0ee6c09eff7452d04c626e2945109430c5f98ba9a982bebda463 

 실제 파일 SHA를 다시 계산한다. 

 필수 QA: 

 - 253 sites 
 - duplicate=0 
 - missing=0 
 - VPP count=2 
 - G1=134 sites 
 - G2=119 sites 
 - G1 capacity=20,465.655 kW 
 - G2 capacity=22,189.715 kW 
 - 각 VPP >=20MW 

 #990을 사용하기로 했는데 SHA가 다르면 HOLD. 

 ■ 7. forecast.csv 생성 

 최종 plant forecast를 #990 기준으로 aggregate하여 
 공식 submission format의 forecast.csv를 생성한다. 

 기존 successful submission pipeline을 우선 재사용한다. 

 최종 파일명: 

 forecast.csv 

 필수 확인: 

 - 8,760 timestamps 
 - VPP 2개 
 - full evaluation coverage 
 - deterministic ordering 
 - duplicate=0 
 - missing=0 NaN=0 
 - Inf=0 
 - negative=0 

 ■ 8. composition.csv 생성 

 최종 제출 디렉터리에: 

 composition.csv 

 를 배치한다. 

 #990을 그대로 사용하는 경우 
 기존 원본과 byte-identical 여부도 확인한다. 

 ■ 9. Team Validator 

 TEAM_VALIDATOR=PASS 기존 team submission validator를 사용한다. 

 OFFICIAL_PUBLIC_VALIDATOR=PASS 입력: 

 둘 중 하나라도 - sites.csv 
 - composition.csv 
 - forecast.csv 
 - official evaluation smp.csv 

 결과: 

 TEAM_VALIDATOR=PASS|FAIL 

 FAIL이면 제출 금지. 

 ■ Artifact 10. Official Public Validator 

 11/04 확인된 공식 validator 원본을 우선 재사용한다. 

 EXPECTED_OFFICIAL_VALIDATOR_SHA256= 
 8501d217e7336ce7c33aba9053a0fa3d0ef774524b8f00a22eb8096e56bae278 

 실제 파일 SHA를 다시 확인한다. 

 동일한 원본으로 실행: 

 OFFICIAL_PUBLIC_VALIDATOR=PASS|FAIL 

 FAIL이면 제출 금지. 

 ■ 11. Final QA 

 다음 항목을 모두 확인한다. 

 FORECAST_ROW_COUNT= 
 FORECAST_TIMESTAMP_COUNT= 
 FORECAST_VPP_COUNT= 
 FORECAST_DUPLICATES= 
 FORECAST_NAN= 
 FORECAST_INF= 
 FORECAST_NEGATIVE= 
 FORECAST_KEY_CONSISTENCY= 

 COMPOSITION_ROW_COUNT= 
 COMPOSITION_UNIQUE_SITE_COUNT= 
 COMPOSITION_VPP_COUNT= 
 COMPOSITION_DUPLICATES= 
 COMPOSITION_MISSING= 

 ■ 12. SHA Freeze 

 최종 파일 SHA-256 계산: 

 COMPOSITION_SHA256= 
 FORECAST_SHA256= 
 

 추가 artifact: 

 MANIFEST_SHA256= 
 SUBMISSION_ZIP_SHA256= 

 필요하면 model prediction artifact SHA도 기록한다. 

 ■ 13. Manifest 생성 

 MANIFEST.json에 최소 다음을 기록한다. 

 - issue 
 - parent issue 
 - candidate 
 - model 
 - feature set 
 - loss 
 - seeds 
 - blend policy 
 - correction policy 
 - VPP policy 
 - training cutoff 
 - code commit 
 - config hash 
 - input data SHA 
 - composition SHA 
 - forecast SHA 
 - validator 결과 
 - generation timestamp 

 Guardrail: 

 HOLDOUT_USED_FOR_SELECTION=NO 
 LEADERBOARD_USED_FOR_SELECTION=NO 
 SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO 
 MODEL_SELECTION_REOPEN=NO 
 RETUNING_PERFORMED=NO 

 ■ 14. Evidence ZIP 

 필요하면 Evidence ZIP을 생성한다. 

 권장 포함: 

 - composition.csv 
 - forecast.csv 
 - MANIFEST.json 
 - validation result 

 ZIP 생성 후 내부 CSV SHA가 
 freeze된 원본과 동일한지 확인한다. 

 ■ 15. Artifact Freeze Gate 

 다음이 모두 PASS일 때만 제출한다. 

 FORECAST_QA=PASS 
 COMPOSITION_QA=PASS 
 TEAM_VALIDATOR=PASS 
 OFFICIAL_PUBLIC_VALIDATOR=PASS 
 MANIFEST=PASS 
 SHA_FREEZE=PASS 

 모두 PASS: 

 ARTIFACT_FREEZE=PASS 
 SUBMISSION_READY=YES 

 하나라도 FAIL: 

 ARTIFACT_FREEZE=HOLD 
 SUBMISSION_READY=NO 
 SUBMISSION_EXECUTED=NO 

 ■ 16. 실제 제출 

 SUBMISSION_EXECUTED=YES|NO 승인된 artifact 1개만 제출한다. 

 사용자가 실제 업로드할 파일: 

 composition.csv 
 forecast.csv 

 제출 직전 파일 수정 금지. 

 동일 후보 반복 제출 금지. 

 제출 후 기록: 

 SUBMISSION_EXECUTED=YES 
 SUBMISSION_TIME= 
 SUBMISSION_ID= 
 SUBMISSION_SCORE= 
 SUBMISSION_RANK= 

 점수는 기록만 한다. 점수가 즉시 확인되지 않으면: 

 SUBMISSION_SCORE=PENDING 
 SUBMISSION_RANK=PENDING 

 ■ 17. 제출 결과 해석 

 제출 결과는 Evidence로만 기록한다. 

 같은 날 score를 보고 결과를 보고: 

 - model 변경 
 - weight 변경 
 - correction 변경 
 - 추가 tuning하지 tuning 

 하지 않는다. 

 추가 제출 여부는 별도 사전 정의 일감에서 판단한다. 

 ■ 18. Git / Evidence 반영 

 최종 제출 후: 완료 후 최소 Evidence 문서를 Git에 남긴다. 

 예: 

 docs/OIBC_PM_1105_SUBMISSION_RESULT.md 

 형태의 Evidence 문서를 생성하고 기록 내용: 

 - 최종 후보 
 - DEV Gate 근거 
 - artifact SHA 
 - validator 결과 
 - submission 결과 
 - guardrail 

 대용량 CSV / prediction artifact는 
 기존 정책대로 Git 밖에 둔다. 

 필요하면: 

 branch 
 → PR 
 → review 
 → squash merge 

 까지 완료한다. 진행한다. 

 대용량 CSV / prediction artifact는 Git에 넣지 않는다. ■ 이번 일감에서 하지 않을 것 

 금지: 

 - 후보 재선택 
 - DEV 재튜닝 
 - HOLDOUT 확인 
 - leaderboard tuning 
 - 추가 correction search 
 - 추가 blend search 
 - VPP 재최적화 
 - 결과를 본 뒤 같은 후보 수정 제출 

 ■ 완료 조건 

 PM_1105_05_RESULT=PASS|HOLD|SKIP_WITH_REASON 

 FINAL_CANDIDATE= 
 FINAL_FORECAST= 
 FINAL_VPP= 
 FINAL_BLEND_POLICY= 
 FINAL_CORRECTION_POLICY= 

 FORECAST_QA= 
 COMPOSITION_QA= 

 TEAM_VALIDATOR= 
 OFFICIAL_PUBLIC_VALIDATOR= 

 COMPOSITION_SHA256= 
 FORECAST_SHA256= 
 MANIFEST_SHA256= 
 SUBMISSION_ZIP_SHA256= 

 ARTIFACT_FREEZE= 
 SUBMISSION_READY= 

 FINAL_COMPOSITION_CSV= 
 FINAL_FORECAST_CSV= 
 MANIFEST_FILE= 
 SUBMISSION_ZIP= 

 SUBMISSION_EXECUTED= 
 SUBMISSION_TIME= 
 SUBMISSION_ID= 
 SUBMISSION_SCORE= 
 SUBMISSION_RANK= 

 HOLDOUT_USED_FOR_SELECTION=NO 
 LEADERBOARD_USED_FOR_SELECTION=NO 
 SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO 

 GIT_EVIDENCE_STATUS= 
 PR= 
 MERGE_SHA= 

 PM_1105_RESULT=PASS|HOLD 

 NEXT_ACTION= 
 NONE 
 또는 
 FOLLOWUP_NEXT_DAY

Back