Feature #1459
closedFeature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료
Feature #1454: [OIBC][PM 11/04] 오늘 개인(문길래) 결과 도출 및 제출 여부 결정
[OIBC][PM 11/04-05] 최종 Artifact Freeze 및 제출 실행·Evidence 정리
100%
Description
[OIBC][PM 11/04-05] 최종 Artifact Freeze 및 제출 실행·Evidence 정리
■ 목적
PM_1104_04에서 SUBMIT=YES로 승인된 최종 후보에 대해
제출용 파일을 최종 확정하고,
validator 검증 → SHA / manifest 기록 → 실제 제출 → 결과 Evidence 정리까지 완료한다.
이번 일감에서는 모델 구조나 파라미터를 변경하지 않는다.
오직 승인된 최종 후보를 재현 가능한 제출 Artifact로 고정하고 제출하는 작업만 수행한다.
■ 입력 조건
PM_1104_04 결과:
FINAL_GATE_RESULT=PASS
SUBMIT=YES
아래 값이 이미 확정되어 있어야 한다.
FINAL_CANDIDATE=
FINAL_FORECAST=
FINAL_VPP=
FINAL_BLEND_POLICY=
새로운 후보 생성 및 재튜닝 금지.
■ 수행 내용
- 최종 Forecast Artifact 생성
- forecast.csv 생성
- 전체 평가기간 포함 여부 확인
- 시간순 정렬 확인
- VPP별 구조 확인
- 제출 규격 확인
필수 QA:
- expected row count 확인
- duplicate = 0
- NaN = 0
- Inf = 0
- negative prediction = 0
- timestamp coverage = PASS
- VPP key consistency = PASS
- 최종 VPP Composition 확정
- composition.csv 생성 또는 승인된 기존 파일 재사용
- 발전소 253개 전체 포함 확인
- 중복 / 누락 없음
- VPP 개수 = 2
- 각 VPP ≥ 20MW 조건 확인
기존 #990을 사용하는 경우
해당 artifact SHA와 동일 여부를 기록한다.
- Validator 실행
최소:
- 팀 내부 submission validator
- 주최 측 공개 validator
결과:
TEAM_VALIDATOR=PASS|FAIL
OFFICIAL_PUBLIC_VALIDATOR=PASS|FAIL
둘 중 하나라도 FAIL이면 제출하지 않는다.
- Artifact Freeze
최종 제출 파일에 대해 SHA-256 기록:
COMPOSITION_SHA256=
FORECAST_SHA256=
MANIFEST_SHA256=
가능하면 최종 제출 ZIP도 생성:
SUBMISSION_ZIP=
SUBMISSION_ZIP_SHA256=
- Manifest 생성
최소 다음 내용을 기록:
- candidate name
- model
- feature set
- loss
- seeds
- blend policy
- VPP policy
- code commit
- source data provenance
- forecast SHA
- composition SHA
- validator 결과
- 생성 시각
- 제출 직전 최종 Gate
다음 값이 모두 PASS일 때만 실제 제출한다.
FINAL_QA=PASS
TEAM_VALIDATOR=PASS
OFFICIAL_PUBLIC_VALIDATOR=PASS
ARTIFACT_FREEZE=PASS
MANIFEST=PASS
하나라도 실패하면:
SUBMISSION_EXECUTED=NO
SUBMIT_RESULT=HOLD
- 실제 제출
승인된 최종 Artifact 1개만 제출한다.
오늘 제출 기본 원칙:
- 최종 승인 후보 1회 제출
- 제출 직전 추가 수정 금지
- 동일 후보 반복 제출 금지
제출 후 기록:
SUBMISSION_EXECUTED=YES
SUBMISSION_TIME=
SUBMISSION_ID=
SUBMISSION_SCORE=
공식 결과가 즉시 제공되지 않으면:
SUBMISSION_SCORE=PENDING
- 제출 결과 해석
제출 결과는 기록만 한다.
이번 제출 점수를 보고
같은 날 즉시 모델이나 파라미터를 다시 튜닝하지 않는다.
Leaderboard 결과는
다음 실험의 직접적인 tuning target으로 사용하지 않는다.
■ Evidence 정리
최종적으로 아래 Evidence를 남긴다.
- 최종 Candidate
- Forecast SHA
- Composition SHA
- Manifest SHA
- ZIP SHA
- Validator 결과
- 제출 시각
- 제출 결과 / score
- Git commit / PR
- 관련 Redmine 번호
■ 완료 조건
FINAL_CANDIDATE=
FINAL_FORECAST=
FINAL_VPP=
FINAL_BLEND_POLICY=
FORECAST_QA=PASS|FAIL
COMPOSITION_QA=PASS|FAIL
TEAM_VALIDATOR=PASS|FAIL
OFFICIAL_PUBLIC_VALIDATOR=PASS|FAIL
FORECAST_SHA256=
COMPOSITION_SHA256=
MANIFEST_SHA256=
SUBMISSION_ZIP_SHA256=
ARTIFACT_FREEZE=PASS|HOLD
SUBMISSION_EXECUTED=YES|NO
SUBMISSION_TIME=
SUBMISSION_ID=
SUBMISSION_SCORE=
PM_1104_05_RESULT=PASS|HOLD
■ 상위 일감 최종 보고
PM_1104_RESULT=PASS|HOLD
FINAL_CANDIDATE=
SUBMIT=YES|NO
SUBMISSION_RESULT=
SUBMISSION_SCORE=
NEXT_ACTION=