Project

General

Profile

Actions

Feature #1459

closed
길문 길문

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

Feature #1454: [OIBC][PM 11/04] 오늘 개인(문길래) 결과 도출 및 제출 여부 결정

[OIBC][PM 11/04-05] 최종 Artifact Freeze 및 제출 실행·Evidence 정리

Feature #1459: [OIBC][PM 11/04-05] 최종 Artifact Freeze 및 제출 실행·Evidence 정리

Added by 길래 문 14 days ago. Updated 13 days ago.

Status:
Closed
Priority:
High
Assignee:
Start date:
11/04/2026
Due date:
11/04/2026
% Done:

100%

Estimated time:

Description

[OIBC][PM 11/04-05] 최종 Artifact Freeze 및 제출 실행·Evidence 정리

■ 목적

PM_1104_04에서 SUBMIT=YES로 승인된 최종 후보에 대해
제출용 파일을 최종 확정하고,
validator 검증 → SHA / manifest 기록 → 실제 제출 → 결과 Evidence 정리까지 완료한다.

이번 일감에서는 모델 구조나 파라미터를 변경하지 않는다.
오직 승인된 최종 후보를 재현 가능한 제출 Artifact로 고정하고 제출하는 작업만 수행한다.

■ 입력 조건

PM_1104_04 결과:

FINAL_GATE_RESULT=PASS
SUBMIT=YES

아래 값이 이미 확정되어 있어야 한다.

FINAL_CANDIDATE=
FINAL_FORECAST=
FINAL_VPP=
FINAL_BLEND_POLICY=

새로운 후보 생성 및 재튜닝 금지.

■ 수행 내용

  1. 최종 Forecast Artifact 생성
  • forecast.csv 생성
  • 전체 평가기간 포함 여부 확인
  • 시간순 정렬 확인
  • VPP별 구조 확인
  • 제출 규격 확인

필수 QA:

  • expected row count 확인
  • duplicate = 0
  • NaN = 0
  • Inf = 0
  • negative prediction = 0
  • timestamp coverage = PASS
  • VPP key consistency = PASS
  1. 최종 VPP Composition 확정
  • composition.csv 생성 또는 승인된 기존 파일 재사용
  • 발전소 253개 전체 포함 확인
  • 중복 / 누락 없음
  • VPP 개수 = 2
  • 각 VPP ≥ 20MW 조건 확인

기존 #990을 사용하는 경우
해당 artifact SHA와 동일 여부를 기록한다.

  1. Validator 실행

최소:

  • 팀 내부 submission validator
  • 주최 측 공개 validator

결과:

TEAM_VALIDATOR=PASS|FAIL
OFFICIAL_PUBLIC_VALIDATOR=PASS|FAIL

둘 중 하나라도 FAIL이면 제출하지 않는다.

  1. Artifact Freeze

최종 제출 파일에 대해 SHA-256 기록:

COMPOSITION_SHA256=
FORECAST_SHA256=
MANIFEST_SHA256=

가능하면 최종 제출 ZIP도 생성:

SUBMISSION_ZIP=
SUBMISSION_ZIP_SHA256=

  1. Manifest 생성

최소 다음 내용을 기록:

  • candidate name
  • model
  • feature set
  • loss
  • seeds
  • blend policy
  • VPP policy
  • code commit
  • source data provenance
  • forecast SHA
  • composition SHA
  • validator 결과
  • 생성 시각
  1. 제출 직전 최종 Gate

다음 값이 모두 PASS일 때만 실제 제출한다.

FINAL_QA=PASS
TEAM_VALIDATOR=PASS
OFFICIAL_PUBLIC_VALIDATOR=PASS
ARTIFACT_FREEZE=PASS
MANIFEST=PASS

하나라도 실패하면:

SUBMISSION_EXECUTED=NO
SUBMIT_RESULT=HOLD

  1. 실제 제출

승인된 최종 Artifact 1개만 제출한다.

오늘 제출 기본 원칙:

  • 최종 승인 후보 1회 제출
  • 제출 직전 추가 수정 금지
  • 동일 후보 반복 제출 금지

제출 후 기록:

SUBMISSION_EXECUTED=YES
SUBMISSION_TIME=
SUBMISSION_ID=
SUBMISSION_SCORE=

공식 결과가 즉시 제공되지 않으면:

SUBMISSION_SCORE=PENDING

  1. 제출 결과 해석

제출 결과는 기록만 한다.

이번 제출 점수를 보고
같은 날 즉시 모델이나 파라미터를 다시 튜닝하지 않는다.

Leaderboard 결과는
다음 실험의 직접적인 tuning target으로 사용하지 않는다.

■ Evidence 정리

최종적으로 아래 Evidence를 남긴다.

  • 최종 Candidate
  • Forecast SHA
  • Composition SHA
  • Manifest SHA
  • ZIP SHA
  • Validator 결과
  • 제출 시각
  • 제출 결과 / score
  • Git commit / PR
  • 관련 Redmine 번호

■ 완료 조건

FINAL_CANDIDATE=
FINAL_FORECAST=
FINAL_VPP=
FINAL_BLEND_POLICY=

FORECAST_QA=PASS|FAIL
COMPOSITION_QA=PASS|FAIL

TEAM_VALIDATOR=PASS|FAIL
OFFICIAL_PUBLIC_VALIDATOR=PASS|FAIL

FORECAST_SHA256=
COMPOSITION_SHA256=
MANIFEST_SHA256=
SUBMISSION_ZIP_SHA256=

ARTIFACT_FREEZE=PASS|HOLD

SUBMISSION_EXECUTED=YES|NO
SUBMISSION_TIME=
SUBMISSION_ID=
SUBMISSION_SCORE=

PM_1104_05_RESULT=PASS|HOLD

■ 상위 일감 최종 보고

PM_1104_RESULT=PASS|HOLD

FINAL_CANDIDATE=
SUBMIT=YES|NO
SUBMISSION_RESULT=
SUBMISSION_SCORE=

NEXT_ACTION=

Actions

Also available in: PDF Atom