Feature #1147
closedFeature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료
[OIBC] 첫 Valid Submission 통합 및 제출 승인
100%
Description
황수아의 데이터 QA, 이상재의 Baseline Prediction, 조영우의 Baseline VPP/CSV를 통합 검토하고 첫 공식 제출을 승인. 제출 후 공식 점수/피드백을 기록하고 다음 개선 방향 결정
Files
길문 Updated by 길래 문 17 days ago
- Assignee changed from 길래 문 to 영우 조
- Priority changed from Normal to High
[PM Gate 기준 확정]
#1147 First Valid Submission Gate를 아래 기준으로 진행합니다.
담당:
- 조영우: 제출 산출물 구성 및 aggregation
- 황수아: 독립 QA / 형식 검증
- 문길래 PM: 최종 GO / NO-GO
입력:
- #1142 plant-level prediction artifact
- site_id
- ts
- prediction_kwh
- artifact SHA / manifest / model version 포함
첫 VPP 구성:
- #990 reference mapping 사용
- A → G1
- B → G2
조영우 산출물:
- composition.csv
- forecast.csv
- submission manifest
- 각 산출물 SHA-256
- 사용한 #1142 artifact SHA 기록
필수 검증:
- Plant completeness
- 253개 발전소 정확히 1회 포함
- 누락/중복 없음
- Capacity
- G1 >= 20MW
- G2 >= 20MW
- 전체 capacity 보존
- Forecast structure
- 전체 시간축 8,760시간
- 총 예상 plant-level row = 2,216,280
- submission용 forecast row 수는 공식 규격에 맞게 재검증
- timestamp / timezone / ID / column schema 확인
- Value validation
- NaN 없음
- Inf 없음
- 금지된 음수 prediction 없음
- 허용 범위를 벗어난 값 여부 확인
- Provenance
- #1142 artifact SHA
- model version
- mapping version
- submission artifact SHA
- 생성 시각 기록
- Official validator
- 공개 validator 기준 PASS
- 실제 포털의 추가 제한은 제출 화면 공개 후 재확인
PM Gate:
FIRST_BASELINE_SUBMISSION=ALLOWED_WITH_GATE
실제 제출 전 반드시 아래 조건을 모두 만족해야 합니다.
- #1142 artifact 완료
- 황수아 QA PASS
- 조영우 aggregation 완료
- composition.csv PASS
- forecast.csv PASS
- submission validator PASS
- 최신 공식 제출 형식 재확인
- PM GO
D05 상태와의 관계:
D05=HOLD 상태는 유지합니다.
단,
D05 HOLD는 첫 baseline submission pipeline 검증 자체를 막지 않습니다.
OFFICIAL_REVENUE_CLAIM=NO
FINAL_MODEL_APPROVAL=NO
FINAL_SUBMISSION_GATE=HOLD
첫 제출의 목적은:
- submission pipeline 검증
- 공식 validator/포털 형식 검증
- baseline score 확인
- 이후 개선 방향 판단
이며 최종 모델 승인이나 공식 Revenue 검증이 아닙니다.
길문 Updated by 길래 문 17 days ago
G R M wrote:
황수아의 데이터 QA, 이상재의 Baseline Prediction, 조영우의 Baseline VPP/CSV를 통합 검토하고 첫 공식 제출을 승인. 제출 후 공식 점수/피드백을 기록하고 다음 개선 방향 결정
[PM 11/02 First Submission GO / NO-GO Checklist 확정]
첫 Baseline 실제 제출은 아래 Gate를 모두 만족한 경우에만 진행합니다.
목적:
- 첫 공식 submission pipeline 검증
- 포털 형식/validator 검증
- baseline score 확인
- 이후 개선 실험의 기준점 확보
이번 제출은 최종 모델 승인이나 공식 Revenue 검증이 아닙니다.
==================================================
A. #1142 Prediction Artifact Gate¶
[ ] #1142 First Baseline Prediction 완료
[ ] MODEL=#1125 official_baseline_repro
[ ] HOLDOUT_MAR_MAY=EXCLUDED
[ ] 253개 발전소 전체 포함
[ ] 8,760시간 기준
[ ] plant-level 예상 행수=2,216,280
[ ] 최소 컬럼:
- site_id
- ts
- prediction_kwh
[ ] actual 컬럼 없음
[ ] residual 컬럼 없음
[ ] fake zero 생성 없음
[ ] model version 기록
[ ] artifact SHA-256 기록
[ ] manifest 존재
#1142_ARTIFACT_GATE=PASS / FAIL
==================================================
B. Data / Leakage / Rule Compliance Gate¶
[ ] 미래정보 누설 없음
[ ] 전체 평가기간 예보를 미리 모아 normalization에 사용하지 않음
[ ] 전체 평가기간 정보를 VPP grouping 최적화에 사전 사용하지 않음
[ ] 대상일 actual 발전량을 predictor/selection에 사용하지 않음
[ ] 금지된 미래 SMP 정보 사용 없음
[ ] 최신 공식 cutoff 규칙 준수
[ ] 대회 데이터를 외부 AI 서비스에 입력하지 않음
[ ] 외부 데이터/사전학습 모델을 사용했다면 최신 공지 기준 충족 및 출처 기록
RULE_COMPLIANCE_GATE=PASS / FAIL
주의:
기본 규정과 2026-10-28 외부 소스 공지 간 우선순위는
주최 측 답변 대기 중이므로,
첫 baseline은 가급적 외부 데이터/외부 pretrained model 없이 진행합니다.
==================================================
C. VPP Composition Gate¶
첫 제출은 #990 reference mapping 사용:
A -> G1
B -> G2
[ ] 발전소 253개 정확히 1개 그룹에 배정
[ ] 중복 없음
[ ] 누락 없음
[ ] unknown ID 없음
[ ] G1 >= 20,000 kW
[ ] G2 >= 20,000 kW
[ ] 전체 capacity 보존
[ ] composition.csv 생성
[ ] composition artifact SHA-256 기록
[ ] mapping version 기록
COMPOSITION_GATE=PASS / FAIL
==================================================
D. Forecast Aggregation / Submission Artifact Gate¶
[ ] #1142 prediction artifact SHA와 연결
[ ] VPP/time 단위 aggregation 완료
[ ] forecast.csv 생성
[ ] 공식 제출 schema와 일치
[ ] timestamp/timezone 일치
[ ] row count 공식 규격과 일치
[ ] duplicate 없음
[ ] missing 없음
[ ] extra row 없음
[ ] NaN 없음
[ ] Inf 없음
[ ] 금지된 음수 prediction 없음
[ ] ID/group 형식 정상
[ ] submission manifest 생성
[ ] forecast.csv SHA-256 기록
FORECAST_GATE=PASS / FAIL
==================================================
E. Official Validator Gate¶
공식 공개 validator 기준으로 실제 제출 파일을 검증합니다.
[ ] composition 파일 검증 PASS
[ ] forecast 파일 검증 PASS
[ ] 공식 validator error=0
[ ] warning 존재 시 PM 검토
[ ] 설비용량 초과 prediction warning 여부 확인
[ ] validator version/source 기록
[ ] validator 결과 evidence 보존
OFFICIAL_VALIDATOR_GATE=PASS / FAIL
중요:
공개 validator는 형식 검사용이며
official scorer parity를 증명하지 않습니다.
==================================================
F. Portal / Submission UI Final Check¶
실제 제출 직전에 DataEn 포털에서 다시 확인합니다.
[ ] 제출 메뉴 공개 확인
[ ] 최신 제출 안내 확인
[ ] 파일명 규칙 확인
[ ] 허용 파일 형식 확인
[ ] 파일 크기 제한 확인
[ ] 추가 invalid 조건 확인
[ ] 오늘 남은 제출 가능 횟수 확인
[ ] validation 실패도 제출 횟수 차감됨을 인지
[ ] 현재 제출이 첫 제출인지 확인
PORTAL_GATE=PASS / FAIL
제출 한도:
- DAILY_MAX=3
- TOTAL_MAX=20
- RESET=KST 00:00
- INVALID_SUBMISSION_COUNTS=YES
==================================================
G. Independent QA Gate — 황수아¶
황수아님 독립 QA 결과가 필요합니다.
확인 항목:
[ ] site completeness
[ ] row count
[ ] timestamp
[ ] timezone
[ ] duplicate
[ ] missing
[ ] non-finite
[ ] negative prediction
[ ] capacity
[ ] mapping
[ ] artifact SHA
[ ] manifest
[ ] model/version
[ ] cutoff/leakage
[ ] official validator result
SU_A_QA=PASS / HOLD / FAIL
QA PASS가 아니면 실제 제출 금지.
==================================================
H. PM Final GO / NO-GO¶
아래가 모두 PASS일 때만 PM GO:
[ ] #1142_ARTIFACT_GATE=PASS
[ ] RULE_COMPLIANCE_GATE=PASS
[ ] COMPOSITION_GATE=PASS
[ ] FORECAST_GATE=PASS
[ ] OFFICIAL_VALIDATOR_GATE=PASS
[ ] PORTAL_GATE=PASS
[ ] SU_A_QA=PASS
최종 판정:
FIRST_SUBMISSION_PM_GATE=
GO / NO-GO / HOLD
GO 조건 충족 전 실제 제출 금지.
==================================================
I. D05와 첫 제출의 관계¶
현재:
D05=HOLD
HOST_INQUIRY_SENT=YES
RESPONSE_RECEIVED=NO
따라서:
FIRST_BASELINE_SUBMISSION=ALLOWED_WITH_GATE
OFFICIAL_REVENUE_CLAIM=NO
FINAL_MODEL_APPROVAL=NO
FINAL_SUBMISSION_GATE=HOLD
첫 제출 결과는:
- pipeline 검증
- baseline score 확인
- 이후 실험 기준점
으로만 사용합니다.
주최 측 공식 답변 전까지
내부 계산값을 공식 Revenue라고 확정하지 않습니다.
==================================================
J. 제출 직후 Evidence¶
실제 제출 후 반드시 기록:
[ ] 제출 시각 KST
[ ] submission sequence 번호
[ ] 사용한 composition SHA
[ ] 사용한 forecast SHA
[ ] #1142 artifact SHA
[ ] model version
[ ] mapping version
[ ] portal validation 결과
[ ] 표시 score / Revenue
[ ] 오류/경고 메시지
[ ] 제출 성공 여부
FIRST_SUBMISSION_EVIDENCE=REQUIRED
제출 결과를 보고 #1148 Daily Submission Registry 및
후속 개선 실험으로 연결합니다.
영조 Updated by 영우 조 16 days ago
- Status changed from New to In Progress
- % Done changed from 0 to 50
[#1147 실제 baseline 제출 후보 생성 — 진행 중]
사용자 요청으로 #1142 Closed 전 이번 인계 통합을 순차 진행 예외로 수행했습니다. 상재님 ZIP SHA-256 c0c973973a7bfe21ccaec6b5511d8c7e1c13b5c32927d90c801801a44ace5d60 및 prediction SHA-256 e49ec00265032b62d27cd5491b69496848cb46b1188c1efc249a64945fb55500 일치. model=official_baseline_repro, run=20261102-085132-official_baseline_repro-1142-test.
#990 reference A→G1/B→G2, 253개 발전소×8760시간 2,216,280개 키 집계 완료. 내부 README 기반 검증기 PASS: G1 134개 20,465.655kW, G2 119개 22,189.715kW, 총 42,655.370kW, forecast 17,520행 및 시간 키 일치.
composition.csv SHA-256 933b670900ef0ee6c09eff7452d04c626e2945109430c5f98ba9a982bebda463
forecast.csv SHA-256 52cae3c66961c94ca814a6dc527ff1d445cbc81de2f3eda0f319a0d1da3ac2d6
MANIFEST.json 및 산출물은 로컬 팀 작업 경로에 보존. 실제 값이 포함되어 Git에 업로드하지 않음.
남은 사항: 수아님 독립 QA, 공개 공식 validator 및 최신 포털 규격 확인, 제출 GO/NO-GO. 사용 검증기는 내부 README preflight로 공식 validator가 아님. D05 HOLD 유지, 실제 제출 및 공식 점수/Revenue 확정 안 함.
영조 Updated by 영우 조 16 days ago
[추가 집계 교차 확인]
원본 예측 2,216,280행과 composition.csv로 Python Decimal 별도 집계를 수행하여 forecast.csv의 그룹×시각 17,520개 합계를 직접 대조했습니다. 일치 17,520 / 불일치 0. 해당 확인은 기존 산출물의 계산 대조이며 수아님 독립 QA나 공식 validator를 대체하지 않습니다. 공식 사이트 제출 탭은 순차 공개 안내가 표시되었고 제공 ZIP 내 공식 validator 미확보입니다. QA 및 공식 검증 대기, In Progress 50% 유지.
영조 Updated by 영우 조 16 days ago
[공식 형식 검증기 출처 확인 / 실행 대기]
기존 #1303 공식 조사 manifest의 S11을 통해 주최 측 연결 공개 validator 코드 위치를 확인했습니다: https://app.notion.com/p/Validator-3fe10e0a193380ab925fc25abbf6a1ca
이전에 공식 검증기를 찾지 못했다고 보고한 내용을 정정합니다. 페이지에서 코드와 CLI 설명은 확인했으나 원문을 로컬 실행 파일로 온전히 저장하는 과정이 완료되지 않아 실제 후보에 대해 공식 validator는 아직 실행하지 못했습니다. OFFICIAL_VALIDATOR=NOT_RUN. 이전 README 기반 내부 검사 및 집계 교차 대조 결과만 PASS입니다. 수아님 QA 및 포털 확인도 대기, #1147 50% 유지.
영조 Updated by 영우 조 16 days ago
[#1147 공식 공개 Validator 로컬 실행 결과 — PASS]
#note-5의 실행 대기 상태를 갱신합니다. 주최 측 연결 공개 검증기 https://app.notion.com/p/Validator-3fe10e0a193380ab925fc25abbf6a1ca 의 코드 원문을 로컬 파일로 보존하고 원문과 SHA-256 일치 확인 후 실제 제출 후보 composition.csv와 forecast.csv를 검증했습니다.
OFFICIAL_VALIDATOR=PASS (종료 코드 0, 형식 오류 0, 설비용량 초과 참고 경고 출력 없음). 채점 시간축 8,760시간, G1 134개소 20,465.7kW, G2 119개소 22,189.7kW. 검증기는 발전소 ID/그룹/용량, 그룹별 시간축, 결측·중복·값 및 타임존을 검사합니다. 출력상 용량은 소수 첫째 자리 반올림이며 정밀 값은 #note-3 참조.
검증기 원문 SHA-256: 8501d217e7336ce7c33aba9053a0fa3d0ef774524b8f00a22eb8096e56bae278
composition SHA-256: 933b670900ef0ee6c09eff7452d04c626e2945109430c5f98ba9a982bebda463
forecast SHA-256: 52cae3c66961c94ca814a6dc527ff1d445cbc81de2f3eda0f319a0d1da3ac2d6
공개 검증기 통과는 파일 형식에 대한 결과이며 공식 점수나 정산 수익을 계산하지 않습니다. 수아님 독립 QA, 최신 포털 조건 확인과 팀 제출 결정은 별도 대기입니다. D05 HOLD 유지, 실제 제출하지 않았습니다.
영조 Updated by 영우 조 16 days ago
[주최 측 답변 반영: 제출 후보 음수 전수 확인]
주최 측 답변에서 음수 예측은 제출 무효임을 확인하여 #note-6 검증기와 별도로 forecast.csv의 forecast_kwh를 Decimal로 허용오차 없이 전수 검사했습니다. 총 17,520행, 음수 0, 0인 값 8,573, 비유한/변환 불가 0, 최솟값 0. 파일 SHA-256=52cae3c66961c94ca814a6dc527ff1d445cbc81de2f3eda0f319a0d1da3ac2d6으로 기존 후보와 일치합니다. 공개 validator의 음수 비교는 1e-9 허용오차가 있으므로 엄격한 별도 검사를 수행했습니다. 이 결과는 해당 파일의 예측값 부호에 관한 검사이며 수아님 독립 QA·포털 확인·팀 제출 결정을 대체하지 않습니다. 실제 제출 없음.
정산기와 주최 측 음수 실적/반올림 답변 대조 결과는 #991 후속 댓글 참조.
수황 Updated by 수아 황 16 days ago
[2026-11-02 황수아 독립 QA 진행 기록]
#1142 인계 ZIP 및 prediction_test.csv 구조·값 전수검사 PASS.
253개 발전소, 2,216,280행, 발전소별 8,760시간 확인. 평가 시간축 2025-06-01 01:00:00+09:00 ~ 2026-06-01 00:00:00+09:00 일치. 누락·중복·미등록 ID·음수·비유한값·정렬 오류 0건. 컬럼 site_id, ts, prediction_kwh 일치, actual/residual 컬럼 없음.
ZIP·CSV SHA 및 manifest 파일 크기 일치. 기준 plant master SHA도 manifest와 일치.
ZIP SHA-256: c0c973973a7bfe21ccaec6b5511d8c7e1c13b5c32927d90c801801a44ace5d60
prediction SHA-256: e49ec00265032b62d27cd5491b69496848cb46b1188c1efc249a64945fb55500
[검증 한계]
PASS는 수신 파일 구조·값에 한정합니다. 학습 실행·cutoff/leakage 및 0값 생성 경위는 CSV/manifest만으로 독립 확정하지 않았습니다. KST 표기와 시간축은 검사했으나 kWh·우측닫힘의 실제 생성 의미는 별도 코드/원본 대조가 필요합니다. smp.csv 원본과 직접 대조한 결과로 주장하지 않습니다.
[남은 작업]
영우님 composition.csv, forecast.csv, submission manifest 수신 후 SHA·reference 배정·용량·그룹 합산·시간축·형식을 독립 검증합니다. 공식 validator 원본 및 실행 로그도 대조 예정입니다. 영우님 공식 validator PASS 보고와 이번 검사는 구분합니다.
제출 전체 판정 HOLD. 포털 확인 및 PM GO 필요. 실제 제출하지 않았습니다.
근거 첨부: independent_qa_results.json