Feature #993
closedFeature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료
[OIBC] Revenue / Submission Validation 구조 정리
100%
Description
Revenue-aware Objective, 최종 VPP 결과 형식, Submission Validator 요구사항 및 최종 제출 Handoff 구조 정의
영조 Updated by 영우 조 22 days ago
진행 기록 — 2026-10-27 KST¶
완료한 부분 — 설계 초안¶
- 같은 실측·SMP·평가 시각·전체 발전소를 유지하면 패키지 식의 총 Gross Sales는 배정과 무관하며, ΔS는 기존 penalty−후보 penalty임을 정리했습니다. 구성 효과만 비교하려면 plant forecast도 고정해야 합니다.
- 후보 비교 항목을 두 VPP 용량/여유·Gross Sales·Penalty·Net Revenue·forecast/split/scoring 버전·전체 key 수·상태로 정의했습니다. random은 유효 M과 분포를 보고하고 holdout으로 best seed를 선택하지 않습니다.
- composition.csv 계약: site_id,group; 253개 기준 ID 정확히 1회; G1/G2만 허용; 용량 재검사; 헤더 포함 254행입니다.
- forecast.csv 계약: group,ts,forecast_kwh; G1/G2 각각 평가 SMP의 8,760시각; 데이터 17,520행/헤더 포함 17,521행입니다.
- 단순 행 수 대신 {G1,G2}×smp.ts 전체 key의 정확한 일치를 검사하도록 정의했습니다. 중복·누락·추가 key, 비유한값·음수 예측은 실패 처리하며 야간·자정 행을 유지합니다.
- 구성 라벨 정규화는 forecast에도 동일하게 적용하고, timezone·right-closed 구간·예측 대상일·자료 발행/공개 시각을 구분하도록 설계했습니다.
- 조영우→문길래 Handoff를 구성/예측 hash, validator 결과, 용량 report, data/model/split/scoring/config 버전, 실행 코드 SHA, 누수 근거, 미해결 항목, 재실행 방법으로 정리했습니다.
팀원 확인이 필요한 부분¶
- 문길래: 문제정의서 정본의 추가 무효 조건(필수 순서·인코딩·반올림 포함), 최신 제출 한도·최종 승인 절차 확인.
- 황수아: 공식 평가 시간축·단위·누락 정책 교차 검토.
- 이상재: 실제 예측 artifact와 cutoff/가용성 근거, plant→VPP 집계 및 라벨 대응 검토.
아직 수행하지 않은 부분¶
- Submission Validator 구현, 실제 제출 CSV 생성·E2E 검증, 실제 수익 개선 평가, 최종 제출은 미수행입니다. official_S는 null이며 PM 최종 승인은 별도입니다.
- 로컬 산출물: OIBC_990_993_설계_진행보고_20261027.md의 #993 설계 절. 기존 Spec과 원본 ZIP은 보존했습니다.
공통 기록: #989~#993의 로컬 보고·점검 결과를 일감별로 나눠 공유한 것이며, 팀 교차 검토나 Gate 승인 완료를 의미하지 않습니다.
영조 Updated by 영우 조 22 days ago
- Status changed from New to In Progress
- % Done changed from 0 to 30
제출 검증기 구현 착수 — 2026-10-27 KST¶
사용자 지시에 따라 기존 설계에 이어 Submission Validator 구현을 시작합니다. In Progress·30%로 갱신합니다. 단계 기준 관리 추정치이며 공식 승인율이 아닙니다.
범위: #990 Capacity Validator 재사용, 구성 ID/그룹/용량 검증, {그룹}×평가 SMP 시각의 전체 key 검사, 누락·중복·추가 행·시간대·음수/NaN/Inf 검증, CLI와 합성/실제 시간축 회귀 테스트.
최신 문제정의서의 추가 무효 조건·필수 순서/인코딩/반올림 규정과 실제 모델 예측 artifact는 팀 확인 대기입니다. 합성 예측은 검증기 테스트에만 사용하고 실제 제출 파일이나 수익 개선 결과로 사용하지 않습니다. 결과에 따라 진척도를 다시 갱신하겠습니다.
영조 Updated by 영우 조 22 days ago
- % Done changed from 30 to 70
제출 검증기 구현·검증 결과 — 2026-10-27 KST¶
완료한 부분¶
- #990 Capacity Validator를 재사용한 scripts/oibc_submission_validator.py, tests/unit/test_oibc_submission_validator.py, docs/OIBC_SUBMISSION_VALIDATOR_V0_1.md를 구현했습니다. 기존 전용 구현 브랜치 vpp/oibc-capacity-validator-20261027에 신규 파일 3개를 추가했습니다.
- composition의 기준 ID 완전성·그룹·용량·단위 검사를 재실행하고, forecast의 필수 필드·그룹·timezone-aware 시각·비음수 유한 예측값을 검사합니다.
- 평가 SMP의 시각 집합을 기준으로 {그룹}×{시각} 전체 key를 비교합니다. 중복·누락·추가 key와 행 수를 따로 검사하여 같은 행 수의 잘못된 key 집합도 거부합니다.
- 동등한 시각은 KST로 정규화합니다. naive 시각에 KST를 임의 부여하지 않습니다. 자정·야간·0원 SMP 시간도 유지합니다.
- 기준 시간축 자체의 빈 입력·중복·간격/정시 오류·예상 시간 수 오류도 검사합니다. 잘못된 기준축에는 key 일치 판정을 null로 둡니다.
- CLI는 CSV를 읽기만 하고 JSON·입력 5개 SHA-256·종료코드(통과 0/실패 1/입력 형식 오류 2)를 반환합니다. 제출 파일을 생성/수정하거나 전송하지 않습니다.
검증한 것¶
- 새 테스트 45개와 기존 Capacity Validator 42개를 저장소에서 함께 실행: 87 passed in 1.01s. 전체 CAD 테스트를 실행했다는 뜻은 아닙니다.
- 실제 평가 SMP 8,760시각과 실제 greedy 구성에 합성 0 예측 17,520행을 메모리에서 결합한 정상 사례가 통과했습니다. 예측은 테스트용이며 실제 모델 결과·제출 후보·수익 성과가 아닙니다.
- 실제 시간축에서 동일 행 수 중복+누락, 동일 행 수 예상 밖 시각, 자정 행 누락, timezone 없는 시각, NaN의 5가지 변형을 모두 거부했습니다. 정상 입력 순서를 뒤집어도 보고서가 같았습니다.
- 증거: OIBC_993_submission_tests_20261027.xml, OIBC_993_submission_regression_20261027.json. 실행 파일/기준표/SMP/구성 hash와 합성 예측 정의를 기록했습니다. 원본 데이터·위치정보·예측 원본은 첨부하지 않았습니다.
팀 확인·남은 범위¶
- 문길래: 최신 문제정의서의 추가 무효 조건, 열 순서·인코딩·반올림, 제출 한도·최종 승인 확인.
- 황수아: 기준 평가 시간축/용량·단위 계약 교차 검토. 이 도구는 SMP 가격/k의 정산 규칙을 검증하지 않습니다.
- 이상재: 실제 예측 artifact와 cutoff/가용성·누수 근거, 예측이 어떤 assignment에서 생성됐는지 확인할 버전 연결 제공.
- CSV 형식만으로 forecast 정확도·cutoff 준수·구성별 집계의 진실성을 증명하지 않습니다. scope=README_CONTRACT_PREFLIGHT_ONLY이며 official_submission_approved는 항상 false입니다.
- 실제 예측 E2E·수익 비교·PM Gate·대회 제출은 미수행입니다. 신규 파일은 로컬 미커밋 상태이며 push/PR/merge는 하지 않았습니다.
진척도¶
- 30% → 70%, In Progress 유지. 설계·검증기 구현·단위/CLI/실제 시간축 회귀 확인까지 완료한 단계 기준 추정치이며, 팀 승인이나 최종 제출 준비가 70% 확정됐다는 뜻은 아닙니다.
영조 Updated by 영우 조 21 days ago
- % Done changed from 70 to 80
제출 파이프라인·어댑터·패키지 검토 및 수정 — 2026-10-27 KST¶
완료한 부분¶
- Claude의 oibc_submission_pipeline.py, oibc_baseline_sites_adapter.py, oibc_submission_package.py를 검토했습니다. plant 예측의 정확한 VPP 합산 → 제출 preflight → 후보 CSV 저장 → 파일 재읽기 검증 → .partial 디렉터리 rename 흐름을 확인했습니다. 기존 대상 덮어쓰기 거부와 실패 시 최종 package 미생성도 검증했습니다.
- 수정 1: provenance 펼침이 official_submission_approved/official_S/판정/식별자를 덮어쓸 수 있던 문제를 차단했습니다. 출처 정보는 input_sha256/plant_prediction_adapter만 허용하며 승인=false, 공식 점수=null을 유지합니다.
- 수정 2: 실제 발전량 없는 경로에서도 SMP 유한·비음수 및 KST 시간별 k 정합성을 먼저 검사합니다. 잘못된 시장 입력은 package 생성을 차단합니다. 실제 발전량이 없으면 정산은 SKIPPED_NO_ACTUALS이며 0으로 채우지 않습니다.
- 수정 3: CSV writer로 ID의 쉼표/따옴표를 보존합니다. 입력 CSV/JSON/Parquet은 동일 immutable byte snapshot으로 파싱·hash하도록 공용 InputSnapshots를 추가했습니다. Parquet은 BufferReader를 사용해 읽은 내용과 기록 hash를 일치시킵니다.
이번에 직접 검증한 것¶
- 수정 전 회귀 실패 재현 후 수정. 최종 OIBC 관련 전체 테스트 406 passed, 1 skipped in 28.29s.
- 실제 sites.csv 253개와 실제 평가 SMP 8760시간에 합성 0 예측 2,216,280행을 사용한 집계·preflight/package roundtrip 통과. composition 253행, forecast 17,520행(각 header 별도). 이는 데이터 구조 검사이며 실제 모델 실행이나 성능 평가가 아닙니다.
- Parquet ns/us/ms/s·timezone·누락/중복/NaN/음수·schema·초 미만 오류, pandas로 공식 baseline 저장 방식 재현, 입력 변경 후 snapshot hash 불변 검증 통과.
- 검증용 pyarrow 22.0.0/pandas 2.2.3 등은 별도 로컬 테스트 폴더에만 설치했고 프로젝트 의존성을 변경하지 않았습니다.
- JUnit: OIBC_Claude_추가기능_검토수정_tests_20261027.xml. 세 기능 문서 Review fixes 절 갱신.
실제 자료·팀 확인 대기¶
- 유일한 skip은 실제 baseline.py --sites-out artifact 검사입니다. 이상재의 실제 prediction 파일과 model/data/split version·hash·생성 근거가 필요합니다. 해당 모델은 이번에 실행하지 않았습니다.
- 문길래: Candidate 1 reference 채택, 의존성/엔진 경계와 공식 제출 형식·승인. 공식 문제정의서의 추가 무효 조건·최종 제출은 승인 전까지 보류합니다.
- 공식 점수=null/승인=false 유지. 코드 로컬 미커밋, push/PR/merge·외부 원본 데이터 업로드·실제 제출 없음.
진척도¶
- 70% → 80%, In Progress 유지. 후보 패키지 생성·검증 구현 및 합성/실제 시간축 회귀를 반영합니다. 실제 예측 연결과 최종 제출 승인이 남아 개발 전체 완료/100%로 처리하지 않습니다.
영조 Updated by 영우 조 21 days ago
1차 초안 PR 게시 / 실제 OOF·제출은 후속 분리 — 2026-10-27 KST¶
1차 Draft PR: https://github.com/GilbertMoon/icn-solar-cad-agent/pull/190
브랜치: vpp/oibc-capacity-validator-20261027
PR HEAD: b0c3499a444673aaa9bae64a9c08c7b7be6f88bb
이번 PR에 포함한 것¶
- Capacity/Residual/Submission Validator, README 정산 계산기, Baseline VPP·swap/move 탐색 시제품, 집계·Parquet 어댑터·후보 패키지와 입력 snapshot 처리.
- 구성 설정·단위/CLI 테스트·기능 문서·범위/대기 상태/재현 안내. 36개 파일, 2개 커밋이며 기존 CAD MCP 서버/프로젝트 runtime 의존성은 변경하지 않았습니다.
- 검토 환경 의존성은 requirements/oibc-review.txt로 분리했습니다. 제품 의존성 채택·공용 엔진 경계는 PM 검토 대기입니다.
- tests/evidence/oibc/review_summary.json 및 review_junit.xml에 실행 코드 commit, source/input hash와 결과를 포함했습니다. 원본 데이터·실제 Forecast/OOF·생성 제출 CSV는 포함하지 않았습니다.
현재 main 기준 재검증 완료¶
- 기준 main fca01e89 위로 재정리한 실행 코드 c316bf32에서 406 passed / 1 skipped in 46.18s 재현. 마지막 증거 커밋은 문서/결과만 추가했고 실행 코드는 동일합니다.
- 253개×8,760시간 / 2,216,280 plant keys / 17,520 VPP forecast rows 검사는 합성 0 Prediction을 사용한 Production-size 구조 검증 PASS입니다. 실제 모델 성능·실제 OOF 검증으로 취급하지 않습니다.
- 유일한 skip은 아직 제공되지 않은 실제 baseline.py --sites-out artifact 검사입니다. GitHub 자동 CI 통과를 주장한 것이 아니라 로컬 OIBC 검증 결과입니다.
수신 상태 / 현재 HOLD¶
- WAITING_FOR_DATA_CONTRACT: 수아님 준비 자료는 main의 workspaces/w1/oibc-data-validation/에서 확인했습니다. handoff_proposal_v1 및 D01~D03 검토 대기를 최종 합의로 간주하지 않습니다.
- WAITING_FOR_FORECAST_OOF: 상재님 실제 모델 Forecast/OOF·hash·version·fold/cutoff 근거 대기.
- 두 분께 직접 요청 발송했고 #992 댓글 5에 요청 링크·필요 항목·수신 후 검증 순서를 기록했습니다. 현재 READY_FOR_REAL_OOF_VALIDATION은 아닙니다.
- 실제 OOF VPP 최적화 / 실제 Revenue 개선 / 공식 제출 검증은 HOLD 유지. 수신 후 입력 검증부터 진행하며 PM Go/No-Go·제출 승인 후에만 실제 제출합니다.
PR 분리와 진척도¶
현재 구조 구현·합성 검증이 1차 초안 PR 범위입니다. 실제 OOF 연동·Revenue 개선·실제 제출 검증은 후속 PR로 분리합니다. 신규 기능 확장이나 merge/공식 제출은 하지 않았습니다. #990 90%, #991 70%, #992 80%, #993 80% 유지.
영조 Updated by 영우 조 19 days ago
[2026-10-30 #992 종료 후 #993 재개 및 기존 구현 검증]
선행 #992는 PM APPROVE_WITH_OPEN_ITEMS에 따라 Closed/100%로 처리했습니다: https://sulfite-footbath-next.ngrok-free.dev/issues/992#note-14. 이후 #993만 진행합니다.
확인한 범위: Submission Validator, plant→VPP 집계 pipeline, 후보 package, baseline sites adapter 및 각 테스트 파일 4개는 GitHub 기본 브랜치와 Git blob SHA가 각각 일치했습니다. 이는 해당 8개 파일에 한정되며 전체 의존성과 실행 환경의 동등성을 뜻하지 않습니다.
관련 로컬 회귀: 155 passed, 3 skipped. 이후 대회 제공 sites.csv와 평가 SMP 8,760시각 및 합성 0 예측으로 skip된 실제 규모 구조 테스트 2개를 별도 실행해 2 passed: 253×8,760 plant 입력 → 그룹 예측 17,520행 및 composition 253행/forecast 17,520행 패키지 재검증. 예측은 합성이며 실제 Forecast, 성능, 공식 제출 결과가 아닙니다. 나머지 실제 baseline.py --sites-out artifact 테스트 1개는 해당 파일이 없어 미실행입니다. 초기 기본 임시 폴더 권한 오류는 작업 폴더 내 별도 임시 폴더를 지정해 해결한 후 재실행했습니다.
남은 확인: 최신 공식 제출 schema/파일 순서/인코딩/반올림·무효 조건 및 PM 검수, 실제 제출 대상 예측과 VPP 배정의 연계·최종 제출 gate. #1128 자료는 DEV OOF로 실제 test 예측을 대체할 수 없습니다. D04 REVIEW, D05 HOLD 및 HOLDOUT 잠금 유지. 공식 점수/수익 승인과 실제 제출은 수행하지 않았습니다. #993 In Progress 80% 유지하며 근거·승인 범위를 계속 확인합니다.
영조 Updated by 영우 조 19 days ago
- % Done changed from 80 to 90
[2026-10-30 #993 제출 구조 대조 및 최종 검수 요청 준비]
완료: 제공 ZIP README(sha256 d8475954774c328f46e1dea96951b6ea11beffa548611d18eee0db7470c01ca5)와 현 사전 검증기·패키지 흐름을 대조했습니다. README 기준 composition.csv는 site_id/group 253행(헤더 포함 254), forecast.csv는 group/ts/forecast_kwh 2개 그룹×8,760시각 17,520행(헤더 포함 17,521), 시간대 포함·예측 0 이상입니다. 검증기는 기준 ID·용량, 그룹별 전체 시각 key·중복/누락·유한/음수 및 시간대 검사. 파일 라벨이 일치해도 예측이 실제 해당 배정에서 집계됐는지는 생성 근거를 별도 대조해야 합니다.
Revenue-aware 비교는 동일 실측·시간·SMP·k와 plant forecast를 고정하고 용량, Gross/Penalty/Net, 입력·배정·모델·데이터·분할·정산 버전 및 해시를 남기는 구조로 정리했습니다. PM 인계에는 구성/예측 해시, 검증 및 용량 report, 버전·실행 코드, cutoff/누수 근거, 미결 사항과 재실행 정보를 포함합니다.
검증: note-6의 155 passed/3 skipped 및 실제 253개소·8,760시각 + 합성 0 예측 규모 테스트 별도 2 passed. 실제 baseline.py --sites-out artifact 테스트는 미실행. 예측은 합성으로 구조만 검증했으며 실제 성능이나 공식 제출이 아닙니다. 확인한 구현/테스트 8개 파일만 main과 blob 일치했습니다.
미결: README는 열/행수/무효 조건의 정본을 문제정의서로 지정하므로 최신 공식 문서·제출 화면 기준, 열 순서·인코딩·반올림·추가 무효 조건 확인 필요. 실제 test 예측, candidate 배정과 예측의 연결·독립 QA 및 PM 제출 승인은 후속 단계입니다. #1128 OOF는 DEV이며 test 예측이 아닙니다. D04 REVIEW / D05 HOLD / HOLDOUT 잠금 유지. 공식 scoring·Revenue·제출 승인 아님.
검수용 로컬 정리: OIBC_993_REVIEW_20261030.md. #993 원래의 구조 정리 범위 완료 인정 여부 및 미결 항목의 후속 추적 위치를 PM에 요청합니다. In Progress 90%는 검수 대기 단계 추정치입니다.
영조 Updated by 영우 조 19 days ago
- Status changed from In Progress to Closed
- % Done changed from 90 to 100
[2026-10-30 #993 PM 최종 검수 및 종료]
문길래 PM 판정: APPROVE_WITH_OPEN_ITEMS / 100% / RESOLVED 또는 CLOSED. 승인 근거: https://ax-2-hq.slack.com/archives/C0CA39WAMGX/p1793325288551829?thread_ts=1793320219.776399&cid=C0CA39WAMGX
완료 인정 범위: Revenue-aware 비교 구조, 제출 파일 구조·검증 규칙, ID/용량/시간/누락/중복/유한값 검사, submission validator·aggregator·package·adapter, PM handoff 구조 및 대규모 합성 제출 구조 검증. 세부 구현·검증 및 한계는 note-6~7 참조. 실제 sites/SMP와 합성 예측을 사용한 검증은 실제 모델 성능이나 공식 제출 검증이 아닙니다.
PM 지정 후속 추적:
- 공식 제출 규격/추가 무효 조건 및 최종 제출/evidence: #1151
- 실제 test prediction 생성: #1142
- 실제 prediction과 VPP assignment 통합 QA: #1147
- 제출 피드백 개선: #1148 / #1149
- 최종 candidate freeze/QA: #1150
- D04 cutoff: #1158
- D05 공식 settlement/scoring: #1159
실제 baseline --sites-out artifact 검사는 미실행이며, #1128 DEV OOF는 실제 test prediction이 아닙니다. D04=REVIEW, D05=HOLD, OFFICIAL_SUBMISSION_APPROVED=NO, OFFICIAL_REVENUE_APPROVED=NO. 이번 승인은 구조 정리 일감의 완료 승인으로, 공식 제출이나 수익 개선 승인이 아닙니다. PM 승인에 따라 Closed/100% 처리합니다.