Project

General

Profile

Actions

Feature #991

closed
영조 영조

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

[OIBC] Scoring / Settlement 계산 구조 정리

Feature #991: [OIBC] Scoring / Settlement 계산 구조 정리

Added by 영우 조 22 days ago. Updated 16 days ago.

Status:
Closed
Priority:
Normal
Assignee:
Start date:
10/28/2026
Due date:
10/29/2026
% Done:

100%

Estimated time:

Description

공식 평가/정산 수식을 확인하고 Gross Sales, Penalty, Net Revenue 계산에 필요한 입력/출력 구조 정의

영조 Updated by 영우 조 22 days ago Actions #1

진행 기록 — 2026-10-27 KST

완료한 부분

  • 기존 정산 Spec의 TBD와 ZIP README 814·32·7589행을 대조하여 계산 입력/출력·단위·집계 순서를 설계했습니다.
  • 패키지 식: 그룹·시간별 R=SMP×actual_kwh, W=0.10×SMP×k×|actual_kwh−forecast_kwh|, 전체 S=두 그룹·전체 시간의 (R−W) 합계입니다.
  • 발전소 actual/prediction을 VPP 안에서 먼저 합산한 뒤 abs를 적용합니다. plant별 절대오차/penalty를 먼저 합산하는 방식은 사용하지 않습니다.
  • residual=actual−prediction으로 양수는 과소예측, 음수는 과대예측입니다. 기존 TBD-05의 부호 표기는 정합성 수정 대상으로 식별했습니다.
  • capacity는 kW, 발전량은 kWh, SMP는 원/kWh, R/W/S는 원입니다. 패키지 식은 절대량 선형·과대/과소 대칭이며 k는 penalty에만 적용됩니다.
  • 실제 CSV 제한 점검: 평가 SMP 8,760시각, 중복/누락·가격 결측/비유한값/음수 없음. 0원 18건은 정상값으로 유지합니다. k=1/3이며 ts 시가 11~15일 때 3인 규칙과 전부 일치합니다.
  • train/smp.csv는 38,688행이며 k 열이 없습니다. 평가 SMP와 schema/기간을 구분했습니다.
  • 합성 산술 검증(실제 수익 아님): SMP=100, k=3, 실제 합계=24kWh에서 AB/CD는 R=2,400·W=30·S=2,370원, AC/BD는 R=2,400·W=270·S=2,130원입니다. 독립 Decimal 계산으로 확인했습니다.

팀원 확인이 필요한 부분

  • 문길래: 최신 문제정의서와 수식·정산 합산/반올림·무효 조건 대조, 정식 scoring_version 승인.
  • 황수아: 학습 SMP의 k 생성 규약, 시각/단위 계약과 전체 actual QA 교차 검토.
  • 이상재: 누수 검증된 동일 plant actual/prediction·fold·model_version·시간축 제공.

상태·산출물

  • 패키지 근거를 확보한 설계 초안과 합성 산술 검증 단계입니다. 정식 Settlement Engine 구현·실제 수익 계산·Gate 승인은 미완료이며 official_S=null입니다.
  • TBD-01~05는 README 근거를 확보했고, TBD-11은 이 ZIP의 두 SMP CSV에서 음수/결측 없음만 확인했습니다. 모든 미래 입력의 음수 허용 정책까지 확정한 것은 아닙니다.
  • 로컬 산출물: OIBC_990_993_설계_진행보고_20261027.md, OIBC_CSV_제한점검_20261027.json.

영조 Updated by 영우 조 22 days ago Actions #2

  • Status changed from New to In Progress
  • % Done changed from 0 to 30

README 정산 계산기 구현 착수 — 2026-10-27 KST

사용자 지시에 따라 README 14행의 R=SMP×actual, W=0.10×SMP×k×|actual−forecast|를 기준으로 계산기를 구현합니다. In Progress·30%로 갱신하며 단계 기준 관리 추정치임을 명시합니다.

이번 범위: 발전소→VPP 합산 후 penalty 적용, 두 VPP·전체 시간 합계, 단위·key 완전성·비정상 수치 검증, 합성 데이터의 수동 기대값 대조와 회귀 테스트.

공식 승인 대기: 문제정의서 정본·반올림·scoring_version 승인, 팀 데이터/OOF 계약. 성공한 계산도 README_RULE_ONLY·UNREVIEWED로 구분하고 official_S는 null로 유지합니다. 실제 대회 수익 개선이나 Gate 승인을 주장하지 않습니다.

영조 Updated by 영우 조 22 days ago Actions #3

  • % Done changed from 30 to 70

README 정산 계산기 구현·합성 검증 결과 — 2026-10-27 KST

완료한 부분

  • scripts/oibc_settlement_calculator.py, scripts/oibc2026_readme_settlement_rule_v0_1.json, tests/unit/test_oibc_settlement_calculator.py, docs/OIBC_README_SETTLEMENT_CALCULATOR_V0_1.md를 추가했습니다. 기존 OIBC 전용 구현 브랜치에서 Capacity Validator·KST 파서를 재사용했습니다.
  • README 14행 기준: VPP별·시각별 actual/prediction을 먼저 합산 → residual=actual−prediction → R=SMP×actual → W=0.10×SMP×k×abs(residual) → 두 VPP·전체 시간의 R/W/net 합계입니다. k는 penalty에만 적용합니다.
  • 계수·피크 시간·가중치·rule version을 별도 설정으로 주입합니다. 유한 10진 입력을 정확한 유리수로 계산해 임의 반올림·절사를 하지 않습니다.
  • ID/용량·단위와 예상 전체 plant×ts 및 market ts key를 검사합니다. 누락·중복·추가 key·NaN/Inf·시장 결측은 계산 실패로 처리하고 수익 합계를 null로 남깁니다. drop/0 채움/음수 SMP clamp는 하지 않습니다.
  • 0원 SMP와 음수 net은 정상 계산합니다. 기본 provided k는 KST 시각 규칙과 대조하며, train SMP에 k가 없을 때는 명시적 derive_from_hour 선택만 허용합니다.
  • 시간별(선택 출력)·VPP별·전체 매전수익/페널티/정산금, 입력 hash·단위·규칙 버전·data_label과 CLI 종료코드를 제공합니다.

검증한 것 — 모두 합성 데이터

  • 새 정산 테스트 51개 + 기존 용량/제출 검증 87개를 저장소에서 함께 실행: 138 passed in 1.47s. CAD 전체 테스트·실제 수익 평가를 수행했다는 뜻은 아닙니다.
  • 4개 발전소의 고정 actual/prediction, SMP=100·k=3에서 AB/CD: gross 2,400원·penalty 30원·net 2,370원. AC/BD: 2,400원·270원·2,130원으로 손계산과 일치했습니다. 240원 차이는 합성 사례입니다.
  • 완전 오차 상쇄·0 오차·0원 SMP·음수 net·과대/과소 대칭, 10/11/15/16시·자정 k 경계, UTC/KST 동등 순간, 명시적 k 생성, key·단위·비정상 수치·부호 오류, 입력 순서/정밀도/기간 합산·CLI를 검증했습니다.
  • 별도 합성 증거 6개 정상 사례와 4개 오류 변형을 기록했습니다. 증거 파일: OIBC_991_settlement_tests_20261027.xml, OIBC_991_settlement_synthetic_evidence_20261027.json(실행 파일 hash·합성 fixture·수동 기대값 포함).

공식 승인 대기와 팀 확인

  • 성공한 계산도 status=README_RULE_ONLY, scoring_status=UNREVIEWED입니다. official_S=null, official_rule_approved=false를 고정합니다. 설정 이름만 바꿔도 승인 결과로 승격되지 않습니다.
  • 문길래: 문제정의서 정본의 수식·집계/반올림·무효 조건과 정식 scoring_version 검토/승인.
  • 황수아: actual/SMP/k·시간축·단위 계약과 음수 plant energy 입력 지원 정책 검토. v0.1은 비음수 actual/plant prediction 입력만 지원하며 공식 실격 정책을 확정한 것은 아닙니다.
  • 이상재: 고정 model/fold의 검증된 plant OOF actual/prediction, cutoff·자료 가용성·누수 근거와 artifact 버전 제공.
  • 실제 OOF 수익 비교·대회 test 정답 평가·최적화 개선 입증·Gate·제출은 미수행입니다. 코드·문서는 로컬 미커밋 상태이고 push/PR/merge는 하지 않았습니다.

진척도 갱신

  • 30% → 70%, In Progress 유지. README 기준 구현·합성 검증까지 완료하고 정본·사람 검토·실제 입력 평가가 남은 단계 기준 추정치입니다. 공식 승인율·시간 비율이 아니며 100%/Resolved로 처리하지 않습니다.

영조 Updated by 영우 조 21 days ago Actions #4

추가 파이프라인의 README 정산 연계 검토 — 2026-10-27 KST

완료한 부분

  • Claude가 추가한 제출 파이프라인의 carrier 방식(그룹별 가장 작은 site에 VPP 예측을 배치하고 나머지 예측은 0)을 검토했습니다. 이는 VPP 합산 후 abs를 적용하는 기존 exact 정산기의 계산을 재현하기 위한 내부 변환이며 발전소별 실제 예측이라고 표시하지 않습니다.
  • 기존 Fraction 정산 수식과 그룹 합산 후 오차 적용은 변경하지 않았습니다. 합성 사례에서 직접 정산 결과와 carrier 경로, Residual 목적함수×penalty_rate의 정합성을 회귀 검증했습니다.
  • 연결 경로의 결함 수정: 실제 발전량이 없어도 SMP 유한/비음수와 시간별 k 규정을 먼저 검사합니다. 잘못된 시장 입력은 차단하고, 실제 발전량이 없으면 정산은 SKIPPED_NO_ACTUALS로 유지합니다. 누락 실제값을 0으로 채우지 않습니다.
  • 전체 OIBC 관련 테스트 406 passed, 1 skipped in 28.29s. 실제 sites/SMP 시간축의 합성 예측 package 검증도 포함하며, 이것으로 실제 수익을 계산했다고 주장하지 않습니다. JUnit: OIBC_Claude_추가기능_검토수정_tests_20261027.xml.

공식 승인·실제 자료 대기

  • README_RULE_ONLY/UNREVIEWED 유지. 공식_S=null, 승인=false입니다. 공식 문제정의서의 최종 수식/단위/무효 조건 확인 및 PM 승인이 필요합니다.
  • 실제 OOF/forecast/actual artifact를 받아 검증한 후 실제 기간 Revenue 비교가 필요합니다. 실제 모델 결과 미제공으로 해당 artifact 검사는 skip했습니다.
  • 테스트 환경 의존성은 임시 로컬 폴더에만 추가했고 프로젝트 의존성은 변경하지 않았습니다. 코드 미커밋, push/PR/merge·실제 제출 없음.

진척도

  • 70% 유지, In Progress 유지. 이번 작업은 연결부 수정과 추가 회귀 검증이며, 공식 규정 승인·실제 입력 평가가 새로 완료된 것은 아니므로 진척도를 추가로 올리지 않습니다.

영조 Updated by 영우 조 21 days ago Actions #5

[2026-10-28 #1125 DEV OOF 잠정 정산]
RESULT=README_RULE_ONLY / D05=HOLD / 공식 점수 아님 / In Progress 70% 유지

#992#note-8의 실제 DEV 두 모델 자료를 사용. 전수 253개소인 JAN(720시간)/FEB(648시간)만 평가, 수아 v3 기준 원본 참조 A→G1/B→G2 고정. 원본 train/smp.csv를 ts로 일치시키고 학습 SMP의 k는 KST 끝시각 기준 명시적으로 도출. 기존 #991 calculator 실행 전 capacity·각 plant×시간·SMP 키 검사 통과. 실제 모델별 예측이 다르므로 아래는 고정 참조 VPP에 대한 모델별 내부 진단이지 VPP 변경의 수익 개선 비교가 아님.

단위 원, 아래 수치는 이해를 위한 소수 둘째 자리 반올림 표시이며 계산기 내부 값은 반올림 없이 보존:

  • climatology JAN: gross 456,083,353.22 / penalty 23,825,710.16 / net 432,257,643.06
  • climatology FEB: gross 576,140,733.21 / penalty 58,120,043.91 / net 518,020,689.31
  • official_baseline_repro JAN: gross 456,083,353.22 / penalty 11,977,936.76 / net 444,105,416.45
  • official_baseline_repro FEB: gross 576,140,733.21 / penalty 15,915,015.60 / net 560,225,717.61

참조 배정의 그룹별 용량 G1=20,465.655kW/G2=22,189.715kW. 4회 모두 passed=true, status=README_RULE_ONLY, official_rule_approved=false, official_S=null. 실제 test 정답을 사용하거나 만든 것이 아니며 고정 DEV 구간 진단입니다. JUL 224개소는 40MW 미달, OCT 252개소는 전체 253개소가 아니므로 정산 제외. HOLDOUT 미실행.

#992 구조 검증은 진단용 residual 허용오차를 사용했으며 승인은 별도. 산술 처리 차이 때문에 calculator 입력에는 검증된 actual/prediction을 사용하고 residual_kwh 열은 전달하지 않았습니다; #991은 VPP별 합산 후 예측−실제 오차를 직접 계산합니다. 기존 production 코드/규칙은 수정하지 않았습니다.

D05 공식 정본·음수 actual·rounding·수아 독립 검토·PM 승인이 남아 있어 공식 Revenue 또는 최종 개선 성능으로 사용하지 않습니다. D04 cutoff/provenance 및 팀 비교 조건 확정도 필요. 실제 OOF 인계 검증은 사용자 승인에 의한 일회성 순서 예외이며 #989 Closed를 의미하지 않습니다. 원본/행 데이터 외부 첨부 없음.

영조 Updated by 영우 조 19 days ago Actions #6

[2026-10-29 #991 기존 정산 계산기 재검증]

완료한 확인:
• #990 Closed 및 PM 기준 reference(A→G1/B→G2) 채택을 확인했습니다. #991의 실제 JAN/FEB DEV OOF 잠정 정산은 이미 note-5에 기록돼 있으며 새 공식 성능 결과가 아닙니다.
• GitHub main에서 조회한 파일의 Git blob SHA와 로컬 시험본을 대조: 정산 계산기 20b87d662bbb8db5b75c68b046e48ee62b3bccc5, 정산 설정 d421bcb4b4579b8c5872dfa64219da2111c792f4, 정산 테스트 eaad8dc9a84d383305be33763653d9984a90c0af, capacity validator 8397ce90895a5600b2f09e07a24e51cdb570c0bd, submission validator a406e03e83b64d4c0051a45ee155ef6d552a5b61. 각 파일 바이트가 일치했으며 main 전체 또는 단일 commit 동일성은 주장하지 않습니다.
• 위 로컬 파일에 대해 정산 pytest 51개 통과(0.61초). 임시 디렉터리 권한으로 초기 실행은 50 통과·1 setup 오류였으나 작업공간 임시 디렉터리 지정 후 전체 재실행 통과했습니다. 테스트는 README 범위 구현 확인이며 공식 채점 parity가 아닙니다.
• 검토한 구현은 발전소별 값을 VPP/시간별로 합산 후 오차를 계산하고, 음수 actual/prediction을 거부하며, 정확한 산술과 중간 반올림 없음은 내부 잠정 정책입니다.

남은 확인 / D05 HOLD:
공식 문제정의서·채점 정본과 버전, 공식 rounding·음수 actual·무효 조건, 수아님 명의 독립 D05 검토, PM의 Source of Truth·Revenue 판정 기준 승인. 과거 원본 음수 actual 발견 기록은 #1159 note-1 참조. 공식 근거 없이 처리 정책을 변경하거나 실제 OOF 결과를 공식 점수/확정 개선으로 사용하지 않습니다.

진척도: In Progress 70% 유지. 관련 구현과 회귀는 확인했지만 공식 기준과 최종 검수가 남아 있습니다. #991 종료 전 다른 일감으로 넘어가지 않습니다.

영조 Updated by 영우 조 19 days ago Actions #7

  • Status changed from In Progress to Closed
  • % Done changed from 70 to 100

[2026-10-29 #991 PM 최종 검수]

RESULT=APPROVE_WITH_OPEN_ITEMS / Closed 100%
문길래 PM님이 README 기준 정산 수식, Gross/Penalty/Net 입출력 구조, 구현 및 검증 범위를 승인했습니다. Slack 판정: https://ax-2-hq.slack.com/archives/C0CA39WAMGX/p1793262245852649?thread_ts=1793258870.618719

PR #190 MERGED, PM이 기록한 merge SHA 013cb133d4d4bbdf3a4c0ecc7e25019bf8e8b742. 정산 테스트 51개 및 독립 Decimal 합성 80개 시나리오 검증 확인. 실제 JAN/FEB DEV OOF 정산은 잠정 평가입니다. 상세 검증 및 main 파일 단위 대조는 note-5, note-6 참조.

미확정 항목은 #1159 D05에서 추적: 공식 채점 코드/문제정의서, 반올림, 음수 actual 정책, 황수아님 독립 검토. D05 승인 전 결과는 PROVISIONAL이며 공식 점수·확정 수익 또는 제출 승인으로 해석하지 않습니다. 승인 후 확정 scoring_version으로 재계산하고 후보를 비교합니다.

PM은 #991 종료 후 #992 작업 착수를 승인했습니다.

영조 Updated by 영우 조 16 days ago Actions #8

[2026-11-02 주최 측 답변 대조 — 후속 검토 필요]

근거: 주최 DataEn 답변을 PM님이 공유한 이미지 https://app.slack.com/archives/C0CA39WAMGX/p1793585185062699

공식 답변: 평가 실적에 음수는 없으나 음수 실적이 있다면 0으로 변경하거나 시각을 빼지 않고 그대로 정산. 실적 행이 없으면 해당 시각을 0kWh로 채점. 중간 계산은 반올림하지 않으며 공표 정산금만 원 단위 반올림, 절사하지 않음. 공식 채점 코드/정답 예시는 제공되지 않음.

확인 코드: 로컬 scripts/oibc_settlement_calculator.py SHA-256 fd001a1419c8363a743cabb22af051ae536eaaE63806ffb3013c1f30e1a9f32a (검토한 로컬 복사본, 저장소 전체 최신 버전 동일성 미확인). 해당 코드는 음수 actual 또는 prediction을 INVALID_ENERGY로 거부하므로 음수 actual에 대해서는 답변과 불일치. 누락 plant×시간 키도 거부하므로 결측 실적 0 처리와도 차이가 있으며, 주최 측의 실적 행 부재 범위를 입력 데이터 단위와 대조해야 함.

Fraction 기반으로 중간 반올림 없이 계산하는 부분은 부합. 최종 결과는 정확한 소수 문자열로 반환하고 원 단위 반올림을 하지 않으므로 공식 공표값 형식과 차이가 있음. 정확한 .5 동률 방식과 반올림 적용 대상·합계 단계는 추가 확인 필요. 코드 수정 및 공식 채점 일치 검증은 이번에 수행하지 않음. D05 #1159 후속 검토 항목으로 관리하며 기존 #991 Closed는 유지.

영조 Updated by 영우 조 16 days ago Actions #9

[주최 측 회신 반영: 음수 actual 처리 로컬 수정·검증]

기존 정산기 로컬 사본을 별도 작업 공간에 복사하여 음수 actual은 0 보정·삭제 없이 그대로 VPP 합계 및 README 잠정 수식에 반영하도록 변경했습니다. 음수 prediction은 기존대로 거부합니다. 계산기 버전은 v0.2-signed-actual로 구분하며 official_S=null / official_rule_approved=false는 유지합니다.

합성 회귀: 음수 발전소 실적의 VPP 합산과 잔차·수익 손계산, 그룹 합계 자체가 음수인 경우 보존, 음수 prediction 거부, 기존 정상 입력·누락·중복 등 정산 테스트 총 52 passed. 이는 로컬 테스트이며 공식 scorer 동등성 검증이 아닙니다.

수정 코드 SHA256=8249f3301c7c97754d60333619bd15593401804017a60e6097a046dbe22245b7; 테스트 SHA256=6b6909d6a722ba95e68c8a061b1f129e24d7ebf08e17350e3d38a03fcb6d073a. 기준 파일: 이전 note-8 로컬 사본. 별도 로컬 작업 폴더의 시험본이며 Git 저장소 적용/PR/merge 및 수아님 독립 재검증은 아직 아닙니다.

실적 누락 0 처리 범위와 최종 원 단위 반올림의 동률·적용 범위는 결정 대기라 변경하지 않았습니다. D05 HOLD 유지, #991 상태 변경 없음.

Actions

Also available in: PDF Atom