Project

General

Profile

Actions

Feature #1159

closed
길문 길문

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

[OIBC] D05 Settlement / Scoring 기준 최종 확정

Feature #1159: [OIBC] D05 Settlement / Scoring 기준 최종 확정

Added by 길래 문 21 days ago. Updated 14 days ago.

Status:
Closed
Priority:
Normal
Assignee:
Start date:
10/31/2026
Due date:
11/02/2026
% Done:

100%

Estimated time:
(Total: 0:00 h)

Description

내용:

  • 공식 Settlement / Scoring 기준 확인
  • SMP 적용 방식 확인
  • k 적용 기준 확인
  • VPP 집계 후 오차 계산 방식 확인
  • Capacity / Energy 단위 확인
  • 음수 actual 처리 정책 결정
  • 조영우 Settlement Engine과 공식 기준 대조
  • Revenue 개선 검증의 Source of Truth 확정
  • 최종 결정 내용을 GitHub 결정 문서에 반영

완료조건:

  • 조영우 계산 로직 검토 완료
  • 황수아 데이터/단위 검증 완료
  • 공식 근거와 내부 구현 대조 완료
  • PM 최종 승인
  • APPROVED / REVIEW / HOLD 상태 기록

Subtasks 1 (0 open — 1 closed)

Feature #1303: [OIBC] Official Scoring / Settlement Source of Truth 최종 확인Closed수아 황10/31/202611/02/2026

Actions

영조 Updated by 영우 조 21 days ago Actions #1

  • Status changed from New to In Progress
  • % Done changed from 0 to 50

[D05 Settlement / Scoring 검토 결과]

RESULT=HOLD

REVIEWER=

  • 조영우: 본 댓글의 구현·수식 대조 및 검증 수행.
  • 황수아: 공동 검토 담당. v3 데이터 기준 전달본을 별도 근거로 대조했으며, 본인 명의 D05 독립 코드 검토 판정은 아직 확인되지 않음. 독립 검토를 Slack으로 요청했으며 대신 승인하지 않음.

SUMMARY=

  • 수용 가능한 비음수 actual/prediction·SMP 입력 영역에서 현재 구현은 제공 README의 수식·집계·단위·k·시간 기준과 일치한다.
  • 공식 공개 페이지에서 S 최대화, 집합자원 단위 정산, KST·시간별 우측닫힘, 전체 253개소 포함을 확인했다. 상세 계수·음수 actual·반올림·동점 처리까지 확정한 근거는 아니다.
  • 정산 pytest 51개 재실행 통과(0.54초), 독립 Decimal 계산과 합성 80개 시나리오 대조 통과. 실제 OOF·Revenue 성능 검증은 수행하지 않았다.
  • 상세 문제정의서/공식 scoring.py 미확보, 음수 actual 정책, 수아 독립 판정, PM 승인 대기로 전체 HOLD. 코드의 공식 승인 플래그와 official_S는 false/null 유지.

SOURCE_OF_TRUTH=

  • 확인한 최우선 공식 근거: https://dataen.ai/challenge/2026 의 대회 규정·제공 데이터 탭(2026-10-27 열람). 공개 범위의 기준만 확인했다.
  • 현재 실행 계산의 잠정 기준: 제공 ZIP의 handover 2/01_participant_dataset/README.md. README 자체가 수식·동점·제출 세부의 정본으로 문제정의서를 지목한다.
  • 제공 baseline.py는 예측·참조 배정 예제이고 채점 정본이 아니다. scoring.py 및 OIBC2026-문제정의서.md를 참조하지만 확인한 ZIP에는 두 파일이 없다. 확인한 GitHub/Redmine/Slack·로컬 관련 위치에서도 해당 원문을 확보하지 못했다. 다른 비공유 위치에 없다고 단정하지 않는다.
  • 적용 버전: oibc2026-readme-d8475954-settlement-v0.1-unreviewed / handoff_data_basis_v3 / vpp_data_basis_v1.
  • 우선순위 권고(PROVISIONAL): 주최 측 최신 공식 정정·서면 해석 → 현행 문제정의서/정식 규정 → 동일 버전 공식 채점 코드와 교차 대조 → README → baseline 예제 → 팀 문서/구현. 문서와 코드 충돌 시 어느 쪽도 임의 승격하지 않고 해당 판정을 HOLD, 주최 측 해석과 PM 결정을 기록한다. PM 내부 승인으로 공식 규정을 대체하지 않는다.

EVIDENCE=

  • 구현/설정/테스트: PR #190, 검토 HEAD b0c3499a444673aaa9bae64a9c08c7b7be6f88bb.
  • scripts/oibc_settlement_calculator.py, scripts/oibc2026_readme_settlement_rule_v0_1.json, scripts/oibc_submission_validator.py, scripts/vpp_capacity_validator.py, tests/unit/test_oibc_settlement_calculator.py.
  • 원본 ZIP SHA256 f8b8914d1e45c7a7e8108fc2bfb2c1287373a07e2621cfe653bb3a12a438834e.
  • README SHA256 d8475954774c328f46e1dea96951b6ea11beffa548611d18eee0db7470c01ca5.
  • baseline.py SHA256 ab2a5752aa2df07cd0414acb53959a1956a8a261a3858324e9216cff268a2a02.
  • 검토 v3 고정 commit ce8aa03fa93d7996285d50037591f366372908a5 / PR #191. plant_master SHA256 2133cd2e19bac33972d5dd30ad81b88bcecb6f38fc4209c0b2db21492c00f07d.
  • 직접 수행한 수신 검사 30항목: 원본 ZIP·linked 6파일 SHA, 계약/정책 버전, 전체 ID/용량/W 변환, KST/시간 기준, 기존 Capacity Validator 연계. 해당 수신 검사는 수아 보고 건수·51 pytest·80 합성 시나리오와 합산하지 않는다.
  • 로컬 재현 증거: OIBC_D05_Settlement_tests_20261027.xml, OIBC_D05_대조검증_증거_20261027.json, OIBC_v3_수신기준_검증_20261027.json. 원본 행·좌표는 외부에 첨부하지 않았다.

FINDINGS=

  1. Settlement 수식 — README 기준 MATCH

    • 각 VPP g, 시각 t에서 A=Σplant actual, F=Σplant prediction, R=SMP×A, W=0.10×SMP×k×|F−A|, S=Σg,t(R−W).
    • 고정된 동일 plant 예측/실적이면 배정 변경 시 총 매전수익은 불변이고 penalty만 달라진다. Forecast도 바꾸면 VPP만의 개선으로 설명하지 않는다.
  2. SMP 처리 — README/입력 계약 기준 MATCH

    • 원/kWh이며 정확한 ts로 결합한다. SMP를 합산·평균하거나 plant 수만큼 중복 계상하지 않는다. VPP/시각마다 energy와 곱한 뒤 합산한다.
    • 평가 SMP 8,760행, 중복/시간 간격 오류/음수/비유한 값 0, k 불일치 0, 0원 18행을 재확인했다. 학습 SMP 38,688행, 0원 17행이며 k 열이 없다.
    • 0원은 정상으로 보존한다. 누락·중복·추가 key/NaN/Inf·음수 SMP는 실패시키며 합계 null. 임의 보간·0 채움·삭제·clamp 없음. 음수 SMP 거부는 현 README 영역/내부 안전장치이며 공식 실격 조건으로 확대하지 않는다.
  3. k 처리 — README 기준 MATCH / 상세 공식 정본 대조 대기

    • KST로 정규화한 구간 끝 ts.hour가 11~15(양끝 포함)이면 3, 그 외 1. UTC 동등 시각도 KST 기준을 적용한다.
    • 평가 k는 원본 보존·규칙 대조. 학습 k는 명시적 derive_from_hour에서만 생성. 10/11/15/16/00시 경계 검증 통과. 11시 라벨은 (10시,11시]이며 구간 중앙으로 옮겨 가중치를 정하지 않는다.
  4. VPP Aggregation / Mapping — 공개 집합 정산·README 기준 MATCH

    • plant별 actual/prediction을 VPP/시각별로 먼저 합산하고 abs를 한 번 적용한다. 개별 절대오차 합산이 아니다.
    • 입력 mapping을 평가 기간 동안 고정하고 전 plant가 정확히 한 그룹에 속하도록 검사한다. 누락·중복·미등록 ID, 빈 그룹, 용량 미달이면 실패. current_group은 참조이며 최적화 승인 배정이 아니다.
    • v3 참조 A→G1/B→G2 연계 검사: G1 134개/20465.655kW, G2 119개/22189.715kW. 이는 참조 매핑 구조 검사이며 실제 최적화 결과가 아니다.
  5. 단위 / 정밀도 / 경계 — README·v3 기준 MATCH

    • Capacity kW, actual/prediction 구간당 kWh, SMP 원/kWh → R/W/S는 원. energy에 capacity·1000·1시간을 다시 곱하거나 나누지 않는다. 다른 단위 입력은 자동 추정하지 않고 거부한다.
    • 용량은 0.001kW=1W 정수 정밀도로 비교한다. 그룹별 >=20000kW, epsilon 0. v3 전체42655.370kW=42655370W와 원본 253개 값 모두 일치.
    • 계산은 Fraction으로 정확히 수행하고 중간·최종 금액을 임의 반올림하지 않는다. 공식 금액 절사/반올림 자리수는 미확인. 음수 net은 보존하며 0으로 clamp하지 않는다.
  6. 음수 actual — PROVISIONAL / POLICY HOLD

    • 현재 actual<0 또는 prediction<0은 INVALID_ENERGY로 중단하고 정산 합계는 null이다. 자동 0 보정·행 삭제·절댓값 변환을 하지 않는다.
    • 원본 generation 4,392,566행에서 음수 40행을 독립 재확인했다(최소 -1.0kWh, 2021-05-28~2022-10-30). 2023-06-01 01시 이후에는 0행이다. 현재 최근 기간에 없다는 사실이 기간 확장 정책을 해결하지 않는다.
    • README는 forecast>=0을 명시하지만 음수 actual의 채점 처리는 확인되지 않았다. baseline의 학습 target clip(0,1.2)은 학습용 처리이며 공식 Settlement actual 보정 근거가 아니다.
    • 합성 정책 반례: signed actual을 식에 그대로 넣으면 S=1150원, 음수 actual을 0으로 바꾸면 S=1280원이다. 현재 코드는 둘 중 하나를 선택하지 않고 실패한다. 이 수치는 공식 정책/실제 성능 결과가 아니다.
  7. 미확정 사항 — HOLD

    • 공식 문제정의서/채점 코드의 위치·버전·서버와의 동등성, 문서/코드 충돌 우선순위, 음수 actual 처리, 공식 rounding/동점·무효 조건.
    • D04 cutoff/수신 지연 및 D06 실제 출력 열 매핑·OOF 생성 근거. v3 수신은 데이터 기준 단계 확인이며 실제 OOF 수신/성능 검증이 아니다.

IMPLEMENTATION_MATCH=

  • README의 비음수 입력 영역에 대한 수식·단위·Aggregation·k·VPP mapping·경계·무보정 오류 처리는 PASS.
  • 전체 실제 공모전 채점과의 완전 일치는 아직 판정 불가. 음수 actual 거부와 exact/no-rounding은 잠정 구현 정책이지 공식 확정값이 아니다.
  • 검토 중 scorer/규칙 코드는 변경하지 않았다. 공식 정책 확정 후 필요하면 versioned rule·음수 처리·rounding과 해당 테스트를 함께 수정하고 재검증한다. 주최 측 채점 코드와 golden case 비교도 필요하다.

RECOMMENDATION=

  • 당장은 README_RULE_ONLY / PROVISIONAL 내부 진단으로 사용하고 공식 정산 승인=false / official_S=null을 유지한다. 미지원 음수 actual은 원본 보존·오류/HOLD, 임의 보정·제외 금지.
  • Revenue 개선은 동일 승인 데이터·기간·plant 집합·시간축·SMP/k·scoring version·baseline을 고정한 ΔS=S_candidate−S_baseline>0으로 판단한다. VPP만 비교할 때 Forecast도 고정하여 ΔS=W_baseline−W_candidate와 대조한다.
  • 개선율은 S_baseline>0일 때 ΔS/S_baseline×100%. 0/음수 baseline은 비율 N/A와 절대 ΔS를 기록한다. penalty 감소율은 W_baseline>0일 때만 별도 기록한다. 임의 epsilon·기간/행 선택·음수 row 제거로 개선을 만들지 않는다.
  • 개발 구간에서만 후보 선택 → 사전 고정 후보의 승인 holdout 평가. 여름 224개소(총36.3MW)는 2×20MW 불충족이므로 전체 VPP Revenue 검증에 사용하지 않는다. 252개소 가을도 253개소와 분리한다.
  • D05 APPROVED + 확정 Data Contract + 실제 OOF/provenance/cutoff 검증 + 독립 검토 + frozen holdout/동일 조건 재현 + PM 확인 이후에만 내부 Revenue 평가를 확정한다. 이는 공식 점수·순위와 다르며, 공식 결과는 승인된 실제 제출 피드백으로 별도 확인한다.

RISKS=

  • 합성 수식 통과가 공식 scorer와의 동등성 또는 실제 OOF 성능을 보장하지 않는다.
  • v3 데이터 기준은 수신·검사했으므로 데이터 기준 전달 대기는 해소한다. 실제 Forecast/OOF는 WAITING_FOR_FORECAST_OOF이고 READY_FOR_REAL_OOF_VALIDATION은 아니다.
  • 수아 독립 D05 코드 판정과 PM 최종 승인은 대신 완료 처리하지 않는다. #985의 Closed/100%도 D05 상세 승인 근거로 대체하지 않는다.

PM_DECISION_REQUIRED=

  • 공식 문제정의서/scoring.py/최신 FAQ·정정의 위치·버전 확보 및 Source of Truth·충돌 처리 승인.
  • 음수 actual의 유지/보정/제외/중단 정책과 사유, 적용 기간·버전 승인. 공식 근거 확인 전 내부 잠정 정책과 공식 기준을 구분.
  • Revenue 개선의 baseline/기간/holdout·ΔS/비율·반올림/최종 인정 gate 승인.
  • 수아 독립 판정 확인 후 D05 최종 결정. APPROVED 전 실제 OOF Revenue는 최종 확정값으로 처리하지 않음.

PROPOSED_STATUS=HOLD

최종 GitHub 결정 문서는 PM 승인 후 승인자·근거 버전·시행 범위를 붙여 반영해야 한다. 본 결과는 그 승인을 위한 검토안이며 승인 문서가 아니다.

관리 진척도: 0% → 50%, In Progress. 조영우 항목별 대조·재검증 완료와 정본 확보/수아 독립 판정/PM 승인 대기를 구분하는 단계 표시이며 승인율이 아닙니다. PM 담당자는 유지합니다.

수황 Updated by 수아 황 18 days ago · Edited Actions #2

[D05 Settlement / Scoring 독립 검토 결과 — 수아 측 / 2026-10-30]
RESULT=HOLD
REVIEWER=황수아 측 Data & Validation 독립 검토 (Codex 코드·원본 데이터·별도 계산식 검증 보조). 영우님 기존 결과를 재인용한 판정이 아니라 현재 main과 원본 ZIP에서 직접 검증했습니다.

SUMMARY=
README의 비음수 입력 영역에서 수식·단위·KST 시간·VPP 합산 후 절대오차 계산은 PASS입니다. 수아 측 독립 데이터/단위 검토를 완료했습니다. 다만 공식 채점 정본, 음수 actual 정책, 반올림/동점 처리 및 PM 승인은 미확정이므로 D05 전체는 HOLD를 유지하도록 권고합니다.

SOURCE_OF_TRUTH=

  • 공식 공개 규정/제공 데이터: https://dataen.ai/challenge/2026 (2026-10-30 직접 열람). 정산금 최대화, KST 우측닫힘, 전체 253개소 등의 공개 기준 확인.
  • 현재 계산 대조의 잠정 기준: 원본 ZIP README. README는 상세 수식·동점 등 정본으로 문제정의서를 지목합니다.
  • baseline.py를 공식 채점 코드로 사용하지 않았습니다. 확인한 원본 ZIP에는 scoring.py/문제정의서가 없으며, 공식 음수 actual/금액 반올림·동점 기준은 이번 범위에서 확보하지 못했습니다.

EVIDENCE=

  • 검토 main commit: 9359da8775f491d116a864751d201bd46ca88e71
  • 구현: https://github.com/GilbertMoon/icn-solar-cad-agent/blob/9359da8775f491d116a864751d201bd46ca88e71/scripts/oibc_settlement_calculator.py
  • 설정: scripts/oibc2026_readme_settlement_rule_v0_1.json, scripts/oibc2026_capacity_rule_v0_1.json
  • 의존 구현: scripts/oibc_submission_validator.py, scripts/vpp_capacity_validator.py
  • 원본 ZIP SHA256=f8b8914d1e45c7a7e8108fc2bfb2c1287373a07e2621cfe653bb3a12a438834e
  • README SHA256=d8475954774c328f46e1dea96951b6ea11beffa548611d18eee0db7470c01ca5
  • 기존 정산 pytest 51 PASS. 별도 독립 Decimal 120개 합성 시나리오 모두 일치. UTC/KST·입력순서 불변성, 배정 변경 시 매전수익 불변과 순수익 차이=페널티 차이, 오류 차단·승인 플래그 보호 및 원본 검증 포함. 검사 범위가 달라 pytest 수에 합산하지 않습니다.
  • 로컬 재현 근거: outputs/d05_review_20261030/{verify_d05.py,verification.json,pytest_results.xml,source_manifest.json}. 코드·설정·테스트·설명 7개 파일의 Git blob SHA 일치 확인. 원본 행/좌표는 첨부하지 않았습니다.

FINDINGS=

  1. 수식/집계: VPP·시각별 A=sum(actual), F=sum(prediction) 이후 R=SMP×A, W=0.10×SMP×k×abs(F-A), S=R-W. 발전소별 abs 합산과 구분되며 오차 상쇄 반례로 확인했습니다.
  2. 단위: Capacity kW, energy/prediction kWh, SMP KRW/kWh, 결과 KRW. energy에 용량·1000·1시간을 중복 적용하지 않습니다. 잘못된 단위는 실패시키고 금액 합계를 null로 유지합니다.
  3. 시각/k: timezone-aware 입력을 KST로 정규화하고 구간 끝 시각 ts.hour 11~15에 k=3, 나머지 1. UTC 동등 시각과 자정 경계 확인. 학습 SMP의 k 생성은 명시적 derive_from_hour에서만 허용합니다.
  4. 원본 시장: 평가 8,760행/0원 18행, 학습 38,688행/0원 17행. 양쪽 모두 SMP 음수·비유한·중복 ts·시간 간격 오류 0, 평가 k 불일치 0. 0원을 결측으로 바꾸지 않습니다.
  5. 원본 용량: 253개소와 v3 용량을 전수 대조, 총 42,655.370kW. 참조 A→G1 134개/20,465.655kW, B→G2 119개/22,189.715kW. 두 그룹 모두 20,000kW 이상이며 실제 대회 설정의 expected_plant_count=253 확인.
  6. 음수 actual: 전체 4,392,566행 중 40행, 최소 -1.0kWh, 2021-05-28~2022-10-30. 2023-06-01 01시 이후 0행. 현재 코드는 음수 actual/prediction을 INVALID_ENERGY로 차단하며 자동 0 보정·삭제·abs 변환하지 않습니다. 최근 기간의 음수 부재는 전체 기간 정책 승인 근거가 아닙니다.
  7. 음수 정책 영향: 별도 합성 사례에서 signed actual 그대로 계산하면 S=2,570원, 0으로 보정하면 S=2,700원으로 130원 차이. 공식 정책이나 실제 Revenue가 아니라 임의 보정이 결과를 바꾼다는 반례입니다.
  8. 금액은 정확한 유한 10진 연산, 임의 반올림 없음. 음수 net은 보존합니다. 이는 내부 잠정 정책이며 공식 반올림/동점 규칙과의 동등성 승인이 아닙니다.
  9. 계산기는 입력 단위·key·값을 검사하지만 fold/model/data version 및 cutoff 계보 전체를 인증하지 않습니다. 호출 전 동일 fold/model/version 입력과 D06의 열 매핑을 보장해야 합니다. CLI는 canonical plant_id를 받으며 optional residual 검사는 API 경로에서만 적용됩니다.

IMPLEMENTATION_MATCH=
README의 비음수 입력 영역: PASS.
공식 scorer 전체 동등성: 미확인/HOLD.
official_S=null, official_rule_approved=false 유지 확인.

RECOMMENDATION=
README_RULE_ONLY/PROVISIONAL 내부 진단으로 한정합니다. 음수 actual은 공식 근거 확보 전 원본을 보존하고 오류/HOLD로 처리합니다. Revenue 비교는 동일 예측·실적·발전소·기간·SMP/k·scoring version 조건에서 수행하고, VPP만 변경할 때 ΔS=페널티 감소분과 대조합니다.

RISKS=
실제 Forecast/OOF 재생성, 실제 Revenue 개선 비교, 최적화, 잠금 HOLDOUT, 공식 제출은 이번 검토에서 수행하지 않았습니다. D06은 별도 PM 승인 완료이며 D04는 REVIEW입니다. 과거 note-1의 OOF 수신 대기를 현재 상태로 재사용하지 않습니다.

PM_DECISION_REQUIRED=
공식 문제정의서/정식 채점 코드·정정의 위치와 적용 버전, 음수 actual 정책, 금액 반올림·동점 처리, Revenue 개선 인정 조건을 확인·판정해 주세요. PM 내부 결정과 주최 측 공식 기준은 구분해야 합니다.

PROPOSED_STATUS=HOLD
수아 독립 검토 항목은 본 기록으로 제출 완료. D05 담당자·관리 상태·진척률은 유지하며 공식 근거/PM 승인 후 최종 판정과 GitHub 결정 문서 반영이 남았습니다.

수황 Updated by 수아 황 18 days ago Actions #3

[D05 공식 근거 추가 확인 및 PM 판정 요청 — 2026-10-30]

수아 독립 검토는 note-2에 제출 완료했습니다. 추가 자료 확인 결과를 남깁니다.

확인 범위와 결과:

  • 공식 공개 대회 규정/제공 데이터 탭: 기존 공개 기준 확인. 음수 actual·금액 반올림·동점·상세 scorer 동등성 기준은 추가 확보하지 못했습니다.
  • 공개 FAQ에서 2026 검색: 표시된 결과 없음. 일반 FAQ의 2024 대회 내용을 2026 규정으로 전용하지 않았습니다.
  • 공개 공지 목록의 2026 안내는 문의 창구·참가자격 관련이었으며, 확인한 목록에서는 채점 정본/해당 정정 근거를 찾지 못했습니다.
  • 대회 내부 게시판: 로그인 필요 안내로 본문 확인 불가. 미열람 영역에 자료가 없다고 단정하지 않습니다.
  • 프로젝트 공유 채널의 D05 원 스레드/현재 공유 내용, 작업공간의 관련 파일명, Downloads의 OIBC 관련 파일 및 기존 원본 ZIP을 대조했으나 공식 문제정의서/scoring.py를 추가 확보하지 못했습니다. 팀원이 별도로 보유한 비공유 자료의 부재를 뜻하지 않습니다.

공식 후속 확인 경로:
https://dataen.ai/notice/b2859036-d2e6-41a0-b9f1-de7eec8ba24f
2026-10-06 운영 공지는 대회 일반 문의를 홈페이지 1:1 문의로 안내합니다. 주최 측 문의는 아직 발송하지 않았습니다.

PM님께 요청:

  1. 승인된 참가 계정에서 열람 가능한 최신 문제정의서/공식 채점 코드·정정/서면 답변의 위치와 버전을 공유해 주세요.
  2. 음수 actual의 공식 처리, 반올림 단계·자리수·방식, 동점/무효 조건을 확인해 주세요. 공식 근거가 없다면 해당 항목은 미확인/HOLD로 유지합니다.
  3. 동일 데이터·기간·발전소·Forecast·SMP/k·scoring version에서의 Revenue 개선 판정 및 최종 승인 조건을 정해 주세요.
  4. 자료 확보가 필요하면 담당자와 다음 행동·예상 확인일을 지정해 주세요. PM의 내부 잠정 운영 승인과 공식 규정 검증 완료는 구분합니다.

현재 판정: 수아 독립 검토 완료 / README-domain PASS / D05 전체 HOLD. 관리 상태·담당자·진척률은 유지합니다.

영조 Updated by 영우 조 18 days ago Actions #4

  • Subtask #1303 added

길문 Updated by 길래 문 18 days ago Actions #5

[PM 현재 판정]

영우님·수아님 검토 결과 확인했습니다.

D05_RESULT=HOLD
README_DOMAIN_VALIDATION=PASS
INTERNAL_SETTLEMENT_IMPLEMENTATION=PASS

공식 Scoring/Revenue 기준은 아직 확정하지 않습니다.

미확정 항목:

  • 음수 actual 처리
  • rounding 단계/방식/자리수
  • tie 처리
  • 추가 invalid 조건
  • 공식 scorer와 내부 계산기 일치 여부
  • 공식 Revenue 정의

위 항목은 하위 일감 #1303에서 Official Source of Truth를 확인합니다.
공식 자료로 확정되지 않는 내용은 주최 측 1:1 문의 후 결정합니다.

OFFICIAL_SCORING_APPROVED=NO
OFFICIAL_REVENUE_APPROVED=NO
FINAL_SUBMISSION_GATE=HOLD

#1159는 #1303 결과 확인 후 최종 판정하겠습니다.

영조 Updated by 영우 조 16 days ago Actions #6

[주최 측 회신에 따른 #991 대조 결과 / D05 후속]

주최 DataEn 회신(2026-11-02): https://app.slack.com/archives/C0CA39WAMGX/p1793585185062699
음수 actual이 있으면 그대로 정산, 실적 행이 없으면 해당 시각 0kWh, 중간 반올림 없이 공표 정산금만 원 단위 반올림(절사 아님). 공식 scorer/정답 예시는 배포하지 않는다고 답변했습니다. 평가 실적에는 음수가 없다고 명시했습니다.

#991 로컬 계산기 대조: 음수 actual을 거부하여 공식 회신과 차이. 완전한 plant×시간 입력만 허용해 누락 키를 0 처리하지 않음(공식 실적 행 부재의 단위·범위 확인 필요). 중간 무반올림은 부합하지만 최종 원 단위 반올림 출력은 미구현. .5 동률 방식 및 최종 반올림 적용 합계 범위는 회신에서 명확하지 않아 추가 검토 필요. 코드 SHA와 세부 내용은 #991#note-8. 기존 수아님 독립 검토 완료 기록은 유지하며 새 회신에 대한 교차 검토 및 구현 반영은 별도. 기존 D05 HOLD/담당·진척도는 변경하지 않습니다.

길문 Updated by 길래 문 14 days ago Actions #7

[Official Scoring Source of Truth 확정 진행]

주최 측 DataEn 회신(2026-11-02)을 기준으로 현재까지 확인된 공식 운영 기준을 정리합니다.

확정 항목:

  • 음수 actual: 그대로 정산
  • 실적 행 부재: 해당 시각 actual=0kWh
  • 중간 계산: 반올림 없음
  • 최종 공표 정산금: 원 단위 반올림
  • 공식 scorer/정답 예시는 별도 배포하지 않음
  • 평가 실적에는 음수 actual 없음

미확정 항목:

  • .5 tie rounding 방식
  • 최종 반올림 적용 합계 범위

현재 판정:
SOURCE_OF_TRUTH=DATAEN_2026-11-02_REPLY
OFFICIAL_RULE_STATUS=APPROVED_WITH_LIMITATION

다음 작업:

  • 미확정 rounding 세부 기준 확인
  • 내부 Settlement 구현과 공식 기준 차이 반영
  • 재검증 후 #1159 최종 승인 여부 결정

길문 Updated by 길래 문 14 days ago Actions #8

  • Status changed from In Progress to Closed

길문 Updated by 길래 문 14 days ago Actions #9

[#1159 D05 Settlement / Scoring 최종 PM 판정 — 2026-11-04]

하위 일감 #1303의 Official Scoring / Settlement Source of Truth 확인 및
주최 측 DataEn 공식 회신(2026-11-02) 반영 작업을 완료했습니다.

관련 구현:
PR #213 MERGED
MERGE_SHA=5137234b44042e772c9e4fa4542e77d14607b055

확정된 공식 운영 기준:

  • negative prediction: invalid
  • negative actual: 원값 그대로 정산
  • missing actual row: 0kWh 처리
  • intermediate rounding: 없음
  • published settlement: 원 단위 반올림
  • 공식 scorer / 정답 예시: 미배포

내부 구현 검증:
OFFICIAL_RESPONSE_MATCH=PASS
OIBC_TESTS=307 passed
FULL_TESTS=634 passed, 5 skipped, 24 subtests passed

제한사항:

  • exact .5 rounding tie 방식: UNVERIFIED
  • 최종 rounding aggregation 범위: UNVERIFIED
  • 공식 scorer byte/logic parity: UNVERIFIED

위 제한사항은 공식 scorer가 배포되지 않은 조건에서 확인 불가능한 항목으로 관리하며,
현재 확인 가능한 공식 회신 범위에서는 내부 Settlement 구현과 기준이 일치함을 확인했습니다.

최종 PM 판정:

D05_RESULT=APPROVED_WITH_LIMITATION
OFFICIAL_SCORING_APPROVED=YES_WITH_LIMITATION
OFFICIAL_REVENUE_APPROVED=YES_WITH_LIMITATION
OFFICIAL_SCORER_PARITY=UNVERIFIED
FINAL_SUBMISSION_GATE=PASS

#1159_RESULT=PASS
READY_TO_CLOSE=YES

Actions

Also available in: PDF Atom