Project

General

Profile

Actions

Feature #1303

closed
영조 수황

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

Feature #1159: [OIBC] D05 Settlement / Scoring 기준 최종 확정

[OIBC] Official Scoring / Settlement Source of Truth 최종 확인

Feature #1303: [OIBC] Official Scoring / Settlement Source of Truth 최종 확인

Added by 영우 조 18 days ago. Updated 14 days ago.

Status:
Closed
Priority:
High
Assignee:
Start date:
10/31/2026
Due date:
11/02/2026
% Done:

100%

Estimated time:

Description

[PM 실행 지시]

#1303을 D05 공식 Source of Truth 확인 전용 일감으로 진행합니다.

담당:

  • 주담당: 황수아
  • 구현/대조 협력: 조영우
  • 필요 시 Forecast 영향 검토: 이상재
  • 최종 승인: 문길래 PM

확인 대상:

  1. 음수 actual 처리
  2. rounding 단계 / 방식 / 자리수
  3. tie 처리
  4. 추가 invalid 조건
  5. 공식 scorer와 내부 계산기 parity
  6. 공식 Revenue 정의

진행 순서:

  1. 참가 계정 내부 최신 문제정의서 확인
  2. 공식 공지 / FAQ / 제출 화면 확인
  3. scoring.py 또는 공식 scorer 제공 여부 확인
  4. 확인 가능한 항목은 근거 위치/버전과 함께 확정
  5. 자료에 없거나 애매한 항목은 UNVERIFIED로 표시
  6. UNVERIFIED 항목은 주최 측 1:1 문의 초안 작성 후 발송
  7. 공식 답변 수신 시 조영우님이 #991 계산기와 대조
  8. 차이 발생 시 코드/테스트 수정
  9. 황수아님 독립 재검증
  10. PM D05 최종 승인

각 항목 상태는 아래 중 하나로 기록합니다.

CONFIRMED_BY_OFFICIAL_SOURCE
CONFIRMED_BY_OFFICIAL_RESPONSE
UNVERIFIED

현재 D05는 HOLD 상태를 유지합니다.

D05=HOLD
OFFICIAL_SCORING_APPROVED=NO
OFFICIAL_REVENUE_APPROVED=NO
FINAL_SUBMISSION_GATE=HOLD

단, Forecast / VPP / 내부 DEV 실험 및 첫 Baseline 제출 준비는 계속 진행합니다.

1차 목표:

  • 11/01까지 공식 자료 내부 확인 완료
  • 미확정 항목은 주최 측 문의 여부 확정 및 필요 시 문의 발송

Files

1303_response_review_20261102.md (3.98 KB) 1303_response_review_20261102.md 수아 황, 11/02/2026 02:31 AM

길문 Updated by 길래 문 18 days ago Actions #1

  • Due date set to 11/02/2026
  • Start date set to 10/31/2026
  • % Done changed from 0 to 10

길문 Updated by 길래 문 18 days ago Actions #2

  • Description updated (diff)
  • Priority changed from Normal to High

길문 Updated by 길래 문 17 days ago Actions #3

영우 조 wrote:

[PM 실행 지시]

#1303을 D05 공식 Source of Truth 확인 전용 일감으로 진행합니다.

담당:

  • 주담당: 황수아
  • 구현/대조 협력: 조영우
  • 필요 시 Forecast 영향 검토: 이상재
  • 최종 승인: 문길래 PM

확인 대상:

  1. 음수 actual 처리
  2. rounding 단계 / 방식 / 자리수
  3. tie 처리
  4. 추가 invalid 조건
  5. 공식 scorer와 내부 계산기 parity
  6. 공식 Revenue 정의

진행 순서:

  1. 참가 계정 내부 최신 문제정의서 확인
  2. 공식 공지 / FAQ / 제출 화면 확인
  3. scoring.py 또는 공식 scorer 제공 여부 확인
  4. 확인 가능한 항목은 근거 위치/버전과 함께 확정
  5. 자료에 없거나 애매한 항목은 UNVERIFIED로 표시
  6. UNVERIFIED 항목은 주최 측 1:1 문의 초안 작성 후 발송
  7. 공식 답변 수신 시 조영우님이 #991 계산기와 대조
  8. 차이 발생 시 코드/테스트 수정
  9. 황수아님 독립 재검증
  10. PM D05 최종 승인

각 항목 상태는 아래 중 하나로 기록합니다.

CONFIRMED_BY_OFFICIAL_SOURCE
CONFIRMED_BY_OFFICIAL_RESPONSE
UNVERIFIED

현재 D05는 HOLD 상태를 유지합니다.

D05=HOLD
OFFICIAL_SCORING_APPROVED=NO
OFFICIAL_REVENUE_APPROVED=NO
FINAL_SUBMISSION_GATE=HOLD

단, Forecast / VPP / 내부 DEV 실험 및 첫 Baseline 제출 준비는 계속 진행합니다.

1차 목표:

  • 11/01까지 공식 자료 내부 확인 완료
  • 미확정 항목은 주최 측 문의 여부 확정 및 필요 시 문의 발송

[PM 공식 근거 조사 결과 요약 — 2026-10-31]

DataEn 로그인 세션을 통해 2026 OIBC Challenge 관련 공식 페이지, 공지, Q&A, validator, 설명회 자료를 순회 조사했고 결과를 GitHub에 문서화했습니다.

GitHub:
PR #203 MERGED
Merge SHA=6c2a509ba9123e2053edbbe011e59e67b42c93be

문서 경로:
docs/oibc/official-source-review/2026-10-31/

주요 결과:

SITE_AUDIT_RESULT=PARTIAL
OFFICIAL_DOCUMENTS_FOUND=YES
SCORER_FOUND=NO (공식 미배포 결정 확인)
SUBMISSION_SPEC_FOUND=YES_PARTIAL
API_DOCUMENTATION_FOUND=UNVERIFIED

[D05 핵심 6항목]

  1. 음수 actual 처리
    D05_01_NEGATIVE_ACTUAL=UNVERIFIED

  2. rounding 단계/방식/자리수
    D05_02_ROUNDING=UNVERIFIED

  3. tie 처리
    D05_03_TIE=CONFIRMED_BY_OFFICIAL_SOURCE

공식 확인:
정산금 → 비가중 절대오차 합이 작은 팀 → 최고점을 낸 제출 시각이 이른 팀

  1. 추가 invalid 조건
    D05_04_INVALID_RULES=CONFIRMED_BY_OFFICIAL_SOURCE

확인된 제출 관련 주요 조건:

  • 하루 최대 3회
  • 전체 최대 20회
  • 형식 오류 무효 제출도 횟수 차감
  • KST 자정 기준 일일 횟수 초기화
  • 마감: 2026-11-13 23:59:59 KST
  1. 공식 scorer parity
    D05_05_SCORER_PARITY=UNVERIFIED

공식 Scoring.py는 참가자에게 배포하지 않는 것으로 확인.
공개 validator는 형식 검사용이며 공식 점수 parity 근거는 아님.

  1. 공식 Revenue 정의
    D05_06_OFFICIAL_REVENUE=CONFIRMED_BY_OFFICIAL_SOURCE

공식 평가 기준은 정산금 S이며,
매전수익 - 예측 오차 페널티 구조로 확인.

[NEW_CRITICAL_FINDINGS]

  1. 외부 데이터/사전학습 모델 관련
    기본 규정의 금지 문구와 2026-10-28 최신 공지의 조건부 허용 문구가 함께 존재함.
    일반적인 우선순위는 아직 UNVERIFIED.

  2. 전체 평가기간의 예보 정보를 미리 모아 정규화하거나 VPP 그룹 구성에 사용하는 방식은 최신 공지 기준 금지로 확인.

  3. 생성형 AI 보조는 허용되지만 대회 데이터를 외부 AI 서비스에 입력하는 것은 금지.

  4. 공식 scorer는 미배포, 공개 validator는 형식 검사 목적.

[추가 확인 필요]

  • 음수 actual 처리 정책
  • rounding 적용 단계/방식/자리수
  • 공식 scorer parity 검증 방법
  • 규정 충돌 시 우선 적용 기준
  • 실제 포털의 추가 invalid/업로드 제한
  • 2026 공식 API/자동 제출 관련 문서 존재 여부

[주최 측 문의 필요]

HOST_INQUIRY_REQUIRED=YES

문의 대상:

  1. 음수 actual 공식 처리
  2. rounding 기준
  3. 공식 scorer parity 확인 방법
  4. 규정 충돌 시 우선 적용 기준
  5. 추가 invalid / 포털 제한

문의/답변 추적 파일:
docs/oibc/official-source-review/2026-10-31/09_HOST_INQUIRY_RESPONSE.md

현재 상태:
INQUIRY_SENT=NO
RESPONSE_RECEIVED=NO

[PM 현재 판정]

D05_RESULT=HOLD
OFFICIAL_SCORING_APPROVED=NO
OFFICIAL_REVENUE_APPROVED=NO
FINAL_SUBMISSION_GATE=HOLD

단, 공식 근거가 확인된 tie / invalid / Revenue 정의는 확정 근거로 사용할 수 있습니다.

다음 조치:

  1. 주최 측 문의 발송
  2. 공식 답변 수신
  3. 필요 시 #991 Settlement 계산기와 대조
  4. 황수아 독립 재검증
  5. PM이 #1303 및 #1159에서 D05 최종 재판정

수황 Updated by 수아 황 17 days ago Actions #4

[2026-10-31 황수아 진행 기록 — 문의 준비 / 실제 QA 미실행]

[수행한 작업]
#1303 note-3와 PR #203 병합 문서(6c2a509ba9123e2053edbbe011e59e67b42c93be)의 03/04/06/07/09 문서를 대조했습니다. PM 공식 조사 결과를 재사용한 문서 검토이며 공식 사이트를 별도로 재조사했다고 주장하지 않습니다.

이미 확인된 tie 순서, 기본 invalid 6조건, Revenue 정의, scorer 미배포 여부는 기존 문의 초안의 중복 질문에서 제외했습니다. 주최 측 문의는 07 초안의 5항목(음수 actual, rounding, 추가 포털 제한, 공식 계산 일치 검증 방법, 규정 우선순위)으로 준비했습니다.

근거 문서: https://github.com/GilbertMoon/icn-solar-cad-agent/tree/6c2a509ba9123e2053edbbe011e59e67b42c93be/docs/oibc/official-source-review/2026-10-31/

[남은 확인]
SMP 단위 및 누락/0/음수 처리 정책은 PM 검토용 추가 질문 후보입니다. k의 ts 라벨 11~15시 가중치와 제공 k 사용 기준은 03 문서에서 확인되어 중복 질문에서 제외했습니다. 공식 문서의 일반적 우선순위는 UNVERIFIED를 유지합니다.

[첫 Baseline QA 준비]
상재님 #1142 인계 파일은 발전소 253개 × 8,760시간 = 2,216,280행을 기준으로 ID/시간축/누락/중복/음수·비유한값/버전/SHA/manifest를 독립 점검할 계획입니다. 실제 artifact 검사는 NOT_RUN입니다. 11/2 09:00 KST는 인계 목표이며 QA 완료 시각으로 확약하지 않습니다. 대회 데이터를 외부 AI에 입력하지 않고 허용된 로컬 실행 방식으로 검증합니다.

[현재 상태 및 다음 행동]
INQUIRY_SENT=NO / RESPONSE_RECEIVED=NO
주최 측·Slack 자동 전송은 하지 않았으며 사용자 검토·발송을 기다립니다. 답변 후 영우님 #991 대조 → 수아 독립 재검증 → PM 재판정 순서입니다.
D05=HOLD / OFFICIAL_SCORING_APPROVED=NO / OFFICIAL_REVENUE_APPROVED=NO / FINAL_SUBMISSION_GATE=HOLD 유지. 첫 Baseline 준비는 별도 승인 Gate 아래 계속하며 실제 제출 전 PM GO가 필요합니다.
진척률 10%, 상태·담당·날짜는 변경하지 않습니다.

수황 Updated by 수아 황 16 days ago Actions #5

[2026-11-02 황수아 주최 측 회신 검토]

[근거]
PM이 공유한 DataEn 팀 김민수 답변 이미지(표시 시각 2026.11.02 10:35:16)를 사용자 제공본으로 확인했습니다. 공식 사이트 재접속 확인은 하지 않았습니다.
PM 공유: https://ax-2-hq.slack.com/archives/C0CA39WAMGX/p1793585185062699
영우님 대조 보고: https://ax-2-hq.slack.com/archives/C0CA39WAMGX/p1793585412257359

[CONFIRMED_BY_OFFICIAL_RESPONSE]

  • 음수 예측은 제출 무효.
  • 음수 actual은 0으로 변경하거나 시각을 제외하지 않고 그대로 정산.
  • 실적 행이 없으면 그 시각은 0kWh로 채점.
  • 중간 계산은 반올림하지 않음. 공표 정산금만 원 단위 반올림하며 절사하지 않음.
  • 공식 채점 코드·정답 예시는 미배포. 공개 validator는 형식 검사이며 공식 scorer parity 증거가 아님.
  • 외부 소스 기준은 10/28 공지가 안내 페이지 옛 금지 문구보다 우선. 자유 공개·상업 이용 가능·다시 받을 수 있는 자료/모델 사용 가능, 한 번만 공개된 자료 불가.
  • 생성형 AI 코드 작성 보조 가능, 대회 데이터를 외부 AI 서비스에 담는 것은 금지.

[계산기 차이 — 영우님 보고 기준, 이번 소스 실행/수정 없음]
음수 actual 거부, 누락 실적 차단, 최종 원 단위 반올림 미적용을 회신과 대조할 필요가 있습니다.

[UNVERIFIED / 추가 확인]
정확히 .5일 때 반올림 방식, 최종 반올림 집계 범위, 누락 실적의 발전소/그룹 처리 단위, 행은 존재하지만 값이 빈 경우의 처리. 행 부재 시 0 처리 원칙을 손상·오류 입력 전체의 자동 0 치환으로 확대하지 않습니다. 공식 scorer parity는 미검증입니다.

[다음 행동 및 현재 판정]
영우님 소스 대조·필요 수정 → 수아 독립 재검증 → PM #1303/#1159 재판정.
D05=HOLD, OFFICIAL_SCORING_APPROVED=NO, OFFICIAL_REVENUE_APPROVED=NO, FINAL_SUBMISSION_GATE=HOLD 유지.
첫 Baseline 제출은 별도 QA·포털 확인·PM GO 아래 진행하며 실제 제출하지 않았습니다.
상세 첨부: 1303_response_review_20261102.md

길문 Updated by 길래 문 14 days ago Actions #6

  • Status changed from New to Closed
  • % Done changed from 10 to 100

[#1303 최종 완료 판정 — 2026-11-04]

주최 측 DataEn 공식 회신(2026-11-02)을 기준으로
Official Scoring / Settlement Source of Truth 확인과 내부 계산기 반영 작업을 완료했습니다.

[공식 회신 기준 확정 항목]

  • 음수 prediction: 제출 무효
  • 음수 actual: 0 보정/제외하지 않고 원값 그대로 정산
  • 실적 행 부재: 해당 시각 actual=0kWh 처리
  • 중간 계산: 반올림 없음
  • 최종 공표 정산금: 원 단위 반올림
  • 공식 scorer / 정답 예시: 미배포
  • 평가 실적: 음수 actual 없음

[UNVERIFIED / 제한사항]

  • 정확히 .5인 경우의 rounding tie 방식
  • 최종 반올림 적용 aggregation 범위
  • 공식 scorer와 내부 계산기의 byte/logic parity

위 항목은 공식 근거가 없으므로 임의 확정하지 않고 UNVERIFIED로 유지합니다.

[내부 구현 반영]

PR #213
[OIBC][D05] Align settlement calculator with DataEn official response

MERGE_STATUS=MERGED
MERGE_METHOD=SQUASH
MERGE_SHA=5137234b44042e772c9e4fa4542e77d14607b055

주요 변경:

  • negative actual 원값 유지
  • missing actual row만 0kWh 처리
  • NaN / Inf / invalid value는 계속 오류 처리
  • negative prediction은 INVALID 유지
  • 중간 계산 exact 유지
  • 최종 공표용 총액만 원 단위 반올림
  • 기존 v0.1 rule 보존
  • v0.2 internal provisional rule 추가

[검증 결과]

UNIT_TESTS=622 passed, 5 skipped
OIBC_TESTS=307 passed
FULL_TESTS=634 passed, 5 skipped, 24 subtests passed

OFFICIAL_RESPONSE_MATCH=PASS
OFFICIAL_SCORER_PARITY=UNVERIFIED
ROUNDING_HALF_TIE=UNVERIFIED

[최종 판정]

SOURCE_OF_TRUTH=DATAEN_2026-11-02_RESPONSE
NEGATIVE_ACTUAL=CONFIRMED_BY_OFFICIAL_RESPONSE
MISSING_ACTUAL=CONFIRMED_BY_OFFICIAL_RESPONSE
INTERMEDIATE_ROUNDING=NONE_CONFIRMED
PUBLISHED_ROUNDING=KRW_INTEGER_CONFIRMED
OFFICIAL_RESPONSE_IMPLEMENTATION_MATCH=PASS

#1303_RESULT=PASS
READY_TO_CLOSE=YES

공식 scorer 미배포 및 rounding 세부 미확정 항목은 limitation으로 유지하되,
#1303의 목적이었던 공식 회신 기반 Source of Truth 확인과 내부 구현 대조/반영은 완료된 것으로 판정합니다.

Actions

Also available in: PDF Atom