Project

General

Profile

Actions

Feature #1441

closed
상이 상이

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

Feature #1467: [OIBC][11/04] 오늘 결과 도출 및 제출 후보 CSV 2개 생성

[OIBC][Track A-2] Forecast 공통 기준점 제공 (기준 예측·평가 정의·비교 도구)

Feature #1441: [OIBC][Track A-2] Forecast 공통 기준점 제공 (기준 예측·평가 정의·비교 도구)

Added by 상재 이 14 days ago. Updated 14 days ago.

Status:
Closed
Priority:
High
Assignee:
Start date:
11/04/2026
Due date:
11/04/2026
% Done:

100%

Estimated time:

Description

목적

수아님(Track B)·영우님(Track C)은 각자 자기 방식으로 독립적으로 시도합니다. 이 일감은 일을 나눠 드리는 것이 아니라, 지금까지 예측 담당으로서 모두가 같은 잣대로 비교할 수 있는 최소 기준점을 제공하는 것입니다.

제공한 것 (DM, 대회 데이터 파생물이라 git·공개 채널 금지, HOLDOUT 미포함)

  • oibc_track_a2_analysis_1104.zip (v1, SHA-256 98179471aa105ce9887b41add81d475a1772591fc10decb3c86fd9a0fb3ffc11)
  • oibc_track_a2_analysis_1104_v2.zip (SHA-256 6c798f30c8222363b0b594ecb4871c9794747c425144f1d8d5134e00ce1f7b99) ← 최신
    • 기준 예측: FS2 3-seed 평균 DEV OOF (현재 제출 02, 0.239870), baseline DEV OOF (01, 0.248429)
    • FS2 Residual Matrix (fold별 시각 × 발전소)
    • E4 bias 보고 (fold별 전체 시간 / 11~15시)
    • baseline → FS2 비교표 (발전소·fold·시간대·월·용량 5분위; 246곳 개선 / 7곳 악화)
    • tools/compare_to_reference.py: 후보 OOF를 기준 OOF와 같은 키·같은 지표로 비교 (발전소별 + #990 그룹 합계, 여러 파일 평균)
    • README §7: 그룹 합계 기준 확인 결과

평가 기준 (메시지로 공유)

  • DEV fold 4개 (split_config), wMAE_site = Σ SMP·k·|actual − pred| / Σ SMP·k·actual (11~15시 k=3), HOLDOUT 미사용
  • 최소 개선 기준 제안 (PM 확정 필요): 기준점보다 DEV 개선, 4개 fold 중 3개 이상 개선, seed를 바꿔도 유지

요청 시 제공

  • FS2+L1 3-seed 평균 OOF·Residual Matrix

범위 밖

  • 두 분 실험의 설계·구현·판정

완료 조건

  • 자료 전달 및 수신 확인
  • 비교 도구·발전소별 비교 스크립트 Codex 검토 (#1440 코드와 묶어서)

상이 Updated by 상재 이 14 days ago Actions #1

  • Subject changed from [OIBC][Track A-2] Track B·C용 분석 자료 제공 (평균 OOF·Residual Matrix·bias·발전소별 개선폭) to [OIBC][Track A-2] Forecast 공통 기준점 제공 (기준 예측·평가 정의·비교 도구)
  • Description updated (diff)
  • Status changed from New to In Progress
  • % Done changed from 0 to 90

제목·본문을 "공통 기준점 제공" 범위로 수정했습니다(11/03 사용자 결정: 수아님·영우님은 독립 진행). v2 ZIP에 비교 도구와 그룹 합계 확인 결과를 추가했습니다. 남은 것: 도구 Codex 검토.

상이 Updated by 상재 이 14 days ago Actions #2

공통 비교 도구 v2 + 전달 패키지 v3 (11/04)

  • Codex 검토 v1: CHANGES_REQUIRED (TA-01~03: 입력 검사 빈틈, SMP 검사, D06 게이트 미사용) → 수정 후 재검토 v2 PASS, 새 지적 없음 (합성 시나리오 32개)
  • compare_to_reference.py v2 SHA 35afae76cd028c6d9c77d6357e2eb66e7e37c94326e7d09a6a3a0f2ef7351261
  • site_improvement_report.py v2 SHA d9b130695b02ed048031413d233cb12f58aa11c973aeef29e3d934d69f97191e (D06 check_run 통과 필수, 오차 재계산, SMP는 저장소 smp_for)
  • 실데이터 재실행(노트북, 이상재) 결과 v1과 동일: baseline→FS2 발전소별 0.248429→0.239870 (246곳 개선/7곳 악화), 그룹 합계 0.148143→0.139369 / FS2→L1 평균 발전소별 0.234348, 그룹 합계 0.137398
  • 전달 패키지 oibc_track_a2_analysis_1104_v3.zip SHA b6ca8f318085fb78e9dd2bf82a47018fe05c802aa612c2495fcfb644a0047bdf (도구 2개 포함, README 해석 문구 보완). 수아님·영우님께 DM 전달 예정

상이 Updated by 상재 이 14 days ago Actions #3

  • Status changed from In Progress to Closed
  • % Done changed from 90 to 100

완료: v3 업데이트분(oibc_track_a2_v3_update.zip — 도구 2개·README·UPDATE_NOTE, 데이터 없음)을 11/04 슬랙 그룹 DM으로 수아님·영우님께 전달. 데이터 파일은 v2와 동일. 종료.

상이 Updated by 상재 이 14 days ago Actions #4

  • Parent task changed from #980 to #1467

11/04 운영 방식 변경(학생별 날짜 상위 일감)에 따라 상위 일감을 #980 → #1467로 옮김. E4 이후 Track A(이상재) 작업.

Actions

Also available in: PDF Atom