Project

General

Profile

Feature #1441

Updated by 상재 이 14 days ago

### 목적 
 수아님(Track B)·영우님(Track C)은 각자 자기 방식으로 독립적으로 시도합니다. 이 일감은 일을 나눠 드리는 것이 아니라, 지금까지 예측 담당으로서 **모두가 같은 잣대로 비교할 B, residual 분석·calibration)과 영우님(Track C, VPP residual 상쇄)이 11/04 오전 분석을 시작할 수 있는 최소 기준점**을 제공하는 것입니다. 있도록 Forecast 쪽 자료를 먼저 전달 

 ### 제공한 것 (DM, 대회 데이터 파생물이라 git·공개 채널 금지, HOLDOUT 미포함) 제공 자료 
 - `oibc_track_a2_analysis_1104.zip` (v1, SHA-256 98179471aa105ce9887b41add81d475a1772591fc10decb3c86fd9a0fb3ffc11) 
 - `oibc_track_a2_analysis_1104_v2.zip` (SHA-256 6c798f30c8222363b0b594ecb4871c9794747c425144f1d8d5134e00ce1f7b99) ← 최신 
   - 기준 예측: FS2 3-seed 평균 DEV OOF (현재 제출 02, 0.239870), baseline DEV OOF (01, 0.248429) 
   (run 20261103-145143-lgbm_cf-fs2-avg3-1144, D06 check_run PASS) 
 - FS2 Residual Matrix (fold별 Matrix: fold별 시각 × 발전소) 
   발전소 residual (JUL 744×224, OCT 744×252, JAN 720×253, FEB 648×253) 
 - E4 bias 보고 (fold별 보고: fold별 전체 시간 / 11~15시) 
   11~15시 wMAE·MAE·bias (L2·L1·L2K) 
 - baseline → OOF (#1125 official_baseline_repro) 
 - 신규: baseline vs FS2 비교표 (발전소·fold·시간대·월·용량 5분위; 246곳 개선 / 7곳 악화) 
   발전소별 개선폭 요약 (발전소·용량·월·시간대) 
 - tools/compare_to_reference.py: 후보 OOF를 기준 Track A-1 완료 후: FS2 + L1 평균 OOF와 같은 키·같은 지표로 비교 (발전소별 FS2 + #990 그룹 합계, 여러 파일 평균) 
   - README §7: 그룹 합계 기준 확인 결과 L1 Residual Matrix 추가 제공 

 ### 평가 기준 (메시지로 공유) 원칙 
 - DEV fold 4개 (split_config), wMAE_site = Σ SMP·k·|actual − pred| / Σ SMP·k·actual (11~15시 k=3), HOLDOUT 미사용 원본 데이터·HOLDOUT 미포함, 파일별 SHA-256 기록 
 - 최소 개선 기준 제안 (PM 확정 필요): 기준점보다 DEV 개선, 4개 fold 중 3개 이상 개선, seed를 바꿔도 유지 대회 데이터 파생물이므로 git·공개 채널 금지 (DM·로컬 전달) 

 ### 요청 시 제공 
 - FS2+L1 3-seed 평균 OOF·Residual Matrix 

 ### 범위 밖 
 - 두 분 실험의 설계·구현·판정 

 ### 완료 조건 
 - 자료 전달 및 수신 SHA 확인 
 - 비교 도구·발전소별 비교 스크립트 발전소별 개선폭 요약 스크립트는 요약값만 출력하고 Codex 검토 (#1440 코드와 묶어서) 대상에 포함

Back