Project

General

Profile

Actions

Feature #1452

closed
상이 상이

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

Feature #1467: [OIBC][11/04] 오늘 결과 도출 및 제출 후보 CSV 2개 생성

[OIBC][Track A-5] 겨울 한낮 과대예측 원인 분석 및 bias 보정 (그룹 합계 기준)

Feature #1452: [OIBC][Track A-5] 겨울 한낮 과대예측 원인 분석 및 bias 보정 (그룹 합계 기준)

Added by 상재 이 14 days ago. Updated 13 days ago.

Status:
Closed
Priority:
High
Assignee:
Start date:
11/04/2026
Due date:
11/05/2026
% Done:

100%

Estimated time:

Description

핵심 질문

발전소별 오차가 줄어도 그룹(G1·G2) 합계 점수가 나빠지는 원인인 "겨울 한낮 과대예측"을 예측 쪽에서 줄일 수 있는가

근거 (11/03 그룹 합계 확인, 탐색용)

  • 공식 벌점은 그룹 합계 오차에 붙음. 같은 방향 오차는 합계에서 상쇄되지 않고 쌓임
  • baseline → FS2: 발전소별 −3.4%, 그룹 합계 −5.9% (실제 점수 +6,526,605원과 방향 일치). 단 JAN 그룹 합계 악화(−0.0019)
  • FS2 → FS2+L1: 발전소별 −2.3%(4/4) / 그룹 합계 −1.4%(2/4), JAN −0.0035·FEB −0.0014 악화
  • E4 bias (11~15시, 예측 − 실제): FS2 1월 +3.7, L1 1월 +4.6·2월 +2.2 kWh / 여름(7월)은 과소

할 일

  1. 원인 분석 (Track A 자체 분석)
    • 잔차를 월 × 시간대로 분해 (FS2·L1)
    • 발전소별 bias 방향이 같은지 (그룹 합계에서 쌓이는 정도)
    • 해당 시간대 예보(운량·기온 등)와 실제 발전량 관계: 예보 쪽 문제인지 모델 학습 쪽 문제인지
  2. bias 보정 후보 (사전 등록 후 실행)
    • 보정 단위: 월 × 시간대 등 단순한 형태만, 후보를 미리 등록
    • 보정값은 fold 밖 데이터로 정하고 해당 fold에 적용(같은 DEV로 정하고 평가하지 않음)
    • FS2 3-seed 평균, FS2+L1 3-seed 평균 각각에 적용
  3. 모델 쪽 개선 가설 (분석 결과에 따라): 겨울·한낮 정보 Feature, 계절별 학습 가중 등. 별도 사전 등록

비교 기준

FS2 3-seed 평균 (현재 제출 02): 발전소별 DEV 0.239870 / 그룹 합계 DEV 0.139369 (#990 배정)

PASS 조건 (사전 등록)

  • 그룹 합계 DEV가 기준보다 좋고, JAN·FEB(253곳 전체 fold) 그룹 합계 악화 없음
  • 발전소별 DEV 악화 없음
  • fold 밖 보정 규칙 준수, HOLDOUT 미사용, 평가 기간에 없는 정보 미사용
  • 예측값 음수·NaN 없음 (보정 후 0 미만은 0으로, 용량 초과 금지 규칙 명시)
  • Codex PASS, 제출 시 제출 게이트(QA·validator·PM GO)

산출물

분석 요약(월×시간 bias 표 등), 보정 규칙·값, 보정 후 DEV OOF와 비교 결과(발전소별 + 그룹 합계)

상이 Updated by 상재 이 14 days ago Actions #1

사전 등록 (11/04, 실데이터 실행 전 기록)

스크립트: C:\dev\claude-stage\track-a5\bias_analysis_1452.py (SHA 71fb24453c74d7783d9addcf37577e44eca169c453b06630708967890232526d). 합성 데이터 검증 완료, 실데이터 미실행 상태에서 고정.

입력

  • 기준: FS2 3-seed 평균 run (20261103-145143-lgbm_cf-fs2-avg3-1144), 보정 전
  • 후보 세트: FS2 평균, FS2+L1 seed 11/22/33 (세트 평균 + seed별)
  • 그룹: #990 composition (A→G1 / B→G2)
  • 모든 run은 D06 check_run 통과 필수, HOLDOUT 미사용

보정 후보 (예측에 배율 f를 곱함. 보정으로 올라간 값만 max(원 예측, 설비용량)으로 제한)

  • C1 시각별 배율, 나머지 DEV fold 3개로 추정 (leave-one-fold-out)
  • C2 시각별 배율, 같은 계절 짝 fold로 추정 (JAN↔FEB, JUL↔OCT)
  • C3 발전소별 한낮(11~15시) 배율, 나머지 DEV fold 3개로 추정
  • 배율: r = Σ실제/Σ예측 (학습 행), f = clip(1 + 0.5·(r − 1), 0.8, 1.2). Σ예측 ≤ 0이면 f = 1. 평가 fold는 자기 배율 추정에 쓰지 않음

PASS (세트 평균 기준, 보정 전 FS2 평균 대비, 세 조건 모두)

  • (a) 그룹 합계 wMAE DEV 전체 개선
  • (b) JAN·FEB 그룹 합계 wMAE 악화 없음
  • (c) 발전소별 wMAE DEV 전체 악화 없음
  • seed 일관성(seed별 그룹 DEV 개선 개수)은 함께 보고하되 PASS 조건 아님

선택 규칙: PASS가 여럿이면 그룹 합계 DEV 전체가 가장 낮은 것. 같으면 C1 < C2 < C3 순으로 단순한 것. DEV로 고르므로 낙관적이며, 확인은 HOLDOUT 1회(#1146)로만 함

진단 (원인 분석, 요약표): fold×시각·월×시각 bias와 실제/예측 비율, 한낮 발전소별 bias(과대예측 발전소 수), 한낮 예측 이용률 구간별 실제/예측 비율, 그룹 상쇄 비율 |Σ오차|/Σ|오차|

한계: 그룹 합계 지표는 공식 scorer가 아님(D05 HOLD). 그룹 기준은 PM 확정 전. 겨울 한낮 과대예측 원인은 가설. 탐색용 실행은 리눅스 환경이 아니라 노트북 Windows venv(이상재)에서 수행

상이 Updated by 상재 이 14 days ago Actions #2

v1 결과 (11/04, 이상재 노트북 실행, 요약값만): 사전 등록 후보 C1~C3 전부 FAIL → 채택 없음

기준(FS2 보정 전): 발전소별 DEV 0.239870, 그룹 DEV 0.139369, 그룹 JAN 0.1059, FEB 0.1110

|. 세트 |. 후보 |. 발전소별 DEV |. 그룹 DEV |. 그룹 FEB |. 그룹 JAN |. 그룹 JUL |. 그룹 OCT |. 배율 범위 |. PASS |
| FS2 | C0 | 0.239870 | 0.139369 | 0.1110 | 0.1059 | 0.1644 | 0.1792 | 1.000 | — |
| FS2 | C1 | 0.240921 | 0.141148 | 0.1111 | 0.1100 | 0.1669 | 0.1798 | 0.9221.200 | ✗ |
| FS2 | C2 | 0.242453 | 0.141451 | 0.1166 | 0.1070 | 0.1655 | 0.1790 | 0.922
1.200 | ✗ |
| FS2 | C3 | 0.241243 | 0.140396 | 0.1117 | 0.1086 | 0.1655 | 0.1788 | 0.8001.200 | ✗ |
| L1 | C0 | 0.234348 | 0.137398 | 0.1124 | 0.1093 | 0.1578 | 0.1729 | 1.000 | ✗ (JAN·FEB) |
| L1 | C1 | 0.235493 | 0.138574 | 0.1116 | 0.1115 | 0.1605 | 0.1738 | 0.953
1.200 | ✗ |
| L1 | C2 | 0.236456 | 0.137326 | 0.1122 | 0.1051 | 0.1594 | 0.1753 | 0.9511.200 | ✗ (FEB만) |
| L1 | C3 | 0.236119 | 0.138162 | 0.1128 | 0.1105 | 0.1594 | 0.1728 | 0.800
1.200 | ✗ |

한낮(11~15시) 진단 (bias = 예측 − 실제 kWh / 실제÷예측 / 과대예측 발전소)

  • FS2: JUL −3.47 / 1.053 / 44/224, OCT −0.17 / 1.003 / 104/252, JAN +3.74 / 0.952 / 211/253, FEB +0.08 / 0.999 / 108/253
  • L1: JUL −3.83 / 1.059 / 32/224, OCT +0.56 / 0.992 / 116/252, JAN +4.64 / 0.941 / 236/253, FEB +2.24 / 0.977 / 133/253
  • 그룹 상쇄 비율 |Σ오차|/Σ|오차|: 모든 fold 0.47~0.66, JAN이 특별히 높지 않음

해석

일정한 "겨울" bias가 아니라 JAN에 집중된 bias. FS2의 FEB는 bias가 거의 0이라, fold 간 배율 이전이 맞지 않음 (C2가 FEB를 JAN 배율로 낮춰 FEB 악화). 1월 고유 기상 요인 가능성은 추정

L1은 JAN·FEB 모두 FS2보다 위로 치우침. 가설: 겨울 한낮 분포가 아래로 꼬리가 긴 형태라 중앙값(L1) > 평균(L2) → 발전소별 절대오차는 줄지만 합계에서 과대예측이 쌓여 그룹 합계 악화

"같은 방향 오차가 그룹에서 쌓인다" 가설은 상쇄 비율로는 뒷받침되지 않음. JAN 그룹 오차는 bias 크기 때문으로 보임

  • 단순 배율 보정은 발전소별 지표를 모든 경우에 악화시킴. 결과를 보고 v1 후보를 손보지 않음

v2 사전 등록 (실행 전): FS2:L1 = 50:50 예측 평균

  • 근거: 해석 2 (평균을 맞추는 손실과 중앙값을 맞추는 손실의 절충). 비율은 50:50으로 고정, 다른 비율은 탐색하지 않음
  • 계산: compare_to_reference.py v2 (SHA 35afae76…), --ref FS2 평균, --cand FS2 평균 ×3 + L1 s11·s22·s33 (= 정확히 50:50), #990 composition
  • PASS (v1과 동일, FS2 보정 전 대비): (a) 그룹 DEV 개선, (b) 그룹 JAN·FEB 악화 없음, (c) 발전소별 DEV 악화 없음
  • seed 일관성(보고만, PASS 조건 아님): FS2 평균 + L1 seed 하나씩 50:50 3개의 그룹 DEV 개선 개수
  • PASS여도 제출 후보 확정이 아님. PM 그룹 기준 확정, 평가 기간 예측 생성(#1453 게이트), HOLDOUT 1회 확인(#1146)이 필요

상이 Updated by 상재 이 14 days ago Actions #3

  • Status changed from New to In Progress

v2 결과 (11/04, 이상재 노트북 실행, 요약값만): FS2:L1 = 50:50 → 사전 등록 기준 FAIL (JAN 조건만 미달)

기준: FS2 보정 전 평균. 도구 compare_to_reference.py v2, #990 composition, 키 검사 PASS (700,248행)

|. 비교 |. 발전소별 DEV |. 그룹 DEV |. 그룹 JAN |. 그룹 FEB |. 그룹 JUL |_. 그룹 OCT |
| FS2 (기준) | 0.239870 | 0.139369 | 0.10586 | 0.11101 | 0.16445 | 0.17918 |
| L1 평균 (참고) | 0.234348 | 0.137398 | 0.10934 | 0.11243 | 0.15779 | 0.17290 |
| 50:50 | 0.235747 | 0.137301 | 0.10676 | 0.11048 | 0.15977 | 0.17519 |

  • (a) 그룹 DEV 개선 ✓ (−1.5%. 지금까지 후보 중 가장 낮음, L1 단독보다도 낮음)
  • (b) JAN·FEB 악화 없음 ✗: FEB는 개선(+0.00053), JAN 악화(−0.00091)
  • (c) 발전소별 DEV 악화 없음 ✓ (4/4 fold 개선, −1.7%)
  • seed 일관성(보고만): FS2 평균 + L1 seed 하나씩 50:50
    ** 그룹 DEV 3/3 개선: 0.137562 / 0.137079 / 0.137498
    ** JAN 3/3 악화: −0.00167 / −0.00030 / −0.00098
    ** FEB 3/3 개선: +0.00014 / +0.00079 / +0.00034

해석

  • L1 단독과 비교하면 JAN 악화가 −0.0035 → −0.0009로 약 3/4 줄었고, FEB는 악화에서 개선으로 바뀜. v1 해석 2(평균을 맞추는 손실과 중앙값을 맞추는 손실의 절충)와 같은 방향. 다만 가설 확인 수준이지 입증은 아님
  • 남은 JAN 악화는 FS2 자체가 JAN 한낮에 과대예측(+3.74 kWh, 211/253곳)하는 상태에서 L1을 섞으면 위쪽으로 더 밀리기 때문으로 보임 (추정)
  • 사전 등록 규칙대로 FAIL로 기록함. 결과를 본 뒤 (b) 조건에 허용 오차를 넣는 것은 사후 조정이라 Track A가 스스로 하지 않음. 그룹 기준의 허용 범위는 PM이 정할 사항
  • 비율 탐색(예: 70:30)도 같은 이유로 하지 않음

상태: New → In Progress (이상재 승인)

상이 Updated by 상재 이 14 days ago Actions #4

v2 후보 산출물 생성 (11/04, 이상재 노트북 실행, 요약값만)

코드: 브랜치 forecast/oibc-1452-l1-blend, 커밋 78db8f8 (main c3e9a79 기반, push 전). Codex v1 CHANGES_REQUIRED(LB-01·02 MAJOR, LB-03 MINOR) → v2 PASS. pytest 359 passed (클라우드·노트북)

  • (1) FS2_L1 3-seed 평균 DEV run 20261104-100857-lgbm_cf-fs2-l1-avg3-1452: DEV 0.2343477 (세 seed 모두보다 좋음, fold별 s11 3/4·s22 4/4·s33 4/4), D06 check_run PASS, OOF SHA 9d5a75f4…
  • (2) Residual Matrix: C:\dev\oibc-handoff\oibc_1452_residual_matrix_l1avg3 (JUL 224·OCT 252·JAN 253·FEB 253곳)
  • (3) FS2_L1 평가 기간 예측 20261104-101224-lgbm_cf-fs2-l1-avg3-1452-test: 2,216,280행, SHA 226b2bc9… (pm_gate TEST_PREDICTION_FS2_L1=PENDING_PM_DECISION)
  • (4) 50:50 블렌드 20261104-101619-lgbm_cf-fs2-l2l1-blend50-1452-test: 입력 FS2 a2d6f16e…(11/03 제출 예측) + FS2_L1 226b2bc9…, 출력 SHA 09969a77… (pm_gate BLEND_50_50=PENDING_PM_DECISION)

사전 등록 판정은 그대로 FAIL(JAN 그룹 −0.0009). 제출 사용은 PM 판단 대기, TODAY_SUBMISSION=HOLD.

상이 Updated by 상재 이 14 days ago Actions #5

그룹 오차 분해 + 1월 과대예측 조건 분석 (11/04, 탐색용·채택 없음, 이상재 노트북 실행, 요약값만)

스크립트 C:\dev\claude-stage\track-a5\group_error_analysis_1452.py (SHA 16020cfb…), #990 배정, FS2 평균 / L1 평균 / 50:50

1. 그룹 오차 분해 (한낮, FS2) — 공통 부분 = 지역 전체 kW당 오차 × 그룹 용량, 나머지 = 그룹 간 불균형(구성 변경으로 움직이는 부분)
|. fold |. 공통만 있을 때 벌점 |. 나머지만 |. 시각별 고정 bias만 |_. 공통 설명력 R² (G1/G2) |
| JUL | 98% | 25% | 31% | 0.94 / 0.94 |
| OCT | 98% | 15% | 8% | 0.98 / 0.98 |
| JAN | 99% | 21% | 49% | 0.95 / 0.96 |
| FEB | 96% | 25% | 18% | 0.95 / 0.97 |

  • 그룹 오차는 거의 전부 모든 발전소가 같이 틀리는 공통(기상) 오차. 구성(composition) 변경으로 줄일 수 있는 몫은 작음
  • JAN은 시각별 고정 bias만으로 벌점의 절반이 설명됨 (L1은 59%) → 체계적 수준 문제
  • 벌점 상위 10% 날짜 비중 21~29% → 특정 이상일 문제 아님

2. JAN 한낮 조건별 (FS2, 그룹·시간당 과대예측 kWh G1/G2)

  • 모든 조건에서 과대예측
  • 최근 3일 눈 예보 없음 7일 +780/+916 vs 있음 23일 +340/+378 → 적설 가설은 지지되지 않음 (대리 지표가 약함)
  • 운량 낮음(맑음) +535/+772 (실제 이용률 0.501 vs 예측 0.527) > 운량 높음 +452/+437
  • 시정 높음 +540/+719 > 낮음 +407/+403 → 연무 가설도 지지되지 않음
  • 해석(추정): 1월 맑은 한낮에 예측 수준이 5~7% 높음. 낮은 해 고도 관련 요인 가능성, 이 데이터로 확인 불가

다음 (진단, 사전 등록 대상 아님): winter_lso_1452.py (SHA 65eda538…) — DEV_JAN fit 구간에서 직전 겨울(2023-12~2024-02)을 빼고 학습해 그 겨울을 예측. 같은 과대예측이 나오면 모델 구조 문제 → 조건부 보정을 사전 등록해 시험, 안 나오면 2025년 특이 현상으로 봄. 실행 전.

상이 Updated by 상재 이 14 days ago Actions #6

  • Status changed from In Progress to Closed
  • % Done changed from 0 to 100
  • Parent task changed from #980 to #1467

11/04 운영 방식 변경(학생별 날짜 상위 일감)에 따라 상위 일감을 #980 → #1467로 옮김. E4 이후 Track A(이상재) 작업.

종료: 원인 분석·보정 판정 완료. 사전 등록 보정 v1(C1~C3) 전부 FAIL, v2 FS2:L1 50:50은 1월 그룹 조건만 FAIL. 직전 겨울 leave-season-out 진단 결과 겨울 과대예측은 두 해 모두 있으나 달·운량·해 고도별 패턴이 해마다 달라 조건부 보정은 채택할 형태 없음. 제출 후보는 50:50 패키지(#1453).

상이 Updated by 상재 이 13 days ago Actions #7

PR #217 생성 (GilbertMoon/icn-solar-cad-agent, forecast/oibc-1452-l1-blend → main, 커밋 78db8f8). FS2_L1 seed 평균·평가 기간 예측 경로와 FS2:L1 50:50 블렌드 코드 (Submission #4 생성 코드). Codex v2 PASS, pytest 359 passed. 머지 전.

Actions

Also available in: PDF Atom