Project

General

Profile

Actions

Feature #1144

closed
상이 상이

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

[OIBC] Feature 개선 및 Residual Matrix 생성

Feature #1144: [OIBC] Feature 개선 및 Residual Matrix 생성

Added by 상재 이 21 days ago. Updated 14 days ago.

Status:
Closed
Priority:
Normal
Assignee:
Start date:
11/02/2026
Due date:
11/08/2026
% Done:

100%

Estimated time:

Description

선정된 Forecast 모델에서 Time/Plant/Capacity/Lag/Rolling/Hyperparameter 등을 단계적으로 개선하고, Candidate별 Prediction과 Residual Matrix를 생성하여 VPP 작업에 전달

상이 Updated by 상재 이 15 days ago Actions #1

  • Status changed from New to In Progress
  • Start date changed from 11/05/2026 to 11/02/2026
  • % Done changed from 0 to 10

#1144 시작 (11/02)

범위 (#1127 계획 §6 기준. #1143이 ①② + ③ KEEP으로 닫혀서 남은 단계를 이어받습니다)

  • E2 Feature: FS0 → FS1 → FS2 (순차)
  • E3 Round: R2 → R1 · R3
  • E4 손실·후처리: L2 → L1 · k 가중. 계절·한낮 bias를 fold별로 함께 봄 (PM 우선 확인 5번)
  • E5a 하이퍼파라미터 제한 탐색 (≤ 12 조합 선별 → 상위 3 판정), E5b 발전소 통계(FS+stat)
  • E5c 학습 범위 확대는 수아님·PM 승인이 있을 때만
  • 채택 단계마다 Candidate별 OOF Prediction과 Residual Matrix(D06 패키지)를 VPP(#992)로 전달

기준

  • 출발점: E1 승자 M0 (A1, DEV 0.248844)
  • 판정: seed {11, 22, 33} 짝 비교, mean_Δ ≥ 0.002, ≥ 2·sd, 4개 fold 중 3개 이상 개선 (#1143 판정 도구 사용)
  • 공식 기준점: 첫 제출 S 6,418,339,340원
  • HOLDOUT 사용 안 함. 평가 구간 예측은 freeze 후 PM 승인 뒤에만

확인 중

  • 설명의 "Lag/Rolling": 발전량 lag는 평가 구간에 실적이 없고 D03에서도 금지라 쓰지 않습니다. 예보 변수의 lag·rolling을 어디까지 허용할지 수아님께 확인 중입니다.

상이 Updated by 상재 이 15 days ago Actions #2

  • % Done changed from 10 to 50

E2 Feature 단계 완료 — PR #207 (main merge 대기)

결과 (DEV wMAE_site, seed 11/22/33 평균, 노트북 실행)

판정 DEV 평균 평균 개선 개선 fold 결과
FS0 (기준, #1143 M0) 0.248844 — — —
E2-FS1: FS0 → FS1 (예보 28종 전체 + 위치·주기형 달력, 43열) 0.246617 +0.002228 3/4 ADOPT
E2-FS2: FS1 → FS2 (+ 맑음 지수, A−B 예보 차이, 대상일 일평균·일최대, 56열) 0.240739 +0.005877 4/4 ADOPT
E2-FS2L: FS2 → FS2L (+ 예보 lag·lead·3시간 평균, 65열) 0.240606 +0.000133 3/4 KEEP_REFERENCE
  • E2 최종 Feature는 FS2입니다. FS0 대비 약 3.3% 개선됐고, 다음 단계(E3)의 기준도 FS2입니다.
  • FS1에서 유일하게 나빠졌던 7월 fold가 FS2에서 가장 크게 좋아졌습니다(+0.0170). 여러 변수를 함께 넣었기 때문에 어느 변수가 원인인지는 나눌 수 없습니다.
  • 예보 lag·rolling(FS2L)은 수아님 조건(같은 대상일·같은 발행 안에서만)대로 구현했지만, FS2 위에서는 추가 효과를 확인하지 못했습니다.
  • 코드를 고친 뒤 FS0과 FS1을 다시 실행하면 이전 결과와 비트 단위로 같습니다.

검증

  • Codex 검토 v1~v3: E2-01(MAJOR), E2-02, E2-03을 모두 반영했고 누적 E2 전체 PASS를 받았습니다. pytest 154 passed.
  • 실데이터 실행은 노트북에서만 했고, AI에는 요약 숫자만 전달했습니다.

조건

  • FS2는 수아님 feature 정책 추가안에 의존하므로, 정책이 확정되기 전에는 제출 후보로 쓰지 않습니다.
  • 실제 예보 발행·수신 이력은 검증하지 않았습니다(Codex EVIDENCE_LIMITATION).

남은 것: E3(예보 회차 사용 방식), E4(손실·계절·한낮 bias), E5a/E5b, 채택 모델 OOF·Residual Matrix(D06 패키지) 영우님 인계

진척도를 50%로 변경합니다.

상이 Updated by 상재 이 15 days ago Actions #3

E3 예보 회차 단계 완료 — PR #208 (main merge 대기)

결과 (FS2 기준, DEV wMAE_site, seed 11/22/33 평균, 노트북 실행)

판정 방식 DEV 평균 평균 개선 개선 fold 결과
R2 (기준) 10시·17시 회차별 모델 2개의 예측 평균 0.240739 — — 유지
E3-R1 17시 우선, 빈칸만 10시로 채운 표로 모델 1개 0.241698 −0.000959 1/4 KEEP_REFERENCE
E3-R3 17시·10시 입력과 차이를 함께 넣은 모델 1개 0.240910 −0.000170 1/4 KEEP_REFERENCE
  • E3 결론: R2 유지. 예측 동작은 E2(FS2 + R2)와 같습니다. 다음 단계(E4)의 기준도 FS2 + R2입니다.
  • R1은 학습 시간이 절반 이하지만 세 seed 모두 나빠졌습니다(1월 −0.0063). R3는 개선이 잡음 수준이었습니다.

판정 도구 강화

  • 회차 정책 라벨과 실제 회차·결합 방식이 일치하는지, Feature 변화가 그 정책이 만드는 구조인지 검사합니다.
  • 지금까지의 판정 7개를 다시 계산해도 결과는 모두 같았습니다.

검증

  • Codex v1~v3: E3-01·E3-02(MAJOR)를 반영해 E3 전체 PASS를 받았습니다. pytest 187 passed.
  • 실데이터는 노트북에서만 다뤘습니다.

남은 것

  • E4: 손실 함수(L2 → L1·k 가중)와 계절·한낮 bias를 fold별로 확인
  • E5a/E5b
  • FS2 OOF·Residual Matrix를 D06 패키지로 영우님께 인계
  • 수아님 정책 추가안 확정 확인

진척도는 50%를 유지합니다.

상이 Updated by 상재 이 14 days ago Actions #4

FS2 3-seed 앙상블 제출 경로 — PR #210 병합 완료 (11/03)

PR / Merge

  • PR #210 [OIBC] #1144 FS2 3-seed 앙상블 — DEV OOF 검증 + 별도 평가 구간 예측 경로 → main 병합
  • Merge SHA: 0d0fb1729e92390a9f4df9dd2a1ba76448d8fee7 (브랜치 커밋 aa0be00 → f8077dd → 1bb2714)
  • code fingerprint (f8077dd): b88374466d80079f1f9abe909e46907e7a5bdeaf42a67edde916b5aa80994517
  • Codex: v1 CHANGES_REQUIRED (FT-01~04) → v2 PASS, 새 지적 없음. pytest 251 passed (클라우드·노트북)
  • #1142 baseline 경로(test_prediction.py·스크립트·설정)는 변경 없음 (FROZEN)

PM 결정 반영 (11/03): TEST_PREDICTION_FS2=APPROVED_WITH_GATE, BEST_SEED_POST_SELECTION=NO, PRED_AVG=(s11+s22+s33)/3, VPP 배정 #990 reference (Swap 없음)

SEED_ENSEMBLE=PASS (DEV OOF, 실데이터 요약값)

  • DEV wMAE: 평균 0.239870 / s11 0.239987 / s22 0.241469 / s33 0.240762 / FS1 0.246617
  • FS1 대비 4/4 fold 개선 유지 (JUL +0.017967, OCT +0.003093, JAN +0.002455, FEB +0.002930)
  • 개별 seed 대비: DEV 전체는 세 seed 모두보다 낫고, fold별로는 s11 대비 2/4, s22 대비 4/4, s33 대비 3/4
  • NaN/Inf/음수 0 (700,248행), D06 check_run PASS. 평균 OOF SHA-256 e050e7b545da6c4962bbb833955d09477edb545bdc0d1b4b38d5927dd72f9713

TEST_PREDICTION=PASS (평가 기간 예측)

  • run 20261103-145439-lgbm_cf-fs2-avg3-1144-test, config oibc/configs/oibc2026_1144_fs2_test.yaml
  • model_version lgbm_cf-fs2-avg3@f8077dd (LightGBM M0, FS2 56개 Feature, R2, seed 11/22/33 평균)
  • 학습 구간 2023-06-01 01:00 ~ 2025-02-28 00:00 (#1142와 같음), HOLDOUT 미사용
  • 데이터 계약 handoff_data_basis_v3, split·feature data_criteria_agreed_v2, round_policy agreed_v2
  • 2,216,280행 (253 × 8,760), 중복·누락·NaN·음수 0, 용량 초과 0
  • prediction_test.csv SHA-256 a2d6f16e7ca3e2871c5fa0051b74f6d0721599521e8f3c8bbdc59379641ae3b9 (aa0be00·f8077dd 두 번 실행 결과 동일)

인계

  • 영우님: oibc_1144_fs2_test.zip (SHA-256 e92c36a3ee9c135adf8e91a2d73c028665889c0a4ddb3fe81dd1bde860f24ed1) — 예측 CSV, manifest, README
  • 수아님: 판정 근거 oibc_1144_e2_decision_evidence.zip (SHA-256 c73404622700fd7a100ba3276636f89591fda73a64110020a40a85593de8bfa7)
  • 문서: oibc/docs/FS2_TEST_PREDICTION_1144.md

남은 HOLD (TODAY_SUBMISSION=HOLD)

  • FS2_QA (수아님): 정책 추가안 확정, HOLDOUT·leakage·provenance 최종 확인
  • SUBMISSION_PACKAGE / OFFICIAL_VALIDATOR (영우님): #990 reference로 composition·forecast 생성, 공식 validator
  • PM GO

진행률·상태는 변경하지 않았습니다 (In Progress 50% 유지, E4~E5 남음).

상이 Updated by 상재 이 14 days ago Actions #5

  • Status changed from In Progress to Resolved
  • % Done changed from 50 to 100

PR #211 병합 — E4 손실 함수 + Residual Matrix (11/03)

PR / Merge

  • PR #211 [OIBC] #1144 Residual Matrix 생성 + E4 손실 축(L2 → L1 · L2K) + 계절·한낮 bias 보고 → main 병합 (GilbertMoon)
  • Merge SHA: 9b2c6155f5226c4e88c018991795c523cac98871 (브랜치 a0d9479 → 4210dfb → 5974fb8 → 89058ba)
  • Codex: v1 CHANGES_REQUIRED (E4-01, 손실 구조 검사에서 모델 이름 미확인) → v2 PASS. pytest 292 passed. 기록된 판정 9개(E1~E4) 재계산 모두 동일

E4 결과 (DEV, seed 3개)

  • E4-L1 ADOPT: FS2+L2 0.240739 → FS2+L1 0.235120, 평균 개선 +0.005619, 4/4 fold
  • E4-L2K DIAGNOSTIC (11~15시 가중, PM 결정대로 진단만): 평균 −0.001240
  • L2 재실행 = 기존 FS2 비트 일치
  • bias: 11~15시 여름(7월) 과소, 겨울(1월) 과대. L1은 오차 크기는 줄였지만 겨울 한낮 과대 bias는 커짐

Residual Matrix: FS2 3-seed 평균 OOF 원본, fold별 시각 × 발전소 잔차표 4개 생성 (JUL 744×224, OCT 744×252, JAN 720×253, FEB 648×253)

#1144 범위 정리

  • 완료: E2 (FS2 채택, PR #207), E3 (R2 유지, PR #208), FS2 3-seed 평균 제출 경로 (PR #210, 2번째 제출 S 6,424,865,945원), E4 + Residual Matrix (PR #211)
  • 이관 (11/04 운영안 Track A): FS2+L1 제출 후보 → #1440, 공통 기준점 제공 → #1441, E5a 하이퍼파라미터 → #1442, 모델 앙상블 준비 → #1443
  • E5b(발전소 통계 Feature)·E5c(학습 범위)는 현재 Track A 일감에 포함하지 않음 (필요 시 별도 등록)

상이 Updated by 상재 이 14 days ago Actions #6

  • Status changed from Resolved to Closed

PR #211 병합(9b2c615)으로 #1144 범위 완료. 남은 작업은 11/04 운영안 Track A 일감(#1440~#1443)으로 이관되어 Closed 처리합니다.

Actions

Also available in: PDF Atom