Feature #1144
closedFeature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료
[OIBC] Feature 개선 및 Residual Matrix 생성
Added by 상재 이 21 days ago. Updated 14 days ago.
100%
Description
선정된 Forecast 모델에서 Time/Plant/Capacity/Lag/Rolling/Hyperparameter 등을 단계적으로 개선하고, Candidate별 Prediction과 Residual Matrix를 생성하여 VPP 작업에 전달
상이 Updated by 상재 이 15 days ago Actions #1
- Status changed from New to In Progress
- Start date changed from 11/05/2026 to 11/02/2026
- % Done changed from 0 to 10
#1144 시작 (11/02)¶
범위 (#1127 계획 §6 기준. #1143이 ①② + ③ KEEP으로 닫혀서 남은 단계를 이어받습니다)
- E2 Feature: FS0 → FS1 → FS2 (순차)
- E3 Round: R2 → R1 · R3
- E4 손실·후처리: L2 → L1 · k 가중. 계절·한낮 bias를 fold별로 함께 봄 (PM 우선 확인 5번)
- E5a 하이퍼파라미터 제한 탐색 (≤ 12 조합 선별 → 상위 3 판정), E5b 발전소 통계(FS+stat)
- E5c 학습 범위 확대는 수아님·PM 승인이 있을 때만
- 채택 단계마다 Candidate별 OOF Prediction과 Residual Matrix(D06 패키지)를 VPP(#992)로 전달
기준
- 출발점: E1 승자 M0 (A1, DEV 0.248844)
- 판정: seed {11, 22, 33} 짝 비교, mean_Δ ≥ 0.002, ≥ 2·sd, 4개 fold 중 3개 이상 개선 (#1143 판정 도구 사용)
- 공식 기준점: 첫 제출 S 6,418,339,340원
- HOLDOUT 사용 안 함. 평가 구간 예측은 freeze 후 PM 승인 뒤에만
확인 중
- 설명의 "Lag/Rolling": 발전량 lag는 평가 구간에 실적이 없고 D03에서도 금지라 쓰지 않습니다. 예보 변수의 lag·rolling을 어디까지 허용할지 수아님께 확인 중입니다.
상이 Updated by 상재 이 15 days ago Actions #2
- % Done changed from 10 to 50
E2 Feature 단계 완료 — PR #207 (main merge 대기)¶
결과 (DEV wMAE_site, seed 11/22/33 평균, 노트북 실행)
| 판정 | DEV 평균 | 평균 개선 | 개선 fold | 결과 |
|---|---|---|---|---|
| FS0 (기준, #1143 M0) | 0.248844 | — | — | — |
| E2-FS1: FS0 → FS1 (예보 28종 전체 + 위치·주기형 달력, 43열) | 0.246617 | +0.002228 | 3/4 | ADOPT |
| E2-FS2: FS1 → FS2 (+ 맑음 지수, A−B 예보 차이, 대상일 일평균·일최대, 56열) | 0.240739 | +0.005877 | 4/4 | ADOPT |
| E2-FS2L: FS2 → FS2L (+ 예보 lag·lead·3시간 평균, 65열) | 0.240606 | +0.000133 | 3/4 | KEEP_REFERENCE |
- E2 최종 Feature는 FS2입니다. FS0 대비 약 3.3% 개선됐고, 다음 단계(E3)의 기준도 FS2입니다.
- FS1에서 유일하게 나빠졌던 7월 fold가 FS2에서 가장 크게 좋아졌습니다(+0.0170). 여러 변수를 함께 넣었기 때문에 어느 변수가 원인인지는 나눌 수 없습니다.
- 예보 lag·rolling(FS2L)은 수아님 조건(같은 대상일·같은 발행 안에서만)대로 구현했지만, FS2 위에서는 추가 효과를 확인하지 못했습니다.
- 코드를 고친 뒤 FS0과 FS1을 다시 실행하면 이전 결과와 비트 단위로 같습니다.
검증
- Codex 검토 v1~v3: E2-01(MAJOR), E2-02, E2-03을 모두 반영했고 누적 E2 전체 PASS를 받았습니다. pytest 154 passed.
- 실데이터 실행은 노트북에서만 했고, AI에는 요약 숫자만 전달했습니다.
조건
- FS2는 수아님 feature 정책 추가안에 의존하므로, 정책이 확정되기 전에는 제출 후보로 쓰지 않습니다.
- 실제 예보 발행·수신 이력은 검증하지 않았습니다(Codex EVIDENCE_LIMITATION).
남은 것: E3(예보 회차 사용 방식), E4(손실·계절·한낮 bias), E5a/E5b, 채택 모델 OOF·Residual Matrix(D06 패키지) 영우님 인계
진척도를 50%로 변경합니다.
상이 Updated by 상재 이 15 days ago Actions #3
E3 예보 회차 단계 완료 — PR #208 (main merge 대기)¶
결과 (FS2 기준, DEV wMAE_site, seed 11/22/33 평균, 노트북 실행)
| 판정 | 방식 | DEV 평균 | 평균 개선 | 개선 fold | 결과 |
|---|---|---|---|---|---|
| R2 (기준) | 10시·17시 회차별 모델 2개의 예측 평균 | 0.240739 | — | — | 유지 |
| E3-R1 | 17시 우선, 빈칸만 10시로 채운 표로 모델 1개 | 0.241698 | −0.000959 | 1/4 | KEEP_REFERENCE |
| E3-R3 | 17시·10시 입력과 차이를 함께 넣은 모델 1개 | 0.240910 | −0.000170 | 1/4 | KEEP_REFERENCE |
- E3 결론: R2 유지. 예측 동작은 E2(FS2 + R2)와 같습니다. 다음 단계(E4)의 기준도 FS2 + R2입니다.
- R1은 학습 시간이 절반 이하지만 세 seed 모두 나빠졌습니다(1월 −0.0063). R3는 개선이 잡음 수준이었습니다.
판정 도구 강화
- 회차 정책 라벨과 실제 회차·결합 방식이 일치하는지, Feature 변화가 그 정책이 만드는 구조인지 검사합니다.
- 지금까지의 판정 7개를 다시 계산해도 결과는 모두 같았습니다.
검증
- Codex v1~v3: E3-01·E3-02(MAJOR)를 반영해 E3 전체 PASS를 받았습니다. pytest 187 passed.
- 실데이터는 노트북에서만 다뤘습니다.
남은 것
- E4: 손실 함수(L2 → L1·k 가중)와 계절·한낮 bias를 fold별로 확인
- E5a/E5b
- FS2 OOF·Residual Matrix를 D06 패키지로 영우님께 인계
- 수아님 정책 추가안 확정 확인
진척도는 50%를 유지합니다.
상이 Updated by 상재 이 14 days ago Actions #4
FS2 3-seed 앙상블 제출 경로 — PR #210 병합 완료 (11/03)¶
PR / Merge
- PR #210
[OIBC] #1144 FS2 3-seed 앙상블 — DEV OOF 검증 + 별도 평가 구간 예측 경로→ main 병합 - Merge SHA:
0d0fb1729e92390a9f4df9dd2a1ba76448d8fee7(브랜치 커밋 aa0be00 → f8077dd → 1bb2714) - code fingerprint (f8077dd):
b88374466d80079f1f9abe909e46907e7a5bdeaf42a67edde916b5aa80994517 - Codex: v1 CHANGES_REQUIRED (FT-01~04) → v2 PASS, 새 지적 없음. pytest 251 passed (클라우드·노트북)
- #1142 baseline 경로(test_prediction.py·스크립트·설정)는 변경 없음 (FROZEN)
PM 결정 반영 (11/03): TEST_PREDICTION_FS2=APPROVED_WITH_GATE, BEST_SEED_POST_SELECTION=NO, PRED_AVG=(s11+s22+s33)/3, VPP 배정 #990 reference (Swap 없음)
SEED_ENSEMBLE=PASS (DEV OOF, 실데이터 요약값)
- DEV wMAE: 평균 0.239870 / s11 0.239987 / s22 0.241469 / s33 0.240762 / FS1 0.246617
- FS1 대비 4/4 fold 개선 유지 (JUL +0.017967, OCT +0.003093, JAN +0.002455, FEB +0.002930)
- 개별 seed 대비: DEV 전체는 세 seed 모두보다 낫고, fold별로는 s11 대비 2/4, s22 대비 4/4, s33 대비 3/4
- NaN/Inf/음수 0 (700,248행), D06 check_run PASS. 평균 OOF SHA-256
e050e7b545da6c4962bbb833955d09477edb545bdc0d1b4b38d5927dd72f9713
TEST_PREDICTION=PASS (평가 기간 예측)
- run
20261103-145439-lgbm_cf-fs2-avg3-1144-test, configoibc/configs/oibc2026_1144_fs2_test.yaml - model_version
lgbm_cf-fs2-avg3@f8077dd(LightGBM M0, FS2 56개 Feature, R2, seed 11/22/33 평균) - 학습 구간 2023-06-01 01:00 ~ 2025-02-28 00:00 (#1142와 같음), HOLDOUT 미사용
- 데이터 계약 handoff_data_basis_v3, split·feature data_criteria_agreed_v2, round_policy agreed_v2
- 2,216,280행 (253 × 8,760), 중복·누락·NaN·음수 0, 용량 초과 0
- prediction_test.csv SHA-256
a2d6f16e7ca3e2871c5fa0051b74f6d0721599521e8f3c8bbdc59379641ae3b9(aa0be00·f8077dd 두 번 실행 결과 동일)
인계
- 영우님:
oibc_1144_fs2_test.zip(SHA-256 e92c36a3ee9c135adf8e91a2d73c028665889c0a4ddb3fe81dd1bde860f24ed1) — 예측 CSV, manifest, README - 수아님: 판정 근거
oibc_1144_e2_decision_evidence.zip(SHA-256 c73404622700fd7a100ba3276636f89591fda73a64110020a40a85593de8bfa7) - 문서:
oibc/docs/FS2_TEST_PREDICTION_1144.md
남은 HOLD (TODAY_SUBMISSION=HOLD)
- FS2_QA (수아님): 정책 추가안 확정, HOLDOUT·leakage·provenance 최종 확인
- SUBMISSION_PACKAGE / OFFICIAL_VALIDATOR (영우님): #990 reference로 composition·forecast 생성, 공식 validator
- PM GO
진행률·상태는 변경하지 않았습니다 (In Progress 50% 유지, E4~E5 남음).
상이 Updated by 상재 이 14 days ago Actions #5
- Status changed from In Progress to Resolved
- % Done changed from 50 to 100
PR #211 병합 — E4 손실 함수 + Residual Matrix (11/03)¶
PR / Merge
- PR #211
[OIBC] #1144 Residual Matrix 생성 + E4 손실 축(L2 → L1 · L2K) + 계절·한낮 bias 보고→ main 병합 (GilbertMoon) - Merge SHA:
9b2c6155f5226c4e88c018991795c523cac98871(브랜치 a0d9479 → 4210dfb → 5974fb8 → 89058ba) - Codex: v1 CHANGES_REQUIRED (E4-01, 손실 구조 검사에서 모델 이름 미확인) → v2 PASS. pytest 292 passed. 기록된 판정 9개(E1~E4) 재계산 모두 동일
E4 결과 (DEV, seed 3개)
- E4-L1 ADOPT: FS2+L2 0.240739 → FS2+L1 0.235120, 평균 개선 +0.005619, 4/4 fold
- E4-L2K DIAGNOSTIC (11~15시 가중, PM 결정대로 진단만): 평균 −0.001240
- L2 재실행 = 기존 FS2 비트 일치
- bias: 11~15시 여름(7월) 과소, 겨울(1월) 과대. L1은 오차 크기는 줄였지만 겨울 한낮 과대 bias는 커짐
Residual Matrix: FS2 3-seed 평균 OOF 원본, fold별 시각 × 발전소 잔차표 4개 생성 (JUL 744×224, OCT 744×252, JAN 720×253, FEB 648×253)
#1144 범위 정리
- 완료: E2 (FS2 채택, PR #207), E3 (R2 유지, PR #208), FS2 3-seed 평균 제출 경로 (PR #210, 2번째 제출 S 6,424,865,945원), E4 + Residual Matrix (PR #211)
- 이관 (11/04 운영안 Track A): FS2+L1 제출 후보 → #1440, 공통 기준점 제공 → #1441, E5a 하이퍼파라미터 → #1442, 모델 앙상블 준비 → #1443
- E5b(발전소 통계 Feature)·E5c(학습 범위)는 현재 Track A 일감에 포함하지 않음 (필요 시 별도 등록)