Feature #1473
openFeature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료
Feature #1472: [OIBC][PM 11/05] 현재 최고 Group-Direct 후보 기반 제한 개선 및 차기 제출 여부 결정[문길래]
[OIBC][PM 11/05-01] 현재 최고 Group-Direct Blend Residual / Bias 구조 진단
10%
Description
[OIBC][PM 11/05-01] 현재 최고 Group-Direct Blend Residual / Bias 구조 진단
■ 목적
현재 최고 제출 후보인
0.4 × FS2+L1
+
0.6 × Group-Direct
의 DEV residual 구조를 분석하여,
- 시간대
- 계절
- G1 / G2
- plant / group aggregate
단위로 반복되는 systematic bias가 있는지 확인한다.
이번 일감은 correction을 적용하는 단계가 아니라
다음 단계에서 correction을 시도할 가치가 있는지 진단하는 단계이다.
■ 기준 후보
BASELINE_CANDIDATE=
0.4FS2+L1 + 0.6Group-Direct
VPP=#990
DEV_FOLDS=
JUL,OCT,JAN,FEB
기존 Group diagnostic:
FS2+L1=
68.308M
Group-Direct Blend=
64.754M
DEV 기준 4/4 fold 개선.
■ 핵심 분석 질문
- G1 / G2 중 특정 그룹에서 반복 bias가 있는가?
- 11~15시 midday 구간에 systematic over/under prediction이 있는가?
- JAN / FEB에서 반복적인 계절 패턴이 존재하는가?
- plant prediction 분배 과정에서 특정 site가 error를 과도하게 주도하는가?
- group-direct 예측과 plant aggregate 사이에 일관된 residual 구조가 있는가?
- 동일 방향 bias가 최소 3/4 fold에서 반복되는가?
■ 수행 내용
- DEV prediction grid 확인
- JUL
- OCT
- JAN
- FEB
- timestamp
- site
- group
- actual
- prediction
KEY_ALIGNMENT=PASS가 선행 조건.
- Residual 정의
RESIDUAL=
prediction - actual
양수:
overprediction
음수:
underprediction
- 시간대 분석
KST 기준:
061015
11
16~19
각 구간별:
- mean bias
- absolute error
- weighted error
- sample count
- G1 / G2 분석
#990 기준:
- overall bias
- midday bias
- fold별 bias
- group aggregate error
- 계절 분석
특히 JAN / FEB:
- midday overprediction 여부
- group 차이
- plant 분포
- fold 반복성
- Site contribution 분석
TOP_ERROR_SITES=
TOP_BIAS_SITES=
단,
site별 tuning은 하지 않는다.
■ 판단 기준
Correction을 다음 단계로 넘기려면:
- 동일 방향 bias가 최소 3/4 fold에서 반복
- target group / time window가 명확
- 특정 한 fold만의 현상이 아님
- correction rule을 단순하게 정의 가능
■ 금지
- correction 적용
- 새 training
- 새로운 model
- blend 변경
- site별 tuning
- HOLDOUT 확인
- leaderboard 분석
■ 완료 조건
PM_1105_01_RESULT=PASS|HOLD
OVERALL_BIAS=
MIDDAY_BIAS=
JUL_BIAS=
OCT_BIAS=
JAN_BIAS=
FEB_BIAS=
G1_BIAS_STATUS=
G2_BIAS_STATUS=
MIDDAY_FOLD_CONSISTENCY=
SYSTEMATIC_BIAS_FOUND=YES|NO
TARGET_PERIOD=
TARGET_GROUP=
TARGET_TIME_WINDOW=
BIAS_DIRECTION=
CORRECTION_WORTH_TESTING=YES|NO
NEXT_ACTION=
PM_1105_02
또는
STOP_NO_SYSTEMATIC_BIAS