Feature #1121 » validation_split_spec.md
OIBC 2026 — #1121 시계열 검증 구간 설계
관련 일감: https://sulfite-footbath-next.ngrok-free.dev/issues/1121
설계안 v1 작성·경계/실데이터 확인 완료. 튜터 승인 대기. 모델 학습·성능 평가는 미실행.
근거와 선택
원본 ZIP SHA-256: f8b8914d1e45c7a7e8108fc2bfb2c1287373a07e2621cfe653bb3a12a438834e. #1120 원본과 동일하며 실행 전후 불변.
실제 발전량·발전소 목록·평가 시간축을 읽었다. 날짜와 최근 이력 범위, 720행 기준은 팀 승인 전 제안이다.
마지막 발전소 기록은 2024-12-24에 시작한다. 이전 계절의 부분 발전소 분석을 253개 전체의 정산 결과와 동일시하지 않는다.
주 검증은 실제 정답이 253개 전체에 있는 2025년 구간이다. 2024년 여름·가을은 발전소별 계절 진단으로만 참고한다.
주 검증 구간 — 제안 v1
모든 학습은 2023-06-01 01:00 KST부터 시작하며 종료만 확장한다. 최근 약 2년 운영 후보에 맞춘 선택이며 최적 기간으로 검증된 것은 아니다.
| 구간 | 학습 종료(포함) | 검증 목표 날짜 | 검증 시각(포함) | 학습 행 | 검증 행 |
|---|---|---|---|---|---|
| DEV_JAN | 2024-12-31 00:00:00+09:00 | 2025-01-01 이상, 2025-01-31 미만 | 2025-01-01 01:00:00+09:00 ~ 2025-01-31 00:00:00+09:00 | 2,504,296 | 182,160 |
| DEV_FEB | 2025-01-31 00:00:00+09:00 | 2025-02-01 이상, 2025-02-28 미만 | 2025-02-01 01:00:00+09:00 ~ 2025-02-28 00:00:00+09:00 | 2,692,528 | 163,944 |
| HOLDOUT_MAR_MAY | 2025-02-28 00:00:00+09:00 | 2025-03-01 이상, 2025-06-01 미만 | 2025-03-01 01:00:00+09:00 ~ 2025-06-01 00:00:00+09:00 | 2,862,544 | 558,624 |
구간 사용 방법
- 개발 1: 1월 1
30일(720시간). 개발 2: 2월 127일(648시간). 모델·입력·그룹 구성은 이 두 구간에서만 선택한다. - 최종 holdout: 3월 1일~5월 31일(2,208시간). 설정 확정 후 최종 평가한다. 무작위 행 분할은 사용하지 않는다.
- 1월 31일·2월 28일은 다음 fold의 최초 17시 예측보다 늦게 생성되는 하루 전체 정답을 선택에 쓰지 않도록 개발 점수 집계에서 제외한다. 원본 결측이나 대회 제출 행 삭제가 아니다.
- 같은 목표 날짜의 24시간과 모든 발전소는 같은 검증 구간에 둔다. 이전 검증 정답이 다음 fold 학습에 들어가는 것은 그 시점에 이미 과거이고 가용한 경우만 허용한다.
00시 귀속과 발행 기준
ts는 구간 끝 시각이다. 목표 날짜 D의 24시간은 D 01:00D+1 00:00, 발행 시각은 D-1 17:00 KST다. D 00:00은 전날의 마지막 시간이다.03-02 00:00 예측 → 02-28 17:00 발행. 학습 정답은 02-28 00:00까지만 쓴다.
예: 2025-03-01 목표 → 03-01 01:00
발행일 발전량을 전부 제외하는 보수적 정책으로 시간 표시상 최소 17시간 여유가 있다. 실제 수신 지연을 검증한 것은 아니다. #1122에서 availability_ts를 확인하고 지연이 더 길면 cutoff를 더 앞당긴다.
모델·입력·VPP 누수 방지
- 각 fold 안에서는 모델·전처리·그룹 배정을 고정한다. 검증 정답으로 모델·결측 대체값·스케일러·VPP를 갱신하지 않는다.
- 일별 입력은 해당 예측 기준 시각에 가용했던 예보·달력 정보만 생성한다. 회차·실제 수신 여부는 #1122에서 점검한다.
- 평가 구간의 발전 실적은 제공되지 않는다. 따라서 검증 기간 실적 lag를 동적으로 입력하는 방식을 주 검증에 자동 허용하지 않는다. 별도 가용성 확인 후 보조 실험으로만 다룬다.
- 같은 fold의 정답으로 계산한 잔차로 그 fold의 VPP를 최적화하면 누수다. 그룹 선택은 학습 구간 안에서 과거→미래 순서로 만든 OOF 잔차만 사용한다.
- 최종 holdout 배정은 2월 27일 목표까지의 개발 잔차를 사용할 수 있으나 3~5월 정답·잔차는 선택에 쓰지 않는다.
- 음수 학습 정답 등 #1120 품질 처리 기준은 학습 구간에서 정하고 검증 구간에 일관되게 적용한다. 이번 건수는 전처리 전 원본 기준이다.
짧은 이력 발전소
- DEV_JAN: 발전소별 최소 학습 154행, 720행 미만 1개.
- DEV_FEB: 발전소별 최소 학습 898행, 720행 미만 0개.
- HOLDOUT_MAR_MAY: 발전소별 최소 학습 1,570행, 720행 미만 0개.
720행(30일)은 짧은 이력 진단을 위한 제안값이다. 발전소를 삭제하지 않고 global/pooled 모델 같은 대체 경로를 둔다. 관측 없는 시간을 발전량 0 또는 잔차 0으로 채우지 않는다. 대체 모델의 성능은 아직 검증하지 않았다.
최종 holdout 잠금과 평가
- 개발 구간에서만 설정을 선택하고 최종 설정을 2025-02-28 17:00까지 확정한다. 이후 생성되는 2월 28일 하루 전체 정답으로 선택하지 않는다.
- 최종 구간의 키·범위·결측·음수 여부만 이번에 확인했다. 정답 분포·오차·정산 결과를 이용한 후보 선택은 하지 않았다.
- holdout 성적을 보고 전략을 바꾸면 해당 기간을 탐색 구간으로 재분류한다. 더 이상 미사용 최종 검증으로 보고하지 않는다. 실제 접근 차단 시스템을 설치한 것은 아니다.
- 후보마다 동일한 키·품질 규칙으로 RMSE/MAE 등을 비교한다. VPP 정산은 전체 253개·2그룹·각 20MW와 공식 수식을 확인했을 때만 보고한다.
- 1~5월 전체 검증만으로 여름·가을 포트폴리오 일반화나 1년 고정 모델 성능을 증명할 수 없다.
실제 제출에 적용할 때
- 공식 평가 축: 2025-06-01 01:00:00+09:00 ~ 2026-06-01 00:00:00+09:00. 첫 예측 기준: 2025-05-31 17:00:00+09:00.
- 보수적 최초 학습 종료 제안: 2025-05-31 00:00:00+09:00. 해당 범위 학습 행: 3,421,168.
- 제공 정답 중 이 cutoff 이후 6,072행은 최초 학습에서 제외하는 제안이다. 파일 제공 여부와 예측 당시 가용성은 구분한다.
- 평가 발전량 정답이 없으므로 일별 정답 재학습을 가정하지 않는다. 공식 규정·실제 공개 시점 확인 후 변경이 필요하면 새 버전으로 관리한다.
검증 결과·한계
- 경계·실제 행 커버리지·일별 발행 검사 183건 통과 / 0건 실패.
- 통과: 00시 귀속, 17시 발행, 학습/검증 분리, 개발 정답과 최종 예측 시점의 인과관계, 253개 기대 행 수, 비음수 검증 정답, 원본 불변.
- 미검증: 실제 수신 지연, feature별 availability, 모델 성능·정산수익, 짧은 이력 대체 모델, 공식 규정 세부 해석, 튜터 승인.
- 날짜 설계는 제안이며 팀의 확정 결정으로 기록하지 않는다.
산출물과 재현
- split_config.json: 구간·정책·원본 버전.
- split_site_coverage.csv: fold×253개별 학습/검증 건수.
- daily_issue_schedule.csv: 목표 날짜별 17시 발행과 24개 시간 범위.
- split_qa.json: 실행한 검증과 판정.
- tools/design_oibc_1121_split.py: 원본으로부터 재생성. pandas·pyarrow 필요.
실행 폴더: ai_project_expert_kit. 명령: python tools/design_oibc_1121_split.py --zip "C:\Users\hjmo-\Downloads\OIBC_2026_DATA (1).zip" --audit outputs/oibc_1120/audit_results.json --out outputs/oibc_1121
예상 결과: 위 산출물 생성. 원본 버전 불일치·경계 오류·기대 행 누락은 오류 종료한다.
다음 작업과 용어
다음 #1122에서 입력의 발행·수신·대상 시각과 수신 지연 가정을 점검한다. #1123에서 이상재에게 구간과 품질 규칙을 함께 전달한다.
- Fold: 같은 규칙으로 학습·평가를 한 번 수행하는 구간 묶음.
- Holdout: 선택 과정에서 정답을 보지 않고 마지막에 쓰는 시험 구간.
- OOF 잔차: 해당 정답을 학습하지 않은 과거 모델의 예측 오차.
- Cutoff: 학습에 사용할 정보의 마지막 허용 시각.