Feature #1121
closedFeature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료
[OIBC] Time-Series Validation Split 설계
Added by 수아 황 22 days ago. Updated 19 days ago.
100%
Description
미래 정보 누수를 방지하도록 Train/Validation 구간과 시계열 검증 방식을 정의
Files
| validation_split_spec.md (7.92 KB) validation_split_spec.md | 수아 황, 10/27/2026 02:21 AM | ||
| oibc_1121_evidence.zip (21.8 KB) oibc_1121_evidence.zip | 수아 황, 10/27/2026 02:21 AM |
수황 Updated by 수아 황 22 days ago · Edited Actions #1
- File validation_split_spec.md validation_split_spec.md added
- File oibc_1121_evidence.zip oibc_1121_evidence.zip added
- Status changed from New to Resolved
- % Done changed from 0 to 100
[결과]
미래 정보 누수를 방지하는 Train/Validation 구간과 시계열 검증 방법을 설계하고 실제 데이터로 경계·커버리지를 확인했습니다. 설계안 v1 작성·자체 검증 완료 기준으로 Resolved / 100%로 기록합니다. 날짜와 이력 범위는 튜터/팀 검토 전 제안이며, 모델 학습·성능 평가·팀 승인은 미실행입니다.
[설계안 v1]
- 모든 학습 시작: 2023-06-01 01:00 KST, fold마다 종료만 확장
- DEV_JAN: 학습 종료 2024-12-31 00:00 / 검증 목표 날짜 2025-01-01부터 2025-01-30까지 / 검증 182,160행
- DEV_FEB: 학습 종료 2025-01-31 00:00 / 검증 목표 날짜 2025-02-01부터 2025-02-27까지 / 검증 163,944행
- 최종 HOLDOUT: 학습 종료 2025-02-28 00:00 / 검증 목표 날짜 2025-03-01부터 2025-05-31까지 / 검증 558,624행
- 세 구간 모두 253개 발전소의 기대 검증 행이 존재하며 검증 정답에 음수 없음
[미래 정보 누수 방지]
목표 날짜 D의 예측은 D 01:00부터 D+1 00:00까지, 예측 기준은 D-1 17:00 KST입니다. 00:00은 전날의 마지막 구간으로 분류합니다. 학습 정답은 각 fold 최초 발행일 00:00까지로 제한하고 모델·전처리·그룹 배정을 fold 내 고정합니다.
1/31·2/28 하루 전체 정답은 다음 최초 예측 시점보다 늦게 생성되므로 개발 점수 집계에서 제외합니다. 원본 결측이나 대회 제출 행 삭제가 아닙니다.
검증 정답으로 같은 fold의 VPP 배정을 최적화하지 않습니다. 최종 holdout 정답은 모델·변수·배정 선택에 사용하지 않습니다.
[산출물·검증 근거]
첨부 validation_split_spec.md와 oibc_1121_evidence.zip에 구간 JSON·발전소별 커버리지·149일 예측 일정·검증 결과·재현 스크립트를 포함했습니다. 경계·일별 발행·실데이터 커버리지 검사 183건 통과 / 실패 0건. 저장된 표의 집계도 대조했습니다. 원본 ZIP은 #1120과 동일하며 실행 전후 SHA-256이 같습니다.
[위험·미확인]
1월 검증의 한 발전소는 학습 154행뿐이라 전체 발전소 모델 등의 대체 경로가 필요합니다. 전체 발전소 검증이 겨울·봄에 집중되어 여름·가을 및 1년 고정 모델 일반화는 미검증입니다.
발행일 00시 cutoff는 보수적 시간 경계 제안이며 실제 수신 지연을 증명하지 않습니다. 공식 평가 첫 예측에 대해 제공 학습 정답 중 cutoff 이후 6,072행도 자동 사용하지 않도록 제안했습니다. 공식 세부 규정과 실제 수신 지연 확인이 필요합니다.
[다음 행동]
#1122에서 feature별 발행·대상·수신 시각과 실측/예보/lag의 사용 가능 여부를 점검하고 cutoff 가정을 재검토합니다. #1123에서 이상재에게 품질 기준과 split_config를 함께 인계합니다.
수황 Updated by 수아 황 21 days ago Actions #2
[D02 수신자 합의 반영 v2]
수아님이 전달한 상재님 답변을 근거로 7월224개소/10월252개소 고정 개발 검증을 실제 split_config folds에 추가했습니다. 대상일2024-07-0107-31 및10-0110-31, 각744시간으로166656/187488행입니다. site ID 목록을 JSON에 고정했습니다. 기존 DEV_JAN/DEV_FEB/HOLDOUT_MAR_MAY 3개 설정은 v1과 직접 대조해 동일함을 확인했습니다.
여름은 용량36300.895kW로2x20MW 조건을 만족할 수 없어 발전소 지표만 비교합니다. 7월 부분 기록26개소는 별도 진단하며 정답을0으로 채우지 않습니다. 3~5월 최종 구간은 선택에 사용하지 않습니다. 발전량 lag는 평가 발전량 미제공으로 제외 확정입니다.
새 일정211일/coverage1265행, 실데이터21개 검사와 배포본95개 검사 통과. 모델 학습·성능 평가는 미실행입니다. 기존 720행 진단/발행일00시 cutoff는 보수적 설계로 유지하며 실제 수신 지연 승인은 별도입니다.
최신 자료: #1123 첨부 oibc_1123_handoff_v2.zip 및 https://github.com/GilbertMoon/icn-solar-cad-agent/pull/191
기존 첨부는 v1 기록입니다. 상태·진척률·담당·일정은 변경하지 않습니다.
수황 Updated by 수아 황 19 days ago Actions #3
- Status changed from Resolved to Closed
[2026-10-29 완료 상태 정리]
사용자 요청에 따라 기존 Resolved / 100%인 시계열 Train/Validation 구간 설계·경계/coverage 검증 및 D02 합의 반영 범위를 Closed / 100%로 정리합니다. 기존 댓글·검증·첨부 산출물과 #1123 댓글 7의 데이터 기준 인수인계 완료 기록을 근거로 합니다. 기존 내용과 한계는 보존합니다. 실제 수신 지연·최종 cutoff는 #1158(D04), 공식 정산은 #1159(D05) 후속 항목으로 유지하며, 이번 종료가 모든 원본 데이터의 품질 통과·모델 성능·공식 제출 승인을 뜻하지 않습니다. 담당자·일정·첨부·기존 100%는 유지합니다.