Feature #1122 » feature_availability_report.md
OIBC 2026 — #1122 입력 가용성·누수 점검
관련 일감: https://sulfite-footbath-next.ngrok-free.dev/issues/1122
점검 및 정책 초안 작성 완료·튜터 검토 대기. 전체 모델 파이프라인의 누수 없음이나 실제 수신 지연을 증명한 것은 아니다.
출처와 범위
- 원본 SHA-256: f8b8914d1e45c7a7e8108fc2bfb2c1287373a07e2621cfe653bb3a12a438834e. #1120·#1121과 동일하고 점검 전후 불변.
- 실제 10개 파일의 컬럼 118개를 파일 출처별로 모두 분류했다. 이름이 같은 열도 출처가 다르면 별도 판정한다.
- ZIP의 README·Parquet/CSV 스키마와 baseline.py의 AST/소스를 검토했다. 첨부 코드는 실행하지 않았다.
- 공식 상세 페이지의 '제공 데이터'·'대회 규정'을 2026-10-27에 직접 확인했다: https://dataen.ai/challenge/2026
공식 안내에서 확인한 기준
10시·17시 예보는 둘 다 허용된다. 목표일 전일 17시 이후 생성된 미래 실측·발전 실적은 사용할 수 없다. 평가 구간에는 실측·발전 실적이 없다. 외부 데이터·외부 데이터 학습 모델은 금지다. 결손 예보 시각도 채점 대상이며 좌표 재식별은 금지다.
공식 허용 회차와 실제 received_at 측정은 별개다. 파일에 수신·가용·발행 timestamp 컬럼이 없어 실제 지연은 미확인이다. round로 재구성한 명목 발행 시각은 관측 로그가 아니다.
입력 판정
| 분류 | 기본 정책 | 근거/조건 |
|---|---|---|
| A/B 예보 값 30종 | 대회 회차 계약에 따라 사용 가능 | 10·17 회차 유지, 품질 처리 별도 |
| 설비용량·제공 좌표·관측지점 거리 | 정적 입력 후보 | 외부 자료로 위치 복원 금지 |
| 달력·태양 위치 | 제공 시각/좌표에서 계산하는 후보 | 관측 발전량을 계산에 섞지 않음 |
| site_id·관측지점·round·ts | 연결/시간 키 | 숫자형이라는 이유만으로 모델 입력에 넣지 않음 |
| energy | 정답 전용 | 학습 cutoff 이전만 fit; 미래 실적 입력 금지 |
| 목표 시각 기상 실측 | 예측 입력 제외 | 평가 때 없음, 동일 열 이름의 예보와 구분 |
| SMP | 기본 정산·평가 전용 | 미래 가격의 예측 입력 허용은 미확인; 금지 확정으로 단정하지 않음 |
| k | 시각에서 재계산하는 달력 가중치 | SMP와 구분 |
| current_group | 참고 배정 전용 | 주 예측 입력 기본 목록에서 제외 |
| 과거 실적/실측 lag·집계 | 조건부, 기본 제외 | 예측 시점 가용성과 평가 기간 공급 경로 증명 필요 |
전체 파일·컬럼별 결과는 feature_availability_matrix.csv에 있다. '사용 가능'은 결측·이상값 처리가 끝났다는 뜻이 아니다.
원본 컬럼 분류 건수
- ALLOW_DOCUMENTED_FORECAST: 60개 파일·컬럼
- EXCLUDE_TARGET_TIME_OBSERVATION: 25개 파일·컬럼
- JOIN_OR_ROUND_KEY: 11개 파일·컬럼
- TIME_KEY: 9개 파일·컬럼
- ALLOW_STATIC_METADATA: 5개 파일·컬럼
- JOIN_KEY: 3개 파일·컬럼
- EVALUATION_ONLY_BY_DEFAULT: 2개 파일·컬럼
- REFERENCE_GROUPING_ONLY: 1개 파일·컬럼
- ALLOW_RECOMPUTED_CALENDAR_WEIGHT: 1개 파일·컬럼
- LABEL_ONLY_NOT_PREDICTOR: 1개 파일·컬럼
시각·출처 guard
- 목표 날짜 D의 ts는 D 01:00부터 D+1 00:00까지이며, issue_ts는 D-1 17:00이다.
- 대회 모드: 공식 10·17시 예보 계약을 근거로 허용한다. 실측·발전 실적 출처, 알 수 없는 회차, timezone 누락, 비정시 대상 시각은 거절한다.
- 운영 모드: 실제 received_at이 있어야 하며 issue_ts보다 늦으면 거절한다. 17시 회차를 규정과 달리 무조건 제외하지 않는다.
- 학습 정답 시각은 #1121의 fit cutoff 이하로 제한한다. 시각 검사 통과는 실제 정답 수신 완료를 뜻하지 않는다.
- 예보 결손은 허용 입력의 다른 회차/제공사 또는 학습에서 정한 대체값으로 처리한다. 미래 예보 버전·미래 실측을 역방향 채우기로 끌어오지 않는다.
제공 기준 코드의 정적 검토
-
FEATS 24개 중 예보 값 15개를 실제 허용 예보 스키마와 대조했다. 나머지는 달력·태양 위치·설비용량·제공 좌표 파생값이다.
-
기준 코드는 학습 시작 하한을 두지만, 최초 예측 시점에 맞춘 발전량 정답의 상한은 해당 필터에 없다.
-
첫 공식 예측 기준은 2025-05-31 17:00:00+09:00. 제공 발전량 중 이 시각보다 뒤의 정답은 1,771행이다.
-
#1121의 더 보수적인 00시 cutoff 뒤에는 6,072행이 있다. 두 수치는 정의가 다르다.
-
실제 추론 시점 재현을 위해 상한 cutoff를 명시하는 방식을 제안한다. 이것만으로 공식 제공 코드의 규정 위반을 단정하지 않으며 문제정의서/FAQ 해석 확인이 필요하다.
-
코드의 train MAE는 같은 학습 입력에 대한 오차여서 독립 검증 성능이 아니다. 모델 학습·점수 계산·코드 수정은 하지 않았다.
-
baseline.py 91행: gen = pd.read_parquet(f"{HERE}/train/generation.parquet")
-
baseline.py 93행: gen = gen[gen.ts >= TRAIN_FROM]
-
baseline.py 115행: colsample_bytree=0.8, verbose=-1, n_jobs=-1).fit(X, y)
-
baseline.py 116행: log(f"round={r} 학습 완료 train MAE {np.abs(models[r].predict(X)-y).mean():.4f}")
누수 위험과 검증 범위
leakage_checklist.csv는 12개 위험을 우선순위·예방·검증 상태로 구분한다. 출처 혼동·잘못된 시각·늦은 수신·미지원 회차의 guard는 실패 사례를 실행했다. 전체 기간 대체/정규화, 중앙 이동평균, target encoding, 검증 잔차 기반 그룹 최적화, holdout 반복 선택은 향후 실제 파이프라인 검토가 필요하다.
같은 fold 정답으로 만든 잔차를 그 fold의 VPP 선택에 사용하지 않는다. 통계/인코더/대체 규칙은 fit 구간에만 맞춘다. 학습 정답을 검증/평가 입력으로 조인하지 않는다.
#1121 재검토와 미확인
- 17시 회차는 공식 허용이므로 유지한다.
- 원본에 수신 로그가 없어 #1121의 17시간 여유가 실제 수신 지연을 해결한다고 단정할 수 없다. 현재 00시 cutoff는 보수적 제안으로 유지한다.
- 미래 SMP의 예측 입력 허용, 실적·실측 수신 지연, 공식 학습 구간과 최초 시점의 해석은 미확인 목록으로 남긴다.
- 판단 근거가 부족한 입력은 자동 허용하지 않고 기본 제외/조건부로 전달한다. 추가 자료가 오면 정책·구간을 버전 갱신한다.
QA 결과·산출물·재현
스키마·출처·기준 코드 목록·시간 guard 검사 60건 통과 / 실패 0건. 운영 수신 로그 확인·전체 학습 파이프라인 실행·모델 성능·팀 승인과 구분한다.
- feature_policy.json: 허용/제외/조건부 목록·근거·기준 코드 분석.
- feature_availability_matrix.csv: 모든 원본 컬럼별 판정.
- leakage_checklist.csv: 누수 위험과 검증 상태.
- availability_qa.json: 실행 검사와 판정.
- tools/audit_oibc_1122_availability.py: 재현 코드. pandas·pyarrow 필요.
실행: python tools/audit_oibc_1122_availability.py --zip "C:\Users\hjmo-\Downloads\OIBC_2026_DATA (1).zip" --audit outputs/oibc_1120/audit_results.json --split outputs/oibc_1121/split_config.json --out outputs/oibc_1122
예상 결과: 위 파일과 이 보고서 생성. 원본 버전 불일치·미분류 컬럼·guard 검사 실패는 오류 종료한다.
다음 #1123에서 이상재에게 품질 보고서·split_config·feature_policy·미확인 목록과 실행 절차를 함께 인계한다.
가용성은 예측 당시 그 정보를 알 수 있었는지, 누수는 당시 모를 정답 정보를 사용하는지의 문제다. 파일에 열이 있다는 사실만으로 입력을 허용하지 않는다.