Project

General

Profile

Actions

Feature #1158

closed
길문 길문

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

[OIBC] D04 Forecast Cutoff 및 정보 가용성 기준 최종 확정

Feature #1158: [OIBC] D04 Forecast Cutoff 및 정보 가용성 기준 최종 확정

Added by 길래 문 21 days ago. Updated 18 days ago.

Status:
Closed
Priority:
High
Assignee:
Start date:
10/27/2026
Due date:
10/27/2026
% Done:

100%

Estimated time:

Description

내용:

  • 평가 대상일 D 기준 예측 입력 허용 시점 확정
  • D-1 17:00 이후 정보 사용 금지 기준 반영
  • actual / lag / forecast round 사용 가능 시점 정리
  • 실제 수신 지연 미확인 항목의 보수적 처리 기준 결정
  • 이상재 Forecast 학습/추론에 적용할 cutoff 기준 확정
  • 최종 결정 내용을 GitHub 결정 문서에 반영

완료조건:

  • 황수아 데이터/가용성 의견 확인
  • 이상재 Forecast 관점 의견 확인
  • PM 최종 기준 승인
  • APPROVED / REVIEW / HOLD 상태 기록

수황 Updated by 수아 황 18 days ago Actions #1

[D04 Forecast Cutoff 검토 결과 — 수아 측 / 2026-10-30]
RESULT=REVIEW
REVIEWER=황수아 측 Data & Validation 검토안 (Codex 코드·계약 점검 보조). 이상재 측 별도 검토 및 PM 최종 승인 대기.

SUMMARY=
공식 예측시점 D-1 17:00 KST와 현재 보수적 fold 학습 상한·lag 제외 정책을 대조했습니다. 오프라인 DEV의 시간 경계는 확인했으나 실제 actual/예보 수신 시각은 입증하지 못했으므로 D04 전체는 REVIEW를 권고합니다.

EVIDENCE=

  • 공식 대회 규정 유의사항 5: https://dataen.ai/challenge/2026 (2026-10-30 규정 탭 직접 확인)
  • 원본 ZIP README: 전일 10·17시 예보 모두 예측시점 이전 발행으로 설명. generation 및 forecast schema에는 수신 시각 열 없음.
  • GitHub main 고정 commit 9359da8775f491d116a864751d201bd46ca88e71
  • 계약: workspaces/w1/oibc-data-validation/outputs/oibc_1121/split_config.json, outputs/oibc_1122/feature_policy.json, forecast_round_policy.json, decisions.csv
  • 구현: oibc/src/hf_forecast/adapters/oibc2026/{contracts,data,pipeline,models,mlr}.py
  • 기존 계약/단위 테스트 18 PASS. 별도 cutoff·대체·통계·자정·원본 동일성 점검 18/18 PASS. 검사 범위가 달라 단일 suite 총수로 합산하지 않습니다. 모델/OOF/정산/HOLDOUT 재실행은 아닙니다.

FINDINGS=

  1. 학습은 train_from <= ts <= fold train_until을 적용하고 fold마다 fit 1회 후 예측합니다. 00시 이후 정답 제외 및 fold 통계 고정 확인. 발행까지 17시간 여유는 수신 완료 증거가 아닙니다.
  2. generation lag·이동평균 제외. 학습 구간에서 계산한 고정 통계만 허용. MLR 표준화도 train에서만 계산합니다.
  3. MLR=D01 17시 우선/같은 제공사·관측소·대상시각·변수 10시 대체+표시. 공식 baseline 재현=회차별 10/17 모델 예측 평균. 두 정책을 구분해야 합니다.
  4. 수신 시각 검사 부재를 재현했습니다. ts가 cutoff 이전인 행에 미래 received_at을 넣어도 training_rows가 채택합니다. 운영 가용성 PASS로 볼 수 없습니다.
  5. 우측닫힘 자정 ts의 대상일은 (ts-1시간)의 KST 날짜입니다. 예보 target ts를 발행/수신 시각과 혼동해 ts<=issue 필터를 적용하면 안 됩니다.

RECOMMENDATION=
오프라인 DEV는 현재 fold별 최초 발행일 00시 inclusive 학습 상한, lag 제외, fold 내부 모델·통계 고정을 유지하되 D04 pending과 모델별 회차 정책을 기록합니다. 생성 시각 D-1 17시 이후 정보는 금지하며, 실제 운영은 별도 수신 근거나 주최 측 공식 가용성 설명 확인 전까지 승인하지 않습니다. 10시 대체/00시 상한만으로 실수신 검증을 대체하지 않습니다.

RISKS=
actual 및 예보의 개별 수신 시각·최종 운영 학습 상한 미확정. D06 승인과 별도이며 D05/HOLDOUT/공식 제출 승인까지 포함하지 않습니다.

PM_DECISION_REQUIRED=

  • 제공 ZIP의 명목 예보 회차를 대회 오프라인 가용성 근거로 채택할지
  • 보수적 00시 상한의 오프라인 제한 범위 승인 여부
  • 실제 actual 수신 근거 및 운영 cutoff 정책
  • 이상재 측 Forecast 검토 수신 후 D04 최종 판정 및 GitHub 결정 문서 반영

PROPOSED_STATUS=REVIEW (PM 담당 유지; 상재 의견과 최종 승인은 미완료)

상이 Updated by 상재 이 18 days ago Actions #2

[D04 Forecast 측 검토 의견 — 이상재 / 2026-10-30]

RESULT=REVIEW 동의 (오프라인 DEV 범위는 Forecast 측 확인 완료, 실제 수신 시각과 최종 운영 cutoff는 PM 판단 필요)

대조 기준: GitHub main 9359da8775f491d116a864751d201bd46ca88e71 (oibc code fingerprint 76bf1bd9…), split_config.json(data_criteria_agreed_v2), oibc/src/hf_forecast/adapters/oibc2026/{data,pipeline,models,mlr}.py. 코드 대조만 했고 모델·OOF를 다시 돌리지는 않았습니다.

1. 실제 fit 범위

  • 학습 행은 training_rows에서 train_from <= ts <= train_until(둘 다 inclusive)로만 고릅니다. 값은 split_config.json의 fold별 train_from_ts_inclusive / train_until_ts_inclusive를 그대로 씁니다. 예: DEV_JUL_2024는 2023-06-01 01:00 ~ 2024-06-30 00:00, 첫 발행 2024-06-30 17:00
  • 실행할 때 학습 행 수가 training_rows_raw와 다르면 멈춥니다. train_until < validation 시작이 아니면 계약 로드 단계에서 멈춥니다
  • fold마다 fit은 1번이고, 그 모델 하나로 검증 기간 전체를 예측합니다. 검증 중간에 다시 학습하지 않습니다. 평가 1년을 한 번에 예측하는 제출 구조와 같습니다
  • manifest에는 fold별 fit_start·fit_cutoff와 cutoff_basis = "issue-day 00:00; D04 pending"이 남습니다
  • 최종 제출 학습 범위 초안: 2023-06-01 01:00 ~ 2025-05-31 00:00 (3,421,168행, 첫 발행 2025-05-31 17:00). DEV와 같은 "발행일 00:00" 규칙입니다. HOLDOUT 기간(3~5월)을 최종 재학습에 넣을지는 PM 결정 항목으로 남겨 둡니다

2. 회차 처리 (모델별 정책)

  • 예보는 (관측소, ts, round)로 join합니다. 발행/수신 시각으로 거르지 않고 ts <= issue 같은 필터도 없습니다(수아님 FINDINGS 5와 같은 확인). round는 10·17만 허용하고, 다른 값이 나오거나 (관측소, round, ts)가 중복되면 멈춥니다
  • 공식 baseline 재현: 회차별 모델 2개(10, 17)를 학습하고 예측을 평균합니다. 결측은 LightGBM의 NaN 처리를 따릅니다(baseline.py 동작)
  • MLR: D01 정책을 씁니다. 17시를 우선 쓰고, 없으면 같은 제공사·관측소·대상시각·변수의 10시로 대체하고 플래그를 남깁니다
  • 두 정책은 run마다 OOF round_policy 열과 manifest에 기록됩니다. 학습과 예측의 모든 fold에서, 두 회차 모두 예보가 없는 행이 있으면 실행이 멈춥니다(D01 gate)
  • #1143부터 새 모델은 모델마다 회차 정책을 하나로 정하고 기록합니다. 정책을 바꾸는 것도 한 축 변경으로 보고 따로 비교합니다(#1127 규칙)

3. 통계 고정

  • 모델이 쓰는 통계는 모두 그 fold의 학습 행에서만 계산하고, 예측 때 다시 계산하지 않습니다
    • Climatology: 발전소×월×시 CF 평균 표(학습 주간 행)
    • MLR: 표준화 mean/scale (학습 주간 행)
    • LightGBM: 회차별 모델
  • 발전량 lag·이동평균은 입력에 없습니다(check_no_leakage로 제외 목록 검사)
  • #1144의 발전소별 통계 feature(FS+stat)도 같은 규칙을 지킵니다. fold 학습 구간에서만 계산하고 고정합니다

4. 추론 일관성

  • 학습과 예측은 같은 함수로 feature를 만들고(_frame / attach_forecasts / add_calendar_solar) 같은 회차 정책을 씁니다
  • 최종 제출에서는 같은 코드로 test/ 예보만 바꿔 붙입니다. 평가 기간에는 실적이 없어서 발전량 기반 입력은 처음부터 불가능합니다
  • 후처리는 run마다 manifest model_params.postprocess에 기록됩니다

5. 수아님 FINDINGS 4(수신 시각 검사 부재)에 대한 Forecast 의견

  • 동의합니다. 원본 generation·forecast 파일에 수신 시각 열이 없어서 코드가 검사할 근거가 없습니다. 지금 확인된 것은 명목 시각 경계까지이고, 실제 수신 가용성은 아닙니다
  • 대회 제출 관점: 제출에 쓰는 실적은 첫 발행보다 17시간 이상 앞선 2025-05-31 00:00까지입니다. 평가 기간 중 재학습도 없습니다. 그래서 실적 수신 지연이 17시간을 넘지 않으면 영향이 없습니다. 다만 17시간이라는 여유가 수신 완료를 증명하지는 않는다는 수아님 지적에 동의합니다
  • 예보 회차: 원본 README의 "10·17시 모두 예측 시점 이전 발행" 설명을 대회 오프라인 가용성 근거로 채택할지는 PM 결정이 필요합니다. 특히 17시 회차는 예측 시점(17:00)과 같은 시각이라 경계에 있습니다. 필요하면 #1143에서 "10시만" 정책을 진단 실험으로 붙여 17시 회차 의존도를 잴 수 있습니다(PM 요청 시)

PM 결정 요청 (Forecast 측)

  1. 원본 ZIP의 명목 회차(10·17)를 오프라인 가용성 근거로 채택할지
  2. 보수적 "발행일 00:00" 상한을 DEV와 최종 제출에 그대로 적용할지
  3. 최종 재학습에 HOLDOUT 기간(2025-03~05)을 포함할지
  4. 운영(대회 밖)용 실제 수신 근거와 cutoff 정책은 별도 과제로 둘지

PROPOSED_STATUS=REVIEW 유지 (Forecast 측 의견 제출 완료, PM 최종 승인 대기)

길문 Updated by 길래 문 18 days ago Actions #3

  • Status changed from New to Closed
  • % Done changed from 0 to 100

[PM 최종 판정]

수아님, 상재님 검토 결과를 확인했고 D04를 아래 기준으로 최종 확정합니다.

D04_RESULT=APPROVE_WITH_LIMITATION
D04_PROGRESS=100%
D04_STATUS=RESOLVED/CLOSED

최종 정책:

  1. 명목 Forecast 회차
  • 10시 / 17시 명목 회차는 offline Forecast 실험의 정보 가용성 기준으로 사용합니다.
  • 단, 실제 운영 환경의 receipt time을 입증하는 근거로는 사용하지 않습니다.
  1. Forecast fit cutoff
  • 현재 split_config의 발행일 00:00 상한을 유지합니다.
  • actual/forecast 실제 수신 지연 근거가 확보되기 전까지 더 늦은 cutoff로 확대하지 않습니다.
  1. HOLDOUT_MAR_MAY
  • 모델 / Feature / Hyperparameter 선택 과정에서는 계속 LOCK합니다.
  • 최종 후보 freeze 후 HOLDOUT 1회 평가가 끝난 뒤에만 최종 제출용 retraining 데이터에 포함할 수 있습니다.
  • HOLDOUT 결과를 다시 모델 선택이나 추가 튜닝에 사용하지 않습니다.
  1. 실제 운영 receipt latency
  • 현재 UNVERIFIED로 유지합니다.
  • 이번 OIBC offline 개발의 blocker는 아닙니다.
  • 향후 운영/서비스 적용 시 별도 검증 대상으로 관리합니다.

정리:

OFFLINE_FORECAST_POLICY=APPROVED
ACTUAL_RECEIPT_TIME=UNVERIFIED
BLOCKS_OFFLINE_DEV=NO
BLOCKS_OPERATIONAL_RECEIPT_CLAIM=YES

위 limitation을 명시한 상태로 #1158을 100% 완료 처리합니다.

Actions

Also available in: PDF Atom