Feature #1467
openFeature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료
[OIBC][11/04] 오늘 결과 도출 및 제출 후보 CSV 2개 생성
84%
Description
■ 목적
11/04 결과를 도출하고, 최종 결과물로 제출 후보 CSV 2개(composition.csv, forecast.csv)를 만든다.
PM #1456에서 #1314 원본 코드·설정·DEV 그룹 예측·manifest를 찾지 못해 Group-Direct 후보가 오늘 PM 후보에서 제외됐다(GROUP_DIRECT_CANDIDATE_READY=NO). 이를 해소하고 FS2+L1 기준으로 다시 검증한다.
■ 진행 순서 (C → A → 산출)
- 잠금 데이터(HOLDOUT) 읽기 기준 확정 및 #1314 입력 정리 (C)
- 피처 계산 결정성 확보 및 10월 재현 차이 확인 (C)
- #1314 코드·설정·DEV 그룹 예측·manifest 인계 (C)
- #1451 FS2+L1 기준 재결합 (A, #1456 기준 그대로 사전 등록 후보만)
- 제출 후보 composition.csv·forecast.csv 생성 및 validator 검증 (산출)
■ 기준
REFERENCE_FORECAST=LightGBM_FS2_L1_AVG3 (#1455, DEV wMAE 0.234347719)
VPP=#990 reference
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO
내부 정산은 README 잠정 지표(D05 HOLD), 공식 점수로 표현하지 않는다.
■ 최종 결과물
- composition.csv, forecast.csv
- 팀 validator PASS, 공개 validator PASS
- MANIFEST 및 각 파일 SHA-256
- 실제 제출은 하지 않고 PM Gate(#1458/#1459)에 후보로 전달한다.
■ 타 일감 중복 점검 (11/04 기준)
- 04 ↔ PM #1456: 같은 재결합 내용. #1456 판정 기준·출력 키를 그대로 따른다.
- 05 ↔ 이상재 #1453 (제출 패키지 자체 생성): 우리 후보 CSV만 만든다. 도구는 공유·대조한다.
- 이상재 #1452 (겨울 한낮 bias 보정): 오늘 범위에서 bias 보정은 하지 않는다.
- PM #1457~#1459: 오늘 PM 제출 흐름. 05 결과를 후보로 전달한다.
■ 일별 회고
- 노션 회고 페이지 링크: (추가 예정)
상이 Updated by 상재 이 13 days ago
[OIBC Track A 11/04 결과 — 이상재] FS2:L1 50:50 블렌드 + 제출 패키지
하위 일감: #1440 #1441 #1442 #1443 #1452 #1453 (E4 이후 Track A, 모두 Closed)
1. 그룹 합계 가중 오차 (#990 배정, 낮을수록 좋음)
|. 구간 |. 01 baseline |. 02 FS2 |. FS2+L1 평균 |. 50:50 (제출 후보) |. 50:50 vs 02 |
| 전체 | 0.148143 | 0.139369 | 0.137398 | 0.137301 | −1.5% |
| 7월 | 0.186777 | 0.164447 | 0.157786 | 0.159774 | −2.8% |
| 10월 | 0.189511 | 0.179180 | 0.172903 | 0.175192 | −2.2% |
| 1월 | 0.103986 | 0.105857 | 0.109336 | 0.106763 | +0.9% (악화) |
| 2월 | 0.114775 | 0.111013 | 0.112428 | 0.110479 | −0.5% |
2. 발전소별 가중 오차 wMAE_site
|. 구간 |. 01 baseline |. 02 FS2 |. FS2+L1 평균 |. 50:50 |. 50:50 vs 02 |
| 전체 | 0.248429 | 0.239870 | 0.234348 | 0.235747 | −1.7% |
| 7월 | 0.321116 | 0.304868 | 0.298349 | 0.300126 | −1.6% |
| 10월 | 0.285822 | 0.278692 | 0.271403 | 0.273917 | −1.7% |
| 1월 | 0.193984 | 0.189212 | 0.188875 | 0.187376 | −1.0% |
| 2월 | 0.195321 | 0.189565 | 0.182120 | 0.184655 | −2.6% |
3. 후보 정의와 재현 정보 (팀 대조용)
- 50:50 = (FS2 3-seed 평균 + FS2_L1 3-seed 평균) / 2. 비율은 실행 전 #1452에 사전 등록, 비율 탐색 없음. 발전소별 예측을 섞은 뒤 #990 배정으로 그룹 합산
- DEV 입력 OOF: FS2 평균 20261103-145143-lgbm_cf-fs2-avg3-1144 (SHA e050e7b5…), FS2_L1 평균 20261104-100857-lgbm_cf-fs2-l1-avg3-1452 (SHA 9d5a75f4…, D06 PASS). 700,248행, 키·actual 동일
- 계산 도구: compare_to_reference.py v2 (SHA 35afae76…, Codex 재검토 PASS). 그룹 오차 = Σ SMP·k·|Σ_g 예측 − Σ_g 실제| / Σ SMP·k·Σ_g 실제, (fold, 그룹, ts)별 합산 후 절댓값
- 코드: 브랜치 forecast/oibc-1452-l1-blend 커밋 78db8f8 (Codex v1 CHANGES_REQUIRED → v2 PASS, pytest 359 passed)
4. 제출 패키지 (#1453)
- 11/03 제출 패키지를 main 도구로 바이트 단위 재현 (composition 933b6709…, forecast 4e071bb4…), 공식 validator PASS
- 50:50 후보 패키지 A6_fs2l1_blend50_v1: composition 933b6709…(#990, 02와 같음) / forecast b73181dc…, 17,520행, 공식 validator PASS (종료 코드 0)
- 평가 기간 입력: FS2 예측 a2d6f16e…(02 제출과 같은 예측) + FS2_L1 예측 226b2bc9… → 블렌드 09969a77…
- 위치: 이상재 노트북 C:\dev\oibc-submissions\track_a_1453\ (DM으로만 공유)
5. 판정과 한계
- 사전 등록 기준(그룹 DEV 개선 + 1월·2월 그룹 악화 없음 + 발전소별 악화 없음)으로는 FAIL: 1월 그룹 합계 −0.0009 악화. 결과를 보고 기준을 완화하지 않음
- 참고: 02 제출(FS2)도 01 대비 1월 그룹 −0.0019 악화였으나 실제 점수는 +6,526,605원 (관측 1건)
- 7월·10월은 cohort 224·252곳이라 그룹 값은 참고. 내부 지표(D05 HOLD)이며 공식 점수 아님. HOLDOUT 미사용
6. 함께 확인한 진단 (#1452, 채택 없음)
- 그룹 오차의 94
98%는 모든 발전소가 같이 틀리는 공통(기상) 오차. 구성 변경으로 움직이는 그룹 간 불균형 몫은 작음(그 부분만이면 벌점 1525%) - 1월은 시각별 고정 bias만으로 벌점의 49%가 설명되는 체계적 과대예측. 날씨 조건과 무관하게 전반적
- 직전 겨울(2023-24)을 학습에서 빼고 예측해도 과대예측(실제/예측 0.87~0.98). 다만 달·운량·해 고도별 패턴이 해마다 달라 조건부 보정은 채택할 형태 없음
- L1은 맑은 날 위로 치우치는 경향이 두 겨울 모두 나타남 → 50:50은 그 상향을 줄이는 절충
7. 다른 후보와 비교 시 참고 (의견)
- #1314(조영우)는 그룹 합계 0.130562로 가장 낮음. 다만 결합 비율 40:60을 같은 DEV에서 고른 점, 1·2월 재학습 미확인 점은 영우님 기록대로 확인이 필요
- 50:50의 DEV OOF·SHA는 위 3번에 있으니 직접 대조에 쓰시면 됩니다
상이 Updated by 상재 이 13 days ago
[Track A 이상재] 제출 결과 — Submission #4 (11/04 14:43:36, 제출자 문경빈)
|. No. |. 내용 |. 정산금 S (원) |. 02 대비 |
| 2 | FS2(L2) 3-seed 평균, #990 | 6,424,865,945 | — |
| 3 | PM #1454: LightGBM L1 + CatBoost L1 50:50, #990 | 6,434,253,664 | +9,387,719 |
| 4 | 이상재: FS2 L2 + L1 50:50, #990 (forecast b73181dc…) | 6,432,240,523 | +7,374,578 |
- #4는 #3보다 2,013,141원 낮음. 리더보드 최고 기록은 #3(242위, ▲19)
- #4는 사전 등록 기준상 1월 그룹 조건 FAIL(−0.0009)이었지만 실제 점수는 02보다 올랐음. 그룹 합계 DEV 개선(−1.5%)과 실제 점수가 같은 방향으로 나온 두 번째 관측(첫 번째는 01→02). 관측 2건이라 비례 환산은 하지 않음
- #3·#4 모두 L1을 쓰고 #990 배정을 유지. 차이는 섞은 상대(CatBoost L1 vs LightGBM L2)
- 기록: C:\dev\oibc-submissions\submissions_log.csv 03·04행