Project

General

Profile

Actions

Feature #1467

open
영조 영조

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

[OIBC][11/04] 오늘 결과 도출 및 제출 후보 CSV 2개 생성

Feature #1467: [OIBC][11/04] 오늘 결과 도출 및 제출 후보 CSV 2개 생성

Added by 영우 조 14 days ago. Updated 13 days ago.

Status:
New
Priority:
High
Assignee:
Start date:
11/04/2026
Due date:
11/06/2026 (11 days late)
% Done:

84%

Estimated time:
(Total: 0:00 h)

Description

■ 목적

11/04 결과를 도출하고, 최종 결과물로 제출 후보 CSV 2개(composition.csv, forecast.csv)를 만든다.
PM #1456에서 #1314 원본 코드·설정·DEV 그룹 예측·manifest를 찾지 못해 Group-Direct 후보가 오늘 PM 후보에서 제외됐다(GROUP_DIRECT_CANDIDATE_READY=NO). 이를 해소하고 FS2+L1 기준으로 다시 검증한다.

■ 진행 순서 (C → A → 산출)

  1. 잠금 데이터(HOLDOUT) 읽기 기준 확정 및 #1314 입력 정리 (C)
  2. 피처 계산 결정성 확보 및 10월 재현 차이 확인 (C)
  3. #1314 코드·설정·DEV 그룹 예측·manifest 인계 (C)
  4. #1451 FS2+L1 기준 재결합 (A, #1456 기준 그대로 사전 등록 후보만)
  5. 제출 후보 composition.csv·forecast.csv 생성 및 validator 검증 (산출)

■ 기준

REFERENCE_FORECAST=LightGBM_FS2_L1_AVG3 (#1455, DEV wMAE 0.234347719)
VPP=#990 reference
HOLDOUT_USED_FOR_SELECTION=NO
LEADERBOARD_USED_FOR_SELECTION=NO
SUBMISSION_FEEDBACK_USED_FOR_TUNING=NO
내부 정산은 README 잠정 지표(D05 HOLD), 공식 점수로 표현하지 않는다.

■ 최종 결과물

  • composition.csv, forecast.csv
  • 팀 validator PASS, 공개 validator PASS
  • MANIFEST 및 각 파일 SHA-256
  • 실제 제출은 하지 않고 PM Gate(#1458/#1459)에 후보로 전달한다.

■ 타 일감 중복 점검 (11/04 기준)

  • 04 ↔ PM #1456: 같은 재결합 내용. #1456 판정 기준·출력 키를 그대로 따른다.
  • 05 ↔ 이상재 #1453 (제출 패키지 자체 생성): 우리 후보 CSV만 만든다. 도구는 공유·대조한다.
  • 이상재 #1452 (겨울 한낮 bias 보정): 오늘 범위에서 bias 보정은 하지 않는다.
  • PM #1457~#1459: 오늘 PM 제출 흐름. 05 결과를 후보로 전달한다.

■ 일별 회고

  • 노션 회고 페이지 링크: (추가 예정)

Subtasks 11 (5 open — 6 closed)

Feature #1440: [OIBC][Track A-1] FS2 + L1 3-seed 평균 제출 후보 생성·검증Closed상재 이11/04/202611/04/2026

Actions
Feature #1441: [OIBC][Track A-2] Forecast 공통 기준점 제공 (기준 예측·평가 정의·비교 도구)Closed상재 이11/04/202611/04/2026

Actions
Feature #1442: [OIBC][Track A-3] E5a 하이퍼파라미터 제한 탐색 (기준 FS2 + L1)Closed상재 이11/04/202611/05/2026

Actions
Feature #1443: [OIBC][Track A-4] 모델 앙상블 정식 판정 준비 (FS2 + L1 기준, 사전 등록 후보)Closed상재 이11/05/202611/06/2026

Actions
Feature #1451: [OIBC][#1314-3] FS2+L1 기준 재결합 및 최종 투표 후보In Progress영우 조11/04/202611/04/2026

Actions
Feature #1452: [OIBC][Track A-5] 겨울 한낮 과대예측 원인 분석 및 bias 보정 (그룹 합계 기준)Closed상재 이11/04/202611/05/2026

Actions
Feature #1453: [OIBC][Track A-6] 제출 패키지 자체 생성·검증 경로 확보 (그룹 합산·validator)Closed상재 이11/04/202611/04/2026

Actions
Feature #1468: [OIBC][조영우 11/04-01] 잠금 데이터(HOLDOUT) 읽기 기준 확정 및 #1314 입력 정리In Progress영우 조11/04/202611/04/2026

Actions
Feature #1469: [OIBC][조영우 11/04-02] 피처 계산 결정성 확보 및 10월 재현 차이 확인In Progress영우 조11/04/202611/04/2026

Actions
Feature #1470: [OIBC][조영우 11/04-03] #1314 코드·설정·DEV 그룹 예측·manifest 인계In Progress영우 조11/04/202611/04/2026

Actions
Feature #1471: [OIBC][조영우 11/04-05] 제출 후보 composition.csv·forecast.csv 생성 및 validator 검증In Progress영우 조11/04/202611/04/2026

Actions

영조 Updated by 영우 조 14 days ago Actions #1

  • Subtask #1468 added

영조 Updated by 영우 조 14 days ago Actions #2

  • Subtask #1469 added

영조 Updated by 영우 조 14 days ago Actions #3

  • Subtask #1470 added

영조 Updated by 영우 조 14 days ago Actions #4

  • Subtask #1471 added

영조 Updated by 영우 조 14 days ago Actions #5

  • Subtask #1451 added

영조 Updated by 영우 조 14 days ago Actions #6

  • Subject changed from [OIBC][조영우 11/04] 오늘 개인(조영우) 결과 도출 및 제출 후보 CSV 2개 생성 to [OIBC][11/04] 오늘 결과 도출 및 제출 후보 CSV 2개 생성
  • Description updated (diff)

제목에서 담당자 이름을 빼고 날짜 기준으로 변경(11/04 일감을 팀원이 함께 등록·비교할 수 있도록).

상이 Updated by 상재 이 14 days ago Actions #7

  • Subtask #1440 added

상이 Updated by 상재 이 14 days ago Actions #8

  • Subtask #1441 added

상이 Updated by 상재 이 14 days ago Actions #9

  • Subtask #1443 added

상이 Updated by 상재 이 14 days ago Actions #10

  • Subtask #1442 added

상이 Updated by 상재 이 14 days ago Actions #11

  • Subtask #1452 added

상이 Updated by 상재 이 14 days ago Actions #12

  • Subtask #1453 added

상이 Updated by 상재 이 13 days ago Actions #13

[OIBC Track A 11/04 결과 — 이상재] FS2:L1 50:50 블렌드 + 제출 패키지

하위 일감: #1440 #1441 #1442 #1443 #1452 #1453 (E4 이후 Track A, 모두 Closed)

1. 그룹 합계 가중 오차 (#990 배정, 낮을수록 좋음)
|. 구간 |. 01 baseline |. 02 FS2 |. FS2+L1 평균 |. 50:50 (제출 후보) |. 50:50 vs 02 |
| 전체 | 0.148143 | 0.139369 | 0.137398 | 0.137301 | −1.5% |
| 7월 | 0.186777 | 0.164447 | 0.157786 | 0.159774 | −2.8% |
| 10월 | 0.189511 | 0.179180 | 0.172903 | 0.175192 | −2.2% |
| 1월 | 0.103986 | 0.105857 | 0.109336 | 0.106763 | +0.9% (악화) |
| 2월 | 0.114775 | 0.111013 | 0.112428 | 0.110479 | −0.5% |

2. 발전소별 가중 오차 wMAE_site
|. 구간 |. 01 baseline |. 02 FS2 |. FS2+L1 평균 |. 50:50 |. 50:50 vs 02 |
| 전체 | 0.248429 | 0.239870 | 0.234348 | 0.235747 | −1.7% |
| 7월 | 0.321116 | 0.304868 | 0.298349 | 0.300126 | −1.6% |
| 10월 | 0.285822 | 0.278692 | 0.271403 | 0.273917 | −1.7% |
| 1월 | 0.193984 | 0.189212 | 0.188875 | 0.187376 | −1.0% |
| 2월 | 0.195321 | 0.189565 | 0.182120 | 0.184655 | −2.6% |

3. 후보 정의와 재현 정보 (팀 대조용)

  • 50:50 = (FS2 3-seed 평균 + FS2_L1 3-seed 평균) / 2. 비율은 실행 전 #1452에 사전 등록, 비율 탐색 없음. 발전소별 예측을 섞은 뒤 #990 배정으로 그룹 합산
  • DEV 입력 OOF: FS2 평균 20261103-145143-lgbm_cf-fs2-avg3-1144 (SHA e050e7b5…), FS2_L1 평균 20261104-100857-lgbm_cf-fs2-l1-avg3-1452 (SHA 9d5a75f4…, D06 PASS). 700,248행, 키·actual 동일
  • 계산 도구: compare_to_reference.py v2 (SHA 35afae76…, Codex 재검토 PASS). 그룹 오차 = Σ SMP·k·|Σ_g 예측 − Σ_g 실제| / Σ SMP·k·Σ_g 실제, (fold, 그룹, ts)별 합산 후 절댓값
  • 코드: 브랜치 forecast/oibc-1452-l1-blend 커밋 78db8f8 (Codex v1 CHANGES_REQUIRED → v2 PASS, pytest 359 passed)

4. 제출 패키지 (#1453)

  • 11/03 제출 패키지를 main 도구로 바이트 단위 재현 (composition 933b6709…, forecast 4e071bb4…), 공식 validator PASS
  • 50:50 후보 패키지 A6_fs2l1_blend50_v1: composition 933b6709…(#990, 02와 같음) / forecast b73181dc…, 17,520행, 공식 validator PASS (종료 코드 0)
  • 평가 기간 입력: FS2 예측 a2d6f16e…(02 제출과 같은 예측) + FS2_L1 예측 226b2bc9… → 블렌드 09969a77…
  • 위치: 이상재 노트북 C:\dev\oibc-submissions\track_a_1453\ (DM으로만 공유)

5. 판정과 한계

  • 사전 등록 기준(그룹 DEV 개선 + 1월·2월 그룹 악화 없음 + 발전소별 악화 없음)으로는 FAIL: 1월 그룹 합계 −0.0009 악화. 결과를 보고 기준을 완화하지 않음
  • 참고: 02 제출(FS2)도 01 대비 1월 그룹 −0.0019 악화였으나 실제 점수는 +6,526,605원 (관측 1건)
  • 7월·10월은 cohort 224·252곳이라 그룹 값은 참고. 내부 지표(D05 HOLD)이며 공식 점수 아님. HOLDOUT 미사용

6. 함께 확인한 진단 (#1452, 채택 없음)

  • 그룹 오차의 9498%는 모든 발전소가 같이 틀리는 공통(기상) 오차. 구성 변경으로 움직이는 그룹 간 불균형 몫은 작음(그 부분만이면 벌점 1525%)
  • 1월은 시각별 고정 bias만으로 벌점의 49%가 설명되는 체계적 과대예측. 날씨 조건과 무관하게 전반적
  • 직전 겨울(2023-24)을 학습에서 빼고 예측해도 과대예측(실제/예측 0.87~0.98). 다만 달·운량·해 고도별 패턴이 해마다 달라 조건부 보정은 채택할 형태 없음
  • L1은 맑은 날 위로 치우치는 경향이 두 겨울 모두 나타남 → 50:50은 그 상향을 줄이는 절충

7. 다른 후보와 비교 시 참고 (의견)

  • #1314(조영우)는 그룹 합계 0.130562로 가장 낮음. 다만 결합 비율 40:60을 같은 DEV에서 고른 점, 1·2월 재학습 미확인 점은 영우님 기록대로 확인이 필요
  • 50:50의 DEV OOF·SHA는 위 3번에 있으니 직접 대조에 쓰시면 됩니다

상이 Updated by 상재 이 13 days ago Actions #14

[Track A 이상재] 제출 결과 — Submission #4 (11/04 14:43:36, 제출자 문경빈)

|. No. |. 내용 |. 정산금 S (원) |. 02 대비 |
| 2 | FS2(L2) 3-seed 평균, #990 | 6,424,865,945 | — |
| 3 | PM #1454: LightGBM L1 + CatBoost L1 50:50, #990 | 6,434,253,664 | +9,387,719 |
| 4 | 이상재: FS2 L2 + L1 50:50, #990 (forecast b73181dc…) | 6,432,240,523 | +7,374,578 |

  • #4는 #3보다 2,013,141원 낮음. 리더보드 최고 기록은 #3(242위, ▲19)
  • #4는 사전 등록 기준상 1월 그룹 조건 FAIL(−0.0009)이었지만 실제 점수는 02보다 올랐음. 그룹 합계 DEV 개선(−1.5%)과 실제 점수가 같은 방향으로 나온 두 번째 관측(첫 번째는 01→02). 관측 2건이라 비례 환산은 하지 않음
  • #3·#4 모두 L1을 쓰고 #990 배정을 유지. 차이는 섞은 상대(CatBoost L1 vs LightGBM L2)
  • 기록: C:\dev\oibc-submissions\submissions_log.csv 03·04행
Actions

Also available in: PDF Atom