Project

General

Profile

Actions

Feature #1442

closed
상이 상이

Feature #980: [2026 OIBC] 공모전 참가 준비 및 접수 완료

Feature #1467: [OIBC][11/04] 오늘 결과 도출 및 제출 후보 CSV 2개 생성

[OIBC][Track A-3] E5a 하이퍼파라미터 제한 탐색 (기준 FS2 + L1)

Feature #1442: [OIBC][Track A-3] E5a 하이퍼파라미터 제한 탐색 (기준 FS2 + L1)

Added by 상재 이 14 days ago. Updated 14 days ago.

Status:
Closed
Priority:
Normal
Assignee:
Start date:
11/04/2026
Due date:
11/05/2026
% Done:

0%

Estimated time:

Description

핵심 질문

FS2 + L1을 기준으로, 하이퍼파라미터를 제한된 범위에서 바꿨을 때 정식 판정을 통과하는 개선이 있는가 (#1127 E5a)

방법 (#1127 §5.2)

  • 탐색 후보 조합 최대 12개를 실험 전에 PM 사전 등록 (범위·조합 목록)
  • seed 11 한 번으로 선별 → 상위 3개만 seed 11/22/33 짝 비교로 정식 판정
  • 기준: FS2 + R2 + L1 (seed 3개)
  • 긴 실행은 11/04 저녁에 걸고 11/05 오전 판정

PASS 조건

  • §5.2 ADOPT: 평균 개선 ≥ 0.002, 평균 개선 ≥ 2·sd, 개선 fold ≥ 3/4
  • 같은 코드·같은 환경(이상재 노트북) 실행, HOLDOUT 미사용
  • Codex PASS
  • 제출 후보로 올릴 때는 Track A-1과 같은 제출 게이트 적용

추가 (11/03)

  • 판정 보고에 그룹 합계 지표(#990 배정, compare_to_reference.py 정의)를 함께 기록. 그룹 합계를 PASS 조건에 넣을지는 PM 확정 후 반영
  • 실행 환경: 이상재 노트북만 사용. Google Colab은 사용하지 않음 (주최 측 "대회 데이터를 외부 AI 서비스에 넣는 것 금지" 규칙과 Colab Gemini 기능 고려)

상이 Updated by 상재 이 14 days ago Actions #1

  • Description updated (diff)

상이 Updated by 상재 이 14 days ago Actions #2

보류 (11/04, 이상재 결정)

E5a(하이퍼파라미터 제한 탐색)는 진행하지 않기로 함. 이유:

  • 하이퍼파라미터 조정은 성격상 발전소별 오차를 다듬는 개선인데, 공식 점수를 정하는 VPP 그룹 합계 오차는 발전소별 개선에 잘 반응하지 않음 (L1: 발전소별 −2.3% vs 그룹 −1.4%, #1452)
  • 같은 DEV에서 판정을 반복할수록 선택 편향이 커짐 (E1~E4, #1452 v1·v2까지 이미 여러 번 판정)
  • 대신 그룹 오차 분해(모든 발전소 공통 오차 vs 그룹별 차이)와 1월 과대예측의 기상 조건 분석을 먼저 함 (#1452 후속)

분석 결과에 따라 필요하면 그룹 기준을 넣어 다시 사전 등록하고 재개함.

상이 Updated by 상재 이 14 days ago Actions #3

  • Status changed from New to Closed
  • Parent task changed from #980 to #1467

11/04 운영 방식 변경(학생별 날짜 상위 일감)에 따라 상위 일감을 #980 → #1467로 옮김. E4 이후 Track A(이상재) 작업.

종료: E5a는 진행하지 않음(보류 메모 참조). 수행하지 않은 작업이라 진척도는 0%로 둠.

Actions

Also available in: PDF Atom