Feature #1119 » oibc_1119_data_inventory.md
OIBC 2026 — #1119 Data Inventory
작성일: 2026-10-27 KST
관련 일감: https://sulfite-footbath-next.ngrok-free.dev/issues/1119
상위 일감: https://sulfite-footbath-next.ngrok-free.dev/issues/980
목적과 상태
제공 데이터 파일 목록, 주요 컬럼, Plant ID, Timestamp, Capacity, Target 구조를 확인하는 기술 문서다. 원본 데이터와 프로젝트 코드는 변경하지 않았다. 파일 목록·구조 조사와 산출물 작성을 완료했으며 튜터·수신자 검토는 대기 중이다. 최신 상태·진척도는 Redmine 일감의 기록을 기준으로 확인한다.
출처와 검증 범위
- 원본: C:\Users\hjmo-\Downloads\OIBC_2026_DATA (1).zip
- 압축 내부: handover 2/01_participant_dataset/
- 파일 목록·행열 수·컬럼 자료형·최소/최대 시각·파일별 SHA-256은 원본에서 직접 읽었다.
- 의미·단위·발행 회차·시각 규약은 압축 내부 README.md를 근거로 한다.
- 품질 문제 수치는 이전 1차 분석 기록에 있으며 이 문서는 구조 인벤토리에 집중한다.
- SHA-256은 파일 내용의 지문으로, 다른 파일 버전과 구별하는 데 쓴다.
실제 파일 목록
| 파일 | 행 수 | 열 수 | 비압축 바이트 | 시작 시각 | 종료 시각 |
|---|---|---|---|---|---|
sites.csv |
253 | 9 | 14,591 | 해당 없음 | 해당 없음 |
smp.csv |
8,760 | 3 | 302,811 | 2025-06-01 01:00:00+09:00 | 2026-06-01 00:00:00+09:00 |
train/smp.csv |
38,688 | 2 | 1,263,592 | 2021-01-01 01:00:00+09:00 | 2025-06-01 00:00:00+09:00 |
train/generation.parquet |
4,392,566 | 3 | 4,828,308 | 2021-01-19 13:00:00+09:00 | 2025-06-01 00:00:00+09:00 |
train/forecast_wa.parquet |
4,710,356 | 13 | 44,885,818 | 2021-01-01 01:00:00+09:00 | 2025-06-01 00:00:00+09:00 |
train/forecast_wb.parquet |
5,621,996 | 23 | 44,767,686 | 2021-01-01 01:00:00+09:00 | 2025-06-01 00:00:00+09:00 |
train/observed_wa.parquet |
2,359,974 | 12 | 83,260,828 | 2021-01-01 01:00:00+09:00 | 2025-06-01 00:00:00+09:00 |
train/observed_wb.parquet |
2,824,223 | 17 | 88,303,201 | 2021-01-01 01:00:00+09:00 | 2025-06-01 00:00:00+09:00 |
test/forecast_wa.parquet |
1,068,456 | 13 | 10,181,524 | 2025-06-01 01:00:00+09:00 | 2026-06-01 00:00:00+09:00 |
test/forecast_wb.parquet |
1,278,960 | 23 | 10,366,000 | 2025-06-01 01:00:00+09:00 | 2026-06-01 00:00:00+09:00 |
핵심 데이터 계약
| 개념 | 실제 컬럼·규칙 | 의미·단위 |
|---|---|---|
| Plant ID | site_id |
익명 발전소 식별자. sites.csv가 대상 발전소 목록의 기준이다. |
| Timestamp | ts |
KST, 시간 구간 끝 시각. 01:00은 00:00~01:00을 뜻한다. CSV는 +09:00, Parquet는 Asia/Seoul 시간대를 가진다. |
| Capacity | capacity_kw |
설비용량 kW. 실제 합계 42,655.37kW. |
| Target | energy |
해당 1시간 실제 발전량 kWh. train/generation.parquet에만 있다. |
| 예보 회차 | round |
10·17. 대상일 전일 10시·17시 예보. |
| 기상 연결 | wa_station, wb_station |
발전소와 기상 예보·실측을 연결하는 관측지점 식별자. |
| 참조 배정 | current_group |
A/B 참고값. 제출 그룹 G1/G2와 구분한다. |
| 가격·가중치 | smp, k |
원/kWh 가격과 가중치. train/smp.csv에는 k가 없다. |
파일별 실제 스키마
문자열·정수·실수·시간대가 있는 날짜/시각을 구분한다. 아래는 원본에서 읽은 자료형이며 원하는 목표 형식으로 변경한 결과가 아니다.
sites.csv
| 컬럼 | 실제 자료형 |
|---|---|
site_id |
str |
current_group |
str |
capacity_kw |
float64 |
lat |
float64 |
lon |
float64 |
wa_station |
str |
wb_station |
str |
wa_dist |
float64 |
wb_dist |
float64 |
파일 내용 SHA-256: 93d166fffd009c3643db748fc6d5a1d48851e5f70b314171130e6ab6b7997ea2
smp.csv
| 컬럼 | 실제 자료형 |
|---|---|
ts |
str |
smp |
float64 |
k |
int64 |
파일 내용 SHA-256: 396bfadb73332f5b8ce61821ad9425ee93052ced2b71f0666cf071d2b95fa79c
train/smp.csv
| 컬럼 | 실제 자료형 |
|---|---|
ts |
str |
smp |
float64 |
파일 내용 SHA-256: 6ae610fc3e527e603681da3867ecd79d210ed24a17e676ac16149ba7d349645b
train/generation.parquet
| 컬럼 | 실제 자료형 |
|---|---|
site_id |
string |
ts |
timestamp[ms, tz=Asia/Seoul] |
energy |
double |
파일 내용 SHA-256: a2c334a5d2dd0983be78c7ac138e25a013cf70fd9d027515953129ea79964e95
train/forecast_wa.parquet
| 컬럼 | 실제 자료형 |
|---|---|
wa_station |
string |
round |
int64 |
ts |
timestamp[us, tz=Asia/Seoul] |
wa_cloud |
double |
wa_temp |
double |
wa_temp_max |
double |
wa_temp_min |
double |
wa_humidity |
double |
wa_ground_press |
double |
wa_wind_speed |
double |
wa_wind_dir |
double |
wa_rain |
double |
wa_snow |
double |
파일 내용 SHA-256: a2bda6853d5dcc2dc140e976c1cbc75d0d9a085b41ba17f5ac994704d364a784
train/forecast_wb.parquet
| 컬럼 | 실제 자료형 |
|---|---|
wb_station |
string |
round |
int64 |
ts |
timestamp[us, tz=Asia/Seoul] |
wb_temp |
double |
wb_feel_temp |
double |
wb_wet_bulb_temp |
double |
wb_dew_point |
double |
wb_wind_speed |
double |
wb_wind_dir |
double |
wb_wind_gust_spd |
double |
wb_rel_hum |
double |
wb_vis |
double |
wb_ceiling |
double |
wb_uv_idx |
double |
wb_precip_prob |
double |
wb_rain_prob |
double |
wb_snow_prob |
double |
wb_ice_prob |
double |
wb_total_liq |
double |
wb_rain |
double |
wb_snow |
double |
wb_ice |
double |
wb_cloud |
double |
파일 내용 SHA-256: e8e5de90652c1e949e695b3f8b7f3e1001d3c4a02e3961a42bca1921d2439483
train/observed_wa.parquet
| 컬럼 | 실제 자료형 |
|---|---|
wa_station |
string |
ts |
timestamp[us, tz=Asia/Seoul] |
wa_cloud |
double |
wa_temp |
double |
wa_temp_max |
double |
wa_temp_min |
double |
wa_humidity |
double |
wa_ground_press |
double |
wa_wind_speed |
double |
wa_wind_dir |
double |
wa_rain |
double |
wa_snow |
double |
파일 내용 SHA-256: e002265b5a7b92d8272db4f72043afddc472bde9a4c1704b3a266002655ba2b9
train/observed_wb.parquet
| 컬럼 | 실제 자료형 |
|---|---|
wb_station |
string |
ts |
timestamp[us, tz=Asia/Seoul] |
wb_temp |
double |
wb_feel_temp |
double |
wb_feel_temp_shade |
double |
wb_rel_hum |
double |
wb_dew_point |
double |
wb_wind_dir |
double |
wb_wind_speed |
double |
wb_uv_idx |
double |
wb_vis |
double |
wb_cloud |
double |
wb_ceiling |
double |
wb_pressure |
double |
wb_appr_temp |
double |
wb_wind_chill_temp |
double |
wb_precip_1h |
double |
파일 내용 SHA-256: d4cb3ee33f0555083285e65cd7d43c2d0a16e19fcc62b4cffa95799131817aac
test/forecast_wa.parquet
| 컬럼 | 실제 자료형 |
|---|---|
wa_station |
string |
round |
int64 |
ts |
timestamp[us, tz=Asia/Seoul] |
wa_cloud |
double |
wa_temp |
double |
wa_temp_max |
double |
wa_temp_min |
double |
wa_humidity |
double |
wa_ground_press |
double |
wa_wind_speed |
double |
wa_wind_dir |
double |
wa_rain |
double |
wa_snow |
double |
파일 내용 SHA-256: 610029e17c00cec1498fc2e48a980269496ece977e81d3d57302361a064a5eab
test/forecast_wb.parquet
| 컬럼 | 실제 자료형 |
|---|---|
wb_station |
string |
round |
int64 |
ts |
timestamp[us, tz=Asia/Seoul] |
wb_temp |
double |
wb_feel_temp |
double |
wb_wet_bulb_temp |
double |
wb_dew_point |
double |
wb_wind_speed |
double |
wb_wind_dir |
double |
wb_wind_gust_spd |
double |
wb_rel_hum |
double |
wb_vis |
double |
wb_ceiling |
double |
wb_uv_idx |
double |
wb_precip_prob |
double |
wb_rain_prob |
double |
wb_snow_prob |
double |
wb_ice_prob |
double |
wb_total_liq |
double |
wb_rain |
double |
wb_snow |
double |
wb_ice |
double |
wb_cloud |
double |
파일 내용 SHA-256: fe03948b231c50e4688f1f4cdcef1613cb36c72b0e1f93972824b707abe04219
연결 규칙과 단위
- 발전량의 키는
(site_id, ts)다. sites.csv는site_id로 연결한다. - A 예보는
(wa_station, round, ts), B 예보는(wb_station, round, ts)가 키다. round를 선택하거나 결합하는 규칙을 정한 후 연결한다. - 실측은
(관측지점, ts)가 키다. A 실측에 값이 충돌하는 중복 키가 있어 품질 검토가 선행되어야 한다. - A 풍속은 m/s, B 풍속은 km/h다. A 강설량은 mm, B 예보 강설량은 cm다. 단위가 같다고 가정하지 않는다.
- 발전량은 에너지(kWh), 용량은 출력(kW)이므로 차이를 설명한 뒤 1시간 구간 기준으로 비교한다.
- 여러 발전소가 같은 기상지점을 공유한다. 기상 행 수를 발전소 행 수로 해석하지 않는다.
- 위치는 비식별 좌표다. 원위치 복원·재식별을 시도하지 않는다.
예측 입력과 출력
- 예측 시점: 대상일 전일 17:00 KST. 각 입력이 그때 알려져 있었는지 확인한다.
- 학습 구간: 발전량 정답·기상 예보·기상 실측·가격이 있다.
- 평가 구간: 기상 예보·가격·가중치가 있고 발전량 정답·기상 실측은 없다.
- 미래 기상 실측은 평가 시점 입력으로 사용할 수 없다. 과거 실측의 가용 지연은 별도로 확인한다.
- 제출 composition.csv:
site_id,group; 발전소 253개 각각 한 그룹. - 제출 forecast.csv:
group,ts,forecast_kwh; 2개 그룹 × 8,760시각 = 데이터 17,520행. 헤더 포함 17,521행. - 제출 이름·정확한 조건은 아직 없는 문제정의서와 대조해야 한다.
확인·미확인·후속 작업
확인됨: 데이터 파일 10개, 실제 컬럼·자료형·기간·키 구조와 핵심 단위를 정리했다. 실제 품질 문제를 확인했지만 처리하지 않았다.
미확인: 압축파일에 없는 문제정의서·scoring.py의 위치, 이상값·중복·불규칙 시각의 원인, 팀의 공식 검토·완료 승인 방식.
#1120으로 전달할 항목: 음수 발전량 40행, 발전량 내부 누락 7시간, 평가 A 예보 누락 264개 조합, 학습 B 예보 불규칙 시각 92행, A 실측의 충돌 중복 6개 키, 이상값·단위 검토. 원본에 자동 처리하지 않는다.
#1121·#1122로 전달할 항목: 발전소별 이력 길이 차이, 예보 10·17시 회차 선택, 예측 시점 가용성, 과거 학습→미래 검증 규칙.
검토 체크리스트
- 제공 데이터 파일 목록 확인
- 실제 컬럼·자료형·기간 확인
- Plant ID·Timestamp·Capacity·Target 설명
- 연결 키·회차·단위 차이 설명
- 원본 파일별 지문 기록
- 이상재 등 수신자 검토
- Redmine 게시 시 이 문서를 첨부하고, 작성·자체 확인 완료와 튜터 검토 대기를 구분하여 기록한다.
이전 분석 기록: https://app.notion.com/p/406e08e268a28116b11cee8e9e005e15