Actions
Feature #671
open
성양
성양
Feature #666: [VID] 설교 영상 자동화 시스템 (V2)
Feature #667: [VID-00] 사전 검증 (실제 예배 영상 수령 후 진행)
[VID-00-04] AI 설교 시작·종료 탐지 정확도 비교
Feature #671:
[VID-00-04] AI 설교 시작·종료 탐지 정확도 비교
Start date:
10/30/2026
Due date:
11/02/2026 (15 days late)
% Done:
60%
Estimated time:
Description
담당: 양성용
목적¶
전사 글과 LLM으로 설교 시작·종료 시각을 얼마나 맞히는지 숫자로 확인한다.
전제·입력¶
VID-00-03의 전사 결과, 실제 영상 2~3회차, 사람이 직접 표시한 정답 시작·종료 시각.
작업 순서¶
- 정답 구간 표 작성(회차별 시작·종료 시각, 설교자 소개·강단 이동은 제외).
- 전사 글을 LLM에 넣어 설교 후보 구간 요청(1차).
- 후보 경계 앞뒤를 다시 전사해 확인(2차).
- 정답과 자동 결과의 차이를 초 단위로 비교하고, 첫 문장·마지막 문장이 잘렸는지 확인.
- 허용 오차 기준과 실패 유형을 정리.
사용 기술·도구¶
STT 결과, LLM API, 비교 표
산출물¶
회차별 오차 표, 허용 오차 기준 제안, 실패 사례
완료 기준¶
- 모든 회차가 비교되었다.
- 오차 허용 기준이 정해졌고 VID-02-05·VID-06-02의 합격 기준으로 쓸 수 있다.
이 일감에서 하지 않는 것¶
화자 인식 모델은 만들지 않는다(초기 범위 밖).
주의·미확정 사항¶
이 결과는 검증된 알고리즘이 아니라 후보 설계의 시험 결과다. 정확도 숫자는 영상 수가 적으므로 참고용이다.
수정할 파일: VID-01-01(기존 코드 확인) 완료 후 기재
연결 일감¶
선행: VID-00-03(권장) / 후행: VID-02-04, VID-02-05
예상 공수: VID-00 검증 결과 후 확정
성양 Updated by 성용 양 15 days ago
- Status changed from New to In Progress
- % Done changed from 0 to 40
2026-11-02 GitHub 반영¶
실제 전체 예배 1건에서 자동 시작 00:30:06.620, 자동 종료 01:27:57.300, 설교 길이 00:57:50.680, 신뢰도 high로 판정했습니다. 사람이 확인한 정답 시각과의 비교(정확도)는 아직 없고 1건뿐이라 40%로 둡니다. 근거: PR #89(병합)와 PR #85(병합 없이 닫힘, 종단 검증 기록). 코드는 병합되었지만 운영 환경 검증과 GitHub Actions CI 재실행(저장소 Actions 예산 제한으로 보류)은 남아 있어 완료로 하지 않습니다.
Actions