Project

General

Profile

Actions

Feature #671

open
성양 성양

Feature #666: [VID] 설교 영상 자동화 시스템 (V2)

Feature #667: [VID-00] 사전 검증 (실제 예배 영상 수령 후 진행)

[VID-00-04] AI 설교 시작·종료 탐지 정확도 비교

Feature #671: [VID-00-04] AI 설교 시작·종료 탐지 정확도 비교

Added by 성용 양 26 days ago. Updated 12 days ago.

Status:
In Progress
Priority:
Normal
Assignee:
Target version:
-
Start date:
10/30/2026
Due date:
11/02/2026 (15 days late)
% Done:

60%

Estimated time:

Description

담당: 양성용

목적

전사 글과 LLM으로 설교 시작·종료 시각을 얼마나 맞히는지 숫자로 확인한다.

전제·입력

VID-00-03의 전사 결과, 실제 영상 2~3회차, 사람이 직접 표시한 정답 시작·종료 시각.

작업 순서

  1. 정답 구간 표 작성(회차별 시작·종료 시각, 설교자 소개·강단 이동은 제외).
  2. 전사 글을 LLM에 넣어 설교 후보 구간 요청(1차).
  3. 후보 경계 앞뒤를 다시 전사해 확인(2차).
  4. 정답과 자동 결과의 차이를 초 단위로 비교하고, 첫 문장·마지막 문장이 잘렸는지 확인.
  5. 허용 오차 기준과 실패 유형을 정리.

사용 기술·도구

STT 결과, LLM API, 비교 표

산출물

회차별 오차 표, 허용 오차 기준 제안, 실패 사례

완료 기준

  • 모든 회차가 비교되었다.
  • 오차 허용 기준이 정해졌고 VID-02-05·VID-06-02의 합격 기준으로 쓸 수 있다.

이 일감에서 하지 않는 것

화자 인식 모델은 만들지 않는다(초기 범위 밖).

주의·미확정 사항

이 결과는 검증된 알고리즘이 아니라 후보 설계의 시험 결과다. 정확도 숫자는 영상 수가 적으므로 참고용이다.

수정할 파일: VID-01-01(기존 코드 확인) 완료 후 기재

연결 일감

선행: VID-00-03(권장) / 후행: VID-02-04, VID-02-05

예상 공수: VID-00 검증 결과 후 확정

성양 Updated by 성용 양 26 days ago Actions #1

  • Description updated (diff)
  • Assignee set to 성용 양

성양 Updated by 성용 양 26 days ago Actions #2

  • Due date set to 11/02/2026
  • Start date set to 10/30/2026

성양 Updated by 성용 양 26 days ago Actions #3

  • Description updated (diff)

성양 Updated by 성용 양 15 days ago Actions #4

  • Status changed from New to In Progress
  • % Done changed from 0 to 40

2026-11-02 GitHub 반영

실제 전체 예배 1건에서 자동 시작 00:30:06.620, 자동 종료 01:27:57.300, 설교 길이 00:57:50.680, 신뢰도 high로 판정했습니다. 사람이 확인한 정답 시각과의 비교(정확도)는 아직 없고 1건뿐이라 40%로 둡니다. 근거: PR #89(병합)와 PR #85(병합 없이 닫힘, 종단 검증 기록). 코드는 병합되었지만 운영 환경 검증과 GitHub Actions CI 재실행(저장소 Actions 예산 제한으로 보류)은 남아 있어 완료로 하지 않습니다.

성양 Updated by 성용 양 12 days ago Actions #5

  • % Done changed from 40 to 60
Actions

Also available in: PDF Atom