Project

General

Profile

Actions

Feature #914

open
길문 영조

Feature #866: [MASTER] ICN Solar CAD Agent — Autodesk MCP 및 L2→L1 태양광 자동설계 시스템 구축

Feature #867: Phase 1 — MCP 기반 태양광 CAD 자동설계 플랫폼 구축 및 통합 검증

[INT-09] E2E / Regression / Performance / UAT 통합 검증

Feature #914: [INT-09] E2E / Regression / Performance / UAT 통합 검증

Added by 길래 문 22 days ago.

Status:
New
Priority:
High
Assignee:
Start date:
03/01/2027
Due date:
03/08/2027 (Due in about 4 months)
% Done:

0%

Estimated time:

Description

INT-09. E2E / Regression / Performance / UAT 통합 검증

1. 작업 개요

본 작업은 ICN Solar CAD Agent의 개발된 전체 기능이 실제 사용자 시나리오에서 정상적으로 동작하는지 확인하기 위한 최종 통합 품질 검증 작업이다.

INT-01~08에서 구현한 MCP 연결, Source 관리, Engineering Knowledge, L1 자동설계, CAD Backend, Validation, 사용자·관리자 Workflow 및 보안 기능을 통합하여 검증한다.

핵심 검증 영역

  • End-to-End(E2E) 전체 기능 검증
  • Regression Test(기존 기능 회귀 테스트)
  • Performance Test(성능 측정)
  • Negative Test(오류·보안·경계조건)
  • User Acceptance Test(UAT, 사용자 인수 테스트)

기술 검증 PASS와 실제 설계 전문가의 도면 승인, 운영 배포 승인은 별도로 관리한다.

GitHub Issue: https://github.com/GilbertMoon/icn-solar-cad-agent/issues/175

상위 Redmine 일감: #867

담당: 조영우

PM 및 검토: 문길래

협력: 이상재, 황수아

계획 기간: 2027-03-01 ~ 2027-03-08

선행 작업: INT-01~08, PoC-25

2. 세부 작업

STEP 1. 기존 통합 개발 및 검증 결과 확인

  • PoC-25 및 INT-01~08 결과 확인
  • 기존 pytest 및 E2E 테스트 목록 확인
  • 미해결 결함 및 HOLD 항목 확인
  • 테스트 대상 Source·Rule·CAD Backend 버전 고정
  • 테스트 환경 및 승인 범위 확인
  • 실제 호출과 Mock 실행의 구분

STEP 2. E2E 테스트 시나리오 정의

다음 Golden Fixture를 기준으로 테스트한다.

시나리오 검증 대상
사각형 L1 사이트 기본 자동설계
부정형 L1 사이트 복잡한 Geometry
장애물 포함 사이트 제외영역 및 간섭
회전 모듈 Rotation 및 Footprint
복수 설치 구역 구역별 배치
설치 가능 모듈 0개 빈 결과
승인된 Knowledge 정상 Rule 적용
미승인 Knowledge 승인 Gate 차단
비정상 CAD 데이터 오류 처리 및 HOLD

실제 고객자료는 사용 승인이 확인된 경우에만 테스트에 포함한다.

STEP 3. 실제 MCP End-to-End 실행

다음 전체 흐름을 검증한다.

  1. MCP Client 연결
  2. 사용자 프로젝트·사이트 선택
  3. L2 Source 조회 및 접근권한 검증
  4. Approved Knowledge 선택
  5. 신규 L1 Site Geometry 입력
  6. Constraints 및 ModuleSpec 적용
  7. 자동배치 Solver 실행
  8. DXF Candidate 생성
  9. Authorized Delta 적용
  10. Quantity·BOQ 분석
  11. CAD 정량 및 시각 QA
  12. 결과 보고서·Evidence 생성
  13. 사용자 화면·파일 다운로드 확인
  14. 관리자 검토·승인대기 상태 확인

동일 Run ID로 전체 단계와 산출물을 추적한다.

STEP 4. 회귀 테스트 수행

  • Golden Geometry 비교
  • Site Boundary 및 제외영역 검증
  • 모듈 간 충돌 0건 확인
  • 모듈 좌표·수량·회전각 비교
  • DXF Layer·Block·Entity 구조 검증
  • 원본 Source SHA 불변 확인
  • Authorized Delta 범위 검증
  • Quantity·BOQ 정합성 비교
  • Knowledge 승인·버전 검증
  • 이전 실행 결과와 변경 Diff 비교

STEP 5. 오류 및 Negative Test 수행

다음 오류 상황을 검증한다.

  1. Source 접근권한 거부
  2. Source Revision 불일치
  3. 미승인·철회된 Knowledge
  4. 좌표계 및 단위 미확정
  5. 잘못된 Site Geometry
  6. 설치 제외영역 침범
  7. Solver 실행 실패
  8. DXF Audit 실패
  9. 미승인 Delta
  10. CAD·BOQ 수량 불일치
  11. 외부 APS 승인 또는 Quota 제한
  12. MCP Timeout 및 연결 장애
  13. 동일 요청 중복 실행
  14. 시각 QA 미완료

필수 Gate가 실패하면 후속 작업이 안전하게 중단되어야 한다.

STEP 6. 성능 테스트 수행

다음 지표를 측정한다.

지표 측정 항목
E2E Runtime 전체 자동설계 처리시간
Solver Runtime 패널 배치 계산시간
CAD Generation DXF 생성시간
CAD Validation DXF/Geometry QA 시간
File Size 입력·출력 파일 크기
Memory Usage 실행 메모리
Success Rate 정상 실행 비율
Retry / Recovery 장애 복구 결과

테스트 환경, Fixture 크기, 반복 횟수 및 허용 기준을 사전에 기록한다.

실측되지 않은 성능을 추정하여 PASS 처리하지 않는다.

STEP 7. 반복 실행 및 재현성 검증

  • 동일 Fixture 반복 실행
  • 동일 Solver 입력 및 규칙 사용
  • 모듈 배치 결과 비교
  • DXF Candidate 구조 비교
  • 수량 및 QA 결과 일관성 확인
  • Source 및 Rule Version 추적
  • 중복 생성 여부 확인
  • 실행시간 및 리소스 차이 기록

STEP 8. 사용자 인수 테스트(UAT) 준비

사용자에게 다음 작업을 수행하도록 한다.

  1. 신규 L1 사이트 선택
  2. Approved Knowledge 및 설계조건 확인
  3. 자동설계 실행
  4. 진행 상태 및 오류 확인
  5. 생성된 DXF Candidate 확인
  6. 수량 및 BOQ 확인
  7. Geometry·CAD QA 보고서 검토
  8. Evidence 및 Source 정보 확인
  9. 설계 전문가 검토가 필요한 항목 확인
  10. 개선 의견과 검토 결과 기록

STEP 9. 사용자 및 설계 전문가 UAT

  • PM 사용자 업무 흐름 확인
  • 실제 설계 실무자 관점의 결과 검토
  • 도면 확인의 편의성 평가
  • 결과·근거·검증 상태 이해 가능성 확인
  • 사용자 오류 메시지 검토
  • 수정 및 개선 요구사항 수집
  • 승인 가능·보류·추가 확인 항목 분류

UAT 통과는 기술적 사용 가능성을 확인하는 것이며, 실제 시공용 최종 설계 승인을 의미하지 않는다.

STEP 10. 결함 및 우선순위 관리

등급 처리 방향
CRITICAL 릴리스 차단 및 우선 수정
MAJOR 담당자 지정, 수정·재시험 후 판정
MINOR 영향도와 수정 일정 기록
REVIEW 설계 전문가 또는 PM 검토
HOLD 필수 자료·승인·환경 조건 미충족

각 결함에 재현 절차, 담당자, 영향 범위 및 재시험 결과를 기록한다.

STEP 11. 통합 성능 및 UAT 보고서 작성

예상 산출물

  • e2e_regression_performance_uat_plan.md
  • e2e_test_matrix.csv
  • performance_results.json
  • uat_acceptance_record.md
  • consolidated_test_report.md

보고서 포함 항목:

  • 테스트 환경 및 버전
  • E2E 기능 검증 결과
  • 회귀 테스트 결과
  • 성능 실측 데이터
  • Negative Test 결과
  • UAT 의견 및 판정
  • 미해결 결함
  • 운영 적용 제한사항
  • INT-10 인계 조건

STEP 12. GitHub 반영 및 최종 검토

  • 통합 테스트 코드 및 Fixture 정리
  • pytest 및 실제 MCP 호출 테스트
  • 필요한 브라우저 Smoke Test 실행
  • 성능 결과·로그·Evidence 작성
  • UAT 결과 정리
  • 미해결 Issue 및 담당자 등록
  • GitHub 작업 브랜치와 PR 생성
  • 개발자별 영역 검토
  • PM 최종 검토 후 main 병합
  • INT-10 운영 인수 단계로 인계

3. 업무분장

담당자 역할
조영우 전체 테스트 총괄, Solver·Geometry·수량·성능 검증
이상재 MCP·CAD Backend·QA·보안·사용자 기능 테스트
황수아 Source·Knowledge·BOQ Evidence 및 승인 Gate 테스트
문길래 UAT 총괄, 품질·일정·릴리스 차단 판정

4. 제출 산출물

  1. E2E 및 회귀 테스트 계획
  2. Golden Fixture 및 통합 테스트 Matrix
  3. 실제 MCP 기반 E2E 실행 Evidence
  4. Geometry·CAD·Quantity·Knowledge 검증 결과
  5. Negative Test 및 오류 복구 결과
  6. 성능 테스트 실측 데이터
  7. 사용자·설계 전문가 UAT 기록
  8. 결함·HOLD·개선사항 목록
  9. 통합 QA 보고서
  10. INT-10 운영 인수 자료
  11. GitHub PR 및 PM 최종 검토 기록

5. 완료 기준 (PASS)

  • 전체 통합 테스트 환경 및 버전 확정
  • 대표 L1 설계 시나리오 실행
  • 실제 MCP End-to-End 정상 실행 검증
  • DXF Candidate·수량·QA·Evidence 추적
  • 승인·Source·Rule Gate 검증
  • Golden Geometry 및 CAD 회귀 테스트 PASS
  • Source 원본 SHA 불변
  • 승인되지 않은 Delta 0건
  • Boundary·Collision 오류 0건
  • Negative Test 및 HOLD 처리 검증
  • 실제 렌더링/시각 QA 결과 구분
  • 동일 입력 반복 실행 재현성 확인
  • 성능 실측 데이터 및 평가 기준 기록
  • UAT 테스트 및 검토 의견 기록
  • 릴리스 차단 결함 분류 및 대응
  • 고객자료 무단 전송·미승인 유료 호출 0건
  • 개발자 3명 교차검토 완료
  • PM 최종 검토
  • GitHub PR 병합 및 INT-10 인계 완료

6. 개발 및 검증 원칙

  • Mock PASS와 실제 MCP E2E PASS를 구분한다.
  • 미승인 Source·Knowledge를 사용하지 않는다.
  • CAD 원본 및 검증된 기존 산출물을 변경하지 않는다.
  • 승인되지 않은 Authorized Delta를 허용하지 않는다.
  • 성능 수치는 실측값과 실행 조건을 기록한다.
  • 시각 QA 미완료 상태를 PASS로 표시하지 않는다.
  • 검증 결과와 UAT 사용자 의견을 각각 기록한다.
  • 기술 테스트 PASS와 실제 엔지니어링 승인을 구분한다.
  • 고객자료 외부 전송 및 유료 API 사용은 승인 조건을 따른다.
  • 미해결 CRITICAL 결함을 임의로 완료 처리하지 않는다.

7. 참고 문서

GitHub Issue

https://github.com/GilbertMoon/icn-solar-cad-agent/issues/175

전체 통합 계획

https://github.com/GilbertMoon/icn-solar-cad-agent/blob/main/docs/autodesk-mcp-l2-l1-team-knowledge-integration-plan-20261025.md

PoC-25 End-to-End 통합

https://github.com/GilbertMoon/icn-solar-cad-agent/issues/166

INT-06 Validation & Reporting

https://github.com/GilbertMoon/icn-solar-cad-agent/issues/172

INT-08 Auth / Security / Operations

https://github.com/GilbertMoon/icn-solar-cad-agent/issues/174

8. 후속 작업

INT-10 — Deploy / Runbook / Handover

INT-09에서 확인한 E2E·Regression·Performance·UAT 결과를 기반으로 최종 배포 검토, 설치·재시작·백업·롤백·운영 매뉴얼 작성 및 인수인계 작업을 진행한다.

No data to display

Actions

Also available in: PDF Atom