Feature #914
openFeature #866: [MASTER] ICN Solar CAD Agent — Autodesk MCP 및 L2→L1 태양광 자동설계 시스템 구축
Feature #867: Phase 1 — MCP 기반 태양광 CAD 자동설계 플랫폼 구축 및 통합 검증
[INT-09] E2E / Regression / Performance / UAT 통합 검증
0%
Description
INT-09. E2E / Regression / Performance / UAT 통합 검증¶
1. 작업 개요¶
본 작업은 ICN Solar CAD Agent의 개발된 전체 기능이 실제 사용자 시나리오에서 정상적으로 동작하는지 확인하기 위한 최종 통합 품질 검증 작업이다.
INT-01~08에서 구현한 MCP 연결, Source 관리, Engineering Knowledge, L1 자동설계, CAD Backend, Validation, 사용자·관리자 Workflow 및 보안 기능을 통합하여 검증한다.
핵심 검증 영역
- End-to-End(E2E) 전체 기능 검증
- Regression Test(기존 기능 회귀 테스트)
- Performance Test(성능 측정)
- Negative Test(오류·보안·경계조건)
- User Acceptance Test(UAT, 사용자 인수 테스트)
기술 검증 PASS와 실제 설계 전문가의 도면 승인, 운영 배포 승인은 별도로 관리한다.
GitHub Issue: https://github.com/GilbertMoon/icn-solar-cad-agent/issues/175
상위 Redmine 일감: #867
담당: 조영우
PM 및 검토: 문길래
협력: 이상재, 황수아
계획 기간: 2027-03-01 ~ 2027-03-08
선행 작업: INT-01~08, PoC-25
2. 세부 작업¶
STEP 1. 기존 통합 개발 및 검증 결과 확인¶
- PoC-25 및 INT-01~08 결과 확인
- 기존 pytest 및 E2E 테스트 목록 확인
- 미해결 결함 및 HOLD 항목 확인
- 테스트 대상 Source·Rule·CAD Backend 버전 고정
- 테스트 환경 및 승인 범위 확인
- 실제 호출과 Mock 실행의 구분
STEP 2. E2E 테스트 시나리오 정의¶
다음 Golden Fixture를 기준으로 테스트한다.
| 시나리오 | 검증 대상 |
|---|---|
| 사각형 L1 사이트 | 기본 자동설계 |
| 부정형 L1 사이트 | 복잡한 Geometry |
| 장애물 포함 사이트 | 제외영역 및 간섭 |
| 회전 모듈 | Rotation 및 Footprint |
| 복수 설치 구역 | 구역별 배치 |
| 설치 가능 모듈 0개 | 빈 결과 |
| 승인된 Knowledge | 정상 Rule 적용 |
| 미승인 Knowledge | 승인 Gate 차단 |
| 비정상 CAD 데이터 | 오류 처리 및 HOLD |
실제 고객자료는 사용 승인이 확인된 경우에만 테스트에 포함한다.
STEP 3. 실제 MCP End-to-End 실행¶
다음 전체 흐름을 검증한다.
- MCP Client 연결
- 사용자 프로젝트·사이트 선택
- L2 Source 조회 및 접근권한 검증
- Approved Knowledge 선택
- 신규 L1 Site Geometry 입력
- Constraints 및 ModuleSpec 적용
- 자동배치 Solver 실행
- DXF Candidate 생성
- Authorized Delta 적용
- Quantity·BOQ 분석
- CAD 정량 및 시각 QA
- 결과 보고서·Evidence 생성
- 사용자 화면·파일 다운로드 확인
- 관리자 검토·승인대기 상태 확인
동일 Run ID로 전체 단계와 산출물을 추적한다.
STEP 4. 회귀 테스트 수행¶
- Golden Geometry 비교
- Site Boundary 및 제외영역 검증
- 모듈 간 충돌 0건 확인
- 모듈 좌표·수량·회전각 비교
- DXF Layer·Block·Entity 구조 검증
- 원본 Source SHA 불변 확인
- Authorized Delta 범위 검증
- Quantity·BOQ 정합성 비교
- Knowledge 승인·버전 검증
- 이전 실행 결과와 변경 Diff 비교
STEP 5. 오류 및 Negative Test 수행¶
다음 오류 상황을 검증한다.
- Source 접근권한 거부
- Source Revision 불일치
- 미승인·철회된 Knowledge
- 좌표계 및 단위 미확정
- 잘못된 Site Geometry
- 설치 제외영역 침범
- Solver 실행 실패
- DXF Audit 실패
- 미승인 Delta
- CAD·BOQ 수량 불일치
- 외부 APS 승인 또는 Quota 제한
- MCP Timeout 및 연결 장애
- 동일 요청 중복 실행
- 시각 QA 미완료
필수 Gate가 실패하면 후속 작업이 안전하게 중단되어야 한다.
STEP 6. 성능 테스트 수행¶
다음 지표를 측정한다.
| 지표 | 측정 항목 |
|---|---|
| E2E Runtime | 전체 자동설계 처리시간 |
| Solver Runtime | 패널 배치 계산시간 |
| CAD Generation | DXF 생성시간 |
| CAD Validation | DXF/Geometry QA 시간 |
| File Size | 입력·출력 파일 크기 |
| Memory Usage | 실행 메모리 |
| Success Rate | 정상 실행 비율 |
| Retry / Recovery | 장애 복구 결과 |
테스트 환경, Fixture 크기, 반복 횟수 및 허용 기준을 사전에 기록한다.
실측되지 않은 성능을 추정하여 PASS 처리하지 않는다.
STEP 7. 반복 실행 및 재현성 검증¶
- 동일 Fixture 반복 실행
- 동일 Solver 입력 및 규칙 사용
- 모듈 배치 결과 비교
- DXF Candidate 구조 비교
- 수량 및 QA 결과 일관성 확인
- Source 및 Rule Version 추적
- 중복 생성 여부 확인
- 실행시간 및 리소스 차이 기록
STEP 8. 사용자 인수 테스트(UAT) 준비¶
사용자에게 다음 작업을 수행하도록 한다.
- 신규 L1 사이트 선택
- Approved Knowledge 및 설계조건 확인
- 자동설계 실행
- 진행 상태 및 오류 확인
- 생성된 DXF Candidate 확인
- 수량 및 BOQ 확인
- Geometry·CAD QA 보고서 검토
- Evidence 및 Source 정보 확인
- 설계 전문가 검토가 필요한 항목 확인
- 개선 의견과 검토 결과 기록
STEP 9. 사용자 및 설계 전문가 UAT¶
- PM 사용자 업무 흐름 확인
- 실제 설계 실무자 관점의 결과 검토
- 도면 확인의 편의성 평가
- 결과·근거·검증 상태 이해 가능성 확인
- 사용자 오류 메시지 검토
- 수정 및 개선 요구사항 수집
- 승인 가능·보류·추가 확인 항목 분류
UAT 통과는 기술적 사용 가능성을 확인하는 것이며, 실제 시공용 최종 설계 승인을 의미하지 않는다.
STEP 10. 결함 및 우선순위 관리¶
| 등급 | 처리 방향 |
|---|---|
| CRITICAL | 릴리스 차단 및 우선 수정 |
| MAJOR | 담당자 지정, 수정·재시험 후 판정 |
| MINOR | 영향도와 수정 일정 기록 |
| REVIEW | 설계 전문가 또는 PM 검토 |
| HOLD | 필수 자료·승인·환경 조건 미충족 |
각 결함에 재현 절차, 담당자, 영향 범위 및 재시험 결과를 기록한다.
STEP 11. 통합 성능 및 UAT 보고서 작성¶
예상 산출물
e2e_regression_performance_uat_plan.mde2e_test_matrix.csvperformance_results.jsonuat_acceptance_record.mdconsolidated_test_report.md
보고서 포함 항목:
- 테스트 환경 및 버전
- E2E 기능 검증 결과
- 회귀 테스트 결과
- 성능 실측 데이터
- Negative Test 결과
- UAT 의견 및 판정
- 미해결 결함
- 운영 적용 제한사항
- INT-10 인계 조건
STEP 12. GitHub 반영 및 최종 검토¶
- 통합 테스트 코드 및 Fixture 정리
- pytest 및 실제 MCP 호출 테스트
- 필요한 브라우저 Smoke Test 실행
- 성능 결과·로그·Evidence 작성
- UAT 결과 정리
- 미해결 Issue 및 담당자 등록
- GitHub 작업 브랜치와 PR 생성
- 개발자별 영역 검토
- PM 최종 검토 후 main 병합
- INT-10 운영 인수 단계로 인계
3. 업무분장¶
| 담당자 | 역할 |
|---|---|
| 조영우 | 전체 테스트 총괄, Solver·Geometry·수량·성능 검증 |
| 이상재 | MCP·CAD Backend·QA·보안·사용자 기능 테스트 |
| 황수아 | Source·Knowledge·BOQ Evidence 및 승인 Gate 테스트 |
| 문길래 | UAT 총괄, 품질·일정·릴리스 차단 판정 |
4. 제출 산출물¶
- E2E 및 회귀 테스트 계획
- Golden Fixture 및 통합 테스트 Matrix
- 실제 MCP 기반 E2E 실행 Evidence
- Geometry·CAD·Quantity·Knowledge 검증 결과
- Negative Test 및 오류 복구 결과
- 성능 테스트 실측 데이터
- 사용자·설계 전문가 UAT 기록
- 결함·HOLD·개선사항 목록
- 통합 QA 보고서
- INT-10 운영 인수 자료
- GitHub PR 및 PM 최종 검토 기록
5. 완료 기준 (PASS)¶
- 전체 통합 테스트 환경 및 버전 확정
- 대표 L1 설계 시나리오 실행
- 실제 MCP End-to-End 정상 실행 검증
- DXF Candidate·수량·QA·Evidence 추적
- 승인·Source·Rule Gate 검증
- Golden Geometry 및 CAD 회귀 테스트 PASS
- Source 원본 SHA 불변
- 승인되지 않은 Delta 0건
- Boundary·Collision 오류 0건
- Negative Test 및 HOLD 처리 검증
- 실제 렌더링/시각 QA 결과 구분
- 동일 입력 반복 실행 재현성 확인
- 성능 실측 데이터 및 평가 기준 기록
- UAT 테스트 및 검토 의견 기록
- 릴리스 차단 결함 분류 및 대응
- 고객자료 무단 전송·미승인 유료 호출 0건
- 개발자 3명 교차검토 완료
- PM 최종 검토
- GitHub PR 병합 및 INT-10 인계 완료
6. 개발 및 검증 원칙¶
- Mock PASS와 실제 MCP E2E PASS를 구분한다.
- 미승인 Source·Knowledge를 사용하지 않는다.
- CAD 원본 및 검증된 기존 산출물을 변경하지 않는다.
- 승인되지 않은 Authorized Delta를 허용하지 않는다.
- 성능 수치는 실측값과 실행 조건을 기록한다.
- 시각 QA 미완료 상태를 PASS로 표시하지 않는다.
- 검증 결과와 UAT 사용자 의견을 각각 기록한다.
- 기술 테스트 PASS와 실제 엔지니어링 승인을 구분한다.
- 고객자료 외부 전송 및 유료 API 사용은 승인 조건을 따른다.
- 미해결 CRITICAL 결함을 임의로 완료 처리하지 않는다.
7. 참고 문서¶
GitHub Issue
https://github.com/GilbertMoon/icn-solar-cad-agent/issues/175
전체 통합 계획
PoC-25 End-to-End 통합
https://github.com/GilbertMoon/icn-solar-cad-agent/issues/166
INT-06 Validation & Reporting
https://github.com/GilbertMoon/icn-solar-cad-agent/issues/172
INT-08 Auth / Security / Operations
https://github.com/GilbertMoon/icn-solar-cad-agent/issues/174
8. 후속 작업¶
INT-10 — Deploy / Runbook / Handover
INT-09에서 확인한 E2E·Regression·Performance·UAT 결과를 기반으로 최종 배포 검토, 설치·재시작·백업·롤백·운영 매뉴얼 작성 및 인수인계 작업을 진행한다.
No data to display