Feature #908
openFeature #866: [MASTER] ICN Solar CAD Agent — Autodesk MCP 및 L2→L1 태양광 자동설계 시스템 구축
Feature #867: Phase 1 — MCP 기반 태양광 CAD 자동설계 플랫폼 구축 및 통합 검증
[INT-03] 신규 L1 설계 End-to-End 시나리오 검증
0%
Description
INT-03. 신규 L1 설계 End-to-End 시나리오 검증¶
1. 작업 개요¶
본 작업은 INT-01에서 정의한 통합 인터페이스 계약과 INT-02에서 검증한 MCP 및 주요 모듈 연결을 기반으로, 신규 L1 태양광 자동설계 시나리오를 처음부터 끝까지 실행하고 결과의 정합성을 검증하는 작업이다.
L2 Source 분석 및 Approved Engineering Knowledge에서 시작하여 신규 L1 사이트 분석, 패널 자동배치, DXF Candidate 생성, Authorized Delta 적용, 수량·BOQ 분석 및 CAD QA까지 연결한다.
모든 단계의 Source, Rule, Candidate 및 실행 버전을 하나의 E2E Run ID로 추적하고, 필수 검증 Gate가 실패했을 때 후속 단계가 올바르게 중단되는지 확인한다.
GitHub Issue: https://github.com/GilbertMoon/icn-solar-cad-agent/issues/169
상위 Redmine 일감: #867
담당: 조영우
PM 및 검토: 문길래
협력: 황수아, 이상재
계획 기간: 2027-02-08 ~ 2027-02-12
선행 작업: INT-01, INT-02, PoC-25
2. 세부 작업¶
STEP 1. E2E 테스트 시나리오 및 데이터 준비¶
다음 합성 Golden Fixture를 준비한다.
- 기본 사각형 신규 L1 사이트
- 부정형 신규 L1 사이트
- 장애물 및 설치 제외영역 포함 사이트
- 복수 설치 후보 영역
- 모듈 0개 배치가 가능한 사이트
- 정상·미승인 Engineering Knowledge 사례
각 테스트에는 기대 결과, Source SHA, ModuleSpec 및 설계조건을 명시한다.
실제 L1/L2 고객자료는 별도 접근 승인 후 사용한다.
STEP 2. L2 Source 및 Knowledge 흐름 검증¶
- L2 Source Manifest 조회
- 접근 권한과 SHA-256 검증
- CAD·계산서·BOQ Evidence 확인
- Knowledge Candidate와 검증 이력 확인
- 전문가 승인된 규칙 조회
- Rule ID·Version·효력 상태 검증
- 승인되지 않거나 철회된 규칙 적용 차단
STEP 3. 신규 L1 입력조건 검증¶
- L1 Site Boundary 및 Polygon 확인
- 좌표계·단위·Revision 검증
- 장애물·설치 제외영역·이격조건 연결
- ModuleSpec 및 LayoutParameters 확인
- Approved Knowledge 적용 가능성 검증
- Solver 입력 Schema 검증
STEP 4. 패널 자동배치 실행 및 검증¶
- 기본·부정형 Solver 실행
- 모듈 배치 좌표 계산
- Module Footprint 및 Rotation 확인
- 모듈 간 간격·중복·간섭 검증
- 사이트 경계 및 제외영역 침범 검증
- Layout Candidate 생성
- 동일 입력 반복 실행 재현성 확인
STEP 5. 신규 DXF Candidate 생성 검증¶
- Layout Candidate를 CAD Entity로 변환
- 신규 DXF 파일 생성
- DXF 재열기 및 Audit
- 모듈 수량·좌표·회전각 비교
- Source 및 Generator Version 기록
- 생성 오류 및 비정상 Geometry 처리
STEP 6. Controlled Blank 및 Authorized Delta 검증¶
- L1 Controlled Blank Revision 및 SHA 확인
- 승인된 변경 범위 확인
- 신규 패널 객체만 안전하게 반영
- 기존 보호 Entity 보존
- 원본 Source SHA 불변
- 변경 전후 Diff Report 생성
- 승인되지 않은 CAD 변경사항 0건 확인
STEP 7. 패널 수량·BOQ 영향 분석¶
- Solver 배치 수량 집계
- DXF Entity 수량과 비교
- Authorized Delta 적용 수량 확인
- Baseline 대비 수량 증감 계산
- BOQ 관련 항목과 Evidence 연결
- 단위·구역·Revision 일치 여부 확인
- 차이 및 미확정 항목 분류
STEP 8. CAD 정량 및 시각 QA¶
- DXF Parsing 및 Audit
- Layer·Block·Entity 검증
- 모듈 위치·치수·Rotation 정량 비교
- 설치 제약조건 준수 확인
- Authorized Delta 검증
- DWG/PDF 렌더링 및 시각 검증
- 주요 화면 Evidence 수집
- QUANT/VISUAL 상태 별도 관리
실제 시각 검증이 불가능한 경우 VISUAL_PENDING으로 표시하고 전체 PASS를 선언하지 않는다.
STEP 9. 오류 및 HOLD 시나리오 검증¶
다음 사례를 검증한다.
- Source 권한 거부
- Source SHA·Revision 불일치
- 미승인 또는 철회된 Knowledge
- L1 좌표계·단위 불명확
- 설치 후보 영역이 없는 경우
- Solver 실행 실패
- DXF Audit 실패
- Authorized Delta 범위 위반
- CAD·BOQ 수량 불일치
- DWG/PDF 렌더링 미완료
- MCP Tool 연결 실패
- 반복 실행 및 중복 요청
필수 Gate 실패 시 다음 단계가 실행되지 않도록 한다.
STEP 10. E2E 실행 이력 및 Evidence 검증¶
예상 산출물: e2e_run_manifest.json
주요 필드:
- E2E Run ID
- Request ID
- Scenario ID
- Source IDs / SHA / Revisions
- Applied Rule IDs / Versions
- ModuleSpec / Constraint Set
- Solver Version
- Layout Candidate ID
- DXF Candidate SHA
- Authorized Delta Manifest
- Quantity Impact Report
- CAD QA Report
- Stage별 실행 상태
- Stage별 실행시간
- Evidence Locator
- Warning 및 HOLD 사유
- Overall Validation Status
STEP 11. 통합 테스트 자동화¶
- 정상 시나리오 Golden Fixture 작성
- 오류·HOLD Fixture 작성
- pytest 기반 E2E 자동 테스트
- 중복 실행 및 재현성 검사
- 실제 MCP Client 호출 Evidence 확보
- Mock·CLI·실제 Client 실행 결과 구분
- 테스트 실패 원인과 담당자 기록
STEP 12. 통합 보고서 및 GitHub 반영¶
예상 산출물:
e2e-l1-scenario-matrix.csvint-03-e2e-validation-report.mde2e_run_manifest.json- Golden Fixture 및 pytest
- CAD·Solver·BOQ·QA Evidence
최종 작업:
- 테스트 결과 정리
- 개발자별 검토
- 미완료·HOLD 항목 및 담당자 지정
- Windows PowerShell 재실행 가이드 작성
- GitHub PR 생성
- PM 검토 후 main 병합
- INT-04 이후 통합 검증으로 인계
3. 업무분장¶
| 담당자 | 역할 |
|---|---|
| 조영우 | 신규 L1 E2E 시나리오·Solver·배치 정합성 검증 |
| 황수아 | L2 Source·BOQ·Knowledge 승인·Evidence 검증 |
| 이상재 | MCP Tool·DXF 생성·Authorized Delta·CAD QA |
| 문길래 | E2E 검증 범위·PASS/HOLD 판정 및 PR 최종 검토 |
4. 제출 산출물¶
- 신규 L1 E2E 시나리오 매트릭스
- 합성 Golden L2/L1 테스트 데이터
- E2E 테스트 실행 코드 및 Fixture
- L2 Source·Knowledge 승인 Gate 결과
- L1 Solver 및 Layout Candidate 결과
- 신규 DXF 및 Authorized Delta 검증 결과
- Quantity Impact·BOQ·CAD QA 보고서
e2e_run_manifest.json- 단계별 Evidence 및 통합 검증 보고서
- 오류·HOLD·재실행 테스트 결과
- INT-04~10 인계 사항
- GitHub PR 및 PM 검토 결과
5. 완료 기준 (PASS)¶
- 실제 구현·미구현 모듈의 범위 확인
- 정상 Golden L1 시나리오 구성
- L2 Source·Evidence·Knowledge Gate 연결
- Approved Knowledge의 신규 L1 적용성 검증
- Site·Constraints·ModuleSpec 데이터 연결
- 신규 L1 Solver 실행 성공
- 배치 좌표·Footprint·Rotation 정합성 검증
- DXF Candidate 생성 및 Audit PASS
- Authorized Delta 적용 및 원본 SHA 불변
- 승인되지 않은 CAD 변경사항 0건
- Solver·DXF·BOQ 수량 비교
- CAD 정량 QA PASS
- 필수 시각 QA 실제 검증 또는 미완료 상태 명시
- Source·Rule·Candidate 버전 추적
- 동일 입력 반복 실행 재현성 검증
- 필수 Gate 실패 시 후속 실행 중단
- E2E Run Manifest 및 Evidence 생성
- 개발자 3명 영역별 검토 완료
- PM 최종 판정 및 GitHub PR 병합
- INT-04 후속 작업 인계 완료
6. 개발 및 검증 원칙¶
- 기존 L2 도면 복사가 아닌 신규 L1 배치 좌표 계산을 검증한다.
- 미승인 Engineering Knowledge는 적용하지 않는다.
- Source·Rule·Candidate의 Revision과 SHA를 추적한다.
- Controlled Blank 원본을 수정하지 않는다.
- Authorized Delta 외 CAD 변경을 허용하지 않는다.
- 자동 분석 결과를 최종 설계 승인으로 간주하지 않는다.
- 실제 시각 QA 없이 최종 PASS를 표시하지 않는다.
- Mock 결과와 실제 MCP 호출 결과를 구분한다.
- 고객자료를 승인 없이 외부 전송하지 않는다.
- 승인되지 않은 유료 Autodesk APS API를 호출하지 않는다.
7. 참고 문서¶
GitHub Issue
https://github.com/GilbertMoon/icn-solar-cad-agent/issues/169
INT-01 통합 계약
https://github.com/GilbertMoon/icn-solar-cad-agent/issues/167
INT-02 MCP 통합 실행
https://github.com/GilbertMoon/icn-solar-cad-agent/issues/168
PoC-25 End-to-End 통합
https://github.com/GilbertMoon/icn-solar-cad-agent/issues/166
8. 후속 작업¶
INT-03에서 정상·오류 E2E 시나리오의 통합 동작을 확인한 뒤, 후속 통합 검증에서는 단계별 오류 복구, 운영 안정성 및 검증 Evidence의 완전성을 추가 확인한다.