Project

General

Profile

Actions

Feature #878

open
길문 수황

Feature #866: [MASTER] ICN Solar CAD Agent — Autodesk MCP 및 L2→L1 태양광 자동설계 시스템 구축

Feature #867: Phase 1 — MCP 기반 태양광 CAD 자동설계 플랫폼 구축 및 통합 검증

[PoC-11] Engineering Knowledge 반례 테스트 및 교차검증

Feature #878: [PoC-11] Engineering Knowledge 반례 테스트 및 교차검증

Added by 길래 문 23 days ago.

Status:
New
Priority:
High
Assignee:
Start date:
11/30/2026
Due date:
12/04/2026 (Due in 17 days)
% Done:

0%

Estimated time:

Description

PoC-11. Engineering Knowledge 반례 테스트 및 교차검증

1. 작업 개요

본 PoC는 PoC-10에서 추출한 Engineering Knowledge 후보(Rule Candidate)가 실제 설계에 적용 가능한지 다양한 조건과 반례를 통해 검증하는 작업이다.

기존 L2 도면에서 반복적으로 발견한 배치 패턴이라도 신규 L1 사이트의 설치 조건, 모듈 규격, 장애물 및 설계 제약조건이 달라지면 적용되지 않을 수 있다.

따라서 정상 사례, 경계조건, 반례 및 서로 다른 설계자료를 이용해 규칙의 적용 범위와 한계를 확인한다.

검증 결과는 PoC-12의 전문가 승인 프로세스에 전달하며, 이번 단계에서는 어떤 후보도 자동으로 Approved Engineering Knowledge로 승격하지 않는다.

GitHub Issue: https://github.com/GilbertMoon/icn-solar-cad-agent/issues/152

상위 Redmine 일감: #867

담당: 황수아

PM 및 검토: 문길래

협력: 조영우, 이상재

계획 기간: 2026-11-30 ~ 2026-12-04

선행 작업: PoC-07~10

2. 세부 작업

STEP 1. 검증 대상 Rule Candidate 확인

  • PoC-10의 rule_candidates.json 확인
  • 후보별 적용 조건과 파라미터 확인
  • 기존 Approved Engineering Knowledge와 비교
  • Source ID, Revision, SHA-256 및 Evidence 확인
  • 검증 우선순위와 대상 후보 선정
  • 검증 불가능하거나 근거가 부족한 후보 분류

STEP 2. Rule Candidate별 테스트 기준 정의

각 후보에 대해 다음 항목을 정의한다.

  • 검증하려는 설계 가설
  • 기대 결과
  • 적용 가능한 사이트 및 구역
  • 모듈 사양과 단위
  • 전제조건
  • 예외조건
  • 허용오차
  • 근거자료 및 원본 위치
  • 실패 시 처리 기준

STEP 3. 정상 사례 테스트

  • 기존 L2 자료에서 관찰된 배치 조건 재현
  • 모듈 크기·방향·간격 등 주요 파라미터 비교
  • 계산서·BOQ와 연결된 근거 확인
  • 동일 조건에서 결과의 재현성 검증
  • 기존 승인 규칙과 충돌 여부 확인

STEP 4. 반례 및 경계조건 테스트

다음과 같은 조건을 검증한다.

테스트 유형 검증 내용
모듈 사양 변경 크기·규격이 달라도 규칙이 유효한지
배치 방향 변경 사이트 방향이나 회전각 변경 시 적용 가능한지
사이트 형태 변경 부정형 또는 좁은 설치 영역에서 유효한지
장애물 추가 금지영역 및 이격조건과 충돌하는지
Source Revision 변경 설계 변경 전후 규칙이 달라지는지
수량 범위 차이 서로 다른 집계 대상에서 잘못 적용되는지
단위 변경 mm, m 등 단위 처리 오류가 발생하는지
중복 Evidence 동일한 관찰을 여러 독립 근거로 오인하는지

반례가 확인된 규칙은 무조건 폐기하지 않고, 적용 범위를 좁혀야 하는지 또는 해당 후보 자체가 잘못되었는지 구분한다.

STEP 5. 서로 다른 Source 간 교차검증

  • 동일한 후보를 여러 설계자료에서 비교
  • Source별 조건과 Revision 차이 분석
  • 독립적인 Evidence의 존재 여부 확인
  • 서로 다른 설계 구역에서의 재현성 검토
  • 일치·불일치 및 원인 기록

동일 도면의 복사본이나 동일 자료에서 파생된 결과는 독립적인 교차검증 자료로 계산하지 않는다.

STEP 6. 검증 결과 상태 분류

규칙 후보별 검증 상태를 다음처럼 구분한다.

  • VALIDATED_CANDIDATE: 정해진 테스트 범위에서 검증된 후보
  • NEEDS_EVIDENCE: 추가 근거가 필요한 후보
  • CONTRADICTED: 반례 또는 근거 충돌이 확인된 후보
  • HOLD: 필수 검증이 불가능하거나 판단이 보류된 후보

VALIDATED_CANDIDATE도 최종 승인 상태가 아니며, PoC-12의 전문가 승인 없이는 실제 신규 L1 자동설계에 적용하지 않는다.

STEP 7. 검증 결과 JSON 및 Evidence 구성

예상 산출물: rule_validation_results.json

주요 필드:

  • Rule Candidate ID
  • 검증 대상 가설
  • 테스트 Case ID
  • 입력 조건
  • 기대 결과
  • 실제 결과
  • Source ID 및 Revision
  • Source SHA-256
  • 관련 CAD 또는 문서 Locator
  • 반례 및 예외조건
  • 검증 상태
  • 검증 한계
  • 검토 담당자
  • 재검증 필요 여부

STEP 8. 자동 테스트 및 회귀검증

  • 정상 규칙 후보 테스트
  • 반례 및 경계조건 테스트
  • Source Revision 불일치 테스트
  • 단위·좌표 관련 검증
  • 근거 누락 처리 테스트
  • 충돌 규칙 후보 분류 테스트
  • 승인 전 규칙의 자동 적용 차단 확인
  • 기존 Approved Knowledge와의 충돌 여부 검증

실행 환경, 코드 SHA, Source SHA 및 테스트 결과를 함께 기록한다.

STEP 9. PoC-12 전문가 검토 자료 준비

전문가가 개별 규칙 후보를 검토할 수 있도록 다음을 정리한다.

  1. 규칙 후보의 목적 및 가설
  2. 적용 조건과 제한사항
  3. CAD 및 설계문서 Evidence
  4. 정상 테스트 결과
  5. 반례 테스트 결과
  6. 교차검증 결과
  7. 미확정 사항
  8. 승인·보류·반려에 대한 검토 권고

전문가의 최종 판단을 대체하는 자동 승인 기능은 구현하지 않는다.

STEP 10. GitHub 반영 및 결과 제출

  • 반례 및 교차검증 코드 작성
  • Golden Fixture 및 자동 테스트 작성
  • 검증 결과 JSON/Schema 생성
  • 전문가 검토 자료 작성
  • 실행 Evidence 및 미확정 항목 기록
  • GitHub 작업 브랜치 및 PR 생성
  • PM 검토 후 main 병합

3. 업무분장

담당자 역할
황수아 규칙 후보 검증, 반례 테스트, 교차검증 및 결과 관리
조영우 신규 L1 사이트 적용 조건 및 경계조건 검토
이상재 CAD Geometry 및 Source Evidence 검증 지원
문길래 검증 기준·품질·PR 검토 및 전문가 승인 절차 조정

4. 제출 산출물

  1. Engineering Knowledge 반례 테스트 기능
  2. 규칙 후보별 검증 시나리오 및 테스트 결과
  3. rule_validation_results.json 및 JSON Schema
  4. 정상·반례·경계조건 Golden Fixture
  5. Source 간 교차검증 매트릭스
  6. 후보별 적용 범위 및 예외조건 목록
  7. 추가 검증 및 전문가 판단 필요 항목
  8. pytest 및 실제 실행 Evidence
  9. PoC-12 승인 검토용 자료
  10. GitHub PR 및 PM 검토 보고서

5. 완료 기준 (PASS)

  • PoC-10 Rule Candidate 및 Evidence 확인
  • 후보별 적용 조건과 검증 기준 정의
  • 정상 사례 테스트 수행
  • 반례 및 경계조건 테스트 수행
  • 독립적인 Source 간 교차검증 수행 또는 미확보 상태 명시
  • 반례 발생 시 적용 범위·예외조건 분석
  • 근거 부족 및 충돌 후보 분류
  • 검증 결과 JSON Schema 작성
  • 테스트 결과의 Source·Revision·SHA 추적
  • 미승인 규칙의 자동 적용 차단
  • pytest 및 재현 가능한 Evidence 확보
  • 전문가 검토용 후보별 결과 자료 작성
  • GitHub PR 제출 및 PM 검토 완료
  • main 병합 및 PoC-12 인계 준비 완료

6. 개발 및 검증 원칙

  • 설계 패턴의 반복은 규칙의 보편성을 보장하지 않는다.
  • 반례를 발견한 경우 실패 사실을 숨기거나 임의 보정하지 않는다.
  • 검증 범위를 벗어난 사례에 규칙을 자동 적용하지 않는다.
  • 동일 자료에서 파생된 결과를 독립 근거로 중복 계산하지 않는다.
  • 테스트 PASS를 실제 현장 설계 승인으로 해석하지 않는다.
  • 전문가 승인 전 모든 후보는 미승인 상태를 유지한다.
  • 구조·전기·안전 관련 최종 적합성 판단은 설계 전문가에게 맡긴다.
  • 원본 도면 및 설계 산출물을 수정하지 않는다.
  • 고객 자료를 무단으로 외부 클라우드에 전송하지 않는다.

7. GitHub 관련 문서

GitHub Issue

https://github.com/GilbertMoon/icn-solar-cad-agent/issues/152

25개 PoC 상세 로드맵

https://github.com/GilbertMoon/icn-solar-cad-agent/blob/main/docs/autodesk-mcp-l2-l1-poc-roadmap-20261025.md

업무분장 및 시스템 통합계획

https://github.com/GilbertMoon/icn-solar-cad-agent/blob/main/docs/autodesk-mcp-l2-l1-team-knowledge-integration-plan-20261025.md

기존 Approved Engineering Knowledge

https://github.com/GilbertMoon/icn-solar-cad-agent/blob/main/docs/approved-engineering-knowledge-v1.md

8. 후속 개발 연계

다음 작업: PoC-12 — Approved Engineering Knowledge 등록·승인 Gate 구현

PoC-11에서 검증한 규칙 후보와 Evidence를 기반으로 전문가가 규칙을 승인·보류·반려할 수 있는 통제 절차를 구현한다.

최종 승인된 규칙만 신규 L1 설계에 사용할 수 있도록 버전과 적용 범위를 관리한다.

No data to display

Actions

Also available in: PDF Atom