대표 사례
다수 제품의 반복 품질검사를 위한 QA Harness 구축
반복되는 품질검사 업무를 분석했습니다. 처리 방식과 판단 책임을 나누고, 단계별 입력과 산출물을 연결했습니다.
문제
요청마다 제출 문서 검토, 원본 결과 표시, 테스트 케이스 작성, 제품 테스트, 결과 작성 및 등록이 반복됐습니다. 제품이 달라도 공통 단계가 많았습니다. 전체 검사에는 최소 5~7일이 소요됐습니다.
각 단계의 산출물을 다음 단계의 입력으로 연결할 필요가 있었습니다.
분석
공통 절차를 처리 방식에 따라 나눴습니다. 형식, 필수값, 명확한 판정 기준은 규칙으로 검증할 수 있었습니다.
문서의 의미와 요구사항 충족 여부는 제품 맥락에 따른 판단이 필요했습니다. 단계 진행과 재검증, 최종 등록의 책임도 구분했습니다.
QA 전략
품질검사 업무를 QA Harness로 연결했습니다. 규칙 기반 검증, 제품 맥락 판단, 단계 제어, 최종 결정을 각각 다른 역할에 맡겼습니다.
- Code
- 형식, 필수값, 명확한 기준을 검증합니다.
- Agent
- 문서 의미와 요구사항 충족 여부를 제품 맥락에서 판단합니다.
- Orchestrator
- 단계 결과에 따라 진행과 재검증을 제어합니다.
- Human
- 최종 등록처럼 중요하거나 되돌리기 어려운 결정을 맡습니다.
Harness 설계
요청건의 입력과 산출물을 단계별로 연결했습니다. 검증을 통과한 결과만 다음 단계의 입력으로 사용합니다. 최종 등록은 담당자가 수행합니다.
- 01제출 문서 검토
- 02원본 결과 표시
- 03테스트 케이스 작성
- 04제품 테스트
- 05결과 작성
- 06최종 등록담당자 결정
결과 검증
각 단계의 생성 결과를 별도 역할이 다시 확인하는 Generate-Verify 구조를 적용했습니다. Validation Gate를 통과한 결과만 다음 단계로 전달합니다.
- 생성단계 결과 생성
- 확인별도 역할이 재검증
- 판정통과 여부 판단
- 진행다음 단계로 전달
검증 실패 다음 단계를 보류하고 Orchestrator가 재검증을 제어합니다.
실제 요청에서 잘못 생성된 결과 파일 2건을 다음 단계 전에 차단했습니다.
결과
39개 제품에 적용할 QA Harness를 구축했습니다. 최소 5~7일이 걸리던 전체 검사를 약 2~3시간 내 수행 가능한 구조로 개선했습니다. 팀의 실제 품질검사 업무에 활용했습니다.
검증 단계에서 잘못 생성된 결과 파일 2건을 차단했습니다. 반복 업무를 연결해 제품 이해, 변경 영향 분석, 주요 리스크 검증에 집중할 수 있는 구조를 마련했습니다.