테스트 수행 완료와 대상 동작의 통과 여부를 별도로 판정한다
테스트에서는 정해진 검사 작업을 끝냈는지와 검사 대상이 기대대로 동작했는지를 별도로 판정한다. 결함을 발견해도 검사 수행은 완료될 수 있으며, 수행 완료만으로 대상의 통과를 보고할 수는 없다.
완료된 검사에서도 실패가 남는다
알림 설정을 켠 뒤 알림 발생 여부를 검사한다고 하자. 정해진 조작과 관찰을 수행했고 알림이 오지 않았다는 증거를 남겼다면, 검사 작업은 끝났으면서 제품 동작 검사는 실패일 수 있다. 이 실패는 검사 과정에서 얻은 결과다.
반대로 다른 설정을 눌렀거나 필요한 조작의 실행 여부를 확인하지 못했다면, 알림이 없다는 이유만으로 제품 결함을 확정할 수 없다. 수행 문제와 관찰 근거 부족을 남기고, 대상 동작은 판정 가능한 범위까지만 보고한다.
다른 질문을 결과에 남긴다
| 판단 | 답할 질문 |
|---|---|
| 수행 상태 | 정해진 검사 절차와 필요한 결과 기록을 끝냈는가, 일부만 했는가, 무엇에 막혔는가 |
| 대상 동작의 결과 | 확인한 기대 동작이 통과했는가, 실패했는가, 근거가 부족한가, 아직 검사하지 않았는가 |
테스트를 실행하는 에이전트의 수용 기준과 제품에 대한 기대도 구별한다. 수행 누락은 보완할 대상이지만, 실제로 관찰한 제품 실패는 기록한 뒤 별도의 수정·재검사로 이어 간다. 실패를 없애기 위해 원래의 검사 결과를 통과로 바꾸지 않는다.
검사 결과와 다음 행동을 정하는 정책도 구분한다. 판정 불가 상태에서 진행·재시도·중단 중 무엇을 택할지는 작업 계약에 달려 있고, 계속 진행했다는 사실이 통과의 근거가 되지는 않는다. 이 원칙은 테스트 작업의 완료를 다루며, 제품 수정이나 배포 작업의 완료 기준을 느슨하게 만드는 근거가 아니다.
근거와 연결
- 모바일 자동화의 실행·검증·증거 - ARTEMIS: 수행 상태와 검사 집계의 분리, 실행 수용 기준과 제품 기대의 차이, 수행 전제 확인.
- 실패 검사와 수행 완료가 함께 남는 결과 집계, Checker 규칙.
- 테스트 설계는 시나리오 오라클 범위와 위험을 별도 축으로 다룬다는 무엇을 어떤 기대값으로 검사할지 다룬다. 이 노트는 수행 상태와 관찰 결과를 어떻게 분리해 보고할지 다룬다.
- 보장 수준과 판정 경계
- Atomic Notes