AI 품질 비교에는 생성 조건과 채점 조건을 함께 보존한다
평가 점수의 변화를 설명하려면 답을 만든 조건과 그 답을 채점한 조건을 함께 보존해야 한다. 둘 중 하나가 바뀌면 점수가 달라져도 생성 품질의 개선인지 판정 기준의 변화인지 구별하기 어렵다.
비교 기록의 두 축
- 생성 쪽에는 모델·프롬프트·입력과 검색 자료의 버전, 언어·추론·샘플링 설정, 도구·실행 환경과 원본 출력을 남긴다.
- 채점 쪽에는 데이터 분할, 기대값의 근거, 평가자·채점표·집계 방식과 항목별 판정 근거를 남긴다.
- 실패·거부·무응답·실행 오류를 분모에서 어떻게 다뤘는지 명시한다. 지연 시간은 측정 시작과 끝을 함께 적는다.
이는 비교 원인을 추적하기 위한 기록 항목이다. 접근할 수 없는 공급자 내부 상태까지 완전하게 복제할 수 있다는 뜻은 아니다. 같은 설정의 반복 실행도 변동할 수 있으므로 재실행 결과와 불확실성을 구분한다.
HELM의 표준화된 비교와 원본 프롬프트·출력 공개, NIST AI RMF MEASURE 2.1의 평가 도구·지표 기록을 대조했다. 세부 기록 목록은 이 근거와 기존 테스트 노트를 종합한 적용 기준이다.
같은 출력을 다시 채점할 때
원본 출력은 유지하고 새 채점 기준의 버전을 붙인다. 비교표에는 같은 출력의 재채점과 새로 생성한 출력의 평가를 구분한다. 판정만 바뀐 결과를 모델 개선으로 보고하지 않는다.