출력 형식 준수와 업무 규칙에 따른 판단은 별도로 평가한다
출력의 형식이 유효한지와 업무 규칙에 맞는 판단인지 각각 검사한다. JSON 파싱이나 필드 검사를 통과해도 잘못된 대상을 선택하거나 잘못된 판단값을 담을 수 있다.
서로 다른 실패를 관측한다
형식 검사에는 구조·자료형·필수 항목처럼 기계적으로 판정할 수 있는 조건을 둔다. 판단 검사에는 적용할 업무 규칙과 독립적으로 도출한 기대 결과를 둔다. 합산 점수만 남기지 않고 어느 조건에서 실패했는지 기록한다.
IFEval은 자동 검증 가능한 지시를 평가하는 방법의 근거다. 이런 검사로 모든 업무 의미를 판단할 수 있다고 확대하지 않는다. 업무용 LLM 벤치마크 설계 - Toss Benchmark는 형식과 규칙에 따른 판단을 구분한 운영 사례다.
규칙에 따른 판단 변화를 검증한다
적용 예로, 같은 두 문서를 주되 개정 번호 차이를 구분하는 규칙과 무시하는 규칙을 각각 제시할 수 있다. 기대 판단은 각 규칙에서 도출한다. 이는 예시 설계이며 모든 과업의 정답이 규칙을 바꾸면 반드시 뒤집혀야 한다는 뜻은 아니다.
이 주장은 형식 검증을 통과한 값이 저장소에서 거부될 수 있다와 연결되지만 대상이 다르다. 여기서는 모델 출력의 업무 의미를, 기존 노트에서는 실제 저장소 수용을 판정한다. 정책을 잘 읽은 모델이라는 결과도 실행 권한이나 실제 조치 성공을 보장하지 않는다.