LLM 평가자의 판단은 해당 과업의 기준과 사람 판단에 대조한다
LLM이 채점했다는 사실은 판정의 객관성을 보장하지 않는다. 평가하려는 과업의 기준, 근거 자료와 사람의 판단에 대조해 어떤 오판을 하고 어디까지 맡길지 확인해야 한다.
일치율의 범위를 읽는다
MT-Bench와 Chatbot Arena 연구는 인간 선호와의 일치와 함께 위치·장황함·자기 선호 편향, 추론 한계를 다룬다. 선호 일치를 업무 사실의 정확성이나 모든 언어·과업에서의 채점 신뢰도로 확대하지 않는다.
PoLL 연구는 여러 계열의 모델을 조합한 평가에서 단일 평가자보다 나은 결과를 보고한다. 이는 해당 설정의 근거이며, 공급사 수를 늘리는 것만으로 독립적인 오류나 충분한 정확성이 확보된다는 뜻은 아니다.
평가자도 검토 대상으로 둔다
채점표에 항목별 근거와 허용 결과를 적고, 맞는 답·미묘하게 틀린 답·판정이 갈리는 답을 포함한 표본을 사람과 대조한다. 비교 평가에서는 답변 순서나 길이에 판정이 끌리는지도 본다. 불일치와 기준 변경을 기록하며 판단 불가를 임의의 합격으로 바꾸지 않는다.
이 절은 위 연구에서 도출한 적용 제안이다. 모델 패널의 상시 사용이나 모든 답변의 사람 재검토를 일률적으로 요구하지 않는다.