업무용 벤치마크는 구성에 쓰지 않은 실제 과업과 대조한다
업무 성능을 대변하려고 만든 벤치마크는 구성·조정에 사용하지 않은 실제 과업에서도 유효한지 확인한다. 구성에 쓴 사례에서 높은 관련성이 나오는 것만으로 새로운 업무에 대한 설명력을 판단하지 않는다.
무엇을 분리했는지 기록한다
문항을 만들 때 본 업무, 모델·프롬프트를 선택할 때 본 결과, 최종 대조에 남긴 과업을 구분한다. 문항 몇 개를 떼는 것과 업무 유형 자체를 분리하는 것은 검증하는 일반화 범위가 다르다. 모델 사전학습의 전체 내용을 모른다면 그 오염까지 제거했다고 주장하지 않는다.
scikit-learn의 데이터 누출 설명은 평가 정보가 모델 구성·선택에 들어가면 성능 추정이 낙관적으로 바뀔 수 있음을 보여준다. 이를 업무 벤치마크 설계에도 적용하되 데이터 분리의 정확한 단위를 명시한다.
관련성과 원인을 구분한다
벤치마크 점수와 운영 점수의 관계를 볼 때 대상 모델·과업 수, 과업별 결과, 언어·실행 조건을 함께 읽는다. 전체 평균의 관계가 모든 과업에 성립하거나 벤치마크 점수를 올리면 운영 성능이 개선된다는 인과를 입증하지는 않는다.
업무용 LLM 벤치마크 설계 - Toss Benchmark는 구성에 참고한 업무를 제외한 대조 사례다. 같은 자료를 여러 번 보고 설계를 조정했다면 독립적인 최종 확인 자료로 계속 부르지 않는다. 새 모델·업무·정책에 확대할 때 대조 범위를 다시 정한다.