업무용 LLM 벤치마크 설계 - Toss Benchmark
실제 업무에 맞는 모델 비교 기준을 구성한 운영 사례다. 한국어·추론 설정, 출력 지시, 업무 판단, 도메인 지식을 나누고 벤치마크 구성에 참고한 업무를 제외한 다른 운영 태스크와 대조한다. 원문.
결과를 읽는 조건
원문의 상관 분석은 같은 11개 모델에서 얻은 관측이다. 원인 관계나 다른 조직의 업무 성능을 입증하지 않는다. 여기서 정책 준수는 프롬프트의 업무 지시를 따르는 능력이며 보안·법규 준수 전체를 뜻하지 않는다.
IFEval은 검증 가능한 지시를 검사하는 별도 연구다. Toss IFBench와 동일한 벤치마크로 취급하지 않는다. scikit-learn의 데이터 누출 설명은 평가에 쓸 정보를 구성·선택 과정에 섞을 때의 낙관 편향을 이해하는 보조 근거다.