평가기
평가기는 LLM Judge로 답변 또는 실행 증거의 품질을 판단하고 평가 기준을 재사용 가능한 규칙으로 정립합니다. 매번 평가할 때 항상 Score와 Reason을 반환합니다.
대상 사용자: 평가 규칙 유지 관리 담당자 및 평가 사용자. 확인 기준: 2026-10-30 프로젝트의 현재 구현. 배포된 환경의 진입점은 버전과 권한에 따라 다를 수 있습니다.
검색 키워드: LLM Judge, Prompt, rubric, 변수, Score, Reason, 평가기 버전.
1. 평가기 생성 및 설정
- 평가기로 이동하여 생성을 클릭하고 이름을 입력합니다. 템플릿에서 생성을 선택하여 활성화된 템플릿을 미리 보고 선택할 수도 있습니다.
- 생성 후 상세의 기본 설정으로 이동하여 카테고리와 모델 구성을 선택하고 Prompt와 설명을 입력합니다. 초기 초안은 아직 평가에 사용할 수 없습니다.
- {{input}}, {{output}} 등의 이중 중괄호로 변수를 참조합니다. 변수는 Prompt에서 자동 추출됩니다. 이름은 소문자로 시작하고 소문자, 숫자 및 밑줄만 포함하며 최대 64자입니다.
- 평가 기준, 모델 및 변수를 확인하고 평가기 저장을 클릭합니다. 유효하게 저장하면 게시된 버전이 자동으로 생성됩니다. 버전 기록에서 버전을 확인합니다.
2. 평가 기준 명확히 작성하기
Prompt에는 평가 대상, 입력과 참조 답변의 의미, 점수 구간 규칙, 감점 조건 및 출력 요구 사항을 설명해야 합니다. 단순히 "좋고 나쁨을 평가해 주세요"라고만 작성하지 마십시오. 다음 예시는 업무에 맞게 바꿀 수 있습니다.
당신은 답변 일치도 평가자입니다.
질문: {{input}}
참조 답변: {{reference_output}}
평가할 답변: {{output}}
참조 답변을 기준으로 합니다: 완전히 일치하면 1점; 정확하지만 요점이 누락되면 0.5점; 명백히 모순되면 0점.
숫자 Score(0에서 1)와 비어 있지 않은 문자열 Reason을 포함하는 JSON 객체 하나만 반환합니다.
Score는 0—1이며, 높을수록 이 평가기의 기준에 부합합니다. Reason은 판단 근거를 설명합니다. 출력을 파싱할 수 없거나 점수가 범위를 벗어나거나 Reason이 비어 있으면 해당 평가가 실패하고 점수는 비워 두며 0으로 기록하지 않습니다. 현재는 LLM Judge만 지원하며 커스텀 출력 필드 또는 Code Evaluator는 지원하지 않습니다.
3. 변수에 내용이 전달되는 방식
| 변수 출처 | 설정 위치 및 규칙 |
|---|---|
| input, reference_output 등의 일반 변수 | 평가 작업에서 현재 Case의 평가 세트 필드 하나에 바인딩합니다. 이름이 필드 이름과 같을 필요는 없습니다. |
| output | 온라인 Agent / 대규모 언어 모델 작업에서는 실제 출력에서 가져옵니다. 사전 설정 결과 작업에서는 기존 답변 필드를 직접 선택해야 합니다. |
| execution_status、tool_summary、artifact_summary | 온라인 Agent에서만 사용할 수 있으며, 시스템이 실행 증거를 제공합니다. |
| execution_trace、tool_calls | 온라인 Agent의 과정 평가에서만 사용할 수 있으며, 완전하고 평가에 사용할 수 있는 실행 궤적 스냅샷이 필요합니다. |
도구 또는 실행 궤적에 의존하는 평가기는 대규모 언어 모델 직접 호출이나 사전 설정 결과에 사용할 수 없습니다. 최종 답변 판단과 도구 호출 흐름 판단에 각각 평가기를 사용하여 결과 품질과 과정 품질을 구분해 설명할 수 있습니다.
4. Prompt 최적화 및 보정
- 최적화가 필요하면 프롬프트 최적화를 클릭하고 기존 모델을 선택하여 제안을 생성합니다. 먼저 결과를 읽은 다음 확인 후 반영을 클릭합니다.
- 반영은 양식만 업데이트합니다. 재사용 가능한 새 버전을 만들려면 평가기를 저장해야 합니다.
- 신뢰도 및 보정에서 예상 점수가 알려진 예시를 유지 관리하고 파싱 및 평가 일관성을 확인합니다. 자세한 내용은 해당 하위 페이지를 참고합니다.
5. 재사용, 버전 및 삭제
리스트는 검색, 복사 및 삭제를 지원합니다. 복사하면 독립된 평가기가 생성됩니다. 저장하기 전에 이름, 모델 및 Prompt를 확인합니다. 작업 사본을 수정하거나 새 버전을 게시해도 이전 버전이 바인딩된 작업과 과거 결과는 변경되지 않습니다. 작업에서는 사용할 게시된 버전을 명시적으로 선택해야 합니다. 이후 템플릿을 수정해도 기존 평가기가 자동으로 업데이트되지 않습니다.
6. 다음 단계 및 관련 페이지
- 재사용 가능한 평가 규칙 통일: 평가 템플릿.
- 평가 성과 검증: 신뢰도 및 보정.
- 변수 바인딩 및 실행: 평가 작업 생성 및 필드 매핑.
사용 설명서 홈으로 돌아가기:

