본문으로 건너뛰기

평가 템플릿

최근 업데이트 2026. 10. 30.

평가 템플릿은 재사용 가능한 Judge Prompt를 제공합니다. 템플릿으로 생성되는 것은 독립된 평가기이며, 템플릿 자체가 작업의 점수를 산출하지는 않습니다.

대상 사용자: 템플릿을 사용하는 업무 담당자 및 프로젝트 템플릿을 유지 관리하는 관리자. 확인 기준: 2026-10-30 프로젝트의 현재 구현. 배포된 환경의 진입점은 버전과 권한에 따라 다를 수 있습니다.

검색 키워드: 기본 제공 템플릿, 프로젝트 템플릿, 활성화, 비활성화, 템플릿 버전.

1. 템플릿에서 평가기 생성​

  1. 평가기로 이동하여 템플릿에서 생성을 클릭합니다.
  2. 평가기 이름을 입력하고 활성화된 템플릿을 선택한 다음 용도와 Prompt를 미리 봅니다.
  3. 생성 후 평가기 상세로 이동하여 모델을 보완하고 상황에 맞게 Prompt를 조정합니다. 저장 후 게시된 버전을 확인합니다.

템플릿은 출발점일 뿐입니다. 이름이 같더라도 어떤 변수가 필요한지, 답변 품질과 실행 과정 중 무엇에 적합한지, 어떤 실행 증거가 필요한지 확인해야 합니다.

2. 프로젝트 템플릿 관리​

  1. 평가기 리스트에서 템플릿 관리를 클릭합니다. 관리자는 새 템플릿 만들기를 클릭하고 이름, 카테고리, Judge Prompt 및 선택 사항인 설명을 입력합니다.
  2. Prompt의 변수는 이중 중괄호 구문에 따라 자동 추출됩니다. 이름, 카테고리, Prompt 및 변수를 확인한 후 생성합니다. 현재 생성 양식에서는 템플릿 코드를 직접 입력할 필요가 없습니다.
  3. 생성 후 리스트의 코드, 버전, 출처 및 상태를 확인합니다. 시스템은 템플릿 버전을 보존하며, 새 템플릿을 생성해도 기존 평가기를 다시 작성하지 않습니다.
  4. 이후 사용을 중단해야 하면 프로젝트 템플릿을 비활성화하고, 복구할 때는 활성화합니다. 기본 제공 템플릿은 읽기 전용으로 유지됩니다.

코드가 같으면 현재 프로젝트에서 활성화된 최신 버전을 우선 선택합니다. 사용 가능한 프로젝트 버전이 없으면 기본 제공 템플릿으로 대체할 수 있습니다. 프로젝트 템플릿 하나를 비활성화한다고 같은 코드의 기본 제공 템플릿까지 사용할 수 없는 것은 아닙니다. 템플릿의 활성화와 비활성화는 이후 생성에만 영향을 주며, 기존 평가기나 과거 평가 점수를 수정하지 않습니다.

3. 언어 및 적용 한계​

기본 제공 템플릿의 이름, 설명 및 Prompt는 인터페이스 언어에 따라 표시됩니다. 기본 제공 템플릿으로 생성할 때는 당시 언어의 내용을 저장하며, 이후 인터페이스 언어를 전환해도 저장된 평가기를 다시 번역하지 않습니다. 프로젝트 커스텀 템플릿은 사용자의 원문을 유지합니다.

도구 호출 흐름의 합리성 템플릿은 온라인 Agent의 실행 궤적에 의존하므로 사전 설정 결과나 모델 직접 호출에는 사용할 수 없습니다. 이를 근거로 보이지 않는 원격 내부 과정을 추정해서는 안 됩니다. 궤적이 불완전하면 해당 평가가 실패할 수 있습니다.

4. 다음 단계 및 관련 페이지​

사용 설명서 홈으로 돌아가기:

AI 평가 플랫폼

이 문서가 도움이 되었나요?