평가 작업 생성 및 필드 매핑
데이터, 평가 대상 및 평가 규칙을 조합하여 실행 가능한 작업을 구성합니다. 페이지는 작업 설정, 평가기, 필드 매핑 및 고급 설정으로 구성되며, 설정을 마친 후 임시 저장하거나 시작할 수 있습니다.
대상 사용자: 평가 세트와 평가 규칙을 준비한 사용자. 확인 기준: 2026-10-30 프로젝트의 현재 구현. 배포된 환경의 진입점은 버전과 권한에 따라 다를 수 있습니다.
검색 키워드: 새 작업, Agent, 대규모 언어 모델, 사전 설정 결과, 필드 매핑, 입력 템플릿, 무작위 표본 추출.
1. 시작 전 준비
- 평가 세트 가져오기가 완료되었으며, 예시와 게시된 버전이 있어야 합니다.
- 평가용 모델이 설정되어 있고, 평가기가 완전히 저장되었으며 게시된 버전이 있어야 합니다.
- 온라인 Agent 모드에는 접근 가능한 Agent 설정이 필요하고, 대규모 언어 모델 모드에는 평가 대상 모델이 필요합니다. 사전 설정 결과 모드에는 데이터에 있는 기존 답변만 필요합니다.
2. 평가 대상 및 버전 선택
- 평가 작업 → 새 평가 작업으로 이동하여 작업 이름과 선택 사항인 설명을 입력합니다.
- 평가 대상을 선택하고 평가 세트와 게시된 버전을 선택합니다. 온라인 모드에서는 Agent 또는 모델 설정도 선택합니다.
- 1—8개의 평가기를 선택하고 각 평가기의 게시된 버전을 선택합니다. 규칙 보기로 전체 Prompt를 읽을 수 있습니다.
| 평가 대상 | 실행 방식 | 적용 시나리오 |
|---|---|---|
| Agent | Agent를 항목별로 호출한 다음 Judge에 전달하여 평가합니다. | 답변 품질을 검증하거나, 증거가 뒷받침되면 도구 실행 과정을 검증합니다. |
| 대규모 언어 모델 | 모델을 항목별로 호출한 다음 Judge에 전달하여 평가합니다. | 지정된 입력에 대한 모델 답변을 검증하며 Agent 도구 증거는 생성하지 않습니다. |
| 사전 설정 결과 | Case의 기존 내용을 읽어 Judge에 직접 전달합니다. | 오프라인 답변, 과거 출력 또는 다른 시스템에서 준비한 결과를 평가합니다. |
3. 필드 매핑 완료
왼쪽에는 호출 또는 평가에 필요한 변수가 표시되며, 오른쪽에서 현재 평가 세트 버전의 출처를 선택합니다. 표시 이름과 필드 키는 다를 수 있으므로 템플릿 참조에는 반드시 인터페이스에 표시된 실제 필드 키를 사용해야 합니다.
| 대상 변수 | 온라인 Agent 예시 | 사전 설정 결과 예시 |
|---|---|---|
| Agent의 input | question 필드에 바인딩합니다. | Agent 입력을 설정하지 않습니다. |
| Judge의 input | question 필드에 바인딩합니다. | question 필드에 바인딩합니다. |
| Judge의 output | 시스템이 Agent의 실제 출력을 주입합니다. | answer 필드에 직접 바인딩합니다. |
| Judge의 reference_output | reference_answer 필드에 바인딩합니다. | reference_answer 필드에 바인딩합니다. |
위 필드 이름은 예시일 뿐이며, 자신의 데이터에 있는 실제 필드를 기준으로 해야 합니다. Agent의 필수 입력은 모두 매핑해야 하며 각 평가기의 일반 변수도 모두 바인딩해야 합니다. 변수 이름이 비슷하다고 자동 연결되었다고 가정해서는 안 됩니다. 평가기 변수 하나는 필드 하나에 바인딩됩니다.
대규모 언어 모델 모드에서는 주 입력 필드를 우선 자동 식별합니다. 자동 식별이 명확하지 않으면 입력 필드 하나를 선택하거나 입력 템플릿을 사용합니다. 모델의 실제 답변은 output에 자동 제공됩니다. 사전 설정 결과의 output은 시스템 출력이라는 의미가 없으므로 다른 일반 변수와 마찬가지로 출처를 선택해야 합니다.
execution_status, tool_summary, artifact_summary, execution_trace 및 tool_calls는 Agent 실행에 의존합니다. 대규모 언어 모델 또는 사전 설정 결과 모드에서는 이러한 증거에 의존하는 평가기를 선택할 수 없습니다.
4. 여러 필드를 조합한 입력 구성
- 컨텍스트와 질문을 합쳐야 하면 해당 입력의 템플릿 편집 상자를 엽니다.
- 사용 가능한 필드에서 플레이스홀더를 복사하여 아래 형식의 입력 템플릿을 작성합니다.
- 알 수 없는 필드, 플레이스홀더 구문 및 길이 알림을 확인하고 템플릿을 저장합니다. 템플릿은 해당 단일 필드 입력을 대체하며 실행 스냅샷과 함께 동결됩니다.
업무 컨텍스트: {{context}}
사용자 질문: {{question}}
온라인 Agent의 TEXT 입력 템플릿은 TEXT 필드만 참조할 수 있으며, 대규모 언어 모델 입력 템플릿은 모든 타입의 필드를 참조할 수 있습니다. 템플릿은 유효한 필드를 참조해야 하며 최대 길이는 16000 UTF-8 바이트입니다. 현재 버전의 필드가 아직 로드되지 않았으면 검증하거나 시작할 수 없습니다. 존재하지 않는 필드는 명시적인 오류를 반환합니다. 대규모 언어 모델 템플릿에서 특정 Case에 선언된 필드의 값이 없으면 해당 플레이스홀더는 빈 텍스트로 렌더링되므로 데이터가 비즈니스 기대에 부합하는지 확인해야 합니다.
5. 표본 추출, 임시 저장 및 시작
- 고급 설정에서 무작위로 추출할 Case 수를 입력할 수 있습니다. 비워 두면 전체를 실행하며, 입력할 때는 0보다 크고 전체 예시 수 이하인 정수여야 합니다.
- 예시 수와 예상 평가 횟수를 확인합니다. 예상 횟수는 이번 예시 수에 평가기 수를 곱한 값이며, 모든 평가가 최종적으로 성공한다는 의미는 아닙니다.
- 설정이 아직 완료되지 않았으면 임시 저장을 클릭합니다. 준비가 끝나면 확인 및 평가 시작을 클릭하고 결과 페이지로 이동할 때까지 기다립니다.
- 시작에 실패하면 알림을 확인하고 수정합니다. 초안은 유지됩니다. 먼저 실제 작업 상태를 확인하여 중복 시작을 방지합니다.
시작할 때마다 독립적으로 무작위 표본을 추출합니다. 예시 범위를 고정해야 하면 전용 평가 세트 버전을 사용합니다. 페이지에 ThinkingAI로 데이터 수집 스위치가 표시될 수 있지만 현재 데이터 수집 설정 진입점은 공개되지 않았습니다. 첫 평가에서는 기본값인 꺼짐을 유지하는 것이 좋으며, 이미 배포된 데이터 수집은 관리자가 설정을 확인한 후 사용합니다.
작업에는 동결된 결과 필터 필드(TEXT, NUMBER, BOOLEAN)를 최대 5개 포함할 수 있습니다. 이 버전의 생성 페이지에는 별도의 선택 컨트롤이 없으므로 모든 동적 열을 기본적으로 필터링 가능한 필드로 간주해서는 안 됩니다. 결과 페이지는 실제 동결된 설정에 따라 표시합니다.
6. 다음 단계 및 관련 페이지
- 시작 후 결과 보기: 결과 및 실행 궤적 보기.
- 필드 또는 데이터 버전 보완: 평가 세트.
- 평가 규칙 보완: 평가기.
사용 설명서 홈으로 돌아가기:

