본문으로 건너뛰기

결과 및 실행 궤적 보기

최근 업데이트 2026. 10. 30.

전체 지표에서 Case 상세 정보로 이동하여 답변 품질, 실행 실패 및 평가 실패를 구분한 다음, 동결된 설정과 함께 한 번의 평가를 해석합니다.

대상 사용자: 결과 분석, 낮은 점수 예시 내보내기 및 문제 진단이 필요한 사용자. 확인 기준: 2026-10-30 프로젝트의 현재 구현. 배포된 환경의 진입점은 버전과 권한에 따라 다를 수 있습니다.

검색 키워드: 평균 점수, 유효한 평가 점수, 통과율, 낮은 점수, 내보내기, 실패 재시도, Trace.

1. 유효한 평가 점수와 실패 수 먼저 확인하기​

  1. 작업을 열고 결과로 이동하여 먼저 작업 상태, Case 실행 진행률 및 유효한 평가 점수 수를 확인합니다.
  2. 평균 점수, 점수 분포 및 각 평가기의 성공, 실패, 취소 수를 확인한 다음 판단을 뒷받침할 결과가 충분한지 결정합니다.
  3. 설정으로 전환하여 평가 세트, 평가 대상, 평가기 버전, 무작위 표본 추출 설정 및 필드 매핑 등 동결된 내용을 확인합니다.

평균 점수와 분포는 성공적으로 얻은 유효한 Score만 집계하며, 실패와 점수 없음을 0으로 처리하지 않습니다. 하나의 Case에 여러 평가기를 사용하면 여러 평가 점수가 생성되므로 평가 횟수는 예시 수와 다릅니다. 예를 들어 두 개의 Case와 두 개의 평가기로 네 개의 평가 점수가 생성되고 이 중 세 개가 유효하다면 "3/2"를 성공률로 해석할 수 없습니다.

작업 설정에 통과 임계값이 있으면 통과율은 "임계값에 도달한 유효한 평가 점수 수 ÷ 유효한 평가 점수 수"를 의미하며, 실패와 취소 항목은 별도로 표시됩니다. 임계값이나 유효한 평가 점수가 없을 때 빈 지표를 0%로 해석해서는 안 됩니다. 이 지표는 품질 정보만 제공하며 게시 가능 여부를 자동으로 판단하지 않습니다.

2. 낮은 점수 또는 실패 Case 찾기​

  1. 먼저 점수 상한으로 낮은 점수 범위를 제한하고 최저 점수 우선을 선택하여 가장 확인이 필요한 Case를 찾습니다.
  2. 범위를 좁혀야 하면 추가 필터를 열고 평가기, 평가 상태, Case 상태, 실행 증거 완전성 및 키워드를 조합합니다.
  3. 작업에 동결된 동적 필터 필드가 있으면 정확히 일치하는 텍스트 값, 숫자 범위, 불리언 값, 필드 누락 또는 NULL로 필터링할 수 있습니다. 동결되지 않은 필드도 상세에서 확인할 수 있지만 리스트 필터를 지원하지 않을 수 있습니다.
  4. Case 상세 정보를 클릭하여 드로어를 열고 평가 내용, Judge 점수, Reason, 입출력 및 실패 사유를 확인합니다. 필요하면 원본 데이터 스냅샷을 확인합니다.

Agent 호출 성공이 Judge 성공을 의미하지 않으며, Judge 파싱 실패가 답변 품질이 0이라는 의미도 아닙니다. 먼저 평가 대상의 실행 단계와 평가 단계를 구분한 후 연동, 데이터 또는 평가 규칙 중 무엇을 수정할지 결정해야 합니다.

3. 실행 궤적 읽기​

  1. 온라인 Agent Case에 사용 가능한 궤적이 있으면 상세의 실행 궤적 영역에서 수집 상태, 완전성 및 단계 트리를 확인합니다.
  2. 문제가 있는 단계를 펼쳐 상태와 민감 정보가 마스킹된 입출력 미리보기를 확인합니다. 소요 시간, Token 또는 비용 데이터가 있으면 출처의 포괄 범위와 함께 해석합니다.
  3. 외부 참조만 있고 단계 상세 정보가 없으면 안전한 링크를 통해 출처 시스템으로 이동합니다. 일부 누락, 잘림 또는 수집 미완료 상태를 완전한 실행 기록으로 간주해서는 안 됩니다.

현재 AE Agent / TE Claude 궤적은 주로 기록된 도구 및 하위 Agent 호출, 상하위 관계와 민감 정보가 마스킹된 미리보기를 포함합니다. 전체 모델 추론, 원격 위임 내부 단계 또는 모든 소요 시간과 비용을 포함한다는 의미는 아닙니다. 대규모 언어 모델 직접 호출과 사전 설정 결과에는 실제 Agent 도구 호출 흐름이 없습니다.

최종 답변 평가는 궤적 없이도 완료할 수 있습니다. execution_trace 또는 tool_calls에 명시적으로 의존하는 과정 평가기에는 사용 가능한 완전한 증거가 필요합니다. 증거가 요구 사항을 충족하지 못하면 해당 평가만 실패하고 점수는 비워 둡니다. 수집 재시도에 성공해도 기존의 과거 평가 점수가 자동으로 다시 작성되지는 않습니다.

4. 실패한 Case 재시도​

  1. 작업이 실패 또는 일부 실패 상태이고 Agent 단계에서 실패한 Case가 있으면 실패한 Case 재시도를 사용합니다.
  2. 확인 설명을 읽습니다. Agent 단계가 FAILED, BLOCKED, UNKNOWN 등 재시도 조건에 부합하는 Case만 재시도하며, 이미 성공한 Case는 재실행하지 않습니다.
  3. 재시도는 현재 Run의 동결된 스냅샷을 그대로 사용합니다. 새 결과가 해당 실패 Case의 현재 결과를 덮어쓰고 집계를 다시 계산합니다. 재시도 후 상태와 실패 사유를 계속 확인합니다.

이 진입점은 모든 낮은 점수 답변이나 Judge만 실패한 항목을 임의로 재실행하는 기능이 아닙니다. 데이터, 모델 또는 규칙을 수정하고 새 설정을 검증하려면 작업을 복사하고 버전과 매핑을 확인한 다음 새 평가를 시작해야 합니다.

5. 복사 및 내보내기​

  1. 필요에 따라 필터 조건과 점수 상한을 설정하고 리스트가 내보낼 범위에 해당하는지 확인합니다.
  2. 내보내기를 클릭하고 현재 필터 결과의 CSV 또는 JSONL을 선택한 다음 백그라운드에서 파일이 생성될 때까지 기다려 다운로드합니다.
  3. 개별 Case에는 구조화된 JSON 복사를 사용할 수 있습니다. 브라우저에서 자동 복사를 차단하면 페이지 안내에 따라 텍스트를 직접 선택하여 복사합니다.

이 버전에서는 기본적으로 현재 필터 결과를 통해 낮은 점수 Case를 내보내며, 낮은 점수 전용 내보내기 메뉴는 별도로 제공하지 않습니다. 일반 복사와 내보내기에는 Trace 단계 상세 정보, 외부 Trace URL, Provider Request ID 또는 도구 파라미터와 결과가 포함되지 않습니다. 이러한 정보가 필요하면 접근 권한이 있는 상세 및 출처 시스템에서 확인합니다.

6. 다음 단계 및 관련 페이지​

사용 설명서 홈으로 돌아가기:

AI 평가 플랫폼

이 문서가 도움이 되었나요?