본문으로 건너뛰기

AI 평가 플랫폼

최근 업데이트 2026. 10. 30.

AI 평가 플랫폼은 팀이 Agent, 대규모 언어 모델 또는 기존 답변의 품질을 일괄 검증하도록 지원합니다. 평가 세트로 예시를 준비하고, LLM Judge 평가기로 기준을 정의한 다음, 평가 작업을 생성하여 실행하고 점수, 사유 및 실행 증거를 확인합니다.

대상 사용자: 업무 테스트 담당자, Agent / 모델 유지 관리 담당자, 평가 규칙 유지 관리 담당자 및 프로젝트 관리자. 이 설명서는 독자의 작업을 기준으로 구성되어 있으며, 각 주제에 고정된 진입점을 제공합니다. 다른 모듈의 내용은 관련 페이지에서 이어서 읽을 수 있습니다.

초판 확인 날짜: 2026-10-30. 이 내용은 프로젝트의 현재 제품 자료, 페이지 구현 및 권한 규칙을 기준으로 작성되었습니다. 배포된 버전은 다를 수 있으므로 실제 사용 가능한 진입점은 해당 버전과 대조해야 합니다.

1. 처음 사용하기​

빠른 시작에서 최소 구성으로 평가를 한 번 완료한 다음, 필요에 따라 온라인 Agent 또는 대규모 언어 모델로 전환합니다.

2. 목적에 따라 시작하기​

3. 자주 사용하는 진입점​

4. 주요 객체 이해하기​

객체해결하는 문제
평가 세트 / Case어떤 데이터로 평가할지 정의합니다. Case는 하나의 예시입니다.
모델 / Agent 설정호출할 서비스와 사용할 인증 정보 및 파라미터를 정의합니다.
평가기 / LLM Judge평가 규칙을 정의합니다. 항상 Score(0—1)와 Reason을 반환합니다.
작업 버전 / Run설정의 저장 방식과 특정 실제 실행의 상태, 스냅샷 및 결과를 나타냅니다.

5. 설명 찾기​

데이터 가져오기와 버전은 평가 세트, 평가 규칙, 템플릿 및 보정은 평가기, 입력 템플릿, 필드 바인딩 및 실행 결과는 평가 작업, 서비스 연결과 자격 증명은 연동 설정, 공유와 멤버 관리는 권한 및 멤버를 참고합니다. 인터페이스 경로는 강조 표시되어 있습니다. 데모 필드 이름과 수치는 시스템에 내장된 비즈니스 규칙을 나타내지 않습니다.

6. 이 버전의 범위와 결과의 한계​

  • Agent, 대규모 언어 모델 및 사전 설정 결과의 세 가지 평가 대상을 지원하며, 고정 주기의 예약 평가를 지원합니다.
  • 평가 실패와 점수 없음은 0점과 다릅니다. 평균 점수는 유효한 평가 점수만으로 계산합니다.
  • 게시된 리소스 버전과 Run 스냅샷은 과거 사실을 보존하는 데 사용됩니다. 이후 편집해도 과거 결과가 자동으로 변경되지 않습니다.
  • 실행 궤적은 이번 평가에서 실제로 수집한 증거만 설명하며, 전체 모델 추론이나 범용 온라인 관측 플랫폼을 제공하지 않습니다.
  • 현재 기본 페이지에는 AI Monitor 가져오기 및 데이터 수집 설정 진입점이 공개되어 있지 않습니다. Azure 모델 생성과 OpenCode Agent 생성도 이 버전의 작업 진입점에 포함되지 않습니다.
  • 자동 배포 게이트, 범용 수동 검토, Code Evaluator 또는 자동 버전 간 비교는 제공하지 않습니다.

상위 설명서: Agentic Engine.

이 문서가 도움이 되었나요?