manuallatest제품 매뉴얼 / 신뢰도 및 보정
신뢰도 및 보정
과거 호출 신호와 예상 점수가 알려진 예시로 평가기의 안정성과 비즈니스 평가 기대에 부합하는지 판단합니다. 결과는 위험을 알리는 데 사용됩니다.
대상 사용자: 평가기를 편집할 권한이 있는 규칙 유지 관리 담당자. 확인 기준: 2026-10-30 프로젝트의 현재 구현. 배포된 환경의 진입점은 버전과 권한에 따라 다를 수 있습니다.
검색 키워드: Golden Case, 예시 라이브러리, 예상 점수, 허용 오차, 평가 편차, 신뢰도.
1. 실행 안정성 확인
- 평가기 상세를 열고 신뢰도 및 보정으로 이동합니다.
- 최근 30일의 호출 및 파싱 성과, 최종 상태에 도달한 평가 횟수, 호출 성공률, 재시도 및 지연을 확인합니다.
- 관측 데이터 없음과 실패를 구분합니다. 평가 기록이 없다고 성공률이 0인 것은 아니며, 평가기의 신뢰성을 입증할 수도 없습니다.
2. 보정 예시 추가
- 예시 라이브러리에서 예시 추가를 클릭합니다. 처음 추가할 때 시스템이 내부 예시 라이브러리를 자동으로 준비하므로 보정 모음을 직접 생성할 필요가 없습니다.
- 테스트 변수(JSON) 필드에 현재 Prompt에 필요한 모든 변수와 준비한 질문, 답변 및 참조 내용을 입력합니다.
- 0—1 사이의 예상 점수와 허용 오차를 입력합니다. 저장 후 저장된 리스트에 예시가 표시되는지 확인합니다.
- 높은 점수, 낮은 점수 및 경계 예시를 각각 준비하는 것이 좋습니다. 양식에서 아직 저장하지 않은 내용은 보정에 참여하지 않습니다.
변수 예시:
{"input":"모든 주문을 환불할 수 있나요?","output":"모든 주문을 조건 없이 환불할 수 있습니다.","reference_output":"주문 조건과 환불 규칙에 따라 판단해야 하며, 모든 주문을 환불할 수 있는 것은 아닙니다."}
예를 들어 예상 점수가 0이고 허용 오차가 0.1이면, 실제 점수와 예상 점수의 절대 차이가 0.1 이하여야 해당 예상을 충족합니다. 이 수치는 데모용이며 비즈니스 규칙에 따라 정해야 합니다.
3. 실행 및 결과 해석
- 보정 실행을 클릭하고 현재 보정이 끝날 때까지 기다립니다. 실행 중에는 중복 제출하지 마십시오.
- 각 예시의 예상 점수, 실제 점수, 편차, 허용 오차 및 Reason을 확인합니다. 편차 한도 초과와 실행 오류를 구분합니다.
- 먼저 주의가 필요한 예시만 보기로 문제를 찾은 다음 전체 결과를 확인합니다. 파싱 성공률, 기대 일치 통과율, 평균 절대 오차 및 최대 절대 오차를 종합하여 평가 규칙을 조정합니다.
- 모델이나 Prompt를 수정한 후 다시 보정합니다. 과거 보정에 만료 알림이 표시되면 이전 결과를 현재 설정의 검증 결론으로 계속 사용하지 마십시오.
4. 유지 관리 및 한계
예시를 삭제하기 전에 선택한 항목을 확인합니다. 삭제 후에는 이후 보정에 참여하지 않지만 기존 보정 기록에는 영향을 주지 않습니다. 소수의 예시가 통과했다는 사실은 해당 예시에서의 성과만 나타내며, 모든 상황을 포괄한다고 입증할 수는 없습니다. 보정은 평가 작업을 차단하지 않으며 Agent 게시 여부를 자동으로 결정하지도 않습니다. 범용 수동 라벨링 플랫폼은 아닙니다.
5. 다음 단계 및 관련 페이지
- Prompt 또는 모델 조정: 평가기.
- 실제 평가에서 점수 산출 실패 확인: 결과 및 실행 궤적 보기.
사용 설명서 홈으로 돌아가기:
이 문서가 도움이 되었나요?

