manuallatest제품 매뉴얼 / 빠른 시작
빠른 시작
최소 예시로 예시 준비부터 평가 결과 확인까지 첫 평가를 완료합니다. 처음 사용할 때는 사전 설정 결과를 먼저 사용하고, 평가 흐름에 익숙해진 후 온라인 Agent를 연동하는 것이 좋습니다.
대상 사용자: 플랫폼을 처음 사용하는 업무 담당자 및 테스트 담당자. 확인 기준: 2026-10-30 프로젝트의 현재 구현. 배포된 환경의 진입점은 버전과 권한에 따라 다를 수 있습니다.
검색 키워드: 입문, 로그인, 프로젝트 선택, 첫 평가, 사전 설정 결과.
1. 로그인 및 프로젝트 확인
- 사용 중인 환경의 Agent 평가 진입점에서 시작합니다. TE SSO 환경에서는 페이지 안내에 따라 로그인합니다. 프로젝트 선택 페이지가 표시되면 권한이 있는 프로젝트를 직접 선택합니다.
- 접근할 수 있는 프로젝트가 없으면 계정 전환을 사용하거나 관리자에게 문의하여 권한 부여 여부를 확인합니다. 프로젝트를 선택하기 전에는 평가 비즈니스 데이터를 로드하지 않습니다.
- 진입 후 평가 세트, 평가기, 평가 작업 및 연동 설정이 표시됩니다. 관리자에게는 사용자 관리도 표시됩니다.
2. 최소 평가 세트 준비
다음은 데모 데이터이며 플랫폼에 내장된 비즈니스 규칙을 나타내지 않습니다. 내용을 first-evaluation.csv와 같은 UTF-8 CSV 파일로 저장합니다.
question,answer,reference_answer
"7일 이내에 환불을 신청할 수 있나요?","조건에 부합하는 주문은 7일 이내에 환불을 신청할 수 있습니다.","조건에 부합하는 주문은 7일 이내에 환불을 신청할 수 있습니다."
"모든 주문을 환불할 수 있나요?","모든 주문을 조건 없이 환불할 수 있습니다.","모든 주문을 환불할 수 있는 것은 아니며, 주문 조건과 환불 규칙에 따라 판단해야 합니다."
- 평가 세트로 이동하여 평가 세트 가져오기를 클릭하고 이름을 입력한 후 예시 CSV를 업로드하고 가져오기 시작을 클릭합니다.
- 상세로 이동하여 가져오기가 완료될 때까지 기다린 다음 필드와 두 개의 예시를 확인합니다. 버전 기록에서 게시된 버전이 있는지 확인합니다. 이후 설정에서는 실제 필드 키를 기준으로 합니다.
3. 평가용 모델과 평가기 준비
- 먼저 연동 설정 → 모델에서 호출 가능한 평가용 모델을 준비합니다. 프로젝트에 이미 사용 가능한 모델이 있으면 바로 재사용할 수 있습니다. TE SSO의 AE Agent 모델은 현재 로그인 자격 증명을 자동으로 사용합니다.
- 평가기로 이동하여 생성을 클릭하고 이름을 입력하여 생성한 다음 상세 페이지로 이동합니다.
- 평가용 모델을 선택하고 아래 Prompt를 입력한 다음 자동 추출된 변수를 확인하고 평가기 저장을 클릭하여 게시된 버전이 생성되었는지 확인합니다.
평가할 답변이 참조 답변에 부합하는지 판단합니다.
질문: {{input}}
평가할 답변: {{output}}
참조 답변: {{reference_output}}
점수: 완전히 부합하면 1, 일부 부합하면 0.5, 명백히 모순되면 0입니다.
JSON만 반환합니다: {"Score": 0에서 1 사이의 숫자, "Reason": "평가 근거 설명"}
4. 생성 및 실행
- 평가 작업 → 새 평가 작업으로 이동하여 현재 프로젝트에서 아직 사용하지 않는 작업 이름을 입력합니다.
- 평가 대상으로 사전 설정 결과를 선택하고 앞서 준비한 평가 세트와 게시된 버전을 선택합니다.
- 앞서 준비한 평가기와 게시된 버전을 선택하고 매핑을 완료합니다. input은 질문 필드, output은 기존 답변 필드, reference_output은 참조 답변 필드에 대응합니다.
- 예시 수와 예상 평가 횟수를 확인하고 확인 및 평가 시작을 클릭합니다. 시스템은 평가 대상 Agent를 호출하지 않고 기존 답변을 직접 평가합니다.
5. 완료 여부 확인
작업이 최종 상태에 도달하면 결과를 열어 유효한 평가 점수 수, 평균 점수 및 각 Case의 Score와 Reason을 확인합니다. 설정을 열어 실행 스냅샷을 확인합니다. 첫 평가의 완료 기준은 예시와 평가 기록이 서로 대응하고, 평가 출처를 설명할 수 있으며, 실패 시 구체적인 실패 단계를 찾을 수 있는 것입니다.
예시의 낮은 품질 답변은 문제를 찾는 방법을 보여 주기 위한 것입니다. LLM Judge의 평가에는 불확실성이 있어 매번 완전히 같은 수치가 나온다고 보장하지 않습니다. 익숙해진 후에는 Agent 또는 대규모 언어 모델을 평가 대상으로 사용합니다. 절차는 평가 작업 생성 및 필드 매핑을 참고합니다.
6. 다음 단계 및 관련 페이지
- 정식 데이터 준비: 평가 세트.
- 온라인 평가로 전환: 평가 작업 생성 및 필드 매핑.
- 평가용 모델 설정: 모델.
사용 설명서 홈으로 돌아가기:
이 문서가 도움이 되었나요?

