manuallatest製品マニュアル / 信頼性とキャリブレーション
信頼性とキャリブレーション
過去の呼び出し状況と期待スコアが既知のサンプルを使い、評価器が安定しているか、業務上の採点の期待に合っているかを判断します。結果はリスクの提示に使用します。
対象者:評価器の編集権限を持つルール保守担当者。確認基準:2026-10-30時点のプロジェクト実装。デプロイ済み環境の操作入口は、バージョンや権限によって異なる場合があります。
検索キーワード:Golden Case、サンプルライブラリ、期待スコア、許容誤差、スコアの偏差、信頼性。
1. 実行の安定性を確認する
- 評価器の詳細を開き、「信頼性とキャリブレーション」に移動します。
- 直近30日間の呼び出しと解析の状況、最終状態に達した採点回数、呼び出し成功率、再試行、遅延を確認します。
- 「観測データなし」と失敗を区別してください。採点記録がないことは成功率が0であることを意味せず、評価器の信頼性を証明するものでもありません。
2. キャリブレーション用サンプルを追加する
- 「サンプルライブラリ」で「サンプルを追加」をクリックします。初回の追加時に内部サンプルライブラリが自動で用意されるため、キャリブレーションスイートを手動で作成する必要はありません。
- 「テスト変数(JSON)」に、現在のPromptに必要なすべての変数と、用意した質問、回答、参考内容を入力します。
- 0—1の期待スコアと許容誤差を入力します。保存後、サンプルが保存済みリストに表示されることを確認します。
- 高スコア、低スコア、境界に相当するサンプルをそれぞれ用意することを推奨します。フォーム内の未保存の内容はキャリブレーションの対象になりません。
変数の例:
{"input":"すべての注文を返金できますか?","output":"すべての注文を無条件で返金できます。","reference_output":"注文条件と返金ルールに基づいて判断する必要があり、すべての注文を返金できるわけではありません。"}
たとえば期待スコアが0、許容誤差が0.1の場合、実際のスコアと期待スコアの差の絶対値が0.1以下であれば、そのサンプルの期待に合致します。この数値はデモ用です。実際の値は業務ルールに基づいて決定してください。
3. 実行して結果を解釈する
- 「キャリブレーションを実行」をクリックし、現在のキャリブレーションが終了するまで待ちます。実行中は重複して送信しないでください。
- 各サンプルの期待スコア、実際のスコア、偏差、許容誤差、Reasonを確認します。「偏差の許容範囲超過」と「実行エラー」を区別してください。
- まず「要確認サンプルのみ表示」で問題を特定してから、すべての結果を確認します。解析成功率、期待値との一致率、平均絶対誤差、最大絶対誤差を踏まえて評価ルールを調整します。
- モデルやPromptを変更した後は、再度キャリブレーションを実行してください。過去のキャリブレーションに期限切れの表示がある場合、古い結果を現在の設定の検証結果として使用しないでください。
4. 保守と限界
サンプルを削除する前に選択内容を確認してください。削除後は以降のキャリブレーションの対象から外れますが、既存のキャリブレーション記録には影響しません。少数のサンプルが合格しても、そのサンプルでの性能を示すだけであり、すべてのシナリオを網羅したことにはなりません。キャリブレーションは評価タスクをブロックせず、Agentをリリースするかどうかを自動的に決定することもありません。汎用的な手動アノテーションプラットフォームではありません。
5. 次のステップと関連ページ
- Promptやモデルを調整:評価器。
- 実際の評価での採点失敗を確認:結果と実行トレースの確認。
マニュアルのホームに戻る:
このページは役に立ちましたか?

