評価セット
評価セットには再利用可能なテストサンプルを保存します。まずフィールドとCaseを定義し、評価タスクで各フィールドの用途を決定します。
対象者:テストデータの作成、インポート、保守が必要な利用者。確認基準:2026-10-30時点のプロジェクト実装。デプロイ済み環境の操作入口は、バージョンや権限によって異なる場合があります。
検索キーワード:Dataset、Case、CSV、XLSX、JSONL、フィールド、データバージョン。
1. 空の評価セットを作成する
- 「評価セット」を開き、「評価セットを新規作成」をクリックします。名前と任意の説明を入力し、「評価セットを作成」をクリックします。
- 詳細の「フィールド」ページで「フィールドを追加」をクリックし、名前を入力してタイプを選択します。「追加フィールドを保存」をクリックします。
- 「サンプル」ページを開き、「サンプルを追加」をクリックします。フィールドに従ってデータを入力し、「追加サンプルを保存」をクリックします。先にフィールドを保存してから、対応するサンプルを追加してください。
| フィールドタイプ | 入力方法 |
|---|---|
| TEXT | テキスト。質問、参考回答、シナリオタグに適しています。 |
| NUMBER | 有効な数値。数値列に通常のテキストを直接入力することはできません。 |
| BOOLEAN | trueまたはfalse。編集画面では選択肢から選択できます。 |
| JSON | 有効なJSONオブジェクト、配列、値。 |
| DATE | 画面の要件に従って有効な日付を入力します。テキストの検証形式はYYYYMMDDです。 |
| TIME | HH:mm:ss形式で有効な時刻を入力します。 |
2. ファイルからインポートする
- 「評価セットをインポート」をクリックし、名前と説明を入力して、CSV、XLSX、JSONLのいずれかのファイルを選択します。
- ファイルを確認したら「インポートを開始」をクリックします。送信の成功は非同期処理の開始を意味するだけです。詳細画面でインポートの完了を待ってください。
- 認識されたフィールド、タイプ、サンプル数を確認します。インポートに失敗した場合は問題の説明を確認してください。行ごとのエラーレポートが提供されている場合は、レポートをダウンロードしてファイルを修正し、再度インポートします。
1ファイルあたり最大50 MiB、サンプル数は最大100000件、フィールド数は最大200個です。CSVはUTF-8エンコーディングを使用し、先頭行には空でなく重複しないフィールド名を指定してください。各行の列数は統一してください。JSONLの空でない各行は独立したJSONオブジェクトとし、同じオブジェクト内でキーを重複させないでください。数値、ブール値、構造化タイプを保持する場合は、JSONLを優先し、インポート結果を確認してください。
「汎用動的フィールド」では、固定の業務列は必須ではありません。AgentタスクケースV1の検証では、case_idとpromptが必須です。利用バージョンの画面にケース仕様の選択肢がある場合のみ、該当する仕様を選択してください。汎用ファイルに対して一律にpromptを必須としないでください。
3. フィールドとサンプルを編集する
- 「フィールド」ページで、フィールドの名前変更、順序調整、削除を行います。追加するフィールドはまずローカルの下書きとして保持し、確認後に保存します。
- 「サンプル」ページでCaseの追加、編集、削除を行います。フィールド領域とサンプル領域は別々に保存します。一方を保存しても、もう一方の下書きは自動的に送信されません。
- 一括追加では1件ずつ送信します。一部のみ成功した場合、保存済みの内容は保持されます。重複して追加しないよう、残りの下書きのみを処理してください。
フィールドやサンプルを削除する前に内容を確認してください。過去のタスクには固定されたスナップショットが使用され、作業コピーを変更しても過去の評価は変わりません。複数人の同時編集で競合が発生した場合は、自分の入力を保持してから画面を更新し、最新の内容を確認してください。
4. 作業コピーとバージョンを理解する
作業コピーは継続して編集するためのものです。有効な保存が行われると、読み取り専用バージョンが生成されます。新しいタスクは、未保存のローカルの下書きではなく、リリース済みバージョンにバインドされます。「バージョン履歴」でバージョン番号、リリース時間、固定された内容を確認できます。実質的な変更がなければ、新しいバージョンは重複して生成されません。
「変更は保存されましたが、バージョンのリリースに失敗しました」と表示された場合は、「バージョンのリリースを再試行」を使用してください。データは保存済みのため、フィールドやサンプルを重複して追加しないでください。その後の保存で古いバージョンが上書きされたり、過去のRunが更新されたりすることはありません。
5. エクスポートと参照の確認
- 詳細画面で「エクスポート」をクリックし、CSVまたはJSONLを選択します。バックグラウンドでのファイル生成を待ち、ダウンロードします。構造化フィールドの意味を保持する必要がある場合は、JSONLを優先してください。
- 「参照履歴」を開き、この評価セットを使用するタスクを確認します。該当タスクで結果と固定されたバージョンを確認してください。
リストでは名前による検索とステータスによる絞り込みができます。評価セットを削除すると回収状態になりますが、過去の結果は保持されます。ただし、画面に復元の入口があることを意味しません。AI Monitorからのオンラインインポートは、現在、本バージョンのデフォルトの操作入口として公開されていません。
6. 次のステップと関連ページ
- データを評価に使用:評価タスクの作成とフィールド照合。
- 編集できない、表示されない場合の対処:権限とメンバー。
マニュアルのホームに戻る:

