メインコンテンツまでスキップ

評価セット

最終更新 2026/10/30

評価セットには再利用可能なテストサンプルを保存します。まずフィールドとCaseを定義し、評価タスクで各フィールドの用途を決定します。

対象者:テストデータの作成、インポート、保守が必要な利用者。確認基準:2026-10-30時点のプロジェクト実装。デプロイ済み環境の操作入口は、バージョンや権限によって異なる場合があります。

検索キーワード:Dataset、Case、CSV、XLSX、JSONL、フィールド、データバージョン。

1. 空の評価セットを作成する​

  1. 「評価セット」を開き、「評価セットを新規作成」をクリックします。名前と任意の説明を入力し、「評価セットを作成」をクリックします。
  2. 詳細の「フィールド」ページで「フィールドを追加」をクリックし、名前を入力してタイプを選択します。「追加フィールドを保存」をクリックします。
  3. 「サンプル」ページを開き、「サンプルを追加」をクリックします。フィールドに従ってデータを入力し、「追加サンプルを保存」をクリックします。先にフィールドを保存してから、対応するサンプルを追加してください。
フィールドタイプ入力方法
TEXTテキスト。質問、参考回答、シナリオタグに適しています。
NUMBER有効な数値。数値列に通常のテキストを直接入力することはできません。
BOOLEANtrueまたはfalse。編集画面では選択肢から選択できます。
JSON有効なJSONオブジェクト、配列、値。
DATE画面の要件に従って有効な日付を入力します。テキストの検証形式はYYYYMMDDです。
TIMEHH:mm:ss形式で有効な時刻を入力します。

2. ファイルからインポートする​

  1. 「評価セットをインポート」をクリックし、名前と説明を入力して、CSV、XLSX、JSONLのいずれかのファイルを選択します。
  2. ファイルを確認したら「インポートを開始」をクリックします。送信の成功は非同期処理の開始を意味するだけです。詳細画面でインポートの完了を待ってください。
  3. 認識されたフィールド、タイプ、サンプル数を確認します。インポートに失敗した場合は問題の説明を確認してください。行ごとのエラーレポートが提供されている場合は、レポートをダウンロードしてファイルを修正し、再度インポートします。

1ファイルあたり最大50 MiB、サンプル数は最大100000件、フィールド数は最大200個です。CSVはUTF-8エンコーディングを使用し、先頭行には空でなく重複しないフィールド名を指定してください。各行の列数は統一してください。JSONLの空でない各行は独立したJSONオブジェクトとし、同じオブジェクト内でキーを重複させないでください。数値、ブール値、構造化タイプを保持する場合は、JSONLを優先し、インポート結果を確認してください。

「汎用動的フィールド」では、固定の業務列は必須ではありません。AgentタスクケースV1の検証では、case_idとpromptが必須です。利用バージョンの画面にケース仕様の選択肢がある場合のみ、該当する仕様を選択してください。汎用ファイルに対して一律にpromptを必須としないでください。

3. フィールドとサンプルを編集する​

  1. 「フィールド」ページで、フィールドの名前変更、順序調整、削除を行います。追加するフィールドはまずローカルの下書きとして保持し、確認後に保存します。
  2. 「サンプル」ページでCaseの追加、編集、削除を行います。フィールド領域とサンプル領域は別々に保存します。一方を保存しても、もう一方の下書きは自動的に送信されません。
  3. 一括追加では1件ずつ送信します。一部のみ成功した場合、保存済みの内容は保持されます。重複して追加しないよう、残りの下書きのみを処理してください。

フィールドやサンプルを削除する前に内容を確認してください。過去のタスクには固定されたスナップショットが使用され、作業コピーを変更しても過去の評価は変わりません。複数人の同時編集で競合が発生した場合は、自分の入力を保持してから画面を更新し、最新の内容を確認してください。

4. 作業コピーとバージョンを理解する​

作業コピーは継続して編集するためのものです。有効な保存が行われると、読み取り専用バージョンが生成されます。新しいタスクは、未保存のローカルの下書きではなく、リリース済みバージョンにバインドされます。「バージョン履歴」でバージョン番号、リリース時間、固定された内容を確認できます。実質的な変更がなければ、新しいバージョンは重複して生成されません。

「変更は保存されましたが、バージョンのリリースに失敗しました」と表示された場合は、「バージョンのリリースを再試行」を使用してください。データは保存済みのため、フィールドやサンプルを重複して追加しないでください。その後の保存で古いバージョンが上書きされたり、過去のRunが更新されたりすることはありません。

5. エクスポートと参照の確認​

  1. 詳細画面で「エクスポート」をクリックし、CSVまたはJSONLを選択します。バックグラウンドでのファイル生成を待ち、ダウンロードします。構造化フィールドの意味を保持する必要がある場合は、JSONLを優先してください。
  2. 「参照履歴」を開き、この評価セットを使用するタスクを確認します。該当タスクで結果と固定されたバージョンを確認してください。

リストでは名前による検索とステータスによる絞り込みができます。評価セットを削除すると回収状態になりますが、過去の結果は保持されます。ただし、画面に復元の入口があることを意味しません。AI Monitorからのオンラインインポートは、現在、本バージョンのデフォルトの操作入口として公開されていません。

6. 次のステップと関連ページ​

マニュアルのホームに戻る:

AI評価プラットフォーム

このページは役に立ちましたか?