パーティションテーブルの同期
パーティションテーブルの同期は、外部ストレージで検出できるパーティションを、空間テーブルのパーティションメタデータに反映するための機能です。自動同期を有効にすると、システムが定期的にパーティションの変化をチェックします。テーブル詳細から、現在の環境に対して同期を即時に1回実行することもできます。
機能説明と適用範囲
パーティション同期は、データ開発プラットフォームの「データベーステーブル」にあるHive外部パーティションテーブルに適用されます。対象テーブルは、以下の条件をすべて満たす必要があります：
- 管理モードが「スペース-タスクテーブル」であること
- ストレージタイプが「外部テーブル」であること
- パーティションタイプが「セグメント化テーブル」で、パーティションフィールドを1つ以上含むこと。
内部テーブル、非パーティションの外部テーブル、ビューには、自動同期の設定や手動同期の入口は表示されません。手動同期を行うには、現在のユーザーにデータベーステーブルの編集権限も必要です。
パーティションの自動同期化を有効にする
条件を満たす外部パーティションテーブルを作成すると、「パーティションの自動同期化」はデフォルトで有効になります。後からテーブルを編集する際に、この設定を変更することもできます。
- データ開発プラットフォーム > データベーステーブルに移動し、外部パーティションテーブルを作成するか、既存の外部パーティションテーブルを開いて編集をクリックします。
- 案内付きで編集する場合は、高度設定を展開します。DDLで編集する場合は、ストレージ設定エリアを探します。
- パーティションの自動同期化のチェックを入れるか、外します。
- 保存のみまたはリリースして配信開始するをクリックして、設定を反映させます。
自動同期の設定は、開発環境と本番環境で共通です。有効にすると、システムが両方の環境のパーティションの変化を定期的にチェックします。無効にしても、パーティションを手動で同期できます。
同期ステータスの確認
- データ開発プラットフォーム > データベーステーブルに移動し、確認したい外部パーティションテーブルを開きます。
- ページ上部で開発環境または本番環境を選択します。
- セグメントタブを開きます。
ページには、自動同期が有効かどうかと、現在の環境で最後に行われた同期の成功または失敗の結果、およびその開始時間が表示されます。同期に失敗した場合は、ヒントアイコンにマウスを合わせると失敗の原因を確認できます。
開発環境と本番環境では、最新の同期結果がそれぞれ個別に管理されます。環境を切り替えると、パーティション一覧と同期ステータスも切り替わりますが、自動同期の設定は変わりません。
パーティションの手動同期
現在の環境のパーティションをすぐに更新したい場合は、テーブル詳細のセグメントタブで今すぐ同期をクリックします。
送信に成功すると、ページに「パーティション同期を送信しました」と表示され、ボタンが「同期中」に変わります。このメッセージはシステムがリクエストを受け付けたことを示すもので、同期が完了したことを意味するものではありません。同期が終わると、ページの表示は「最新の同期に成功しました」または「最新の同期に失敗しました」に更新され、現在の環境のパーティション一覧も更新されます。
手動同期では、ページで現在選択している環境のみが処理されます。自動同期を無効にしても、手動同期には影響しません。データベーステーブルの編集権限がない場合、ページに「今すぐ同期」は表示されません。そのテーブルで同期タスクがすでに実行中の場合は、現在のタスクが終了するまで待ってから再試行してください。
同期ルールと注意事項
| ルール | 説明 |
|---|---|
| 同期範囲 | 同期では、外部ストレージに新しく追加されたパーティションを登録し、外部ストレージにもう存在しないパーティションのメタデータを削除します。 |
| データファイル | 同期で調整されるのはパーティションメタデータのみで、外部ストレージ内のデータファイルの移動、変更、削除は行いません。 |
| 環境 | 自動同期の設定は開発環境と本番環境で共通です。最新の結果とパーティション一覧は環境ごとに表示されます。手動同期は現在の環境にのみ適用されます。 |
| 実行タイミング | 自動同期の設定を保存しても、すぐには同期は実行されません。すぐにパーティションを更新したい場合は、「今すぐ同期」をクリックしてください。 |
| 成功時の結果 | 同期の成功は、現在検出できるパーティションディレクトリとパーティションメタデータが一致したことを示すもので、外部データの書き込みが完了したことや、データが必ず読み取れることを意味するものではありません。 |
パーティション同期では、外部ストレージにもう存在しないディレクトリに対応するパーティションメタデータが削除される場合があります。手動同期を実行する前に、外部への書き込みが完了していること、および対象ディレクトリにプラットフォームから正常にアクセスできることを確認してください。