空間テーブルの作成と管理
概要
空間テーブルはデータ開発プラットフォームのコアアセットで、現在のワークスペースのタスクフローで直接使用できるデータの範囲です。つまり、データ開発プラットフォームの「開発」と「データベーステーブル」で直接作成されたテーブル(Table)またはビュー(View)のことで、開発環境と本番環境に存在します。2環境でのリリース、ライフサイクル管理、ホットデータとコールドデータの分離などの機能に対応しており、マスターデータのストレージに適しています。
5.1バージョンでは、従来の空間テーブル、従来のシステムテーブル、直接接続ビューがまとめて表示されるようになりました。
この章では、空間テーブルの作成・削除・変更・照会の機能について詳しく説明し、空間テーブルの作成とデータベース管理をすぐに使いこなせるようにします。
データベーステーブルを理解する
新しいデータベーステーブルページには、機能切り替えエリア、辞書エリア、タブエリア、ページコンテンツエリア、ドロワーエリアの5つの主要な機能エリアがあります。
各エリアの機能については、データベーステーブルを参照してください
空間テーブルの作成
まず、「データベーステーブル」ページに移動します。このページでは、次の3つの方法で空間テーブルを作成できます:
- 辞書エリア上部の「+ボタン」から作成
- タブエリア末尾の「+ボタン」から作成
- ページコンテンツエリア右上の「+テーブル」ボタンから作成
新規空間テーブルページに進みます
管理モードはデフォルトでスペース-タスクテーブルです。テーブルタイプを選択できます:
- テーブル:物理テーブルのテーブル構造、ストレージ形式、ストレージ方式などを定義できます。
- ビュー:スペースのタスクテーブル、システムテーブル、直接接続ソースなどのベーステーブルに基づいてビューを作成できます。
注:スペースのデータベーステーブルページのコンテンツエリアでは、ビューのアイコンに「👁️」が付いているため、すばやく区別できます。
データベーステーブルでは、作成時はデフォルトで開発環境に入り、リリースして配信を開始すると本番環境に入ります。テーブルまたはビューをリリースした後は、「編集」をクリックして開発環境に切り替えられます。
テーブル(Table)の作成
新規空間テーブルでテーブルタイプに「テーブル」を選択し、「次のステップ」をクリックすると、新規テーブル作成ページ(開発環境)に進みます
モードの切り替え
テーブルは「案内付き」と「DDLモード」の2つの作成方法に対応しています。テーブルのSchemaは相互に解析できます。つまり、案内付きモードでDDLをプレビューすることも、DDLモードで解析してから案内付きモードに戻って再編集することもできます。
- 案内付き とDDL式 は、1つの設定に対する2つの視点で、両者は同じ設定を共有します
- 内部テーブル / 外部テーブルをカスタマイズして作成できます(注意:テーブルを作成すると、テーブルタイプの定義は変更できません)
- 外部テーブルのパスは、一度保存すると変更できません
- DDLモードでは、解析してからでないと案内付きに切り替えられません
テーブルの設定情報
| テーブルの基本情報 | |
|---|---|
| フィールド名 | 説明 |
| 備考 | テーブルの備考情報 |
| ライフサイクル | 現在の空間テーブルの管理可能なライフサイクル |
| 責任者 | その空間テーブルの責任者 |
| 基本情報 | |
| フィールド名 | 説明 |
| テーブル名 | スペース内で一意。小文字のアルファベットで始まり、小文字のアルファベット、数字、アンダースコアを使用でき、長さは80文字以内 |
| タイプ | テーブル、ビュー(ビューは現在選択できません) |
| テーブル説明 | テーブルの表示名 comment |
| テーブル構成 | |
| パーティションタイプ |
|
| ストレージタイプ |
一度リリースすると、テーブルタイプは変更できません |
| ストレージ方式 |
|
| ストレージ形式 | orc、parquet、text、csv、jsonなど、さまざまなストレージ形式に対応しています |
| ストレージパス |
|
注意:テーブルを一度保存すると、テーブルのストレージタイプやストレージパスなどが確定し、変更できなくなります。
カスタムテーブルプロパティ
一部のテーブルプロパティはカスタマイズできます。ホワイトリストは次のとおりです:
"format"
"partitioned_by"
"external_location"
"location"
"bucket_count"
"bucketed_by"
"sorted_by"
"bucketing_version"
このうち、format、partitioned_by、external_location、locationはシステムによって解析されます。
保存方法
- 案内付きを選択した場合:案内付きでフィールドの設定を完了したら、右上の「DDLのプレビュー」ボタンをクリックしてそのテーブルのテーブル作成文を確認し、テーブル構造を確認できます。
- DDLモードを選択した場合:テーブル作成文を書き終えたら、右上の「解析」をクリックし、ページ右下のフィールドエリアでテーブル構造を確認できます。案内付きに戻って手動で修正することもできます。
最後に、空間テーブルの設定が完了したら、ページ右上の「保存のみ」または「リリースして配信開始する」ボタンをクリックして空間テーブルを作成できます。両者の違いは次のとおりです:
- 保存のみ:開発環境の空間テーブルのみを作成します。設定が確定した後で、本番環境の空間テーブルをリリースします
- リリースして配信開始する:開発環境と本番環境の空間テーブルを同時に作成します。保存とリリースを同時に行うのと同じで、すべての設定が完了してから行うのに適しています。
ビュー(View)の作成
AE TrinoにマウントしたカスタムCatalog内のテーブルをベーステーブルとして、ワークスペースで使用できるビューを作成できます。ビューは、タスクフローでのクエリやAE分析モジュールへの権限付与など、開発プラットフォームのさまざまなモジュールで使用できます。
ビューは個別作成と一括作成の2つの方法に対応しています。
個別作成
新規空間テーブルでテーブルタイプに「ビュー」を選択し、「次のステップ」をクリックします
新規ビュー作成ページ(開発環境)に進みます:
ビューは次の2つの方法で作成できます:
-
テーブル作成文を直接入力して作成し、「デバッグ」をクリックします
-
右上の「辞書」ボタンをクリックし、補助機能を使って文を作成します
- 辞書エリアでデータカタログ、ソースデータベース、ソーステーブルを選択します(またはテーブルの完全修飾名を入力して解析します)
注:データカタログのドロップダウンメニューには、直接接続に使用できるCatalogの表示名(設定時に定義できます)、Catalogのタイプ、対応するロゴが表示されます。直接接続したいCatalogがドロップダウンメニューに表示されない場合は、ThinkingAIの担当者に連絡して設定してもらってください。
- 続けて必要なフィールドにチェックを入れ、「テーブルフィールド」の右上にある「クエリ文を生成」をクリックすると、文が自動的にクリップボードにコピーされます。または、「テーブル作成文を生成」をクリックしてクリップボードにコピーし、テーブル作成文のIDEに貼り付けてデバッグします
デバッグに成功すると、確認用にフィールドプレビュー、データプレビュー、ソースのベーステーブルが表示されます。
より複雑なビュー構造は、SQL文を記述して実現できます。
最後に、そのビューの名前を変更する必要があります。生成された文ではデフォルトでVIEW + ソーステーブル名になっているため、必要に応じて文の中で変更してください
注意:新規作成したビューもそのワークスペースの空間テーブルになるため、既存の空間テーブルと同じ名前にすることはできません。
以上の操作がすべて完了したら、ページ右上の「保存のみ」または「リリースして配信開始する」ボタンをクリックしてビューを作成できます。両者の違いは次のとおりです:
- 保存のみ:開発環境の空間テーブルのみを作成します。設定が確定した後で、本番環境の空間テーブルをリリースします
- リリースして配信開始する:開発環境と本番環境の空間テーブルを同時に作成します。保存とリリースを同時に行うのと同じで、すべての設定が完了してから行うのに適しています。
一括作成
現在、ビューの一括リリース、一括削除などの操作に対応しています。
このバージョンでは、「直接接続管理」でさらに操作する必要があります。直接接続ビューの一括作成を参照してください
データベース管理
ページコンテンツエリアには、現在のワークスペースにあるすべての空間テーブル(テーブルとビュー)が表示され、テーブルをすばやく見つけて効率よく使うための豊富な操作機能も用意されています。
- 上部の「漏斗」ボタンをクリックしてフィルターできます。現在対応しているフィルター条件は次のとおりです:
- 変更あり
- 私が担当している
- もうすぐ期限切れ
- 未リリース
- 管理モード:スペース-タスクテーブル、空間-IDEテーブル、システムテーブル、外部空間権限付与テーブル
- テーブルタイプ:物理テーブル、ビュー
- 所属主体
- 責任者
- 一括操作を実行できます:
リスト右上の「バッチ操作」ボタンにマウスを合わせると、一括操作メニューが展開されます。現在、一括更新、一括リリース、一括回収の操作に対応しています。
いずれかの一括操作を選択すると、その操作を実行できる空間テーブルがリストに表示されます。
注:ビューはライフサイクルの更新が不要です
- 「検索」機能でテーブル名やテーブル説明を検索して、対象の空間テーブルを見つけることもできます
空間テーブルの詳細ページ
データベース管理のページコンテンツエリアでは、次の2つの方法で空間テーブルの詳細情報を確認できます:
- 対象の空間テーブルの空白部分をクリックするとドロワーエリアが表示され、プレビュー、更新、回収のほか、一部の基本情報(テーブル説明、責任者、備考)をすばやく編集できます。「編集」をクリックすると詳細ページに進みます。
- データテーブル名をクリックすると詳細ページに進みます。テーブルタイプや状態によって表示されるページは異なります。標準的な空間テーブルの場合、詳細ページには次の主要な情報が含まれます:
- 基本情報:テーブル名、所属環境、倉庫、データカタログ、データベースなど
- フィールド構造:列名、タイプ、コメント
- DDL文:テーブル作成文
- データプレビュー:先頭N行のデータ
- パーティションの詳細(パーティションテーブルの場合):パーティションのデータ量とストレージサイズ
その他のテーブルタイプでは、表示されるフィールドが異なる場合があります。
Hive外部パーティションテーブルの場合は、パーティションの自動同期または手動同期も設定できます。具体的な操作はパーティションテーブルの同期を参照してください。
- テーブル管理の表示内容は次のとおりです:
| カラム名 | 説明 |
|---|---|
| テーブル名 | 空間テーブルのテーブル名。クリックすると空間テーブルの詳細ページに進みます |
| テーブル説明 | ユーザーが定義したテーブルの説明 |
| 倉庫名 | 空間テーブルが属する倉庫の名前 |
| データカタログ名 | 空間テーブルが属するデータカタログの名前 |
| データベース名 | 空間テーブルが属するデータベースの名前 |
| オンライン状態 | 空間テーブルのリリース状態。「オンライン」と「未リリース」の2種類があります |
| 管理モード | デフォルトはスペース-タスクテーブル |
| 関連タスク名 | 空間テーブルに関連付けられたタスク |
| 所属主体名 | 空間テーブルが属するスペース主体 |
| ストレージタイプ | 内部テーブルまたは外部テーブル |
| ストレージ形式 | 空間テーブルのストレージ形式(例:ORC) |
| ストレージ方式 | 空間テーブルのストレージ方式(例:HDFS) |
| ストレージパス | 空間テーブルのストレージパス |
| ライフサイクル状態 | 空間テーブルのライフサイクルの状況。「正常」と「もうすぐ期限切れ」の2種類の状態があり、フィルターできます(残りのライフサイクル日数が7日未満のテーブルは「もうすぐ期限切れ」状態になります。ただし、そのテーブルのライフサイクル日数の上限が7日未満の場合は、常に「もうすぐ期限切れ」状態になります) |
| ライフサイクル日数 | 更新できます |
| 責任者 | 空間テーブルの責任者 |
| 備考 | ユーザー定義の備考です |
| 作成者 | 空間テーブルの作成者 |
| 作成日時 | 空間テーブルの作成時刻 |
| 最終発行者 | 空間テーブルの最終発行者 |
| 最終発行時刻 | 空間テーブルの最終リリース時刻 |
| フィールドプレビュー | 空間テーブルのフィールドリスト |
| DDL | 空間テーブルに対応するDDL文 |
| データプレビュー | 空間テーブル内のデータを表示します。リフレッシュに対応しています |
| 使用シーン(デフォルトでは非表示) | その空間テーブルを、アプリケーションモジュールのどのシーンで使用できるか |
| 作成日時(デフォルトで非表示) | 空間テーブルの作成時刻 |
| 操作-編集 | クリックすると空間テーブルの編集ページに進みます |
| 操作-更新 | クリックすると、空間テーブルを手動で更新し、ライフサイクル日数をリフレッシュできます |
| 操作-リリース | クリックすると、変更があるか未リリースの空間テーブルをリリースできます |
| 操作-回収 | クリックすると、その空間テーブルを回収できます。回収された空間テーブルは空間テーブルのゴミ箱で確認でき、ゴミ箱で復元または完全に削除できます |
- ビュー管理の表示内容は次のとおりです:
| カラム名 | 説明 |
|---|---|
| ビュー名 | 作成したビューの名前。ジャンプボタンをクリックすると、ビューの詳細ページに進みます |
| テーブル説明 | ユーザーが定義したビューの説明 |
| 倉庫名 | 空間テーブルが属する倉庫の名前 |
| データカタログ名 | 空間テーブルが属するデータカタログの名前 |
| データベース名 | 空間テーブルが属するデータベースの名前 |
| オンライン状態 | ビューのリリース状態。「オンライン」と「未リリース」の2種類があります |
| 管理モード | デフォルトはスペース-タスクテーブル |
| 責任者 | ビューの責任者 |
| 備考 | ユーザー定義の備考です |
| ライフサイクル状態 | 空間テーブルのライフサイクルの状況。ビューはデフォルトで「正常」 |
| 作成者 | 空間テーブルの作成者 |
| 作成日時 | 空間テーブルの作成時刻 |
| 最終変更者 | 空間テーブルの最終変更者 |
| 最終修正時間 | 空間テーブルの最終変更時刻 |
| フィールドプレビュー | 空間テーブルのフィールドリスト |
| DDL | 空間テーブルに対応するDDL文 |
| データプレビュー | 空間テーブル内のデータを表示します。リフレッシュに対応しています |
| ソースのベーステーブル | ソースのベーステーブルの完全修飾名。クリックするとテーブルの詳細ページに進みます |
| 操作-編集 | クリックすると直接接続ビューの編集ページに進みます |
| 操作-リリース | クリックすると、未リリースの直接接続ビューをリリースできます |
| 操作-回収 | クリックすると、その直接接続ビューを回収できます。回収されたビューは「開発」モジュールの空間テーブルのゴミ箱で確認でき、復元または完全に削除できます |

