MaxComputeデータソースの構成
MaxComputeデータソースは、オフライン同期でAlibaba Cloud MaxComputeのテーブルデータを読み取り、プラットフォームのプリセットデータウェアハウスに書き込むために使用します。このドキュメントでは、接続設定、読み取り元のSchemaとパーティション、フィールドマッピング、対応するフィールドタイプ、同期の検証、ワークフロースケジュールについて説明します。
使用制限と事前準備
構成を始める前に、以下の事項を確認してください。
- MaxComputeはデータの読み取り元としてのみ使用でき、データの流向はプラットフォームのプリセットデータウェアハウスです。このプランによるMaxComputeへの書き戻しや、他の外部データソースへの直接書き込みはサポートしていません。
- MaxComputeプロジェクトの End Point、プロジェクト名、および接続に使用する Access Key Id と Access Key Secret を用意してください。
- 接続アカウントには、プロジェクトへのアクセス、テーブルとそのメタデータの表示、および同期するテーブルまたはパーティションの読み取り権限が必要です。プロジェクト管理者に、実際の読み取り範囲に応じた権限を付与してもらってください。MaxComputeの権限についてを参照してください。
- カスタムSchema内のテーブルを読み取る前に、読み取り元のProjectがSchemaに対応していることを確認し、接続アカウントに該当するSchemaとテーブルへのアクセス権限を付与してください。読み取り元の準備方法は、MaxComputeのSchema操作を参照してください。
- プロジェクトでダウンロード権限制御が有効な場合は、プロジェクトの要件に従って、対応するTunnelダウンロード権限も付与する必要があります。ダウンロード権限制御を参照してください。
- プラットフォームの実行環境から、構成したMaxComputeサービスアドレスにアクセスできる必要があります。プロジェクトにIP許可リストが設定されている場合は、プラットフォームサーバーの実際の外向きIPを確認してください。
- プリセットデータウェアハウス内の目標テーブルを事前に用意し、フィールドのタイプとパーティション定義を確認してください。作成方法はスペーステーブルの作成と管理を参照してください。
| 環境の構成方法 | 設定要件 |
|---|---|
| 環境を区別しない | 開発環境と本番環境で、プロジェクトと認証情報の構成を1組共用 |
| 独立環境構成 | 開発環境と本番環境を個別に構成し、両方の構成から、プランで選択した同名のSchema、テーブル、パーティションにアクセスできるようにする |
データプレビューには開発環境の構成を、手動実行には本番環境の構成を使用します。両方の構成について、プロジェクト、テーブルの権限、ネットワークアクセスをそれぞれ確認してください。
MaxComputeのオブジェクト階層は Project > Schema > Table です。Projectはデータソース接続で構成し、Schemaとテーブルは同期プランで選択します。同じProject内でも、異なるSchemaには同名のテーブルが存在する場合があります。Schemaも併せて確認し、読み取り対象を特定してください。従来の2階層構造のProjectでは、プラットフォーム上の論理的な default を選択して既存のテーブルを読み取ります。default を選択しても、そのProjectがカスタムSchemaに対応するプロジェクトへアップグレードされるわけではありません。
Access Key Secretは安全な方法で引き渡し、スクリーンショット、ログ、公開ドキュメントに認証情報が露出しないようにしてください。認証情報の変更やプロジェクト権限の調整後は、データソース接続と同期プランを再度検証してください。
MaxComputeデータソースの作成
- データ開発プラットフォーム > 連携 > データソース に移動し、+ データソース をクリックします。
- MaxCompute を選択して 次へ をクリックし、データソース名と備考を入力します。
- 環境を区別しない または 独立環境構成 を選択します。独立環境構成では、開発環境と本番環境の情報をそれぞれ入力する必要があります。
- 以下の接続パラメータを入力します。接続性テスト で テスト をクリックし、テストに成功したことを確認してから 完了 をクリックします。
| 構成項目 | 説明 |
|---|---|
| End Point | MaxComputeプロジェクトがあるリージョンに対応するサービスアドレス。プロジェクト管理者に確認してください |
| Access Key Id | 接続アカウントのAccessKey ID |
| Access Key Secret | AccessKey IDに対応するAccessKey Secret |
| プロジェクト名 | 今回読み取るMaxCompute Projectの名前。接続アカウントのアクセス権限と一致している必要があります。ここにはSchemaやテーブル名を入力しないでください |
| 高度な構成 | 必要に応じてJSON形式の拡張構成を入力します。追加の構成要件がなければ空欄にできます |
接続性テストに成功した後も、同期プランで読み取り元テーブルを読み込み、データをプレビューして実行を検証し、テーブルの権限、パーティション範囲、実際の読み取り結果を確認する必要があります。
同じデータソースを使用して、そのProject内のアクセス権限がある異なるSchemaから読み取ることができます。各同期プランの 読み取り元テーブル でそれぞれ選択するため、Schemaごとにデータソースを作り直す必要はありません。
MaxComputeの読み取り元の構成
- データ開発プラットフォーム > 連携 > オフライン同期 に移動し、+ 統合プラン をクリックします。
- データの読み取り元 で MaxCompute と作成済みのデータソースを選択します。
- 読み取り元テーブル の左側で Schema を選択し、右側でそのSchema内のデータテーブルを選択します。新規プランを作成する場合は、
defaultが1つだけ表示されていても、先にSchemaを手動で選択する必要があります。 - 読み取り元がパーティションテーブルの場合は、パーティション情報 に各パーティションフィールドの値を入力します。パーティション値にはスペースパラメータを使用できますが、ワイルドカードは使用できません。パラメータについてはパラメータ管理を参照してください。
- データプレビュー をクリックし、現在のSchema内にある読み取り元テーブルのフィールド、実際の値、読み取り範囲を確認します。
- バッチ件数を調整する場合は、高度な構成 を展開して構成します。
Schemaとテーブル名は別々に選択します。たとえば、project_a.ods.events を読み取る場合、データソースのプロジェクト名は project_a、読み取り元のSchemaは ods、データテーブルは events を選択します。完全修飾名をテーブル名に入力しないでください。
| 構成項目 | 説明 |
|---|---|
| データソース名 | 現在のスペースに作成済みのMaxComputeデータソース |
| Schema | 今回読み取るSchema。従来の2階層構造のProjectでは default を選択します。他のProjectを読み取る場合は、先にデータソース接続の構成と権限を確認してください |
| データテーブル名 | 選択したSchema内のデータテーブル。リストにはテーブル名が表示され、パーティションテーブルには対応するマークが付きます |
| パーティション情報 | 読み取り元がパーティションテーブルの場合は各パーティション値を入力します。スペースパラメータを使用する場合は、実行時のパラメータ値が実在するパーティションに対応することを確認してください |
| バッチ件数 | 高度な構成の項目。画面のデフォルト値は 1000 で、設定可能な範囲は 1000–10000 です |
Schemaを切り替えると、以前の読み取り元テーブルの選択がクリアされます。Schemaまたはテーブルを切り替えると、以前のパーティション構成とソースフィールドのマッピングもクリアされます。テーブルを再度選択し、パーティションを入力してフィールドを解析し、プレビュー結果とマッピングを確認してください。同名のテーブルでもSchemaによってフィールドが異なる場合があるため、以前のマッピングをそのまま流用することはできません。
読み取り元テーブルでフィールドを追加、削除、変更した場合も、再解析してマッピングを確認する必要があります。既存プランを編集する場合は、表示されたSchema、テーブル、パーティションを確認してから変更を保存してください。
データの流向の構成
データの流向 でプラットフォームの プリセットデータウェアハウス を選択し、目標スペーステーブルを選択します。目標テーブルをまだ作成していない場合は、先に ライブラリテーブル に移動し、必要なフィールドとパーティション定義で作成してください。スペーステーブルの作成と管理を参照してください。
| 構成項目 | 説明 |
|---|---|
| 目標テーブル | 今回のデータを受け取るプリセットデータウェアハウス内のスペーステーブル |
| パーティション情報 | 目標がパーティションテーブルの場合は、目標テーブルの要件に従ってパーティション値を構成します。読み取り元と目標のパーティションはそれぞれ確認してください |
| 書き込みモード | 新しいデータを挿入 または 上書き書き込み を選択します。画面ではデフォルトで上書き書き込みが選択されるため、目標データの保持要件に応じて調整してください |
実行前に、目標テーブル、目標パーティション、書き込みモードを再確認し、保持する必要のあるデータを上書きしないようにしてください。読み取り元テーブルと目標テーブルのフィールド名は異なっていてもかまいませんが、フィールドマッピングで対応関係を明確にする必要があります。
フィールドマッピングと対応するフィールドタイプ
読み取り元とデータの流向の構成後、フィールドマッピング でソースフィールドと目標フィールドの対応関係を設定します。個別に選択するか、同名マッピング または 同じ行のマッピング を使用してから各項目を確認できます。1つの目標フィールドに対応付けられるソースフィールドは1つだけです。
マッピングは、現在選択しているSchemaとテーブルから解析されたフィールドに基づきます。Schemaまたはテーブルを切り替えた後は、フィールドを再解析してマッピングを設定し、フィールドタイプが対応範囲内にあるか確認してください。
図は既存のプランにおけるフィールドの対応関係を示しており、現在の接続性や今回の実行が検証済みであることを意味するものではありません。
対応するフィールドタイプ
MaxComputeをデータの読み取り元として使用する場合、以下のフィールドタイプに対応しています。フィールドタイプ名では大文字と小文字を区別しません。パラメーター付きのフィールドや入れ子構造を持つフィールドは、完全な定義も確認する必要があります。
| タイプの分類 | 対応するMaxComputeのフィールドタイプ |
|---|---|
| ブール値 | BOOLEAN |
| 整数 | TINYINT、SMALLINT、INT、BIGINT |
| 浮動小数点数と固定小数点数 | FLOAT、DOUBLE、DECIMAL |
| 文字列とJSON | STRING、VARCHAR、CHAR、JSON |
| 日付と時刻 | DATE、TIMESTAMP、TIMESTAMP_NTZ、DATETIME |
| 複合タイプ | ARRAY、MAP、STRUCT。完全な構造を確認する必要があります |
BINARYおよびその他の認識できないタイプには対応していません。このプランはMaxComputeからの読み取りのみに対応しており、MaxComputeへの書き込みに対応するフィールドタイプの範囲は提供しません。
フィールドタイプの使用上の制限
DECIMAL(p,s)、VARCHAR(n)、CHAR(n)は、完全な精度、小数点以下の桁数、長さの要件を確認してください。- 日時フィールドは、実際の時刻の意味、タイムゾーン、精度の要件を確認してください。基本タイプに対応しているという理由だけで、結果が要件を満たすと判断しないでください。
ARRAY<T>、MAP<K,V>、STRUCT<...>は、完全な要素定義、キーと値の定義、フィールド定義、NULL制約を確認してください。最上位のタイプに対応していても、任意の入れ子構造や要素タイプに対応しているわけではありません。- Schemaとパーティションは、読み取り対象と範囲を決めるためのものであり、フィールドタイプの対応条件を変更するものではありません。ソーステーブルの構造を変更した後は、フィールドを再解析して対応関係を確認してください。
- データプレビューにフィールドが表示されても、そのフィールドタイプで同期できるとは限りません。保存後に実行して検証し、目標テーブル内の実際の結果を確認してください。
同期の検証とワークフロースケジュール
同期結果の保存と検証
- 読み取り元のProject、Schema、テーブル、パーティション、および目標テーブルとそのパーティション、書き込みモード、フィールドマッピングを確認します。
- プラン名、担当者、備考を入力し、保存 をクリックします。
- 手動実行 をクリックし、ダイアログの案内に従って実行モードを選択し、今回の実行のパラメータ値を確認してから実行を開始します。手動実行には本番環境の構成を使用します。実行モードは、開発環境と本番環境を切り替えるためのものではありません。
- 手動実行記録 で実行ステータスとログを確認します。タスクが正常に完了したら、目標テーブルでデータ量、フィールドの対応関係、および数値、時刻、複合タイプ、NULL値などのサンプルを確認します。
独立環境構成では、開発段階でデータを正常に読み込んだりプレビューしたりできても、本番環境の認証情報と読み取り権限が用意されているとは限りません。初回実行前に、両方の構成と、それぞれに対応するProject内のSchema、テーブル、パーティション、パラメータを確認してください。
タスクフローへのマウント
手動での検証に合格したら、プランをタスクフローにマウントし、スケジュール周期に従って実行できます。
- 保存済みのプランを開き、ジョブフローにマウントする をクリックして、目標タスクフローを選択します。まだ作成していない場合は、タスクフローの作成を参照してください。
- ノード名、実行モード、担当者などを入力し、ノードを作成してマウント をクリックします。
- タスクフローへ移動 をクリックし、ノードと上流・下流の依存関係、およびスケジュール実行で使用する読み取り元パーティションとスペースパラメータを確認します。
- ワークフロースケジュールの構成を完了して保存し、ワークフロー公開を行います。マウントに成功しても、ノードが公開されて稼働中になったことにはなりません。
プランをタスクフローにマウントした後は、プランの詳細ページから手動実行できません。タスクフローからそのノードを実行して検証してください。
よくある質問
| 現象 | 確認事項 |
|---|---|
| 接続性テストに失敗する | End Point、プロジェクト名、AccessKey、およびプラットフォームサーバーのネットワークアクセスとIP許可リストを確認してください |
| 接続できるが、Schemaリストが空、または読み込みに失敗する | 読み取り元のProjectのSchema対応状況、アカウントの権限、ネットワークアクセスを確認してください。リストの読み込みに失敗した場合は更新して再試行できますが、default を選択するだけで解決するとは考えないでください |
| Schemaを選択しても、読み取り元テーブルが見つからない、またはプレビューできない | テーブルが現在のSchema内にあること、アカウントがプロジェクトメンバーであること、およびSchema、テーブル、メタデータの読み取り権限を確認してください。プロジェクトでダウンロード制御が有効な場合は、対応するダウンロード権限も確認してください |
| 同名のテーブルのフィールドまたはデータが想定と異なる | データソースのProjectとプランのSchemaを確認し、テーブルを再度選択してフィールドを解析し、マッピングを確認してください |
| パーティションの読み取りに失敗する、またはデータがない | パーティションが存在すること、各パーティション値がすべて入力されていること、およびスペースパラメータを解決した後の実際の値を確認してください |
| プレビューは正常だが、実行に失敗する | 本番環境の構成と、そのProject内に同名のSchema、テーブル、パーティションが存在することを確認してください。そのうえで、認証情報、権限、目標テーブル、パラメータを確認し、今回の実行ログを確認してください |

