PostgreSQLデータソースの構成
PostgreSQLデータソースは、オフライン同期でPostgreSQLのテーブルやクエリ結果をプラットフォームのプリセットデータウェアハウスに読み込み、プリセットデータウェアハウスのスペーステーブルをPostgreSQLに書き込むこともできます。このドキュメントでは、接続設定、読み取り元とデータの流向の設定、フィールドマッピング、対応するフィールドタイプ、同期の検証、ワークフロースケジュールについて説明します。
使用制限と事前準備
構成を始める前に、以下の事項を確認してください。
- PostgreSQL → プリセットデータウェアハウス と プリセットデータウェアハウス → PostgreSQL をサポートします。このプランによるPostgreSQLと他の外部データソース間の直接同期はサポートしていません。
- PostgreSQLのサーバーアドレス、ポート、データベース名、および接続に使用するユーザー名とパスワードを用意してください。プラットフォームの実行環境からそのアドレスにアクセスできる必要があります。データベースの接続アクセス制御とネットワーク許可リストで、プラットフォームサーバーからの接続を許可してください。
- 読み取り用アカウントには、データベースへの接続、該当するschemaへのアクセス、および選択したテーブル、ビュー、クエリで使用するデータの読み取り権限が必要です。書き込み用アカウントには、選択した書き込みモードに対応する目標テーブルの権限も必要です。実際の操作範囲に応じてデータベース管理者に権限を付与してもらってください。PostgreSQLの権限についてを参照してください。
- 目標テーブルを事前に用意し、フィールドのタイプ、NOT NULL制約、主キーを確認してください。プリセットデータウェアハウスへの読み込みについては、スペーステーブルの作成と管理を参照してください。PostgreSQLへの書き込みでは、目標データベースとschemaが存在することも確認する必要があります。
| 環境の構成方法 | 設定要件 |
|---|---|
| 環境を区別しない | 開発環境と本番環境で、データベースと認証情報の構成を1組共用 |
| 独立環境構成 | 開発環境と本番環境を個別に構成し、両方の構成からプランで選択したデータベース、schema、テーブルにアクセスできるようにする |
データプレビューには開発環境の構成を、手動実行には本番環境の構成を使用します。両方の構成について、データベース、テーブルの権限、ネットワークアクセスをそれぞれ確認してください。
パスワードは安全な方法で引き渡し、スクリーンショット、ログ、公開ドキュメントに認証情報が露出しないようにしてください。認証情報の変更や権限の調整後は、データソース接続と同期プランを再度検証してください。
PostgreSQLデータソースの作成
- データ開発プラットフォーム > 連携 > データソース に移動し、+ データソース をクリックします。
- PostgreSQL を選択して 次へ をクリックし、データソース名と備考を入力します。
- 環境を区別しない または 独立環境構成 を選択します。独立環境構成では、開発環境と本番環境の情報をそれぞれ入力する必要があります。
- 以下の接続パラメータを入力します。接続性テスト で テスト をクリックし、テストに成功したことを確認してから 完了 をクリックします。
| 構成項目 | 説明 |
|---|---|
| 接続文字列 | PostgreSQLのJDBC接続アドレス。形式の例は jdbc:postgresql://<host>:<port>/<database> です。プレースホルダーを実際のアドレス、ポート、データベースに置き換えてください。接続パラメータについては、pgJDBCの接続構成を参照してください |
| データベース | 接続テストに使用するPostgreSQLのデータベース名。接続アドレスとアカウントの権限に対応している必要があります。ここにはschemaではなくデータベースを入力します |
| ユーザー名 | データベースと関連テーブルへのアクセス権限を持つアカウント |
| パスワード | ユーザー名に対応するパスワード |
| 高度な構成 | 必要に応じてJSON形式の拡張接続パラメータを入力します。追加の構成要件がなければ空欄にできます |
PostgreSQLのデータベースとschemaは異なる階層です。同期プランを構成するときは、まずデータベースを選択し、データテーブルが属するschemaを確認して、別のschemaにある同名のテーブルを選択しないようにしてください。
接続性テストに成功した後も、同期プランでテーブルを読み込み、データをプレビューして実行を検証し、テーブルの権限と実際の読み取り・書き込み結果を確認する必要があります。
PostgreSQLの読み取り元の構成
- データ開発プラットフォーム > 連携 > オフライン同期 に移動し、+ 統合プラン をクリックします。
- データの読み取り元 で PostgreSQL と作成済みのデータソースを選択します。
- データ取得方法 を選択し、以下の説明に従って読み取り範囲を構成します。
- データプレビュー をクリックし、フィールド、実際の値、読み取り範囲を確認します。
- バッチごとの処理件数を調整する場合は、高度な構成 を展開し、バッチ件数 を設定します。
図は既存プランの構成例であり、現在の接続やデータ読み取りの検証に代わるものではありません。構成後は、データプレビューで実際の結果を確認してください。
| データ取得方法 | 設定要件 |
|---|---|
| テーブル全体 | データベースとデータテーブルを選択し、テーブルが属するschemaを確認します。必要に応じてシャードキーを選択するか、データフィルタリング を有効にして、WHERE で始まるフィルター条件を入力します |
| カスタムクエリ | データベースを選択し、データを読み取るSQLを入力します。フィールドの表現や読み取り範囲を調整する場合は、クエリ内で明示的に指定してください。SQLが参照するschema、テーブル、結果フィールド名を確認し、データを変更するステートメントは実行しないでください |
| 構成項目 | 説明 |
|---|---|
| データソース名 | 現在のスペースに作成済みのPostgreSQLデータソース |
| データベースとデータテーブル | テーブル全体を読み取る場合は対象のデータベースとテーブルを選択します。カスタムクエリの場合はデータベースを選択してSQLを入力します |
| シャードキー | テーブル全体を読み取る場合の任意項目。選択可能なフィールドタイプは int2、int4、int8 です。ビューではシャードキーの構成をサポートしていません |
| データフィルタリング | テーブル全体を読み取る場合に必要に応じて有効にし、WHERE 条件で読み取り範囲を制限します。無効にした場合、このフィルター条件は適用されません |
| バッチ件数 | 高度な構成の項目。画面のデフォルト値は 1000 で、設定可能な範囲は 1000–50000 です |
データソース、データベース、読み取り元テーブル、クエリを切り替えた後は、読み取り範囲、シャードキー、プレビュー結果、フィールドマッピングを再確認してください。読み取り元テーブルでフィールドを追加、削除、変更した場合も、再解析してマッピングを確認する必要があります。プランでスペースパラメータを使用する場合は、パラメータ管理を参照し、実行時の実際のパラメータ値を確認してください。
データの流向の構成
PostgreSQLからプリセットデータウェアハウスへの読み込み
データの流向 でプラットフォームの プリセットデータウェアハウス を選択し、目標スペーステーブルを選択します。目標テーブルをまだ作成していない場合は、先に ライブラリテーブル に移動し、必要なフィールドとパーティション定義で作成してください。スペーステーブルの作成と管理を参照してください。
| 構成項目 | 説明 |
|---|---|
| 目標スペーステーブル | 今回のPostgreSQLデータを受け取るプリセットデータウェアハウスのスペーステーブル |
| パーティション情報 | 目標がパーティションテーブルの場合は、目標テーブルの要件に従ってパーティション値を構成します |
| 書き込みモード | 新しいデータを挿入 または 上書き書き込み を選択します。画面ではデフォルトで上書き書き込みが選択されるため、目標データの保持要件に応じて調整してください |
実行前に、目標テーブル、目標パーティション、書き込みモードを再確認し、保持する必要のあるデータを上書きしないようにしてください。
プリセットデータウェアハウスからPostgreSQLへの書き込み
データの読み取り元 で読み取るプリセットデータウェアハウスのスペーステーブルを選択し、データの流向 で PostgreSQL と作成済みのデータソースを選択してから、目標データベースとデータテーブルを選択します。目標テーブルが属するschemaを確認してください。schemaを指定しない場合は public を使用します。存在しないschemaが自動作成されることはありません。
| 構成項目 | 説明 |
|---|---|
| テーブル書き込み | データを受け取るPostgreSQLのデータベースとデータテーブル。完全なschemaとテーブル名を確認する必要があります |
| 書き込みモード | 以下の表の3つのモードをサポートします。画面ではデフォルトで 上書き書き込み が選択されます |
| バッチ件数 | 高度な構成の項目。画面のデフォルト値は 1000 で、設定可能な範囲は 1000–10000 です |
| 書き込みモード | 動作と構成要件 |
|---|---|
| 新しいデータを挿入 | 今回のデータを目標テーブルに追加します。既存の主キーや一意制約と競合しないか確認してください |
| 上書き書き込み | 目標テーブルの既存データを消去してから今回のデータを書き込みます。実行前に消去範囲とバックアップの要件を確認してください。途中で失敗した場合に、元のデータが自動的に復元されるとは考えないでください |
| 更新挿入 | 目標テーブルの実際の主キーで照合し、既存レコードを更新して新しいレコードを挿入します。目標テーブルには照合に使用する主キーが必要で、主キーフィールドをすべてマッピングする必要があります |
読み取り元テーブルと目標テーブルのフィールド名は異なっていてもかまいませんが、フィールドマッピングで対応関係を明確にする必要があります。PostgreSQLへの書き込み前に、目標フィールドの長さ、精度、NOT NULL制約、およびその他のテーブル制約も確認してください。
フィールドマッピングと対応するフィールドタイプ
読み取り元とデータの流向の構成後、フィールドマッピング でソースフィールドと目標フィールドの対応関係を設定します。個別に選択するか、同名マッピング または 同じ行のマッピング を使用してから各項目を確認できます。1つの目標フィールドに対応付けられるソースフィールドは1つだけです。
図は既存のプランにおけるフィールドの対応関係を示しています。現在の接続や実際の同期結果の検証に代わるものではありません。
読み取りに対応するフィールドタイプ
PostgreSQLをデータの読み取り元として使用する場合、以下のフィールドタイプに対応しています。表では、フィールドの解析結果に含まれるタイプ名を使用しています。
| タイプの分類 | 対応するPostgreSQLのフィールドタイプ |
|---|---|
| ブール値 | bool |
| 整数 | int2、smallserial、int4、serial、int8、bigserial |
| 浮動小数点数と固定小数点数 | float4、float8、numeric |
| 文字列 | bpchar、character、varchar、text |
| JSON、UUID、空間タイプ | json、jsonb、uuid、geometry、geography |
| 日付と時刻 | date、timestamp、timestamptz |
| Array | _bool、_bytea、_int2、_int4、_int8、_float4、_float8、_bpchar、_character、_varchar、_text |
bytea、time、timetz、およびその他の認識できないタイプには対応していません。配列は上表に記載したタイプのみに対応しており、_numeric、_date、_timestamp、_jsonbなどは対応範囲に含まれません。
書き込みに対応するフィールドタイプ
PostgreSQLをデータの流向として使用する場合、対応するPostgreSQLのフィールドタイプは上表と同じです。bytea、time、timetz、記載のない配列タイプ、その他の認識できないタイプには対応していません。
書き込み前に、選択したPostgreSQLテーブルのフィールド定義、主キー、NOT NULL制約、その他の制約を確認してください。フィールドタイプに対応していても、JSON、UUID、空間タイプ、配列のフィールドに任意の内容を書き込めるわけではありません。
フィールドタイプの使用上の制限
- PostgreSQLのフィールド解析結果にはメタデータ上の名称が使用される場合があります。たとえば、
int2、int4、int8は一般的なsmallint、integer、bigintに、float4、float8はreal、double precisionにそれぞれ相当します。実際に解析された名称に従ってください。 - 長さ、精度、小数点以下の桁数を指定するフィールドは、完全な定義を確認してください。時刻フィールドは、タイムゾーンと精度の要件も確認する必要があります。
- 配列は、要素タイプ、次元数、NULL要素の要件を確認してください。
_byteaが対応範囲に含まれていても、任意のバイナリ要素や配列構造が検証済みであるとは限りません。 - ソーステーブルまたは目標テーブルの構造を変更した後は、フィールドを再解析して対応関係を確認してください。データプレビューにフィールドが表示されても、そのフィールドタイプで同期できるとは限りません。
保存、検証、ワークフロースケジュール
同期結果の保存と検証
- 読み取り元テーブルまたはSQL、フィルター条件、目標テーブルとパーティション、書き込みモード、フィールドマッピングを確認します。PostgreSQLへの書き込みでは、schema、主キー、テーブル制約を再確認します。
- データプレビュー でソースフィールドとサンプル値を確認し、フィールドマッピング、目標タイプ、目標テーブルの制約を項目ごとに確認します。
- プラン名、担当者、備考を入力し、保存 をクリックします。
- 手動実行 をクリックし、ダイアログの案内に従って実行モードを選択し、今回の実行のパラメータ値を確認してから実行を開始します。手動実行には本番環境の構成を使用します。実行モードは、開発環境と本番環境を切り替えるためのものではありません。
- 手動実行記録 で実行ステータスとログを確認します。タスクが正常に完了したら、目標テーブルでデータ量、フィールドの対応関係、および数値、時刻、配列、NULL値などのサンプルを確認します。
独立環境構成では、開発段階でデータを正常に読み込んだりプレビューしたりできても、本番環境の認証情報と読み取り・書き込み権限が用意されているとは限りません。初回実行前に、両方の構成と、目標環境内のデータベース・テーブル、パーティション、パラメータをそれぞれ確認してください。
タスクフローへのマウント
手動での検証に合格したら、プランをタスクフローにマウントし、スケジュール周期に従って実行できます。
- 保存済みのプランを開き、ジョブフローにマウントする をクリックして、目標タスクフローを選択します。まだ作成していない場合は、タスクフローの作成を参照してください。
- ノード名、実行モード、担当者などを入力し、ノードを作成してマウント をクリックします。
- タスクフローへ移動 をクリックし、ノードと上流・下流の依存関係、およびスケジュール実行で使用するデータベース・テーブル、フィルター条件、スペースパラメータを確認します。
- ワークフロースケジュールの構成を完了して保存し、ワークフロー公開を行います。マウントに成功しても、ノードが公開されて稼働中になったことにはなりません。
プランをタスクフローにマウントした後は、プランの詳細ページから手動実行できません。タスクフローからそのノードを実行して検証してください。
よくある質問
| 現象 | 確認事項 |
|---|---|
| 接続性テストに失敗する | 接続文字列、データベース、ユーザー名、パスワード、およびプラットフォームサーバーのネットワークアクセスとデータベースの接続アクセス制御を確認してください |
| 接続できるが、テーブルが見つからない、またはプレビューできない | 選択したデータベース、schema、テーブル名、およびアカウントの読み取り権限を確認してください。カスタムクエリでは、SQLとその参照先も確認してください |
| ビューでシャードキーを選択できない | ビューではシャードキーの構成をサポートしていません。実際のビューまたはクエリの範囲に従って読み取ってください |
| プレビューは正常だが、実行に失敗する | 本番環境の認証情報、読み取り・書き込み権限、目標schema、テーブル制約、書き込みモード、パーティション、パラメータを確認し、今回の実行ログを確認してください |

