オフライン同期
概要
データソースを作成したら、オフライン同期モジュールで「オフライン同期プラン」を作成し、データソースのデータをデータ開発プラットフォームに取り込めます。
次の方法でデータを同期できます:
- 即時同期:オフライン同期モジュールでタスクを作成し、データソースのデータをプラットフォームにインポートします
- 定期同期:タスクをタスクフローにマウントし、スケジュール戦略を設定して自動同期を実現します
オフライン同期プランの管理
オフライン同期の一覧ページには、現在のワークスペース内のすべてのオフライン同期プランが表示されます。また、オフライン同期プランを新規作成することもできます。
オフライン同期の一覧ページにある表の列は次のとおりです:
| カラム名 | 説明 |
|---|---|
| 統合名 | ユーザーが定義したオフライン同期の統合プラン名です。名前をクリックすると統合プランの詳細ページに移動し、具体的な設定を確認できます |
| データソース名 | この統合プランのソースとなるデータソースです。データソースタイプのロゴと名前が表示され、フィルタリングに対応しています。データソース名をクリックすると、そのデータソースの詳細情報を確認できます |
| 統合先環境 | この統合プランの統合先となるデータソースです。データソースタイプのロゴと名前が表示され、フィルタリングに対応しています。データソース名をクリックすると、そのデータソースの詳細情報を確認できます |
| 統合先テーブル名 | この統合プランが読み取りまたは書き込みを行う空間テーブルのテーブル名です。クリックするとテーブルの詳細を確認できます |
| マウントされたタスクフロー | この統合プランがマウントされているタスクフローの名前です。クリックするとタスクフローの詳細情報を確認できます。タスクフローにマウントされていない場合は「-」が表示されます |
| 最終スケジューリング更新時刻 | プランがタスクフローにマウントされた後、最後にスケジュール実行された時刻です。タスクフローにマウントされていない場合は「-」が表示されます |
| 最終スケジューリング実行ステータス | プランがタスクフローにマウントされた後、最後にスケジュール実行されたときのステータスです。フィルタリングに対応しています。タスクフローにマウントされていない場合は「未実行」が表示されます |
| 手動実行時刻 | タスクフローにマウントされていないときに、プランが最後に実行された時刻です |
| 手動実行ステータス | タスクフローにマウントされていないときの、プランの最後の実行のステータスです |
| 作成日時(デフォルトで非表示) | プランの作成日時です |
| 責任者(デフォルトで非表示) | プランの責任者です |
| 最終修正時間(デフォルトで非表示) | プランが最後に修正された時刻です |
| 最終変更者(デフォルトで非表示) | プランを最後に変更したユーザーです |
| 備考 | ユーザー定義の備考です |
| 操作-編集 | クリックすると統合プランの編集ページが開き、統合プランの設定を変更できます |
| 操作-削除 | この統合プランを削除します。なお、データ統合の安全性と安定性を確保するため、統合プランがすでにタスクフローにマウントされている場合は削除できません。削除する場合は、先にマウントを解除してください。詳しくはマウントの解除のセクションを参照してください。 |
統合プランを新規作成します
各データソース設定プランの「オフライン同期タスクの作成」モジュールでプランの作成手順を詳しく説明しています。このセクションでは共通の手順の概要を説明します。
一覧ページ右上の「+統合プラン」ボタンをクリックすると、統合プランの新規作成フローに入ります:
まず、「データソース」セクションで、「ソースタイプ + データソース」の2段階のドロップダウンから統合プランが属するデータソースを選択します。作成したデータソースがドロップダウンメニューに表示されない場合は、右側の更新ボタンをクリックしてドロップダウンメニューを更新できます。
データソースを選択したら、具体的なデータファイルやデータテーブルの読み取り方法を入力します。これらの設定はデータソースに関連しており、データソースによって設定する情報が異なります。実際の状況に応じてデータソースの設定を完了してください:
なお、データソースの一部の入力欄(上図の「ファイルパス」など)ではパラメータ式を使用できます。たとえば基準時刻パラメータ${bd}を使うと、毎回特定の日のデータを読み取ることができます。
次に、データの流向、つまりデータを書き込む目標テーブルを設定します。まず流向先のデータソース(例:プリセット倉庫 → 本データベーステーブル)を選択し、次に「目標空間テーブル」でデータベースとテーブルを選択します。なお、1つの目標テーブルに設定できる統合プランは1つだけのため、一部のデータテーブルは目標テーブルとして選択できません。新しいデータテーブルを作成する場合は、「開発」モジュールに移動するか、ドロップダウンメニュー下部の「空間テーブルを新規作成」ショートカットボタンから作成できます。また、書き込みたい目標テーブルがドロップダウンメニューに表示されない場合は、右側の更新ボタンをクリックしてドロップダウンリストを更新してください:
目標テーブルを選択したら、書き込みルールも設定する必要があります。選択した目標テーブルがパーティションテーブルの場合は書き込むパーティションを指定する必要があり、各パーティションフィールドの前で値の取得方法(定数 / フィールド / パラメータ、例:${bd})を選択できます。書き込みモードは「上書き」と「新しいデータを挿入」から選択できます。
「データソース」と「データの流向」の設定が完了したら、「フィールド照合」モジュールの解析ボタンをクリックして、ソースと流向先のテーブル構造を読み取れます。設定が正しければ、ソーステーブルと目標テーブルのフィールド情報が表示され、フィールド照合を設定できます:
統合プランでパラメータを使用している場合:
- 基準日付パラメータ${bd}:照合を解析する際、昨日の日付が値として使用されます。
- 理論的なスケジュール時間パラメータ${st}:照合を解析する際、現在時刻が値として使用されます。
「同名照合」と「同行照合」ボタンをクリックすると、ソースフィールドと目標フィールドの照合関係をすばやく作成できます。「照合の解除」をクリックすると、すべての照合関係を削除できます。フィールドの照合関係を個別に設定する場合は、ソーステーブルのフィールドの後ろにあるプラス記号をクリックし、ポップアップで目標フィールドを設定します。なお、1つの目標フィールドに対応できるソースフィールドは1つだけのため、一部のフィールドは選択できません。
データ同期時、システムはCAST()関数でソーステーブルのフィールドを型変換し、目標フィールドの型への変換を試みます。型変換に失敗した場合、目標フィールドの値はNULLに設定されます
最後に、統合プランの基本情報を設定します。プラン名、責任者、統合の同期速度、備考などが含まれます。設定が完了したら、保存ボタンをクリックして統合プランの作成を完了します。
統合プランの詳細ページ
統合プランを作成したら、一覧ページで統合プラン名をクリックして統合プランの詳細ページに移動できます。統合プランの詳細ページでは、統合プランの設定を確認し、手動実行やタスクフローへのマウントなどの操作を行えます。
カード右側の「手動実行」ボタンをクリックし、「手動でオフライン同期を実行」ポップアップで必須の「実行モード」(独占モード / 共有モード)を選択してから「開始実行」をクリックすると、オフライン同期タスクが1回実行されます。実行後の記録は「手動実行記録」タブで確認できます。
また、統合プランでパラメータを使用している場合は、手動実行時に今回の実行のパラメータ値を設定できます。たとえば、下図の「基準時刻」はパラメータ${bd}に対応しています:
統合プランの編集
一覧ページまたは詳細ページで編集ボタンをクリックすると、統合プランの編集ページに移動します。統合プランの編集ページでは、データソース、データの流向、フィールド照合、および統合プラン名以外のその他の情報を調整できます。なお、元のデータソースまたはデータの流向のフィールドに異常(フィールドの削除など)が発生した場合は、異常な照合関係をすべて削除しないと保存できません。手動で設定するか、「クリア エラーマッピング」ボタンをクリックして、問題のあるフィールド照合をすべて削除できます。
マウントされたタスクフロー
統合プランを作成したら、そのプランをタスクフローにマウントし、タスクフローの定期スケジュール機能を使って定期同期を実現できます。統合プランの詳細ページで、カード右上の「ジョブフローにマウントする」ボタンをクリックすると、タスクフローへのマウント手順に進みます:
タスクフローへのマウント手順では、まずドロップダウンメニューでマウントするタスクフローを選択します。新しいタスクフローを作成する場合は、ドロップダウンメニュー下部の「+ タスクフロー」ショートカットボタンを直接クリックするか、「開発」モジュールに移動して新しいタスクフローを作成できます。マウントしたいタスクフローがドロップダウンメニューに表示されない場合は、右側の更新ボタンをクリックしてドロップダウンメニューを更新してください。
次に、選択したタスクフローに「オフライン同期プラン」タイプのタスクノードを新規作成します。このノードは現在の統合プランを指しており、作成時にも「実行モード」(独占 / 共有)を選択する必要があります。このタスクノードがスケジュールまたは実行されるときは、指している統合プランをデバッグまたは実行するのと同じことになります。同期ノードの設定が完了したら、「ノードを作成し、マウントします」ボタンをクリックしてマウント処理を実行します。
マウントが完了すると、次のポップアップが表示されます。「タスクフローに進む」をクリックすると、マウントされたタスクフローを確認できます。
なお、タスクフローへのマウントで作成されたタスクノードは、まだ公開されていない状態です。そのため、タスクフローを確認し、このノードを公開してオンラインにすることを強くお勧めします。
タスクフローのマウント解除
最後に、タスクフローのマウントを解除したい場合は、次の操作を行います:
- このプランがマウントされているタスクフローに移動し、開発モードでこのプランを指す「オフライン同期プラン」タスクノードを削除します
- 前の手順で削除した「オフライン同期プラン」タスクノードを公開してオンラインにします。公開されると、タスクフローのマウントが解除されます

