メインコンテンツまでスキップ

OSSデータソースの設定

最終更新 2026/11/03

OSS(オブジェクトストレージサービス、Object Storage Service)は、大容量で安全性と信頼性の高いクラウドストレージサービスで、非構造化データの保存に適しています。

使用制限​

現在、次の構成方法にのみ対応しています:

  • OSSの読み取り(オフライン読み取り)と、AEプリセット倉庫の空間テーブルへの書き込みに対応
  • AEプリセット倉庫の空間テーブルからOSSへの書き込み(オフライン書き込み)に対応

注:

  • OSSから、AEプリセット倉庫以外の他のデータベースへの直接書き込みには、現在対応していません

対応するフィールドタイプ​

オフライン読み取り(Reader)

読み取り時に対応するフィールドの範囲は、ファイル形式によって異なります。下表の名称はファイル内のフィールドタイプです。CSV、Text、JSON、ORC、Parquetはファイル形式であり、フィールドタイプではありません。

ファイル形式読み取りに対応するフィールドタイプ非対応のタイプまたは制限
CSV、Textテキストタイプのstring数値、日付、ブール、複合タイプとしてフィールドを個別に解析することはありません。
ORCboolean、tinyint、smallint、int、bigint、float、double、decimal、string、varchar、char、date、timestamp、array、map、structバイナリフィールドには対応していません。複合フィールドは、有効なフィールド構造を維持する必要があります。
Parquetboolean、int_8、int_16、int32、int64、float、double、decimal、string、date、timestamp、int96、list、map、structバイナリフィールドには対応していません。int96は従来の時刻エンコード形式です。日付、タイムスタンプ、複合フィールドは、実際の解析結果と検証結果に従ってください。
JSONstring、int、bigint、float、double入れ子のオブジェクトや配列は、ネイティブな構造化フィールドとして読み取りません。ブールフィールドおよびその他の記載のないネイティブタイプは、実際の解析結果と検証結果に従ってください。

JSONファイルは行単位で構成し、各行を完全なオブジェクトにしてください。フィールドの解析ではファイルの先頭行を参照するため、各行のフィールド構造が一致していることを確認し、解析結果とデータプレビューを確認してください。

オフライン書き込み(Writer)

書き込み時に設定可能なファイル内のフィールドタイプを下表に示します。任意のソースフィールドをそのまま書き込めることを意味するものではありません。フィールド設定で選択でき、検証に合格するタイプを使用してください。

ファイル形式書き込みに対応するフィールドタイプ非対応のタイプまたは制限
CSV、Textテキストタイプのstring独立した数値、日付、ブール、複合フィールドタイプは提供しません。ファイルの書き込みルールは後述の説明を参照してください。
ORCboolean、tinyint、smallint、int、bigint、float、double、decimal、string、varchar、char、date、timestamp、array、map、structバイナリフィールドには対応していません。複合フィールドは、有効なフィールド構造を維持する必要があります。
Parquetboolean、int_8、int_16、int32、int64、float、double、decimal、string、date、timestamp、int96、list、map、structバイナリフィールドには対応していません。int96は従来の時刻エンコード形式であり、実際のフィールド設定と検証結果に従ってください。
JSONstring、int、bigint、float、double、array、map、struct独立したバイナリ、日付、タイムスタンプ、ブールのフィールドタイプは提供しません。複合フィールドは、フィールド設定の検証に合格する必要があります。

OSSデータソースの作成​

データ開発プラットフォーム - バッチ統合 モジュールで、OSSデータソースを追加を選択できます

データソース設定パラメータ情報

データソースに必要な設定情報を入力し、接続性テストが完了すると、OSSデータソースを作成できます。

フィールド名説明
基本情報
*データソース名データ開発プラットフォームのスペース内で一意である必要があります。英字、数字、アンダースコアの組み合わせで、数字やアンダースコアで始めることはできません
備考任意
データソース設定
環境を区別しない / 独立環境構成いずれかを選択:「環境を区別しない」は本番環境と開発環境で1セットの構成を共用することを表し、「独立環境構成」は2つの環境をそれぞれ独立して設定することを表します
*EndpointOSSのアクセスアドレス
*地域 Region例:oss-cn-shanghai
*BucketOSS Bucketのアドレス。例:oss://seatunnel-test
*Access Keyアクセスに使用するAccess Key
*Access Secretアクセスに使用するAccess Secret
高度な構成データベースへの接続に必要なその他の高度なパラメータ。自由に入力できます

パラメータ名の前に * が付いているものは必須パラメータ、* が付いていないものは任意パラメータです。

オフライン同期タスクの作成​

上記の手順でOSSデータソースを作成し、接続性テストに成功したら、実際のシナリオに応じてOSSオフライン読み取りのタスクを設定できます。

データソース/データの流向としてのOSS​

データソースとしてOSSを選択し、以下の関連パラメータを設定します:

フィールド名説明
*ソースタイプデータソースのタイプとしてOSSを選択
*データソース名データソース管理画面で登録済みのOSSデータソースを、ドロップダウンから選択できます。
対応するデータソースをまだ作成していない場合は、データソース管理 ボタンをクリックして、OSSデータソースを作成できます。
*ファイルパス

ファイルパスを指定して、OSSオブジェクトストレージに保存されているファイルを読み取ります

  • ファイルパスでは 空間パラメータ を使用できます
  • ファイルパスでは ワイルドカード *(データの流向のパスでは現在未対応) を使用できます
  • 完全なパス情報の確認と、データプレビューに対応しています
*ファイルタイプorc、csv、text、parquet、jsonタイプに対応しています
高度な構成空のデフォルトフォルダーが正常にマークされました:スイッチをオンにすると、ファイルディレクトリが空の場合にタスクの実行が成功したとみなされます

パラメータ名の前に * が付いているものは必須パラメータ、* が付いていないものは任意パラメータです。

データの流向としてOSSを選択し、以下の関連パラメータを設定します:

フィールド名説明
データソースデータの流向のタイプとしてOSSを選択し、データソース管理画面で登録済みのOSSデータソースをドロップダウンから選択します
書き込みディレクトリ

データを書き込むOSSのディレクトリです。プリセットのプレフィックスの後に入力し、「/」で始めることはできません

  • 書き込みディレクトリでは 空間パラメータ を使用できます(「変数を挿入」をクリック)
  • 書き込みディレクトリではワイルドカードを使用できません
  • 「フルパスプレビュー」をクリックすると、完全なパス情報を確認できます
ファイルタイプorc、csv、text、parquet、jsonタイプに対応しています。csvまたはtextを選択した場合はファイル書き込みルールを設定できます。後述の「CSV、Textファイルの書き込みルール」を参照してください
書き込みモード

デフォルトは「書き込みディレクトリ」で、以下から選択できます:

  • 「書き込みディレクトリ」(Insert Into)
  • 「ディレクトリ上書き」(Insert Overwrite):書き込みディレクトリ内のすべてのファイルとサブディレクトリを削除してから、新しいデータファイルを書き込みます
  • 「存在する場合、エラーになります」(Error If Exist)

CSV、Textファイルの読み取りルール​

データソースとして使用する場合は、csvまたはtextのファイルタイプを選択したあと、ファイル読み取りルールを展開し、列区切り記号とヘッダーを飛ばすを設定します。列区切り記号のデフォルトはカンマで、「ヘッダーを飛ばす」のデフォルトは「いいえ」です。ファイルにヘッダーが含まれていて、それをデータとして読み取る必要がない場合は、「TRUE」を選択します。

  • csv:列区切り記号には、カンマ、セミコロン、縦線などの有効な1文字を使用できます。\t と入力するとTabを表します。\t 以外の複数文字の区切り記号には対応しておらず、ダブルクォート、復帰、改行も区切り記号として使用できません。たとえば、縦線で列を区切る場合は | と入力し、\| とは入力しないでください。
  • text:列区切り記号は正規表現として解析されます。たとえば \t はTab、\s+ は連続する空白、:: は2つ連続するコロンを表します。縦線またはドットで列を区切る場合は、正規表現の特殊記号として解釈されないよう、それぞれ \| または \. と入力してください。

CSVとTextでは区切り記号の処理方法が異なります。ファイルタイプを切り替えたり読み取りルールを変更したりした後は、データプレビューとフィールド照合を再度確認してください。

CSV、Textファイルの書き込みルール​

データの流向として使用する場合は、csvまたはtextのファイルタイプを選択したあと、ファイル書き込みルールを展開します。画面には列区切り記号とヘッダーを飛ばすのオプションがあり、デフォルト値はそれぞれカンマと「いいえ」です。列区切り記号の入力ボックスには最大8文字まで入力できます。

書き込みの設定は読み取りの設定とは独立しているため、読み取り側の正規表現ルールを書き込みの設定にそのまま適用しないでください。カスタムの区切り記号を使用したり、ヘッダーのオプションを調整したりした場合は、まず手動実行で出力ファイルを確認し、区切り記号とヘッダーが想定どおりであることを確かめてから、本番の同期に使用してください。

フィールド照合の説明​

データソースとターゲット側の設定が完了したら、フィールド照合関係を作成する必要があります。システムは照合関係に従って、ソース側フィールドのデータを目標フィールドに自動的に同期します。フィールド照合関係の設定方法は3つあります:

  • 方法1:カスタム選択。ソーステーブルのフィールドを選択し、目標テーブルの目標フィールドを選択します
  • 方法2:同名照合。システムが、ソーステーブルと目標テーブルの同名フィールド間に照合関係を自動作成します
  • 方法3:同行照合。システムが、同じ行のフィールド間に照合関係を自動作成します

1つの目標フィールドに対応できるソースフィールドは1つだけであることに注意してください

基本情報の設定​

最後に、統合プランの基本情報を設定する必要があります。プラン名、責任者、統合の同期速度、備考などが含まれます。

設定が完了したら、「保存」 ボタンをクリックして統合プランの作成を完了できます。

注:プラン名は保存後に変更できません

詳細ページの表示:

オフライン同期プランのタスクフローへのマウント​

マウントされたタスクフロー​

1.マウント手順を開始する

  • 統合プランの詳細ページで、右上の「ジョブフローにマウントする」ボタンをクリックします

2.タスクフローを選択する

  • ドロップダウンメニューから対象のタスクフローを選択します

  • タスクフローを新規作成する場合:

    • ドロップダウンメニューの下にある「タスクフローを新規作成」ショートカットボタンをクリックします
    • または「開発」モジュールで作成します
  • ヒント:対象のタスクフローが表示されない場合は、右側の↻更新ボタンをクリックしてください

3.同期ノードを作成する

  • タスクフロー内で「オフライン同期プラン」タイプのノードを新規作成します
  • このノードは現在の統合プランに関連付けられ、ノードの実行時に対応する統合プランの実行がトリガーされます

4.マウントを完了する

  • 「ノードを作成し、マウントします」をクリックして設定を完了します
  • マウントに成功したら、「タスクフローに進む」をクリックしてマウント結果をすぐに確認できます
ヒント

注:タスクフローへのマウントで作成されたタスクノードは 未リリース状態 です。タスクフローを確認し、そのノードをリリースして配信を開始することをお勧めします。

タスクフローのマウント解除​

オフライン同期プランのタスクフローへのマウントを解除する場合:

  • タスクフローがまだリリースされていない場合は、そのプランがマウントされているタスクフローに移動し、開発モード でその「オフライン同期プラン」タスクノードを削除するだけです。
  • タスクフローがすでにリリースされている場合は、開発モード でその「オフライン同期プラン」タスクノードを削除した後、タスクフローを再リリースする必要があります。これにより、本番環境 でのそのノードのマウントも同時に解除されます。
このページは役に立ちましたか?