TaCustomReaderプラグイン

最終更新 2026/10/03

1. はじめに

TaCustomReaderプラグインは、DataXによるAEからのデータ読み取りを実現します。内部実装としては、TaCustomReaderはJDBCを介してリモートのAEデータベースに接続し、対応するSQL文を実行してAEデータベースからデータをSELECTします。

2. 実装の仕組み

簡単に言うと、TaCustomReaderはJDBCコネクタを介してリモートのAEデータベースに接続し、ユーザーが設定した情報に基づいてクエリ用のSELECT SQL文を生成してAEクラスターに送信します。そして、そのSQLの実行結果をDataX独自のデータ型で抽象的なデータセットに組み立て、下流のWriterに渡して処理させます。

3. 機能の説明

3.1 設定例

AEクラスターからデータを読み取ってコンソールに出力するジョブを設定します：

{
  "job": {
    "setting": {
      "speed": {
        "channel": 1
      }
    },
    "content": [
      {
        "reader": {
          "name": "ta-custom-reader",
          "parameter": {
            "querySql": "select * from v_event_1 where \"$part_date\" = '2020-01-01'"
          }
        },
        "writer": {
          "name": "streamwriter",
          "parameter": {
            "print": true,
            "encoding": "UTF-8"
          }
        }
      }
    ]
  }
}

3.2 パラメータの説明

• server

  • 説明：接続先のAEデータベースへの接続情報で、SERVER:PORT の形式で指定します。
  • 必須：いいえ
  • デフォルト値：同期クラスターの設定

• querySql

  • 説明：一部の業務シナリオでは、ユーザーはこの設定項目でフィルタリング用のSQLをカスタマイズできます。この項目を設定すると、この設定項目の内容を直接使用してデータをフィルタリングします。例えば、複数テーブルをjoinしてからデータを同期する必要がある場合は、select a,b from table_a join table_b on table_a.id = table_b.idを使用します
  • 必須：はい
  • デフォルト値：なし

3.3 型変換

現在、TaCustomReaderはほとんどのPresto型に対応していますが、一部対応していない型もあるため、使用する型を確認してください。

以下は、TaCustomReaderがAEクラスターで使用するPresto型の変換リストです：

DataX内部型	Prestoデータ型
Long	TINYINT, SMALLINT, INTEGER, BIGINT
Double	REAL, DOUBLE, DECIMAL
String	VARCHAR, CHAR, VARBINARY, JSON
Date	DATE, TIME, TIMESTAMP
Boolean	BOOLEAN

ご注意： 上記のフィールドタイプ以外の型には対応していません