TaDataWriterプラグイン

最終更新 2026/10/03

1. はじめに

TaDataWriterは、DataXからAEクラスターにデータを転送する機能を提供します。データはAEのreceiverに送信されます。

2. 機能と制限

TaDataWriterは、DataXプロトコルからAEクラスターの内部データへの変換機能を実装しています。TaDataWriterには次の取り決めがあります：

1. AEクラスターへの書き込みにのみ対応しています。
2. データ圧縮に対応しています。現在の圧縮形式はgzip、snappyです。
3. マルチスレッドでの転送に対応しています。
4. AEノード上での使用にのみ対応しています。

3. 機能の説明

3.1 設定例

{
  "job": {
    "setting": {
      "speed": {
        "channel": 1
      }
    },
    "content": [
      {
        "reader": {
          "name": "streamreader",
          "parameter": {
            "column": [
              {
                "value": "ABCDEFG-123-abc",
                "type": "string"
              },
              {
                "value": "F53A58ED-E5DA-4F18-B082-7E1228746E88",
                "type": "string"
              },
              {
                "value": "login",
                "type": "string"
              },
              {
                "value": "2020-01-01 01:01:01",
                "type": "date"
              },
              {
                "value": "abcdefg",
                "type": "string"
              },
              {
                "value": "2019-08-08 08:08:08",
                "type": "date"
              },
              {
                "value": 123456,
                "type": "long"
              },
              {
                "value": true,
                "type": "bool"
              }
            ],
            "sliceRecordCount": 1000
          }
        },
        "writer": {
          "name": "ta-data-writer",
          "parameter": {
            "type": "track",
            "appid": "34c703a885014208a737911748a7b51c",
            "column": [
              {
                "index": "0",
                "colTargetName": "#account_id",
                "type": "string"
              },
              {
                "index": "1",
                "colTargetName": "#distinct_id"
              },
              {
                "index": "2",
                "colTargetName": "#event_name"
              },
              {
                "index": "3",
                "colTargetName": "#time",
                "type": "date",
                "dateFormat": "yyyy-MM-dd HH:mm:ss.SSS"
              },
              {
                "index": "4",
                "colTargetName": "testString",
                "type": "string"
              },
              {
                "index": "5",
                "colTargetName": "testDate",
                "type": "date",
                "dateFormat": "yyyy-MM-dd HH:mm:ss.SSS"
              },
              {
                "index": "6",
                "colTargetName": "testLong",
                "type": "number"
              },
              {
                "index": "7",
                "colTargetName": "testBoolean",
                "type": "boolean"
              },
              {
                "colTargetName": "add_clo",
                "value": "addFlag",
                "type": "string"
              }
            ]
          }
        }
      }
    ]
  }
}

3.2 パラメータの説明

• type

  • 説明：書き込むデータのタイプ。user_set、track。
  • 必須：はい
  • デフォルト値：なし

• appid

  • 説明：対応するプロジェクトのappid。
  • 必須：はい
  • デフォルト値：なし

• thread

  • 説明：スレッド数。
  • 必須：いいえ
  • デフォルト値：3

• compress

  • 説明：テキストの圧縮タイプ。デフォルトで未入力の場合は圧縮なしを意味します。対応している圧縮タイプはgzip、snappyです。
  • 必須：いいえ
  • デフォルト値：圧縮なし

• connType

  • 説明：クラスター内部でのデータの受信方式。receiverを経由するか、kafkaに直接送信するかを指定します。
  • 必須：いいえ
  • デフォルト値：http

• column

  • 説明：読み取るフィールドのリスト。typeでデータのタイプを指定し、indexで現在の列がreaderの何列目（0から数える）に対応するかを指定します。valueは現在のタイプを定数として指定し、readerからデータを読み取らずに、valueの値に基づいて対応する列を自動生成します。

ユーザーはColumnフィールドの情報を指定できます。設定は次のとおりです：

[
  {
    "type": "Number",
    "colTargetName": "test_col", //生成するデータに対応する列名
    "index": 0 //readerからdataxに転送される1列目からNumberフィールドを取得
  },
  {
    "type": "string",
    "value": "testvalue",
    "colTargetName": "test_col" //TaDataWriter内部で生成したtestvalueの文字列フィールドを現在のフィールドとする
  },
  {
    "index": 0,
    "type": "date",
    "colTargetName": "testDate",
    "dateFormat": "yyyy-MM-dd HH:mm:ss.SSS"
  }
]

• ユーザーがColumn情報を指定する場合、index/valueのいずれかを必ず選択する必要があります。typeは任意です。dateタイプを設定する場合はdateFormatを設定できます（任意）。

  • 必須：はい
  • デフォルト値：すべてreaderのタイプに従って読み取ります

3.3 型変換

タイプはTaDataWriterで定義されています：

DataX内部型	TaDataWriterデータタイプ
Int	Number
Long	Number
Double	Number
String	String
Boolean	Boolean
Date	Date