メインコンテンツまでスキップ

Ta-Datax-Writerプラグイン使用ガイド

最終更新 2026/10/03

1. はじめに​

Ta-Datax-WriterはDataXのデータ書き込みプラグインで、DataXエコシステムからAEクラスターへデータを転送する機能を提供します。データ転送サーバーにDataXをデプロイし、DataXが対応しているデータソースの読み取りプラグインと本プラグインを併用することで、複数のデータソースとAEクラスターの間でデータを同期できます。

DataXについては、DataXのGithubページを参照してください

データをAEの受信側に送信する方式でデータを転送します

2. 機能と制限​

TaDataWriterは、DataXプロトコルからAEクラスターの内部データへの変換機能を実装しています。TaDataWriterには次の取り決めがあります：

  1. AEクラスターへの書き込みにのみ対応しています。
  2. データ圧縮に対応しています。現在の圧縮形式はgzip、snappyです。
  3. マルチスレッドでの転送に対応しています。

3. 使用方法​

3.1 dataxのダウンロード​

wget https://download.thinkingdata.cn/tools/datax/datax.tar.gz

ダウンロードが完了すると、次のような出力が表示されます：

HTTP request sent, awaiting response... 200 OK
Length: 829372407 (791M) [application/x-gzip]
Saving to: ‘datax.tar.gz’

2019-12-23 10:34:17 (12.4 MB/s) - ‘datax.tar.gz’ saved [829372407/829372407]

3.2 dataxの解凍​

tar -zxvf datax.tar.gz

3.3 ta-datax-writerプラグインのインストール​

wget https://download.thinkingdata.cn/tools/release/ta-datax-writer.tar.gz
  • ta-datax-writer.tar.gzをdatax/plugin/writerディレクトリにコピーします
cp ta-datax-writer.tar.gz datax/plugin/writer
  • datax/plugin/writerディレクトリに移動してllを実行し、ディレクトリにta-datax-writer.tar.gzがあることを確認します
cd datax/plugin/writer/
ll
-rw-r--r-- 1 root  root  8575618 Dec 23 10:38 ta-datax-writer.tar.gz
  • プラグインパッケージを解凍します
tar -zxvf ta-datax-writer.tar.gz
  • パッケージを削除します
rm -rf  ta-datax-writer.tar.gz
  • llを実行し、解凍されたta-datax-writerプラグインのディレクトリがあることを確認します
ll
drwxr-xr-x 4 ta    ta    4096 Nov 25 19:17 ta-datax-writer

4. 機能説明​

4.1 設定例​

{
  "job": {
    "setting": {
      "speed": {
        "channel": 1
      }
    },
    "content": [
      {
        "reader": {
          "name": "streamreader",
          "parameter": {
            "column": [
              {
                "value": "123123",
                "type": "string"
              },
              {
                "value": "testbuy",
                "type": "string"
              },
              {
                "value": "2019-08-16 08:08:08",
                "type": "date"
              },
              {
                "value": "2222",
                "type": "string"
              },
              {
                "value": "2019-08-16 08:08:08",
                "type": "date"
              },
              {
                "value": "test",
                "type": "bytes"
              },
              {
                "value": true,
                "type": "bool"
              }
            ],
            "sliceRecordCount": 10
          }
        },
        "writer": {
          "name": "ta-datax-writer",
          "parameter": {
            "thread": 3,
            "type": "track",
            "pushUrl": "http://{データ受信URL}",
            "appid": "6f9e64da5bc74792b9e9c1db4e3e3822",
            "column": [
              {
                "index": "0",
                "colTargetName": "#distinct_id"
              },
              {
                "index": "1",
                "colTargetName": "#event_name"
              },
              {
                "index": "2",
                "colTargetName": "#time",
                "type": "date",
                "dateFormat": "yyyy-MM-dd HH:mm:ss.SSS"
              },
              {
                "index": "3",
                "colTargetName": "#account_id",
                "type": "string"
              },
              {
                "index": "4",
                "colTargetName": "testDate",
                "type": "date",
                "dateFormat": "yyyy-MM-dd HH:mm:ss.SSS"
              },
              {
                "index": "5",
                "colTargetName": "os_1",
                "type": "string"
              },
              {
                "index": "6",
                "colTargetName": "testBoolean",
                "type": "boolean"
              },
              {
                "colTargetName": "add_clo",
                "value": "123123",
                "type": "string"
              }
            ]
          }
        }
      }
    ]
  }
}

4.2 パラメータの説明​

  • thread

    • 説明：スレッド数。各channel内部の並行処理に使用され、DataXのchannel数とは関係ありません。
    • 必須：いいえ
    • デフォルト値：3

  • pushUrl

    • 説明：アクセスポイントのURL。
    • 必須：はい
    • デフォルト値：なし

  • uuid

    • 説明：転送データに "#uuid"："uuid値" を追加します。データの一意ID機能と組み合わせて使用します。
    • 必須：いいえ
    • デフォルト値：false

  • type

    • 説明：書き込むデータのタイプ。user_set、track。
    • 必須：はい
    • デフォルト値：なし

  • compress

    • 説明：テキストの圧縮タイプ。デフォルトで未入力の場合は圧縮なしを意味します。対応している圧縮タイプはgzip、snappyです。
    • 必須：いいえ
    • デフォルト値：圧縮なし

  • appid

    • 説明：対応するプロジェクトのappid。
    • 必須：はい
    • デフォルト値：なし

  • column

    • 説明：読み取るフィールドのリスト。type でデータのタイプを指定し、index で現在の列が reader の何列目（0から数える）に対応するかを指定します。value は現在のタイプを定数として指定し、reader からデータを読み取らずに、value の値に基づいて対応する列を自動生成します。

Columnのフィールド情報を指定することもできます。設定は次のとおりです：

[
  {
    "type": "Number",
    "colTargetName": "test_col", //生成するデータに対応する列名
    "index": 0 //readerからdataxに転送される1列目からNumberフィールドを取得
  },
  {
    "type": "string",
    "value": "testvalue",
    "colTargetName": "test_col"
    //TaDataWriter内部で生成したtestvalueの文字列フィールドを現在のフィールドとする
  },
  {
    "index": 0,
    "type": "date",
    "colTargetName": "testdate",
    "dateFormat": "yyyy-MM-dd HH:mm:ss.SSS"
  }
]

  • ユーザーがColumn情報を指定する場合、index/valueのいずれかを必ず選択する必要があります。typeは任意です。dateタイプを設定する場合はdateFormatを設定できます（任意）。

    • 必須：はい
    • デフォルト値：すべてreaderのタイプに従って読み取ります

4.3 タイプ変換​

タイプはTaDataWriterで定義されています：

DataX内部型TaDataWriterデータタイプ
IntNumber
LongNumber
DoubleNumber
StringString
BooleanBoolean
DateDate
このページは役に立ちましたか？
このページの内容