TaCustomTableWriterプラグイン

最終更新 2026/10/03

1. 概要

TACustomTableWriterは、AEシステムにカスタムテーブルを作成する機能を提供します。

使用したいデータを user や event の形式で表現できない場合があります。たとえば、マッピング関係テーブルや外部データなどです。このようなデータを使用する必要がある場合は、TACustomTableWriterプラグインを使ってカスタムデータをAEシステムにインポートする必要があります。

2. 機能と制限

AEシステムのカスタムテーブル機能にのみ対応しています。

3. 機能の説明

3.1 設定例

{
  "job": {
    "setting": {
      "speed": {
        "channel": 1
      }
    },
    "content": [
      {
        "reader": {
          "name": "streamreader",
          "parameter": {
            "column": [
              {
                "value": 123456,
                "type": "long"
              },
              {
                "value": "123123",
                "type": "string"
              },
              {
                "value": "pay",
                "type": "string"
              },
              {
                "value": "2020-01-01 08:08:08",
                "type": "date"
              },
              {
                "value": "2020-01-01 08:08:08",
                "type": "date"
              },
              {
                "value": "2222",
                "type": "string"
              },
              {
                "value": "2020-01-01 08:08:08",
                "type": "date"
              },
              {
                "value": "test",
                "type": "string"
              },
              {
                "value": true,
                "type": "bool"
              }
            ],
            "sliceRecordCount": 10
          }
        },
        "writer": {
          "name": "ta-custom-table-writer",
          "parameter": {
            "appid": "6f9e64da5bc74792b9e9c1db4e3e3822",
            "table": "ta_custom_table",
            "tableDesc": "テストテーブル",
            "partitionValue": "2020-01-01",
            "writeMode": "overwrite",
            "column": [
              {
                "type": "double",
                "name": "id"
              },
              {
                "type": "string",
                "name": "distinct_id"
              },
              {
                "type": "string",
                "name": "event_name"
              },
              {
                "type": "string",
                "name": "time"
              },
              {
                "name": "event_time",
                "type": "string"
              },
              {
                "type": "string",
                "name": "account_id"
              },
              {
                "type": "string",
                "name": "testDate"
              },
              {
                "type": "string",
                "name": "timetest2"
              },
              {
                "type": "string",
                "name": "os_1"
              }
            ]
          }
        }
      }
    ]
  }
}

3.2 パラメータの説明

• appid

  • 説明：インポートするテーブルに対応するプロジェクトのappid。AEシステムの管理画面で確認できます。システムに存在し、かつオフラインになっていないプロジェクトである必要があります。
  • タイプ: string
  • 必須：はい
  • デフォルト値：なし

• table

  • 説明：AEシステムにインポートするテーブル名。注意：テーブル名はグローバルで重複できません。プロジェクトごとに区別できるプレフィックスまたはサフィックスを付けることをお勧めします。テーブル名には数字、英字、アンダースコアの組み合わせのみ使用できます
  • タイプ: string
  • 必須：はい
  • デフォルト値：なし

• tableDesc

  • 説明：インポートするテーブルのコメント。後でテーブルを照会する際にテーブルの意味がわかるよう、インポート時にこのパラメータを設定することをお勧めします
  • タイプ: string
  • 必須：いいえ
  • デフォルト値：空

• partitionValue

  • 説明：インポートのパーティション値。AEシステムにインポートしたカスタムテーブルにはデフォルトでパーティションフィールド $pt が付くため、インポート時にはパーティション値を必ず指定する必要があります。通常はインポートするデータの日付を設定します。例: 20180701。時間マクロによる置換にも対応しています。例：@[{yyyyMMdd}-{1day}]。具体的な使用方法は時間マクロの使用方法を参照してください
  • タイプ: string
  • 必須：はい
  • デフォルト値：なし

• writeMode

  • 説明：TACustomTableWriterの書き込み前のデータクリーンアップの処理モード：

    • append：partitionValueパーティションにデータを追加で書き込みます。
    • overwrite：partitionValueパーティションの既存ファイルを削除してから、今回インポートするデータを書き込みます。
    • 必須：はい
    • デフォルト値：なし

• column

  • 説明：書き込むデータのフィールド
  • 必須：はい
  • デフォルト値：なし
    • name でフィールド名を、type でフィールドタイプを指定します。

Columnのフィールド情報を指定することもできます。設定は次のとおりです：

"column":
         [
             {
                "name": "userName",
                "type": "string"
             },
             {
                "name": "age",
                "type": "long"
             }
         ]

3.3 型変換

現在、TACustomTableWriterはHIVEの型に対応しています。型を確認してください。

TACustomTableWriterにおけるHIVEデータタイプの変換表は次のとおりです：

DataX内部型	HIVEデータタイプ
Long	TINYINT,SMALLINT,INT,BIGINT
Double	FLOAT,DOUBLE
String	STRING,VARCHAR,CHAR
Boolean	BOOLEAN
Date	DATE,TIMESTAMP