TaCustomTableWriter 플러그인

최근 업데이트 2026. 10. 03.

1. 빠른 소개

TACustomTableWriter는 AE 시스템에 커스텀 테이블을 생성하는 기능을 제공합니다.

경우에 따라 사용해야 하는 데이터를 user나 event 형태로 표현할 수 없을 때가 있습니다. 예를 들어 매핑 관계 테이블이나 외부 데이터 등이 이에 해당합니다. 이러한 데이터를 활용하려면 TACustomTableWriter 플러그인을 통해 커스텀 데이터를 AE 시스템으로 가져와야 합니다.

2. 기능과 제한

AE 시스템의 커스텀 테이블 기능만 지원합니다.

3. 기능 설명

3.1 설정 예시

{
  "job": {
    "setting": {
      "speed": {
        "channel": 1
      }
    },
    "content": [
      {
        "reader": {
          "name": "streamreader",
          "parameter": {
            "column": [
              {
                "value": 123456,
                "type": "long"
              },
              {
                "value": "123123",
                "type": "string"
              },
              {
                "value": "pay",
                "type": "string"
              },
              {
                "value": "2020-01-01 08:08:08",
                "type": "date"
              },
              {
                "value": "2020-01-01 08:08:08",
                "type": "date"
              },
              {
                "value": "2222",
                "type": "string"
              },
              {
                "value": "2020-01-01 08:08:08",
                "type": "date"
              },
              {
                "value": "test",
                "type": "string"
              },
              {
                "value": true,
                "type": "bool"
              }
            ],
            "sliceRecordCount": 10
          }
        },
        "writer": {
          "name": "ta-custom-table-writer",
          "parameter": {
            "appid": "6f9e64da5bc74792b9e9c1db4e3e3822",
            "table": "ta_custom_table",
            "tableDesc": "테스트 테이블",
            "partitionValue": "2020-01-01",
            "writeMode": "overwrite",
            "column": [
              {
                "type": "double",
                "name": "id"
              },
              {
                "type": "string",
                "name": "distinct_id"
              },
              {
                "type": "string",
                "name": "event_name"
              },
              {
                "type": "string",
                "name": "time"
              },
              {
                "name": "event_time",
                "type": "string"
              },
              {
                "type": "string",
                "name": "account_id"
              },
              {
                "type": "string",
                "name": "testDate"
              },
              {
                "type": "string",
                "name": "timetest2"
              },
              {
                "type": "string",
                "name": "os_1"
              }
            ]
          }
        }
      }
    ]
  }
}

3.2 파라미터 설명

• appid

  • 설명: 가져올 테이블에 해당하는 프로젝트의 appid입니다. AE 시스템 백엔드에서 확인할 수 있으며, 시스템에 존재하고 비활성화되지 않은 프로젝트여야 합니다.
  • 타입: string
  • 필수: 예
  • 기본값: 없음

• table

  • 설명: AE 시스템으로 가져올 테이블 이름입니다. 주의: 테이블 이름은 전역에서 중복될 수 없으므로 프로젝트별로 구분할 수 있는 접두사나 접미사를 붙이는 것을 권장합니다. 테이블 이름은 숫자, 영문자, 밑줄의 조합만 사용할 수 있습니다.
  • 타입: string
  • 필수: 예
  • 기본값: 없음

• tableDesc

  • 설명: 가져올 테이블의 주석입니다. 나중에 테이블을 조회할 때 테이블의 의미를 명확히 알 수 있도록 가져올 때 이 파라미터를 설정하는 것을 권장합니다.
  • 타입: string
  • 필수: 아니요
  • 기본값: 빈 값

• partitionValue

  • 설명: 가져올 파티션 값입니다. AE 시스템으로 가져온 커스텀 테이블에는 기본적으로 파티션 필드 $pt 가 포함되므로, 가져올 때 반드시 파티션 값을 지정해야 합니다. 일반적으로 가져오는 데이터의 날짜로 설정합니다(예: 20180701). 시간 매크로 치환도 지원합니다(예: @[{yyyyMMdd}-{1day}]). 구체적인 사용 방법은 시간 매크로 사용 방법을 참고하십시오
  • 타입: string
  • 필수: 예
  • 기본값: 없음

• writeMode

  • 설명: TACustomTableWriter가 쓰기 전에 데이터를 정리하는 처리 모드입니다.

    • append: partitionValue 파티션에 데이터를 누적하여 씁니다.
    • overwrite: partitionValue 파티션에 이미 있는 파일을 삭제한 후 이번에 가져온 데이터를 씁니다.
    • 필수: 예
    • 기본값: 없음

• column

  • 설명: 데이터를 쓸 필드
  • 필수: 예
  • 기본값: 없음
    • 여기서 name은 필드 이름을, type은 필드 타입을 지정합니다.

Column 필드 정보를 지정할 수 있으며, 설정은 다음과 같습니다.

"column":
         [
             {
                "name": "userName",
                "type": "string"
             },
             {
                "name": "age",
                "type": "long"
             }
         ]

3.3 타입 변환

현재 TACustomTableWriter는 HIVE 타입을 지원합니다. 사용하는 타입을 확인하시기 바랍니다.

다음은 TACustomTableWriter의 HIVE 데이터 타입 변환 목록입니다.

DataX 내부 타입	HIVE 데이터 타입
Long	TINYINT,SMALLINT,INT,BIGINT
Double	FLOAT,DOUBLE
String	STRING,VARCHAR,CHAR
Boolean	BOOLEAN
Date	DATE,TIMESTAMP