TaCustomReader 플러그인

최근 업데이트 2026. 10. 03.

1. 소개

TaCustomReader 플러그인은 DataX가 AE에서 데이터를 읽어 오는 기능을 구현합니다. 내부적으로 TaCustomReader는 JDBC를 통해 원격 AE 데이터베이스에 연결하고, 해당 sql 문을 실행하여 AE 데이터베이스에서 데이터를 SELECT합니다.

2. 구현 원리

간단히 말해, TaCustomReader는 JDBC 커넥터를 통해 원격 AE 데이터베이스에 연결하고, 사용자가 설정한 정보에 따라 조회용 SELECT SQL 문을 생성하여 AE 클러스터로 보냅니다. 그런 다음 SQL 실행 결과를 DataX 자체 정의 데이터 타입을 사용해 추상 데이터 세트로 조립한 뒤 다운스트림 Writer에 전달하여 처리합니다.

3. 기능 설명

3.1 설정 예시

AE 클러스터에서 데이터를 읽어 콘솔에 출력하는 작업을 설정합니다:

{
  "job": {
    "setting": {
      "speed": {
        "channel": 1
      }
    },
    "content": [
      {
        "reader": {
          "name": "ta-custom-reader",
          "parameter": {
            "querySql": "select * from v_event_1 where \"$part_date\" = '2020-01-01'"
          }
        },
        "writer": {
          "name": "streamwriter",
          "parameter": {
            "print": true,
            "encoding": "UTF-8"
          }
        }
      }
    ]
  }
}

3.2 파라미터 설명

• server

  • 설명: 대상 AE 데이터베이스의 연결 정보이며, SERVER:PORT 형식입니다.
  • 필수: 아니요
  • 기본값: 동기화 클러스터 설정

• querySql

  • 설명: 일부 비즈니스 시나리오에서는 이 설정 항목을 통해 필터링 SQL을 직접 정의할 수 있습니다. 이 항목을 설정하면 이 설정 항목의 내용으로 데이터를 바로 필터링합니다. 예를 들어 여러 테이블을 join한 후 데이터를 동기화해야 하는 경우 select a,b from table_a join table_b on table_a.id = table_b.id를 사용합니다.
  • 필수: 예
  • 기본값: 없음

3.3 타입 변환

현재 TaCustomReader는 대부분의 Presto 타입을 지원하지만 일부 타입은 지원하지 않으므로 사용하는 타입을 확인하시기 바랍니다.

다음은 TaCustomReader가 AE 클러스터에서 사용하는 presto 타입 변환 목록입니다:

DataX 내부 타입	Presto 데이터 타입
Long	TINYINT, SMALLINT, INTEGER, BIGINT
Double	REAL, DOUBLE, DECIMAL
String	VARCHAR, CHAR, VARBINARY, JSON
Date	DATE, TIME, TIMESTAMP
Boolean	BOOLEAN

주의: 위에 나열된 필드 타입 외의 다른 타입은 지원하지 않습니다