MaxCompute 데이터 소스 설정
MaxCompute 데이터 소스는 오프라인 동기화를 통해 Alibaba Cloud MaxCompute의 테이블 데이터를 읽어 플랫폼의 기본 스토리지에 쓰는 데 사용됩니다. 이 문서에서는 연결 설정, 소스 Schema 및 파티션, 필드 매핑, 지원하는 필드 타입, 동기화 검증과 워크플로우 스케줄을 설명합니다.
사용 제한 및 사전 준비
설정을 시작하기 전에 다음 사항을 확인하십시오.
- MaxCompute는 데이터 소스로만 사용할 수 있으며 데이터 목적지는 플랫폼의 기본 스토리지입니다. 이 계획을 통한 MaxCompute로의 쓰기 또는 다른 외부 데이터 소스로의 직접 쓰기는 지원하지 않습니다.
- MaxCompute 프로젝트의 End Point, 프로젝트 이름, 연동에 사용할 Access Key Id 및 Access Key Secret을 준비합니다.
- 연동 계정에는 프로젝트에 접근하고 테이블 및 메타데이터를 확인하며 동기화할 테이블 또는 파티션을 읽을 수 있는 권한이 있어야 합니다. 프로젝트 관리자가 실제 읽기 범위에 맞게 권한을 부여해야 합니다. MaxCompute 권한 설명을 참조하십시오.
- 사용자 정의 Schema에 속한 테이블을 읽기 전에 소스 Project가 Schema를 지원하는지 확인하고 연동 계정에 해당 Schema 및 테이블의 접근 권한을 부여하십시오. 소스 측 준비 방법은 MaxCompute Schema 작업을 참조하십시오.
- 프로젝트에서 다운로드 권한 제어를 사용하는 경우 프로젝트 요구 사항에 따라 해당 Tunnel 다운로드 권한도 부여해야 합니다. 다운로드 권한 제어를 참조하십시오.
- 플랫폼 실행 환경에서 설정한 MaxCompute 서비스 주소에 접근할 수 있어야 합니다. 프로젝트에 IP 허용 목록이 설정되어 있으면 플랫폼 서버의 실제 외부 통신용 IP를 확인하십시오.
- 기본 스토리지의 타겟 테이블을 미리 준비하고 필드 타입과 파티션 정의를 확인합니다. 생성 방법은 워크스페이스 테이블 생성 및 관리를 참조하십시오.
| 환경 설정 방식 | 설정 요구 사항 |
|---|---|
| 환경 구분 없음 | 개발 환경과 운영 환경에서 프로젝트 및 자격 증명 설정 한 세트를 공유 |
| 독립 환경 설정 | 개발 환경과 운영 환경을 각각 설정. 두 설정 모두 계획에서 선택한 동일한 이름의 Schema, 테이블 및 파티션에 접근할 수 있어야 함 |
데이터 미리보기에는 개발 환경 설정을 사용하고 수동 실행에는 운영 환경 설정을 사용합니다. 두 설정의 프로젝트, 테이블 권한 및 네트워크 접근을 각각 확인하십시오.
MaxCompute의 객체 계층은 Project > Schema > Table입니다. Project는 데이터 소스 연결에서 설정하고 Schema와 테이블은 동기화 계획에서 선택합니다. 동일한 Project 내의 서로 다른 Schema에 같은 이름의 테이블이 있을 수 있으므로 Schema와 함께 읽을 대상을 확인하십시오. 기존 2계층 Project에서는 플랫폼의 논리적 default를 통해 기존 테이블을 선택합니다. default를 선택해도 해당 Project가 사용자 정의 Schema를 지원하는 프로젝트로 업그레이드되지는 않습니다.
Access Key Secret은 안전한 방법으로 전달하고 스크린샷, 로그 또는 공개 문서에 자격 증명이 노출되지 않도록 하십시오. 자격 증명을 교체하거나 프로젝트 권한을 조정한 후에는 데이터 소스 연결 및 동기화 계획을 다시 검증해야 합니다.
MaxCompute 데이터 소스 생성
- 데이터 개발 플랫폼 > 통합 > 데이터 소스로 이동하여 + 데이터 소스를 클릭합니다.
- MaxCompute를 선택하고 다음 단계를 클릭한 후 데이터 소스 이름과 비고를 입력합니다.
- 환경 구분 없음 또는 독립 환경 설정을 선택합니다. 독립 환경 설정에서는 개발 환경과 운영 환경의 정보를 각각 입력해야 합니다.
- 다음 연결 파라미터를 입력합니다. 연결 테스트에서 테스트를 클릭하고 테스트를 통과했는지 확인한 후 완료를 클릭합니다.
| 구성 항목 | 설명 |
|---|---|
| End Point | MaxCompute 프로젝트가 있는 리전에 해당하는 서비스 주소. 프로젝트 관리자에게 확인하십시오 |
| Access Key Id | 연동 계정의 AccessKey ID |
| Access Key Secret | AccessKey ID에 해당하는 AccessKey Secret |
| 프로젝트 이름 | 이번에 읽을 MaxCompute Project 이름. 연동 계정의 접근 권한과 일치해야 하며 여기에 Schema나 테이블 이름을 입력하지 않음 |
| 고급 설정 | 필요에 따라 JSON 형식의 확장 설정을 입력. 추가 설정이 필요하지 않으면 비워 둘 수 있음 |
연결 테스트를 통과한 후에도 동기화 계획에서 소스 테이블을 로드하고 데이터를 미리 본 후 실행하여 검증해야 합니다. 테이블 권한, 파티션 범위 및 실제 읽기 결과를 확인하십시오.
동일한 데이터 소스로 해당 Project에서 접근 권한이 있는 여러 Schema를 읽을 수 있습니다. 각 동기화 계획의 소스 테이블에서 따로 선택하면 되므로 Schema마다 데이터 소스를 다시 생성할 필요가 없습니다.
MaxCompute 소스 설정
- 데이터 개발 플랫폼 > 통합 > 오프라인 동기화로 이동하여 + 통합 방안을 클릭합니다.
- 데이터 소스에서 MaxCompute와 생성한 데이터 소스를 선택합니다.
- 소스 테이블 왼쪽에서 Schema를 선택한 후 오른쪽에서 해당 Schema에 속한 데이터 테이블을 선택합니다. 계획을 새로 생성할 때는
default하나만 있더라도 먼저 Schema를 수동으로 선택해야 합니다. - 소스 테이블이 파티션 테이블이면 파티션 정보에서 각 파티션 필드의 값을 입력합니다. 파티션 값에는 워크스페이스 파라미터를 사용할 수 있으며 와일드카드는 지원하지 않습니다. 파라미터 설명은 파라미터 관리를 참조하십시오.
- 데이터 미리보기를 클릭하여 현재 Schema에 속한 소스 테이블의 필드, 실제 값 및 읽기 범위를 확인합니다.
- 일괄 건수를 조정하려면 고급 설정을 펼쳐 설정합니다.
Schema와 테이블 이름은 각각 선택합니다. 예를 들어 project_a.ods.events를 읽으려면 데이터 소스의 프로젝트 이름을 project_a로 설정하고 소스 Schema는 ods, 데이터 테이블은 events를 선택합니다. 테이블 이름에 전체 한정 이름을 입력하지 마십시오.
| 구성 항목 | 설명 |
|---|---|
| 데이터 소스 이름 | 현재 워크스페이스에 생성된 MaxCompute 데이터 소스 |
| Schema | 이번에 읽을 Schema. 기존 2계층 Project에서는 default를 선택합니다. 다른 Project를 읽으려면 먼저 데이터 소스 연결 설정과 권한을 확인하십시오 |
| 데이터 테이블 이름 | 선택한 Schema에 속한 데이터 테이블. 목록에는 테이블 이름이 표시되며 파티션 테이블에는 해당 표시가 있음 |
| 파티션 정보 | 소스가 파티션 테이블이면 각 파티션 값을 입력. 워크스페이스 파라미터를 사용하는 경우 실행 시 파라미터 값이 실제 존재하는 파티션에 해당하는지 확인해야 함 |
| 일괄 건수 | 고급 설정 항목. 화면 기본값은 1000이며 설정 가능한 범위는 1000–10000 |
Schema를 변경하면 기존 소스 테이블 선택이 초기화됩니다. Schema 또는 테이블을 변경할 때는 기존 파티션 설정과 소스 필드 매핑도 초기화됩니다. 테이블을 다시 선택하고 파티션 값을 입력한 후 필드를 분석하여 미리보기 결과와 매핑을 확인하십시오. 서로 다른 Schema의 동명 테이블은 필드가 다를 수 있으므로 기존 매핑을 그대로 사용할 수는 없습니다.
소스 테이블의 필드를 추가, 삭제 또는 수정한 후에도 필드를 다시 분석하고 매핑을 확인해야 합니다. 기존 계획을 편집할 때는 표시된 Schema, 테이블 및 파티션을 확인한 후 변경 사항을 저장하십시오.
데이터 목적지 설정
데이터 목적지에서 플랫폼의 기본 스토리지를 선택한 후 타겟 워크스페이스 테이블을 선택합니다. 타겟 테이블이 아직 없으면 먼저 테이블로 이동하여 필요한 필드 및 파티션 정의에 따라 생성하십시오. 워크스페이스 테이블 생성 및 관리를 참조하십시오.
| 구성 항목 | 설명 |
|---|---|
| 타겟 테이블 | 이번 데이터를 받을 기본 스토리지의 워크스페이스 테이블 |
| 파티션 정보 | 타겟이 파티션 테이블이면 타겟 테이블 요구 사항에 맞게 파티션 값을 설정. 소스 파티션과 타겟 파티션을 각각 확인해야 함 |
| 쓰기 모드 | 새 데이터 삽입 또는 덮어쓰기를 선택. 화면 기본 선택은 덮어쓰기이며 타겟 데이터의 보존 요구 사항에 따라 조정하십시오 |
실행 전에 타겟 테이블, 타겟 파티션 및 쓰기 모드를 다시 확인하여 보존해야 할 데이터를 덮어쓰지 않도록 하십시오. 소스 테이블과 타겟 테이블의 필드 이름은 서로 달라도 되지만 필드 매핑을 통해 대응 관계를 명확히 설정해야 합니다.
필드 매핑 및 지원하는 필드 타입
소스와 목적지 설정을 완료한 후 필드 매핑에서 소스 필드와 타겟 필드의 대응 관계를 설정합니다. 필드를 개별적으로 선택하거나 동일 이름 매핑 또는 동일 행 매핑을 사용한 후 항목별로 확인할 수 있습니다. 하나의 타겟 필드는 하나의 소스 필드에만 대응할 수 있습니다.
매핑에는 현재 선택한 Schema와 테이블에서 분석한 필드가 적용됩니다. Schema 또는 테이블을 변경한 후에는 필드를 다시 분석하고 매핑을 설정한 다음 필드 지원 여부를 확인하십시오.
그림은 기존 계획의 필드 대응 관계를 보여 주며, 실시간 연결 또는 이번 실행 검증을 통과했다는 의미는 아닙니다.
지원 필드 타입
MaxCompute를 데이터 소스로 사용할 때 다음 필드 타입을 지원합니다. 필드 타입 이름은 대소문자를 구분하지 않습니다. 파라미터 또는 중첩 구조가 있는 필드는 전체 정의도 확인해야 합니다.
| 타입 분류 | 지원하는 MaxCompute 필드 타입 |
|---|---|
| 불리언 | BOOLEAN |
| 정수 | TINYINT, SMALLINT, INT, BIGINT |
| 부동 소수점 및 고정 소수점 | FLOAT, DOUBLE, DECIMAL |
| 문자열 및 JSON | STRING, VARCHAR, CHAR, JSON |
| 날짜 및 시간 | DATE, TIMESTAMP, TIMESTAMP_NTZ, DATETIME |
| 복합 타입 | ARRAY, MAP, STRUCT. 전체 구조 확인 필요 |
BINARY 및 기타 인식되지 않는 타입은 지원하지 않습니다. 이 계획은 MaxCompute에서 데이터를 읽는 기능만 지원하며 MaxCompute에 쓰는 필드 타입 범위는 제공하지 않습니다.
필드 타입 사용 제한
DECIMAL(p,s),VARCHAR(n),CHAR(n)은 전체 정밀도, 소수 자릿수 및 길이 요구 사항을 확인해야 합니다.- 날짜/시간 필드는 실제 시간의 의미, 시간대 및 정밀도 요구 사항을 확인해야 합니다. 기본 타입이 지원된다는 이유만으로 결과가 예상과 일치한다고 판단할 수 없습니다.
ARRAY<T>,MAP<K,V>,STRUCT<...>는 전체 요소, 키-값 또는 필드 정의와 NULL 제약 조건을 확인해야 합니다. 최상위 타입이 지원되어도 모든 중첩 구조 또는 요소 타입이 지원되는 것은 아닙니다.- Schema와 파티션은 읽을 객체와 범위를 결정하며 필드 타입 지원 조건을 변경하지 않습니다. 소스 테이블의 구조가 변경되면 필드를 다시 분석하고 필드 대응 관계를 확인하십시오.
- 데이터 미리보기에 필드가 표시되어도 해당 필드 타입의 동기화가 지원된다는 의미는 아닙니다. 저장 후 실행하여 검증하고 타겟 테이블의 실제 결과를 확인하십시오.
동기화 검증 및 워크플로우 스케줄
동기화 결과 저장 및 검증
- 소스 Project, Schema, 테이블 및 파티션과 타겟 테이블 및 파티션, 쓰기 모드 및 필드 매핑을 확인합니다.
- 계획 이름, 담당자 및 비고를 입력하고 저장을 클릭합니다.
- 수동 실행을 클릭하고 대화 상자의 요구 사항에 따라 실행 모드를 선택한 후 이번 실행의 파라미터 값을 확인하고 실행을 시작합니다. 수동 실행에는 운영 환경 설정을 사용하며 실행 모드로 개발 환경과 운영 환경을 전환할 수는 없습니다.
- 수동 실행 기록에서 실행 상태와 로그를 확인합니다. 작업이 성공하면 타겟 테이블에서 데이터 건수, 필드 대응 관계 및 숫자, 시간, 복합 타입, NULL 등의 예시 값을 확인합니다.
독립 환경 설정에서 개발 단계에 데이터를 정상적으로 로드하거나 미리 볼 수 있다고 해서 운영 환경의 자격 증명과 읽기 권한도 갖추어진 것은 아닙니다. 최초 실행 전에 두 설정과 각 Project의 Schema, 테이블, 파티션 및 파라미터를 각각 확인하십시오.
작업 플로우에 연결
수동 검증을 통과한 후 계획을 작업 플로우에 연결하여 스케줄링 주기에 따라 실행할 수 있습니다.
- 저장된 계획을 열고 워크플로우에 연결을 클릭하여 타겟 작업 플로우를 선택합니다. 아직 생성하지 않은 경우 작업 플로우 생성을 참조하십시오.
- 노드 이름, 실행 모드, 담당자 등의 정보를 입력하고 노드 생성 및 연결을 클릭합니다.
- 작업 플로우로 이동을 클릭하여 노드와 상위·하위 의존성을 확인하고 스케줄링에 사용할 소스 파티션과 워크스페이스 파라미터를 확인합니다.
- 작업 플로우 스케줄 설정을 완료하고 저장한 후 작업 플로우를 배포합니다. 연결에 성공했다고 해서 노드가 이미 배포되어 운영 중인 것은 아닙니다.
계획을 작업 플로우에 연결한 후에는 계획 상세 페이지에서 더 이상 수동 실행하지 않습니다. 작업 플로우에서 해당 노드를 실행하고 검증하십시오.
자주 묻는 질문
| 증상 | 확인 항목 |
|---|---|
| 연결 테스트 실패 | End Point, 프로젝트 이름, AccessKey 및 플랫폼 서버의 네트워크 접근과 IP 허용 목록을 확인 |
| 연결은 가능하지만 Schema 목록이 비어 있거나 로드에 실패함 | 소스 Project의 Schema 지원 여부, 계정 권한 및 네트워크 접근을 확인. 목록 로드에 실패하면 새로 고침하여 다시 시도할 수 있으나, 실패했다고 해서 default만 선택하면 된다고 간주하지 않아야 함 |
| Schema를 선택한 후 소스 테이블을 찾을 수 없거나 미리 볼 수 없음 | 테이블이 현재 Schema에 속하는지 확인하고 계정의 프로젝트 멤버 자격과 Schema, 테이블 및 메타데이터 읽기 권한을 확인. 프로젝트에서 다운로드 제어를 사용하는 경우 해당 다운로드 권한도 확인해야 함 |
| 동명 테이블의 필드 또는 데이터가 예상과 다름 | 데이터 소스의 Project와 계획의 Schema를 확인하고 테이블을 다시 선택한 후 필드를 분석하고 매핑을 확인 |
| 파티션 읽기 실패 또는 데이터 없음 | 파티션이 존재하는지, 각 파티션 값이 완전한지, 워크스페이스 파라미터를 해석한 실제 값이 올바른지 확인 |
| 미리보기는 정상이지만 실행 실패 | 운영 환경 설정과 해당 Project에 동일한 이름의 Schema, 테이블 및 파티션이 있는지 확인한 후 자격 증명, 권한, 타겟 테이블 및 파라미터를 확인하고 이번 실행 로그를 확인 |

