COS 데이터 소스 구성
Tencent Cloud 오브젝트 스토리지 COS(Cloud Object Storage)는 파일 등 오브젝트 데이터를 저장하는 데 사용됩니다. COS 데이터 소스를 구성하면 데이터 개발 플랫폼에서 COS 파일을 읽고, 오프라인 동기화 계획을 통해 데이터를 AE 사전 설정 스토리지 공간 테이블에 써서 이후 가공과 분석에 활용할 수 있습니다.
사용 제한
- COS는 현재 오프라인 읽기를 지원하며, 데이터 목적지는 AE 사전 설정 스토리지 공간 테이블입니다.
- COS를 데이터 목적지로 사용하는 것은 아직 지원하지 않으며, COS에서 다른 외부 데이터베이스로 직접 동기화하는 것도 지원하지 않습니다.
- COS 스토리지를 사용하는 공간 테이블은 아직 데이터 연동에 참여할 수 없습니다. 데이터 목적지를 설정할 때는 연동에 참여할 수 있는 사전 설정 스토리지 공간 테이블을 선택하십시오.
구성을 시작하기 전에 대상 버킷의 리전, 전체 Bucket 이름, 그리고 해당 버킷에 접근하여 대상 파일을 읽을 권한이 있는 Secret Id와 Secret Key를 준비하십시오. 또한 플랫폼 실행 환경에서 해당 COS 서비스에 접근할 수 있는지 확인하십시오.
지원 파일 타입 및 설정 규칙
COS는 다음 다섯 가지 파일 타입의 읽기를 지원합니다. 데이터 소스를 생성할 때는 연결 파라미터만 입력하면 되며, 파일 경로, 파일 타입, 읽기 규칙은 오프라인 동기화 계획에서 설정합니다.
| 파일 유형 | 설정 안내 |
|---|---|
| csv | 열 구분 기호와 헤더 건너뛰기 여부를 설정할 수 있습니다. 기본 구분 기호는 쉼표이며, 유효한 단일 문자를 지원하고 \t를 입력하여 Tab을 나타낼 수도 있습니다. \t 외에는 여러 문자로 된 구분 기호를 지원하지 않으며, 큰따옴표, 캐리지 리턴, 줄바꿈도 구분 기호로 사용할 수 없습니다. |
| text | 열 구분 기호와 헤더 건너뛰기 여부를 설정할 수 있습니다. 기본 구분 기호는 쉼표이며, 열 구분 기호는 정규표현식으로 해석됩니다. 예를 들어 \t는 Tab, \s+는 연속된 공백을 나타냅니다. 세로 막대나 마침표로 열을 구분하려면 각각 \| 또는 \.를 입력하십시오. |
| json | json 파일 타입을 선택하고 인식된 필드와 데이터 미리보기 결과를 확인합니다. |
| orc | orc 파일 타입을 선택하고 인식된 필드와 데이터 미리보기 결과를 확인합니다. |
| parquet | parquet 파일 타입을 선택하고 인식된 필드와 데이터 미리보기 결과를 확인합니다. |
파일 타입은 실제 파일 형식과 일치해야 합니다. CSV와 Text는 구분 기호 처리 방식이 다르므로, 파일 타입을 전환하거나 읽기 규칙을 수정한 후에는 데이터 미리보기와 필드 매핑을 다시 확인하십시오.
COS 데이터 소스 생성
- 대상 워크스페이스로 이동하여 데이터 개발 플랫폼 → 통합 → 데이터 소스 페이지에서 데이터 소스를 추가합니다.
- 반정형 분류에서 COS를 선택하고 다음을 클릭합니다.
- 데이터 소스 이름, 비고, 연결 파라미터를 입력합니다. 실제 사용 방식에 따라 운영 환경과 개발 환경이 설정을 공유할지, 각각 설정할지 선택합니다.
- 연결 테스트 영역의 테스트를 클릭하여 연결 결과를 확인하는 것을 권장합니다. 독립 환경 설정을 사용하는 경우 운영 환경과 개발 환경을 각각 테스트하십시오.
- 설정이 올바른지 확인한 후 완료를 클릭합니다. 생성에 성공하면 데이터 소스 상세 페이지로 이동하며, 연결 설정과 연결 상태를 확인할 수 있습니다.
데이터 소스 설정 파라미터
| 필드 이름 | 설명 |
|---|---|
| * 데이터 소스 이름 | 현재 워크스페이스 내에서 고유해야 하며, 길이는 1–80자입니다. 생성 후에는 이름을 수정할 수 없습니다. |
| 비고 | 선택 사항이며 최대 200자입니다. 데이터 용도를 설명할 수 있습니다. |
| 환경 설정 | 기본값은 환경 구분 없음으로, 운영 환경과 개발 환경이 동일한 설정을 사용합니다. 독립 환경 설정을 선택하면 두 세트의 연결 파라미터를 각각 입력합니다. |
| * 리전(Region) | 버킷이 속한 리전의 약칭입니다. 예: ap-nanjing. 중국어 리전 이름이 아니라 실제 버킷의 리전을 사용하십시오. |
| * Bucket | APPID 접미사를 포함한 전체 버킷 이름을 입력합니다. 예: examplebucket-1250000000. 이름만 입력하며, 접근 도메인, 파일 경로, cos:// 등의 프로토콜 접두사는 입력하지 않습니다. |
| * Secret Id | Tencent Cloud 액세스 키의 식별자로, Secret Key와 함께 사용합니다. |
| * Secret Key | Secret Id에 대응하는 액세스 키입니다. 대상 버킷에 대한 접근 권한이 있는 자격 증명을 입력하십시오. |
*가 있는 파라미터는 필수 항목입니다. COS 연결 설정에는 Endpoint를 입력할 필요가 없습니다. 리전과 Bucket 입력 방법은 Tencent Cloud의 준비 작업 및 리전 및 접근 도메인 설명을 참고하십시오.
아래 그림은 기존 COS 데이터 소스의 전체 연결 설정 영역으로, 환경 설명, 리전, Bucket, Secret Id, Secret Key를 포함합니다. 민감한 값은 가려져 있습니다.
그림 1: COS 데이터 소스의 전체 연결 설정. 운영 환경과 개발 환경이 동일한 설정을 사용하며, 회색으로 가려진 영역은 마스킹된 파라미터 값입니다.
연결 테스트에 실패하면 페이지 안내에 따라 리전과 Bucket이 일치하는지, Secret Id와 Secret Key가 올바른지, 계정에 필요한 접근 권한이 있는지, 플랫폼에서 COS로 네트워크 연결이 가능한지 순서대로 확인하십시오. 연결 파라미터를 수정한 후에는 다시 테스트하는 것을 권장합니다.
오프라인 동기화 작업 생성
데이터 소스 설정을 완료한 후 통합 → 오프라인 동기화로 이동하여 통합 계획을 추가합니다. 데이터 소스로 COS를 선택하고, 생성한 COS 데이터 소스를 선택합니다.
데이터 소스 설정
| 구성 항목 | 설명 |
|---|---|
| * 데이터 소스 | 설정된 COS 데이터 소스를 선택합니다. |
| * 파일 경로 | Bucket 내의 상대 파일 경로를 입력합니다. 예: incoming/events/data.parquet. 페이지에 사전 설정된 접두사가 표시되므로 프로토콜과 Bucket을 다시 입력할 필요가 없습니다. 필요에 따라 공간 파라미터를 삽입하거나 * 와일드카드를 사용할 수 있습니다. 예: incoming/events/*. |
| * 파일 타입 | 실제 파일과 일치하는 csv, text, json, orc 또는 parquet을 선택합니다. |
| 파일 읽기 규칙 | csv 또는 text를 선택하면 열 구분 기호와 헤더 건너뛰기 옵션을 설정할 수 있습니다. 구체적인 규칙은 지원 파일 타입 및 설정 규칙을 참고하십시오. |
| 빈 디렉토리 성공으로 표시 | 고급 설정에 있으며 기본값은 꺼짐입니다. 켜면 파일 디렉터리가 비어 있을 때 작업을 성공으로 표시할 수 있습니다. 입력 파일이 없어도 되는 시나리오에서만 켜십시오. |
경로를 입력한 후 경로 보기 및 데이터 미리보기 기능으로 실제 읽기 범위와 파싱 결과를 확인할 수 있습니다. 경로, 파일 타입, 읽기 규칙이 올바른지 확인한 후 데이터 목적지와 필드 매핑을 설정하십시오.
데이터 목적지 및 필드 매핑 설정
데이터 목적지로 AE 사전 설정 스토리지 공간 테이블을 선택하고, 타겟 테이블에 맞게 쓰기 모드를 설정합니다. 덮어쓰기는 타겟 테이블의 기존 데이터에 영향을 주므로 실제 동기화 요구 사항에 따라 선택하십시오.
소스와 목적지 설정을 완료한 후 소스 필드와 타겟 필드 사이에 매핑을 설정합니다. 대응 관계를 직접 지정하거나 동일 이름으로 매핑 또는 동일 행으로 매핑을 사용할 수 있습니다. 각 타겟 필드는 하나의 소스 필드에만 대응할 수 있습니다. 필드의 의미와 타입을 확인하여 이름이나 위치가 같다는 이유만으로 잘못된 매핑이 설정되지 않도록 하십시오.
아래 그림은 기존 COS 동기화 계획의 필드 매핑 예시입니다. 필드 이름과 대응 관계는 예시일 뿐이며, 실제 파일 내용과 타겟 테이블 구조를 기준으로 하십시오.
그림 2: COS 오프라인 동기화 계획의 소스 필드와 타겟 필드 매핑.
저장 및 계획 확인
계획 이름, 담당자, 동기화 속도, 비고 등 기본 정보를 입력한 후 저장을 클릭합니다. 저장 후 상세 페이지에서 필드 매핑과 통합 방안 설정을 확인할 수 있습니다. 동기화 결과를 검증하려면 수동 실행을 사용하고 실행 기록과 타겟 테이블 데이터를 확인하십시오.
오프라인 동기화 계획을 작업 플로우에 연결
작업 플로우로 COS 데이터 동기화를 실행하려면 저장된 오프라인 동기화 계획을 작업 플로우에 연결할 수 있습니다.
- 통합 계획 상세 페이지에서 작업 플로우에 연결을 클릭합니다.
- 대상 작업 플로우를 선택합니다. 새 작업 플로우를 만들려면 선택 상자의 생성 항목을 사용하거나 개발 모듈로 이동하여 생성합니다.
- 동기화 노드 이름을 입력하고 페이지에서 지원하는 실행 모드를 선택한 후, 필요에 따라 담당자와 비고를 설정합니다. 노드는 현재 통합 계획과 연관됩니다.
- 노드 생성 및 연결을 클릭합니다. 성공하면 작업 플로우로 이동을 클릭하여 노드 설정을 확인합니다.
연결 후 새로 추가된 노드는 개발 상태입니다. 작업 플로우의 의존성과 스케줄링 구성을 확인하고 배포하여 라이브 상태로 전환한 후, 작업 플로우 스케줄링을 통해 해당 계획을 실행하십시오.
연결을 해제하려면 작업 플로우의 개발 모드에서 해당 오프라인 동기화 노드를 삭제합니다. 작업 플로우가 이미 배포되어 라이브 상태라면 작업 플로우를 다시 배포하여 운영 환경의 연결 관계도 함께 업데이트해야 합니다.