메타데이터 내보내기

메타데이터 내보내기 작업을 실행하여 외부 시스템에서 사용할 수 있도록 Dataplex Universal Catalog에서 메타데이터를 내보낼 수 있습니다.

다음과 같은 경우 메타데이터를 내보낼 수 있습니다.

다른 데이터 분석 도구 또는 BigQuery를 사용하여 메타데이터 쿼리 및 분석
나중에 Dataplex Universal Catalog로 다시 가져올 수 있는 대량의 메타데이터를 프로그래매틱 방식으로 처리
커스텀 애플리케이션이나 서드 파티 도구에 메타데이터 통합

메타데이터 내보내기 작업은 Dataplex Universal Catalog 메타데이터 스냅샷을 내보냅니다. Dataplex Universal Catalog 메타데이터는 항목과 해당 항목 관점으로 구성됩니다. 이 페이지의 단계에서는 개발자가 항목 그룹, 항목 유형, 관점 유형을 포함하여 Dataplex Universal Catalog 메타데이터 개념에 익숙하다고 가정합니다.

작업 범위

작업 범위는 내보낼 메타데이터를 정의합니다. 메타데이터 내보내기 작업마다 다음 작업 범위 중 하나를 제공해야 합니다.

조직: 조직에 속한 메타데이터를 내보냅니다.
프로젝트: 지정된 프로젝트에 속하는 메타데이터를 내보냅니다.
항목 그룹: 지정된 항목 그룹에 속하는 메타데이터를 내보냅니다.

작업에 포함할 항목 유형이나 관점 유형을 지정하여 범위를 추가로 제한할 수 있습니다. 작업은 이러한 항목 유형과 관점 유형에 속하는 항목과 관점만 내보냅니다.

VPC 서비스 제어

Dataplex Universal Catalog는 VPC 서비스 제어를 사용하여 메타데이터 내보내기 작업에 대한 보안을 강화합니다. 작업이 속한 프로젝트에 따라 다음과 같이 VPC 서비스 제어 경계가 결정됩니다.

작업 범위를 조직 수준으로 설정하면 결과는 다음과 같습니다.
- 내보내기 범위는 작업이 속한 조직입니다.
- VPC 서비스 제어 경계 내에 있는 항목만 내보냅니다.
- 작업 조직 내에 있지만 VPC 서비스 제어 경계 외부에 있는 프로젝트는 제외됩니다.
작업 범위를 프로젝트나 항목 그룹으로 설정하는 경우 프로젝트나 항목 그룹이 작업과 동일한 VPC 서비스 제어 경계에 있어야 합니다. 프로젝트나 항목 그룹이 VPC 서비스 제어 규칙을 위반하면 작업이 실패합니다.

시작하기 전에

메타데이터를 내보내기 전에 이 섹션의 태스크를 완료합니다.

최종 사용자에게 필요한 역할

메타데이터 내보내기 작업을 관리하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

메타데이터 내보내기 작업 만들기:
- 내보낼 조직, 프로젝트 또는 항목 그룹에 대한 Dataplex 항목 그룹 내보내기 작업자(roles/dataplex.entryGroupExporter)
- 메타데이터 작업을 실행하는 프로젝트에 대한 Dataplex 메타데이터 작업 소유자(roles/dataplex.metadataJobOwner)
내보낸 결과에 액세스: 프로젝트 또는 버킷에 대한 스토리지 객체 뷰어(roles/storage.objectViewer)
메타데이터 작업 보기: 프로젝트에 대한 Dataplex 메타데이터 작업 뷰어(roles/dataplex.metadataJobViewer)

역할 부여 방법에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

이러한 사전 정의된 역할에는 메타데이터 내보내기 작업을 관리하는 데 필요한 권한이 포함되어 있습니다. 필수 권한 섹션을 펼치면 필요한 권한을 정확하게 확인할 수 있습니다.

필수 권한

메타데이터 내보내기 작업을 관리하려면 다음 권한이 필요합니다.

메타데이터 내보내기:
- dataplex.metadataJobs.create
- dataplex.entryGroups.export
- dataplex.entryGroups.get
- resourcemanager.projects.get
- resourcemanager.projects.list
내보낸 결과에 액세스: storage.objects.get

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

Dataplex Universal Catalog 서비스 계정에 필요한 역할

Cloud Storage 버킷에 액세스하는 데 필요한 권한이 Dataplex Universal Catalog 서비스 계정에 있게 하려면 관리자에게 버킷에 대한 storage.buckets.get, storage.objects.get, storage.objects.create 권한을 Dataplex Universal Catalog 서비스 계정에 부여해 달라고 요청하세요.

Google Cloud 리소스 구성

Google Cloud CLI를 설치합니다. 설치 후 다음 명령어를 실행하여 Google Cloud CLI를 초기화합니다.
```
gcloud init
```
외부 ID 공급업체(IdP)를 사용하는 경우 먼저 제휴 ID로 gcloud CLI에 로그인해야 합니다.
내보낸 결과를 저장할 Cloud Storage 버킷을 만듭니다.

버킷은 메타데이터 작업과 동일한 위치와 VPC 서비스 제어 경계에 있어야 합니다.

메타데이터 내보내기 작업 실행

다음 섹션에서는 다양한 작업 범위로 메타데이터를 내보내는 방법을 설명합니다.

조직에서 메타데이터 내보내기

조직에서 메타데이터를 내보내려면 metadataJobs.create 메서드를 사용하고 organizationLevel 불리언을 true로 설정합니다.

요청 데이터를 사용하기 전에 다음을 바꿉니다.

JOB_PROJECT: 메타데이터 작업을 실행할 Google Cloud프로젝트. 프로젝트 번호나 프로젝트 ID를 입력합니다.
LOCATION_ID: Google Cloud 위치(예: us-central1)
METADATA_JOB_ID: (선택사항) 메타데이터 작업 ID
BUCKET: 메타데이터를 내보낼 Cloud Storage 버킷

원하는 경우 버킷 이름 뒤에 gs://BUCKET/PREFIX/ 형식의 커스텀 프리픽스를 포함할 수 있습니다. 커스텀 프리픽스 최대 길이는 128자(영문 기준)입니다.

HTTP 메서드 및 URL:

POST https://dataplex.googleapis.com/v1/projects/JOB_PROJECT/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID

JSON 요청 본문:

{
  "type": "EXPORT",
  "export_spec": {
    "output_path": "gs://BUCKET/",
    "scope": {
      "organizationLevel": true,
    },
  }
}

요청을 보내려면 다음 옵션 중 하나를 펼칩니다.

cURL(Linux, macOS 또는 Cloud Shell)

참고: 다음 명령어는 gcloud init 또는 gcloud auth login을 실행하거나 gcloud CLI에 자동으로 로그인하는 Cloud Shell을 사용하여 사용자 계정으로 gcloud CLI에 로그인했다고 가정합니다. gcloud auth list를 실행하면 현재 활성 계정을 확인할 수 있습니다.

요청 본문을 request.json 파일에 저장하고 다음 명령어를 실행합니다.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataplex.googleapis.com/v1/projects/JOB_PROJECT/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID"

PowerShell(Windows)

참고: 다음 명령어는 gcloud init 또는 gcloud auth login을 실행하여 사용자 계정으로 gcloud CLI에 로그인했다고 가정합니다. gcloud auth list를 실행하면 현재 활성 계정을 확인할 수 있습니다.

요청 본문을 request.json 파일에 저장하고 다음 명령어를 실행합니다.

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataplex.googleapis.com/v1/projects/JOB_PROJECT/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID" | Select-Object -Expand Content

응답은 장기 실행 작업을 식별합니다. 내보낸 메타데이터는 Cloud Storage 버킷에 저장됩니다.

특정 프로젝트에서 메타데이터 내보내기

프로젝트 하나 이상에서 메타데이터를 내보내려면 metadataJobs.create 메서드를 사용하고 프로젝트 목록을 제공합니다.

요청 데이터를 사용하기 전에 다음을 바꿉니다.

JOB_PROJECT: 메타데이터 작업을 실행할 Google Cloud프로젝트. 프로젝트 번호나 프로젝트 ID를 입력합니다.
LOCATION_ID: Google Cloud 위치(예: us-central1)
METADATA_JOB_ID: (선택사항) 메타데이터 작업 ID
BUCKET: 메타데이터를 내보낼 Cloud Storage 버킷

원하는 경우 버킷 이름 뒤에 gs://BUCKET/PREFIX/ 형식의 커스텀 프리픽스를 포함할 수 있습니다. 커스텀 프리픽스 최대 길이는 128자(영문 기준)입니다.
METADATA_SOURCE_PROJECT: 내보내려는 메타데이터가 있는 프로젝트. 프로젝트 번호나 프로젝트 ID를 입력합니다. 프로젝트는 메타데이터 작업과 동일한 조직과 VPC 서비스 제어 경계에 있어야 합니다.

HTTP 메서드 및 URL:

POST https://dataplex.googleapis.com/v1/projects/JOB_PROJECT/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID

JSON 요청 본문:

{
  "type": "EXPORT",
  "export_spec": {
    "output_path": "gs://BUCKET/",
    "scope": {
      "projects": [
        "projects/METADATA_SOURCE_PROJECT",
        # Additional projects
      ],
    },
  }
}

요청을 보내려면 다음 옵션 중 하나를 펼칩니다.

cURL(Linux, macOS 또는 Cloud Shell)

요청 본문을 request.json 파일에 저장하고 다음 명령어를 실행합니다.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataplex.googleapis.com/v1/projects/JOB_PROJECT/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID"

PowerShell(Windows)

요청 본문을 request.json 파일에 저장하고 다음 명령어를 실행합니다.

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataplex.googleapis.com/v1/projects/JOB_PROJECT/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID" | Select-Object -Expand Content

응답은 장기 실행 작업을 식별합니다. 내보낸 메타데이터는 Cloud Storage 버킷에 저장됩니다.

특정 항목 그룹에서 메타데이터 내보내기

특정 항목 그룹에서 메타데이터를 내보내려면 metadataJobs.create 메서드를 사용하고 항목 그룹 목록을 제공합니다.

요청 데이터를 사용하기 전에 다음을 바꿉니다.

JOB_PROJECT: 메타데이터 작업을 실행할 Google Cloud프로젝트. 프로젝트 번호나 프로젝트 ID를 입력합니다.
LOCATION_ID: Google Cloud 위치(예: us-central1)
METADATA_JOB_ID: (선택사항) 메타데이터 작업 ID
BUCKET: 메타데이터를 내보낼 Cloud Storage 버킷

원하는 경우 버킷 이름 뒤에 gs://BUCKET/PREFIX/ 형식의 커스텀 프리픽스를 포함할 수 있습니다. 커스텀 프리픽스 최대 길이는 128자(영문 기준)입니다.
ENTRY_GROUP: 작업 범위 내에 있는 항목 그룹의 상대적 리소스 이름(projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryGroups/ENTRY_GROUP_ID 형식). 항목 그룹은 메타데이터 작업과 동일한 프로젝트에 있어야 합니다.

HTTP 메서드 및 URL:

POST https://dataplex.googleapis.com/v1/projects/JOB_PROJECT/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID

JSON 요청 본문:

{
  "type": "EXPORT",
  "export_spec": {
    "output_path": "gs://BUCKET/",
    "scope": {
      "entryGroups": [
        "ENTRY_GROUP",
        # Additional entry groups
      ],
    },
  }
}

요청을 보내려면 다음 옵션 중 하나를 펼칩니다.

cURL(Linux, macOS 또는 Cloud Shell)

요청 본문을 request.json 파일에 저장하고 다음 명령어를 실행합니다.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataplex.googleapis.com/v1/projects/JOB_PROJECT/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID"

PowerShell(Windows)

요청 본문을 request.json 파일에 저장하고 다음 명령어를 실행합니다.

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

메타데이터 내보내기 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.

작업 범위

VPC 서비스 제어

시작하기 전에

최종 사용자에게 필요한 역할

필수 권한

Dataplex Universal Catalog 서비스 계정에 필요한 역할

Google Cloud 리소스 구성

메타데이터 내보내기 작업 실행

조직에서 메타데이터 내보내기

cURL(Linux, macOS 또는 Cloud Shell)

PowerShell(Windows)

특정 프로젝트에서 메타데이터 내보내기

cURL(Linux, macOS 또는 Cloud Shell)

PowerShell(Windows)

특정 항목 그룹에서 메타데이터 내보내기

cURL(Linux, macOS 또는 Cloud Shell)

PowerShell(Windows)

메타데이터 내보내기