Mengekspor metadata

Dokumen ini menjelaskan cara mengekspor metadata dari Knowledge Catalog (sebelumnya Dataplex Universal Catalog) menggunakan tugas ekspor metadata untuk digunakan dalam sistem eksternal. Anda dapat mengekspor metadata untuk menganalisisnya dengan alat seperti BigQuery, memproses volume besar secara terprogram, atau mengintegrasikannya dengan aplikasi kustom.

Panduan ini mengasumsikan bahwa Anda sudah memahami konsep metadata Knowledge Catalog, termasuk grup entri, jenis entri, dan jenis aspek.

Cakupan tugas

Cakupan tugas menentukan metadata yang akan diekspor. Anda harus memberikan salah satu cakupan tugas berikut untuk setiap tugas ekspor metadata:

• Organisasi: mengekspor metadata milik organisasi Anda.
• Project: mengekspor metadata yang termasuk dalam project tertentu.
• Grup entri: mengekspor metadata yang termasuk dalam grup entri yang ditentukan.

Anda dapat membatasi lebih lanjut cakupan dengan menentukan jenis entri atau jenis aspek yang akan disertakan dalam tugas. Tugas ini hanya mengekspor entri dan aspek yang termasuk dalam jenis entri dan jenis aspek ini.

Kontrol Layanan VPC

Knowledge Catalog menggunakan Kontrol Layanan VPC untuk memberikan keamanan tambahan bagi tugas ekspor metadata. Project tempat tugas berada menentukan perimeter Kontrol Layanan VPC, sebagai berikut:

• Jika Anda menyetel cakupan tugas ke tingkat organisasi, hal berikut akan terjadi:
  • Cakupan ekspor adalah organisasi tempat tugas berada.
  • Hanya entri yang berada dalam perimeter Kontrol Layanan VPC yang diekspor.
  • Project apa pun yang berada dalam organisasi tugas, tetapi di luar perimeter Kontrol Layanan VPC akan dikecualikan.
• Jika Anda menyetel cakupan tugas ke project atau grup entri, project atau grup entri harus berada dalam perimeter Kontrol Layanan VPC yang sama dengan tugas. Jika ada project atau grup entri yang melanggar aturan Kontrol Layanan VPC, tugas akan gagal.

Sebelum memulai

Sebelum mengekspor metadata, selesaikan tugas-tugas di bagian ini.

Peran yang diperlukan untuk pengguna akhir

Untuk mendapatkan izin yang Anda perlukan untuk mengelola tugas ekspor metadata, minta administrator untuk memberi Anda peran IAM berikut:

• Buat tugas ekspor metadata:
  • Dataplex Entry Group Exporter (roles/dataplex.entryGroupExporter) di organisasi, project, atau grup entri yang akan diekspor
  • Pemilik Tugas Metadata Dataplex (roles/dataplex.metadataJobOwner) di project tempat Anda menjalankan tugas metadata
• Akses hasil yang diekspor: Storage Object Viewer (roles/storage.objectViewer) di project atau bucket
• Melihat tugas metadata: Dataplex Metadata Job Viewer (roles/dataplex.metadataJobViewer) di project

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk mengelola tugas ekspor metadata. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Peran yang diperlukan untuk akun layanan Knowledge Catalog

Untuk memastikan akun layanan Knowledge Catalog memiliki izin yang diperlukan untuk mengakses bucket Cloud Storage, minta administrator Anda untuk memberikan izin berikut kepada akun layanan Knowledge Catalog di bucket: storage.buckets.get, storage.objects.get, dan storage.objects.create.

Mengonfigurasi Google Cloud resource

1. Instal Google Cloud CLI. Setelah penginstalan, inisialisasi Google Cloud CLI dengan menjalankan perintah berikut:

   gcloud init

   Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

2. Buat bucket Cloud Storage untuk menyimpan hasil yang diekspor.

   Bucket harus berada di lokasi yang sama dan perimeter Kontrol Layanan VPC yang sama dengan tugas metadata.

Menjalankan tugas ekspor metadata

Bagian berikut menunjukkan cara mengekspor metadata dengan cakupan tugas yang berbeda.

Mengekspor metadata dari organisasi Anda

Untuk mengekspor metadata dari organisasi Anda, gunakan metode metadataJobs.create dan tetapkan boolean organizationLevel ke true.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

• JOB_PROJECT: project Google Cloud tempat Anda menjalankan tugas metadata. Berikan nomor project atau ID project.
• LOCATION_ID: lokasi Google Cloud , seperti us-central1.
• METADATA_JOB_ID: optional. ID tugas metadata.

• BUCKET: bucket Cloud Storage tujuan untuk mengekspor metadata.

  Secara opsional, Anda dapat menyertakan awalan kustom setelah nama bucket, dalam format gs://BUCKET/PREFIX/. Panjang maksimum awalan kustom adalah 128 karakter.

Metode HTTP dan URL:

POST https://dataplex.googleapis.com/v1/projects/JOB_PROJECT/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID

Meminta isi JSON:

{
  "type": "EXPORT",
  "export_spec": {
    "output_path": "gs://BUCKET/",
    "scope": {
      "organizationLevel": true,
    },
  }
}

Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataplex.googleapis.com/v1/projects/JOB_PROJECT/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataplex.googleapis.com/v1/projects/JOB_PROJECT/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID" | Select-Object -Expand Content

Respons mengidentifikasi operasi yang berjalan lama. Metadata yang diekspor disimpan ke bucket Cloud Storage.

Mengekspor metadata dari project tertentu

Untuk mengekspor metadata dari satu atau beberapa project, gunakan metode metadataJobs.create dan berikan daftar project.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

• JOB_PROJECT: project Google Cloud tempat Anda menjalankan tugas metadata. Berikan nomor project atau ID project.
• LOCATION_ID: lokasi Google Cloud , seperti us-central1.
• METADATA_JOB_ID: optional. ID tugas metadata.

• BUCKET: bucket Cloud Storage tujuan untuk mengekspor metadata.

  Secara opsional, Anda dapat menyertakan awalan kustom setelah nama bucket, dalam format gs://BUCKET/PREFIX/. Panjang maksimum awalan kustom adalah 128 karakter.

• METADATA_SOURCE_PROJECT: project yang metadata-nya ingin Anda ekspor. Berikan nomor project atau ID project. Project harus berada di organisasi dan perimeter Kontrol Layanan VPC yang sama dengan tugas metadata.

Metode HTTP dan URL: