Mengimpor metadata dari PostgreSQL

Dokumen ini menjelaskan cara mengimpor metadata dari PostgreSQL ke Knowledge Catalog (sebelumnya Dataplex Universal Catalog) menggunakan konektor Knowledge Catalog.

Konektor ini mendukung instance PostgreSQL yang dihosting di infrastruktur lokal, di Cloud SQL, atau di lingkungan cloud lainnya.

Sebelum memulai

Sebelum dapat mengimpor metadata dari PostgreSQL, selesaikan tugas-tugas berikut:

1. Berikan peran dan izin yang diperlukan.
2. Aktifkan Knowledge Catalog dan BigQuery Data Transfer Service API.
3. Penuhi prasyarat PostgreSQL.
4. Penuhi prasyarat jaringan.

Peran dan izin IAM

Untuk membuat dan mengelola tugas konektor Knowledge Catalog, Anda memerlukan peran Identity and Access Management (IAM) yang memberikan izin untuk Knowledge Catalog dan BigQuery Data Transfer Service.

Untuk mendapatkan izin yang Anda perlukan untuk mengonfigurasi konektor PostgreSQL, minta administrator Anda untuk memberi Anda peran IAM berikut:

• Untuk membuat dan mengelola grup entri: Dataplex Catalog Admin (roles/dataplex.catalogAdmin), Dataplex Catalog Editor (roles/dataplex.catalogEditor), atau Dataplex Entry Group Owner (roles/dataplex.entryGroupOwner) di project.
• Untuk membuat dan mengelola tugas transfer BigQuery Data Transfer Service: BigQuery Admin (roles/bigquery.admin) di project.
• Untuk melihat log di Cloud Logging: Logs Viewer (roles/logging.viewer) di project.

Selain itu, Anda harus memberikan izin (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) atau peran Dataplex Entry Group Importer (roles/dataplex.entryGroupImporter) kepada agen layanan BigQuery Data Transfer Service dataplex.entryGroups.import. Anda dapat memberikan peran ini di tingkat project atau tingkat grup entri.

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.

Mengaktifkan API

Aktifkan Knowledge Catalog dan BigQuery Data Transfer Service API.

Aktifkan API

Prasyarat PostgreSQL

Pastikan Anda memenuhi prasyarat untuk transfer PostgreSQL. Untuk mengetahui detailnya, lihat prasyarat PostgreSQL dalam dokumentasi BigQuery Data Transfer Service.

Selain prasyarat BigQuery Data Transfer Service, database PostgreSQL Anda harus memenuhi persyaratan berikut untuk ekstraksi metadata:

• Versi minimum: PostgreSQL versi 15 atau yang lebih baru.
• Izin minimum yang diperlukan: Alat ekstraksi memerlukan izin tertentu untuk berhasil mengumpulkan metadata.

Untuk memberikan izin ini, jalankan pernyataan SQL berikut:

1. Berikan koneksi ke database:

   GRANT CONNECT ON DATABASE DATABASE_NAME TO USERNAME;
   

2. Berikan penggunaan pada skema:

   GRANT USAGE ON SCHEMA SCHEMA_NAME TO USERNAME;
   

3. Berikan peran baca yang diperlukan kepada pengguna:

   GRANT pg_read_all_data TO USERNAME;
   GRANT pg_read_all_settings TO USERNAME;
   GRANT pg_read_all_stats TO