Mengelola resource Datastream menggunakan Knowledge Catalog

Anda dapat menelusuri dan mengelola resource Datastream menggunakan Knowledge Catalog, yang merupakan platform untuk menyimpan, mengelola, dan mengakses metadata Anda. Gunakan Knowledge Catalog untuk membantu Anda melakukan hal berikut:

  • Menemukan, menganalisis, dan memahami metadata Datastream Anda.
  • Menjelajahi resource Datastream Anda, seperti aliran data, profil koneksi, dan konfigurasi konektivitas.
  • Meningkatkan visibilitas operasional untuk memecahkan masalah dan mengelola pipeline data.
  • Menetapkan mekanisme hampir real-time dan berkala untuk penyerapan metadata yang konsisten dengan sinkronisasi langsung dan batch. Untuk mengetahui informasi selengkapnya, lihat Mode sinkronisasi.

Pemodelan Knowledge Catalog

Resource Datastream dimodelkan di Knowledge Catalog dalam grup entri yang dicadangkan, yang dimiliki Knowledge Catalog dan jenis entri tertentu.

Entitas Knowledge Catalog ID resource
Grup entri @datastream
Jenis entri datastream-stream
Jenis entri datastream-connection-profile
Jenis entri datastream-private-connection

Jenis penemuan metadata

Penemuan metadata Knowledge Catalog adalah proses otomatis yang memindai sumber data yang terhubung—seperti Datastream—untuk mengidentifikasi aset data dan mengekstrak metadata teknisnya ke Knowledge Catalog.

Proses ini menggunakan sinkronisasi real-time dan berkala untuk menjaga katalog tetap konsisten dengan sistem sumber. Untuk Datastream, metadata untuk semua aliran data, profil koneksi, dan konfigurasi konektivitas pribadi ditemukan secara default:

Resource type Metadata yang diambil
Aliran Data
  • Nama
  • Lokasi
  • Negara bagian (misalnya, RUNNING, PAUSED, FAILED)
  • Strategi pengisian ulang
  • Nama profil koneksi sumber dan tujuan
  • Konfigurasi sumber dan tujuan
Profil koneksi
  • Nama
  • Lokasi
  • Jenis (misalnya, MYSQL, ORACLE, BIGQUERY)
  • Opsi konektivitas
  • Nama host, port, dan nama database
Konfigurasi konektivitas pribadi
  • Nama
  • Negara bagian/Provinsi
  • Metode konektivitas (misalnya, Private Service Connect atau peering VPC)
  • Detail subnet dan jaringan VPC

Mode sinkronisasi

Datastream menggunakan mode sinkronisasi berikut untuk menjaga Knowledge Catalog tetap konsisten dengan sistem sumber.

  • Sinkronisasi live: dalam mode ini, Datastream memublikasikan peristiwa ke topik Pub/Sub saat ada perubahan metadata. Dengan demikian, Knowledge Catalog dapat menerima pembaruan hampir real-time dengan berlangganan topik ini.
  • Sinkronisasi batch: dalam mode ini, Datastream secara berkala memublikasikan ekspor metadata lengkap (titik pemeriksaan) ke bucket Cloud Storage yang ditentukan, yang kemudian digunakan Knowledge Catalog untuk menyerap data.

Knowledge Catalog mendukung penelusuran kata kunci dan bahasa alami.

  • Penelusuran kata kunci memungkinkan Anda menemukan referensi menggunakan kata kunci, filter, dan sintaksis yang ditentukan. Misalnya, Anda dapat memasukkan system=Datastream AND type=Stream untuk melihat semua aliran Datastream.
  • Penelusuran natural language (Pratinjau) menggunakan AI untuk memahami kueri semantik. Fitur ini memungkinkan Anda menemukan resource menggunakan bahasa sehari-hari, sehingga tidak memerlukan sintaks yang rumit. Misalnya, Anda dapat memasukkan kueri seperti List all Datastream streams with BigQuery destination.

Untuk mengetahui informasi selengkapnya, lihat Sintaksis penelusuran untuk Knowledge Catalog.

Sebelum memulai

  1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.