Integrasi BigQuery

BigQuery terintegrasi dengan Document AI untuk membantu membangun analisis dokumen dan kasus penggunaan AI generatif. Seiring percepatan transformasi digital, organisasi menghasilkan sejumlah besar data teks dan dokumen lainnya, yang semuanya memiliki potensi besar untuk menghasilkan insight dan mendukung kasus penggunaan AI generatif baru. Untuk membantu memanfaatkan data ini, kami dengan senang hati mengumumkan integrasi antara BigQuery dan Document AI, yang memungkinkan Anda mengekstrak insight dari data dokumen dan membuat aplikasi model bahasa besar (LLM) baru.

Ringkasan

Pelanggan BigQuery kini dapat membuat pengekstrak kustom Document AI, yang didukung oleh model dasar canggih Google, yang dapat mereka sesuaikan berdasarkan dokumen dan metadata mereka sendiri. Model yang disesuaikan ini kemudian dapat dipanggil dari BigQuery untuk mengekstrak data terstruktur dari dokumen secara aman dan teratur, menggunakan kesederhanaan dan kecanggihan SQL. Sebelum integrasi ini, beberapa pelanggan mencoba membuat pipeline Document AI independen, yang melibatkan kurasi logika dan skema ekstraksi secara manual. Kurangnya kemampuan integrasi bawaan membuat mereka harus mengembangkan infrastruktur khusus untuk menyinkronkan dan menjaga konsistensi data. Hal ini mengubah setiap project analisis dokumen menjadi tugas besar yang memerlukan investasi signifikan. Sekarang, dengan integrasi ini, pelanggan dapat membuat model jarak jauh di BigQuery untuk ekstraktor kustom mereka di Document AI, dan menggunakannya untuk melakukan analisis dokumen dan AI generatif dalam skala besar, sehingga membuka era baru insight dan inovasi berbasis data.

Pengalaman data ke AI yang terpadu dan dikelola

Anda dapat membuat ekstraktor kustom di Document AI dengan tiga langkah:

1. Tentukan data yang perlu diekstrak dari dokumen Anda. Hal ini disebut document schema, disimpan dengan setiap versi ekstraktor kustom, dapat diakses dari BigQuery.
2. Jika perlu, berikan dokumen tambahan dengan anotasi sebagai contoh ekstraksi.
3. Latih model untuk pengekstraksi kustom, berdasarkan model dasar yang disediakan di Document AI.

Selain pengekstraksi kustom yang memerlukan pelatihan manual, Document AI juga menyediakan pengekstraksi siap pakai untuk pengeluaran, tanda terima, invoice, formulir pajak, tanda pengenal pemerintah, dan berbagai skenario lainnya, di galeri pemroses.

Kemudian, setelah pengekstraksi kustom siap, Anda dapat beralih ke BigQuery Studio untuk menganalisis dokumen menggunakan SQL dalam empat langkah berikut:

1. Daftarkan model jarak jauh BigQuery untuk ekstraktor menggunakan SQL. Model dapat memahami skema dokumen (yang dibuat di atas), memanggil ekstraktor kustom, dan mengurai hasilnya.
2. Buat tabel objek menggunakan SQL untuk dokumen yang disimpan di Cloud Storage. Anda dapat mengatur data tidak terstruktur dalam tabel dengan menetapkan kebijakan akses tingkat baris, yang membatasi akses pengguna ke dokumen tertentu dan dengan demikian membatasi kemampuan AI untuk privasi dan keamanan.
3. Gunakan fungsi ML.PROCESS_DOCUMENT pada tabel objek untuk mengekstrak kolom yang relevan dengan melakukan panggilan inferensi ke endpoint API. Anda juga dapat memfilter dokumen untuk ekstraksi dengan klausa WHERE di luar fungsi. Fungsi ini menampilkan tabel terstruktur, dengan setiap kolom adalah kolom yang diekstrak.
4. Gabungkan data yang diekstrak dengan tabel BigQuery lain untuk menggabungkan data terstruktur dan tidak terstruktur, sehingga menghasilkan nilai bisnis.

Contoh berikut mengilustrasikan pengalaman pengguna: