Mulai menggunakan Batch

Halaman ini menjelaskan cara memulai Batch untuk Google Cloud.

Ringkasan

Batch adalah layanan terkelola sepenuhnya yang memungkinkan Anda menjadwalkan, mengantrekan, dan menjalankan pemrosesan batch workload di Google Cloud resource. Misalnya, pertimbangkan untuk menggunakan Batch untuk workload komputasi berperforma tinggi (HPC), machine learning (ML), dan pemrosesan data. Batch menyediakan resource dan mengelola kapasitas untuk Anda, sehingga beban kerja batch Anda dapat berjalan dalam skala besar.

Saat menggunakan Batch, Anda tidak perlu mengonfigurasi dan mengelola penjadwal tugas pihak ketiga, menyediakan dan mencabut akses resource, atau meminta resource satu zona dalam satu waktu. Untuk menjalankan tugas, tentukan parameter untuk resource yang diperlukan bagi beban kerja Anda, lalu Batch mendapatkan resource dan mengantrekan tugas untuk dieksekusi. Batch menyediakan integrasi native dengan layanan lain Google Cloud untuk membantu penjadwalan, eksekusi, penyimpanan, dan analisis tugas batch, sehingga Anda dapat fokus pada pengiriman tugas dan pemakaian hasilnya.

Batch terdiri dari komponen berikut:

  • Tugas: program terjadwal yang menjalankan serangkaian tugas hingga selesai tanpa interaksi pengguna apa pun, biasanya untuk beban kerja komputasi. Misalnya, tugas mungkin berupa skrip shell tunggal atau komputasi multibagian yang kompleks.

    Secara khusus, tugas Batch mewakili array yang terdiri dari satu atau beberapa tugas dan lingkungan untuk menjalankan tugas tersebut. Anda menentukan program untuk tugas sebagai urutan yang terdiri dari satu atau beberapa runnable. Setiap tugas menjalankan urutan runnable pada resource tugas. Anda dapat mengonfigurasi tugas untuk dijalankan secara paralel atau berurutan.

  • Tugas: satu eksekusi urutan runnable tugas. Jika tugas memiliki beberapa tugas, Anda menentukan bagaimana setiap eksekusi akan bervariasi dengan mereferensikan variabel lingkungan untuk indeks tugas dalam runnable tugas.

  • Runnable: skrip atau container yang dapat dieksekusi yang Anda tentukan sebagai bagian dari tugas.

  • Resource: infrastruktur yang diperlukan untuk menjalankan tugas. Minimal, Anda hanya perlu menentukan resource komputasi yang diperlukan per tugas: core CPU, memori, dan (jika diperlukan) penyimpanan disk boot tambahan. Secara opsional, Anda juga dapat menentukan opsi resource lainnya untuk tugas. Batch secara otomatis membuat dan menghapus resource yang memenuhi spesifikasi Anda selama waktu proses tugas.

    Secara khusus, setiap tugas Batch berjalan pada grup instance terkelola regional (MIG), yang merupakan grup yang terdiri dari satu atau beberapa instance virtual machine (VM) Compute Engine yang cocok dan masing-masing berlokasi di salah satu zona yang disertakan. Setiap VM memiliki hardware khusus untuk core CPU dan memori—yang memengaruhi performa tugas Anda—dan disk boot—yang menyimpan image sistem operasi (OS) dan petunjuk untuk menjalankan tugas Anda. Jika ditentukan, tugas mungkin juga menyertakan atau mengakses resource tambahan—misalnya, GPU atau volume penyimpanan eksternal. Jumlah VM yang disediakan untuk tugas bergantung pada persyaratan hardware dan opsi penjadwalan tugas yang Anda tentukan.

Singkatnya, Batch memungkinkan Anda membuat dan menjalankan tugas yang masing-masing secara otomatis menyediakan dan menggunakan resource yang diperlukan untuk menjalankan tugasnya.

Untuk mengetahui informasi selengkapnya tentang perilaku dan opsi tugas, lihat halaman Ringkasan pembuatan dan eksekusi tugas.

Harga

Penggunaan Batch tidak dikenakan biaya tambahan. Anda hanya dikenai biaya resource dasar yang diperlukan untuk menjalankan tugas Anda.

Untuk mengetahui informasi selengkapnya tentang biaya yang terkait dengan Batch dan cara memfilter laporan Cloud Billing untuk melihat biaya Batch, lihat Harga.

Pembatasan

Batch memiliki batasan berikut:

  • Anda tidak dapat melebihi kuota dan batas Batch untuk project Anda.
  • Tugas hanya dapat menggunakan jenis mesin dari seri mesin berikut:
    • Tujuan umum: C4, C4A, C4D, C3, C3D, E2, N4, N2D, N2, N1, dan T2D
    • Dioptimalkan untuk komputasi: C2, C2D, dan H3
    • Dioptimalkan untuk memori: M3, M2, dan M1
    • Dioptimalkan untuk akselerator: A4, A3 Ultra, A3 Mega, A3 High, A2, G4, dan G2
  • Anda hanya dapat menentukan satu jenis mesin, yang dapat ditetapkan atau kustom, per tugas.
  • Anda tidak dapat menentukan lebih dari satu grup tugas per tugas. Semua tugas hanya memiliki satu grup tugas bernama group0.

Prasyarat

Untuk mulai menggunakan Batch, selesaikan prasyarat berikut:

  1. Jika project Anda belum pernah menggunakan Batch, aktifkan Batch untuk project Anda.
  2. Siapkan Batch untuk setiap pengguna baru.

Mengaktifkan Batch untuk project

Untuk mulai menggunakan Batch dengan project, lakukan hal berikut:

  1. Di Google Cloud konsol, pada halaman pemilih project, pilih atau buat Google Cloud project.

    Peran yang diperlukan untuk memilih atau membuat project

    • Memilih project: Memilih project tidak memerlukan peran IAM tertentu Anda dapat memilih project mana pun yang telah diberi peran.
    • Membuat project: Untuk membuat project, Anda memerlukan peran Pembuat Project (roles/resourcemanager.projectCreator), yang berisi izin resourcemanager.projects.create. Pelajari cara memberikan peran.

    Buka pemilih project

  2. Verifikasi bahwa penagihan diaktifkan untuk Google Cloud project Anda.

  3. Pastikan Batch diaktifkan untuk project Anda:

    1. Aktifkan Batch, Compute Engine, dan Cloud Logging API.

      Peran yang diperlukan untuk mengaktifkan API

      Untuk mengaktifkan API, Anda memerlukan peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin), yang berisi izin serviceusage.services.enable. Pelajari cara memberikan peran.

      Aktifkan API