Gemini Batch API dirancang untuk memproses permintaan dalam volume besar secara asinkron dengan 50% dari biaya standar. Waktu penyelesaian yang ditargetkan adalah 24 jam, tetapi dalam sebagian besar kasus, hasilnya jauh lebih cepat.
Gunakan Batch API untuk tugas berskala besar yang tidak mendesak seperti pra-pemrosesan data atau menjalankan evaluasi yang tidak memerlukan respons langsung.
Membuat tugas batch
Anda memiliki dua cara untuk mengirimkan permintaan di Batch API:
- Permintaan inline: Daftar objek
GenerateContentRequestyang disertakan langsung dalam permintaan pembuatan batch Anda. Cara ini cocok untuk batch yang lebih kecil yang menjaga ukuran total permintaan di bawah 20 MB. Output yang ditampilkan dari model adalah daftar objekinlineResponse. - File input: File JSON Lines (JSONL)
dengan setiap baris berisi objek
GenerateContentRequestlengkap. Metode ini direkomendasikan untuk permintaan yang lebih besar. Output yang ditampilkan dari model adalah file JSONL dengan setiap barisnya berupa objek