Gemini Batch API ออกแบบมาเพื่อประมวลผลคำขอจำนวนมากแบบไม่พร้อมกันที่50% ของต้นทุนมาตรฐาน เวลาในการดำเนินการตามเป้าหมายคือ 24 ชั่วโมง แต่ในกรณีส่วนใหญ่จะเร็วกว่านั้นมาก
ใช้ Batch API สำหรับงานขนาดใหญ่ที่ไม่เร่งด่วน เช่น การประมวลผลข้อมูลเบื้องต้นหรือการเรียกใช้การประเมินที่ไม่จำเป็นต้องมีการตอบกลับทันที
การสร้างงานแบบกลุ่ม
คุณส่งคำขอใน Batch API ได้ 2 วิธี ดังนี้
- คำขอแบบอินไลน์: รายการออบเจ็กต์
GenerateContentRequestที่รวมอยู่ในคำขอสร้างกลุ่มโดยตรง เหมาะสำหรับ การประมวลผลแบบกลุ่มขนาดเล็กที่ทำให้ขนาดคำขอทั้งหมดไม่เกิน 20 MB เอาต์พุต ที่โมเดลแสดงผลคือรายการออบเจ็กต์inlineResponse - ไฟล์อินพุต: ไฟล์ JSON Lines (JSONL)
ซึ่งแต่ละบรรทัดมีออบเจ็กต์
GenerateContentRequestที่สมบูรณ์ เราขอแนะนำให้ใช้วิธีนี้สำหรับคำขอที่มีขนาดใหญ่ เอาต์พุต ที่ได้จากโมเดลคือไฟล์ JSONL ซึ่งแต่ละบรรทัดจะเป็นGenerateContentResponseหรือออบเจ็กต์สถานะ
คำขอในหน้า
สำหรับคำขอจำนวนเล็กน้อย คุณสามารถฝังออบเจ็กต์
GenerateContentRequest โดยตรง
ภายใน BatchGenerateContentRequest ตัวอย่างต่อไปนี้เรียกใช้เมธอด
BatchGenerateContent
ด้วยคำขอแบบอินไลน์
Python
from google import genai
from google.genai import types
client = genai.Client()
# A list of dictionaries, where each is a GenerateContentRequest
inline_requests = [
{
'contents': [{
'parts': [{