कंप्यूटर का इस्तेमाल

कंप्यूटर इस्तेमाल करने वाले टूल की मदद से, ब्राउज़र, मोबाइल, और डेस्कटॉप कंट्रोल एजेंट बनाए जा सकते हैं. ये एजेंट, टास्क को ऑटोमेट करते हैं और उनके साथ इंटरैक्ट करते हैं. स्क्रीनशॉट का इस्तेमाल करके, मॉडल कंप्यूटर स्क्रीन को "देख" सकता है. साथ ही, माउस क्लिक और कीबोर्ड इनपुट जैसे यूज़र इंटरफ़ेस (यूआई) से जुड़ी कार्रवाइयां करके "काम" कर सकता है. फ़ंक्शन कॉलिंग की तरह ही, आपको कंप्यूटर के इस्तेमाल से जुड़ी कार्रवाइयों को पाने और उन्हें पूरा करने के लिए, क्लाइंट-साइड एक्ज़ीक्यूशन एनवायरमेंट लागू करना होगा.

जिन मॉडल के साथ Gemini 1.5 Pro काम करता है उनकी सूची देखने के लिए, मॉडल के वर्शन पर जाएं. Gemini 3.x मॉडल में कई बेहतर सुविधाएँ उपलब्ध हैं:

  • एक से ज़्यादा एनवायरमेंट के लिए सहायता: ब्राउज़र, मोबाइल, और डेस्कटॉप एनवायरमेंट के लिए एजेंट बनाएं.
  • आसानी से की जा सकने वाली कार्रवाइयां: कार्रवाइयों में एक intent फ़ील्ड शामिल होता है. इसमें मॉडल के हर चरण के पीछे की वजह बताई जाती है.
  • कॉन्फ़िगर की जा सकने वाली सुरक्षा नीतियां: पहले से मौजूद नीति की कैटगरी और ओवरराइड की मदद से, सुरक्षा से जुड़े व्यवहार को बेहतर बनाएं.
  • प्रॉम्प्ट इंजेक्शन का पता लगाना: छिपे हुए नुकसान पहुंचाने वाले निर्देशों का पता लगाने के लिए, स्क्रीनशॉट स्कैन करने की सुविधा के लिए ऑप्ट-इन करें.

कंप्यूटर के इस्तेमाल की सुविधा की मदद से, ऐसे एजेंट बनाए जा सकते हैं जो:

  • वेबसाइटों पर बार-बार होने वाली डेटा एंट्री या फ़ॉर्म भरने की प्रोसेस को अपने-आप होने की सुविधा चालू करें.
  • वेब ऐप्लिकेशन और उपयोगकर्ता फ़्लो की ऑटोमेटेड टेस्टिंग करना
  • अलग-अलग वेबसाइटों पर रिसर्च करना. जैसे, खरीदारी करने से पहले ई-कॉमर्स साइटों से प्रॉडक्ट की जानकारी, कीमतें, और समीक्षाएं इकट्ठा करना

यहां क्लाइंट को शुरू करने और ब्राउज़र एनवायरमेंट के लिए computer_use टूल चालू करके, मॉडल को प्रॉम्प्ट भेजने का एक छोटा सा उदाहरण दिया गया है:

Python

from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-3.7-flash",
    input="Search for 'Gemini API' on Google.",
    tools=[{"type": "computer_use", "environment": "browser"}]
)

print(interaction)

JavaScript

import { GoogleGenAI } from '@google/genai';

const ai = new GoogleGenAI();

const interaction = await