Инструмент «Использование компьютера» позволяет создавать агенты управления для браузеров, мобильных устройств и настольных компьютеров, которые взаимодействуют с задачами и автоматизируют их. Используя снимки экрана, модель может «видеть» экран компьютера и «действовать», генерируя определенные действия пользовательского интерфейса, такие как щелчки мыши и ввод с клавиатуры. Аналогично вызову функций, вам потребуется реализовать среду выполнения на стороне клиента для получения и выполнения действий, выполняемых инструментом «Использование компьютера».
Список поддерживаемых моделей см. в разделе «Версии моделей» . Модели Gemini 3.x поддерживают ряд расширенных возможностей:
- Поддержка нескольких сред: создание агентов для браузеров, мобильных устройств и настольных компьютеров.
- Упрощенные действия с учетом намерений: действия включают поле
intent, которое объясняет логику модели, лежащую в основе каждого шага. - Настраиваемые политики безопасности: тонкая настройка поведения системы безопасности с помощью встроенных категорий политик и механизмов их переопределения.
- Обнаружение внедрения подсказок: сканирование скриншотов с возможностью включения этой функции для обнаружения скрытых враждебных инструкций.
С помощью Computer Use вы можете создавать агентов, которые:
- Автоматизируйте повторяющийся ввод данных или заполнение форм на веб-сайтах.
- Проведите автоматизированное тестирование веб-приложений и пользовательских сценариев.
- Проведите исследование на различных веб-сайтах (например, соберите информацию о товарах, ценах и отзывах на сайтах электронной коммерции, чтобы принять решение о покупке).
Вот минимальный пример инициализации клиента и отправки запроса модели с включенным инструментом