Понимание изображения

Модели Gemini изначально созданы для мультимодального анализа, что открывает широкий спектр возможностей для обработки изображений и компьютерного зрения, включая, помимо прочего, создание подписей к изображениям, классификацию и ответы на визуальные вопросы, без необходимости обучения специализированных моделей машинного обучения.

В дополнение к своим общим мультимодальным возможностям, модели Gemini обеспечивают повышенную точность для конкретных сценариев использования, таких как обнаружение и сегментация объектов, за счет дополнительного обучения.

Передача изображений Близнецам

В Gemini можно передавать изображения в качестве входных данных несколькими способами:

Передача изображения по URL-адресу

Вы можете загрузить изображение, используя API файлов , и передать его в запросе:

Python 

from google import genai

client = genai.Client()

uploaded_file = client.files.upload(file="path/to/organ.jpg")

interaction = client.interactions.create(
    model="gemini-3.7-flash",
    input=[
        {"type": "text", "text": "Caption this image."},
        {
            "type": "image",
            "uri": uploaded_file.uri,
            "mime_type": uploaded_file.mime_type
        }
    ]
)
print(interaction.output_text)

JavaScript 

import { GoogleGenAI } from "@google/genai";

const client = new GoogleGenAI({});

const uploadedFile = await client.files.upload({
    file: "path/to/organ.jpg",
    config: { mimeType: "image/jpeg" }
});

const interaction = await client.interactions.create({
    model: "gemini-3.7-flash",
    input: [
        {type: "text", text: "Caption this image."},
        {
            type: "image",
            uri: uploadedFile.uri,
            mime_type: uploadedFile.mimeType
        }
    ]
});
console.log(interaction.output_text);

ОТДЫХ 

# First upload the file using the Files API, then use the URI:
curl -X POST "https://generativelanguage.googleapis.com/v1beta/interactions" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "gemini-3.7-flash",
    "input": [
      {"type": "text", "text": "Caption this image."},
      {
        "type": "image",
        "uri": "YOUR_FILE_URI",
        "mime_type": "image/jpeg"
      }
    ]
  }'

Передача встроенных данных изображения

Вы можете предоставлять данные изображения в виде строк, закодированных в формате base64:

Python 

import base64
from google import genai

with open('path/to/small-sample.jpg', 'rb') as f:
    image_bytes = f.read()

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-3.7-flash",
    input=[
        {"type": "text", "text": "Caption this image."},
        {
            "type": "image",
            "data": base64.b64encode(image_bytes).decode('utf-8'),
            "mime_type": "image/jpeg"
        }
    ]
)
print(interaction.output_text)

JavaScript 

import { GoogleGenAI } from "@google/genai";
import * as fs from "node:fs";

const client = new GoogleGenAI