Gemini Omni Flash ( gemini-omni-flash-preview ) — это высокопроизводительная многомодальная модель, разработанная для высокоскоростной генерации видео, редактирования и кинематографического управления. Gemini Omni построена на следующих ключевых возможностях, которые отличают её от предыдущих моделей видео:
- Встроенная мультимодальность: она обрабатывает текст, изображения, аудио и видео одновременно, обеспечивая более согласованный, последовательный и контролируемый результат.
- Редактирование в диалоговом режиме: благодаря API взаимодействия , оно позволяет итеративно дорабатывать и редактировать видео с помощью естественного языкового диалога. Опишите, что вы хотите изменить, и модель применит изменения, сохранив при этом нужные вам части видео.
- Мировые знания: Gemini Omni сочетает понимание физики со знаниями Gemini в области истории, науки и культурного контекста, преодолевая разрыв между фотореализмом и содержательным повествованием.
Преобразование текста в видео
Создайте видео на основе текстовой подсказки. Модель создаст видео со звуком на основе вашего текстового описания. Для достижения наилучших результатов указывайте в подсказках такие детали, как описание сцены, движение камеры, освещение и настроение.
Python
import base64
from google import genai
client = genai.Client()
interaction = client.interactions.create(
model="gemini-omni-flash-preview",
input="A marble rolling fast on a chain reaction style track, continuous smooth shot."
)
with open("marble.mp4", "wb") as f:
f.write(base64.b64decode(interaction.output_video.data))
JavaScript
import { GoogleGenAI } from '@google/genai';
import * as fs from 'fs';
const ai = new GoogleGenAI({});
const interaction = await ai.interactions.create({
model: 'gemini-omni-flash-preview',
input: 'A marble rolling fast on a chain reaction style track, continuous smooth shot.',
});
if (interaction.output_video?.data) {
fs.writeFileSync('marble.mp4', Buffer.from(interaction.output_video.data, 'base64'));
}
ОТДЫХ
curl -X POST "https://generativelanguage.googleapis.com/v1beta/interactions?key=$API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "gemini-omni-flash-preview",
"input": "A marble rolling fast on a chain reaction style track, continuous smooth shot."
}'
Схема REST-ответа
Поле interaction.output_video доступно только в SDK . При прямом использовании REST API видеовыход можно получить из массива steps .
Исходная структура REST JSON:
{
"steps": [
{ "type": "user_input", "content": [{"type": "text", "text": "..."}] },
{ "type": "thought", "content": [{"text": "...", "type": "thought"}] },
{
"type": "model_output",
"content": [
{
"type":