Panoramica di AI Hypercomputer | Google Cloud Documentation

Passa ai contenuti principali

Aree tecnologiche

AI e ML
Sviluppo di applicazioni
Hosting di applicazioni
Computing
Analisi dei dati e pipeline
Database
Distribuito, ibrido e multi-cloud
Soluzioni di settore
Migrazione
Networking
Osservabilità e monitoraggio
Sicurezza
Storage

Strumenti per più prodotti

Gestione di accessi e risorse
Gestione di costi e utilizzo
Infrastructure as Code (IaC)
SDK, linguaggi, framework e strumenti

/

Console

English
Deutsch
Español – América Latina
Français
Indonesia
Italiano
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어

Accedi

AI Hypercomputer

Inizia gratuitamente

Panoramica Guide Risorse

Aree tecnologiche
- Altro
- Panoramica
- Guide
- Risorse
Strumenti per più prodotti
- Altro
Console

Scopri
Panoramica
Scegliere l'infrastruttura dell'acceleratore
Scegli un orchestratore e un'opzione di deployment
Acceleratori
Infrastruttura ottimizzata per le prestazioni
- Macchine GPU
- Servizi di networking
- Servizi di archiviazione
Apri software
- Immagini sistema operativo e Docker
Scegli un'opzione di consumo
Gestione dei cluster
- Panoramica della gestione del cluster
- Configurazioni di gestione del cluster
Terminologia
Per iniziare
Pianifica e crea la tua infrastruttura AI
Scegliere tra GPU generiche e GPU in cluster
Ottenere capacità e quota
Guide rapide
- Crea un cluster Slurm completamente gestito con VM A4
- Crea un cluster Slurm autogestito con VM A4
Esegui il deployment dell'infrastruttura
Panoramica delle opzioni di deployment
Panoramica della policy di posizionamento compatto e della policy workload
Esegui il deployment di VM e cluster ottimizzati per l'AI
- Crea cluster GKE
- Crea cluster Slurm
  - Crea un cluster completamente gestito
  - Crea un cluster autogestito
- Crea un'istanza
- Creare istanze collettivamente
- Creazione di un gruppo di istanze gestite (MIG)
Esegui carichi di lavoro
Esegui i workload con Pathways on Cloud
Pianifica i workload GKE
- Pianificare i workload con Topology Aware Scheduling (TAS)
- Abilita la previsione dello stato di integrità dei nodi
Utilizza Kueue per orchestrare i workload
Tutorial sui workload AI
- Panoramica
- GPU
  - Esegui l'inferenza con vLLM su GKE
    DeepSeek V3.1
    DeepSeek V3.2-Speciale
    Gemma 3
    GPT-OSS
    Llama 4
    Qwen3
  - Esegui l'ottimizzazione
    Gemma 3 su un cluster GKE
    Gemma 3 su un cluster GKE multi-host
    Gemma 3 su un cluster Slurm
    Gemma 3 per attività di visione su GKE
    Llama 4 su un cluster Slurm
    Mixtral-8x7b su un cluster Slurm
  - Allenamento di corsa
    Qwen2 su un cluster Slurm
- TPU
  - Pubblica workload
    Gestisci Qwen2-7B con vLLM su TPU
    Gestisci Qwen2-7B-Instruct con vLLM su TPU
    Gestisci Qwen3-8B-Base con vLLM su TPU
    Gestisci Llama-3.1-8B con vLLM su TPU
  - Esegui l'ottimizzazione
    Esegui il fine-tuning supervisionato su una VM TPU con MaxText
    Esegui il fine tuning supervisionato multihost su Qwen3-14b utilizzando MaxText
    Esegui l'addestramento RL su una VM TPU v6e-8
    Esegui l'addestramento RL multi-host su Qwen3-30b-a3b utilizzando MaxText
Gestisci l'infrastruttura
Gestisci i cluster GKE
Gestisci le istanze e i cluster Slurm
- Visualizzare la topologia di un'istanza
- Gestire gli eventi dell'organizzatore
  - Ospitare eventi nelle istanze
  - Eventi sull'host nelle prenotazioni
- Segnala un host difettoso
Testa e ottimizza
Ottimizza il networking del cluster utilizzando NCCL/gIB
Esegui test NCCL
Raccogliere e comprendere i log NCCL per la risoluzione dei problemi
Testare i workload con le ricette
- Ricette di benchmarking
- Formule di ottimizzazione del Goodput
Note di rilascio di NCCL/gIB
- Note di rilascio di NCCL/gIB (x86 a 64 bit)
- Note di rilascio di NCCL/gIB (ARM a 64 bit)
Monitoraggio
Monitora le VM e i cluster Slurm
Gestire la modalità di raccolta della telemetria NCCL da parte di CoMMA
- Collective Communication Analyzer (CoMMA)
- Attivare, disattivare e configurare CoMMA
Risoluzione dei problemi
Problemi noti
Risolvere i problemi di rallentamento delle prestazioni
Risolvere i problemi relativi alla segnalazione di un host difettoso
Risolvere i problemi di CoMMA

AI e ML
Sviluppo di applicazioni
Hosting di applicazioni
Computing
Analisi dei dati e pipeline
Database
Distribuito, ibrido e multi-cloud
Soluzioni di settore
Migrazione
Networking
Osservabilità e monitoraggio
Sicurezza