Kapazität – Übersicht | AI Hypercomputer

Zum Hauptinhalt springen

Technologiebereiche

KI und ML
Anwendungsentwicklung
Anwendungshosting
Compute
Datenanalyse und Pipelines
Datenbanken
Verteilt, Hybrid und Multi-Cloud
Branchenlösungen
Migration
Netzwerk
Beobachtbarkeit und Monitoring
Sicherheit
Storage

Produktübergreifende Tools

Zugriffs- und Ressourcenverwaltung
Kosten- und Nutzungsmanagement
Infrastruktur als Code
SDK, Sprachen, Frameworks und Tools

/

Console

English
Deutsch
Español – América Latina
Français
Indonesia
Italiano
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어

Anmelden

AI Hypercomputer

Jetzt kostenlos testen

Übersicht Leitfäden Ressourcen

Technologiebereiche
- Mehr
Produktübergreifende Tools
- Mehr
Console

Erste Schritte
Übersicht
Accelerator-Infrastruktur auswählen
Orchestrator und Bereitstellungsoption auswählen
Beschleuniger
Leistungsoptimierte Infrastruktur
- GPU-Maschinen
- Netzwerkdienste
- Speicherdienste
Offene Software
- Betriebssystem- und Docker-Images
Eine Option für die Aufnahme auswählen
Clusterverwaltung
- Übersicht über die Clusterverwaltung
- Konfigurationen für die Clusterverwaltung
Terminologie
Los gehts
KI-Infrastruktur planen und erstellen
Zwischen allgemeinen und gruppierten GPUs auswählen
Kapazität und Kontingent abrufen
Kurzanleitungen
- Vollständig verwalteten Slurm-Cluster mit A4-VMs erstellen
- Selbstverwalteten Slurm-Cluster mit A4-VMs erstellen
Infrastruktur bereitstellen
Übersicht über die Bereitstellungsoptionen
Richtlinie für kompakte Platzierung und Arbeitslastrichtlinie – Übersicht
KI-optimierte VMs und Cluster bereitstellen
Arbeitslasten ausführen
Arbeitslasten mit Pathways on Cloud ausführen
GKE-Arbeitslasten planen
- Arbeitslasten mit Topology Aware Scheduling (TAS) planen
- Knotenstatusvorhersage aktivieren
Arbeitslasten mit Kueue orchestrieren
Tutorials zu KI-Arbeitslasten
- Übersicht
- GPU
  - Inferenz mit vLLM in GKE ausführen
    DeepSeek V3.1
    DeepSeek V3.2-Speciale
    Gemma 3
    GPT-OSS
    Llama 4
    Qwen3
  - Feinabstimmung ausführen
    Gemma 3 in einem GKE-Cluster
    Gemma 3 in einem GKE-Cluster mit mehreren Hosts
    Gemma 3 in einem Slurm-Cluster
    Gemma 3 für Vision-Aufgaben in GKE
    Llama 4 in einem Slurm-Cluster
    Mixtral-8x7b in einem Slurm-Cluster
  - Training ausführen
    Qwen2 in einem Slurm-Cluster
- TPU
  - Arbeitslasten bereitstellen
    Qwen2-7B mit vLLM auf TPUs bereitstellen
    Qwen2-7B-Instruct mit vLLM auf TPUs bereitstellen
    Qwen3-8B-Base mit vLLM auf TPUs bereitstellen
    Llama-3.1-8B mit vLLM auf TPUs bereitstellen
  - Feinabstimmung ausführen
    Überwachte Feinabstimmung auf einer TPU-VM mit MaxText ausführen
    Überwachte Feinabstimmung auf mehreren Hosts für Qwen3-14b mit MaxText ausführen
    RL-Training auf einer TPU v6e-8-VM ausführen
    RL-Training mit mehreren Hosts für Qwen3-30b-a3b mit MaxText ausführen
Infrastruktur verwalten
GKE-Cluster verwalten
Instanzen und Slurm-Cluster verwalten
- Topologie einer Instanz ansehen
- Host-Events verwalten
  - Events in Instanzen hosten
  - Hostereignisse in Reservierungen
- Fehlerhaften Host melden
Testen und optimieren
Cluster-Netzwerke mithilfe von NCCL/gIB optimieren
NCCL-Tests ausführen
NCCL-Logs zur Fehlerbehebung erfassen und verstehen
Arbeitslasten mit Rezepten testen
- Benchmarking-Rezepte
- Goodput-Optimierungsschemas
Versionshinweise zu NCCL/gIB
- Versionshinweise zu NCCL/gIB (x86 64-Bit)
- Versionshinweise zu NCCL/gIB (ARM 64-Bit)
Überwachen
VMs und Slurm-Cluster überwachen
Verwalten, wie CoMMA NCCL-Telemetriedaten erfasst
- Collective Communication Analyzer (CoMMA)
- CoMMA aktivieren, deaktivieren und konfigurieren
Fehler beheben
Bekannte Probleme
Fehlerbehebung bei unzureichender Leistung
Fehlerbehebung beim Melden eines fehlerhaften Hosts
Fehlerbehebung bei CoMMA

KI und ML
Anwendungsentwicklung
Anwendungshosting
Compute
Datenanalyse und Pipelines
Datenbanken
Verteilt, Hybrid und Multi-Cloud
Branchenlösungen
Migration
Netzwerk
Beobachtbarkeit und Monitoring
Sicherheit