Compute Engine-Instanzen und Slurm-Cluster überwachen | AI Hypercomputer

Zum Hauptinhalt springen

Technologiebereiche

KI und ML
Anwendungsentwicklung
Anwendungshosting
Compute
Datenanalyse und Pipelines
Datenbanken
Verteilt, Hybrid und Multi-Cloud
Branchenlösungen
Migration
Netzwerk
Beobachtbarkeit und Monitoring
Sicherheit
Storage

Produktübergreifende Tools

Zugriffs- und Ressourcenverwaltung
Kosten- und Nutzungsmanagement
Infrastruktur als Code
SDK, Sprachen, Frameworks und Tools

/

Console

English
Deutsch
Español – América Latina
Français
Indonesia
Italiano
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어

Anmelden

AI Hypercomputer

Jetzt kostenlos testen

Übersicht Leitfäden Ressourcen

Technologiebereiche
- Mehr
Produktübergreifende Tools
- Mehr
Console

Erste Schritte
Übersicht
Accelerator-Infrastruktur auswählen
Orchestrator und Bereitstellungsoption auswählen
Beschleuniger
Leistungsoptimierte Infrastruktur
- GPU-Maschinen
- Netzwerkdienste
- Speicherdienste
Offene Software
- Betriebssystem- und Docker-Images
Eine Option für die Aufnahme auswählen
Clusterverwaltung
- Übersicht über die Clusterverwaltung
- Konfigurationen für die Clusterverwaltung
Terminologie
Los gehts
KI-Infrastruktur planen und erstellen
Zwischen allgemeinen und gruppierten GPUs auswählen
Kapazität und Kontingent abrufen
Kurzanleitungen
- Vollständig verwalteten Slurm-Cluster mit A4-VMs erstellen
- Selbstverwalteten Slurm-Cluster mit A4-VMs erstellen
Infrastruktur bereitstellen
Übersicht über die Bereitstellungsoptionen
Richtlinie für kompakte Platzierung und Arbeitslastrichtlinie – Übersicht
KI-optimierte VMs und Cluster bereitstellen
Arbeitslasten ausführen
Arbeitslasten mit Pathways on Cloud ausführen
GKE-Arbeitslasten planen
- Arbeitslasten mit Topology Aware Scheduling (TAS) planen
- Knotenstatusvorhersage aktivieren
Arbeitslasten mit Kueue orchestrieren
Tutorials zu KI-Arbeitslasten
- Übersicht
- GPU
  - Inferenz mit vLLM in GKE ausführen
    DeepSeek V3.1
    DeepSeek V3.2-Speciale
    Gemma 3
    GPT-OSS
    Llama 4
    Qwen3
  - Feinabstimmung ausführen
    Gemma 3 in einem GKE-Cluster
    Gemma 3 in einem GKE-Cluster mit mehreren Hosts
    Gemma 3 in einem Slurm-Cluster
    Gemma 3 für Vision-Aufgaben in GKE
    Llama 4 in einem Slurm-Cluster
    Mixtral-8x7b in einem Slurm-Cluster
  - Training ausführen
    Qwen2 in einem Slurm-Cluster
- TPU
  - Arbeitslasten bereitstellen
    Qwen2-7B mit vLLM auf TPUs bereitstellen
    Qwen2-7B-Instruct mit vLLM auf TPUs bereitstellen
    Qwen3-8B-Base mit vLLM auf TPUs bereitstellen
    Llama-3.1-8B mit vLLM auf TPUs bereitstellen
  - Feinabstimmung ausführen
    Überwachte Feinabstimmung auf einer TPU-VM mit MaxText ausführen
    Überwachte Feinabstimmung auf mehreren Hosts für Qwen3-14b mit MaxText ausführen
    RL-Training auf einer TPU v6e-8-VM ausführen
    RL-Training mit mehreren Hosts für Qwen3-30b-a3b mit MaxText ausführen
Infrastruktur verwalten
GKE-Cluster verwalten
Instanzen und Slurm-Cluster verwalten
- Topologie einer Instanz ansehen
- Host-Events verwalten
  - Events in Instanzen hosten
  - Hostereignisse in Reservierungen
- Fehlerhaften Host melden
Testen und optimieren
Cluster-Netzwerke mithilfe von NCCL/gIB optimieren
NCCL-Tests ausführen
NCCL-Logs zur Fehlerbehebung erfassen und verstehen
Arbeitslasten mit Rezepten testen
- Benchmarking-Rezepte
- Goodput-Optimierungsschemas
Versionshinweise zu NCCL/gIB
- Versionshinweise zu NCCL/gIB (x86 64-Bit)
- Versionshinweise zu NCCL/gIB (ARM 64-Bit)
Überwachen
VMs und Slurm-Cluster überwachen
Verwalten, wie CoMMA NCCL-Telemetriedaten erfasst
- Collective Communication Analyzer (CoMMA)
- CoMMA aktivieren, deaktivieren und konfigurieren
Fehler beheben
Bekannte Probleme
Fehlerbehebung bei unzureichender Leistung
Fehlerbehebung beim Melden eines fehlerhaften Hosts
Fehlerbehebung bei CoMMA