Image OS dan Docker

Google Cloud menyediakan image yang berisi sistem operasi, framework, library, dan driver umum. Google Cloud mengoptimalkan image yang telah dikonfigurasi sebelumnya ini untuk mendukung workload kecerdasan buatan (AI) dan machine learning (ML) Anda.

Dokumen ini memberikan ringkasan tentang image yang Anda gunakan untuk men-deploy, mengelola, dan menjalankan workload di lingkungan AI Hypercomputer Anda.

Memahami kategori gambar

Gambar dikelompokkan ke dalam kategori berikut:

• Framework dan library AI dan ML: Image Docker yang telah dikonfigurasi sebelumnya dengan biner untuk framework dan library ML guna menyederhanakan pembuatan, pelatihan, dan penggunaan model ML. Di AI Hypercomputer, Anda dapat menggunakan image Docker Deep Learning Software Layer (DLSL) untuk menjalankan model ML seperti NeMO dan MaxText di cluster Google Kubernetes Engine (GKE).
• Deployment dan orkestrasi cluster: image sistem operasi (OS) yang Anda gunakan untuk men-deploy dan mengelola infrastruktur yang dioptimalkan untuk performa tempat workload AI Anda berjalan. Image yang harus Anda gunakan bergantung pada infrastruktur GPU yang Anda gunakan (GPU Bercluster atau GPU Umum) dan cara Anda berencana men-deploy cluster:
  • Image node GKE: Anda dapat menggunakan image ini untuk men-deploy cluster GKE.
  • Image OS Slurm: Cluster Toolkit membangun dan men-deploy image ini, yang menginstal software sistem yang diperlukan untuk node Slurm.
  • Image OS akselerator: Anda dapat menggunakan image ini untuk membuat instance Compute Engine individual atau grup.

Framework dan library AI dan ML

Google Cloud menyediakan image Docker yang memaketkan framework dan library AI dan ML populer. Image ini menyediakan software yang diperlukan untuk menyederhanakan pengembangan, pelatihan, dan deployment model di cluster yang dioptimalkan untuk AI yang berjalan di AI Hypercomputer.

Gambar AI JAX

Image AI JAX (JAII, sebelumnya dikenal sebagai JAX Stable Stack Images) untuk Google Cloud TPU dan GPU menawarkan image Docker siap pakai yang berisi framework JAX, kumpulan library yang kompatibel, dan setelan untuk infrastruktur Google Cloud . Image JAX AI TPU telah dikonfigurasi sebelumnya dengan library JAX dan library TPU. Image GPU AI JAX telah dikonfigurasi sebelumnya dengan library JAX dan library CUDA/NVIDIA yang relevan.

Lapisan hardware

Gambar AI JAX berada di atas lapisan hardware yang terdiri dari akselerator (TPU atau GPU) dan VM terkait. Untuk menggunakan image AI JAX, Anda harus menyediakan VM TPU atau GPU. Anda dapat melakukannya menggunakan TPU API, Compute Engine API, atau GKE API.

Lapisan framework

Lapisan framework menyediakan alat dan library untuk membangun workload ML. Image AI JAX menyediakan dasar yang telah dikonfigurasi sebelumnya untuk workload ML berbasis JAX, termasuk library JAX inti dan dependensi penting lainnya, untuk memastikan pengalaman pengembangan yang konsisten dan berperforma tinggi.

Lapisan LibTPU dalam gambar AI JAX dibuat dan dibundel secara khusus dengan versi JAX masing-masing. Menggunakan versi JAX yang berbeda dapat menyebabkan perilaku atau error yang tidak terduga.

Lapisan CUDA dalam image AI JAX mencakup komponen yang dikelola oleh NVIDIA, seperti NGC CUDA Deep Learning Image, yang digunakan sebagai image dasar GPU Training Image. Image GPU juga berisi Transformer Engine, library NVIDIA kustom untuk mempercepat model transformer di GPU NVIDIA.

Paket khusus aplikasi tambahan, di luar yang disediakan dalam image AI JAX, mungkin diperlukan untuk workload machine learning spesifik Anda.

Library di JAX AI Images: