TPU v6e
במאמר הזה מתוארת הארכיטקטורה של Cloud TPU v6e (Trillium) והתצורות הנתמכות שלו. בכל הממשקים הטכניים, כמו ה-API והיומנים, ובכל המסמך הזה, Trillium יופיע כ-v6e.
עם 256 שבבים בכל Pod, v6e דומה מאוד ל-v5e. המערכת הזו מותאמת לאימון, לכוונון עדין ולהכניס לשימוש בסביבת הייצור של רשתות טרנספורמציה, רשתות ליצירת תמונות לפי טקסט ורשתות נוירונים מלאכותיות (CNN).
ארכיטקטורת המערכת
כל שבב v6e מכיל TensorCore אחד. לכל TensorCore יש 2 יחידות כפל מטריצות (MXU), יחידה וקטורית ויחידה סקלרית. בטבלה הבאה מוצגים המפרטים העיקריים של TPU v6e והערכים שלהם.
| מפרט | ערכים |
|---|---|
| ביצועים/עלות הבעלות הכוללת (TCO) (צפוי) | 1 |
| שיא יכולת החישוב לכל שבב (bf16) | 918 TFLOPs |
| שיא יכולת החישוב לכל שבב (Int8) | 1836 TOPs |
| קיבולת HBM לכל שבב | 32 GB |
| רוחב פס של HBM לכל שבב | 1,638GBps |
| רוחב פס דו-כיווני של חיבור בין-צ'יפי (ICI) (לכל צ'יפ) | 800GBps |
| יציאות ICI לכל שבב | 4 |
| DRAM per host | 1,536 GiB |
| צ'יפים לכל מארח | 8 |
| גודל ה-TPU Pod | 256 צ'יפים |
| טופולוגיית Interconnect | טורוס דו-ממדי |
| BF16 peak compute per Pod | 234.9 פטה-פלופס |
| רוחב הפס של כל הפחתה לכל Pod | 102.4TB/s |
| רוחב פס של חציית הגרף לכל Pod | 3.2TB/s |
| הגדרה של כרטיס רשת לכל מארח | 4 x 200 Gbps NIC |
| רוחב הפס של הרשת במרכז הנתונים לכל Pod | 25.6 Tbps |
| תכונות מיוחדות | SparseCore |
הגדרות נתמכות
בטבלה הבאה מוצגים הצורות של פרוסות דו-ממדיות שנתמכות בגרסה v6e:
| טופולוגיה | צ'יפים של TPU | מארחים | VMs (מכונות וירטואליות) | סוג המכונה | היקף |
|---|---|---|---|---|---|
| 1x1 | 1 | 1/8 | 1 | ct6e-standard-1t |
מארח משנה |
| 2 על 2 | 4 | 1/2 | 1 | ct6e-standard-4t |
מארח משנה |
| 2x4 | 8 | 1 | 1 | ct6e-standard-8t |
מארח יחיד |
| 2x4 | 8 | 1 | 2 | ct6e-standard-4t |
כמה מארחים |
| 4x4 | 16 | 2 | 4 | ct6e-standard-4t |
כמה מארחים |
| 4x8 | 32 | 4 | 8 | ct6e-standard-4t |
כמה מארחים |
| 8x8 | 64 |