TPU7x(Ironwood)

이 페이지에서는 Google Cloud에서 사용할 수 있는 최신 TPU인 TPU7x의 아키텍처와 사용 가능한 구성을 설명합니다. TPU7x는 Ironwood 제품군으로서 Google Cloud의 7세대 TPU의 첫 번째 버전입니다. Ironwood 세대는 대규모 AI 학습 및 추론을 위해 설계되었습니다.

포드당 칩 공간이 9,216개인 TPU7x는 TPU v5p와 상당히 유사합니다. TPU7x는 대규모 밀집형 및 MoE 모델, 사전 학습, 샘플링, 디코딩 집약적 추론을 위한 고성능을 제공합니다.

TPU7x를 사용하려면 Google Kubernetes Engine(GKE)을 사용해야 합니다. 자세한 내용은 GKE의 TPU 정보를 참조하세요.

TPU7x 및 GKE를 TPU Cluster Director와 함께 사용할 수도 있습니다. TPU Cluster Director는 모든 용량 모드 예약을 통해 사용할 수 있으며, 이를 통해 예약된 모든 용량에 제한 없이 전부 액세스하고 TPU 하드웨어 토폴로지, 사용률 상태, 상태를 완전히 파악할 수 있습니다. 자세한 내용은 모든 용량 모드 개요를 참조하세요.

TPU7x에 액세스하려면 계정팀에 문의하세요.

시스템 아키텍처

각 TPU7x 칩에는 2개의 TensorCore와 4개의 SparseCore가 포함됩니다. 다음 표에는 이전 세대와 비교한 TPU7x의 주요 사양과 값이 나와 있습니다.