Google csökkenti a függőségét

A Google stratégiája a chipellátási lánc bővítése négy tervezőpartnerrel (Broadcom, MediaTek, Marvell, Intel) történik, hogy csökkentse a függőséget az Nvidiától, különösen az AI-inferencia (modellfuttatás) területén. Ez a lépés lehetővé teszi a diverzifikált gyártást TSMC gyáraiban, miközben optimalizálja a költségeket és a teljesítményt különböző chipekhez, mint az Ironwood TPU.

Partnerek szerepe

• Broadcom: Magas teljesítményű TPU-kat (pl. Sunfish training chip) tervez 2031-ig tartó megállapodással, amely a TPU v8-at célozza TSMC 2nm-es eljárással 2027 végére.
• MediaTek: Költséghatékony inferencia chipeket fejleszt (pl. Zebrafish), 20-30%-kal olcsóbban, kezdetben Ironwood perifériáival.
• Marvell: Tárgyalások folynak memóriafeldolgozó egységről és további inferencia TPU-król, közel 2 millió egységgel tervezve.
• Intel: Xeon processzorokat és infrastruktúra egységeket szállít adatközpontokhoz, nem közvetlen AI-gyorsítókhoz.

Verseny az Nvidiával

A Google az Ironwood TPU-val (7. generáció, 10x teljesítmény a v5p-hez képest, milliók gyártása 2026-ban) támadja az Nvidia dominanciáját az inferenciában, ahol a költségek kritikusak milliárdnyi lekérdezésnél. Partnerek mint Anthropic (akár 1 millió TPU) és Meta (bérlés, majd vásárlás) erősítik ezt, miközben a TSMC gyártja az összes chipet. Az Nvidia GPUs-ja trainingre marad erős, de a Google multi-partner megközelítése áthelyezi a fókuszt a költséghatékony, specializált ASICs-re.

Az Ironwood TPU architektúrája kifejezetten az AI-inferencia feladatokra optimalizált, szisztolikus tömböket (systolic arrays) használ mátrixműveletekhez, ami hatékonyabbá teszi a tenzoroperációkat nagy modelleknél, mint az LLM-ek vagy MoE-k, minimális adatmozgással és alacsony késleltetéssel. Ezzel szemben az Nvidia GPU-k (pl. H100) általános célú CUDA magokat alkalmaznak, rugalmasabbak, de kevésbé specializáltak inferenciára, így magasabb energiafogyasztást és tuning-igényt vonnak maguk után.

Architektúra

Ironwood systolic array-je rhythmikus adatáramlást biztosít processzorok között mátrixmultiplikációhoz, optimalizálva a "thinking models" párhuzamos feldolgozását, míg GPU-k ezrei programozható maggal dolgoznak általános párhuzamos számításokra. Az Ironwood SparseCore-ja gyorsítja a ritka embeddingeket (pl. rankingben), ami GPU-knál szoftveres optimalizációt igényel.

Memória és interconnect

Ironwood 192 GB HBM-mel (7.2-7.37 TB/s sávszélesség) rendelkezik chipenként, közel integrálva a gyors hozzáférést nagy modellekhez, szemben a GPU-k 80 GB HBM3-jával (3.35 TB/s). ICI hálózata 1.2 Tbps interconnecttel támogat 9216 chipet alacsony késleltetéssel (3D torus), jobb skálázódást adva az NVLinknél (900 GB/s).

Teljesítmény inferenciában

Inferenciában az Ironwood kiemelkedik alacsony késleltetéssel, magas throughput-tel és 2x jobb perf/watt arányával (Trilliumhoz képest, 30x a v2-höz), nagy podokban (42.5 ExaFLOPS). GPU-k erősebbek trainingben, de inferenciában kevésbé hatékonyak skálázott, energiaigényes feladatoknál, ahol TPU-k költség- és teljesítményelőnyösek.