TPU v7 er Googles mest avancerede chip til dato. Den ligger meget tæt på Nvidias GB200 i rå compute, kører med samme mængde HBM3e og leverer enorm båndbredde via Googles egen ICI-arkitektur. hele systemet er bygget til at køre stabilt i høj belastning med optisk switching, liquid cooling og en fuldt vertikal Google-stack. Det er netop den kombination, der gør, at TPU v7 ofte lander markant lavere i TCO (Total Cost of Ownership) end tilsvarende Nvidia-systemer – især når workloads er store, lange og kører døgnet rundt.

Det er nemlig ikke specifikationerne alene, der gør TPU v7 interessant, men måden Google har syet det hele sammen på. Broadcom leverer selve siliciumet. Google leverer interconnectet, den optiske arkitektur og et datacenterdesign, der er optimeret til præcis den her type beregninger. Det er her effektiviteten kommer fra. I rene systemmålinger ligger TPU v7 typisk 30 til 60 procent bedre på effektiv performance per dollar end Nvidia.

Eksternaliseringen er gennembruddet

Den store strukturelle ændring er, at Google ikke længere holder TPU for sig selv. De sælger hele systemer fysisk ud af huset. Anthropic har bestilt over en million chips. Meta er i forhandlinger. OpenAI bruger truslen om TPU-migration til at presse Nvidias priser ned. Det er en ny virkelighed.

Det betyder to ting. For det første mister Nvidia noget af deres historisk høje pricing power i toppen af markedet. For det andet bliver Broadcom en af de største vindere, fordi de står bag både silicium og store dele af den netværksmæssige infrastruktur, TPU er bygget på.

Dog er en TPU infrastruktur ikke noget man lige implementerer. Det kræver tunge teams, dyb softwareforståelse og fuld alignment med Googles stack. Det kommer til at begrænse udbredelsen til et lille segment af meget store aktører.

Hvorfor Nvidia fortsat står stærkt

Det er vigtigt at holde fast i, hvorfor Nvidia ikke bliver skubbet ud af kurs. De har noget, TPU ikke har. Et globalt, åbent og modent udviklerøkosystem.

CUDA, PyTorch, TensorFlow, Triton, JAX, frameworks, tooling og tusindvis af libraries gør GPU til det naturlige valg for næsten alle virksomheder og udviklere. GPU virker på tværs af clouds, on-prem og hybrid. Og GPU kan håndtere alle typer workloads – ikke kun store sprogmodeller.

TPU er stærkt på performance og TCO i meget specifikke belastninger, men det er stadig en lukket stack. Du arbejder med XLA. Du optimerer modellen specifikt til TPU. Du er ofte bundet til Google Cloud. Debugging og tooling er langt mere komplekst. Og uden et topklasse engineering-team får man slet ikke de lovede gevinster ud af det.

Markedet splitter sig i to

Alt peger på, at vi får en todelt AI-infrastruktur fremover.

TPU kommer til at dominere i toppen, hvor workload-størrelsen og omkostningsprofilen giver mening. Det bliver kunder som Anthropic, Meta, xAI og potentielt OpenAI. Organisationer der har både skalaen og kompetencen til at optimere hele deres pipeline til TPU.

Nvidia kommer til at dominere alt andet. Enterprise, startups, SaaS-platforme, inference-tunge workloads, multi-cloud og hybrid environments. Her betyder fleksibilitet og kompatibilitet mere end maksimal TCO-optimering.

Nvidia mister noget pricing power i toppen, men de vinder stadig i volumen, fordi resten af markedet fortsætter med at bygge på CUDA-økosystemet.

Vores vurdering

TPU v7 skaber for første gang reel konkurrence i toppen af AI-stacken, men ændrer ikke det grundlæggende billede. Nvidia er stadig standarden for den brede AI-modernisering. TPU vil vokse blandt et lille antal hyperscalers med enorme workloads, der har både organisation og skala til at optimere hele deres pipeline mod Googles stack. Resten af markedet bliver på GPU, fordi fleksibiliteten, økosystemet og kompatibiliteten stadig vejer tungere end den absolutte TCO-optimering.

Midt i det her står AMD i en vanskelig position. De bliver presset fra begge sider. Nvidia har stadig det stærkeste softwareøkosystem og den mest modne platform. Google leverer den bedste TCO i de største trænings- og inferensscenarier. Det efterlader AMD i et rum, der allerede nu bliver markant smallere, fordi de hverken har Nvidias økosystem eller Googles vertikale systemintegration.

Techwave er godt placeret i forhold til den her udvikling. Vores positioner i Nvidia, Google og Broadcom passer præcist ind i den måde markedet deler sig på. Nvidia driver bredden. Google vinder på TCO i frontier workloads. Broadcom tager en central rolle i hele den nye infrastruktur, fordi de leverer både silicium, netværk og nøglekomponenter til begge sider.

Vi mener derfor vi står solidt i den opdeling, der nu er ved at materialisere sig i AI-infrastruktur.