Hopp til innholdet
Norsk journal om kunstig intelligens 255 artikler Oslo --:--
TokenPrat
1 min lesetid Av TokenPrat-redaksjonen

AI-minnekrisen: Derfor er HBM blitt en geopolitisk råvare

Bak enhver stor språkmodell sitter et stykke maskinvare som verden ikke klarer å produsere raskt nok: High Bandwidth Memory.

HBM – flaskehalsen ingen snakker om

HBM er den kritiske komponenten i moderne AI-akseleratorer. Det er ikke prosessorkraft som begrenser AI-veksten – det er minnet som flyttes til og fra prosessoren. Produksjonen domineres av tre aktører: SK Hynix, Samsung og Micron – alle med komplekse forsyningskjeder og sårbare for geopolitiske forstyrrelser i råvaretilgangen. Å sette opp nye produksjonsanlegg tar opptil fem år. Etterspørselen vokser i måneder.

Tre krefter som presser minnebruken opp

Problemet forverres av at behovet for minne vokser fra flere hold samtidig:

Autonome AI-agenter bruker millioner av tokens per interaksjon for å planlegge og utføre oppgaver – langt mer enn en vanlig chatsamtale. Moderne KV-cache krever store minnereserver for å holde konteksten i lange sesjoner. Og jo mer minne som trengs, jo høyere blir kostnadene for alle AI-tjenester – fra API-priser til strøm.

Programvare som svar på et maskinvareproblem

Det er her teknologier som Google TurboQuant kommer inn. Når produksjonskapasiteten ikke kan skaleres raskt nok, blir radikal komprimering og kvantisering den eneste realistiske kortsiktige løsningen – gjøre mer med det minnet som faktisk finnes.

Det er ikke en perfekt løsning. Men det er den eneste som kan implementeres uten å vente fem år.

Et sammensatt problem

AI-minnekrisen er ikke bare teknisk – den er økonomisk og geopolitisk. Veien ut krever begge deler: økt produksjonskapasitet på lang sikt, og smartere programvare mens verden venter på at fabrikkanleggene kommer i drift.


Ressurser: Google Research – TurboQuant · SEMI – halvlederindustrien

Del

Les videre

Forsiden →
Forelesningssal om natten med en tavle full av krittdiagrammer, en laptop og høye stabler med manuskripter
· Forskning

OpenAI slapp over 700 matematikkbevis på én dag – Lean sjekker rundt 42 prosent av dem

6. oktober la OpenAI ut 722 matematiske manuskripter laget av en intern modell uten navn. Det mest interessante er metoden: en AI som tenker i timevis per problem, og et maskinelt verktøy som skal skille holdbare bevis fra tull.

Studiomikrofon med lysende fargede lydbølger i et mørkt lydstudio
· Modeller

Ming 3.0 TTS: Beste åpne stemmekloner med MIT-lisens – men den snakker ikke norsk

Ant Group har sluppet to talemodeller som kloner stemmer, designer nye fra en beskrivelse og ler, sukker og nøler på kommando. Den minste har bare 0,5 milliarder parametere, og lisensen er så åpen som det går an. Men står norsk på ønskelista, må du vente.

Menneskehånd og robothånd som holder hver sin trekloss med samme grep
· Forskning

FlashDexRetarget: Én policy for tusen håndbevegelser – og 100 ganger mindre GPU-tid

Roboter med fingre trenger enorme mengder treningsdata, og den billigste kilden er opptak av mennesker som håndterer ting. Problemet er å oversette en menneskehånd til en robothånd. Et nytt prosjekt fra KAIST og Holiday Robotics gjør det med én felles modell i stedet for én per bevegelse, og bruker