Hy4 preview: Tencents 770-milliarder-parameter modell går åpen
Tencents Hy-team har sluppet Hy4 preview som åpne vekter under Apache 2.0-lisens – en reelt fri lisens uten de vanlige begrensningene på kommersiell bruk man ofte ser fra kinesiske modellslipp. Modellen er en Mixture-of-Experts-arkitektur med 770 milliarder totale parametere, hvorav 49 milliarder aktiveres per token gjennom 8 av 256 rutede eksperter pluss én delt ekspert.
De tekniske triksene bak effektiviteten
To arkitektoniske grep gjør at modellen kan være så stor uten å bli ubrukelig treg. Oppmerksomhetsmekanismen bruker "Gated DeepSeek Sparse Attention" kombinert med noe som kalles IndexCache, som gjenbruker sparse-indekser på tvers av lag i stedet for å beregne dem på nytt hvert sted. Selve residual-forbindelsene i nettverket – veien informasjon flyter gjennom lagene – bruker en teknikk kalt "identity Hyper-Connections" (iHC), som utvider hvor mye informasjonsflyt som er mulig mellom lagene sammenlignet med tradisjonelle residual-forbindelser. Modellen har også et innebygd spekulativt dekodings-lag for raskere responsgenerering, og støtter et kontekstvindu på én million token.
Ytelsen: solid, men marginene er tettere enn "banebrytende" antyder
Tencent har selv gjennomført en blindtest der 163 interne eksperter vurderte 203 tekniske oppgaver. Hy4 preview kom marginalt foran GLM 5.3 (2,99 mot 2,92 i snittscore, med 46,8 % seire mot 40,4 % tap) og foran Kimi K3 (2,99 mot 2,94, med 51,2 % seire mot 40,9 % tap). Det er verdt å presisere at dette er Tencents egen interne evaluering, ikke en uavhengig tredjepartstest, og at marginene – spesielt mot Kimi K3, der nesten like mange oppgaver tapes som vinnes – er tettere enn overskrifter om "å sette en ny standard" gir inntrykk av. På offentlige benchmarker skårer modellen for øvrig 92,3 på GPQA Diamond og 82,9 på SWE-bench Multilingual.
"Overkommelig pris" trenger en presisering
Dette er en selvhostet, åpen modell – det finnes ingen fastsatt API-pris fra Tencent å vurdere "overkommelig" opp mot. Det som derimot stemmer: fordi bare 49 av 770 milliarder parametere aktiveres per token, er modellen langt billigere å kjøre enn en tett modell av samme totale størrelse ville vært. Men vær obs: dette er fortsatt en enorm modell som krever flere kraftige GPU-er i parallell (Tencents egne oppsett bruker åtte GPU-er samtidig) – ikke noe som kjører på en hjemme-rigg.
Tencent er selv ærlige om at dette er en tidlig versjon
Verdt å ta med: Tencent kaller dette eksplisitt en "preview" med kjente svakheter de selv lister opp – blant annet at modellen bruker lengre tid enn nødvendig på å resonnere gjennom komplekse oppgaver, og har en tendens til å dobbeltsjekke sitt eget arbeid unødvendig mye. De skriver at de bevisst slipper tidlig for å lære av tilbakemeldinger, slik de gjorde med forrige generasjon (Hy3).
Ressurser
- Hy4 preview på Hugging Face – full modellkort, spesifikasjoner og lisens
