SoL-Refiner: Nvidias triks for 4K AI-video – lag et utkast, finpuss én gang
Nvidia Research har sluppet en refiner som gjør lavoppløste AI-videoer om til 2K og 4K med ett eneste denoising-steg. Koden og vektene er åpne. Men dette er ikke et verktøy for gamle hjemmevideoer, og det er ikke laget for hjemme-PC-en.
Ideen: utkast først, detaljer etterpå
Å generere hver bilderute direkte i 4K er dyrt. SoL-Refiner deler jobben i to. En basismodell lager først et raskt utkast i lav oppløsning. Deretter skalerer refineren opp i latent rom og gjenoppretter detaljer i måloppløsningen – i ett steg, der tidligere refinere har trengt flere.
Den er modell-agnostisk i den forstand at basismodellen ikke trenger å endres eller trenes på nytt. Nvidia viser eksempler med utkast fra SANA-Video, Wan, Cosmos-Nano og MiniMax H3. Selve refineren bygger imidlertid på Lightricks' LTX-2.3, og varianten for MiniMax H3 er en egen modell bygget på LTX-2.5.
Det er AI-video den fikser
Råteksten vi fikk, lovet bedre «gamle hjemmevideoer». Det er ikke det SoL-Refiner er trent for. Målet er artefaktene som oppstår i generert video: forvrengte lokale strukturer, teksturer som flyter og detaljer som ikke henger sammen. Den er trent på par av lav- og høykvalitetsvideo, finjustert med forsterkningslæring mot visuelle belønninger og deretter destillert ned til ett steg.
Det betyr også at refineren finner på detaljer. Den gjenskaper ikke det som var der, den gjetter hva som burde vært der. For AI-video er det poenget. For ekte opptak der originalen betyr noe, er det en ulempe.
Tallene
Ifølge forskningsartikkelen slår ett-stegs SoL-Refiner alle eksterne refinere den er sammenlignet med på VBench og UniPercept i 2K. I 3840×2176 er den bedre enn LTX-2.3s egen tre-stegs refiner på begge målene, og 8,9 ganger raskere.
Det mest oppsiktsvekkende tallet gjelder MiniMax H3: på prosjektsiden går en 1344×768-video fra 152 til under 6 sekunder totalt, en hastighetsøkning på 27 ganger. Det er målt på Nvidias datasenterkort GB200 og H100, med én GPU per steg. Alle tallene er Nvidias egne.
Hva du trenger for å kjøre den
Koden ligger i Sana-repoet på GitHub, og vektene er på Hugging Face. Ett-stegs-modellen for LTX-2.3 er på 71 GB, med en transformer på rundt 38 GB og en tekstenkoder på 24 GB. Kommandolinjeverktøyet slår på CPU-offloading og VAE-tiling som standard, og dokumentasjonen advarer om at 4K og lange videoer kan kreve «ytterligere minnejustering». De optimaliserte kjernene i SoL-Engine er skrevet for H100, H200 og B200.
Med andre ord: Dette er forskning fra et datasenter. Et RTX 3090 eller 4090 kan kanskje kjøre baseline-versjonen med mye offloading, men vi har ikke testet det, og ingen offisielle tall finnes.
Lisensene
Modellkortene på Hugging Face oppgir ingen egen lisens for SoL-vektene. Ryggraden LTX-2.3 er under Lightricks' egen LTX-2 Community License, ikke en standard åpen lisens. Og vil du bruke den sammen med MiniMax H3, må du vite at H3s community-lisens utelukker bruk av de åpne vektene i EU, Storbritannia, USA og Sør-Korea uten egen avtale. Norge er ikke EU-medlem, men les lisensteksten selv før du bygger noe på den.
Hvorfor det likevel er verdt å følge med
To-stegs-oppskriften – billig utkast, rask finpuss – er sannsynligvis slik lokal videogenerering kommer til å se ut fremover. Når teknikken først er vist med store modeller, er det ofte bare et spørsmål om tid før noen destillerer den ned til noe som passer i 24 GB VRAM. Inntil da er SoL-Refiner mest interessant som et signal om hvor feltet er på vei.
Ressurser
- Prosjektside – videosammenligninger for SANA-Video, Wan, Cosmos-Nano og MiniMax H3
- Forskningsartikkelen på arXiv – SoL-Refiner: Speed-of-Light One-Step Refinement for High-Resolution Video
- Kode på GitHub – installasjon for LTX-2.3- og MiniMax H3-variantene
- Vektene på Hugging Face – ett-stegs-modellen (71 GB)
