InSpatio-World 1.5: Gjør ett bilde om til en scene du kan styre kameraet gjennom

Hva InSpatio-World er

InSpatio-World 1.5 er en såkalt 4D-verdensmodell fra InSpatio, lagt ut på Hugging Face i slutten av september. Den tar et utgangspunkt – ett bilde, fire bilder, et panorama eller en video – og genererer nye visninger av scenen fra kameravinkler som aldri ble filmet. Teknikken kalles next-view prediction: modellen gjetter hva kameraet ville sett i neste steg, og holder romlig struktur, bevegelse og visuell stil noenlunde konsistent underveis.

Den bygger på Wan 2.1 T2V 1.3B, den lille videomodellen fra Alibaba, og bruker Depth Anything 3 til å anslå dybde og kameraposisjoner i kildematerialet.

Kamerabanen er hele poenget

Det som skiller dette fra vanlig bilde-til-video, er kontrollen. Du gir ikke bare en tekstprompt og håper på det beste. For video gir du én 4×4-kameramatrise per bilderute, i OpenCV-format, som beskriver nøyaktig hvor kameraet skal være. Modellen rendrer scenen derfra.

Det åpner for bullet time – den frosne Matrix-effekten der kameraet sirkler rundt et øyeblikk som står stille. InSpatio beskriver dette som et eget bruksområde: start med flere synkroniserte bilder av samme øyeblikk, og design en kamerabane rundt motivet.

Ulempen er at kameramatriser ikke er noe du skriver for hånd en søndag ettermiddag. Banen må dessuten bruke samme koordinatsystem og skala som kameraene modellen har estimert fra kilden. Dette er et verktøy for folk som er komfortable med 3D-geometri, ikke en skyveknapp i en app.

Hva «under 6 GB» egentlig betyr

Selve InSpatio-sjekkpunktet er 5,68 GB, og det er nok der tallet som går rundt kommer fra. Men nedlastingsskriptet i repoet henter også hele Wan 2.1 1.3B-repoet, inkludert en umT5-tekstenkoder på 11,4 GB, og dybdemodellen DA3 Giant på 6,8 GB. Til sammen blir det rundt 30 GB på disk.

Hvor mye VRAM den trenger, står ikke i dokumentasjonen. Kravene er Python 3.10 og CUDA 12.6, og FlashAttention-3 anbefales på Hopper-kort – altså datasenter-GPU-er som H100. Sanntidstallet InSpatio oppgir, 24 bilder i sekundet på én GPU, gjelder versjon 1.0, uten at det er spesifisert hvilket kort. Vi har ikke testet den selv, så «kjører på de fleste forbruker-GPU-er» er en påstand vi ikke kan bekrefte.

Lisensen har et hull

Koden er Apache 2.0, og det samme er Wan 2.1. Men dybdemodellen skriptet laster ned, DA3NESTED-GIANT-LARGE, er lisensiert CC BY-NC 4.0 – ikke-kommersiell. Modellkortet for selve InSpatio-sjekkpunktet oppgir ingen lisens. For hobbybruk spiller dette liten rolle. Skal du bruke resultatet i betalte oppdrag, bør du sjekke dette først.

Vil du bare se hvordan det ser ut?

InSpatio har en nettdemo der du kan prøve uten å installere noe. Det er den raskeste måten å finne ut om resultatene er gode nok for det du har i tankene, før du bruker en kveld og 30 GB på å sette det opp lokalt.

Verdensmodeller er et felt som beveger seg raskt. Vi har tidligere skrevet om JING og DAO og LingBot-World 2.0, som begge sikter mot det samme: en scene du kan bevege deg fritt i. InSpatio er den minste av dem, og den eneste med presis kamerakontroll som hovedpoeng.

Ressurser

• InSpatio-World 1.5 på GitHub – kode, installasjon og eksempler
• Prosjektside – videoeksempler og bullet time-demoer
• Sjekkpunktet på Hugging Face – modellvektene (5,68 GB)
• Forskningsartikkelen på arXiv – INSPATIO-WORLD: A Real-Time 4D World Simulator
• Nettdemo – prøv uten installasjon