FixAnything: Én videomodell reparerer alle typer 3D-rendere
Forskere ved Carnegie Mellon University har publisert FixAnything, en metode som reparerer renderingsartefakter uansett hvilken 3D-representasjon de kommer fra – Gaussian Splatting, NeRF, mesh eller sparsomme punktskyer. Metoden er akseptert til ECCV 2026, en av de ledende konferansene innen datasyn.
Trikset: behandle 3D-feil som et videoproblem
Kjerneideen er genuint smart: i stedet for å bygge en helt ny modell for hver type 3D-feil, gjenbruker forskerne en eksisterende, ferdigtrent videodiffusjonsmodell (Wan2.1-I2V-14B) og tilpasser den til å "reparere video" i stedet for å generere den fra bunnen. Den skitne 3D-renderingen brukes som kamerastyringssignal – selv en veldig sparsom punktsky (for eksempel fra COLMAP) gir nok informasjon om kamerabane og grov scenelayout til at modellen kan fylle inn resten troverdig.
Overraskende lite treningsdata kreves
Her er noe som skiller seg ut: modellen trenger bare en liten LoRA-tilpasning (under 1 prosent av parameterne) trent på rundt 20 par med videoer, og hele treningen tar 3000 iterasjoner på én enkelt H100-GPU. Det er lavterskel sammenlignet med å bygge en helt ny spesialisert modell for hver 3D-representasjonstype.
En andre treningsfase bruker noe forskerne kaller "Flow-DPO": modellen genereres flere ganger per scene, og utfallene rangeres etter hvor nøyaktig et eksternt verktøy (COLMAP) klarer å gjenopprette kameraposisjonene fra resultatet. De beste og dårligste utfallene pares sammen for å finjustere modellen videre – dette forbedret posisjonsnøyaktigheten fra 61,1 til 68,3 på en standard målemetode, uten noen ekstra kostnad ved selve bruken.
Forskerne er selv ærlige om svakheten
Verdt å nevne: forskerne påpeker selv at modellen noen ganger "hallusinerer" strukturer som ser troverdige ut i ett enkelt bilde, men som ikke henger sammen mellom ulike kameravinkler – akkurat den typen feil metoden er ment å fikse, kan altså også oppstå i selve fiksen. De har bygget en egen usikkerhetsmåling for dette: ved å kjøre modellen fem ganger med ulike tilfeldige utgangspunkt og se på hvor mye resultatene spriker, kan de flagge hvilke deler av bildet som er mest usikre – med klar sammenheng mellom høy spredning og faktiske feil.
Ikke helt "sett i gang på fem minutter"
Dette er en forskningskodebase fra et universitetsmiljø, ikke et polert konsumentverktøy. Å faktisk bruke det krever at du setter opp en 14-milliarder-parameter videodiffusjonsmodell, forstår LoRA-finjustering, og har tilgang til en kraftig GPU. Absolutt gjennomførbart for noen med erfaring innen maskinlæring og god maskinvare, men "enkelt å komme i gang" er en litt for optimistisk beskrivelse for de fleste.
Ressurser
- FixAnything prosjektside med interaktive resultater
- FixAnything på arXiv – den fulle vitenskapelige artikkelen
- FixAnything på GitHub – kildekode
