JoyAI-Video-Edit: Sanntids videoredigering med naturlig språk – men pass på navnet
JD.com (kinesisk netthandelsgigant, kjent som Jingdong) har åpen kildekode-sluppet JoyAI-Video-Edit, et forskningsprosjekt for sanntids, instruksjonsstyrt videoredigering. Konseptet i råteksten stemmer i grunn: du gir modellen en naturlig språkinstruksjon, og den redigerer videoen deretter – bytte antrekk, endre setting, fjerne objekter og fylle inn bakgrunnen der de var.
Viktig sikkerhetsdetalj før du søker den opp selv
Her må jeg stoppe deg: det finnes minst to prosjekter med nesten identisk navn på GitHub. Det offisielle prosjektet ligger under jd-opensource/JoyAI-Video-Edit – ekte forskningskode fra JD.com, med tilhørende vitenskapelig artikkel. Men jeg fant også et repo med samme navn fra en helt annen konto, som ber deg laste ned en .exe-fil fra en generisk GitHub Pages-side med vage "klikk her og følg instruksjonene"-steg – et klassisk mønster for skadevare forkledd som et populært AI-verktøy. Sjekk alltid at du laster ned fra riktig kilde (jd-opensource på GitHub eller den offisielle Hugging Face-siden), og vær skeptisk til .exe-filer fra ukjente forks av populære AI-prosjekter.
Hvordan det faktisk fungerer
Systemet består av tre deler: en MLLM som tolker instruksjonen din sammen med referansebilder, en "causal" video-VAE som komprimerer video mens den strømmer inn (uten å se fremtidige bilder), og en 16 milliarder parameter stor multimodal diffusjonstransformer som utfører selve redigeringen. Fordi hele pipelinen jobber bildevis, uten å måtte kjenne hele videoens lengde på forhånd eller vente på fremtidige bilder, kan den redigere levende kamerastrømmer i tillegg til opplastede videoer.
Ytelsestallet er reelt imponerende: rundt 30 bilder per sekund ved 720p-oppløsning – men det er målt på en enkelt Nvidia B200, en datasenter-GPU til flere hundre tusen kroner. Dette er altså ikke noe du kjører på en vanlig spillrigg med det første.
Ikke helt "lansert" ennå for vanlige brukere
Her bør vi dempe "lanseringen" litt: dette er per nå en åpen forskningskodebase med tilhørende vitenskapelig artikkel (publisert august 2026), ikke et ferdig konsumentverktøy. Den offisielle nettsiden for et hostet, brukervennlig grensesnitt tilbyr foreløpig kun en venteliste – ingen har fått hostet tilgang ennå.
