R2T2: Åpen sanntidstranskripsjon som kjører lokalt – men ikke på norsk ennå

Hva R2T2 er

Confucius4-R2T2 – forkortelse for «Real Real-Time Transcription» – er en strømmende talegjenkjenningsmodell fra kinesiske NetEase Youdao. Den bygger på Alibabas åpne Qwen3-ASR-1.7B og har rundt to milliarder parametere. I BF16 tar vektene omtrent 4 GB, så den får plass på et vanlig forbruker-grafikkort.

Det som skiller R2T2 fra de fleste lokale transkripsjonsoppsett, er hvordan teksten kommer ut. Mange «sanntids»-løsninger bygget på Whisper gjetter fortløpende og retter seg selv etter hvert som mer lyd kommer inn. Ordene på skjermen hopper og byttes ut. R2T2 er det utviklerne kaller ekte strømming: Når et ord først er skrevet, blir det stående.

Det høres ut som en detalj, men det er avgjørende hvis teksten skal brukes til noe med en gang – direkteteksting, et oversettelsessteg eller en stemmeagent som skal reagere mens du fortsatt snakker.

Tallene

Utviklerne oppgir en gjennomsnittlig forsinkelse på 200–600 millisekunder, og du kan selv velge hvor store lydbiter modellen jobber med, fra 80 millisekunder til to sekunder. Kortere biter gir raskere tekst, lengre biter gir litt høyere presisjon.

På engelsk oppgir NetEase en ordfeilrate på 2,13 prosent på LibriSpeech Clean med 160 millisekunders biter. På VoxPopuli-testen ligger den på 3,07 prosent, mot 5,68 prosent for grunnmodellen Qwen3-ASR og 5,69 prosent for WhisperRT under samme forhold. Det er utviklernes egne målinger, men de er publisert sammen med testoppsettet på GitHub.

Råteksten vi fikk inn påsto «feilfri» transkripsjon og støtte for 57 språk. Ingen av delene stemmer. Ingen modell er feilfri, og vi har ikke funnet noe som bekrefter 57 språk.

Norsk er ikke med

Her er haken for oss. R2T2 er optimalisert for kinesisk og engelsk, og har ifølge modellkortet nyttig støtte for blant annet fransk, tysk, spansk, japansk og arabisk. Grunnmodellen Qwen3-ASR støtter 30 språk – inkludert svensk og dansk, men ikke norsk.

Det betyr ikke at den er ubrukelig på norsk tale, men du må regne med dårligere resultater enn tallene over. Skal du transkribere norske møter i dag, er Whisper-baserte løsninger som CrisperWhisper fortsatt det tryggere valget. R2T2 er mer interessant hvis du jobber på engelsk, eller vil bygge en stemmeagent der lav forsinkelse betyr mer enn språkdekning.

Slik kommer du i gang

Koden ligger åpent på GitHub under Apache 2.0, mens selve modellvektene har NetEases egen bruksavtale – les den før du bygger noe kommersielt på toppen. Anbefalt oppsett er vLLM i Docker, med Qwen3-ASR-imaget som base, og du trenger et CUDA-kort. Det finnes også en Hugging Face Transformers-variant, og flere i miljøet har laget kvantiserte GGUF-versjoner.

Med 4 GB vekter er dette en modell som passer fint ved siden av andre tjenester på en hjemmeserver. Har du allerede en lokal AI-maskin, er det verdt et forsøk – bare ikke forvent norsk på nivå med engelsk.

Ressurser

• Confucius4-R2T2 på GitHub – kode, benchmarks og installasjon
• Confucius4-R2T2 på Hugging Face – modellvekter og lisens
• Qwen3-ASR-1.7B på Hugging Face – grunnmodellen og språklisten