Ming 3.0 TTS: Beste åpne stemmekloner med MIT-lisens – men den snakker ikke norsk

To modeller, én familie

Ming 3.0 TTS kom fra Ant Groups forskningsavdeling inclusionAI 20. oktober, som del av en familie på fem lydmodeller som også inkluderer talegjenkjenning og lydforståelse. Det er det samme miljøet som står bak Ming-Image-designmodellen vi skrev om tidligere i oktober.

Talemodellene kommer i to størrelser. Ming-3.0-tts-0.5B er en tett modell bygget på Qwen 2.5 0.5B, og hele pakken med lydkoder og stemmegjenkjenning er på rundt 1,5 milliarder parametere. Ming-3.0-tts-tiny er, til tross for navnet, den største: en mixture of experts med 7,9 milliarder parametere totalt, der rundt 1,3 milliarder er aktive om gangen. Tiny kan i tillegg lage samtaler mellom flere stemmer fra et manus, for eksempel en podkast.

Begge er lisensiert under MIT, og det betyr at du kan bruke, endre og selge det du lager med dem, også kommersielt.

Hva den kan

Begge modellene kan klone en stemme fra et kort lydklipp. Du kan også beskrive en stemme med vanlige ord, for eksempel «en rolig, mørk mannsstemme med britisk aksent», og få en ny stemme som ikke tilhører noen. Underveis kan du styre følelser, tempo, tonehøyde og volum, og du kan beskrive fritt hvordan noe skal leses.

Råteksten vi fikk inn sa at modellen kan legge til lydeffekter. Det er litt upresist. Det den har, er 14 merker du setter inn i teksten for pust, hoste, sukk, latter, nøling, overraskelse og bekreftende lyder. Det gjør talen mer menneskelig, men det er ikke en lydeffektgenerator. Disse merkene fungerer dessuten bare på kinesisk og engelsk.

Hvor god er den?

Det uavhengige analyseselskapet Artificial Analysis lar folk sammenligne talemodeller blindt. På listen for stemmekloning, der alle modellene skal klone de samme åtte stemmene, får Ming 3.0 en Elo-poengsum på 1069. Det er best av alle åpne modeller, så vidt foran Fish Audio Drama 3 med 1065, men nummer 16 totalt. Lukkede tjenester som HeyGen, Qwens skyversjon og ElevenLabs ligger over 1150.

Ifølge prosjektets egen oversikt ligger den også på førsteplass totalt på uttale, med 93,2 prosent riktig uttalte ord i vanskelige engelske tekster med forkortelser, tall og koder. Det er nyttig hvis du skal lese opp tekniske tekster.

Ikke norsk

Her kommer den store begrensningen for norske brukere. Ming 3.0 støtter kinesisk, engelsk, tysk, spansk, fransk, koreansk og japansk, pluss de kinesiske dialektene sichuan og kantonesisk. Norsk, svensk og dansk er ikke med.

Det er det samme vi så med talegjenkjenneren Whistle nylig. Små, raske og åpne lydmodeller blir stadig bedre, men de små språkene kommer sist. Vil du ha norsk tale lokalt i dag, må du fortsatt lete etter modeller som er trent spesielt på norsk.

Kan du kjøre den selv?

Ja, men det krever litt arbeid. Vektene ligger på Hugging Face, men koden for å kjøre modellen må hentes fra prosjektets GitHub. Prosjektet oppgir at det er testet på Nvidias store datasenterkort, men 0.5B-modellen er så liten at et vanlig gaming-grafikkort bør holde. Det finnes også et uoffisielt oppsett som hevder at den kjører på CPU, men det har vi ikke testet. Tiny-modellen trenger mer minne, siden alle 7,9 milliarder parametere må lastes inn selv om bare en del brukes om gangen.

Det finnes ingen offisiell nettjeneste fra inclusionAI, så vil du prøve uten å installere noe, må du bruke demoene på prosjektets nettside.

Én ting til om kloning

At det er teknisk enkelt å klone en stemme, betyr ikke at det alltid er lov. En stemme kan regnes som en personopplysning, og å bruke noens stemme uten samtykke kan bryte personvernreglene. Det kan også fort bli brukt til svindel eller til å legge ord i munnen på andre. Klon din egen stemme, eller stemmer du har fått lov til å bruke, og bruk stemmedesignfunksjonen når du trenger en ny stemme som ikke tilhører noen.

Ressurser

• Ming-3.0-tts på GitHub – kode, oppskrifter og benchmarker
• Ming-3.0-tts-0.5B på Hugging Face – den minste modellen
• Ming-3.0-tts-tiny på Hugging Face – MoE-modellen med podkastmodus
• Demoer – lydeksempler fra prosjektet
• Artificial Analysis: Controlled Voice – uavhengig rangering