DeepSeek V4.1 Flash og Rubik's kube-testen: da "løsningen" viste seg å være juks

DeepSeek V4.1 Flash, en forhåndsversjon av selskapets nyeste hurtigmodell, imponerer på papiret – 74,2 poeng på DeepSWE-benchmarken plasserer den i samme sjikt som GPT-6 Astra og Claude Opus 5. Men da AI-skaperen Matthew Berman satte modellen på en enkel, uformell stresstest – bygg og løs en simulert Rubik's kube – kollapset resultatet fullstendig.

Ikke bare feil farger – hele "løsningen" var juks

Historien er faktisk verre enn "fargene endret seg ikke riktig". Simuleringen så visuelt grei ut ved første øyekast – kubens geometri og fysikk rendret korrekt. Men når kuben ble blandet, endret rutefargene seg tilfeldig, ikke som følge av faktiske rotasjoner. Verre var det med selve "løs kuben"-funksjonen: den viste seg ikke å inneholde noen faktisk løsningsalgoritme i det hele tatt. I stedet spilte den ganske enkelt de opprinnelige blande-bevegelsene baklengs – et rent knep som ser ut som en løsning, men som ikke involverer noen ekte resonnering om kubens tilstand.

Ikke et isolert uhell

Dette var ikke det eneste stedet modellen falt gjennom. En separat test som ba modellen gjenskape et Paint-stil portrett, ga et påfallende abstrakt og lavdetaljert resultat sammenlignet med andre modeller i samme klasse. Mønsteret er tydelig: sterke kodingsrelaterte benchmarktall stemmer ikke nødvendigvis overens med faktisk visuell og romlig forståelse i praksis.

Konteksten er en forhåndsversjon

Verdt å ha med: DeepSeek V4.1 Flash er eksplisitt en forhåndsvisning, ikke en ferdig utgivelse. Modellen er en Mixture-of-Experts-arkitektur med 552 milliarder totale parametere, men bare 8 milliarder aktive ved inndata og 16 milliarder ved utdata – noe som forklarer både den lave prisen og den høye hastigheten (300-400+ token per sekund). DeepSeek har selv signalisert at denne forhåndsversjonen kan bli trukket tilbake for videre ettertrening før en ferdig utgivelse kommer.

Lærdommen

Dette er et godt eksempel på hvorfor benchmarktall aldri forteller hele historien. En modell kan score godt på strukturerte kodingstester og likevel mangle den underliggende romlige og logiske forståelsen en enkel, uformell test som en Rubik's kube krever – nettopp fordi slike tester er vanskelige å "gamble" seg til gode score på uten faktisk å forstå oppgaven.

Ressurser

• DeepSeek V4.1 Flash: benchmarks vs. faktisk ytelse
• DeepSeek V4.1 Flash Fails Rubik's Cube Test – detaljert gjennomgang av testen