Hvordan AI kan skape trøbbel i rettssalen

Et av USAs mest prestisjefylte advokatfirmaer leverte nylig et prosesskriv til en føderal konkursdommer – fylt med sitater som aldri har eksistert.

Sullivan & Cromwell måtte beklage offentlig. AI sto bak feilene. Og saken er et av de mest konkrete eksemplene vi har fått på hva som skjer når gode verktøy brukes uten tilstrekkelig kontroll.

Hva gikk galt

Prosessskriftet inneholdt dusinvis av kildehenvisninger som enten var fabrikkerte eller feilaktig gjengitt. Dette er en kjent svakhet ved store språkmodeller: de genererer sitater som ser troverdige ut, men som ikke er reelle.

Problemet var ikke modellen alene. Problemet var at ingen i prosessen kontrollerte output mot faktiske kilder.

I en juridisk kontekst er det advokatfirmaet som har ansvar for dokumentene de leverer – uavhengig av hvilke verktøy som ble brukt underveis.

Hva dette lærer oss om AI i arbeidsflyten

Saken illustrerer noe viktig: selv erfarne fagfolk med tilgang til gode verktøy kan havne i problemer uten de rette rutinene rundt dem.

AI er ikke en erstatning for kildekontroll. Det gjelder særlig i juridiske dokumenter, men prinsippet er universelt: output fra en språkmodell må alltid verifiseres mot primærkilder før det brukes i et dokument med konsekvenser.

Løsningen er ikke å slutte å bruke AI. Det er å bruke det med bedre rutiner.

Ressurser: Sullivan & Cromwell