Naar de content

Veroordeeld door een robotrechter

Een standbeeld van gerechtigheid met een weegschaal van gerechtigheid tegen een blauwe lucht.
Een standbeeld van gerechtigheid met een weegschaal van gerechtigheid tegen een blauwe lucht.
Pixabay CC0

Het algoritme JURI Says voorspelt tot zo’n driekwart van de uitspraken van het Europees Hof voor de Rechten van de Mens correct. Toch is de ontwikkelaar, Masha Medvedeva, tegen robots die voor rechter spelen. Medvedeva promoveerde onlangs aan de Rijksuniversiteit Groningen.

13 oktober 2022

Europees Hof voor de Rechten van de Mens in Straatsburg.

 Wikimedia commons, CherryX via CC BY-SA 3.0

Een onterechte huisuitzetting in Oekraïne, een conflict over de huurprijs van een woning op Malta, een onterechte veroordeling van een Griek voor laster. Het is een greep uit zaken waar rechters van het Europees Hof voor de Rechten van de Mens in Straatburg (EHRM) recentelijk uitspraak over deden. Het zijn ook geschillen die werden ‘behandeld’ door een robot die de uitspraak van het hof correct voorspelde.

JURI Says is een algoritme ontwikkeld door de Groningse promovendus Masha Medvedeva en maakt gebruik van dezelfde informatie als waarop de rechters zich baseerden. Via een tekstanalyse bepaalt JURI Says of het Europees Verdrag voor de rechten van de mens is geschonden, waarbij van tevoren bekend is om welke artikelen het gaat. Neem bijvoorbeeld de bovengenoemde lasterzaak: het programma bepaalde dat de vermeende lasteraar zijn uitspraken toch mocht doen volgens het recht op de vrijheid van meningsuiting.

Het algoritme beoordeelde de afgelopen jaren de zaken van het EHRM en deed volgens de onderzoekers in eerste instantie in zo’n driekwart van de voorgelegde zaken een correcte voorspelling. Inmiddels is het scoringspercentage gezakt tot ongeveer zestig procent. Kunnen we die percentages verder opkrikken? En hebben we in dat geval misschien geen menselijke rechters meer nodig? De onderzoeker Medvedeva ziet veel bezwaren en is resoluut tegen.

Poll
Poll

Stelling: Een robotrechter kijkt alleen naar de letter van de wet, en is dus rechtvaardiger.

Niet helemaal eerlijk

Robotrechters in de rechtspraak zijn niet nieuw. Er zijn geen algoritmes die echt op de stoel van de rechter zitten en mensen veroordelen, maar met name in de Verenigde Staten maakt de rechterlijke macht in toenemende mate gebruik van geautomatiseerde systemen. Deze helpen rechters bijvoorbeeld in te schatten wat de kans is dat een veroordeelde in herhaling valt of hoe groot het risico is dat een persoon vlucht. In Nederland zijn dat soort systemen vooralsnog niet actief, maar recentelijk experimenteerde een rechtbank wel met een algoritme dat relatief simpele ‘verkeerszaken’ voor een rechter voorbereidt.

De ‘robotrechter’ JURI Says.

 Masha Medvedeva

Daarnaast zijn er algoritmes die (voor onderzoeksdoeleinden) uitspraken van gerechtshoven voorspellen. Vooral het Amerikaanse Hooggerechtshof is daarbij populair. In 2017 claimden wetenschappers hierbij meer dan 70 procent van de uitspraken correct te voorspellen enkel op basis van een analyse van procedurele data zoals de rechtbank die eerder naar de zaak keek, de aanvrager en de verdediging. Opmerkelijk genoeg scoort dit systeem beter dan de 66 procent die menselijke experts volgens datzelfde onderzoek halen. Sommige algoritmes voorspellen zelfs meer dan negentig procent van de zaken correct. Toch zijn die zeer goed scorende programma’s vaak niet helemaal eerlijk, schrijft Medvedeva in haar proefschrift. De computer analyseert hierbij namelijk de uiteindelijke uitspraak met de feiten die daarin hebben meegewogen.

“De vraag is wat je aan het ‘voorspellen’ bent als je informatie uit het vonnis gebruikt”, zegt Medvedeva. “De feiten zijn in een uitspraak immers zó opgeschreven dat een vrijspraak of veroordeling daaruit voortvloeit. Veel algoritmes claimen vonnissen te kunnen voorspellen, maar doen dat niet.”

Dat kan beter, dacht ze. Met collega’s ontwikkelde Medvedeva JURI Says, dat uitspraken van het EHRM toetst op basis van inhoudelijke informatie die vóór de rechtszaak aanwezig is. Het algoritme analyseert woorden in de aanklacht en kijkt of bepaalde woorden of combinaties daarvan karakteristiek zijn voor (eerdere) uitspraken. “Het algoritme begrijpt in feite niet waar de zaak over gaat”, zegt de onderzoekster.

Niet voor gebruik in de rechtszaal

JURI Says is niet voor gebruik in de rechtszaal. Medvedeva wil laten zien hoe voorspellende algoritmes werken, wat ze wel én wat ze niet kunnen. Ze ontdekte bijvoorbeeld dat het scoringspercentage van haar algoritme zakt wanneer ze het niet steeds opnieuw traint met nieuwe uitspraken. “Een van de redenen daarvoor kan zijn dat onze kijk (en die van rechters) op bepaalde activiteiten verandert. Wat rechters bijvoorbeeld dertig jaar geleden als marteling beschouwden, komt misschien niet overeen met de huidige definitie”, zegt ze. Zo’n evolutie van de rechtspraak schakel je uit als je het aan algoritmes overlaat.

Ook zegt ze dat algoritmes juist menselijke fouten kunnen handhaven. Van het Amerikaanse algoritme dat recidive bepaalt, is bekend dat het de kansen van de zwarte bevolking (onterecht) hoger ingeschat dan die van witte medeburgers, zelfs wanneer ras niet wordt meegenomen in de berekening. Een van de redenen daarvoor bleek het feit dat zwarte Amerikanen bij sommige overtredingen onevenredig vaak doelwit zijn van de politie. Het algoritme continueert zo de discriminatie die al in het systeem zit.

Ook moet er eerst nog een flinke vertaalslag plaatsvinden tussen wat slachtoffers beschrijven over wat hen is overkomen en wat er uiteindelijk in een aanklacht belandt die door een advocaat wordt opgesteld. Dat is ook bij menselijke rechters zo: rechtbanken willen dit soort informatie in een zeer specifieke vorm. “Getuigenverklaringen van mensen die ervan overtuigd zijn dat ze een slachtoffer zijn, zijn niet zo geschikt om te laten beoordelen door dit soort algoritmes”, zegt Medvedeva. Informatie is vaak incompleet en bevoordeelt een partij in de zaak (in dit geval de aanklager). In feite ‘weegt’ het algoritme niet de belangen van aanklager en aangeklaagde, zoals een echte rechter.

Verder kan een computer, in tegenstelling tot een rechter, niet uitleggen hoe het tot een bepaalde uitspraak komt. Terwijl een verdachte wel altijd het recht heeft om te weten waarom hij wordt vrijgesproken of veroordeeld.

Vinden van vergelijkbare rechtszaken

Medvedeva ziet wel toekomst voor algoritmes in de rechtspraak, maar meer in een rol die ze nu ook al hebben. Bijvoorbeeld voor het vinden van vergelijkbare rechtszaken, jurisprudentie of om te zien of het winnen van een bepaalde zaak kansrijk is of niet.

Het benoemen van een echte robotrechter lijkt (in Nederland) niet zo dichtbij. Eerder is voor opsporing van bijvoorbeeld mogelijke toeslagenfraudeurs wel gebruikgemaakt van algoritmes die risicoinschattingen maken op basis van gegevens uit verschillende databases. Een (menselijke) rechter in Den Haag oordeelde in 2020 dat dit systeem – genaamd SyRi – niet meer gebruikt mag worden. De rechtbank beargumenteerde dat SyRi zoveel data gebruikt dat het inbreuk maakt op de privacy van mensen en daarmee in strijd is met het recht van een mens op een privéleven. Bovendien stelde de rechter dat het onvoldoende ‘onder de motorkap kan kijken’ van de besluitvorming. En dat is ook precies de kritiek op de huidige robotrechters.

ReactiesReageer