Bodo algoritmi res boljši sodniki?

ZDA je domovina tehnološkega napredka. Prednjači pa ne le v tehnologiji, ampak tudi po številu zapornikov – za rešetke strpa več ljudi kot katera druga država na svetu. Sodni sistem, ki je odgovoren za odkrivanje, preiskovanje in dokazovanje kaznivih dejanj, je obremenjen. Zato vse pogosteje razmišljajo, kako skrajšati sodne postopke in zagotoviti nepristranskost. Rešitev vidijo v računalniških sistemih.

Algoritmi v službi sodstva

Računalniški algoritmi so vseprisotni. Predlagajo nam glasbo, filme, izdelke. V pomoč, predvsem v ZDA, so tudi sodstvu – predvidevajo, kdaj in kje se bo zgodil zločin, poleg tega obstajajo programi, ki namesto sodnikov odločajo o priporu in celo o višini kazenske sankcije. To je na eni od tehnoloških konferenc v ZDA lani potrdil ameriški vrhovni sodnik John Roberts. Ko so ga vprašali, kdaj bodo pametni stroji v službi sodišč, je odvrnil: »Ta dan je že tukaj in vpliva na delo kazenskopravnega sistema.« V mislih je imel odmeven primer Erica Loomisa, ki si je na priporočilo umetne inteligence (algoritma) v Wisconsinu prislužil šest let zapora. Za Loomisa, ki ima kriminalno kartoteko in je v ukradenem avtu bežal pred policijo, je kazen predlagal sistem Compas, ki ga je zasnovalo zasebno podjetje Nortpointe Inc. Sodniki so oceno, da je Loomis »nevaren, da pomeni grožnjo in da je nagnjen k ponavljanju kaznivih dejanj«, upoštevali. V svoj zagovor so dejali še, da bi si takšno kazen prislužil v vsakem primeru. V ZDA uporabljajo tudi sistem Valcri, ki v nekaj sekundah pregleda sporočila, poročila in policijske dokumente in izlušči področja, ki bi jih bilo treba podrobneje raziskati.

Jure Leskovec: Naš sistem sodniku pomaga pri napovedi, ali je osumljenec begosumen, potem pa na tej podlagi odloči, ali lahko čaka na sojenje na prostosti ali ne. Naš cilj je izpustiti čim več ljudi, vendar tako, da se stopnja kriminala ne bo povečala.

Slovenski znanstvenik, profesor na Stanfordu in podjetnik Jure Leskovec pojasnjuje, da nekatera sodišča in prevzgojne ustanove v ZDA omenjene algoritme uporabljajo za določitev tveganja, ali je posameznik begosumen ali lahko na sojenje počaka na prostosti. Da so algoritmi v službi sodstva, so ameriški mediji začeli pogosteje opozarjati poleti 2016. »Skrivni algoritem, ki napoveduje prihodnost kriminalca v Wisconsinu, dobil zeleno luč«, »V uporabi algoritem, ki je pristranski do črncev«, »Sodniki sodijo na podlagi algoritmov«, »Ko te algoritem pomaga poslati v zapor«, so se vrstili pompozni naslovi. Vendar to ni novost. V ZDA sisteme za oceno uporabljajo že od dvajsetih let prejšnjega stoletja, v šestdesetih in sedemdesetih pa so izdelali prve študije programov, ki pomagajo človeka razvrstiti kot nevarnega ali ne. Takratni sistemi so imeli veliko pomanjkljivosti, v članku Algoritmi v sodstvu priznavajo znanstveniki z univerze Harvard. Prva država, ki je že leta 1994 »zaposlila« program, ki je sodnikom pomagal določati kazni, je bila zvezna država Virginija. Danes namesto sodnikov o priporu in pogojnem odpustu iz zapora odločajo računalniški sistemi v najmanj desetih zveznih državah in več kot tristo jurisdikcijah. Podobno je v Kanadi in Veliki Britaniji.

Britanska televizijska mreža BBC je poročala, da je policija v Durhamu umetno inteligenco poskusno začela uporabljat maja lani. Podobno kot v ZDA naj bi tudi na Otoku podala oceno, ali naj oseba ostane v priporu ali na sojenje čaka na prostosti. Program Hart (Harm Assessment Risk Tool) klasificira posameznike glede na nizko, srednjo in visoko stopnjo verjetnosti ponovitve kaznivega dejanja. Policija se je za testiranje odločila v primerih, ko se ne more zanesti le na človeški dejavnik. Program so nahranili s podatki durhamske policije iz obdobja 2008–2013. Vanj so vnesli podatke o osumljenčevi kriminalni preteklosti, resnosti dejanja in begosumnosti. Testi, ki so jih izvajali leta 2013, pri čemer so dve leti spremljali osumljenčevo vedenje, so pokazali, da je Hart pravilno odločitev pri majhnem tveganju sprejel v 98, pri velikem tveganju pa v 88 odstotkih.

Shutterstock

Pomanjkljivosti sistemov zasebnih podjetij

Hart in Compas sta le dva v množici algoritmov, ki možem v modrem in sodstvu pomagajo do odločitev. Takšni sistemi so tvegani, poudarjajo kritiki, saj vdirajo v kazenskopravni sistem in zmanjšujejo človekove pravice. Ameriška nevladna organizacija ProPublica opozarja, da so ti sistemi pogosto pomanjkljivi. Analiza Compasa je pokazala, da so »črnci v okrožju Broward na Floridi v primerjavi z belci pogosteje nepravično ocenjeni kot nagnjeni k ponavljanju kaznivih dejanj«. Da so »tudi najbolj izpopolnjeni sistemi umetne inteligence lahko pristranski, saj jih ustvarjajo ljudje«, priznava Joanna Bryson, profesorica računalniških znanosti na univerzi Bath. Sporno je še, da tovrstne sisteme in algoritme snujejo zasebna podjetja, ki ne razkrivajo, s kakšnimi vhodnimi podatki sistem operira, včasih niti ne zanjo razložiti, kako je algoritem prišel do takšne odločitve.

Tudi Leskovec se zaveda pasti teh sistemov. Strinja se, da se v njih dogajajo napake, zato je pomembno vprašanje, kako jih narediti verodostojne, pravične in pravilne. »Pri Compasu in drugih sistemih ni jasno, kakšen je odločitveni model, poleg tega modeli niso javno objavljeni,« razlaga Leskovec. Prav zato so se na njegovo ekipo obrnili iz ene od organizacij in jih prosili, da bi razvili napovedni sistem, ki bo pregleden, nepristranski in nediskriminatoren, z dobro utemeljenimi odločitvami.

Stanford postavlja nov mejnik

Podjetja, organizacije in vlade po vsem svetu uporabljajo umetno inteligenco oziroma algoritme pri sprejemanju odločitev, ki so bile prej izrecno v domeni človeka.

Maja Brkan: Uredba o varovanju osebnih podatkov določa, kdaj je avtomatizirano odločanje dovoljeno, vendar je ta člen kot švicarski sir – na splošno prepoveduje tovrstno profiliranje, a dopušča tudi izjeme.

Pričakujejo namreč, da so odločitve algoritmov bolj učinkovite, z utemeljitvijo, da so ljudje pristranski in nekonsistentni, algoritmi pa ne. Človek se lahko uči iz omejene množice primerov, medtem ko računalniški algoritem lahko pregleda milijone različnih primerov. Toda računalniških sistemov ni lahko usposobiti za opravljanje nalog, ki zahtevajo človeško presojo. Algoritmi pregledujejo pretekle primere in iščejo vzorce, značilne za pravilne odločitve. Težava se pojavi, ker ne moremo vedeti, kaj bi se zgodilo, če bi bila odločitev v preteklosti drugačna. Na primer, če bi računalnik nekoga izpustil na prostost, sodnik pa se je odločil za pripor, ne moremo vedeti, kako bi se ta človek obnašal, če bi bil izpuščen, kot je priporočil računalnik. Druga težava je v tem, da računalniki obtoženca ne vidijo in ne »čutijo«, tako kot sodnik, torej nimajo vseh informacij. Leskovec je zato predlagal nov pristop, ki odpravi omenjeni težavi in omogoča izdelavo nepristranskih in pravičnih odločitvenih modelov.

Model, ki ga ustvarjajo na Stanfordu, je v nasprotju s Compasom, Hartom in drugimi javen in enostaven. »Model ne odloča o krivdi, ampak o begosumnosti. V njem je 11 pravil. Vsak, ki si lahko zapomni teh 11 pravil, se bo odločal za 30 odstotkov bolj natančno kot ameriški sodniki,« razlaga Leskovec. Kaj to pomeni v praksi, ponazori s primerom: »Sodnik se odloča, ali bo osumljenec čakal na sojenje na prostosti. Naš sistem mu pomaga pri napovedi, ali je osumljenec begosumen, potem pa na podlagi te napovedi sprejme odločitev, ali lahko čaka na sojenje na prostosti ali ne. Naš cilj je izpustiti čim več ljudi, a tako, da se stopnja kriminala ne bo povečala.« Pravi tudi, da so našli način, kako rešiti to zagato in pomagati sodnikom. »Namen takšnih sistemov ni, da bi nadomestili sodnika, ampak da mu pomagajo; da lahko človek in stroj skupaj sinergično sodelujeta in dopolnjujeta drug drugega,« razlaga Leskovec.

Prvi ga bo testiral New York

Skupaj z ekipo je Leskovec izdelal sistem, ki ga uporabljajo pri določanju varščin. Program o posameznikovi usodi »odloča« na podlagi kazenske kartoteke osumljenca in napoveduje, ali bo zbežal ali pa storil nova kazniva dejanja, medtem ko bo čakal na sojenje.

Program, ki sodnikom pomaga določati kazni, je kot prva država že leta 1994 »zaposlila« Virginija. Danes namesto sodnikov o priporu in pogojnem odpustu iz zapora odločajo računalniški sistemi v najmanj desetih ameriških zveznih državah in več kot tristo jurisdikcijah.

Prva zvezna država, ki ga bo testirala, je New York. »Modeli bodo javni. Vsebovali bodo le spremenljivke, ki vsebujejo človekovo preteklo kriminalno vedenje,« poudarja Leskovec. »Edini način, da pretentaš ta algoritem, je, da ne storiš kaznivega dejanja,« doda. Sistem tudi analizira sodno prakso in ugotavlja, v katerih primerih je ta napačna. Ob tem predstavi še en zanimiv primer: »Naš sistem je ugotovil, da se sodniki v ZDA odločajo zelo natančno, ko imajo pred sabo samsko osebo, ki pogosto menja naslov bivališča in je zagrešila kaznivo dejanje visoke stopnje. Po drugi strani pa se velikokrat odločijo napačno pri osumljencih, ki so samski in imajo otroke.« Med razloge za takšno diskrepanco Leskovec prišteva tudi pravičnost: »Sodnik bi rad bil pravičen in si ne želi poslati v zapor samske osebe z otrokom. Raje sprejme večje tveganje in se za ječo ne odloči, saj ima lahko takšna odločitev širše družbene posledice in posledice za družino.« Takšen človek težje najde novo zaposlitev, otrok lahko konča pri rejnikih …

Metodologijo, na kateri sloni program za sodnike, bi lahko uporabljali tudi v bančništvu, kjer so revnejšim onemogočena pravična posojila. Ali v zdravstvu – ljudje pogosto pridejo k zdravniku, ker kihajo in kašljajo, in zdravnik se mora odločiti, ali jih bo poslal domov z dragim zdravilom za astmo ali ne, če bi povečali stopnjo natančnosti odločitev, pa bi zdravila dali le tistim, ki jih zares potrebujejo, in tako pomagali več ljudem. Ali v izobraževanju – v ZDA se učitelji odločijo, ali učenca, ki se težko uči, vključiti v kakšen dodaten program, vendar pri tem izključujejo tiste, ki morda na prvi pogled pomoči ne potrebujejo, čeprav bi se z njo odrezali bolje.

Shutterstock

Kje smo pri nas?

Minister za pravosodje Goran Klemenčič je inovativnim informacijskim rešitvam v sodstvu, vključno z uporabo kompleksnih analiz velikega števila podatkov, naklonjen in jih podpira.

»Računalniški algoritmi so lahko in bodo vse bolj uporabni za ocenjevanje dejanskega stanja, analiziranje sodne prakse ter krepitev njene enotnosti in predvidljivosti. Veliko priložnosti ponuja razvoj tovrstnih rešitev tudi pri tipiziranih pravnih in upravnih postopkih, na primer pri izdaji gradbenih dovoljenj in vpisih v zemljiško knjigo. Toliko bolj, ker je moderna država z množico regulacij in pravic zelo zapletena. Izkušnje z uporabo tovrstnih tehnologij v zdravstvu, denimo pri diagnostiki, so pozitivne,« pravi Klemenčič. Poudarja pa, da iste tehnologije »ne podpira pri odločanju o krivdi in odgovornosti. To je nekaj imanentno človeškega in bo moralo vedno ostati v rokah sodnika ali porote.«

Temu pritrjuje tudi Maja Brkan, docentka za evropsko pravo in raziskovalka novih tehnologij na pravni fakulteti v Maastrichtu. Meni, da algoritem sicer lahko pomaga, vendar mora vsako odločitev sprejeti človek. Tovrstni sistemi so po njenem lahko koristni pri ugotavljanju višine škode v civilnih postopkih: »Dobro bi bilo imeti bazo podatkov, iz katerih bi bilo razvidno, kako so škodo določili v podobnih primerih.« Zadnje v Sloveniji že imamo. Informacijska tehnologija oziroma uporaba prvih računalnikov je vrhovnemu sodišču omogočila, da se je kot eno prvih v Evropi že leta 1986 lotilo računalniškega evidentiranja baz sodne prakse. »Med drugim se te v slovenskem sodstvu, v povezavi z ustrezno oblikovanimi iskalnimi algoritmi, že desetletja uporabljajo za določanje zneska nepremoženjske škode. Tak sistem omogoča enotnejše določanje odškodnin, denimo v primerih poškodb in zavarovalnih sporov. Z njegovo uvedbo in objavo na spletu leta 2007 se je močno zmanjšalo število sporov oškodovancev z zavarovalnicami, poškodovancem pa je zagotovil enakopravnejšo in hitrejšo obravnavo,« razlaga Gregor Strojin, vodja službe za odnose z javnostmi na vrhovnem sodišču. Dodal je, da vrhovno sodišče aktivno in tudi z lastnim razvojem podpira vse inovativne rešitve, ki pripomorejo k učinkovitejšemu upravljanju in odločanju v sodstvu.

Algoritmov, ki bi kot v ZDA odločali o begosumnosti ali predvideli zaporno kazen, pa nimamo. Strojin poudarja, da je pri analizi naprednih IT-sistemov v sodstvu še naprej smiselno razlikovati med upravljanjem sodnih zadev in sodnim odločanjem, saj sta oba vidika pomembna za učinkovito zagotavljanje pravice. Meni, da je informacijske sisteme treba uvajati postopno in robustno, na trdnih temeljih. Strinja se, da je mogoče vrsto opravil povsem avtomatizirati ter z njimi nadomestiti sodnike in sodno osebje ali pa vsaj precej podpreti nadaljnje odločanje, kar so v našem sodstvu že naredili. »S projektom COVL smo leta 2008 skrajšali povprečni čas izdaje sklepov v izvršilnih postopkih, ki jih je bilo na letni ravni okoli dvesto tisoč, z več kot pol leta na dva delovna dneva,« navede primer.

GDPR nalaga preglednost

Nekaj podobnega kot pri nas se dogaja tudi na Nizozemskem. Maja Brkan pravi, da tamkajšnji davčni in carinski uradi v 90 odstotkih sprejemajo avtomatizirane odločitve. »Glede na zaslužek ti avtomatično odmerijo davek. Cariniki v Rotterdamu imajo poseben algoritem, s katerim se odločajo, katere ladje bodo podrobneje pregledali. Ne bodo pa izdali, po kakšnem ključu sprejmejo odločitev, katero ladjo pregledati v teh postopkih, za droge ali kaj drugega,« pravi Brkanova.

V EU še ne uporabljamo naprednih sistemov, kot je Compas, morda tudi zaradi nove uredbe o varovanju osebnih podatkov (GDPR), ki se bo začela uporabljati maja letos. Po besedah Brkanova uredba sicer določa, kdaj je avtomatizirano odločanje dovoljeno, vendar je ta člen kot švicarski sir – na splošno prepoveduje tovrstno profiliranje, a dopušča veliko izjem. »Avtomatizirano odločanje je možno, če je to nujno za sklenitev pogodbe, če to izrecno dovoljuje pravo EU ali če je oseba v to privolila,« razlaga raziskovalka. Se pa postavlja vprašanje, do katere mere mora tisti, ki osebne podatke obdeluje, zagotoviti razlago osebi, ki bo deležna avtomatiziranega odločanja, saj to vsebuje tudi profiliranje. Dodaja, da obseg pravice do razlage po uredbi še ni jasno določen, vsekakor pa je iz tega razbrati, da mora biti algoritem pregleden.

V EU se avtomatizirano odločanje v sodstvu, ki v ZDA buri duhove, še ne uporablja, pravi Brkanova, ga pa uporabljajo nekatere odvetniške pisarne. Tako je bilo pri neki raziskavi o sodbah evropskega sodišča za človekove pravice, kjer je algoritem na podlagi nabora prejšnjih odločitev dejansko pravilno napovedal izid. »Algoritem, ki so ga uporabili v tem primeru, se uči iz celotne vsebine dosedanjih odločitev evropskega sodišča. Zajeli so besede in izraze, ki so jih sodniki uporabili v odločbah,« pojasnjuje Brkanova.

Ne zamenjava, ampak pomoč sodnikom

Mnoge, za zdaj predvsem na drugi strani Atlantika, skrbi, da bodo računalniški algoritmi prevzeli odločanje v kazenskopravnem sistemu. Razvijalci programov sicer poudarjajo, da algoritmov niso ustvarili za zamenjavo sodnikov, ampak so tem le v pomoč. Leskovec po eni strani strah razume, jasno mu je tudi, da smo do takih sistemov nezaupljivi, »zato je naloga razvijalcev, da razvijejo tako dobre metode, da bodo pomagale sodnikom pri sprejemanju boljših odločitev«. Ortodoksni nasprotniki se s tem ne strinjajo. Zagovarjajo stališče, da morajo kazenske odločitve ostati v domeni človeka.

To tezo zagovarja tudi Maja Brkan. Upa, da algoritmi ne bodo nadomestili sodnikov, saj »pravo ni matematika« in odločitev »mora biti pravična«. Stroju ali algoritmu manjka človeški dejavnik v takih primerih. A če bodo algoritmi dejansko pomočniki, bi »sodniki morali vedeti, kako je algoritem zasnovan, saj lahko le tako sprejmejo objektivno odločitev. Poznavanje delovanja algoritma je nujno tudi, ker lahko na podlagi tega sprejmejo drugačno odločitev od algoritma«, poudarja Brkanova.

Vsekakor si ne moremo zatiskati oči. Tehnološki pospeški so iz leta v leto hitrejši in morda bomo kmalu dočakali dan, ko se bo zgodil prehod. Da bo (tudi) zaradi napredka tehnologije in sistemov umetne inteligence justicia čez desetletje ali dve gotovo zelo drugačna, kot jo poznamo danes, se zaveda tudi Klemenčič. »Tega se ni treba bati, če bomo razumeli, da morajo nekatere stvari vedno ostati v domeni človeškega sodnika in razsodnika,« pravi. Pri vseh spremembah, ki smo jim priča, ne smemo izgubiti kompasa, poudarja Leskovec: »Orodja gradimo zato, da nam pomagajo. Končne odločitve in odgovornost pa so naloga sodnikov. Kolo je bilo orodje, kladivo tudi. Prav tako je orodje umetna inteligenca. Resda se s kladivom lahko udarimo po prstu, in morda se izumitelj tudi je, a so to tudi orodja, ki nam pomagajo bolje živeti.«