Ključne besede: UI sodišče, Pravica do človeškega sodnika, robotski sodnik, Umetna inteligenca, pravo, Umetna inteligenca na sodišču, pravosodje, AI
Umetna inteligenca (UI) spreminja družbene odnose. O tem čivkajo že vrabci. V pričujočem pisanju ne čivkam. Nasprotno, spomnim, da se pravniki z UI srečujemo že desetletja; figurativno, če že ne drugače. Številna dela znanstvene fantastike namreč rišejo podobo družbe, kjer UI tako ali drugače vpliva na (če že ne obvladuje) družbo. Res je sicer, da je vloga pravnikov v teh delih obravnavana le robno,[1] a nemara dovolj, da lahko določena spoznanja o odnosu med pravom in UI črpamo iz takšnih, dasiravno fiktivnih zgodb. Pravo nenazadnje nastaja kot odziv na zgodbe in ko se ne moremo opreti na resnične zgodbe, skratka tedaj, ko neke odnose urejamo v naprej (iz preventive), črpamo iz fiktivnih zgodb. Z drugimi besedami, predvidevamo, kaj bi se lahko zgodilo; kaj bi lahko šlo po zlu. V naših predvidevanjih snujemo hipotetične scenarije. Prav tukaj nam zgodbe iz znanstvene fantastike (ZF) olajšajo delo.
Pomen ZF za pravnika poskušam ponazoriti v nadaljevanju, ko se osredotočam na »pravico do človeškega sodnika« oziroma na motiv posameznika, ki svoje pravice uveljavlja v kolesju UI-vodenega pravosodja. Gre za temo, ki me v časovnih presledkih raziskovalno vselej znova pritegne[2] in za temo, ki bi še nedolgo tega veljala za dokaj hardcore ZF. Naglasiti moram, da so le redke ZF zgodbe osredotočene na omenjeni motiv. Upam si trditi, da najbolj znana in popularna dela ZF, ki raziskujejo odnos med človeštvom in UI, obravnavajo bodisi motiv sožitja in vojne (npr. Terminator; Matrica; Battlestar Galactica), bodisi motive kot so avtonomija, evolucija in osebnost UI (npr. Ali androidi sanjajo o električnih ovcah; Detroit: Become Human; ST TNG: The measure of a man). Zato spodaj osvetljujem nekatere redke primere, kjer v ospredje stopi odnos med človekom kot subjektom in UI kot odločevalcem v pravosodju.
Nova tehnologija = nova pravna kategorija
Vsakič, ko se pojavi »disruptivna« tehnologija, obstaja bojazen, da pravo na izzive spremenjenih ali novonastalih odnosov ni pripravljeno. Ko je pravo pozvano, da reši konflikt, ki ga je porodila nova stvarnost, je prvi odziv ta, da se konflikt poskuša podrediti neki obstoječi kategoriji. To pogosto vodi do analogne uporabe pravil, ki v konkretnih primerih ni učinkovita metoda zapolnjevanja pravnih praznin in vodi do nezadovoljivih rešitev. Tako so na primer sodišča v ZDA ob pojavu telegrafa odgovornost upravljavcev telegrafskih omrežij ponesrečeno presojala po odgovornosti upravljavcev železniškega omrežja kot analogni ekvivalent distančne dostave.[3] Regulacija telefonije in kasneje interneta je naletela na podobne težave. Reševanje sporov s podrejanjem nastalega konflikta v obstoječe kategorije je zato v primeru disruptivnih tehnologij pogosto zgrešeno.[4] Povsem logično je, da tehnološki razvoj prehiteva pravnega, in da pravo nastaja kot odziv na že nastale konflikte. Da pa to obdobje »vakuuma« ne traja predolgo oziroma, da bi vsaj filozofsko podstat bodoče ureditve oblikovali hitreje, je namesto obstoječih konfliktov možno uporabiti fiktivne stvaritve človekove ustvarjalnosti. Ničkolikokrat je določena tehnologija v znanstveni fantastiki že utečena in v kontekstu tega fantastičnega sveta tudi pravno regulirana. Na misel mi najprej padejo »Trije zakoni robotike«, kakor jih je definiral slavni pisec Isaac Asimov v delu »Jaz, Robot« iz davnega leta 1942. Ti zakoni, ki (če jedrnato povzamemo)[5] prepovedujejo robotom škodovati človeku, so desetletja služili razvoju misli o regulaciji avtonomnih sistemov. Res je sicer, da se moderna regulacija ne poslužuje trdnih zapovedi, kakor jih je oblikoval Asimov: tako na primer Akt o UI zastavlja regulacijo UI sistemov na konceptu različnih ravni tveganj – a to ne pomeni, da trije zakoni robotike niso vplivali (oz. ne vplivajo) na razvoj regulacije. Trije zakoni predstavljajo posredni vpliv, ki ga opazimo npr. v kodeksih etične uporabe in razvoja UI,[6] služijo pa tudi kot podlaga za avtonomno regulacijo (tako na primer Google za razvoj DeepMind uporablja »robotsko ustavo«,[7] ki je kodificirana na podlagi Asimovih zakonov – ta v prvem pravilu zapoveduje, da robot ne sme poškodovati človeka).
UI sodnik kot nova tehnologija
Množična dostopnost LLM modelov je spodbudila pravosodne sisteme po vsem svetu k vpeljavi UI sistemov (ne samo LLM-ov) v sodne dvorane. Stopnja integracije UI sistemov v delo sodišč in drugih organov se razlikuje od države do države, nikjer pa (po mojem vedenju) še ni prišlo do popolne integracije (nadomeščanja človeških sodnikov). Kljub temu pilotni projekti in stopnjevanje integracije vodita k vprašanju, ali in zakaj vpeljati UI sodnike? Takšni »UI sodniki« niso imenovani po kvalificiranih postopkih, ki bi zagotavljali demokratično poveritev in delitev oblasti in ne odločajo na podlagi človeških miselnih postopkov (npr. tistega, kar je življenjsko izkustveno sprejemljivo). Koncept UI sodnika celovito zamaje temelje pravice do sodnega varstva in pravice do dostojanstva.
In če že vpeljati UI sodnika – katera obstoječa pravila uporabiti za regulacijo dela UI sodnikov in/ali kreirati nova pravila, ker gre za novo pravno kategorijo? In obratno, če ne vpeljati – ali postaviti pravila, ki potem takem prepovedujejo vpeljavo UI sodnikov, že zaradi abstraktne nevarnosti, ki jo ti predstavljajo za erozijo človeške avtonomije in za vrednote na katerih temelji pravosodni sistem?
- Primer
The Cyber and Justice Holmes
Leta 1955 je ameriški pisatelj Frank Riley objavil kratko ZF pripoved »The Cyber and Justice Holmes«. Površinsko gledano gre za futuristično pripoved o tehnološkem napredku, globlji preudarek pa razkrije, da leži osrednji motiv zgodbe v razkrivanju človekove vloge kot nenadomestljive pri sojenju.
Zgodba se odvija v bližnji prihodnosti, v kateri je pravni sistem popolnoma avtomatiziran. Ljudje so cedirali sojenje robotom, t. i. »Cyber-jem«, UI sodnikom, ki naj bi odločali popolnoma objektivno, brez čustev, utrujenosti ali pristranskosti. Sodnik Walhfred Anderson je zadnji človeški sodnik, ki ga čaka upokojitev; zamenjal ga bo še en v vrsti Cyber-jev. Svet ga vidi kot ostanek preteklosti, to je kot simbol nepopolnosti, ki ga bo zdaj zamenjala popolna umetna inteligenca.
Kot še zadnja zadeva, Andersonu pripade sojenje v primeru profesorja Neustadta. Slednji je ugledni znanstvenik, ki trdi, da stroj nikoli ne more razumeti (in nadomestiti) človeka. Ko ga posledično obtožijo »žalitve« sistema Cyber, Neustadt predlaga preizkus oziroma soočenje. Človek in stroj naj se v sodni dvorani pomerita v iskanju resnice. Sprva deluje preizkus kot merjenje moči med razumom in algoritmom, v resnici pa med dušo in mehaniko. Med navzkrižnim zaslišanjem profesor Cyber-ju zastavi eno samo vprašanje: »Kakšne so razsežnosti sanj?« (ang. What are the magnitudes of a dream?). Cyber začne računati, analizirati, povezovati podatke… in nato zamrzne. Na to vprašanje vendar ni mogoče odgovoriti z logiko. Sanj namreč ni mogoče meriti, tehtati ali izračunati.
Sodnik Anderson v tem trenutku pogleda portret znanega vrhovnega sodnika Oliverja Wendella Holmesa, ki visi na steni dvorane. Profesor pojasni, da Cyber ne more podati odgovora, ker Cyber ne zmore sanjati. Sanjajo ljudje; sanje so vodile Da Vincija, Galileja, Kopernika… Sodnik je njegov argument sprejel in ga prenesel na pravo. Razumeti in uporabljati pravo ni zgolj črkobralstvo in pravo niso zgolj zapisi. Obstaja črka zakona in obstaja duh zakona; in prav ta duh oziroma duša zakona so sanje.[8] Prvo razume Cyber, drugo pač ne.
Sodnik Anderson je zavrnil tožbeni zahtevek in pomežikne portretu Holmesa.
Čeprav Riley v zgodbi tega nikoli izrecno ne izpostavi, je Andersonov odnos s Holmesom alegoričen. Holmes je namreč (med drugim) znan po reku »Življenje prava ni bila logika, temveč izkušnja« (The life of the law has not been logic; it has been experience). To ni le citat, ampak Andersonova sodba; spoznanje, da je pravica več kot pravila in podatki. Je tudi razumevanje, sočutje in človeška presoja.
- Primer
Minority report (Posebno poročilo)
Film Minorty nosi bistveno novejšo letnico produkcije kot Cyber in Justice Holmes (2002), vendar sloni na istoimenski noveli Phillip K. Dicka iz leta 1956. V bližnji prihodnosti se ameriška vlada poslužuje t.i. precog-ov za napovedovanje kaznivih dejanj. Gre za jasnovide posameznike, ki preko impresij v spremenjenem psihofizičnem stanju predvidijo kazniva dejanja še preden se zgodijo, »bodoče« kriminalce pa policija v naprej aretira.
Film pokaže, kako lahko zanašanje na algoritmične ali »preroške« sisteme, ki naj bi napovedovali prihodnja kazniva dejanja, vodi v erozijo človekovih pravic in svoboščin, saj sistem ljudi kaznuje na podlagi statistične verjetnosti in ne na podlagi izvedenega dejanja. Podobno kot lahko sistem UI-sojenja, ki sloni na statistični verjetnosti spodkopava domnevo nedolžnosti, pravico do obrambe ter človeško presojo, ki varuje pred mehanično represijo.
Film je distopično opozorilo. Razkriva, da »popolna napoved/predikcija« kaznivega dejanja pomeni nadvlado sistema, ki ne razume konteksta, dvoma ali človeške ranljivosti. Slednje je utemeljeno tudi v razumevanja sveta, ki ni predeterminiran. Navedeno predstavlja enega ključnih razlogov, ki v sodobnem diskurzu utemeljuje prepoved ali strogo omejevanje algoritemskega sojenja. Izogniti se želimo ureditvi, kjer bi ljudem bilo sojeno zaradi modelskih predikativnih napovedi, ki jih nihče ne more v celoti nadzorovati ali izpodbijati.
- Primer
Star trek (OS): Court Marshall
Epizoda iz prvotne (TOS) serije Zvezdnih Stez »Court Martial« (vojaško sodišče) razkrije, kako nevarno je slepo zaupanje računalniškim zapisom, saj je kapitan Kirk razglašen za krivega na podlagi “neizpodbitnih” digitalnih dokazov, ki se kasneje izkažejo za potvorjene. Zadevni scenarij poudarja, zakaj bi morala biti UI-sojenja omejena in regulirana, saj lahko avtomatizirani sistemi ustvarijo privid objektivnosti, ne da bi zagotavljali resnično preverljivost ali razumevanje konteksta vsakokratnega primera. Zgodba nadalje izpostavlja, da se stroj ne ukvarja z zloveščimi motivi ali subtilnimi človeškimi dejavniki, ki bi narekovali dvom v (domnevno objektivno) danost.
Čeprav v epizodi sodi človeški sodnik, ta ni pripravljen dvomiti v ugotovitve računalnika oziroma digitalnega dokaza. Epizoda torej (posredno) odpira vprašanje pretiranega zanašanja na UI odločitve kot pravilne in zakonite. V ožjem (neposrednem) smislu gre seveda za vprašanje proste presoje dokazov in verodostojnosti digitalnih dokazov.
Sklepno: Berimo, glejmo in igrajmo
Vsi navedeni primeri nazorno slikajo nevarnosti UI v pravosodju, ki so se v današnjem času že uresničile ali pretijo, da se bodo. Najbolj jasno je to s filmom Minority Report in kaznovanjem, ki temelji na profiliranju posameznikov. Izkušnje s sistemom COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), ki se v ZDA uporablja za odmerjanje kazni in ugotavljanje ponovitvene nevarnosti, kažejo, da ti sistemi lahko diskriminirajo zoper določene manjšine oziroma skupine ljudi, preprosto zaradi vhodnih podatkov, ki so že sami po sebi diskriminatorni. To vprašanje je tesno povezano s kakovostjo vhodnih podatkov, ki se uporabljajo za učenje UI sistemov; kar je v končni fazi povezano s problemom »black-box« oziroma (ne)razumevanjem tega, kako UI sistem pride do odločitve (weights and biases).
V podobnem smislu nam epizoda iz Zvezdnih stez naslika nevarnosti pretiranega (slepega) zanašanja na algoritemsko odločanje. Nenazadnje, kakšen smisel ima več-instančno sojenje v pravosodju, ki temelji na »nezmotljivem« sodniku? Če smo cinični; bo en avtonomni sistem odločil na prvi instanci, drug avtonomni sistem bo napisal pritožbo, tretji avtonomni sistem pa odločil? Vse skupaj govori v prid utilitarističnemu pristopu – UI je orodje, ki ga uporabljajo človeški deležniki v postopku (sredstvo za dosego cilja), ne nadomešča pa teh deležnikov.
Slednje nas privede do The Cyber and Justice Holmes. Ta zgodba iz 50ih let preteklega stoletja cilja v samo srčico pomena sodniške funkcije. Biološke in socialne lastnosti človeka so nujno povezane s pravico do sodnega varstva in do varovanja človeškega dostojanstva.
Prav ta človeška razsežnost je tisto, kar sodniško odločanje loči od zgolj mehanske optimizacije izida sojenja. Sojenje ni (in ne sme biti) kvečjemu izračun verjetnosti ali statistična napoved vedenja, temveč miselno dejanje, ki zahteva razumevanje konteksta, vrednot, življenjskih okoliščin in (v končni fazi) odgovornosti za odločitev. UI lahko pri tem pomaga, a ne more prevzeti moralne in pravne teže (odgovornosti) sodniške funkcije. Človek nikoli ne sme postati zgolj objekt presoje.
V tem smislu je pomemben tudi zakonodajni odgovor Evropske unije, zlasti Akt o umetni inteligenci (AI Act).[9] Ta izrecno prepoznava UI sisteme, ki se uporabljajo v pravosodju in kazenskih postopkih, kot visoko tvegane sisteme, za katere veljajo strogi pogoji glede kakovosti podatkov, preglednosti, sledljivosti, človeškega nadzora in odgovornosti.[10] Akt o UI ne prepoveduje uporabe UI v pravosodju, vendar jasno postavlja mejo: UI ne sme nadomestiti človeka pri sprejemanju končnih odločitev. Gre za prepovedno normo iz katere je mogoče prepoznati korelat pravice do človeškega sodnika. Kljub temu se zastavlja vprašanje »kaj pomeni končno odločanje?« in zakaj pravice ne izrecno zapisati?
Zaključek mora zato biti jasen. Tehnološki napredek sam po sebi ni problem; problem nastane, ko novi tehnologiji pripišemo avtoriteto, ki presega njeno funkcijo. Uredba o UI potrjuje utilitaristični pristop: UI je sredstvo, ne cilj. V pravosodju pa mora cilj ostati varstvo človekovega dostojanstva, pravne varnosti in zaupanja v pravo – vrednote, ki jih v celoti lahko oblikuje in uresničuje le človek.
ZF ni zgolj zabava, temveč miselni eksperiment. ZF omogoča simulacijo izkušenj, ki jih v realnem svetu še nimamo – od regulacije genetskega inženiringa do UI sodnikov. Fiktivni scenariji nam dajejo “izkušnjo”, kjer osebne izkušnje odpovedo.[11] Seveda nas ZF ne uči prava, lahko pa pri pravnikih vzbudi tisto čemur pogovorno pravimo pravniška intuicija. Wigmore je že leta 1908 trdil, da mora pravnik iskati v literaturi tisto, česar ne more zajeti lastna omejena izkušnja.[12] Tehnologija bo napredovala, pravo pa mora ostati človeško. ZF nas uči, da je vprašanje prihodnosti prava vedno vprašanje prihodnosti človeka.
—————
[1] Protagonisti v ZF zgodbah so skoraj izključno pravni laiki. Prav tako smo sila redko priča poglobljenim pravnim argumentom, še redkeje pa seznanjeni s podrobnostmi zakonov, ki veljajo v posamičnih ZF svetovih. Kot svojevrsten eksperiment je strokovna in znanstvena revija Internet Policy Review pred leti izdala posebno številko namenjeno ZF zgodbam, ki se osredotočajo na pravnike ali na poglobljena pravna vprašanja bližnje prihodnost (izzivom, ki jih prinaša blockchain tehnologija, UI, GDPR itd.). Napovednik (in povezave do zgodb) na: https://policyreview.info/scifi-infolaw.
[2] S pravnega vidika sem pravico do človeškega sodnika obravnaval v prispevku “Izbrani vidiki uporabe umetne inteligence v sodnih postopkih” (prispevek je dostopen na: https://press.um.si/index.php/ump/catalog/book/1071/chapter/920)
[3] Parks v. Alta Cal. Telegraph Co., 13 Cal. 422 (Cal. 1859).
[4] Mandel Gregory, History Lessons for a General Theory of Law and Technology, Minnesota Journal of Law, Science & Technology 8(2).
[5] 1. Robot človeka ne sme poškodovati oziroma s svojim nedelovanjem dopustiti, da bi se človek poškodoval. 2. Robot mora ubogati ukaze, razen če so v nasprotju s prvim zakonom. 3.Robot mora zaščititi sebe, razen če je to v nasprotju s prvima zakonoma.
[6] Npr. načela robotike EPCHRS: https://webarchive.nationalarchives.gov.uk/ukgwa/20210701125353/https://epsrc.ukri.org/research/ourportfolio/themes/engineering/activities/principlesofrobotics/.
[7] https://deepmind.google/blog/shaping-the-future-of-advanced-robotics/.
[8] “There was the letter of the law, and there was the spirit, and the spirit was the dream.”
[9] Uredba (EU) 2024/1689 Evropskega parlamenta in Sveta z dne 13. junija 2024 o določitvi harmoniziranih pravil o umetni inteligenci in spremembi uredb (ES) št. 300/2008, (EU) št. 167/2013, (EU) št. 168/2013, (EU) 2018/858, (EU) 2018/1139 in (EU) 2019/2144 ter direktiv 2014/90/EU, (EU) 2016/797 in (EU) 2020/1828 (Akt o umetni inteligenci).
[10] Zakonodaja torej ni šla v smeri »trdokodnih« pravil kot so npr. Asimovi zakoni. Pristop evropskega zakonodajalca trenutno pušča veliko manevrskega prostora za postopni razvoj meja dopustnosti, ob upoštevanju previdnostnega načela.
[11] Jorge Contreras, Science Fiction and the Law: A New Wigmorian Bibliography, Utah Law Digital Commons, str. 7.
[12] Science Fiction and the Law: A New Wigmorian Bibliography, str. 2.
Uporabljene slike:
1. Zvezdne Steze (zajem zaslona)
Vir: Star Trek: The Original Series (TV nanizanka), ustvaril Gene Roddenberry, produkcijska hiša: Desilu Productions / Paramount Television, 1966–1969.
© Paramount Pictures / CBS Studios.
2. Minority Report (zajem zaslona)
Vir: Minority Report (film), režiral Steven Spielberg, produkcijska hiša: DreamWorks Pictures in 20th Century Fox, 2002.
© 2002 Twentieth Century Fox Film Corporation.
3. The Cyber and Justice Holmes (ilustracija)
Vir: Ilustracija iz novele The Cyber and Justice Holmes.
Avtor: Frank Riley, The Cyber and Justice Holmes. Ilustrator: Paul Orban