Včasih je slabo biti star bel moški

»Kar počnejo vodilna podjetja na področju umetne inteligence, je perverzno, polno zavajanja in manipulacije,« pravi dr. Ivan Bratko, profesor na Fakulteti za računalništvo in informatiko Univerze v Ljubljani, ki je do leta 2002 vodil tudi Odsek za inteligentne sisteme na Inštitutu Jožef Stefan.

Sogovornik je argumentirano kritičen tudi do tehnološkega modnega trenda, ki sliši na ime nevronske mreže, saj da ta vrsta strojnega učenja producira nerazumljive rezultate. Bližje mu je razložljiva umetna inteligenca, kjer lahko enostavno prideš do razlage o tem, na čemer temelji sklep. Tega so zmožne nekatere druge metode strojnega učenja. Teorija singularnosti se mu zdi nesmiselna.

Kako ocenjujete umeščenost Sloveniji v raziskovalni in poslovni prostor znotraj področja umetne inteligence?

Slovenija ohranja prestižen status zaradi tradicije raziskovanja umetne inteligence. Imamo ogromno število mednarodnih projektov, v katerih sodelujemo, sposobni smo pridobivati tudi lastne evropske projekte, s tem pa k nam prihaja kar nekaj raziskovalnega denarja. Ne vem, če veste, ampak Slovenija ima največ doktorjev s področja umetna inteligenca na prebivalca.
Imamo vrsto podjetij, ki delajo na področju umetne inteligence, so sicer majhna, tako po kapitalu in številu ljudi, ampak mnoga izmed njih izvažajo po vsem svetu. Če naštejem nekaj izmed njih; Qlector, ki proizvaja rešitve za pametne tovarne, Marko Grobelnik z IJS ima podatek, da so v proizvodnji s strojnim učenjem prihranili že med 15 do 20 odstotkov stroškov, Kolektor orodjarna, ki se ukvarja s strojnim vidom, potem imamo Solvesall, ki se ukvarja z pametnimi rešitvami za avto dom, Eventregistry, ki se ukvarja z medijsko analitiko, Klika, ki jo je kupil švicarski Sportaradar, Alpineon, ki se ukvarja z govornimi tehnologijami, Ektimo, Celtra, Zemanta, Genialis itd.

V Sloveniji imamo pa tudi veliko število inovacij.

Po številu ja, po implementaciji pa ne. Večina teh inovacij je neuporabljenih, brez učinka.

Status Slovenije na področju UI je prestižen zagotovo tudi zato, ker vaša knjiga Prolog in umetna inteligenca velja za najboljšo in tudi najbolj prodajano knjigo o programiranju jezika za dokazovanje izrekov. Torej bi lahko rekli, da vi učite strokovnjake po vsem svetu, kako spisati programe, ki jim rečemo umetna inteligenca?

Hvala, zelo prijazno od vas. Res sem naučil kar nekaj ljudi implementiranja logičnega sklepanja na računalnikih. A logično sklepanje oz. sklepanje, ki je podobno logiki, je le ena izmed komponent umetne inteligence. Kot nasprotje logičnega sklepanja so nevronske mreže, ki so nerazložljive.

Lahko to nerazložljivost malo razložite?

Guru umetne inteligence, Yann LeCun, je imel pred letom dni predavanje, ki ga je otvoril s pripovedovanjem o bolečinah, zakaj so bile leta 1995 nevronske mreže kar naenkrat pozabljene od vsega sveta in kako so danes spet postale popularne. Po naštevanju nagrad na tekmovanjih, ki so jih osvojili programi temelječi na njih, pa je tudi priznal, da niso dobre za vse. Dobre pa niso pri logičnem sklepanju. Nevronske mreže zato niso koristne za programiranje asistentov, saj iščejo vzorce, te pa je težko povezati v verigo logičnih sklepov. Razvpit spodrsljaj je, da je nevronska mreža na sliki zamenjala pando za gibona. Alarmantno pri tem primeru je, da je bila nevronska mreža skoraj 100 odstotno prepričana, da je na sliki gibon, pri čemer je bilo vsakemu človeku jasno, da je to panda. Novejši primer je, da se je nevronska mreže zelo dobro naučila razpoznavati šolske avtobuse, a ko so v program vstavili sliko črnih in rumenih lis, je mreže to sliko prepoznala kot šolski avtobus. Niti tega ne razume, da je avtobus najprej vozilo, ki mora imeti kolesa, okna, vrata. Zato so mi ljubše druge metode strojnega učenja, ki omogočajo razlago, posebej če aplikacija zahteva tudi sklepanje po zdravi pameti.

Nevronske mreže se zdijo kot laboratorij za igranje.

V mnogih primerih so osupljivo uspešne, ampak problem je, če so uporabljene v varnostno občutljivih aplikacijah. Programi se zanašajo na nevronske mreže, temu verjamejo in to uporabljajo. Še en primer. Mrežo so naučili prepoznavanja prometnih znakov. En primer je znak stop. Tako neumno se je tega naučila, da je neopazno spremenjeni znak stop prepoznala kot omejitev hitrosti vožnje na 50milj/uro. Noben človek ne bi niti pomislil, da to ni stop, na njem je jasno pisalo STOP. To je za avtonomno vožnjo zelo problematično.

Kako pogoste so napake v uporabi aplikacij?

Recimo v primeru šolskega avtobusa so umetno generirali to sliko z lisami. Res je, da je malo verjetno, da bi ta slika sama prišla v nevronsko mrežo iz realnega življenja. Ampak lahko pa pride do sabotaže in tako lahko nekdo zelo hitro zaveda samo vozeči avtomobil. Kako? Zelo lahko, na prometni znak stop nalepi nalepko v velikosti žvečilnega gumija in to nevronsko mrežo tako zmede, da znak prepozna kot nekaj drugega.

Se to lahko kako prepreči?

Zelo težko. Zdaj vedo, kaj je problem, enostavne rešitve pa še ni. Takšne aplikacije pa so v uporabi že marsikje. Je pa res tudi, da je za večino aplikacij popolnoma nepomembno, če se kdaj zmotijo, recimo, ko predlagajo glasbo, filme, takrat ni nobene škode, če se zmoti. Popolnoma drugače je v zdravstvu, navigaciji, satelitih itd.
Zanimiva je zgodba, ko so z nevronskimi mrežami želeli prepoznavati homoseksualnost iz obraza osebe. Mreža se je iz fotografij naučila presenetljivo točno prepoznati spolno usmerjenost in raziskovalci so potem iz tega potegnili različne interpretacije, kot recimo o značilnih bradah pri homoseksualni usmerjenosti. A čez čas se je ugotovilo, da se je mreža učila na fotografijah homoseksualcev, ki so bile objavljene na spletu, te pa so bile vse posnete v klubih. Mreža se je zato učila iz okolja, konteksta, ne pa obrazov.

Da ne bo pomote, nevronske mreže so lahko tudi zelo koristne. Na primer s pomočjo nevronskih mrež lahko danes prepoznamo nevarna kožna znamenja na slikah, tako lahko dokaj natančno povedo, kdo je rizičen, ne morejo pa povedati, zakaj tako menijo … Lahko se tudi zmoti, takrat je težko ugotoviti zakaj se je zmotila in ali ima mogoče vseeno prav.

Mogoče zazna nekaj kar človek ne?

To zagotovo zazna, problem je, da tega ne zna povedati. Pove le, da nekaj je. Dobro bi bilo, da bi to znala.

Kako daleč smo od tega?

Smo že tu. Druge metode strojnega učenja to znajo. Jaz sem se vedno ukvarjal z njimi. Gre za razložljivo umetno inteligenco. Na primer strojno učenje odločitvenih dreves. Žal so jih nevronske mreže spravile iz mode in zasenčile vse drugo. Ampak glede na to, da imajo nevronske mreže inherentne probleme, kar je omenil tudi LeCun, se stroka zaveda, da potrebujemo neke druge rešitve. Logičen razvoj bi bil, da bodo začeli brati, kar dela naša veja. A tega verjetno ne bodo, saj je zaverovanost v svoje delo, v človeški naravi. Videli bodo, oz. že vidijo, da potrebujejo tudi logično sklepanje in potem bodo namesto, da bi pogledali obstoječe metode, začeli razvijati nove. Predsednica evropske komisije Ursula von der Leyen je tudi dejala, da potrebujemo razložljivo UI, torej to zagotovo ni tista z nevronskimi mrežami, ampak takšna, pri kateri lahko pogledamo tudi za nazaj, z verigo kakšnih sklepov je prišlo do rezultata. Mogoče bi to lahko bila kakšna kombinacija nevronskih mrež in logičnega sklepanja.
Omenil bi še preveliko obsedenost z big data. Na nekaterih področjih uporabe strojnega učenja, recimo v medicini, v naravi ne najdemo veliko primerov določene bolezni, zato se moramo naučiti tudi le na podlagi stotih, ali pa tudi samo enega. Tehnologija umetne inteligence, ki je sedaj v trendu, je slaba za »small data«. Zato ni prav, da govorimo, da nič drugega kot le veliki podatki predstavlja vrednost.

Poleg tega, da nam prilagojeni brskalniki preprečuje stik z vsebinami, ki nas morda ne zanimajo, a so za nas koristne in bi nam odprle novo polje, pa nas lahko možnost, ko bomo lahko recimo sami snovali personalizirano umetnost, ali spreminjali igralce v filmih, če nam ne bodo všeč, pretirano ščiti pred slabo izkušnjo. Tudi slaba izkušnja, nestrinjanje in upor sta del oblikovanja zdrave zavesti, razmišljujočega uma. Če živiš v svetu, kjer je vse le po tvoje in tvojem okusu, to po mojem mnenju ne more biti intelektualno zdravo?

To ste zelo dobro povzeli. En moj kolega na fakulteti včasih provocira in tudi on je enkrat postavil tezo, da nas sistem vodi izven realnosti in nas s tem zavaja. Med tem, ko je večina to obsojala, pa jeon, ki morda le provicira s tem, dejal: Ste prepričani, da ne bi radi živeli v svetu, kjer je vse lepo in prav ter po vašem okusu.

Morda je provociral kot pravite, morda pa ne, ker ko razmišljamo o problemu na splošno, najdemo moralno pravilno držo, a ko se nam ponudi piložnost za lagodje, je tudi ne izpustimo radi.

Gre za fantasično prikladne žrtve kapitalizma. Zelo lahko jih je zmanipulirati za vse, tudi volitve. Tisti, ki bo imel boljši računalnik, bo manipuliral te zgubljene ljudi.

Veliko bolj smo izobraženi kot pred 50. leti, pa smo vedno pogosteje žrtve manipulirnaja. Kaj smo storili narobe?

Kdo pa danes uči koga nevarnosti interneta? Vzgojni sistem je postavljen čisto narobe. Jaz ne vem, kdaj je moj računalnik ogrožen. Na fakulteti smo danes dobili vabilo na seminar o tem, kako ugotoviti napad na računalnik in kako pravilno reagirtai. Traja pol dneva, a stane zelo veliko. To bi morali imeti vsi državljani brezplačno. To bi morala biti osnova. Izobraževanje je takšno kot pred 30 leti, kot da se s prihodom računalništva in interneta ni nič spremenilo. Marsičesa se ni bi bilo treba več učiti.

Česa se ne bi potebovali več učiti v šolah?

Pred nekaj leti smo recimo ugotovljali, da je računalništvo v osnovnih in srednjih šolah takšno kot pred 35. leti. Takrat, pred toliko in več leti je Slovenija veljala za zelo napredno, a od takrat se število ur za računalništov ni spremenilo, vsebina pa se je spremenila malo in še to na slabše. Namesto principov računalništva se sedaj učijo excela in spletnih strani. To je sicer koristno, ampak osnovno logiko računalništva bi se tudi morali učiti, aplikacije pa bi morali osvojiti sproti kot orodja pri drugih predmetih. Informacjsko računalniško izobraževanje v mnogih evropskih državah ni dobro, kažejo študije, vsi so zelo nesrečni zaradi neprimernih učnih načrtov. V Angliji je akademija znanosti naredila študijo in nemogoče se je ne strinjati z njihovimi priporočili. Tudi pri nas je bila taka študija narejena s podobnimi pripročili, a je vlada ni (u)slišala. Kot je nekoč dejal nek avstralski politik, pa je lažje prestaviti pokopališče kot pa spremeniti šolski program.

Toda, Slovenija je tako majhna, da bi lahko v eni dvorani zbrali vse ravnatelje in se uskladili o novem kurikulumu …

Nekdanja ministrica je dejala, da vse to razume, a če želi dodati učno uro, jo mora nekje vzeti. Ja saj zato pa ste ministri, da nekaj daste in drugje vzamete. Noben si ne upa nikomur nič vzeti.

Kaj pa bi vi vzeli?

Razmišljam na primer, da nekatere zahtevne metode v matematiki morda za prakso danes niso več tako potrebne kot nekoč, saj jih učinkovito nadomeščajo računalniška orodja. Seveda pa je še vedno potrebno dobro razumevanje matematičnih osnov in principov ter logičnega sklepanja. Tudi je matematika zelo koristna iz splošno vzgojnega vidika tako kot igra, saj razvija logično razmišljanje, disciplinirano razmišljanje. Toda te vidike spodbuja tudi računalništvo, morda bi lahko razmišljali o kombinaciji pouka matematike in računalništva. Gotovo pa so še druge možnosti. Dejstvo je, da bo nekje treba vzeti, ker si delamo ogromno škodo z ohranjanjem nespremenjenega stanja.

Zakaj ne verjamete v točko singularnosti?

Kaj v resnici pomeni prekositi človeško inteligenco? Inteligenco sestavlja ogromno komponent, logično, vizualno, prostorsko, glasbeno itd, in pri nekaterih so računalniki že sedaj boljši od človeka, pri nekaterih pa verjetno ne bodo nikoli. Smešno je tudi to, da človek niti ne bo vedel, kdaj bo točka singularnosti dosežena, če bi bilo to mogoče.

Ste tudi sopodpisnik javnega apela, namenjena vladam in zakonodajalcem po svetu, kjer ste opozorili, da če ne bomo uredili zakonodaje se nam lahko zgodi ne prevlada stroja proti človeku, kar se zdi zaenkrat še nerealno, ampak, da se bomo čudili, da nam je AI ušla izpod nadzora. Katere realne posledice bi morali torej zakonodajalci preprečiti?

Sem sopodpisnik več apelov. Najbolj se rad spominjam odprtega pisma, ki nas ga je 50 raziskovalcev pred enim letom naslovilo na direktorja korejskega instituta KAIST. Zelo prestižnega in znanega instituta v Južni Koreji. Takrat so se v medijih pojavile novice, da namerava KAIST razvijati avtonomna orožja za neko korejsko orožarsko industrijo. V pismu smo poudarili skrb nad tako uporabo umetne inteligence in zagrozili, da bomo, če se to zgodi, v bodoče bojkotirali njegovo institucijo. Naša grožnja ni mogla iti dlje od tega, da nihče od podpisnikov pisma ne bo obiskal KAIST ali pa sodeloval z njim v mednarodnih raziskovalnih projektih. Vendar smo že naslednji dan dobili od direktorja pismo, v katerem je zagotovil, da KAIST ne bo razvijal ubijalskih avtonomnih orožij. O tem dogodku so poročali najbolj znani mediji po svetu.
Žal se bojim, da ni tako daleč, ko se bomo zavedli, da nam je UI ušla izpod nadzora. Pravzaprav ni jasno, ali nam v nekaterih aplikacijah ni že ušla. Npr. ameriške volitve in referendum Brexit so zelo vprašljive v luči vpliva na volivce prek interneta z uporabo osebnih podatkov.

Ali ni bilo avtonomno orožje nedavno uporabljeno za uboj poveljnika iranske vojske?

V resnici ne. To s čimer so ubili Sulejmana, ni bilo avtonomno orožje. Dron je bil še vedno voden s strani človeka. Saj niti to mi ni všeč. Ampak pri avtonomnem orožju, bi dron sam videl Sulejmanija in se odločil, ali ga bo ubil, ali ne. Recimo nevronska mreža bi se lahko naučila z razpoznavanjem obrazov prepoznati sovražnika in ga ubiti.

ZDA je zainteresirana, da bi prevzela evropsko zakonodajo, ki je poznamo pod krtico GDPR, je ta tisto, kar potrebujemo, da se izognemo manipulacijam s podatki?

Jaz mislim, da ni dovolj. Ta zakonodaja je problematična, naiven korak v sicer pravi smeri, a je premalo radikalna.

Toda, takoj, ko se odpre bolj radikalen diskurz, pade očitek, da se omejuje tehnološki razvoj.

Mislim, da kljub razvoju lahko preprečimo zlorabo podatkov. Če bi želeli prebrati vse pogoje obdelave podatkov spletnih strani, ki jih povprečen uporabnik interneta uporablja, bi bral dve tretjini leta. GDPR nas s tem postavlja v nemogoče situacije. Pravo je zdaj pred velikim izzivom, a ima primere, po katerih se lahko zgleduje, ko bo urejal privolitev za dajanje podatkov. V praksi že obstajajo situacije, kjer so nekatere stvari enostavno prepovedane. Recimo nekatera zdravila potrebujejo recept. Zdravstvena zakonodaja je določila, da je včasih bolje, da ljudje ne pridejo do zdravila, kot da bi imeli preveč dostopa do zdravila. Gre za enostavno pravilo. Enako je glede varnostnega pasu. Ne pomaga, če se pritožujete, da ne ogrožate nikogar, le sebe, če ste odvezani. Enako v gradbeništvu. Balkon mora imeti ograjo, brez izjeme.

Žrtve v prometni nesreči vidimo, tudi v gradbeništvu, na spletu pa jih ne (še).

Mislim, da je to največji problem, ker žrtev ne vidimo. Celotna družba gre lahko k vragu zaradi tega. Le nekaj podjetji na svetu, ki zajema te podatke in z njimi omogoča manipulacijo, bo kmalu obvladovalo cel svet.

Ameriški profesor podjetništva mi je v intervjuju pred nekaj meseci dejal, da umetno inteligenco snujejo starejši beli moški, zaradi česar da so njene rešitve in zaključki polni pristranskosti … Kakšno je vaše mnenje o tem?

Ste prepričani, da je profesor mislil povsem resno? Umetno inteligenco snujejo tudi mlade ženske, tudi ne-bele. Pa rezultati njihovega snovanja niso kaj drugačni, kot jih omenja profesor. Je pa res, da je danes v nekaterih situacijah zelo slabo biti star bel moški. Na primer pri pridobivanju evropskih projektov, kjer je po pravilih potrebno raziskovalne skupine na silo uravnotežiti, ker sicer ne dobijo financiranja.
Mnogi so postali zelo občutljivi in nervozni ob uporabi strojnega učenja v družbeno občutljivih aplikacijah, recimo v sodstvu in kadrovanju. Toda zakaj naj bi bil isti algoritem pristranski, ko se uči odločanja v sodstvu, npr. ko napove, ali se bo zapornik, ki bo začasno izpuščen vrnil ali ne? Isti algoritem pa ni pristranski, ko se uči napovedovati vreme ali diagnosticirati možganski tumor?
Pristranski so lahko le podatki, iz katerih se uči. Toda to so podatki, ki jih navadno zajamemo iz realnega življenja. Ti pa so lahko res pristranski, vendar odražajo le obstoječe prakse, ki so jih vzpostavil ljudje, ne pa umetna inteligenca. Težko pa bi rekli, da je matematični algoritem, ali matematična formula, kar tako, iz nepojasnjenih razlogov, pristranska glede barve kože ali spola. K temu vtisu prispeva tudi nerazumljivost računalniškega odločanja.