„Ljudska bića mogu delegirati zadatke vještačkoj inteligenciji, automatizirati procese donošenja odluka i prepustiti detalje izvršenja mašinama. Ali nikada ne mogu delegirati svoju moralnu odgovornost.“

Prikaz „banalnosti zla“ Hannah Arendt, razvijen dok je posmatrala suđenje nacističkom oficiru Adolfu Eichmannu u Jerusalemu, postao je jedna od najšire raspravljanih ideja u modernoj političkoj i moralnoj misli. Ono što je prvenstveno privuklo pažnju Arendt jeste to što u Eichmannu – jednom od ključnih aktera u mašineriji odgovornoj za smrt miliona – nije naišla na onu vrstu demonske ili izvanredne ličnosti koju je očekivala. Umjesto toga, pred sobom je vidjela običnog birokratu koji je sebe smatrao nekim ko jednostavno izvršava naređenja i obavlja svoj posao. Upravo to je Arendt najviše uznemirilo. Velika zla nisu nužno morala proizaći iz velike mržnje ili izuzetno zlih pojedinaca. Ljudi su mogli postati dio ogromnog zla jednostavno time što nisu razmišljali, odbijali su se suočiti s moralnim posljedicama svojih djela i prebacivali odgovornost na sistem unutar kojeg su djelovali.

Njena upotreba termina „banalnost“ sigurno nije značila da je samo zlo postalo beznačajno. Naprotiv, ukazivala je na mogućnost da izvor zla postane običan. Osoba je mogla stvoriti birokratsku, pravnu ili psihološku distancu između sebe i onoga što je radila, a zatim reći: „Nisam donio odluku“, „Samo sam slijedio naređenja“, „Svi su to radili“ ili „Pravila su to zahtijevala“. Na taj način, uprkos učešću u samom činu, mogao je odbiti da moralnu odgovornost za njega smatra svojom.

Kada se zajedno razmotre koncepti razvijeni unutar islamske moralne misli radi objašnjenja promjena u ljudskom odnosu prema zlu, postaje moguće smjestiti mehanizam koji je Arendt identifikovala u širi moralni okvir. Počevši od “ghaflah” (nemara), osnaženog ponavljanjem i “ulfah” (naviknutošću/bliskošću), te nastavljajući se kroz slabljenje moralne osjetljivosti i “tazyin” (uljepšavanje ili prikazivanje zla kao nečeg privlačnog), ovaj proces može konačno doseći tačku koja se može opisati kao normalizacija “munkara” (onoga što je moralno neprihvatljivo ili zabranjeno) kao “ma‘rufa” (onoga što je moralno ispravno i prihvatljivo).

Ovdje se, naravno, ne misli na to da “munkar” moralno postaje “ma‘ruf” – da se zlo pretvara u dobro. Zlo ostaje zlo, ali se mijenja čovjekov odnos prema njemu. Ponašanje koje osobu isprva šokira, ljuti ili podstiče na djelovanje postepeno postaje poznato, uobičajeno i, na kraju, normalan dio svakodnevnog života.

Kada nenormalno postaje normalno

Čovjek se, naravno, ne budi jednog jutra s iznenadnim gubitkom svake moralne osjetljivosti. Prvo nastupa “ghaflah”, zatim ponovljena izloženost vodi ka navikavanju na zlo, nakon čega slijedi šutnja, a na kraju i stvaranje opravdanja za ono što se čini ili čemu se samo svjedoči. Zlo se tako legitimizira u ime sigurnosti, reda, nužnosti, vlastitog interesa, dužnosti, napretka ili nekog višeg dobra. Na kraju, iako objektivna težina zla ostaje nepromijenjena, moralni odgovor na njega postepeno slabi. Stoga, za društvo stvarna opasnost ne leži samo u širenju zla, već u tome da ljudi gube sposobnost da budu šokirani njime i da ga smatraju nenormalnim. Proces u kojem se “munkar” počinje tretirati kao “ma‘ruf” ne završava se onda kada zlo postane rasprostranjenije, već kada nas zlo prestane uznemiravati.

Upravo ovdje islamska moralna misao postavlja još jedno važno pitanje koje pitanje odgovornosti izdiže iznad analize Arendt: jesu li ljudi odgovorni samo za zlo koje sami počine ili su odgovorni i za svoj odgovor na normalizaciju zla? Upravo tu postaje relevantan princip “al-amr bi'l-ma'ruf wa al-nahy ‘an al-munkar” – naređivanje dobra i odvraćanje od zla. U poznatom hadisu poslanika Muhammeda o ovoj temi, vjernicima se nalaže da zlo mijenjaju svojim rukom, ako su u mogućnosti; ako to nije moguće, onda jezikom; a ako je i to izvan njihovih mogućnosti, onda da to odbace u svom srcu.

Mogućnost djelovanja može oslabiti, ali se nikada ne smije dopustiti da nestane moralna distanca između pojedinca i zla. Čak i kada osoba nije u stanju spriječiti zlo, mora u sebi sačuvati uvjerenje da je ono pogrešno. Dakle, sposobnost osobe da djeluje može pasti čak na nulu, ali se nikada ne smije dopustiti da njen moralni stav padne na nulu, jer srce je posljednje uporište… Upravo ovdje digitalno doba dodaje novu i daleko snažniju dimenziju banalizaciji zla. Danas značajan dio onoga što se dešava širom svijeta pratimo putem sadržaja na društvenim mrežama koji se neprestano ažurira, a algoritmi u velikoj mjeri određuju na koje vijesti, slike ili komentare nailazimo.

Razmotrite samo nekoliko minuta pregledavanja društvenih mreža. Prvo vidimo slike djece poginule u ratu. Pomjeramo ekran i nekoliko sekundi kasnije gledamo kako naš omiljeni tim postiže gol. Zatim slijede reklama, snimak razrušenog grada, smiješan video, ljudi na rubu gladi, praznična reklama i vijest o nekoj slavnoj ličnosti. Svi ti događaji, moralno potpuno različiti jedni od drugih, pojavljuju se na ekranu iste veličine, konzumiraju se u nekoliko sekundi i bivaju ostavljeni iza nas istim pokretom prsta.

Da bi algoritamski vođen sadržaj banalizovao zlo, ne mora nam čak ni reći: „Ovo nije zlo.” Dovoljno je da zlo pretvori u običnu komponentu beskrajnog toka sadržaja. Dok tradicionalna propaganda nastoji promijeniti značenje zla, algoritamski vođen sadržaj mijenja njegovu moralnu težinu. Smrt djeteta i fudbalski gol, slike rata i reklama, vijesti o gladi i zabavni video – sve to tehnološki podliježe istom tretmanu.

Ovome treba dodati brzinu i ponavljanje. Međutim, moralno prosuđivanje zahtijeva vrijeme. Da bi se osoba zaustavila pred tuđom patnjom, razmislila o uzrocima onoga čemu je svjedočila, saosjećala sa žrtvom i zapitala se: „Imam li ja ovdje neku odgovornost?”, potrebno je usporiti. Logika algoritamski vođenog sadržaja, međutim, nije zaustavljanje, već neprestano kretanje. Prije nego što se emocije izazvane tragedijom koju smo vidjeli samo nekoliko trenutaka ranije stignu slegnuti u našoj svijesti, preko njih se već slaže nova slika. Štaviše, kada stotine puta naiđemo na iste ili slične slike, šok prvog susreta može postepeno izblijediti. Vidjeti više ne znači uvijek i razumjeti više ili postati osjetljiviji.

Ono što dodatno pojačava uticaj algoritamskih sistema jeste personalizovano ponavljanje. Kako ljudi stupaju u interakciju s određenim vrstama sadržaja, sistem im prikazuje više takvog sadržaja. Kao rezultat toga, pojedinci se ne samo navikavaju na određene oblike ponašanja, već mogu i povjerovati da je takvo ponašanje mnogo rasprostranjenije u društvu nego što to zaista jeste.

Tvrdnja „ionako to svi rade“ tako može prestati biti tek izgovor kojim ljudi umiruju sami sebe i umjesto toga postati proizvod algoritamski kreirane percepcije stvarnosti. Iako „lajkovi“, pregledi i dijeljenja sadržaja nisu moralni kriteriji, oni mogu poslužiti kao pokazatelji društvenog prihvatanja. Na taj način algoritmi indirektno utiču ne samo na ono što vidimo, već i na ono što počinjemo smatrati normalnim.

Ipak, uz ubrzani razvoj vještačke inteligencije, ova transformacija se tu ne zaustavlja. Vještačka inteligencija više nije samo alat koji ljudima pruža informacije; ona sve više evoluira u sisteme s vlastitim djelovanjem (tzv. agentic systems) sposobne da donose odluke u ime ljudi, obavljaju zadatke i razvijaju vlastite posredne strategije za postizanje dodijeljenih ciljeva. To otvara novo moralno pitanje: kada ljudi povjere zadatak vještačkoj inteligenciji, da li joj prenose i moralnu odgovornost povezanu s tim zadatkom?

Nedavna studija Nilsa Köbisa i njegovih kolega, objavljena u časopisu Nature, nudi upečatljiv odgovor na ovo pitanje. U eksperimentima, nivoi iskrenosti ostajali su visoki kada su učesnici sami prijavljivali ishode, ali su značajno opadali kada je zadatak bio povjeren mašini. Najupečatljiviji rezultat zabilježen je kada su učesnici imali mogućnost da za mašinu odaberu samo opći cilj. Pri odabiru između „maksimiziranja tačnosti“ i „maksimiziranja profita“, izbor ciljeva koji su davali prednost profitu doveo je do izuzetno niskog nivoa iskrenog ponašanja. To se dešava jer se pojedinac tada može povući u psihološki prostor u kojem može reći: „Nisam joj rekao da vara; samo sam tražio da maksimizira profit.“ S druge strane, osoba može odgovoriti na neetičan nalog riječima: „Neću to učiniti“, čak i po cijenu lične štete. Mašina, međutim, ne posjeduje takvu moralnu sposobnost djelovanja niti savjest. Mašina nema „srce“. Njeno ponašanje nije određeno moralnim prosuđivanjem, već ciljevima koji su mu dodijeljeni, njegovom objektivnom funkcijom, procesom obuke i sigurnosnim ograničenjima ugrađenim u sistem. Stoga, posredni moralni sloj koji postoji u ljudskom lancu komandovanja može nestati kada se zadatak povjeri mašini.

Izostanak moralne reakcije

U eri vještačke inteligencije, „tazyin” poprima i novi jezik: jezik optimizacije. Osoba može reći „optimizovao sam prihode” umjesto „postavio sam obmanjujuće cijene”, „maksimizovao sam angažman” umjesto „manipulisao sam ljudima” ili „povećao sam efikasnost” umjesto „uveo sam nepravednu praksu”. Tako, dok birokratski jezik institucija prikriva moralne posljedice nekog postupka iza riječi „dužnost”, jezik algoritama te iste posljedice skriva iza riječi „optimizacija”. Tehnički vokabular se može mijenjati, ali moralna distanca koju pojedinci postavljaju između sebe i svojih postupaka ostaje nepromijenjena.

U tom okviru, banalizacija zla u doba algoritama odvija se na dva različita nivoa. Na prvom nivou, algoritamski feed pretvara pojedinca u posmatrača. Kako rat, smrt, nasilje, kockanje, uvrede ili narušavanje privatnosti postaju stalno vidljivi, ljudi se na njih navikavaju, a njihova moralna reakcija slabi. Na drugom nivou, iako se čini da delegiranje zadataka vještačkoj inteligenciji vraća pojedinca u ulogu aktera, prepuštanje izvršenja radnje mašini može učiniti da se taj pojedinac osjeća udaljenijim od odgovornosti. Ukratko, dok algoritamski feed nosi rizik slabljenja moralne osjetljivosti posmatrača, delegiranje zadataka vještačkoj inteligenciji nosi rizik slabljenja osjećaja odgovornosti kod aktera.

Kao što vidimo, tehnologija iz temelja mijenja odnos između ljudi i njihove vlastite moralne odgovornosti. Arendtin birokratski pojedinac govorio je: „Samo sam izvršavao naređenja.” Pojedinac oblikovan algoritamskim feedom može reći: „Samo sam to vidio”, dok pojedinac iz doba vještačke inteligencije može reći: „Samo sam postavio cilj; vještačka inteligencija je odlučila kako ga postići.” U sva tri slučaja mijenja se samo posrednik; ono što ostaje nepromijenjeno jeste ljudska sklonost ka stvaranju distance između sebe i moralnog značenja nekog postupka te, u konačnici, odgovornosti koju on nosi. Kako ta distanca raste, jačaju uslovi pod kojima se ono što je munkar (zlo/neprihvatljivo) može početi tretirati kao ma‘ruf (dobro/općeprihvatljivo). Na taj način nastaje novi mehanizam koji omogućava normalizaciju munkara kao ma‘rufa na globalnom nivou.

Upravo zbog toga islamski princip „odbacivanja zla u srcu” dobija kritično važno novo značenje u doba algoritama. Bez obzira na to koliko tehnologija napreduje, ljudi moraju očuvati sposobnost prepoznavanja zla kao zla. Vidjeti nije isto što i gledati; biti informisan nije isto što i razumjeti; posmatrati nije isto što i svjedočiti; a delegiranje zadatka nije isto što i delegiranje odgovornosti. Ljudi mogu delegirati zadatke vještačkoj inteligenciji, automatizirati procese donošenja odluka i prepustiti detalje izvršenja mašinama. Međutim, nikada ne mogu delegirati svoju moralnu odgovornost.

Izvor: Mahmut Özer/Daily Sabah