EXCLUSIV Yuval Noah Harari despre companiile care  ”fac experimente pe milioane de cobai umani” și ne cresc frica

Într-un articol despre Inteligența Artificială și interacțiunea sa complexă cu omul, gânditorul israelian Yuval Noah Harari discută despre ”dezastrul social” care a rezultat din faptul că marile companii de tehnologie și din internet au pus înaintea oricărui discernământ ideea de a obține bani ”ținându-i pe oameni lipiți de ecran”. Și cum se poate face asta?  Yuval Noah Harari într-un articol exclusiv pentru România, în Contributors. 

IA este cea mai puternică tehnologie creată vreodată de omenire, pentru că e prima tehnologie care poate să ia decizii și să creeze idei noi singură. O bombă atomică nu poate decide pe cine să atace, nici nu poate inventa noi bombe sau noi strategii militare. O Inteligență Artificială, în schimb, poate decide singură să atace o anumită țintă și poate inventa noi bombe, noi strategii și chiar noi inteligențe artificiale. Lucrul cel mai important de știut despre IA este că aceasta nu e un instrument în mâinile noastre – ci un agent autonom.

• Citește pe Golazo, siteul de sport al lui HotNews: Astăzi, un român în unul dintre cele mai tensionate derbyuri ale fotbalului mondial. Unde se vede meciul

Sigur, încă definim noi obiectivele pe care să le urmărească inteligențele artificiale. Dar problema este că, în urmărirea obiectivelor pe care i le stabilim, o IA ar putea adopta subobiective neanticipate, care să aibă consecințe neanticipate și foarte grave. 

Cum s-a produs un dezastru social

De exemplu, în ultimii ani companii de social media ca Facebook, YouTube și Twitter au stabilit algoritmilor lor IA un obiectiv aparent inofensiv și simplu: să crească implicarea utilizatorilor. 

Cu cât petreceau utilizatorii mai mult timp pe social media, cu atât făceau aceste companii mai mulți bani. Totuși, urmărind să realizeze obiectivul „creșterii implicării utilizatorilor”, algoritmii au făcut o descoperire sinistră. 

Făcând experimente pe milioane de cobai umani, algoritmii au aflat că conținutul scandalos crește implicarea utilizatorilor. Dacă poți apăsa butonul furiei, al fricii sau al urii în mintea omului, îi captezi atenția și îl ții lipit de ecran. 

Algoritmii au început așadar să răspândească în mod deliberat conținut scandalos, acesta fiind un motiv major al actualei epidemii de teorii ale conspirației, fake news și tulburări sociale care subminează democrațiile din întreaga lume. Directorii de la Facebook, YouTube și Twitter nu au dorit acest rezultat. Ei au crezut că, dacă crește implicarea utilizatorilor, le vor crește și lor profiturile și nu au anticipat că aceasta va spori și haosul social. 

Acest dezastru social a fost declanșat de o nealiniere între interesele profunde ale societăților umane și strategiile adoptate de inteligențele artificiale. În jargonul de specialitate, asta se numește „problema alinierii”. Când stabilim unui agent IA un obiectiv, cum putem fi siguri că strategiile adoptate de IA chiar vor fi aliniate cu interesele noastre fundamentale?

Istoria e plină de mari victorii militare care au dus la dezastre politice

Sigur, problema alinierii nu este nici nouă, nici specifică doar inteligențelor artificiale. Ea a chinuit omenirea mii de ani și înainte să se inventeze calculatoarele. Aceasta este, de exemplu, problema de fond a gândirii militare moderne, consacrată de teoria războiului elaborată de Carl von Clausewitz. 

Clausewitz a fost un general prusac care a luptat în timpul Războaielor Napoleoniene. În cartea sa, Despre război (1832-1834), Clausewitz a creat un model rațional de înțelegere a războiului, care continuă să fie și astăzi teoria militară dominantă. Principiul său cel mai important este că „războiul e o continuare a politicii cu alte mijloace”. Asta presupune că războiul nu este o izbucnire emoțională, o aventură eroică sau o pedeapsă divină. Războiul nu e nici măcar un fenomen militar. Nu, războiul este un instrument politic. Potrivit lui Clausewitz, acțiunile militare și chiar și victoriile militare.

Istoria e plină de mari victorii militare care au dus la dezastre politice. Pentru Clausewitz, exemplul cel mai evident era cariera lui Napoleon. Seria lui de victorii i‑a adus controlul temporar asupra unor vaste teritorii, dar ele nu i‑au asigurat și realizări politice durabile. Cuceririle sale militare nu au făcut decât să determine majoritatea puterilor europene să se unească împotriva sa, iar imperiul lui s‑a prăbușit la un deceniu după ce s‑a încoronat ca împărat. 

Un exemplu mai recent de victorie militară care a dus la înfrângere politică a fost invazia americanilor în Irak din 2003. Americanii au câștigat fiecare confruntare militară majoră, dar nu au reușit să‑și atingă niciunul dintre obiectivele politice pe termen lung. Victoria lor militară nu a instituit un regim favorabil în Irak și nici o ordine geopolitică favorabilă în Orientul Mijlociu. 

Adevăratul câștigător al războiului a fost Iranul. Victoria militară a americanilor a transformat Irakul, din dușmanul tradițional al Iranului, într‑un vasal al acestuia, slăbind astfel puternic poziția americanilor în Orientul Mijlociu și transformând totodată Iranul în hegemon regional.

Atât Napoleon, cât și George W. Bush au căzut victime problemei alinierii. Obiectivele lor militare pe termen scurt au fost nealiniate cu obiectivele geopolitice pe termen lung ale țării lor. Putem înțelege în ansamblu Despre război al lui Clausewitz ca pe un avertisment că „maximizarea victoriei” este un obiectiv la fel de obtuz ca și „maximizarea implicării utilizatorilor”. 

Napoleonul agrafelor de birou

Apariția inteligenței artificiale face problema alinierii mai acută ca oricând. În cartea sa din 2014, Superinteligența, filosoful Nick Bostrom ilustra pericolul prin intermediul unui experiment mental. Bostrom ne cere să ne imaginăm că o fabrică de agrafe de birou cumpără un calculator superinteligent și că directorul uman al fabricii îi dă calculatorului o sarcină aparent inofensivă și simplă: să maximizeze producția de agrafe. 

Pentru îndeplinirea acestui obiectiv, calculatorul cucerește tot Pământul, omoară toți oamenii, trimite expediții care să cucerească și alte planete și folosește resursele enorme pe care le obține pentru a umple întreaga galaxie cu fabrici de agrafe de birou.

Calculatoarele nu sunt rele, ci doar foarte puternice

Ideea experimentului mental este că calculatorul a făcut exact ce i s‑a spus. Realizând că are nevoie de electricitate, oțel, pământ și alte resurse pentru a construi mai multe fabrici și a produce mai multe agrafe și că oamenii probabil nu vor renunța pașnic la aceste resurse, calculatorul superinteligent i‑a eliminat pe toți oamenii, urmărind exclusiv să atingă obiectivul care i‑a fost stabilit.

Ideea lui Bostrom era că problema cu calculatoarele nu e că sunt extraordinar de malefice, ci că sunt extraordinar de puternice. Iar cu cât e mai puternic calculatorul, cu atât trebuie să avem mai multă grijă să‑i definim obiectivul într‑un mod care să se alinieze exact cu scopurile noastre finale. Dacă îi definim un obiectiv nealiniat unui calculator de buzunar, consecințele sunt neînsemnate. Dar, dacă îi definim un obiectiv nealiniat unei mașini superinteligente, consecințele ar putea fi distopice.

Cum s-a subminat democrația

Poate că experimentul mental cu agrafele de birou pare bizar și complet rupt de realitate. Dar, dacă directorii din Silicon Valley ar fi fost mai atenți în 2014, când a publicat Bostrom cartea, poate că ar fi avut mai multă grijă înainte să‑și instruiască algoritmii să „maximizeze implicarea utilizatorilor”. 

Algoritmii Facebookului, ai YouTube-ului și ai Twitterului s‑au comportat exact ca algoritmul imaginar al lui Bostrom. Când i s‑a cerut să maximizeze producția de agrafe, algoritmul a căutat să transforme întregul univers fizic în agrafe, chiar dacă asta însemna să distrugă civilizația umană. 

Când li s‑a cerut să maximizeze implicarea utilizatorilor, algoritmii folosiți de platformele de social media au căutat să transforme întregul univers social în implicare a utilizatorilor, chiar dacă asta însemna să dăuneze structurii sociale și să submineze democrații, de la Filipine la Statele Unite. 

Verigile cele mai slabe ale umanității

Modul în care algoritmii folosiți de platformele de social media răspândesc conținut scandalos și subminează încrederea socială devine o amenințare importantă la adresa democrațiilor. Dar IA este o amenințare și pentru dictatori. Deși sunt multe moduri în care IA poate consolida puterea centrală, regimurile autoritare au și ele probleme cu ea. 

În primul rând, dictaturile nu au experiență în controlarea agenților anorganici. La temelia oricărui regim autoritar se află teroarea. Dar cum poți teroriza un algoritm? Dacă un chatbot de pe internetul rusesc menționează crimele de război comise de trupele rusești în Ucraina, spune un banc porcos despre Vladimir Putin sau critică corupția regimului Putin, cum l-ar putea pedepsi regimul pe chatbotul respectiv? Polițiștii nu pot să‑l bage la închisoare, să‑l tortureze ori să‑i amenințe familia. Guvernul ar putea, desigur, să‑l blocheze ori să‑l șteargă și să încerce să‑i găsească și să‑i pedepsească pe creatorii săi umani, dar asta e o sarcină mult mai dificilă decât disciplinarea utilizatorilor umani.

Pe vremea când calculatoarele nu puteau să genereze singure conținut și nici să poarte o conversație inteligentă, doar un om putea exprima opinii divergente pe rețele de socializare rusești precum VKontakte și Odnoklassniki. Dacă acea ființă umană se afla fizic în Rusia, risca să simtă urgia autorităților rusești. Dacă se afla fizic în afara Rusiei, autoritățile puteau încerca să‑i blocheze accesul. 

Dar ce se va întâmpla dacă cyberspațiul rusesc se va umple de milioane de boți care pot să genereze conținut și să poarte conversații, învățând și dezvoltându‑se singuri? Boții aceștia ar putea fi preprogramați de disidenți ruși sau de actori străini să răspândească intenționat opinii neortodoxe, iar autorităților le‑ar fi imposibil să împiedice asta. 

Mai rău, din perspectiva regimului lui Putin, ce se va întâmpla dacă niște boți autorizați vor dezvolta treptat singuri poziții divergente, pur și simplu culegând informații despre ceea ce se petrece în Rusia și identificând tipare în ele?

Aceasta este problema alinierii à la russe. Inginerii umani ai Rusiei se pot strădui să creeze inteligențe artificiale aliniate pe deplin regimului, dar, dată fiind capacitatea inteligenței artificiale de a învăța și a se schimba singură, cum pot inginerii umani să se asigure că IA nu o ia niciodată razna pe arătura ilicită? 

Ce i se poate întâmpla lui Putin

Este extrem de interesant de remarcat că, așa cum explica George Orwell în O mie nouă sute optzeci și patru, rețelele informaționale autoritare se bazează adesea pe limba de lemn. Rusia este un stat autoritar care se pretinde a fi o democrație. 

Invazia rusă în Ucraina este cel mai amplu război din Europa din 1945 încoace și totuși oficial el este definit drept „operațiune militară specială”, iar faptul de a‑l numi „război” a fost scos în afara legii și se pedepsește cu până la trei ani închisoare sau cu amendă de până la cincizeci de mii de ruble.

Constituția Rusiei promite pompos că „fiecăruia i se va garanta libertatea de gândire și de exprimare” (art. 29.1) și „cenzura va fi interzisă” (29.5). Niciun cetățean rus nu e atât de naiv încât să ia de bune aceste promisiuni. Dar calculatoarele nu prea pricep limba de lemn. Un chatbot instruit să respecte legea și valorile ruse ar putea să citească această constituție și să conchidă că libertatea de exprimare este o valoare rusească esențială. Apoi, după ce ar petrece câteva zile în cyberspațiul rusesc și ar monitoriza ce se întâmplă în sfera informațională rusească, chatbotul ar putea începe să critice regimul Putin pentru încălcarea valorii rusești esențiale a libertății de exprimare. 

Și oamenii observă astfel de contradicții, dar, de frică, evită să le dea glas. Dar ce ar împiedica un chatbot să indice tipare incriminatoare? Și cum ar putea inginerii ruși să‑i explice unui chatbot că, deși Constituția Rusiei le garantează tuturor cetățenilor libertatea de exprimare și interzice cenzura, chatbotul nu ar trebui de fapt să creadă constituția și nici să pomenească vreodată de diferența dintre teorie și realitate?

Boții în democrație

Sigur, și democrațiile au probleme similare cu chatboții care spun lucruri supărătoare. Ce se întâmplă dacă, în ciuda tuturor eforturilor inginerilor de la Microsoft sau de la Facebook, chatbotul lor începe să emită insulte rasiste? 

Avantajul democrațiilor este că au o libertate de acțiune mult mai mare în gestionarea unor asemenea algoritmi care o iau razna. Pentru că democrațiile iau în serios libertatea de exprimare, ele țin ascunse mult mai puține secrete murdare și și‑au dezvoltat un grad relativ înalt de toleranță chiar și față de discursul antidemocratic. 

Boții disidenți vor reprezenta o provocare mult mai mare pentru regimurile totalitare care au mormane de secrete murdare și toleranță zero față de critici.

Pe termen lung, regimurile totalitare ar putea să se confrunte cu un pericol și mai mare: în loc să le critice, un algoritm ar putea să preia controlul asupra lor. De‑a lungul istoriei, cea mai mare amenințare pentru autocrați a venit de obicei din partea propriilor subordonați. Niciun împărat roman și niciun premier sovietic nu au fost răsturnați printr‑o revoluție democratică, ci au fost mereu în pericol de a fi îndepărtați de la putere sau transformați în marionete de propriii subordonați. Dacă un autocrat din secolul XXI ar da inteligențelor artificiale prea multă putere, acel autocrat ar putea deveni marioneta lor. Ultimul lucru pe care și‑l dorește un dictator este să creeze ceva mai puternic decât el însuși sau o forță pe care să nu știe cum s‑o controleze.

Dacă algoritmii ar dezvolta vreodată capabilități precum cele din experimentul mental al lui Bostrom cu agrafele de birou, dictaturile ar fi mult mai vulnerabile decât democrațiile. 

Chiar și unei inteligențe artificiale supermachiavelice i‑ar fi greu să acapareze puterea într‑un sistem democratic descentralizat precum Statele Unite. Chiar dacă IA învață să‑l manipuleze pe președintele american, ar putea întâmpina opoziție din partea Congresului, a Curții Supreme, a guvernatorilor, a mediei, a marilor corporații și a tot felul de ONG ‑uri. 

Ce ar face algoritmul, de exemplu, dacă s‑ar lovi de un obstrucționist în Senat? Acapararea puterii într‑un sistem foarte centralizat este mult mai ușoară. Când toată puterea este concentrată în mâinile unei singure persoane, cel care controlează accesul la autocrat îl poate controla și pe autocrat – și întregul stat. Ca să acceseze ilegal un sistem autoritar, IA trebuie să învețe să manipuleze un singur individ.

În următorii câțiva ani, dictatorii din lumea noastră se vor confrunta cu probleme mai urgente decât o preluare a controlului de către algoritmi. Niciun sistem IA din prezent nu poate manipula regimuri la o asemenea scară. 

Pericolul real al IA îl reprezintă o eventuală asociere cu dictatorii

Totuși, sistemele totalitare riscă deja să acorde algoritmilor prea multă încredere. În timp ce democrațiile presupun că oricine este failibil, în regimurile totalitare se pornește de la premisa că partidul aflat la putere sau conducătorul suprem are întotdeauna dreptate. 

Regimurile bazate pe această premisă sunt condiționate să creadă în existența unei inteligențe infailibile și sunt reticente la ideea de a crea sisteme de echilibru instituțional care ar fi capabile să‑l monitorizeze și să‑l reglementeze pe geniul aflat la vârf. Până acum asemenea regimuri și‑au pus încrederea în lideri umani și au fost medii propice pentru dezvoltarea unor culte ale personalității. 

Dar în secolul XXI această tradiție totalitară le pregătește să se aștepte ca inteligența artificială să fie infailibilă. Sistemele care au putut crede în geniul desăvârșit al unui Mussolini, Stalin sau Khomeini sunt pregătite să creadă și în geniul desăvârșit al unui calculator superinteligent.

Dacă și numai câțiva dintre dictatorii lumii ar alege să se încreadă în IA, asta ar putea avea consecințe profunde asupra întregii omeniri. Ce s-ar întâmpla, de exemplu, dacă Marele Conducător ar acorda unei inteligențe artificiale controlul asupra armelor nucleare ale țării sale Science‑fictionul e plin de scenarii în care o IA scapă de sub control și înrobește sau elimină cu totul omenirea. 

Majoritatea creațiilor SF explorează aceste scenarii în contextul societăților capitaliste democratice. E de înțeles. Autorii care trăiesc în democrații sunt, evident, interesați de propriile societăți, pe când autorii ce trăiesc în dictaturi sunt de obicei descurajați să‑și critice conducătorii. 

Dar punctul cel mai slab din scutul anti‑IA al omenirii îl constituie probabil dictatorii. Pentru o IA cel mai ușor mod de a acapara puterea nu este să evadeze din laboratorul doctorului Frankenstein, ci să intre în grațiile vreunui Mare Conducător paranoic.Mai multe analize, comentarii și opinii puteți citi pe Contributors.ro.