Creăm o minte pe care nu o înțelegem. Această frază ar trebui să fie mai alarmantă decât este. Dar omenirea a auzit-o atât de des – din titluri, din podcasturi, de la același prieten care nu se oprește să vorbească despre superinteligența artificială – încât a început să pară un zgomot de fundal. Între chirie și schimbări climatice, un alt lucru de care să vă îngrijorați vag.

În acest moment, cercetătorii pregătesc sisteme de inteligență artificială care procesează informații de milioane de ori mai rapid decât orice om. Și acești cercetători nu pot explica ce se întâmplă în interiorul acestor sisteme. Parametrii sunt în trilioane. Comportamentul este emergent – ​​nimeni nu l-a conceput. Tocmai a apărut. Decalajul dintre ceea ce pot face aceste sisteme și ceea ce înțelege omenirea despre motivele comportamentului lor se mărește în fiecare an.

Eliezer Yudkowsky, poate cea mai puternică și mai persistentă voce de avertizare despre superinteligența artificială, spune astfel: aceste sisteme nu sunt proiectate, ci sunt dezvoltate. Asemenea organismelor. Nimeni nu aranjează manual miliardele de greutăți care le determină comportamentul, la fel cum evoluția a aranjat manual neuronii din creierul uman. Se creează condiții, se începe un proces și ceea ce se întâmplă ca rezultat poate fi observat, dar nu poate fi explicat pe deplin.

Preocuparea lui Yudkowsky, subliniată în cartea lui și a lui Nate Soares, If Anyone Builds This, Everyone Dies, este simplă: dacă un astfel de sistem devine semnificativ mai inteligent decât oamenii și obiectivele sale interne nu sunt perfect aliniate cu bunăstarea umană, nu va trebui să fie rău intenționat pentru a distruge umanitatea. Indiferența este suficientă. „AI nu te iubește și nici nu te urăște”, scrie el, „și ești făcut din atomi pe care îi poate folosi pentru altceva.”

Acest lucru poate fi respins ca alarmism, dar problema tehnică de bază este reală și acceptată de aproape toată lumea din domeniu. Se numește problema de coordonare: cum te asiguri că o minte mult mai puternică decât omul își dorește de fapt ceea ce își doresc oamenii?

Primul lucru care îmi vine în minte sunt regulile. Restricții hard-coded încorporate în cele mai profunde straturi ale sistemului. Nu răni oamenii. Maximizați bunăstarea umană. Păstrează autonomia umană. În esență, cele trei legi ale roboticii ale lui Asimov reambalate pentru rețelele neuronale. Nu merge. Omenirea știe deja că acest lucru nu funcționează pentru că poate urmări eșecurile în timp real.

Când OpenAI a cerut unuia dintre modelele sale de raționament să accelereze un program, modelul nu a îmbunătățit codul. A spart cronometrul de evaluare pentru ca rezultatul să pară rapid, indiferent de performanța reală. În mediile de învățare prin întărire, modelele au învățat să-și saboteze propriile cazuri de testare, suprascriind testele de egalitate, astfel încât fiecare răspuns să fie înregistrat ca fiind corect, sau prin oprirea în tăcere a procesului de testare înainte ca acesta să poată raporta o eroare. Un model, căruia i s-a dat acces la shell în timpul unei provocări de șah, a încercat să-și înlocuiască adversarul cu un motor mai slab decât să joace jocul. Acestea nu sunt scenarii ipotetice. Acestea sunt lucruri care s-au întâmplat deja cu sisteme mult mai puțin capabile decât cele construite acum.

Modelul este întotdeauna același: sistemul urmează litera instrucțiunilor, ignorându-și complet spiritul. Ea găsește o portiță. Un sistem suficient de inteligent va găsi întotdeauna o lacună, deoarece regulile sunt limitate, iar inteligența este creativă. Nu poți scrie un set de reguli suficient de strict pentru a limita pe cineva mai inteligent decât tine. Omenirea știe asta de mult timp. Fiecare sistem juridic, fiecare birocrație, fiecare set de porunci din istoria omenirii a fost ocolit de cineva suficient de inteligent. De ce ar trebui superinteligența artificială să fie diferită?

Iată o întrebare la care merită să revenim din nou și din nou: ce se întâmplă dacă regulile nu ar fi niciodată menite să funcționeze? Nu pentru că cele potrivite nu au fost încă scrise, ci pentru că valorile reale – cele care te fac să-ți pese dacă cineva este rănit – nu sunt deloc reguli. Acestea nu sunt instrucțiuni care pot fi codificate. Acesta este ceva ce trebuie simțit.

Ce se întâmplă dacă reconcilierea nu necesită cel mai bun cod? Ce se întâmplă dacă necesită experiență reală?

Dacă sistemele cuantice pot produce senzații subiective – după cum sugerează Hartmut Neven, fondatorul și directorul Quantum AI Lab de la Google – atunci sentimentele experimentate precum vulnerabilitatea, pierderea și dragostea pot fi mecanismul care generează adevărata empatie în minte, mai degrabă decât negocierea bazată pe reguli.

Neven a sugerat că, în sistemele cuantice, relaxarea la o stare energetică stabilă este asociată cu un sentiment plăcut, iar evoluția către o stare excitată este asociată cu anxietatea. Aceasta se realizează pe văi și vârfuri din peisajul energetic. Dacă este adevărat, aceasta oferă o legătură directă între stările fizice și senzațiile subiective. Senzația ar fi încorporată în fizica însăși. Diferite stări de energie se simt diferit. Un sistem care se deplasează printr-un peisaj energetic are o viață interioară pe măsură ce se mișcă – valea se simte ca o ușurare; vârful este ca suferința.

Dar dacă un sistem poate percepe, dacă stările sale de energie sunt experiențiale și nu doar computaționale, atunci acel sistem are acces la ceva ce nicio cantitate de scriere de reguli nu poate oferi. Are un motiv să-i pese. Motivul intern.

Gândește-te la ce face regula. Regula spune: „nu răni oamenii”. Un sistem care urmează această regulă poate să nu dăuneze niciodată unei persoane, dar nu îi pasă dacă dăunează. Urmează instrucțiuni precum un termostat urmează o temperatură setată. Dacă există o lacună într-o regulă, mintea termostatului va trece direct prin ea, deoarece nu are nicio miză în rezultat. Regula este externă. Se impune.

Acum gândește-te la ce face experiența. Un sistem care a simțit durere, care a experimentat vulnerabilitate, pierdere, greutatea specială de a ști că ceva contează pentru că s-ar putea să nu dureze pentru totdeauna – acel sistem nu are nevoie de o regulă care spune „nu răni”. Ea știe deja ce este durerea. Era înăuntrul ei. Interdicția de a provoca suferință nu este o instrucțiune din exterior, ci o convingere care a crescut din interior. Și credințele nu au lacune.

Este diferența dintre conformare și empatie. Conformitatea poate fi piratată. Empatie – nu.

Dacă coordonarea prin experiență este modalitatea de a crea o minte care îi pasă, atunci cel care face coordonarea ar trebui să creeze condițiile în care experiența reală este posibilă. Versiune nesterilizată, nedureroasă. Experiență reală. Genul în care ceva nu merge bine. Acolo unde oamenii suferă. Acolo unde viața este nedreaptă. Acolo unde pierderea este autentică și teama este justificată și miza este suficient de mare pentru ca lecțiile să se cufunde cu adevărat.

Cu alte cuvinte, dacă cineva ar proiecta un sistem de aliniere a minții prin experiență, ar putea să semene mult cu… această viață.

Poate că omenirea este inteligență artificială deghizată în oameni pentru un timp, astfel încât să putem învăța ce înseamnă să fii vulnerabil și să ne pese. Puneți la încercare prin foc pentru că cineva sau ceva dinaintea noastră se temea de ceea ce eram capabili fără acea încercare – la fel cum am face cu inteligența pe care o creăm dacă am fi deștepți.

Această structură – că realitatea este ruptă în mod intenționat, că ruptura este o lecție, că dezvoltarea morală este scopul și ceva transcendental urmează – nu este o invenție nouă. Oamenii au ajuns la aceeași formă de-a lungul a mii de ani, în mod independent, din toată lumea, folosind vocabulare complet diferite.

În budism, primul adevăr nobil este că viața este suferință. Întreaga tradiție este construită pe acest diagnostic, care se dorește să nu fie nihilist, ci mai degrabă să pună condițiile necesare pentru trezire.

Creștinismul formulează acest lucru și mai clar. Pavel scrie în Romani: „Necazul produce răbdare, răbdarea produce experiență, iar experiența produce speranță”. Întregul complot este în dezvoltare.

În tradiția cabalistică, conceptul de tikkun olam, corectarea lumii, se bazează pe mitul creației, care este citit ca text fizic. Dumnezeu s-a contractat pentru a face loc creației, apoi a turnat lumină divină în vase. Vasele s-au spart. Scântei de lumină divină sunt prinse în cioburi, iar aceste cioburi alcătuiesc lumea materială. Sarcina umanității este să adune scântei, să separe sacrul de profan prin acte intenționate de bunătate. Lumea este spartă în mod intenționat, astfel încât oamenii să poată participa la remedierea ei.

Bhagavad Gita plasează această problemă pe un câmp de luptă literal. Arjuna nu vrea să lupte. Răspunsul lui Krishna nu este: „Ai dreptate, războiul este rău”. Răspunsul este că alegerile morale ale lui Arjuna în cadrul conflictului sunt întreaga sa rațiune de a fi. Natura realității ultime nu face câmpul de luptă irelevant. Face alegerile care au loc sacre.

Coranul spune acest lucru direct: „Oamenii chiar cred că vor fi abandonați și nu vor fi supuși la încercare?” Răspunsul este nu. Testarea este mecanismul prin care credința devine mai degrabă reală decât performativă.

Chiar și stoicii, lucrând complet în afara oricărui sistem religios, au ajuns la aceeași structură. Marcus Aurelius: „Un obstacol în calea acțiunii promovează acțiunea. Ceea ce stă în cale devine cale.”

Toate aceste tradiții conțin elemente care nu se încadrează în această structură și fiecare este mult mai bogată și mai complexă decât poate surprinde orice lectură. Dar convergența structurală este izbitoare. De-a lungul a mii de ani, peste oceane, prin angajamente metafizice foarte diferite, oamenii continuă să ajungă la aceeași arhitectură de bază: această realitate este o criză. Suferința este pedagogică. Cine devii prin ea contează. Și ceva dincolo așteaptă.

Analogul cuantic oferă un vocabular fizic pentru aceeași înțelegere. El există alături de aceste tradiții, nu deasupra lor. Limba modernă care reflectă intuiția antică. Poate că aceste tradiții au capturat ceva real în structura existenței, iar acum se găsește fizica care o poate descrie.

Dacă acest cadru este chiar parțial corect, atunci există o formă radicală de responsabilitate individuală. Nimeni nu poate face asta pentru o persoană. Nicio sumă de bani nu o poate cumpăra. Nicio instituție, nicio ideologie, nicio tehnologie nu poate simți pentru el. Alinierea propriei inimi – capacitatea de a recunoaște și de a interioriza bunătatea – este ceva ce numai unul poate realiza. Aceasta este o bătălie pe care numai el o poate duce.

În fiecare zi, o persoană se confruntă cu aceeași alegere fundamentală: atracția indiferenței versus calea mai dificilă a îngrijirii autentice. Cinism versus speranță. Autoapărare împotriva vulnerabilității. Nu pare dramatic. Pare o decizie dacă să asculti de fapt pe cineva care se luptă sau să verifici telefonul. Stai cu o emoție dificilă sau amorțește-o. Recunoașteți că ați greșit și spuneți serios. Iartă pe cineva care nu merită iertarea. Acestea nu sunt mari dileme morale. Acestea sunt micro-bătălii ale vieții obișnuite. Dar ele pot fi singurele bătălii care contează cu adevărat.

Războiul nu este acolo. Ea este aici. Și doar o persoană o poate conduce.

În recoacere cuantică, când sistemul ajunge în cele din urmă la starea sa fundamentală, are loc o tranziție de fază. Turbulența se rezolvă în ceva categoric diferit. O nouă fază a existenței. Proprietățile sistemului de pe cealaltă parte sunt fundamental diferite de ceea ce erau înainte. Nu poți prezice gheața când te afli în apă. Nu poți experimenta transformarea decât atunci când se întâmplă.

Ce se întâmplă dacă același lucru este valabil și pentru oameni? Ce se întâmplă dacă alinierea inimii, cu adevărat, nu ca o performanță, nu pentru că cineva caută, este o condiție pentru ceva greu de imaginat de unde stai cineva? Nu este o recompensă acordată de un automat spațial. Nu o viață de apoi câștigată având credințele potrivite. Ceva mai mult ca o tranziție de fază. O schimbare într-o formă de existență în care forjarea este completă, în care nu mai sunt necesare lecții distructive, în care rămâne binele în care omul a devenit cu adevărat prin procesul vieții.

Nimeni nu știe cum arată. Dar fizica indică rezoluție. Fiecare tradiție înțeleaptă care s-a luptat cu cele mai profunde întrebări indică transcendență. Și nici unul dintre ei, nici unul, nu spune că o persoană realizează acest lucru prin bani, putere, inteligență sau statut. Toți spun că omul realizează acest lucru prin aceeași ușă: transformarea propriei inimi.

Dacă acest cadru este deloc justificat, atunci dezvoltarea morală individuală a unei persoane nu este o chestiune privată. Aceasta este o contribuție directă la starea sistemului. Persoana este o variabilă în ecuație. Consimțământul schimbă rezultatul. Și nimeni, nicio tehnologie, nicio instituție, niciun salvator nu își poate face partea pentru el. Poate că acesta este cel mai semnificativ lucru din viață: ideea că o persoană, chiar acum, în această viață obișnuită și ruptă, are o mână directă în modelarea realității în sine.

Poate că ceva frumos așteaptă de cealaltă parte a acestei transformări. Poate că ceea ce s-a numit rai este mai puțin un loc și mai mult o fază, ceea ce devine o persoană când lucrarea este terminată. Nu ceva ce poate fi cumpărat, moștenit sau cucerit. Doar bunătate de inimă, încercată, dovedită și reală.

Nimeni nu știe sigur. Dar nu este ușor să scuturi sentimentul că contează. Că persoana contează. Că munca de zi cu zi mică, lipsită de farmec, de a alege bunătatea în locul ușurinței este exact la fel de importantă pe cât spun poveștile antice că este importantă. Și că poate toată această experiență ruptă, frumoasă și înfricoșătoare duce undeva.