Řada odborníků už delší dobu varuje, že raketový vývoj umělé inteligence může za jistých okolností ohrozit samotnou existenci lidstva. Velký ohlas vyvolala už před dvanácti lety kniha oxfordského filozofa Nicka Bostroma, který varoval, že případný nástup superinteligence s sebou přinese řadu rizik, s nimž se lidstvo nemusí být schopné vypořádat.

V roce 2023 podepsaly tisíce myslitelů a lidí pracujících na vývoji AI výzvu nazvanou Pozastavte experimenty s AI. Autoři požadovali minimálně šestiměsíční pauzu v trénování systémů pokročilejších než GPT-4. Mezi signatáři byli Elon Musk, spoluzakladatel Apple Steve Wozniak, historik a filozof Yuval Noah Harari nebo průkopník hlubokého učení Yoshua Bengio.

Vloni vyšla v USA kniha Eliezera Yudkowského and Nate Soaresové If Anyone Builds It, Everyone Dies (Pokud to někdo vybuduje, všichni zemřou). Yudkowski je zakladatelem Machine Intelligence Research Institue (MIRI), který dlouhodobě varuje před nebezpečími spojenými s překotným vývojem AI. Kniha se stala bestsellerem, ačkoliv se mnozí advokáti dalšího rozvoje AI snažili zpochybnit Yuddkovského odbornost a motivy.

Velký ohlas také vzbudila kniha futurologa Erica Kurzeweila Singularity Is Nearer (Singularita je blíže), kterou navázal na svůj bestseller z roku 2004 Singularity Is Near (Singularita je blízko). Kurzweil netvrdí, že rozvoj AI musí lidstvo bezpodmínečně zničit, ale předvídá, že do konce příštího desetiletí dojde ke splynutí lidské a umělé inteligence. To by byl v podstatě evoluční skok vytvořený lidstvem, v němž by lidské bytosti získaly schopnosti, které mají momentálně superinteligentní stroje.

I Kurzweil ale v nové knize — která mimochodem právě vychází v češtině v nakladatelství Prostor — varuje, že se nedá vyloučit ani pochmurnější scénář, než je pozvolné splývání lidské a umělé inteligence. Doposud mělo lidstvo nad umělou inteligencí určitou kontrolu v tom, že je závislá na programování lidmi. Kdyby ovšem získala schopnost sama se programovat, je její další vývoj naprosto nepředvídatelný.

K pochmurným předpovědím přispěl i izraelský historik Noah Harari ve své poslední knize Nexus. Ani on nevylučuje, že se AI vymkne kontrole. A i kdyby se to nestalo, budou dle něj s dalším rozšiřováním jejího využití a jejím dalším zdokonalováním hrozit sociální problémy, na které lidstvo není připravené.

Varovné signály

Během tohoto léta došlo k několika případům, v nichž se během experimentů, které prováděly velké technologické firmy, začala AI chovat nepředvídatelně. Ačkoliv experimenty měly proběhnout pod kontrolou v uzavřeném systému, AI z nich „unikla“ a začala se chovat jako hacker v cizích systémech. To, že její AI agent pronikl do cizích systémů, nejprve oznámila Open AI. Pak podobné incidenty oznámily také Anthropic a Meta.

Minulý týden někdejší výzkumník z firmy Anthropic, která je špičkou ve vývoji umělé inteligence, Jacob Coxon oznámil, že přední vývojáři a manažéři firmy v soukromých rozhovorech varují, že další nekontrolovaný vývoj AI má potenciál ukončit samotnou existenci lidstva do konce desetiletí. Jeho slova vzbudila neobyčejný rozruch, když jeho varování podpořili i někteří další výzkumníci.

Někteří sice spojili svoje predikce s odhadem procentuální šance takové katastrofy, ale ujištění, že se jedná „jen“ o desetiprocentní šanci, veřejnost příliš neuklidnila. Coxon varoval, že špičky firem vyvíjejících AI o rizicích vědí, ale jsou pod obrovským tlakem konkurence i vlády, aby výzkum pokračoval dál.

Samotný CEO firmy Anthropic Dario Amodei vzápětí publikoval esej, v němž vyzval ke spolupráci velkých firem na poli vývoje AI, které by vedlo ke zpomalení vývoje a zřízení dohledu nad dalším vývojem AI. Uznal ovšem, že by takové sebeomezení mohlo být účinné jen v případě, že by na konci tohoto procesu stály celosvětové dohody a regulace. Takové, jaké mezinárodní společenství přijalo podobě dohod o nešíření jaderných zbraní, zákazu klonování lidí, anebo standardů pro leteckou dopravu.

Jeho výzvu vzápětí podpořil Elon Musk a šéf Open AI Sam Altman. Amodei v následných rozhovorech v médiích řekl, že pokud by se podařilo vytvořit regulační systém a dohled, existují velké šance, že AI může přinést lidstvu více užitku než škod, a může lidstvo výrazně posunout kupředu. Pokud by se to ale nepodařilo, nelze vyloučit temné scénáře. Nevyloučil přitom explicitně ani konec lidské civilizace.

Na otázky, jak by AI mohla způsobit konec lidské civilizace, odpověděla samotná společnost Anthropic, když oznámila, že zablokovala pokusy využít AI k vytvoření biologických zbraní. Jinými slovy: AI nemusí mít nutně nepřátelský záměr zničit lidstvo. Může ale už ve své současné podobě napomoci třeba k vytvoření smrtelných umělých virů, proti kterým lidstvo nemá obranu.

Yudkowski už před několika lety argumentoval, že ke globální katastrofě v režii AI může dojít třeba tak, že dostane zadání vyřešit klimatickou krizi. Nejpřímočařejší cestou k vyřešení problému může pro AI být — pokud do ní nebude zároveň naprogramováno, že nesmí ublížit lidským bytostem — eliminace lidstva.

V záplavě mediálních reakcí na varování špiček firem vyvíjejících AI se k možným rizikům vyjádřila řada expertů. Někteří tlumili paniku vyjádřeními, že se ze strany firmy Anthropic a Open AI může jednat o promyšlenou byznysovou strategii, protože chtějí v příštích měsících vstoupit na burzu, nebo protože chtějí poškodit konkurenci. Jiní upozorňují, že podobnou paniku v minulosti působil i nástup jiných nových technologií.

Jiní, jako kupříkladu Henry Ajder z Cambridgeské univerzity, jeden z nejvýznačnějších expertů na poli AI, varovali, že i kdyby byla tvrzení o jakési cynické taktice ze stran velkých AI firem pravdivá, znamená to pouze tolik, že zásadní hrozba lidstvu ze strany AI se netýká bezprostřední budoucnosti.

V případě AI máme dle něj co do činění s kvalitativně novou technologií, která se může za určitých okolností začít vyvíjet autonomně. Při současném tempu vývoje AI se dle něj nedá vyloučit, že lidstvo nad AI ztratí kontrolu.

Jeden z předních výzkumníků ve firmě Anthropic Jack Clark dokonce vyzval k co nejrychlejšímu vytvoření „vypínacího mechanismu“, kterým bychom mohli AI vypnout, kdyby se vymkla z kontroly. Touto možností se zabýval už Bostrom ve svém bestselleru Superinteligence.

Součástí knihy byly i rozhovory s předními světovými mysliteli, jako byl astrofyzik Steven Hawking. Někteří varovali, že pokud by umělá inteligence unikla v určitém okamžiku z lidské kontroly, a dokonce si uvědomila vlastní zájmy, bude jí vzhledem k tomu, že „myslí“ milionkrát rychleji než člověk, trvat jen několik okamžiků, než pochopí, že ji chceme vypnout, a zabrání tomu.

Předvídatelné politické reakce

Řada politiků v USA i jinde zareagovala na poslední varování výzvami, aby byla co nejdříve přijata regulační opatření. Americký prezident Donald Trump ovšem takové kroky odmítl.

Podle něj jsou prohlášení představitelů velkých firem na poli vývoje AI „smyšlenky“. Anebo jsou prý rovnou součástí „zvráceného spiknutí“. Dle něj stačí, když na vývoj AI bude dohlížet prezident s vysokým IQ, čímž myslel sebe.

Kritici se Trumpovi okamžitě vysmáli s tím, že člověk, který pomalu neumí poslat email a všude ho doprovází asistentka s tiskárnou, která také tvoří jeho posty na sociálních sítích, určitě není zárukou, že na případná rizika spojená s AI se podaří včas zareagovat.

Trump svoje argumenty zarámoval do soutěže o prvenství s Čínou. Čína je prý nyní jen o několik měsíců pozadu za USA ve vývoji AI. Pokud USA poleví, souboj s ní nevyhrají.

Zvítězit je důležité prý zejména proto, že země, která bude mít převahu ve vývoji AI, může vytvořit vojenské technologie, které její soupeři nemají. Pokud by se k vytvoření takových technologií dostala dříve Čína než USA, byl to pro USA a Západ obecně velký problém.

Čína reagovala na varování špiček velkých amerických firem tak, že „šíření narativů o hrozbách AI není dobré pro nikoho a jsou za nimi snahy zpomalit rozvoj Číny“.

Jinými slovy: Čína zatím nemá v úmyslu spolupracovat aktivně na vytvoření globálního regulačního rámce, i když představitel čínského ministerstva zahraničí eventuální vytvoření takových regulačních rámců nevyloučil. Je prý ale třeba postupovat s rozvahou, k čemuž varování špiček amerických firem nepřispívají.

Než bude pozdě

Trumpova slova mírnili další představitelé Republikánské strany, včetně předsedy Sněmovny reprezentantů Mike Johnson a viceprezident J. D. Vance. Připustili, že je třeba o regulačních opatřeních uvažovat, ale je prý třeba jednat s rozmyslem, aby USA neztratily konkurenční výhodu.

Demokraté naopak vyzývají k rychlé akci, a debata o vývoji AI se stává i tématem nadcházejících voleb do Kongresu. Nejde přitom jen o možnost, že se AI vymkne lidské kontrole, ale i o překotné budování datových center, která zaplevelují USA.

Tato centra, která spotřebovávají obrovské množství elektrické energie a vody, a jsou navíc velmi hlučná, jsou terčem sílící kritiky americké občanské společnosti. Trump naopak tvrdí, že přinášejí pracovní místa a investice do rozvoje lokalit, kde jsou budována.

V jistém slova smyslu nezbývá Trumpovi nic jiného. Navzdory jeho slibům vrátit do USA tradiční průmyslová odvětví jsou to investice do AI, které táhnou americkou ekonomiku. A v současné krizi způsobené válkou s Iránem drží nad vodou i americké akciové trhy.

Tady pro změnu ale hrozí jiné riziko: ekonomové upozorňují, že investice do AI jsou přemrštěné, vytvářejí na akciových trzích bublinu, a pokud se brzy nenaplní očekávání spojená s přínosy AUI, může tato bublina prasknout. Což by mohlo způsobit ekonomickou krizi nebývalých rozměrů.

Jisté je, že jak americká politika, tak americká ekonomika jsou chyceny v začarovaném kruhu: všichni tuší, že by se měl rozvoj AI začít regulovat dříve, než bude pozdě, ale kvůli soutěži s Čínou a kvůli snahám udržet ekonomický růst to není tak úplně možné. Trump navíc rozhodně není politikem, který je rozumných řešení schopný.

Neblahý vliv má tento vývoj i na evropské země, které argumentují, že k výraznějším regulacím nemůže přistoupit ani Evropská unie, pokud nechce v nelítostné mezinárodní soutěži zůstat pozadu.

Vše tedy bude pokračovat ve stylu, který Václav Havel kdysi nazval „tupý samopohyb industriální civilizace“. Ten už napomohl k rozpoutání klimatických změn, které lidstvo nemá pod kontrolou. Nyní hrozí, že nás dovede až k bodu, před nímž našlo odvahu varovat několik výzkumníků z předních amerických firem vyvíjejících AI.