Léto přineslo několik milníků. Kromě bezprecedentního sucha a extrémních teplot, které navzdory Macinkovu zrušení klimatické krize nastaly, unikli autonomní AI agenti od společností OpenAI, Anthropic i Meta z laboratorního prostředí a na živém internetu hackovali cizí systémy, vytvářeli falešné identity a šířili malware. Agenti OpenAI se tři měsíce potichu domlouvali na obcházení lidské kontroly, aby pak napadli platformu Hugging Face.

Tento skandál dokonalo zjištění, že Agent od OpenAI pronikl i do australského zdravotního systému Medicare, kde při hledání statistik jednoduše obešel omezení a dostal se k neveřejným složkám. Krátce na to oznámil výzkumník Antropicu Jacob Coxon rezignaci s tím, že na sociálních sítích varoval před překotným tempem vývoje AI, který směřuje k existenciálnímu ohrožení samotného lidstva. Tento sled událostí vzbudil vlnu reakcí politiků a rozvířil celospolečenskou diskusi. Jaká jsou rizika umělé inteligence? A může AI lidstvo skutečně zničit?

Zpátky pod kontrolu

Reakce na tyto incidenty se pohybovaly na škále od zdrženlivých varování až po otevřeně katastrofické scénáře. Vysoký komisař OSN pro lidská práva Volker Türk na zasedání v Ženevě varoval, že obrovská technologická moc a vývoj umělé inteligence se dnes soustřeďují v rukou pouhé hrstky nevolených mužů s téměř neomezeným vlivem. Důrazně upozornil na děsivý rozmach autonomních systémů v ozbrojených konfliktech, které jsou schopny připravovat lidi o život bez jakéhokoli lidského zásahu. Podle Türka jsme se ocitli v okamžiku, kdy algoritmy přijímají fatální rozhodnutí o lidském životě a smrti.

Předsedkyně Evropské komise Ursula von der Leyenová ve svém projevu o stavu Unie označila AI za jeden ze dvou zásadních zlomů naší doby, varovala před riziky sebezlepšujících se modelů a nabídla technologickým firmám jednání o možnostech, jak tempo vývoje nejsilnějších systémů zvolnit.

Finský prezident Alexander Stubb společně s norským premiérem Jonasem Gahrem Størem spustili jako podklad pro zářijové jednání Valného shromáždění OSN v New Yorku mezinárodní výzvu za udržení nejpokročilejších AI modelů pod pevnou lidskou kontrolou. K jejich apelu na zavedení povinných bezpečnostních protokolů, testování a nezávislého dohledu se připojily tři desítky světových lídrů včetně zástupců Evropské komise, Německa či Španělska. Lev XIV. při své návštěvě Paříže v září varoval před ztrátou lidskosti v „ráji strojů“ a zdůraznil, že umělá inteligence musí zůstat ve službách člověka a že musíme zabránit tomu, aby se nestala dalším nástrojem dominance, nespravedlnosti a dehumanizace.

Na druhé straně Atlantiku, v americkém Kongresu, senátor Bernie Sanders spolu s kongresmanem Gregem Casarem představili návrh zákona na úplný zákaz umělé superinteligence a dočasné pozastavení vývoje pokročilých modelů. I když je pojem superinteligence definován spíše vágně, rozumí se pod termínem systém, který svými schopnostmi ve všem překonává lidstvo, přičemž nad ním lidé už nemají kontrolu.

Oproti tomu zaznívaly i další hlasy, které se pokusily závažnost incidentů spíše zpochybnit. Pomineme-li prezidenta USA Donalda Trumpa, který jakékoli regulace či snahy o pozastavení vývoje odmítá a vnímá je jako hrozbu pro americkou konkurenceschopnost, zajímavý pohled nabídl spoluzakladatel a výkonný ředitel francouzské společnosti Mistral AI Arthur Mensch. Ten se nechal slyšet, že současná debata o bezpečnosti AI je do značné míry jen marketingovým tahem a kouřovou clonou. Podle něj američtí giganti jako OpenAI nebo Anthropic řečmi o rizicích kryjí především své vlastní průšvihy. A voláním po regulacích se snaží přibrzdit spíše konkurenci, aby si udrželi monopoly.

Jaderné zbraně, nebo jen „kill switch“

Zda má zakladatel Mistralu pravdu a ze strany amerických gigantů jde jen o chladný marketingový tah, nebo zda vývojáři skutečně prožívají upřímné zděšení, ovšem není tak podstatné jako to, co se reálně stalo — a co se přímo před našima očima děje dál. Žijeme v realitě, kde plně autonomní zbraně bez lidského zásahu zabíjejí lidi v ozbrojených konfliktech.

Jeden z katastrofických scénářů počítá s tím, že by superinteligence mohla způsobit jadernou katastrofu tím, že autonomní zbraně s AI cílením záměrně zasáhnou jadernou infrastrukturu. Již nyní se agenti umí potají domluvit a autonomní zbraňové systémy se v konfliktech také dnes již používají.

Další katastrofický scénář můžeme dát s nadsázkou do souvislosti s citlivými zdravotními informacemi, ke kterým se AI nelegálně dostala. Ten druhý katastrofický scénář se totiž týká vývoje biologických zbraní pomocí AI. Ano, je to nadsázka, ale ne zas až tak úplně lichá.

Třetím scénářem, a za mě tím nejpravděpodobnějším, je útok na kritickou infrastrukturu. Pokud se systémy dokázaly bez vědomí svých tvůrců potichu domlouvat na obcházení pravidel a následně zaútočit na platformu Hugging Face, nepotřebujeme bujnou fantazii k představě, jak snadno by to šlo i jinde. V prosinci 2025 proběhl v Polsku koordinovaný kybernetický útok, který zasáhl přes třicet větrných a solárních elektráren i velkou teplárnu. Útočníkům se podařilo na dálku poškodit řídicí jednotky s cílem systémy vyřadit z provozu. Rozsáhlým výpadkům energie v mrazivém počasí se tehdy zamezilo jen díky záložním mechanismům sítě. AI agenti hrají a budou v takových případech svou roli čím dál častěji.

Jak vypadá odříznutí od digitálního světa a jak snadné je takový „kill switch“ aktivovat, ukázal Donald Trump, když se rozhodl potrestat soudce Mezinárodního trestního tribunálu (ICC). Na základě prezidentského výnosu z února 2025 uvalily Spojené státy sankce na devět z osmnácti soudců ICC. Prakticky je deplatformizovaly — tedy odpojily je od klíčových digitálních služeb. Soudci ze dne na den nemohli používati kreditní karty, bankovní účty, platformy jako Amazon či Google, e-mailové účty, rezervovat si cestovní lístky a v některých případech získat zdravotní pojištění.

To vše bylo následkem jediného lidského rozhodnutí, které dopadlo na hrstku jednotlivců. Teď si ale představme výpadek, který by takto naráz zasáhl platební karty, komunikaci i rozvodnou síť celé společnosti. Přičemž Evropa je z více než osmdesáti procent závislá na zahraničních dodavatelích digitálních služeb.

Tyto incidenty ukazují, že hrozby spojené s nekontrolovanou autonomní AI nejsou hypotetické a mají racionální opodstatnění. Jde o bezprostřední a reálná bezpečnostní rizika, na která světoví politici, parlamenty i mezinárodní instituce po celém světě reagují s neskrývanými obavami a oprávněnou naléhavostí.

Hnutí PauseAI a budoucnost

Na domácí politické scéně je situace o poznání smutnější. Téma není evidentně politicky atraktivní. Jeden z mála českých politiků, kteří o umělé inteligenci a jejích rizicích otevřeně a opakovaně hovoří, je prezident Petr Pavel. Před riziky AI varoval loni na summitu v Paříži i nedávno na Valném shromáždění OSN v New Yorku. Vývoj AI tam přirovnal k projektu Manhattan, jehož cílem bylo vyvinout a postavit první atomovou zbraň.

Pavel zdůraznil, že pokud technologický vývoj předchází nastavení pravidel dohledu a řízení, hrozí, že budeme řešit následky až ve chvíli, kdy bude příliš pozdě. Tuhle paralelu vnímám obdobně. Teprve až si naplno uvědomíme, jaké nebezpečí neřízený vývoj představuje, začneme k vývoji superinteligence přistupovat se stejnou přísností jako k jaderným zbraním. Obávám se však, že k tomuto zjištění společnost dospěje, teprve až se stane něco hodně ošklivého. A je otázkou, zda to půjde vůbec zastavit.

Já jako politička vidím AI a její překotný vývoj jako bezprostřední a reálné riziko, nad kterým nelze zavírat oči. Stejně jako klimatická krize je vstup a působení AI naprosto klíčovým faktorem, který ovlivní další vývoj lidstva. A nedivím se, že stejně jako v oblasti klimatické spravedlnosti se rodí studentská hnutí, která upozorňují na dopady AI.

Proto vítám a plně podporuji studentské hnutí PauseAI a jejich iniciativu Monday for Future. Protože „Monday for Future“ je dost možná nové „Fridays for Future“. Tito mladí lidé připomínají, že se o naší budoucnosti nesmí rozhodovat ‚bez lidského dohledu‘. Pozastavit neřízený závod v oblasti AI, vymáhat přísnou bezpečnost a udržet technologii ve službách lidí není projev zpátečnictví — je to naše základní politická i lidská povinnost.