Moderní technologie se stále více vymykají kontrole. Nikdo k nim nemá šém

Jiří Pehe

Varování odborníků před zbrklým vývojem umělé inteligence jsme oslyšeli. Nyní politici bagatelizují predikce, že AI může zničit lidskou civilizaci. Úspěch v technologických závodech totiž vůdcové globálních velmocí stavějí nade vše.

↗
Už legenda o golemovi promýšlela otázku, co se stane, když se lidský výtvor vymkne kontrole. Repro DR

Ve známé pražské židovské legendě vytvoří Rabi Löw golema nadaného nadpřirozenými schopnostmi. Kontrolovat ho lze s pomocí šému, který se vkládá golemovi do úst.

V oblíbeném českém filmu Císařův pekař a Pekařův císař je šém kulička, která se golemovi, což je monstrum uplácané z jílu a opásané kovovými obručemi, vkládá do důlku na čele. Ten, kdo šém do hlavy golema vloží, má nad ním kontrolu a golem vykonává jeho příkazy.

Ve filmu se nejprve pokusí golema oživit císař Rudolf II, ale neuspěje. Šém v podobě kuličky se nakonec dostane do rukou pekařovi Matěji, který po záměně pózuje jako císař, a alchymistovi Scottovi, kteří ho oživí.

Vše má nakonec dobrý konec. Matěj dokáže v duchu budovatelského vyznění filmu golema spoutat a využít jeho nesmírnou energii v pekárně ve prospěch prostých lidí.

Mocný homunkulus se vyskytuje už v dřívějších legendách, které spolu s tou pražskou vyjadřují přesvědčení, že člověk jednou dokáže ovládnout nejen mocné síly přírody, ale i síly, které jsou považovány za nadpřirozené. Jenže tyto legendy obsahují i varování.

V jedné z nich Rabi Löw oživí golema, zapomene na něj a v pátek večer odejde do synagogy, aby oslavil šábes, načež golem začne v jeho nepřítomnosti ničit dům. Služebná rabína přivolá a tomu se podaří z golemových úst vyjmout šém. A jelikož se tak stane během židovského svátku, golem se rozpadne na prach, přičemž se zázračně uzdraví rabínova nemocná dcera. Náboženství je v této legendě nakonec silnější než golem.

V jiné legendě se Löw začne moci golema děsit. A raději ho nakonec uloží na půdě Staronové synagogy. O tom, že se lidé z obav Löwa nepoučili, svědčí i to, že golema na půdě synagogy i jinde později hledali různí lidé, kteří ho chtěli oživit a využít jeho moci.

Golem je tedy nakonec ve všech legendách i ve zmíněném filmu zkrocen. Varování, že si člověk hraje vytvořením golema s ohněm, ale zůstává.

Německý filozof Martin Heidegger ve slavné přednášce Otázka po technice z roku 1935 golema sice nezmiňuje, ale jeho varován se nese v duchu podobném tomu, který najdeme ve zmíněných legendách. Totiž že nadvládu nad lidským světem může postupně získat technověda vytvořená člověkem.

Jinými slovy, že technověda, která se vymkne lidské kontrole, se začne chovat jako subjekt s vlastními zájmy, pro něhož jsou lidé jen nástrojem k uskutečnění těchto zájmů. Změní „lidský svět“ i tím, jakým způsobem odkrývá svět.

Václav Havel, který vycházel částečně z Heideggera, varoval před „tupým samopohybem industriální civilizace“. Pokud lidská civilizace podle něj nezíská zpět kontrolu nad výdobytky industriální civilizace, včetně vědy a techniky, nemusí to s ní dopadnout dobře. Nabádal, aby se industriální civilizace, reprezentovaná v jeho době především Západem, začala chovat jako subjekt, který přistupuje k ekonomickému rozvoji a pokroku technovědy odpovědně — a má ho pod kontrolou.

Šém se ztratil

To se nepodařilo. Zůstaneme-li u příměru s golemem, lze konstatovat, že lidstvu se v podobě moderních technologií, především umělé inteligence, podařilo skutečně vytvořit cosi jako „golema“, jenže se stále častěji zdá, že ten se vymyká z kontroly. A že nikdo nemá šém, kterým by ho bylo možné zastavit.

Uveďme několik příkladů. V létě tohoto roku varovalo několik vývojářů umělé inteligence, že firmy, které AI vyvíjejí, ji nemají plně pod kontrolou a že za určitých okolností může AI vyhubit celé lidstvo. Okamžitě se vyrojili kritici těchto prohlášení, kteří tvrdili, že jsou buď přehnaná, anebo jsou dokonce součástí jakési byznysové strategie.

Prezident Spojených států dokonce označil taková tvrzení za uměle vyvolávanou paniku, jejímž cílem je zpomalit vývoj AI v USA. Řekl, že zárukou bezpečnosti je on sám. Později přeci jen svolal schůzku se šéfy největších společností na poli vývoje AI, aby veřejnosti poté sdělil, že USA v podstatě nemohou vývoj AI regulovat, protože by prohrály závody s Čínou.

Obavy z toho, co může další neregulovaný vývoj AI přinést, posílilo i několik konkrétních incidentů, které se odehrály v létě. Během experimentů, které prováděly velké technologické firmy, se AI začala chovat nepředvídatelně.

Ačkoliv experimenty měly proběhnout pod kontrolou v uzavřeném systému, AI z nich „unikla“ a začala jednat jako hacker v cizích systémech. To, že její AI agent pronikl do cizích systémů, nejprve oznámila Open AI. Pak podobné incidenty oznámily také Anthropic a Meta. Postupně se začaly ozývat i některé státy, jako Austrálie, kde agenti AI napadli a ochromili informační systémy státní správy.

Nejnovější vlnu společenské paniky, která se týká moderních technologií, spustil totální kolaps letecké dopravy v USA. Zrušeno bylo více než 11 tisíc letů, byl postižen více než milión lidí.

Za kolapsem údajně stál zastaralý router na malém letišti v Arkansasu. Když se ho technici snažili vyměnit za modernější, došlo prý k poruše.

Skutečnost, že výměna jednoho jediného routeru na malém letišti v USA může ochromit celý obří a složitý systém, má značnou vypovídací hodnotu. Ukazuje se, že lidstvo vybudovalo a dál buduje komplexní systémy, založené na moderních technologiích, ale stále častěji se ukazuje, že je nemá pod kontrolou.

V USA se okamžitě vyrojila spousta konspiračních teorií. Podle některých jde opět o nepřiznaný útok agentů AI nějaké firmy. Podle jiných o hackerský útok ze zahraničí. Další tvrdí, že kolaps je byl záměrně způsoben vládou USA, která ho nějakým způsobem zneužije k politickým účelům.

Reakce prezidenta Trumpa na bezprecedentní výpadek byla symbolická: je to prý „život“, takové věci se stávají. A pokud za kalamitu někdo může, je to prý bývalá administrativa Joea Bidena, která neinvestovala dost peněz do modernizace.

Další varování

Kolaps letecké dopravy v USA není jediným případem, v němž se moderní technologie vymykají kontrole nebo nepředvídatelně selhávají. Jsme svědky stále častějších hackerských útoků, v nichž evidentně hraje roli využití AI.

Před měsícem musela velká část supermarketů ve Francii vyhodit tuny zmrazeného jídla poté, co hackeři, možná prý z Iránu, ochromili její mrazící systémy. Hackeři, tentokrát údajně ze Severní Koreje, pro změnu ukradli více než 6 miliard dolarů v bitcoinech. A Evropa je skoro každý den v rámci hybridní války vystavena hackerským útokům z Ruska.

Jen několik dní před kolapsem letecké dopravy zkolabovaly některé funkce Microsoftu, takže milióny lidí, používající software firmy, ztratily přístup k emailu.

Těsně po kolapsu letecké dopravy došlo k velkým výpadkům bankomatů a dalších bankovních služeb napříč Spojenými státy. Problémy hlásila i firma Apple.

Před několika dny byly ochromeny dokonce i zdánlivě dokonale zabezpečené systémy vnitřní komunikace v Národní bezpečnostní agentuře, která dohlíží na kontrarozvědku. Tento systém přitom obsahuje informace v režimu nejpřísnějšího utajení.

Reakce politiků na tyto incidenty je pozoruhodná. Ve Francii i jinde v Evropě by si firmy i občané prý prostě měli dávat lepší pozor, zda dálkové ovládání nejrůznějších přístrojů před internet nemůže být napadeno hackery. Lidé by prý měli používat jinou internetovou síť pro komunikaci a dálkové ovládaní svých spotřebičů.

V USA se ministr dopravy Sean P. Duffy ke kolapsu letecké dopravy vyjadřoval v duchu Trumpových prohlášení: takové věci se prý stávají a lidé by si měli cenit hlavně toho, že se leteckou dopravu podařilo během několika dní opět zprovoznit.

Vybízel také k větším investicím do modernizace systémů, které fungují v letecké dopravě, přičemž z toho, že je infrastruktura zastaralá, obvinil demokraty. Co na tom, že republikáni už dva roky ovládají nejen Bílý dům, ale i obě komory Kongresu.

Ministr pro národní bezpečnost Markwayne Mullin, který před několika měsíci nahradil nekompetentní Kristi Noemovou, podezřelou z korupce, tvrdil, že jeho úřad má vše pod kontrolou. Úspěchem prý je, že při rozsáhlém výpadku nikdo nezemřel.

Demokraté, kteří v nedávných volbách získali většiny v obou komorách Kongresu, slibují vyšetřování. Jenže to se nepochybně stane předmětem politických tahanic a nezbytná modernizace i nové regulace zůstanou nejspíš na vedlejší koleji.

Demokraté mají přitom takříkajíc „nabito“, protože Trumpova administrativa se krátce po svém nástupu pustila s pomocí Úřadu pro efektivitu vlády, do jehož čela byl jmenován miliardář Elon Musk, do masivního propouštění zkušených úředníků a expertů ve stáních institucích, včetně Federálního úřadu pro leteckou dopravu.

Bude ovšem velmi těžké rozplést různé protekční vazby, které se vytvořily mezi současným Bílým domem a technomiliardáři. Některá rizika plynou přitom přímo z těchto neprůhledných vazeb.

Šéf největší firmy na poli AI a výroby čipů Nvidia Jensen Huang musel nedávno odstoupit ze své funkce poté, co se na veřejnost dostaly zprávy o jeho poměru s čínskou byznysmenkou na poli AI, která zřejmě pracovala pro čínské špionážní služby.

Existuje podezření, že Čína tak mohla získat informace o technologiích, k nimž kvůli různým omezením nemá komunistický režim normálně přístup. Trump tato obvinění zlehčuje, dokonce se přimlouvá za návrat Huanga do čela Nvidie.

Co se děje

Barvité detaily, které zaplavují západní média, když reportují o nových a nových technologických selháních a výpadcích nebo aférách, jako je ta Huangova, by neměly zastřít skutečnost, že máme co do činění s mnohem závažnějším problémem: kontrola nad pokročilými technologiemi, které lidstvo vytváří údajně kvůli svému většímu komfortu, se lidem vzdaluje.

Rozjetý vlak není schopný nikdo zastavit nebo třeba jen zpomalit. Několik let stará výzva předních světových myslitelů, aby byl vývoj AI na určitou dobu zastaven s tím, že je třeba najít regulační rámce, zůstala nevyslyšena.

Jak už bylo řečeno, vývoj AI podle amerického prezidenta prý nelze více regulovat, protože by to poskytlo výhody Číně. Debata o různých kalamitách, jako je kolaps americké letecké dopravy, se nakonec utopí ve vzájemném politickém obviňování.

Mezitím golem sílí a z dobrého sluhy se začíná stávat zlý pán. Účinná řešení mohou přitom být pouze nadnárodní, protože moderní technologie fungují globálně. Jenže svět je dál rozparcelován do různých politických režimů, vede se několik válečných konfliktů.

I v nich se nové technologie začínají používat bez větších restrikcí. Ve válce mezi Ruskem a Ukrajinou se stále více využívají drony podporované AI, zpravodajské informace získané ze satelitů a navádění střel s pomocí internetu. Je příznačné, že jednu z válečných stran může fakticky ochromit miliardář Musk, který ovládá satelitní internetovou síť Starlink, jakož i její vojenskou odnož Starshiled.

Překotný rozvoj nových technologií je ospravedlňován tím, že přinášejí lidstvu prospěch a činí náš život komfortnějším. Což je nepochybně v řadě oblastí, jako je zdravotnictví, pravda.

Zároveň se ale část moderních technologií stále více vymyká lidské kontrole. Nedávný kolaps americké letecké dopravy nebo hackerské útoky agentů AI jsou jen prvními varováními před mnohem vážnějšími kalamitami, které lidstvu technologie, nad nimiž jsme ztratili kontrolu, připraví.

Diskuse
JP
November 20, 2026 v 11.55
Technověda versus odcizení

Je zajímavé, jak se pocit lidstva pro akutní nebezpečí mění s časem, a vysloveně s "módou". Už o tom zde několikrát byla řeč. Objektivně nesrovnatelně větším nebezpečím pro vůbec holé přežití lidstva je stále ještě nasazení atomových bomb, případně bakteriologických zbraní. (Stále ještě není definitivně vyvráceno podezření že epidemie covidu s miliony mrtvých byla zapříčiněna únikem z čínské výzkumné laboratoře.) A oproti tomu stojí "katastrofa" z roztálých mrazicích regálů nebo určitého množství zpožděných letů! Nemluvě o klimatické hrozbě, která je stále ještě mnohem vyšší nežli všechna možná nebezpečí pramenící z AI.

Ale vraťme se k Heideggerovi (a Havlovi) a hrozbě "technovědou". Ano, tato hrozba nepochybně existuje, je to další součást ve skládance všeho toho co stále více dehumanizuje lidský svět. Jenže - tato heideggerovská hrozba technovědou ani zdaleka nedosahuje té míry odcizení, odosobnění lidského světa jako ty struktury kapitalismu, který ve svých analýzách popsal Karel Marx. Tyto struktury, tyto procesy odcizení totiž leží ještě mnohem hlouběji, nežli ta heideggerovská "technověda".

Jenže právě v tom je ten problém: rizika ze řetězu utržené techniky si dokáže tak nějak představit dnes už víceméně každý; zatímco pochopit ty Marxem analyzované dehumanizující struktury a procesy za kapitalismu, to vyžaduje už vysokou míru poznání těchto skrytých procesů, takovéto poznání se zcela vymyká běžnému lidskému pohledu. A tak místo toho aby lidstvo veškerou svou pozornost soustředilo na odstranění, eliminování veškerého odcizení, dehumanizování pramenícího ze struktur kapitalismu, tak místo toho se celá pozornost odklání na pouhou technovědu.

Mimochodem: zdaleka větší nebezpečí související s novou technikou bych neviděl v jejím - občasném - selhání (je už v povaze techniky že tu a tam selže), nýbrž v něčem co si dnes sotva kdo uvědomuje: totiž v akutně hrozící naprosté ztrátě soukromí už v dohledné budoucnosti. Přijde totiž čas kdy si nikdo nebude moci být jistý jestli ten nepatrný bzučící objekt který mu vlétl do bytu je skutečně obyčejná živá moucha, anebo ale špionážní dron řízený umělou inteligencí. Orwellovský svět totální kontroly stojí před dveřmi; a bude zřejmě mnohem účinnější nežli jakákoli kontrola prováděná pouze člověkem. Osobně jsem velmi rád, že tyto poměry se mě (snad) už nebudou týkat.