Až stroje povedou válku proti lidem
Jakub KoláčekŘada vědců věští budoucí autonomii strojů. Některé z těch vizí znějí nereálné. Možná však děláme chybu v tom, jak si takový zlom představujeme. Dostane se člověk přeci jen do války se stroji? Víkendová úvaha Jakuba Koláčka.
Vzbouří se umělá inteligence proti lidstvu? Pokusí se je zničit pomocí robotů terminátorů, nebo zotročit, jak to známe ze série Matrix? Toť otázka, která se zabydlela v západní společnosti. Příklady podobných popkulturních úvah jsou nesčetné. Mnozí věří, že je vznik umělé inteligence nevyhnutelný. I Stephen Hawking se nechal slyšet, že lidstvu hrozí zkáza ze strany strojů.
Nikdy jsem tomu nevěřil. Taková víra podle mě plyne z malého pochopení podstaty světa a jeho struktury. A také z nepochopení místa člověka a jeho vědomí či ducha (nazvěte si to, jak chcete) v něm. Nevěřím tomu, že stroje někdy budou schopny nezávislé existence, tj. že si budou schopny samy zajistit podmínky své existence.
Stroj je ze své podstaty hloupý. Toto hezké lidské slovo se ke stroji snad ani nehodí, ale obecně jej používáme pro to, co selhává, a proto jej snad použít lze. Stroj je hloupý nikoliv proto, že by mu chyběl výpočetní výkon, ale proto, že je mechanický. Chybí mu tvůrčí síla, schopnost přesáhnout sebe sama, totiž přesáhnout to, co je, ve prospěch toho, co ještě není.
Stroje jsou vytvořeny z materiálu, ze jsoucího, které podléhá zkáze (říká se tomu koroze), a každý stroj se proto časem rozpadne a rozbije. Rozdíl je ontologický. Nelze jej překonat tím, že se ke stroji přidá něco dalšího (jsoucího), že se zvýší jeho výpočetní výkon nebo výkon jeho baterie. Stroj sestává pouze z toho, co je, a chybí mu jakýkoliv element toho, co ještě není, snad kromě určité omezené sekvence či programu, který do něj vložil jeho pán a tvůrce, člověk.
Proto je stroj ze své povahy závislý na svém stvořiteli — člověku, a to podobně, jako je člověk sám závislý na čemsi okolo, na určitých podmínkách své existence, které si sám nezajišťuje a které netvoří, ať už je to slunce, které svítí, déšť, který padá k zemi, či běh života a smrti (opět, nazvěte si to, jak chcete). Takové je místo stroje v řádu světa a bytí a takový je důvod, proč umělá inteligence v jejím naivním pojetí není možná.
Spirála dronu
Avšak, třeba je přece jenom možné, že se Stephen Hawking a jiní proroci nadvlády strojů nad lidstvem tak docela nemýlí. Operátor amerických dronů Brandon Bryant se omluvil za to, že zabil asi 1600 lidí. Jaký je smysl tohoto příběhu?
Drony jsou prakticky — z pohledu výše zmíněných proroctví o umělé inteligenci — jednou z ideálních technologií, jejíž rozvoj by měl směřovat ke vzniku autonomních strojů, které se někdy později chopí vlády. Jedná se o vysoce sofistikované přístroje, které plní pradávný lidský sen, létají, a mohou se tedy pohybovat volně v prostoru, disponují smysly — kamerou, pozičním systémem a různými jinými druhy detekce — a dokonce jsou schopny celkem samostatně vykonávat jedno z nejpradávnějších řemesel: ničení a zabíjení.
Operují zcela nezávisle a efektivně, pouze musí být řízeny z určité centrály. Posledním zásadním proeblémem umělé inteligence je toto řízení, ovládání (vzhledem ke stále se rozvíjející výpočetní technologii se to může jevit jako relativně malý problém). Drony by snad bylo možné spojit třeba s nadšeně vítanou google technologií samostatného navádění automobilů po městě (nebo něčím podobným). Role člověka je tu už teď poměrně minimální. To dokazuje i koneckonců i fakt, že jeden dokáže zabít šestnáct set.
Poroste-li tato efektivita podobným tempem, jako výpočetní výkon našich procesorů, můžeme se za pár let dostat třeba na dvacet tisíc a bude-li se pomyslná křivka své asymptotě dále přibližovat, měl by — podle této logiky — člověk časem z celého procesu zmizet docela. Vyjádříme-li myšlenku pomocí karikatury, na konstantní počet mrtvých by měly časem postačovat vojenské hodnosti od plukovníka výše, po delší časové periodě pouze generálové a nakonec jenom členové kongresu, popřípadě samotný americký prezident, který by byl jednoho dne nepozorovaně nahrazen velkým počítačem IBM. Brandon Bryant, jeho zlé sny a veškeré morální otázky by se pak staly věcí minulosti.
Co když však role člověka v této věci není tak docela náhodná a postradatelná? Co když americký voják v celém příběhu figuruje právě kvůli tomu, že stroj se bez svého člověka nemůže obejít? Budeme-li trvat na tom, že stroj autonomní být nemůže, zdá se to být zcela logické. Stroj nedokáže sám operovat v komplikované a nepřehledné situaci a nedokáže se sám dostatečně dobře — jaká to škoda pro jeho strůjce — strefovat do svých terčů a odlišit člověka kupříkladu s kosou od člověka s protitankovou střelou či svatební průvod od průvodu teroristického, tím spíše potom když tito lidé — z jeho pohledu chaoticky — stále někam prchají a někde se ukrývají (že to příliš dobře nedokáže ani stroj řízený operátorem a dokonce ani řízený přímo z kokpitu je pak otázka jiná, ta však obdivovatele moderní války nikdy příliš netrápila).
Člověk-ovladač
Z výše uvedeného důvodu stroj potřebuje svého operátora, který se dokáže strefovat alespoň s určitou úspěšností, jinak by byl i pro nejmocnější armádu světa k nepotřebě. Není zkrátka jako google-auto, které se může spoléhat na to, že se pohybuje v uspořádaném prostoru ulic velkoměsta a všichni s ním — protože je to koneckonců auto, které má v naší společnosti vysoký status — ochotně spolupracují (čímž vlastně crowdsourcuje nezbytnou míru lidského činitele ve své pseudo-inteligenci).
Co když však deficit kreativní inteligence a vrozená hloupost nemusí být pro stoje vlastně překážkou jejich vlády? Zkusme si představit alternativní scénář. Onen budoucí matrix nevznikne revolucí, náhlým vzplanutím ducha někde v síti tranzistorů a následnou válkou s lidstvem (toť zastaralá, příliš lidská, romantická představa), ale pomalou, nenápadnou evolucí.
Novodobý matrix nebude vysávat tělo člověka kvůli energii (ve slavném filmu je to nakonec asi ta nejvíc nelogická myšlenka), ale jeho inteligenci. Lidé nebudou uzavření v plexisklových kójích, s trvalou kontrolou vědomí a životních funkcí, ale budou se pohybovat zcela volně a svobodně. Rozhraní mezi nimi a stroji bude takřka imateriální. Bude jej tvořit jenom jedna malá věc s tlačítky, umístěná vně člověka, nazvěme ji ovladač. Bude jich mnoho druhů, ale jeden malý bude mít každý stále při sobě. Skrze ovladače získají stroje trvalý zdroj toho, co jim bytostně chybí. Člověk jim propůjčí svou inteligenci a tvůrčí schopnosti, aby mohly žít a prosperovat. Bude je ovládat.
Nebo alespoň bude mít takovou iluzi. Bude ovládat, čímž bude ovládán a bude sloužit, což je z hlediska strojů geniální tah, neboť tímto trikem stroje dosáhnou skutečné hegemonie nad člověkem. Lidé budou sedět v kancelářích a chodit po ulicích a každý z nich bude v ruce spokojně držet svůj ovladač, aby byl stroji stále na povel a aby byl nablízku, kdyby snad bylo třeba udělat nějaký úkon nebo rozhodnutí, kterého stroj není schopen.
Člověk bude ovládat své vládnoucí stroje při získávání všeho, co potřebují ke svému životu. O co si stroje řeknou, dostanou — černé zlato, stříbro, kobalt, kadmium a neodym. Na vodu, půdu a vzduch získají absolutní právo. Bez ohledu na to, jak hluboko pod zemí, v nitru hory, či ve středu pralesa se ta která věc nachází, člověk poslušně a ochotně nasměruje jejich vrtné hlavice a jejich potrubí tím správným směrem. Rozprostře stroje po celé zemi, vše jimi zaplní, vše jim podřídí a vše na nich učiní závislým.
Zbývá pak doplnit onu povinnou, dramatickou část příběhu: Několik lidí z několika málo zemí — a budou to ti, kdo v ovládání nevíce vyniknou a nejvíce si je zamilují — si stroje vyberou pro svoje vybrané účely, na vážené a privilegované pozice. Tito lidé pak získají určitou výsadu: jejich iluze, že ovládají, a jejich služba strojům bude vůbec ta největší. Budou plánovat ta nejdůležitější rozhodnutí, jak strojům prospět. Hrstka z nich se pak uplatní v jejich válce proti lidem. Ne proti všem, neboť, jak bylo ukázáno, přinejmenším omezený počet lidí tento systém bude muset stále využívat a zaměstnávat, ale proti vybraným lidem. Němé létající predátory budou likvidovat pouze ty, kdo by snad měli něco proti nadvládě strojů, nebo jí stáli v cestě.
Válka o subjektivitu lidstva
Podřízení člověka rozsáhlým mechanickým strukturám, které neovládá a které jej okrádají o jeho lidství, je jedním z notoricky přítomných témat modernity — podobně jako jeho uvěznění v pasti představ a myšlenek, které jsou mu podsouvány z vnějšku, aby jej udržovaly v nevědomosti. Proti všemu optimismu věstícímu brzkou vládu osvíceného rozumu i bohatství národů je záhy po jejím začátku vyzdvihl Karl Marx, na nějž navázala kritika kapitalistického systému, odcizení a ideologie. Téma zajímalo a fascinovalo ale i tak odlišné myslitele jako byli Foucault nebo Heidegger.
Že by se stroje mohly nakonec stát pomyslným subjektem tohoto procesu, a to aniž by získaly jakousi imanentní inteligenci a s ní i skutečnou subjektivitu, ale prostě jen tím, že by se na základě mechanického principu staly jeho konečným hegemonem — nebo že se toto všechno dokonce již děje — může vypadat jako fantastická a nereálná představa. Může se zdát, že pouze odvádí pozornost od hlavního aktéra toho všeho, lidí.
Na druhou stranu, většina těch nejničivějších zásahů do naší biosféry probíhá kvůli výrobě strojů a jejich udržování v chodu. Jejich množství a pole působnosti se neustále rozšiřuje, podobně jako rychlost jejich obměny. Prostý ekonomický, ale i sociální tlak takřka znemožňuje se tomuto trendu vyhnout (otázka přechodu na novou technologii skutečně není příliš demokratická).
Co víc, stroje též v poslední době jako by promlouvaly ústy lidí do našeho světa a vkládaly do něj svou vlastní logiku. Je to logika institucí, které bezezbytku vyhovují imperativu efektivity, a jednotlivců, kteří se snaží, jsou schopni přizpůsobit se a reagovat na procesy, k nimž není alternativa. Současně zaznívají hlasy namířené proti těm, kdo se přizpůsobit nedokáží či nechtějí.
Bez ohledu na to, zda nakonec skutečně vedeme válku o svoji subjektivitu, možná bychom si na to vše mohli vzpomenout, až bude chtít opět někdo otevírat nová ložiska, prolamovat limity, stavět nové dálnice, výrobní haly a průplavy či až nám bude opět někdo vehementně vnucovat nové přístroje a technologie s tím, že vyřeší naše problémy. Vždy zde totiž bude otázka, co je tou poslední instancí, které se máme přizpůsobit.
Nicméně abychom se vrátili na začátek naší úvahy: pokud v budoucnosti ke vzpouře techniky proti člověku dojde, domnívám se, že bude vypadat právě takto — bude probíhat pozvolna a budou se na ní přímo podílet lidé. Mýty o vzniku myslících robotů a vědomých superpočítačů, ony příběhy o terminátorech a matrixech slouží pouze k odvedení pozornosti od toho, co už tu je v určité formě přítomné. Koneckonců… natáčejí a vysílají je stroje.
A je to v podstatě nevyhnutelný proces: člověk je totiž v podstatě veden svou pohodlností. Svou snahou usnadnit si svou existenci, jak je to jenom možné. Stroje tuto úlohu splňují, usnadňují mu jeho - vnější - život; ale za to jim člověk musí platit daň, tím že se jim sám přizpůsobí. Za jejich službu jim dává svou duši. Je to svým způsobem jako smlouva doktora Fausta s ďáblem.
Jediné východisko je v tom, opustit tuto cestu pohodlnosti, a vrátit se na - anticko-křesťanskou - cestu vlastního úsilí, nepřestávající péče o vlastní duši.
A lidé svoji inteligenci rozmělňují mezi stroje tak nějak od doby co vynalezli písmo.
Věda i filosofie se ale už ve svém chápání světa posunula mnohem dál. Podle Chomského dokonce i ten Newton, kterému je "mechanistické paradigma" mnohdy podsouváno, právě tento "kopernikánský" pohled na svět vyvrátil. I podle něj jsou totiž na světě záhady, které věda není s to rozluštit či pochopit. I podle Newtona jeho mechanika popisuje a vysvětluje pouze část fenoménů, zatímco jiné, včetně "podstaty" gravitace, jsou mimo naše chápání.
Byl to ale zejména Darwin a jeho idea evoluce, ze které se zrodil pohled nový, který zhruba od 60. let 20. století začaly rozvíjet vědy zabývající se zpětnými vazbami, složitými systémy, komplexitou a pojmy jako samo-organizace, autopoiesis a auto-reference. Tento pohled vidí vesmír jako neustále se vyvíjející, neukončený a otevřený do budoucna.
Pokud se opravdu současný vesmír do současného stavu dostal evolucí, stejně jako se evolucí vyvinul člověk a všechny ostatní organismy, proč by nebylo možné uvažovat o evoluci strojů? Základní podmínkou přitom je, aby takový stroj byl schopný replikovat (vytvořit) sám sebe: aby se mohl množit. Stanislaw Lem tuhle myšlenku rozvinul už v roce 1964 v románu "Nepřemožitelný", kde se na jedné planetě vyskytují hmyzu podobné roje strojů. Velice zajímavá kniha!
Je to schopnost produkce sebe sama, která je základním předpokladem evoluce, stejně jako schopnost učení ze zkušenosti. Když se nad tím zamyslíme, to, že stroje-programy jsou schopné se šířit a adaptovat, to vidíme na evoluci počítačových virů. Schopnost učení mají v té či oné míře různé počítačové programy vcelku běžně. No a když se dostatečně rozvine například technologie 3D tisku, už ani tvorba sebe sama (produkce hardwaru) nebude žádné sci-fi.
Kombinace s miniaturizací se v tomto jeví jako klíčová: proto i Lem nejprve uvažoval o strojích-hmyzu - protože jejich reprodukce a tedy i evoluce (rychlý sled nových generací) je rychlejší. No a když s k tomu přimyslíme urychlení evoluce v různých virtuálních prostředích, kdy k nalezení optimálního/funkčního řešení postačí simulace a teprve následné "testování v reálu", není žádný problém si inteligentní stroje představit. I když by měly spíše inteligenci rostliny či mravence (též četný námět mnoha sci-fi) než člověka.
Přijde mi, že i téma nadvlády, otroctví a kontroly bytostně k modernitě patří, a je jedno zda ve formě sociální kritiky alá Marx, jako náměr sci-fi, anebo třeba v formě konspiračních teorií. Připadá mi to hlavně jako strach ze sebe sama, strach "podívat se pravdě o nás samých do očí". Tak jako Dorian Gray, ani moderní lidstvo selhává v naplňování vlastních požadavků, maxim a pravidel, a pouze to nějak zakrývá. Otrocká práce se tak exportuje do třetího světa, stejně jako znečištění a stejně jako "horké" války (ale ono se to zase vrací, že?).
Spoutat většinu lidstva do nějaký okovů či vězení, podřídit si ostatní jako otroky, dělníky a sluhy, uzavřít ostatní do nevědomosti, jako by stále bylo vlhkým snem všech mocných či moci-chtivých tohoto světa. Proč si tedy tuto touhu nenaprojektovat i do strojů, které nám slouží? Jakoby se každý pán obával toho, že otroci povstanou, že dělníci se sjednotí a znárodní firmy, či že se podstatnější část lidí probudí, prohlédne různé sofistikované vzorce kontroly a disciplinace, přestane dělat to, "co se po nich žádá", a díky tomu se prostě systém založený na vykořisťování druhých rozpadne.
Stručně řečeno: žádný stroj, žádný vůdce, ani žádná umělá inteligence nás před naší vlastní blbostí, nevědomostí a neupřímností nezachrání. Jen proto se inteligentních strojů bojíme: protože by mohli být právě jako my. Bojíme se tedy především vlastního obrazu v zrcadle, pouze vlastního stínu.
Jenom bych doplnil k tomu Asimovovi-ten se tímto tématem vlastně nezabývá, vlastně svou vizí staví na jeho nemožnosti. Před formulací svých čtyř zákonů měl jen tuto naivní větu:
"Stroj nemůže být jiný, než hodný a laskavý. Je tak udělaný."
Z toho vychází, a v rámci těch předpokladů lze jen stěží dospět k něčemu jinému (samozřejmě zcela neřízený evoluční proces by mohl, ale toho strojům jen stěží bude dopřáno).
Jenže my jsme natolik hloupí, že děláme stroje, které nejsou dobré a laskavé, naopak. Tím se Asimovův předpoklad popírá. Ale není to jen navýšení vedlejších ztrát? Nebyla by válka proti strojům zase jen válkou proti lidem? Třeba i těm, kteří jsou sami dávno mrtví?
Stroji sice můžete zadat příkaz, aby zabíjel podle různých parametrů, které bude schopen vyhodnotit, ale bude se čistě řídit jenom tím kódem. To, co jej odlišuje od lidí, je absence amygdaly, části mozku, která zajišťuje emocionální projevy. My lidé můžeme mít z ubližování potěšení nebo hrůzu, řídíme své činy podle toho, jak se nám líbí nebo nelíbí nebo čeho chceme dosáhnout. Stroj ale takové ambice nemá - řídí se jenom tím kódem, který mu říká, kdy, co a jak má splnit.
Zároveň ono kdy, co a jak musí být převeditelné do formálního jazyka - nevím, jak by tam šlo převést "neměj nad nikým slitování" (to by bylo dost redundantní, poněvadž stroj sám o sobě žádným slitováním nedisponuje - takže ani můj notebook nemá nade mnou slitování :)).
Ale jestli se někomu podaří amygdalu naprogramovat, tak svůj názor přehodnotím - ale spíš doufám, že v tu dobu už budu pod kytičkami.
"technologie se "organicky buduje sama ze sebe" způsobem, který připomíná chemii nebo dokonce organický život. A z Arthurovy koncepce vyplývá, že inovace nejsou lineární, ale kombinatorické, to znamená, že jejich motorem je zároveň celá řada nejrůznějších věcí. A nejvýznamnější skutečností ohledně kombinatorních inovací je to, že vyvolávají radikální diskontinuitu, kterou nikdo neočekával."
Možná nás tedy nečeká válka se stroji, ale spíše souboje s vlastními auty a jejich naprogramováním.
Pokud jde o onu projekci zla do strojů jako do zrcadla, je to tak. Člověk ale asi vždy nějaké zrcadlo potřebuje, aby se v něm mohl spatřit. Většinou si projikujeme zlo do někoho, kdo v naší společnosti má moc - korporací, vlád, lidí, kteří je řídí. Tito lidé ale - alespoň z mého pohledu - opět spíše slouží určitému principu, dělají to, co se naučili a co je v daném systému nutné, vlastně nakonec to, co většina z nás, akorát v jiném měřítku. Vede mě to potom k otázce, co je pro tento princip asi nejvíce charakteristické. Zdá se mi, že kromě již dlouho známých negativních vzorců chování, které z člověka činí v té či oné míře bezohledné soutěživé individuum škodící přímo či nepřímo ostatním a páchajícím tak "zlo", je to právě spjatost se stroji a mechanizovaným způsobem života. Člověk nachází největší zálibu právě ve vlastnictví stroje a jeho ovládání a výměnou za to zcela podřizuje svůj život jeho rytmu. A to na individuální i kolektivní úrovni. Tím, že to dělá automaticky, vlastně neovládá, ale je v zajetí. Každé další inovace. Stroje jsou hlavním zpředmětněním bohatství, kapitálem, je to nakonec jejich množství a kvalita, která je předmětem soutěžení, určuje podmínky toho soutěžení skrze vývoj zbraní a přizpůsobení se společnosti určité formě. Z tohoto pohledu mi připadá charakteristické, že se podoba našeho světa nepřizpůsobila hromadné dopravě, ale automobilismu - aby každý mohl mít svůj vlastní kus a těch kusů bylo zároveň co nejvíce. Pokud jde o zemědělství (nevím, zda se dá řící, že jeho podíl na poškození biosféry je "drtivý", ale to záleží na tom, co vnímáme jako největší škody), též ono je mechanizované, což je patrně jednou z příčin jeho ničivosti a člověk díky tomu může trávit většinu svého času se stroji, ať již jako dělník v rozvojových zemích, nebo jako konzument v těch vyspělých. Odstřižení člověka od přírody mechanizací má též možná co do činění s naším postojem k životnímu prostředí a plýtvavým, poživačným způsobem života, který ničivost zemědělství dále umocňuje. Tyto trendy jako by se pak zhruba od příchodu environmentalismu obracely. Objevuje se snaha využívat je rozuměji a omezeně, jen tam, kde je to nutné a prospěšné. Příkladem je třeba bio-farmářství, nebo jízda do práce na kole. Ale to už jsou spíše spekulace a bylo by třeba tuhle otázku lépe prozkoumat.
Vina není rozhodně na straně strojů a nejde o to se jich zbavit. Myšlenka, že stroj je laskavý, mi připadá velmi dobrá. Problematický je asi vztah člověka k nim, zvláště jejich nereflektované používání a rozšiřování do všech oblastí života. Upřednostňování těch stále složitějších (zároveň i náročnějších na výrobu, která se koncetruje na několika málo místech, hůře opravitelných a s malou životností, takže zisk jejich výrobců je stále zajištěn) i tam, kde by stačily jednodušší nebo by jejich obměna mohla probíhat v daleko delším cyklu. Koneckonců mi též připadá, že s tím, jak strojů přibývá, obměňují se čím dál tím víc a rozumíme jim méně, přestáváme si jich cenit, ztrácíme k nim osobní vztah a činíme z nich, navzdory úvahám o tom, že by snad mohly jednou být jako my, jen náš další, stále odcizenější předmět využívání. Mizí zkrátka to - odpusťte mi poněkud sentimentální konec :-) -, co popsal Jiří Wolker ve své básni:
Miluji věci, mlčenlivé soudruhy,
protože všichni nakládají s nimi,
jako by nežily,
a ony zatím žijí a dívají se na nás
jak věrní psi pohledy soustředěnými
a trpí,
že žádný člověk k nim nepromluví.
Ostýchají se první dát do řeči,
mlčí, čekají, mlčí,
a přeci
tolik by chtěly trochu si porozprávět!