Až vás obětuje vaše vlastní auto
Kateřina SmejkalováVše nasvědčuje tomu, že se blíží éra samojezdících aut. Taková technologická revoluce s sebou už s předstihem přináší řadu závažných politických i etických otázek.
Celá řada aktérů spolu momentálně soupeří o to, komu se dříve podaří vyvinout spolehlivé a cenově dostupné auto, které by řídilo samo. Bývá s ním spojována především naděje na radikální snížení počtu mrtvých na silnicích — ročně jich je na celém světě více než milion.
Více než 90 procent z těchto úmrtí je přitom zaviněno lidským pochybením. A právě těmto nehodám by počítače zabudované v autech měly umět předejít.
Největší technická výzva zatím tkví v tom, že silniční provoz je velice komplexní organismus a plodí nepředvídatelné momenty, pro něž nelze auta jednoduše naprogramovat. Výhra počítače nad člověkem v nejkomplexnější hře na světě Go minulý týden však zřejmě značí jistý přelom v podobě využití takzvaných neuronových sítí, které se dokážou na základě zpracováním masivního množství informací naučit správně jednat i v nepřehledných a těžko předvídatelných situacích.
Auta Googlu, jedné z firem, která o prvenství na trhu se samojezdícími auty soutěží, ujela za minulý rok přes půl milionu kilometrů na silnicích a pět milionů kilometrů za každý den v simulátoru. O tom, že průlom se dá tedy očekávat velmi brzy, svědčí přesvědčení Chrise Urmsona, vedoucího inženýra Googlu pro autonomní vozidla, že až dosáhne za čtyři roky jeho nejstarší syn věku, kdy by si mohl udělat řidičský průkaz, již ho zřejmě nebude potřebovat.
Čím je příchod bezpilotních vozidel v krátké době pravděpodobnější, tím více se začíná hovořit o etických dilematech, která s sebou tento vývoj přináší…
Morální hazardování se zabijáckými stroji
Otázky vyvstávají především v souvislosti s tím, jak auta naprogramovat pro případ, že nehodě nebude možné předejít, kupříkladu když do silnice vběhne dítě. Pro lidské vnímání se vše seběhne rychle, chování člověka v takových situacích podléhá reflexům — takové jednání je tím pro nás pochopitelné a jeho důsledky přijímáme. Pro výkonný počítač řídící auto je i zlomek vteřiny dost na to, aby situaci vyhodnotil a učinil rozhodnutí dle svého naprogramování. Nenaprogramovat ho a ponechat dění náhodě jako u lidských nehod dost dobře nelze.
Jak software aut pro takovéto situace nastavit, když podle tohoto naprogramování budou v hraničních situacích rozhodovat, koho nechat naživu a koho zabít?
Nevyhnutelně se tím dostáváme k úvahám o ceně lidského života. Je život dítěte cennější než život důchodce? A má tedy auto místo dítěte, které mu vběhlo pod kola, přejet důchodce na protějším chodníku? Roste cena životů s jejich počtem? A má se tedy auto rozhodnout podle toho, zda je početnější skupina dětí na silnici nebo posádka auta?
Při dodržení základní humanistické premisy, že hodnota každého jednotlivého života je nevyčíslitelná a lidská důstojnost nedotknutelná, jsou všechny tyto otázky nezodpověditelné a řešení nastíněných situací tedy v zásadě nenaprogramovatelné.
Aby sen o samojezdícím autě neztroskotal, uvažuje se nechat auto v krizových situacích rozhodovat losem. Ani takové řešení však není ideální…
Zaprvé se nabízí otázka, zda lidé přijmou autonomní vozidla, která je při nepříznivém losu prostě obětují, nebo zda si budou chtít zachovat právo rozhodovat v kritických momentech sami, jakkoli je toto rozhodování spíše iluzí. Zadruhé pak není jasné, zda by přínos bezpilotních aut převážil i v případě, když by se z nich staly samostatně zabíjející stroje, které beztak jednají v krizových situacích stejně nahodile jako lidé.
Nevyřešené pak také prozatím zůstává, kdo bude formálně odpovědný za škody na majetku, na zdraví či na životě: majitel auta, členové posádky, nebo výrobce?
V souvislosti se samojezdícími auty však vyvstávají i otázky s širším společensko-politickým rozměrem. Každá větší změna způsobu lidské přepravy dosud znamenala i dalekosáhlé společenské zvraty: železnice přinesla osídlení rozsáhlých do té doby neobydlených oblastí, letadlová doprava masový turismus. Autonomní vozidlo je srovnatelnou revolucí.
K čemu lidé využijí čas ušetřený tím, že za ně bude řídit počítač? Dojde k další časové a prostorové flexibilizaci práce s jejími pozitivními i negativními důsledky? Kde budou lidé žít, když bude dojíždění za prací výrazně zjednodušeno? Zastaví se vysidlování venkova? Jakou nezaměstnanost způsobí propuštění profesionálních řidičů a řidiček?
Dojde k redukci automobilové dopravy a tak i škodlivých emisí, když auta nebudou většinu času postávat a čekat na své využití, ale budou moci v době svého nevyužití samostatně dojet jinam? Anebo dojde naopak k masivnímu rozšíření automobilové dopravy v době, když se především řada měst již dávno dostala na hranici únosnosti? Půjde zabránit hackerským útokům podobným těm, které se již nyní dějí například na inteligentní zdravotnické přístroje, kdy je požadováno výkupné, aby začaly opět správně fungovat?
Byznys, jako vždycky...
Jakou roli sehraje v budoucnu tradiční průmysl a jak významnými se stanou internetové koncerny a mladé startupy? Srovnatelný střet stál život tradiční firmu Kodak. Kodaku se desítky let dařilo držet na trhu postupnými inovacemi svých produktů. Vaz jí zlomily až firmy vyrábějící chytré telefony a vůči know-how Kodaku disruptivně se chovající Instagram.
O prvenství ve vývoji dostupného a bezpečného autonomního vozidla soupeří tradiční automobilky jako Daimler, Toyota nebo BMW s internetovými koncerny Google nebo Apple. První jmenované dlouho otálely a projekt považovaly za čiré sci-fi. Druhé jmenované mají nyní náskok i díky tomu, že tradiční firmy více zvažují rizika — už jen kvůli své příkré rozhodovací hierarchii a způsobu financování.
Digitální giganti dnes patří k nejcennějším podnikům vůbec. Mohou si tak s podporou svých odvážných šéfů finančně dovolit investovat i do projektů s velkým rizikem.
Daimler tak pracuje na autě, které by na autopilota přepínalo jen v některých situacích jako v zácpě na dálnici (a tato schopnost by pro začátek byla pouze výbavou nejluxusnějších modelů jako v minulosti airbag nebo parkovací pomocník). Google naproti tomu směřuje k vývoji absolutně autonomního vozidla, které by bylo okamžitě dostupné všem.
Pokud se jednomu z internetových gigantů podaří vyvinout fungující software pro bezpilotní auta, mohly by se tradiční automobilky stát pouhými dodavateli hardwaru. V situaci, kdy jsou již nyní digitální koncerny nejdražšími firmami světa a drží v řadě oblastí monopol, je tento scénář zneklidňující.
Zneklidňující je i otázka, zda je skutečným cílem Googlu bezpilotní auto jako takové, nebo zda nemají projevy o proměně světa k lepšímu odvést pozornost od úplně jiného cíle: sběru zpeněžitelných dat chytrými automobily.
Auta Googlu se budou pohybovat podle Google Maps. S jejich pomocí bude jednoduché navést řidiče či řidičku za patřičnou provizi k určitému servisu, hotelu nebo restauraci. K riziku zneužití osobních dat státem se přidává i stejná hrozba ze strany internetových gigantů. Řada vědců a vědkyň zabývajících se výzkumem totalitních režimů začíná již nyní mluvit o nastupujícím „technologickém totalitarismu“.
Vývoj samojezdících aut se neodehrává ve vzduchoprázdnu. Úzce se dotýká etických i politických otázek, na které bychom měli jako společnost zkusit najít odpovědi dřív, než se první bezpilotní auto rozhodne obětovat vězně na vycházce, který mu z nepozornosti skočil pod kola, za záchranu profesorky sedící v jeho útrobách.
Anebo než třeba Google prodá informace o našich pravidelných návštěvách McDrivu, aby podle nich mohla zdravotní pojišťovna stanovit tarif našeho pojištění…
Zásadní otázkou je, zda lidé automaty preferují. Zdá se, že ve většině oblastí nikoliv. Dokonce i samočinné vysavače a sekačky se podílejí malou měrou na prodejích zboží dané kategorie. Lidé přitom určitě raději jezdí autem než vysávají. Nejsou plány na odstavení lidí od řízení obdobou záměru krmit je místo masem nutričními nápoji?
Stěží nastane chvíle, kdy se mladí rozhodnou nedělat si řidičský průkaz. To jsou spíš řeči z profesionální povinnosti nejvyšších šéfů, kteří jsou za podoibný optimismus placeni víc než dobře. Nástup samočinných aut by byl ovšem pomalý, už kvůli množství aut v provozu a kvůli ceně (porovnávejme ji i se staršími auty). Řidičský průkaz by rozhodně scházel. Budete chtít mít řidičák a nejezdit? Bylo by to určitě nedobře. Samočinné vozy by byly minimálně dvě desetiletí jen komplikací. Třeba už jen tím, že budou jezdit předepsanou rychlostí!
Co bude řidič v takovém samočinném autě dělat. Před spolujezdci ztratí svůj význam a bude si číst? To by ale měl již dávno preferovat autobusovou a vlakovou dopravu, což se neděje. A mimochodem, když jsme u těch vlaků, nebylo by logické aby právě ony jezdily samočinně dříve než auta? Ale celosvětově je počet takových systémů stále vlastně zanedbatelný. Ostatně řidiči, nejen vlaků, se také mohou stát jistou překážkou masivního nasazení samočinných dopravních prostředků.
Pokud by jezdila auta dokonce úplně bez bez pasažerů, zajisté by silně stoupla doprava. Jak by probíhala silniční kontrola takových vozidel (třeba co přepravují), jak vyšetřování nehod?
Co se týče morálních dilemat, tak některé věci by bylo třeba rozhodnout. Předpokládám, že i lidský řidič stojící před krajní volbou nezamíří vůz do větší, ale (třeba instinktivně) do menší skupiny lidí. I velmi chytré auto pozná ovšem stěží všechny věci, které řidič. Je tu i otázka místních zkušeností. Tenhle člověk mu dává tímhle gestem přednost, tady by v podvečer mohli pobíhat zajíci, támhle ten strejc mi přijde opilý, kdežto tamten na kole je zase už dost starý, měl bych jej asi objet větším obloukem...
Šachy a go se ale podobají tím, že je zcela jasné, jaký tah je podle pravidel možný a co je vítězství.
U jiných lidských činností takto jasná pravidla nejsou. Co je dovolené, co je správné, co je hezké, jaká jsou fakta, to vše je záležitost diskuse a proměňuje se.
Na druhé straně ale existuje silný trend vytvářet pravidla, která jsou tak přesně popsaná, že na pro individuální rozhodování není místo. Například hodnocení vědců podle počtu a impaktu publikací nebo žáků podle výsledku testů.
Do jaké míry se stroje v běžném životě uplatní, záleží na tom, do jaké míry budeme ochotni chovat se jako stroje, podle přesných pravidel a s předem určeným cílem. Moc bude mít ten, kdo pravidla, postupy a cíle určuje.
Do značné míry už se to děje.
U jiných lidských činností takto jasná pravidla nejsou. Co je dovolené, co je správné, co je hezké, jaká jsou fakta, to vše je záležitost diskuse a proměňuje se."
Myslím, že tohle není v praxi důležitý rozdíl. Pro praktickou implementaci umělé inteligence záleží na tom, zda ty varianty upočítáte. U Go to nejde, u šachu tak tak ano. Pokud je neupočítáte, musíte k tomu přistoupit stejně jako k problémům v reálném světě.
Například AlphaGo obsahuje dvě neuronové síťě - "policy net" a "value net". Ta první dává možné dobré odpovědi na danou situaci, a ta druhá situaci hodnotí. Obě pracují velmi neurčitě, a celý systém se dost podobá uvažování lidskému.
Tedy, umělá inteligence dělá značné pokroky právě v tomto neurčitém uvažování a AlphaGo je jeden z důkazů. Co se zatím nesvede, je, jak se učit právě z těch diskusí nebo introspekcí.
"Na druhé straně ale existuje silný trend vytvářet pravidla, která jsou tak přesně popsaná, že na pro individuální rozhodování není místo. [..] Moc bude mít ten, kdo pravidla, postupy a cíle určuje."
S tím bych velmi souhlasil. Vytváření pravidel je mimo jiné nástrojem (získávání) moci. Ale já nemám pocit, že moderní společnost je v tom horší, než ty předchozí. Spíš naopak, máme větší otevřenost vůči pochybám o pravidlech.
Jinak já se samořídících aut nebojím, těším se na ně. Ono ty etické problémy (třeba s vozíky přejíždějícími lidi na kolejích) jsou dost umělé - v praxi se prostě auto pokusí zastavit nebo odbočit nejhorší překážce, tak, aby se minimalizovalo riziko srážky. Kolik lidí je tím či oním manévrem ohroženo je zbytečně sofistikovaná kalkulace, která na samotné pravděpodobnosti ohrožení životů (vzato přes více než jednu nehodu) mnoho nezmění.
Jedna z těch dvou sítí AlphaGo se jmenuje "value net", ale to nejsou hodnoty toho druhu jako v tak politicky nabité oblasti jako je silniční doprava. Například jsou zde hodnoty toho dostat se na místo co nejrychleji, co nejbezpečněji, s nejmenší spotřebou energie, s co nejmenším narušením přírodního a městského prostředí, s co největším ziskem pro dopravce atd.
Tyto hodnoty jsou očividně často ve vzájemném rozporu. Auto v Praze, které by mělo za naprostou prioritu bezpečí chodců a podle toho vyhodnocovalo dopravní situaci, by nejspíš zajelo k nejbližšímu místu, kde se dá bezpečně zastavit a tam zůstalo už napořád.
Deskové hry jsou uzavřený systém - jaká je pozice všech kamenů víte vždy a nic dalšího se ani vědět nedá. Doprava je otevřený systém, vždy bude něco, co nevíte. Navíc různé hodnoty vedou k odlišnému vnímání faktů.
S tímhle tvrzením právě polemizuji. Neurčitost můžeme v obou případech modelovat pomocí pravděpodobnosti (existují i jiné přístupy, ale ty se moc neujaly). Jakmile nemůžete věci upočítat, jste tak jako tak nucen používat nějaké pravděpodobnostní odhady, u AlphaGo obě ty sítě vrací nějaké odhady pravděpodobnosti výhry nebo toho, jak je který tah dobrý. V takovém případě se ztrácí rozdíl v neurčitosti mezi vaší neznalostí toho, k čemu dojde a mezi neurčitostí v důsledku toho, že vám chybí nějaká informace o situaci. V obou případech pracujete jen s pravděpodobnostmi na základě nějaké předchozí zkušenosti (která je u AlphaGo zakódována v těch sítích).
Takže, myslím, že AlphaGo má mnohem blíž reálným aplikacím než šachový program, protože umí už z podstaty pracovat s neurčitostí.
"Jedna z těch dvou sítí AlphaGo se jmenuje "value net", ale to nejsou hodnoty toho druhu jako v tak politicky nabité oblasti jako je silniční doprava. [..] Tyto hodnoty jsou očividně často ve vzájemném rozporu."
Podobné kompromisy ovšem existují i ve hře Go (např. zabírání teritoria vs lepší pozice). Ty sítě, které používá AlphaGo, se naučily těm hodnotám na základě toho, co člověk deklaroval za výhru a prohru. Stejně tak, u budoucích samořídících aut můžeme u každé cesty deklarovat "úspěch" nebo "neúspěch", a na základě toho tu síť trénovat.
"Deskové hry jsou uzavřený systém - jaká je pozice všech kamenů víte vždy a nic dalšího se ani vědět nedá."
Jak už jsem uvedl, všechny možné pozice AlphaGo nezná, protože jich je příliš mnoho. Tedy se už beztak spoléhá na intuici.
Mimochodem, i jen samotná "policy net" prý hraje Go celkem slušně (na úrovni amatérského danu). To jsou jen tahy, které naznačuje intuice AlphaGo, bez prohledávání stavového prostoru.
Nicméně i po jejich připuštění bude odpověď na otázku, kdo bude zodpovědný za bezpečnou jízdu, za škody na majetku, zdraví a životě zřejmá: bude to vždycky řidič!
Neboť stejně jako u letadel, která sice létají většinu trasy s aktivovaným autopilotem, je zodpovědný pilot, tedy člověk, stejně to bude i u plně samočinných automobilů. I tam bude v autě stále řidič, který bude muset neustále sledovat situaci, a v případě potřeby odpovídajícím způsobem a včas zasáhnout.
Celá ta revoluce, která by musela tvrdě odstavit miliony od řízení, by se prosazovala hlavně z důvodu bezpečnosti. Šlo by o alternativu za přísnější omezení pravidel provozu.
Musel by "dozorující řidič" mít doklady o způsobilosti k samostatnému řízení? Kde a jak by si osvěžoval praxi? Jakou míru pozornosti by musel udržovat? Mohl by si na dálnici zdřímnout?
Skutečný význam by mělo zavedení automatických vozidel tehdy, kdyby mohla jezdit opravdu sama, bez posádky. Odvezla by náklad, přijela by pro osobu atd. Začalo by to třeba tím, že by prázdná odjela zaparkovat. Představme si další krok, samočinné taxíky, které by, bez řidičů, nekradly. Důsledkem by byla ohromná úspora práce a času, z druhé strany zajisté protesty a nezaměstnanost. A z dalšího úhlu pohledu ohromný nárůst provozu. Takový vývoj by ovšem přinesl těžké problémy, z nichž byly některé výše uvedené nebo naznačené.
Ale to už je řeč o úplně něčem jiném, než o tom, že auto je schopno jezdit samo. To technicky sice je, ale dokud máme cesty, které vedou otevřenou krajinou a ulicemi měst, není možno to povolit. Prostě vždycky v tom autě bude muset být řidič. A nikoliv, zdřímnout si nemůže :-)
Pan Samohýl tvrdí, že neurčitost se dá modelovat pravděpodobností. To neplatí tam, kde jde o lidské hodnoty, protože tam se uplatňují různé názory, zájmy atd. Hodnotám v tomto smyslu nelze přisoudit žádnou číselnou hodnotu, se kterou by všichni souhlasili.
Doprava je vysoce politická záležitost, protože jde o to, jak se lidé podělí o veřejný prostor, který je velmi vzácný, kromě řídce obydlených oblastí..
Já třeba jezdím veřejnou dopravou nebo chodím pěšky, takže mám nutně jiné preference než lidé, kteří jezdí autem. Ti ovšem o dopravě například v Praze o dopravě rozhodují, takže urbanismus, zájmy chodců atd musí ustupovat tomu, aby se autům dobře jezdilo.
V Praze například nejsou skoro žádná náměstí, to, co se tak jmenuje, jsou většinou křižovatky. kde je nejdůležitější prostor ohrazen zábradlím a lidé bez auta tam nesmějí, musí se mezi zbylými enklávami městského života plížit různými podchody a oklikami.
Uzavřené koridory pro automatická auta, o kterých píše pan Kolařík by nutně zabraly prostor jiným lidem nebo zvířatům.
Neexistují žádná čistě technická řešení dopravy. Podle mě nepotřebujeme lepší auta, ale méně aut a více prostoru pro lidi, přírodu, městský život.
Já jsem hlavně chtěl odpovědět na otázku autorky: "Nevyřešené pak také prozatím zůstává, kdo bude formálně odpovědný za škody na majetku, na zdraví či na životě: majitel auta, členové posádky, nebo výrobce?"
Ta otázka totiž takto vůbec nestojí, resp. její odpověď je jasná. Zodpovědnost, a to nikoliv formální, ale faktickou, má a bude mít vždycky řidič. Proto tam ale taky musí vždycky být, aby mohl mít zodpovědnost.
V té souvislosti také polemizuji s názvem článku. Ono to totiž nikdy nebude tak, že někoho "obětuje vlastní auto". Vždycky to bude tak, že někdo přijde k úrazu (ev. i s fatálním následkem) ve vlastním vozidle, protože nezvládl řízení. Nezávisle na tom, jestli auto řídí "samo", nebo ne.