Identifikace lidí pomocí umělé inteligence zůstane hrozbou
Václav MachEvropské nařízení o umělé inteligenci je prvním opatřením regulujícím AI na světě. Postrádá však adekvátní regulaci použití automatického rozpoznávání obličejů. V České republice tak hrozí, že metodu bude nadále zneužívat například policie.
Články o zatčení uprchlého italského zločince žijícího skrytě ve španělském městečku se snažily budit senzaci. Zprávy o jeho nalezení na mapách Googlu doprovázel popisek, že za úspěch mohla „neuvěřitelná náhoda“. Doživotně odsouzený člen mafie byl totiž před svým zeleninovým krámkem vyfocen projíždějícím vozidlem Googlu. Na policii ho pak měl nahlásit náhodný svědek, který v rozmazané postavě na Google Street View rozpoznal roky uprchlého mafiána.
Jedná se ale skutečně o neuvěřitelnou náhodu? Zcela určitě ne. Policie a další bezpečnostní složky dnes mají přístup k neanonymizovaným záběrům z Google Street View v dostatečném rozlišení a prohledávají je prostřednictvím technologií biometrické identifikace obličejů.
Pomocí biometrické identifikace obličeje byla také nedávno dopadena levicová teroristka Daniela Kletteová ze skupiny Frakce Rudé armády. Ta žila roky pod novým jménem v berlínské čtvrti Kreuzberg. K odhalení její pravé totožnosti navedly její fotografie umístěné na sociálních sítích, které jsou dnes plošně analyzovány biometrickými identifikačními nástroji. Zadržet bývalou teroristku v důchodovém věku pak bylo pro německou policii snadné.
Takovéto případy mohou snadno posloužit jako argumenty k zavádění nových šmírovacích technologií. Nicméně realita není tak růžová, jak se na první pohled zdá. Pokud máte své fotky na sociální síti a podobáte se hledanému zločinci, mohlo by vám to způsobit trápení. Své by o tom mohl vyprávět muž, který byl spektakulárně zadržen letos v srpnu v Berlíně. Byl vytipovaný jako desetiletí unikající terorista Frakce Rudé armády a kolega Daniely Klettové, nakonec však vyšlo najevo, že se jedná o omyl.
Ač jsou podobné omyly pro konkrétní jedince hořkým soustem, z pohledu celé společnosti mohou být zanedbatelné. V zájmu vyššího dobra — dopadení násilných zločinců — se můžeme občas dopustit omylu a podrobit nevinného občana nepříjemnostem v podobě policejních úkonů.
Rozšíření aplikací biometrické identifikace nicméně představuje rizika mnohem zásadnější než jen občasný politováníhodný omyl. Nejzávažnějším a velmi aktuálním rizikem je postupné rozlézání orwellovské technologie k mnohem širšímu využití ve jménu hesla: ospravedlnění se vždycky najde.
Co všechno technologie biometrické identifikace obličeje dokáže se mohl přesvědčit ruský aktivista Glukhin, který se svou stížností proti Rusku nakonec uspěl před Evropským soudem pro lidská práva ve Štrasburku. Nikolaj Sergejevič Glukhin protestoval v roce 2019 na podporu jiného stíhaného aktivisty. Osudné pro něj bylo, že umístil na síť Telegram svou fotografii, na které pózoval při protestu.
Ruská protiextremistická policie při pročesávání internetu fotografii protestujícího Glukhina nalezla a identifikovala ho. Využila při tom takzvanou zpětnou biometrickou identifikaci obličeje spočívající v tom, že je zájmová osoba pomocí algoritmů porovnávána s delším časovým odstupem od pořízení fotografie. V případě Glukhina došlo k porovnání s databází fotografií z civilního registru obyvatel.
Když následně ruská policie nezastihla Glukhina v místě bydliště, nasadila takzvanou biometrickou identifikaci obličeje v reálném čase. Tato metoda identifikuje osoby okamžitě. Tisíce moskevských kamer nalezly Glukhina velice rychle, což vedlo k jeho zatčení přímo na ulici.
Podobných případů, kdy je moderní biometrická technologie zneužita k politické perzekuci, mohou být v Rusku tisíce. Případů, kdy biometrická identifikace neslouží pouze k chytání teroristů a mafiánů, nicméně nalezneme spoustu také v demokratických zemích.
Příkladem je využívání biometrické identifikace obličeje obchodními řetězci pro zamezení vstupu zákazníků, kteří se v minulosti dopustili krádeže nebo nepřístojného chování v prodejně. Zatímco španělský řetězec Mercadona podřízený evropským pravidlům musel za tuto praktiku zaplatit v roce 2021 pokutu 2,5 milionu eur, ve Velké Británii a Austrálii dochází naopak k normalizaci této činnosti.
Komentář●Hynek Trojánek
Jednou nohou v dystopii. Systém rozpoznávání obličejů používá i česká policie
A nic nenasvědčuje ani tomu, že biometrická identifikace obličeje bude využívána výhradně k dopadení nebezpečných zločinců také v Evropské unii. Biometrickým rozpoznávacím kamerovým systémům totiž nedalo stopku ani evropské o umělé inteligenci, jež bylo s velkou pompou přijato letos na jaře a představuje první předpis regulující umělou inteligenci na světě.
Samé výjimky
Do nejpřísnější kategorie „zakázané systémy umělé inteligence“ spadá biometrická identifikace na dálku v reálném čase pro účely vymáhání práva. Ve druhé kategorii „vysoce rizikových systémů“ se nachází zpětná biometrická identifikace na dálku. Zásadní jsou však výjimky ze zákazu a bližší podmínky obou režimů, které nejsou skutečnou zárukou a prakticky otevírají dveře pro zneužití.
Nařízení se navíc ani nepoužije pro všechny oblasti využití umělé inteligence. Vyňato je použití pro účely národní bezpečnosti a obrany. Jedná se o výjimku pro armádu, ale také pro všechny zpravodajské služby, kam v České republice patří Bezpečnostní informační služba, Vojenské zpravodajství a Úřad pro zahraniční styk a informace.
Všechny tři tajné služby nejsou nařízením nijak dotčeny a mohou využívat biometrickou identifikaci velmi volně, protože podobně mají také výjimku z evropské legislativy o zpracování osobních údajů. Pro systém biometrické identifikace obličeje na pražském letišti to například znamená, že v subsystému, který spravuje policie, může dojít jen k identifikaci předem určených zájmových osob a biometrická data všech ostatních osob musí být po čase smazána. Naopak v subsystémech provozovaných jednotlivými zpravodajskými službami mohou být identifikovány všechny osoby procházející letištěm a jejich biometrická data mohou být uložena na neomezeně dlouhou dobu. Což je opravdu zásadní rozdíl.
K tomu se vážou zásadní otázky: na co potřebuje stejný biometrický systém policie i zpravodajské služby? Nestačí operativní předávání dat, které probíhá už dnes? Předané operativní informace mezi zpravodajskými službami a policií sice nemohou sloužit jako důkaz v trestním řízení, mohou ale zajistit, že terorista nebo jiná osoba představující závažné nebezpečí bude policií zadržena.
Jinými slovy, pokud zpravodajci na letišti identifikují agenty podezřelé z výbuchů ve vrbětickém muničním skladu, mohou být policií zadrženi, pokud jí zpravodajské služby předají okamžitě informaci. Policie vlastní přístup nepotřebuje. A mělo by to tu výhodu, že by na letišti pomocí biometrického kamerového systému nikdo nenaháněl kapsáře, neplatiče výživného nebo například svědky ignorující policejní předvolání k podání vysvětlení.
Právě to totiž s největší pravděpodobností policie poslední roky na pražském letišti provádí. Statistiky o tom, co 259 osob zachycených za prvních pět a půl roku fungování biometrického identifikačního systému mělo spáchat, respektive jestli vůbec šlo o pachatele trestných činů, ovšem veřejnosti k dispozici nejsou.
Dalším důležitým detailem evropské legislativy k biometrické identifikaci je, že nařízení nemluví o biometrické identifikaci obličeje, ale o biometrické identifikaci na dálku. O obličeji se mluví především proto, že identifikace obličeje je z biometrických metod nejdále a dospěla do technologického stádia, které dovolilo její širší nasazení do praxe.
V závěsu jsou ovšem další biometrické technologie, pomocí nichž lze osoby na dálku identifikovat. Jedná se způsob chůze a hlas. S oběma biometrickými metodami již koketuje česká policie. Ta v roce 2022 nakoupila licenci k software společnosti Phonexia, který slouží k biometrické hlasové identifikaci a současně zprovoznila informační systém, který obsahuje databázi hlasových nahrávek.
Hlasové rozpoznávání by mohlo probíhat například tak, že na veřejných místech budou umístěny mikrofony snímající hlasy lidí, nikoliv však obsah samotné komunikace. Hlasy budou porovnávány s databází hlasových vzorků hledaných osob. V případě, že dojde ke shodě hlasu, policie vyšle hlídku, která dotyčného na místě vyhledá a zadrží.
Podstatné je, že stejný výklad zákona, který policie v současnosti používá k ospravedlnění biometrických kamerových systémů, by mohl být policií použit k tomu, aby umožnil hlasovou identifikaci na veřejných prostranstvích. Skutečně tak hrozí, že česká i evropská legislativa v budoucnu dovolí ještě intenzivnější šmírování veřejných prostor, o kterém se dnes vůbec nediskutuje.
Policejní svévole
Evropský zákaz biometrické identifikace na dálku v reálném čase, který vejde v platnost již v únoru příštího roku, nelze vůbec nazývat zákazem v pravém slova smyslu. Jsou z něj totiž umožněny výjimky pro určité činnosti policie. Mezi tyto činnosti patří pátrání po pohřešovaných osobách a obětech některých trestných činů, pátrání po pachatelích celé řady trestných činů, předcházení ohrožení zdraví nebo života osob a předcházení konkrétní hrozbě teroristického útoku. Šíře činností napovídá, že o výjimkách zde vůbec mluvit nelze.
Podmínkou pro aplikaci uvedených výjimek přitom je, že právo členského státu biometrickou identifikaci v reálném čase přímo povoluje. A tak ihned po závěrečném hlasování o evropském nařízení české ministerstvo vnitra přišlo s návrhem zákona, který biometrickou identifikaci na dálku v reálném čase umožňuje. Návrh ovšem trochu připomíná hlavolam. Ve skutečnosti tak hrozí, že jen málokterý ze dvou set poslanců, který bude o jeho přijetí hlasovat, plně pochopí jeho možné dopady.
Jaké jsou konkrétní problémy návrhu změny zákona, který bude v blízké době v prvním čtení projednán poslaneckou sněmovnou? Především trpí zásadním nedostatkem v rozhodování o konkrétních osobách, které mají být přidávány do takzvané referenční databáze. Jedná se o seznam těch, jejichž biometrické údaje obličeje mají být pomocí kamerových systémů vyhledávány. Podle evropského nařízení mohou být jednotlivé osoby přidávány do referenční databáze na základě povolení „justičního orgánu nebo nezávislého správního orgánu“.
Návrh českého zákona ovšem přichází s postupem, který v tomto ohledu nařízení přímo odporuje. Předpokládá totiž, že provoz biometrického kamerového systému povolí vrchní soud. Šlo by přitom o povolení bez posuzování zařazení konkrétní osoby do referenční databáze. O zařazení osob do referenční databáze by tak rozhodovala policie sama a toto rozhodnutí by oznamovala dle návrhu zákona policejnímu pověřenci pro ochranu osobních údajů, který by ho mohl zvrátit. Pověřenec není ani justičním orgánem ani nezávislým správním orgánem, ale zaměstnancem samotné policie.
Není to ovšem jediný problém návrhu. Zákon totiž otevírá velký prostor pro zneužití, protože biometrické kamerové systémy by nevyhledávaly jen zločince či pohřešované osoby, ale navíc také potenciální svědky.
Komentář●Ella Jakubowska
Zachytí vás vždy a všude. Zákaz biometrického sledování nepřipouští výjimky
Jak je to možné? Jednoduše. Návrh zákona obsahuje kategorie osob, které lze systémem biometrické identifikace vyhledávat. Mezi těmito kategoriemi jsou osoby „u kterých jsou v okamžiku zařazení do referenční databáze splněny všechny zákonné podmínky pro omezení osobní svobody“. A mezi omezení na osobní svobodě patří i takzvané zajištění osoby. Zajistit přitom lze například i osobu, kterou je potřeba předvést k podání vysvětlení. Důsledkem je, že by bylo možné vyhledávat také potenciální svědky.
Snadno si tak lze představit situaci, že někdo odejde z domova, aniž to sdělí svým blízkým. To samo o sobě jistě zavdává obavu o jeho zdraví a život, takže bude naplněna jedna z výjimek pro biometrickou identifikaci v reálném čase. Z výpovědi jeho blízkých vyplyne informace, že by o jeho pobytu mohla vědět jiná osoba, kterou nebude možné v dostatečném časovém předstihu předvolat. Tuto osobu tak bude možné předvést, a může tak být stejně jako hledaný zařazena mezi osoby vyhledávané biometrickým kamerovým systémem.
A právě zde je nutné zbystřit. Pouhá výpověď třetí osoby, že někdo může policii pomoci při naplňování úkolu, který představuje „výjimku“ ze „zákazu“ biometrické identifikace v reálném čase, umožňuje příliš snadné zneužití. Do systému k vyhledávání by pak s trochou šikovnosti mohly být účelově přidávány osoby, které nejenže nic nespáchaly a u nichž není dána naléhavá potřeba hledat je na základě jejich biometrických dat. Přezkum konkrétních osob přidaných do referenční databáze by tudíž proběhl bez nezávislé kontroly a jen zaměstnancem policie. Jisté je, že si policie bude chtít pomocí nové technologické hračky ulehčit práci co nejvíce.
Sečteno a podtrženo, ačkoliv evropské nařízení o umělé inteligenci dává zdání přísných limitů, opak je pravdou. Zákaz biometrické identifikace v reálném čase není prakticky zákazem, ale jen velmi volným omezením. Návrh zákona, který by biometrickou identifikaci v reálném čase české policii umožňoval, by mohl být příliš snadno zneužit. Nezavedl by navíc žádné možnosti kontroly toho, jak policie své pravomoci vykonává. Už dnes navíc můžeme nejspíš zapomenout, že i chabá omezení, jak jsou navrhována dnes, budou konečným legislativním řešením.
Časem tak nejspíš dojde k postupnému rozvolňování pravidel. To ostatně plyne i ze samotné historie návrhu, v níž nejprve ministerstvo vnitra fungování systémů neomezilo pouze na mezinárodní letiště, aby následně tento ústupek využilo jako argument proti kritickým hlasům. Z důvodové zprávy je ovšem zjevné, že do budoucna se počítá s možným rozšiřováním v intencích původního záměru. Spíše než světlo, můžeme tak na konci biometrického tunelu vidět tmu.