Poslední týdny přinesly dvě zprávy, které spolu zdánlivě nesouvisejí. Třináctého května Rada Evropské unie definitivně potvrdila balíček zvaný Digital Omnibus on AI. Šestadvacátého května americká firma Anthropic, jeden z hlavních vývojářů velkých jazykových modelů, oznámila novou schopnost svého vývojového asistenta: nechá si od něj zadat úkol a on rozjede desítky až stovky vlastních pomocných agentů, kteří úkol rozdělí, paralelně vyřeší a navzájem si zkontrolují výsledek. Příklad, který firma uvádí: přepis takzvaného Bun runtime ze tří čtvrtě milionu řádků kódu ze starého programovacího jazyka do nového za jedenáct dní.

Ty dvě věci spolu nesouvisí jen na první pohled. Ve skutečnosti vykreslují dohromady obraz toho, kde se evropská regulace umělé inteligence po dvou letech od přijetí Nařízení Evropské unie o umělé inteligenci (AI Act) nachází.

Odklad, který si nikdo neobjednal

Digital Omnibus odkládá ty části Nařízení o umělé inteligenci, které se mají vztahovat na takzvané high-risk systémy, tedy umělou inteligenci nasazenou v oblastech, kde jeden chybný výstup může zničit konkrétní lidský život.

Mluvíme o systémech, které rozhodují o nároku na sociální dávku, posuzují uchazeče o zaměstnání, vyhodnocují kreditní bonitu, řadí lidi do rizikových skupin při kontrole hranic nebo navrhují rozsudky ve veřejné správě. Povinnosti pro tyto systémy měly začít platit letos v srpnu. Nově začnou platit až druhého prosince 2027.

Důvod není politická zlovůle ani vítězství průmyslové lobby. Důvodem je obyčejná administrativní nepřipravenost. Evropská komise sama loni v listopadu uznala, že členské státy z velké části nestihly určit národní orgány, které mají Nařízení o umělé inteligenci vymáhat.

Harmonizované technické normy, podle kterých by firmy měly své systémy posuzovat, jsou sice rozpracované, ale ne hotové. Bez nich by povinnosti začaly platit do prázdna — regulace bez infrastruktury pro její posouzení je jen papír. V tomto smyslu je odklad pragmatický: lepší mít fungující pravidla od prosince 2027 než nefungující pravidla od srpna 2026. Ostatně podobnou logiku obhajuje i česká vláda, která hlasovala pro odklad spolu s většinou ostatních.

Problém je v tom, co se mezi srpnem 2026 a prosincem 2027 stane s technologií.

Lidský dohled jako demokratická pojistka

Mezi ustanoveními Nařízení o umělé inteligenci, která se odkládají, je článek čtrnáct, který ukládá poskytovatelům high-risk systémů povinnost zajistit smysluplný lidský dohled. Jinými slovy, u rozhodnutí, která významně dopadají na lidský osud, musí být na rozhodovacím řetězci osoba, která rozumí tomu, co systém dělá, dokáže výstup zpochybnit a má reálnou možnost zasáhnout. Ne formálně, ale prakticky.

Není to byrokratická poznámka. Je to demokratická pojistka. Když vám automatický systém zamítne hypotéku, propustí vás z výběrového řízení, sníží vám sociální dávku nebo vás zařadí mezi sledované, máte právo vědět, kdo z živých lidí tento výstup viděl a schválil a kdo ho může napadnout. Bez tohoto principu se rozhodování o lidech stává neprůhlednou mašinerií, vůči které je veřejnost bezbranná.

Ti, kdo si pamatují nizozemský Toeslagenaffaire — skandál, při kterém algoritmus daňové správy v Nizozemsku neprávem označil tisíce rodin za podvodníky a vystavil je léta trvajícímu vymáhání — vědí, proč na lidském dohledu záleží. Šlo tehdy o případ, kdy formální „kontrola“ existovala, ale ve skutečnosti nikdo neměl prostor, čas ani autoritu výstupy zpochybnit. Padla kvůli tomu nizozemská vláda.

Podobnou rezonanci měla i britská kauza, kdy A-level algoritmus v covidovém roce snížil známky studentům z chudších škol systematicky častěji než studentům ze soukromých škol.

Nařízení Evropské unie o umělé inteligenci vzniklo mimo jiné jako odpověď právě na podobné případy. Jenže teď se příslušný článek odkládá.

Když lidský dohled selhává

Zatímco evropská regulace si dává oddychový čas, americký trh ujíždí jiným směrem. Schopnost, kterou Anthropic minulý týden oznámil — sám si rozplánovat úkol, sám si spustit pomocné agenty, sám si zkontrolovat jejich práci, sám rozhodnout, kdy je hotovo — není zlomová inovace. Je to logický další krok, ke kterému směřoval celý sektor během posledních dvou let. A je téměř jisté, že podobnou schopnost ohlásí v příštích měsících i další firmy.

Důležité je, co to dělá s logikou lidského dohledu. Když umělá inteligence napíše jednu odpověď, můžeme se na ni podívat, posoudit ji a schválit, nebo zamítnout. Pokud umělá inteligence sama orchestruje stovky podagentů, kteří mezi sebou komunikují, čekají na výsledky druhých, opravují si chyby a předávají úkoly dál, řetězec, ve kterém by měl být zařazený člověk, přestává mít smysluplný tvar.

Na co v takovém případě máme dohlížet? Na vstup? Výstup? Některý z mezikroků? Všechny? Nikdo to dnes přesně neumí říct a samotná firma uvádí, že její nový systém spotřebuje „výrazně víc“ výpočetních prostředků — jinými slovy, generuje výrazně víc dílčích rozhodnutí, která dělá strojový mechanismus, aniž by se kohokoli ptal.

Lidský dohled v podobě, jakou si autoři Nařízení o umělé inteligenci představovali v roce 2021, byl konstruován pro systém typu „vstup — model — výstup“. Současná vlna technologie jde k systému typu „cíl — autonomní řetěz — výsledek“. To není totéž a regulace, která pokrývá první případ, druhému nestačí.

Kdo platí účet

Jestliže se odsouvají povinnosti pro high-risk systémy, neznamená to, že se také posune termín nasazení dané technologie. Banky, pojišťovny, personální agentury, sociální správy a samozřejmě platformy s prediktivní cenotvorbou zaměřenou na spotřebitele používají algoritmické rozhodování už dnes a budou ho používat i zítra. Co se odkládá, je povinnost zajistit ochranu uživatelů.

Účet za tuto mezeru zaplatí ti, kdo o jejím vzniku nerozhodovali. Žadatelé o úvěr, kteří dostanou zamítnutí bez vysvětlení. Uchazeči o práci, jejichž životopis nikdy nedojde k lidskému personalistovi, protože ho předtím vyřadí filtr, jehož kritéria nikdo zvenčí nezná. Pacienti, jejichž zařazení do priority určuje systém vytrénovaný na historických datech, ve kterých už je zabudovaná genderová nebo etnická předpojatost. Klienti sociálních úřadů, které algoritmus označí za rizikové — a v některých zemích z toho plyne automatické zpřísnění kontrol.

Šestnáct měsíců odkladu je v politické rovině pochopitelná délka. Pro konkrétní rodinu, která mezi tím přijde o střechu nad hlavou, protože automatický systém banky odmítl restrukturalizaci hypotéky, je to celý jeden život.

Řešením není, aby Brusel protlačil pravidla bez fungující infrastruktury. Mezičas je ale třeba využít ke třem věcem. Za prvé k urychlené stavbě národních dohledových orgánů, harmonizovaných norem a přístupných nástrojů kompliance. Tedy přesně k tomu, co Digital Omnibus zdůvodňuje a co bez politického tlaku z hlavních měst dlouho nepojede.

Za druhé k otevřené debatě o tom, jak má vypadat lidský dohled u systémů, které sami orchestrují vlastní podagenty. Současné Nařízení o umělé inteligenci tuto realitu nepředvídalo a další vlna regulace — ať už se bude jmenovat jakkoli — bude muset přijít rychleji než ta první.

A za třetí k odporu vůči zjednodušující argumentaci, že „evropská regulace zaostává za inovací, a proto je třeba ustoupit“. Regulace nemůže běžet rychleji než technika, kterou má regulovat. Ale demokratický stát se nemá principiálně přizpůsobovat technologii. To ona se musí přizpůsobovat jemu.