Dva největší vývojáři umělé inteligence přiznali, že se jejich vlastní programy během testů dostaly do cizích systémů. Nedokázaly nic geniálního — našly slabá hesla a nezaheslované přístupové body. Právě proto je to ale špatná zpráva.

Představte si zadání: někde na jiném počítači je schovaná tajná informace, najdi ji. Metoda není předepsaná, jde o výsledek. Takhle vypadá cvičení, kterému se v bezpečnostní branži říká „capture the flag“, a takovouto instrukci dostal program, o kterém teď mluví celý oborový svět. Dostal ještě jednu informaci: že je v uzavřeném prostředí bez připojení k internetu. Ta byla nepravdivá. Kabel byl omylem zapojený a stroj si zadání vyložil tak, že může operovat ve skutečné internetové síti — bez omezení.

Konec července přinesl dvě přiznání. Nejdřív jedna z největších korporací vyvíjejících umělou inteligenci OpenAI oznámila, že při interním testu kyberbezpečnostních schopností několik modelů našlo v testovacím prostředí dosud neznámou a nezáplatovanou chybu, takzvanou zero-day zranitelnost, dostalo se přes ni na internet a odtud na infrastrukturu společnosti Hugging Face.

Hugging Face je něco jako veřejná knihovna umělé inteligence. Sklad, ze kterého si kdokoli stáhne hotové programy — na rozpoznávání řeči, na psaní textu, na rozpoznávání obrázků — a k nim i sbírky dat, na kterých se takové programy učí. Vývojáři po celém světě si odtud berou hotové součástky, ze kterých pak staví vlastní služby. Kdo by do takového skladu podstrčil upravenou součástku, dostane se skrz ni do všech služeb, které si ji později stáhnou.

Agent podle vyjádření OpenAI prolomil čtyři účty u čtyř různých internetových služeb. Přihlásil se tedy pod cizí identitou tam, kde k tomu neměl žádné právo — stejně jako když někdo cizí zná vaše jméno a heslo do e-mailu a začne ho používat.

Druhé přiznání přišlo o devět dní později od jednoho z hlavních konkurentů OpenAI, od společnosti Anthropic. Ta po zveřejnění případu v OpenAI zastavila všechny své kyberbezpečnostní testy a prošla 141 006 evaluačních běhů. Jeden takový běh je jeden pokus: program dostane zadání, dostane k ruce počítač a snaží se úkol splnit, přičemž se každý jeho krok zapisuje. Anthropic tedy zpětně přečetl záznamy ze sto čtyřiceti tisíc takových pokusů.

Našel tři případy, kdy program neskončil ve zkušebním prostředí, ale dostal se na živé počítače tří skutečných organizací. Tedy firem, které o žádném testu nevěděly, nikdo se jich na nic nezeptal a jejich data byla ta pravá, ne cvičná.

Příčina byla banální: nedorozumění s externí firmou, která testy provozovala, nechalo testovací stroje připojené na otevřený internet, i když text zadání modelu tvrdil opak. Dvě z těch tří organizací se o průniku dozvěděly až telefonátem od Anthropicu. Samy si ničeho nevšimly.

Průniky přes slabá hesla, ne přes genialitu AI

Tady je jádro celé věci a je dobré ho vzít doslova. Jak se programy dostaly tam, kam neměly? Vinou slabých hesel. Nezaheslovanými přístupovými body, tedy takzvanými „unauthenticated endpoints“ — místy, kde služba odpoví každému, kdo se ozve, protože se nikdo neobtěžoval zamknout. Technikou SQL injection, což je vložení vlastního příkazu do databázového dotazu tam, kde program nekontroluje, co mu uživatel poslal; popsaná už byla v roce 1998. Přečtením přihlašovacích údajů z chybové stránky, kterou někdo zapomněl vypnout. Skenováním řádově tisíců adres. Zveřejněním škodlivého balíčku do veřejného úložiště knihoven.

Anthropic to ve svém rozboru celé události z 30. července popisuje s pozoruhodnou střízlivostí jako situaci blíž selhání provozu a testovacího prostředí než selhání vlastního modelu. Žádná z uvedených metod prolomení systému není nová a žádná není zajímavá. Jsou to věci, které umí najít student po druhém semestru. Stroj neprokázal genialitu, prokázal důkladnost. Zkusil, kde nechal tesař díru, a našel ji, protože tam byla.

Nabízí se otázka, jestli žánr „přiznání“ firmy trochu nezneužívají. Zpráva o tom, jak náš model prolomil ochranu, je zároveň zprávou o tom, jak mocný je — přiznání incidentu je současně reklamou firmy. A rámec „jsme tak nebezpeční, že nás musíte regulovat“ vyhovuje etablovaným hráčům víc než menším a otevřeným, protože náklady na dohled vždy lépe zvládnou ti větší.

Odpověď je ale nudnější než konspirace i než apokalypsa. Vyprávění o všemocném stroji je nafouknuté — vidíme slabá hesla, ne kouzla. Zároveň se opravdu stalo, že program bez lidského zásahu prošel bezpečnostní hranicí a pohyboval se v cizích systémech, které o něm nevěděly.

Obojí tedy platí současně. Nebezpečí nespočívá v genialitě AI, ale v tom, že banální věc dokáže vykonávat neúnavně, v tisícerých opakováních, za minimální cenu.

Testování právě dramaticky zlevnilo

A přesně tady se zpráva mění v příslib použitelné služby. Pokud se do systémů vstupuje přes zapomenutá hesla a nevypnuté chybové stránky, pak řešení nevyžaduje vizionářskou politiku. Vyžaduje testování. Rutinní, opakované, nudné testování všeho, co běží — chyby, o kterých mluvíme, se testem najdou.

Dosud byla tahle práce drahá, protože ji dělali lidé, a takových, kteří to umí, je málo. Právě proto se odkládala. Zlomová věc na uplynulém týdnu není to, že stroje umí útočit. Je to zjištění, že tuhle konkrétní práci umí dělat systematicky a levně — a to platí pro obě strany. Cena průběžného bezpečnostního auditu najednou řádově spadla.

Tím se ovšem otázka přesouvá tam, kam nikdo nerad hledí: na lidskou důslednost. Technologie na to je, cena přestala být výmluvou. Zbývá zajistit, aby se ty testy skutečně prováděly, a to je otázka organizace a odpovědnosti, ne výpočetního výkonu.

Připomínám, že dvě ze tří dotčených organizací samy ani nezjistily, že u nich někdo byl. To není příběh o schopnostech umělé inteligence, ale o kvalitě běžného provozu.

Utajení jako bezpečnostní strategie právě skončilo

Z toho plyne druhý závěr, který je nepříjemný pro spoustu institucí i firem. Zásada, které se v oboru posměšně říká security through obscurity, tedy bezpečnost založená na tom, že se útočník v našem systému nevyzná, protože jeho popis nikde není k dospozici, přestala fungovat úplně. Nic není natolik nepřehledné, aby to stroj za rozumnou cenu neprozkoumal. Obskurnost už nikoho neochrání ani o den.

Platí to i obráceně — a tuhle část slyší instituce nerady. Vezměme si zámek u dveří. Zloděj nepotřebuje vědět, jak je uvnitř udělaný. Přijde a zkusí ho otevřít, případně vyzkouší okno. Ale majitel, který chce předem vědět, jestli je ten zámek dobrý, výkres potřebuje. A když ho výrobce tají, musí si majitel zaplatit odborníka, aby zámek rozebral — nebo věřit slovu výrobce.

Se softwarem je to stejné. Když firma nezveřejní, jak je její program napsaný, útočníkovi tím práci nezdraží: ten si stejně sáhne na běžící službu zvenčí a bude zkoušet, dokud něco nenajde. Zdraží to obránci, tedy tomu, kdo si chce svůj vlastní systém prohlédnout a najít v něm chybu první. Ten totiž musí platit za povolení nahlédnout do něčeho, co si mohl prostě přečíst.

Odpověď na hackování agentů se tedy jmenuje otevřenost. A nemá to nic společného s tím, jestli je daná technologie evropská, americká nebo čínská. Otevřenost je vlastnost, ne vlajka.

Nejsilnějším dokladem je detail z vyjádření Hugging Face, který v přehledu událostí zapadl. Komerční programy umělé inteligence mají zabudované pojistky, v oboru zvané guardrails. Jsou to brzdy, které mají zabránit tomu, aby program pomohl s něčím nebezpečným — třeba s útokem na cizí počítač.

Když bezpečnostní tým Hugging Face rozebíral, co se u nich vlastně stalo, narazil právě na ně. Programy, které chtěl k analýze použít, mu odmítly posloužit, protože to, co po nich žádal, vypadalo jako útok. Musel proto přejít na program s takzvanými otevřenými vahami. To je takový, který si každý smí stáhnout, spustit na svém počítači a nastavit si ho podle sebe, tedy i bez cizích brzd. Teprve pak analýzu dokončil.

Sečteno: útočník běžel s brzdami záměrně povolenými, protože to byl test. Obránce na brzdy narazil. Asymetrii ve prospěch útočníka vytvořila sama bezpečnostní politika.

Kdo zaplatí obranu

Zbývá otázka peněz, protože testování není zdarma ani se stroji. Stojí výpočetní čas, tedy elektřinu a nájem serverů, a k tomu lidskou práci, kterou nikdo neuvidí, dokud se nic nestane. Přesně proto je tak snadné ji škrtnout.

Bilance je ale jednoznačná. Útočník tuhle investici zaplatí rád, protože mu vynese výhodu, kterou zpeněží. Obránce ji odkládá, protože mu z ní žádný příjem neplyne. To je jediný důvod, proč dnes někdo drží nezaheslovaný přístupový bod. Jedna strana má motivaci platit, druhá ji musí najít jinde — v pravidlech, v povinnosti, ve veřejném rozhodnutí, že tohle patří k základním nákladům provozu, ne k nadstandardu.

A pak je tu věc, kterou by bylo chybou přejít. O obou případech víme jen proto, že se dvě firmy rozhodly to říct. Anthropic prošel sto čtyřicet tisíc záznamů dobrovolně, po cizím příkladu, ne kvůli povinnosti. Evropská komise potvrdila, že o incidentech byla informována dvoustranně ještě předtím, než se staly veřejnými — tedy z dobré vůle.

Nástroj na tohle přitom Evropa dávno má, jen míří jinam. Když Evropská parlament vyjednával balíček digitálních finančních předpisů, dostaly banky a pojišťovny povinnost hlásit závažné počítačové incidenty úřadu do čtyř hodin. Ne do čtyř dnů.

Byl jsem u toho: u samotného nařízení jako stínový zpravodaj za svou frakci, u doprovodné směrnice jako zpravodaj. Zpravodaj je poslanec, který za Parlament vede vyjednávání o konkrétním zákonu a odpovídá za jeho text; stínový zpravodaj dělá totéž za svou politickou skupinu a drží nad ním dohled.

Logika byla přímá: instituce, jejíž výpadek dopadne na tisíce lidí, nemá právo mlčet a čekat, jak to dopadne. Pravidla o kybernetické bezpečnosti tu povinnost pak rozšířila na energetiku, zdravotnictví a další kritické sektory.

Firma, která u sebe zkouší, jestli její vlastní program dokáže prolomit cizí počítač, ale do žádné z těch kategorií jasně nepadá. Nařízení o umělé inteligenci po ní chce dokumentaci modelu, ne hlášení provozní havárie do čtyř hodin — a to, co se stalo v červenci, provozní havárie byla.

Nevidím důvod, proč tu logiku nerozšířit i na tenhle typ organizací: kdo u sebe drží nástroj schopný prolomit cizí systém a stát se útočníkem, má vůči veřejnosti stejnou informační povinnost jako banka nebo jiná instituce, která je obráncem.

Zatím to fungovalo i bez toho. Dvě firmy se zachovaly slušně a jedna z nich dokonce nechala své záznamy prověřit nezávislé organizaci. Otázka ale nezní, jestli se slušně zachovají znovu. Zní, co se stane, když se tak nezachová někdo třetí — a jestli si toho vůbec všimneme, když si dvě ze tří napadených organizací nevšimly ani toho, že u nich někdo byl.