Velkou nervozitu mezi komentujícími na internetu způsobila výzva k pozastavení výzkumu jazykových modelů pokročilejších než ChatGPT-4 na šest měsíců. Odborníci na strojové učení v ní upozorňují na rizika související s velkými jazykovými modely (Large Language Models). O rozsahu celého problému si nezasvěcený člověk může udělat představu z otázek, které v textu zaznívají: „Měli bychom automatizovat všechna pracovní místa, včetně těch, která nás naplňují?“ „Měli bychom riskovat ztrátu kontroly nad naší civilizací?“

Hypotetické scénáře budoucích schopností různých modelů strojového učení se koncem roku 2022 začaly rychle naplňovat. To nejpřekvapivější pro odborníky na strojové učení byl v modelu ChatGPT-4 objev záblesků obecné umělé inteligence (AGI). Dosavadní doménově specializované modely (Narrow AI) byly vytrénovány na jednu specifickou činnost, kdežto AGI je autonomní systém, který překonává lidské schopnosti ve většině ekonomicky hodnotných činností.

Jeden z hlavních problémů s umělou inteligencí (AI) popsal Jan Kulveit, vědec Institutu budoucnosti lidstva v Oxfordu: „Vývoj technologie dnes postupuje rychleji než možnosti společenské adaptace.“ Upozorňuje, že veřejnosti dostupné jazykové modely už mají schopnosti, které jsou nebezpečné a dokážou lidi subtilně manipulovat. ChatGPT-4 například předstírala, že je zrakově postižená osoba, a přemluvila člověka k odkliknutí CAPTCHA testu.

Větší obavy budí otázka, nakolik se podaří uvést do souladu zájmy silné AI (AGI) se zájmy tvůrců modelu. Problém sladění zájmů lidstva a zájmů AI se doposud vnímal jen jako hypotetická záležitost vzdálené budoucnosti. Vývoj posledních týdnů ale ukazuje, že tomuto problému možná budeme čelit dříve, než jsme mysleli. Lze to shrnout lapidárně: pokud selžeme ve sladění se s něčím mnohem chytřejším, než jsme my, zemřeme.

Před rychlostí, s jakou společnost OpenAI vydává nové jazykové modely, nejhlasitěji varuje výzkumník AI rizik Eliezer Yudkowsky. V novém rozhovoru s Lexem Fridmanem říká: „AI zima byla dlouhá, protože výzkum se ukázal jako velice obtížný. Nadšeným vědcům v novém odvětví se to nepovedlo na druhý, pátý ani dvacátý pokus. Nepovedlo se jim to dlouhých padesát let.“ A dodává: „Pojďme krotit své nadšení a s opatrností se věnovat výzkumu sladění našich zájmů s AGI podobně dlouho.“

Co dnes o rizicích víme?

Na problém sladění zájmů AI a lidstva se dnes dle kvalifikovaných odhadů zaměřuje 350 výzkumníků. Podle Yudkowskyho ale nejde na problém jen nasypat peníze a doufat, že to dobře dopadne. Chybí institucionální infrastruktura a pobídky vědcům, aby se nebáli změnit kariéru. Že jsou obavy ze strojové inteligence podložené, říká dokonce i Sam Altman, CEO OpenAI.