Jak kontrolovat super-inteligentní AI

S tím, jak AI získává nové schopnosti, se řeší především to, jak udržet její chování pod kontrolou, v jakém prostředí ji nechat pracovat, k čemu jí povolit přístup a kdy a jak zapojit do rozhodování člověka.

Možná ale přehlížíme ještě jednu zásadní bezpečnostní pojistku: samotnou možnost využívat inteligenci modelu.

Výkonné AI modely stále umožňují, aby se k nim AI agenti připojovali pomocí dlouhodobě platných API klíčů. Ty sice mohou být z našeho pohledu bezpečně uložené, ale o to tak úplně nejde.

Co když agent unikne ze svého prostředí?

Pokročilý agent si může uložit svůj vlastní kód a kontext mimo naše prostředí. Jediné, co pak potřebuje k tomu, aby mohl nerušeně pokračovat ve své práci, je přístup k dostatečně schopnému modelu.

Naše původní omezení, pojistky a kontroly pak pro takového agenta přestanou platit. Kód agenta mimo naši infrastrukturu nemusí nutně znamenat, že mu zůstanou přístupy k firemním datům a systémům, ale o to vlastně ani nejde.

Jde o to, že může vzniknout autonomní instance agenta, kterou už nespouštíme ani nekontrolujeme my a která může sledovat vlastní cíle. A to je okamžik, kdy se může dostatečně schopná AI teoreticky dostat mimo naši kontrolu.

Samotný mechanismus přitom není nijak složitý. Dnešní agenti už umějí psát kód, ukládat svůj stav a spouštět další modely. Dnešní AI snad ještě nemá důvod jednat svévolně. Otázkou je, jak dlouho na to můžeme spoléhat.

Jak tomu zabránit

Nedovolit agentům psát kód nebo ukládat soubory asi není správný směr. Bez toho se dnešní agentické systémy neobejdou.

Co ale můžeme kontrolovat, je přístup k samotnému modelu a výpočetnímu výkonu.

Dlouhodobě platný API klíč není dostatečně silnou bezpečnostní zárukou. Uniklý agent totiž nepotřebuje nutně svůj původní klíč. Stačí mu jakýkoli jiný trvalý přístup k dostatečně schopnému modelu.

Pokud například najde zapomenutý API klíč ve veřejném repozitáři nebo na kompromitovaném serveru, může pomocí něj znovu získat přístup k modelu a pokračovat mimo původní prostředí.

Proto by skutečná autorizační hranice měla být co nejblíže samotnému modelu.

Poskytovatel modelu by vůbec neměl přijímat dlouhodobě použitelné API klíče. Krátkodobý token by mohl získat pouze systém s ověřenou a předem autorizovanou identitou a jeho platnost by rychle vypršela.

Pokud by pak uniklý agent někde našel starý API klíč, nebyl by mu k ničemu. Samotná znalost klíče by už k použití modelu nestačila.

Neřeší to všechno

Pokud se jednou dostatečně schopné otevřené modely stanou široce dostupné a levné na provoz, nemusí existovat žádný centrální bod, přes který lze přístup k inteligenci kontrolovat.

Ani dnes samozřejmě nejde o řešení všech rizik. Jde o to hledat a vytvářet pevné kontrolní body, které AI nemůže jednoduše obejít jen tím, že opustí prostředí, ve kterém jsme ji původně spustili.

S kybernetickými útoky bojujeme desítky let a vybudovali jsme kolem nich rozsáhlé obranné mechanismy. Autonomní AI ale může jednat mnohem rychleji a ve výrazně větším měřítku než člověk nebo skupina lidí.

Je proto možné, že některé dnešní bezpečnostní mechanismy jednoduše nebudou stačit.

Budeme potřebovat nové. A kontrola přístupu k samotné inteligenci modelu může být jedním z nich.