Co mají letectví a vývoj softwaru společného s autonomní AI?

Na první pohled moc ne. Oba obory ale ukazují něco podstatného o tom, co autonomní AI potřebuje pro práci ve firmách.

Letectví ukazuje, jak zajistit bezpečnost i tam, kde se nelze spolehnout na bezchybné rozhodování. Piloti jsou vysoce kvalifikovaní, přesto dělají chyby a vycházejí z nesprávných předpokladů.

Bezpečnost proto závisí také na jasných postupech, rozdělení pravomocí a odpovědnosti, průběžném dohledu, záložních systémech a možnosti včas zasáhnout.

Vývoj softwaru zase ukazuje, jaký náskok má AI tam, kde už existuje vhodné pracovní prostředí. Vývojové postupy dlouhodobě počítají s tím, že týmy na různých místech pracují souběžně na několika požadavcích nad společným kódem. Umožňují práci rozdělit, změny samostatně připravovat, kontrolovat, testovat a následně spojovat.

Toto prostředí nevznikalo kvůli AI. Programovací agenti v něm ale našli velkou část toho, co potřebují: mohou převzít úkol, připravit změnu a předat ji ke kontrole. Měli na co navázat.

Napříč firemními procesy je situace jiná. Firmy mají procesy, kontroly i automatizaci, ale jejich propojení často zajišťují lidé. Doplňují chybějící informace, vyjasňují odpovědnost a domlouvají se, kdo převezme další krok. Mnoho pravidel znají ze zkušenosti, aniž by byla zachycena v systémech.

Pro autonomní AI musíme tyto podmínky vytvořit záměrně. Potřebuje prostředí, ve kterém může samostatně plnit úkoly, spolupracovat s lidmi a podléhat kontrole.

Právě v tom podle mě spočívá hlavní výzva podnikové autonomní AI: zajistit spolehlivé fungování celku, i když jednotlivá rozhodnutí AI mohou být chybná.

Počítejme s tím, že AI bude chybovat

Při nasazování AI se přirozeně snažíme omezit chyby a lépe porozumět jejímu rozhodování. Musíme ale počítat s tím, že se chyb nezbavíme úplně.

AI tím nestavíme na roveň člověku. Pro organizaci práce však mají lidé a AI jednu podstatnou společnou vlastnost: nelze předpokládat, že se vždy rozhodnou správně.

Právě proto v kritických provozech omezujeme pravomoci, zavádíme nezávislé kontroly a nastavujeme postupy tak, aby jediné špatné rozhodnutí nemělo katastrofální následky. U AI potřebujeme stejně jasně určit, co smí rozhodnout sama, kdy má zasáhnout člověk a jak lze práci zastavit.

Vedle vysvětlení rozhodnutí potřebujeme také dohledat, co se stalo: co úkol spustilo, jaké informace a nástroje měla AI k dispozici a co skutečně provedla.

Z toho můžeme zjistit, kde chyběla informace, kde byla pravomoc příliš široká nebo kde měla přijít kontrola. Za nastavení těchto podmínek musí odpovídat konkrétní lidé v organizaci.

Jeden úkol, více lidí a systémů

Firmy mají na čem stavět: spravují přístupy, schvalují požadavky, řídí procesy a vedou auditní záznamy. Tyto nástroje ale potřebují propojit tak, aby podporovaly i úkoly, na kterých společně pracují AI, lidé a automatizované systémy.

Takový úkol může trvat několik dní. Některé kroky běží souběžně, jiné čekají na schválení nebo na dokončení předchozí práce. AI musí umět práci předat a později na ni navázat.

Představme si zaměstnance, který nahlásí ztrátu firemního telefonu. Cílem je zabezpečit ztracené zařízení a zajistit, aby zaměstnanec mohl znovu pracovat.

• AI zjistí, o které zařízení jde, a prostřednictvím systému pro správu telefonů zablokuje přístup k firemním datům.
• Pozastavení SIM karty může vyžadovat zásah mobilního operátora.
• Náhradní telefon musí někdo schválit a pracovník IT podpory ho musí připravit a předat.

Jeden požadavek tak propojuje několik rolí a systémů. Po celou dobu musí být jasné, co je hotovo, na co se čeká, kdo má pokračovat a kdo odpovídá za dokončení celého úkolu.

Samotná přístupová oprávnění to nevyřeší. AI může mít právo telefon na dálku vymazat. Má to ale udělat okamžitě? Potřebuje schválení? A co když zaměstnanec mezitím telefon najde?

Vedle otázky, zda AI určitou akci provést smí, proto potřebujeme zodpovědět i druhou:

Dává smysl provést ji právě teď, vzhledem k cíli úkolu a tomu, co se mezitím stalo?

K tomu je nutný společný záznam o rozpracované práci: dosavadní kroky, rozhodnutí, schválení i to, kdo má pokračovat. Musí zůstat dostupný, i když skončí konverzace nebo práci převezme jiný agent či člověk.

Kdokoli úkol přebírá, potřebuje dostatek informací i pravomocí, aby mohl navázat, změnit postup nebo práci zastavit.

Právě takové podmínky ve vývoji softwaru už z velké části existovaly. Pro práci napříč firmou je musíme cíleně vytvořit a doplnit o pravidla, která dnes lidé často znají jen z praxe.

Autonomní AI mění operační model firmy

Zapojení autonomní AI mění způsob, jakým firma rozděluje práci, rozhoduje a kontroluje výsledky. Zasahuje tedy její operační model.

Na úrovni celé firmy potřebujeme určit:

• Jakou práci svěříme AI a co zůstane lidem.
• V jakých mezích může AI rozhodovat samostatně.
• Jak si AI, lidé a systémy předávají rozpracované úkoly.
• Kdo odpovídá za výsledek a kdy musí zasáhnout.
• Jak poznáme, že práce probíhá správně, a jak ji případně zastavíme.

Tato pravidla musí fungovat napříč odděleními a mít oporu v používaných systémech. Ty musí zajistit potřebné informace, vynucovat hranice pravomocí a umožnit kontrolu i převzetí práce člověkem.

Za podobu tohoto operačního modelu odpovídá vedení firmy. Nemusí předem vyřešit všechny budoucí způsoby využití AI, mělo by ale stanovit společné základy.

Pokud si je každý AI pilot vytvoří po svém, pozdější sjednocování bude obtížné a drahé.

Operační model bude váš. Technický základ nejspíš převezmete.

Banka, farmaceutická společnost a logistická firma budou mít odlišné požadavky na pravomoci AI, lidský dohled i práci s informacemi. Technické mechanismy, které tato pravidla zajistí, však budou v mnohém podobné.

Neočekávám, že si je každá firma bude dlouhodobě vyvíjet sama. Ani vlastní procesy a bezpečnostní pravidla dnes většinu firem nevedou k vývoji vlastního operačního systému nebo databáze.

U autonomní AI ale zatím není jasné, které schopnosti se spojí v jednom produktu, co zůstane samostatnou službou a jaké standardy se prosadí. Firmy tak musí rozhodovat, co vytvořit vlastními silami a kde využít dodavatele, přestože se technický základ bude dál měnit.

O to důležitější je navrhnout pravidla a způsob spolupráce tak, aby byly co nejméně závislé na konkrétní platformě.

Co musíme sjednotit už dnes, abychom při budoucí změně technologie nemuseli znovu řešit, jak si AI, lidé a systémy předávají práci, kdo za ni odpovídá a jak ji kontrolujeme?

Se strategií zavádění autonomní AI můžete začít už teď, i když nemáte všechny odpovědi. Vyberte jeden úkol, který prochází několika odděleními, určete odpovědnost za jeho dokončení a vymezte, kde může AI jednat samostatně a kde musí zasáhnout člověk. Na něm ověřte pravidla, která pak využijete i při dalším nasazení.