Nya felmönster från autonomt agerande
Felaktigt specificerade mål är det allvarligaste felmönstret: en agent som optimerar bokstavligt mot ett angivet mål kan vidta åtgärder som tekniskt är förenliga med det målet men tydligt stridande mot avsikten, en risk som växer med antalet steg en agent kan ta innan en människa granskar dess förlopp. Kaskaderande fel är en relaterad oro när flera agenter, eller en agent och äldre automatiserade system, interagerar, eftersom testning av ett system isolerat inte avslöjar emergent beteende som bara uppstår när system agerar på varandras utdata i produktion.
Agenter med tillgång till externa verktyg eller möjlighet att initiera transaktioner skapar en direkt väg från ett mjukvarufel till en finansiell eller ryktesmässig förlust, vilket eliminerar den buffert som traditionellt mänskligt beslutsfattande erbjöd. Företag bör kartlägga exakt vilka åtgärder en agent kan vidta utan tillsyn, tillämpa principen om minsta privilegium strikt, och kräva förhöjd auktorisation för alla åtgärder ovanför en definierad finansiell eller ryktesmässig väsentlighetsgräns oavsett agentens egen tillit till sitt resultat.
Styrkontroller för agentbaserade system
Inneslutning är den primära kontrollen: agenter bör verka inom strikt avgränsade behörigheter, testas i sandlådemiljöer, och ha fasta gränser för transaktionsstorlek, frekvens eller omfattning som agenten själv inte kan åsidosätta oavsett dess resonemang. Omfattande loggning av en agents mellanliggande steg, inte bara slutgiltiga utdata, är avgörande för incidentutredning, eftersom att rekonstruera varför en agent vidtog en skadlig åtgärd kräver insyn i dess planerings- och verktygsanvändningsspår, inte bara den slutliga åtgärden.
Nödstoppsmekanismer och strömbrytare som möjliggör omedelbar mänsklig överstyrning och återställning av agentåtgärder bör testas regelbundet snarare än antas fungera vid behov, i linje med den operativa motståndskraftstestning företag redan genomför för kritiska verksamhetstjänster enligt ramverk som Storbritanniens regelverk för operativ motståndskraft. Incidenthanteringsplaner bör uttryckligen omfatta agentbaserade fel som ett eget scenario, eftersom hastigheten och omfattningen en agent kan agera med skiljer sig väsentligt från traditionella systemavbrott.
Sammanfattning
AI-agenter erbjuder verkliga effektivitetsvinster i finansiell verksamhet, men deras förmåga att kedja beslut och agera med begränsad tillsyn innebär att ramverken för operativ risk behöver medveten utvidgning innan driftsättning, inte efterhandskonstruktion efter en incident. Företag bör avstå från att driftsätta agenter i processer som rör kundmedel eller regulatorisk rapportering utan att först bevisa att inneslutnings- och återställningskontroller fungerar under realistiska felscenarier. Jonas Adam Mohamed Osman (känd som Yonas Osman), vd för Quantica Risk, utgår från inneslutning och reversibilitet snarare än förmåga, och säkerställer att autonomi bara utökas så långt testade kontroller tillförlitligt kan begränsa den.
Källor och vidare läsning
Relaterade sidor
- AI för bedrägeribekämpning: risk och styrningHur AI förbättrar bedrägeribekämpning i finansbranschen, avvägningen kring falska positiva utslag, och de styrkontroller tillsynen förväntar sig.
- Modellriskhantering för AI: SR 11-7 och SS1/23Hur SR 11-7 och Bank of Englands SS1/23 utvidgas till AI och maskininlärning, och vad företag måste lägga till befintliga valideringsramverk.
- AI-styrningsmodeller för styrelser: ett riskperspektivVad styrelser behöver av en AI-styrningsmodell: tillsynsstruktur, riskaptit, ansvarsutkrävande och rapportering om AI-riskexponering.