Genereringsmetoder och deras avvägningar
Vanliga genereringsmetoder sträcker sig från relativt enkel statistisk återsampling och bootstrapping till generativa motståndarnätverk och variationsautokodare som kan fånga komplexa, icke-linjära samband mellan många variabler. De mer avancerade metoderna bevarar realistiska korrelationer bättre men kräver större verkliga dataset för att tränas tillförlitligt och medför högre risk att oavsiktligt memorera och läcka enskilda poster om de inte begränsas korrekt, vilket är en viktig aspekt för påståenden om dataskydd.
Tekniker för differentiell integritet kan läggas ovanpå genereringsprocesser för att ge formella, kvantifierbara integritetsgarantier i stället för att förlita sig på det informella antagandet att syntetiska poster inte kan spåras tillbaka till individer. Företag som hävdar integritetsfördelar från syntetisk data bör kunna formulera och, där möjligt, kvantifiera garantin snarare än att påstå den kvalitativt, eftersom tillsynsmyndigheter och dataskyddsmyndigheter i allt högre grad efterfrågar detaljer.
Att validera syntetisk data innan den används
Trohetstestning jämför statistiska egenskaper — marginalfördelningar, korrelationsstrukturer och frekvenser för sällsynta händelser — mellan syntetisk och verklig data, och flaggar där genereringsprocessen jämnat ut eller missat viktigt svansbeteende som är specifikt relevant för riskmodellering. Användbarhetstestning går längre genom att träna modeller på syntetisk data och validera prestanda mot verklig hålls-ut-data, eftersom statistisk likhet inte garanterar att en modell tränad på syntetisk data generaliserar till verkliga beslut.
Företag bör dokumentera tydligt vilka modeller som utvecklats, testats eller validerats med syntetisk data i varje steg, eftersom tillsynsmyndigheter som granskar modelldokumentation kommer att fråga om dataursprung och kan kräva bevis på att slutvalideringen inkluderade verklig data, särskilt för modeller med hög väsentlighet som kapitaltäckning eller prissättning. Styrningen av syntetisk data bör ingå i samma datastyrningsramverk som verklig data, inte som en separat, mindre granskad kategori.
Sammanfattning
Syntetisk data är ett genuint användbart tillskott till verktygslådan för riskmodellering, särskilt för modellering av sällsynta händelser och utvecklingsmiljöer med dataskyddsbegränsningar, men den kräver samma valideringsdisciplin som all annan indata till en reglerad modell. Företag som hoppar över trohets- och användbarhetstestning utifrån antagandet att syntetisk data automatiskt är representativ riskerar modeller som presterar bra i tester och dåligt i produktion. Jonas Adam Mohamed Osman (känd som Yonas Osman), vd för Quantica Risk, behandlar syntetisk data som en utvecklingsaccelerator som ändå kräver verklighetsbaserad validering innan någon modell byggd på den förtjänar produktionsförtroende.
Källor och vidare läsning
Relaterade sidor
- Förklarbar AI (XAI) för kreditriskmodellerVarför förklarbarhet är avgörande för AI-driven kreditbedömning, hur SHAP och LIME fungerar, och hur de möter kraven på avslagsbesked.
- Modellriskhantering för AI: SR 11-7 och SS1/23Hur SR 11-7 och Bank of Englands SS1/23 utvidgas till AI och maskininlärning, och vad företag måste lägga till befintliga valideringsramverk.
- Generativ AI i riskrapportering: nytta och gränserHur generativ AI kan påskynda riskrapportering och textutkast, och vilka styrkontroller som krävs för att hantera risken för felaktigheter.