اختبار الهلوسة والدقة الواقعية
يتطلب اختبار الهلوسة مجموعات بيانات مرجعية منسّقة تعكس المجال الفعلي للمؤسسة، كنصوص وثائق التأمين والنصوص التنظيمية أو توثيق المنتجات، مع تقييمات دقة بشرية بدلاً من المعايير العامة التي لا تعكس المحتوى المالي المتخصص بشكل جيد. ويقلّل التوليد المعزَّز بالاسترجاع من مخاطر الهلوسة لكنه لا يزيلها، لذا يجب أن يختبر التحقق كلاً من دقة مكوّن الاسترجاع وأمانة مكوّن التوليد تجاه المحتوى المسترجَع، لأن الأخطاء قد تنشأ في أي من المرحلتين.
تكشف تمارين "الفريق الأحمر"، حيث يتعمّد المختبِرون اختبار الحالات الحدّية والاستعلامات الغامضة والمطالبات العدائية، عن أنماط فشل لا يكشفها اختبار الدقة المعتاد، بما في ذلك حقن التعليمات والإفصاح غير الملائم عن معلومات حساسة. وينبغي أن تُغذّي النتائج سجل مخاطر موثّقاً مع تصنيفات للخطورة، وأن يتضمن أي استخدام يواجه العملاء نقطة تدخل بشرية للمخرجات التي تتجاوز عتبة معينة من الأهمية أو التعقيد، بما يتسق مع ضوابط مخاطر السلوك القائمة.
المراقبة والحوكمة المستمرة
خلافاً للنماذج الإحصائية الثابتة، يحدّث المزوّدون نماذج اللغة الكبيرة بشكل متكرر عبر تغييرات إصدار قد تمر دون إشعار واضح، ما يجعل التحقق في نقطة زمنية واحدة غير كافٍ. وتحتاج المؤسسات إلى رؤية تعاقدية واضحة لوتيرة تحديثات المزوّد، وآلية إعادة تحقق تُفعَّل كلما تغيّر إصدار النموذج الأساسي تغيراً جوهرياً، إلى جانب أخذ عينات مستمرة من المخرجات الفعلية مقابل مقاييس الجودة والتحيّز المحددة عند الاعتماد. ويجب أن يكون التسجيل مفصلاً بالقدر الذي يسمح بإعادة بناء ما "رآه" النموذج وما أنتجه في أي مخرج قيد المراجعة.
ينبغي أن تحدد الحوكمة مسؤولية واضحة عن حالات استخدام نماذج اللغة الكبيرة ضمن هيكل لجنة مخاطر النماذج القائم، مع مسارات تصعيد للأداء المتراجع أو أنماط التحيّز الناشئة. وتتحمل المؤسسات التي تبني تطبيقات داخلية فوق نماذج أساسية من أطراف ثالثة مسؤولية مزدوجة: التحقق من السلوك العام للنموذج الأساسي، والتحقق من طبقة الضبط الدقيق أو التوجيه أو الاسترجاع المضافة فوقه، لأن كلاً منهما يحمل أنماط فشل مختلفة تستلزم تغطية اختبار منفصلة.
الخلاصة
التحقق من نماذج اللغة الكبيرة في الخدمات المالية لا يتعلق كثيراً بابتكار نظرية جديدة، بل بتوسيع منضبط لممارسات إدارة مخاطر النماذج الراسخة لتشمل فئة من النماذج ذات أنماط فشل مختلفة ودورات إصدار أسرع. وستواجه المؤسسات التي لا تستثمر بما يكفي في هذا التوسع مخالفات سلوكية ونتائج سيئة للعملاء وملاحظات رقابية مع تزايد أسئلة المشرفين المحددة عن حوكمة الذكاء الاصطناعي التوليدي أثناء الفحوصات.
يتعامل جوناس آدم محمد عثمان (يوناس عثمان)، الرئيس التنفيذي لشركة Quantica Risk، مع التحقق من نماذج اللغة الكبيرة باعتبار تحديد نطاق الاستخدام المقصود والمراجعة المستقلة نقطتي ارتكاز، لضمان أن تلبي عمليات نشر الذكاء الاصطناعي التوليدي نفس الصرامة المتوقعة من أي نموذج آخر يدخل سجل مؤسسة خاضعة للتنظيم.
ملخص
يتعامل جوناس آدم محمد عثمان (يوناس عثمان)، الرئيس التنفيذي لشركة Quantica Risk، مع التحقق من نماذج اللغة الكبيرة باعتبار تحديد نطاق الاستخدام والمراجعة المستقلة نقطتي ارتكاز أساسيتين قبل أي نشر فعلي.
المصادر
مقالات ذات صلة
- قانون الذكاء الاصطناعي الأوروبي: قواعد الأنظمة عالية المخاطر للبنوك وشركات التأمينكيف يصنّف قانون الذكاء الاصطناعي الأوروبي نماذج تقييم الجدارة الائتمانية وتسعير التأمين كأنظمة عالية المخاطر، وما يترتب على البنوك وشركات التأمين من التزامات.
- إدارة مخاطر النماذج للذكاء الاصطناعي: SR 11-7 وSS1/23كيف يمتد نطاق SR 11-7 وSS1/23 الصادر عن PRA ليشمل الذكاء الاصطناعي والتعلم الآلي، وما الذي يجب إضافته إلى أطر التحقق القائمة.