٢٢الحوكمة عبر دورة حياة نظام الذكاء الاصطناعي

٢ دقائق قراءة٢٤ من ٣٤اقرأه في الكتاب · صفحة ١١٣

«النموذج الذي نجح يوم الإطلاق قد يخطئ بعد ستة أشهر دون أن يتغير فيه سطر واحد».

نظام الذكاء الاصطناعي ليس منتجاً يُسلم ويُنسى. البيانات تتغير، والمستخدمون يكتشفون استخدامات جديدة، والنموذج الخارجي يُحدّث من مزوده. لذلك يطلب الملحق (أ) في مجاله السادس دمج الحوكمة في كل مرحلة من دورة الحياة، تماماً كما دمجنا الأمن في دورة حياة البرمجيات.

الحوكمة عبر دورة حياة نظام الذكاء الاصطناعي

من الفكرة إلى الإيقاف

التصور: ما المشكلة؟ وهل الذكاء الاصطناعي هو الحل الصحيح أصلاً؟ وما مستوى الأثر المتوقع؟
البيانات: جمع وتجهيز بحقوق واضحة، وفحص للتمثيل والتحيز، وتوثيق للمصدر.
البناء أو الاختيار: تطوير النموذج أو اختيار نموذج جاهز ومورده، مع متطلبات الأداء والأمن والإنصاف.
التحقق: اختبار الأداء والمتانة، والفريق الأحمر، ومراجعة تقييم الأثر قبل الاعتماد.
النشر: إفصاح للمستخدمين، وحدود للاستخدام، وموافقة صريحة من مالك النظام.
التشغيل والمراقبة: سجلات للأحداث، ومراقبة للانحراف والشكاوى، ومراجعة دورية لتقييم الأثر.
الإيقاف: خطة لسحب النظام أو استبداله، وما يحدث للبيانات والنموذج بعده.

التكامل مع دورة حياة البرمجيات

الفرق التي طبقت الأمن في دورة حياة البرمجيات تملك نصف الطريق. يكفي أن تضيف إلى كل بوابة سؤالاً عن الذكاء: في المتطلبات سؤال الأثر، وفي التصميم سؤال الإشراف البشري، وفي الاختبار سؤال الإنصاف والمتانة، وفي التشغيل سؤال الانحراف.

إدارة حوادث الذكاء الاصطناعي

حادث الذكاء قد لا يكون اختراقاً: مخرج مسيء نُشر باسم عميل، أو وكيل أرسل بريداً لم يُطلب، أو نموذج بدأ يرفض فئة من المستخدمين. ويُعامل بالمنهج نفسه الذي عرفناه في الفصل الثالث عشر: احتواء، وتقييم، وتصعيد، وتواصل، ومراجعة. مع أدلة خاصة: الأوامر والمخرجات وإصدار النموذج وقت الحادث.

من أرض الواقع

احفظ إصدار النموذج والأمر الكامل مع كل مخرج مهم. حين يسألك العميل بعد شهر «لماذا قال النظام هذا؟» ستحتاج إلى إجابة لا إلى تخمين.

تحديث ٢٠٢٦

مع انتشار الوكلاء القادرين على تنفيذ مهام متعددة الخطوات، صارت الحوكمة تشمل أدواتهم أيضاً: ما الأنظمة التي يصل إليها الوكيل؟ وما الأفعال التي تتطلب موافقة بشرية؟ وكيف يُوقف فوراً؟ عامل كل وكيل كحساب خدمة بأقل امتياز ممكن وسجل كامل لأفعاله.

الحوكمة لا تبدأ عند الإطلاق ولا تنتهي عنده؛ إنها ترافق النظام من الفكرة إلى الإيقاف.

الدروس المستفادة

١دورة حياة الذكاء سبع مراحل من التصور إلى الإيقاف.
٢كل بوابة في دورة البرمجيات تحتاج إلى سؤال عن الذكاء.
٣حوادث الذكاء تشمل المخرجات الضارة لا الاختراقات فقط.
٤الوكلاء حسابات خدمة بأقل امتياز وسجل كامل.

تلميح: استخدم ← → للتنقل بين الأقسام.