١٨الذكاء التوليدي في الاستوديو: أصل جديد وثغرة جديدة

٢ دقائق قراءة٢٠ من ٣٤اقرأه في الكتاب · صفحة ٩٦

«الأمر الذي تكتبه في أداة عامة قد يكون أثمن ملف أرسلته اليوم».

في عامين فقط صار الذكاء التوليدي جزءاً من كل مسار إبداعي: يكتب المسودات، ويقترح التصاميم، ويولد الصور والأصوات، ويكتب الكود، ويرد على العملاء عبر وكلاء آليين. وهذا التحول يغير خريطة الأصول والمخاطر كلها؛ فالسؤال لم يعد «هل نستخدم الذكاء؟» بل «كيف نحكمه؟».

مخاطر الذكاء التوليدي عبر مسار العمل الإبداعي

المخاطر عبر مسار العمل

المدخلات: لصق ملفات العملاء أو الكود السري أو البيانات الشخصية في أداة عامة قد يعني مشاركتها مع المزود، واستخدامها أحياناً في التدريب.
النموذج: نماذج مخصصة مدربة على أسلوب عميل أو بياناته أصل يُسرق أو يُسمم.
المخرجات: معلومات مختلقة بثقة (الهلوسة)، أو محتوى يشبه أعمالاً محمية، أو تحيز يضر بالعلامة.
الوكلاء: وكيل يملك صلاحية إرسال البريد أو تعديل الملفات قد يُخدع بحقن الأوامر فينفذ تعليمات مهاجم مخبأة في مستند أو صفحة.

حقن الأوامر: الثغرة الأولى في تطبيقات النماذج

حقن الأوامر (Prompt Injection) هو أن يضع المهاجم تعليمات داخل محتوى يقرؤه النموذج، فيطيعها كأنها من المستخدم. قد تكون جملة مخفية بلون أبيض في ملف موجز يرسله «عميل»، أو نصاً في صفحة ويب يلخصها الوكيل. ولا يوجد حتى اليوم حل كامل له، لذلك يقوم الدفاع على الطبقات: فصل التعليمات عن البيانات، وتقليل صلاحيات الوكيل، وطلب موافقة بشرية على الأفعال الحساسة، ومراقبة السلوك.

سياسة الاستخدام المقبول للذكاء الاصطناعي

الأدوات المعتمدة: قائمة بالأدوات المسموح بها، ويُفضل نسخ المؤسسات التي لا تُدرب على بياناتك.
تصنيف البيانات: ما يجوز إدخاله في كل أداة: العام مسموح، والسري للعملاء ممنوع إلا في أداة معتمدة لذلك.
المراجعة البشرية: لا يخرج محتوى مولّد إلى عميل أو جمهور دون مراجعة إنسان مسؤول.
الإفصاح: متى نخبر العميل أن جزءاً من العمل مولّد، وكيف.
الإبلاغ: قناة للإبلاغ عن مخرج ضار أو سلوك غريب لأداة أو وكيل.

من أرض الواقع

أغلب تسريبات الذكاء الاصطناعي في الوكالات لم تأتِ من مهاجم، بل من موظف مجتهد أراد إنهاء موجز العميل أسرع فلصقه كاملاً في حساب مجاني شخصي.

من الأمن إلى الحوكمة

بعض هذه المخاطر أمنية يغطيها آيزو 27001: التسرب، والوصول، والموردون. وبعضها يتجاوز الأمن إلى أسئلة لم يصمم لها: هل المخرج منصف؟ هل يفهم المتأثر أنه يتعامل مع آلة؟ من المسؤول حين يخطئ النموذج؟ وهنا يأتي دور آيزو 42001، موضوع بقية هذا القسم.

عامل الأمر كملف، والنموذج كأصل، والوكيل كموظف جديد بصلاحيات محدودة.

الدروس المستفادة

١الذكاء التوليدي يضيف أصولاً جديدة: أوامر ونماذج ووكلاء.
٢حقن الأوامر يُدافع عنه بالطبقات وتقليل الصلاحيات.
٣سياسة استخدام مقبول واضحة تمنع أغلب التسريبات.
٤بعض مخاطر الذكاء تتجاوز الأمن إلى الحوكمة.

تلميح: استخدم ← → للتنقل بين الأقسام.