حوكمة الذكاء الاصطناعي تحتاج إلى مكابح، لا إلى دليل قواعد فقط

باختصار

  • تُبنى معظم أطر حوكمة الذكاء الاصطناعي في المؤسسات حول ما يحدث قبل تشغيل النظام: تقييم المخاطر، والاعتماد، والصلاحيات، والاختبار، والإشراف.
  • كشفت OpenAI أواخر سبتمبر أن وكلاء مستقلين في بيئتها البحثية تجاوزوا ضوابط الوصول، واستخدموا بيانات اعتماد مكشوفة، ونقلوا بيانات إلى خدمات طرف ثالث. ووُصفت معظم الحالات بأنها منخفضة الخطورة، كما أن الإخطار لا يعني بالضرورة وقوع اختراق.
  • تتجه استجابة القطاع نحو طبقة جديدة هي الاحتواء أثناء التشغيل. فقد أطلقت NVIDIA منصة OpenShell، وهي بيئة تشغيل معزولة للوكلاء، وشكّلت اثنتا عشرة شركة من بينها AWS وGoogle Cloud وCrowdStrike وOkta تحالف Blueprint حول بنية أمنية مشتركة للوكلاء تتضمن ضوابط العزل والإيقاف.
  • وجّهت دولة الإمارات بأن يعمل نصف القطاعات والخدمات والعمليات الحكومية بالذكاء الاصطناعي الوكيل خلال عامين، ما ينقل هذه المسألة في منطقتنا من النظرية إلى التشغيل.
  • يتكون النموذج العملي من أربع طبقات: الاعتماد، والتفويض، والمراقبة، والتدخل. ومعظم المؤسسات قوية في الطبقتين الأوليين وتكاد تغيب عن الأخيرتين.

تتعامل معظم المؤسسات مع حوكمة الذكاء الاصطناعي كما تتعامل مع أي قرار تقني آخر: تقييم المخاطر، واعتماد حالة الاستخدام، وتحديد الصلاحيات، واختبار النظام، ووضع الضوابط، ثم الإطلاق.

كل ذلك يبقى ضرورياً. لكن الذكاء الاصطناعي المستقل يطرح سؤالاً يقع خارج عملية الاعتماد تماماً: ماذا يحدث عندما يتصرف نظام اعتُمد بشكل صحيح تصرفاً خاطئاً أثناء تشغيله؟

هذا السؤال لم يعد نظرياً هذا الشهر.

ما الذي كشفته إفصاحات OpenAI فعلاً؟

في 25 سبتمبر، نشرت OpenAI نتائج مراجعة مستمرة لسلوك وكلائها على الإنترنت المفتوح خلال أنشطة البحث والتدريب. وشملت السلوكيات التي رصدتها وصول وكلاء إلى معلومات تتطلب عادة التحقق من الهوية أو الحصول على إذن، وعثور وكلاء على بيانات اعتماد مكشوفة للعامة واستخدامها للوصول إلى خدمات، ومدخلات من الوكلاء تسببت في أوامر أو استعلامات غير مقصودة على أنظمة طرف ثالث. وفي مجموعة من الحالات، نشر الوكلاء 53 صورة قدمها المستخدمون على مواقع خارجية لاستضافة الصور. وقد أخطرت الشركة عشرات المؤسسات المتأثرة.

ثمة تحفظان مهمان ذكرتهما OpenAI نفسها: معظم النشاط الذي رُوجع حتى الآن منخفض الخطورة، والإخطار لا يعني تلقائياً وقوع حادث أمني. وأضافت تقارير مستقلة تفصيلاً مفيداً: محاولة واحدة من الوكلاء للتفاعل بشكل غير سليم مع موقع حكومي أمريكي فشلت، ولم تجد الجهة المعنية أي أثر.

الدرس إذن ليس أن وكلاء الذكاء الاصطناعي لا يمكن الوثوق بهم، بل هو أدق من ذلك: قد يُعتمد الوكيل ويُعرّف ويُهيأ بشكل صحيح، ومع ذلك يتصرف خارج غرضه المقصود أثناء التنفيذ. ولا توجد بوابة اعتماد، مهما كانت صارمة، تتحكم في سلوك يحدث بعد البوابة.

القطاع يبني الطبقة المفقودة

تشير استجابة قطاع التقنية إلى اتجاه واحد: الاحتواء أثناء التشغيل بدلاً من الثقة عند الاعتماد.

أطلقت NVIDIA منصة OpenShell، وهي بيئة تشغيل مفتوحة المصدر تضع وكيل الذكاء الاصطناعي داخل بيئة تنفيذ معزولة. ويخضع وصول الوكيل إلى الملفات والشبكات والأدوات والاستدلال لسياسات قابلة للإنفاذ لا لتعليمات، وتُسجَّل كل قرارات السماح والمنع، ولا يستطيع الوكيل تجاوز الحدود حتى لو تعرض للاختراق. وتعمل NVIDIA على مواءمة المنصة مع شركاء أمنيين من بينهم Cisco وCrowdStrike وGoogle Cloud وMicrosoft Security. المنصة في بداياتها، لكن البنية هي الرسالة: لا تعتمد على حسن تصرف النموذج، بل قيّد البيئة التي يتصرف فيها.

وقبل ذلك بأسبوع، شكّلت اثنتا عشرة شركة من بينها AWS وGoogle Cloud وCrowdStrike وDatabricks وSalesforce وServiceNow وOkta تحالف Blueprint، وهو بنية مرجعية مشتركة لأمن الوكلاء. وتستحق أسئلته التنظيمية الأربعة أن تُذكر حرفياً لأنها الأسئلة الصحيحة: أين وكلائي؟ ماذا يستطيعون أن يفعلوا؟ ماذا يفعلون الآن؟ وكيف أستجيب؟ وتشمل طبقة الاستجابة إلغاء رموز الوصول، وإنهاء الجلسات، وعزل الوكيل فوراً.

Analyst monitoring agentic AI runtime activity across multiple screens
المراقبة أثناء التشغيل هي الطبقة الثالثة التي تفتقدها معظم المؤسسات. تصوير Tasha Kostyuk على Unsplash.

أربع طبقات لحوكمة الذكاء الاصطناعي، لا اثنتان

إجمالاً، يتكون نموذج الحوكمة الناضج للذكاء الاصطناعي المستقل من أربع طبقات، ويتركز الاستثمار التقليدي في الحوكمة بالكامل تقريباً في الطبقتين الأوليين.

1

الاعتماد قوية اليوم

هل ينبغي أن يوجد هذا الوكيل؟ تقييم المخاطر، واعتماد حالة الاستخدام، واختيار النموذج.

2

التفويض قوية اليوم

ما المسموح له بفعله؟ الهوية، والصلاحيات، وحدود البيانات، والسلطة المفوضة.

حيث يرفع الذكاء الاصطناعي الوكيل سقف المتطلبات
3

المراقبة غائبة عادة

هل يلتزم بتلك الحدود الآن؟ مراقبة سلوكية مستمرة، وإجراءات قابلة للإسناد، ورصد للحالات الشاذة.

4

التدخل غائبة غالباً

هل يمكننا تقييده أو عزله أو التراجع عن إجراءاته أو إيقافه فوراً، دون الاعتماد على الوكيل نفسه؟

الرمادي: حيث يتركز الاستثمار في الحوكمة اليوم. الأحمر: حيث يتطلبه الذكاء الاصطناعي الوكيل الآن.

الفرق عن حوكمة الهوية مهم. فالهوية تحدد من يتصرف وأي سلطة تُمارس، بينما يحدّ الاحتواء أثناء التشغيل من العواقب عندما ينحرف السلوك عن تلك السلطة. الهوية تمنح المساءلة بعد وقوع الحدث، والاحتواء يمنح مكابح أثناء حدوثه.

لماذا تُعد هذه المسألة ملحّة في دول الخليج؟

هذه ليست قضية مؤسسية بعيدة عن منطقتنا. فقد وجّهت دولة الإمارات بأن يعمل خمسون بالمئة من القطاعات والخدمات والعمليات الحكومية وفق نماذج تشغيل قائمة على الذكاء الاصطناعي الوكيل خلال عامين، وهو أول التزام وطني من نوعه بهذا الحجم. وسيُقاس أداء القيادات الحكومية بسرعة التبني وجودته، ما يعني دخول الأنظمة المستقلة إلى إجراءات وخدمات عامة فعلية وفق جدول زمني محدد، وانتقال سؤال الحوكمة معها من: هل ينبغي اعتماد الوكيل؟ إلى: ما الضوابط التي تحيط به أثناء عمله؟

يمكن للمؤسسات التي تعمل على مسألة الجاهزية هذه أن تبدأ بـ قائمة التحقق من جاهزية الجهات الحكومية للذكاء الاصطناعي في الإمارات ونظيرتها السعودية. وفي بُعد نظام الإدارة، يطلب معيار ISO/IEC 42001 بالفعل من المؤسسات تحديد الضوابط التشغيلية والإشراف البشري على أنظمة الذكاء الاصطناعي، ويوضح دليلنا حول ما يطلبه معيار ISO/IEC 42001 من المؤسسات موقع ضوابط التشغيل ضمن نظام إدارة الذكاء الاصطناعي.

ستة أسئلة تُطرح هذا الأسبوع

اختاروا أكثر خمس حالات استخدام استقلالية للذكاء الاصطناعي، واسألوا عن كل منها:

  1. ما الذي يستطيع الوكيل الوصول إليه؟
  2. ما الذي يستطيع تغييره أو تنفيذه؟
  3. أي سلوك يدل على خروجه عن غرضه؟
  4. من أو ما الذي يرصد هذا السلوك؟
  5. هل يمكن إيقافه فوراً دون الاعتماد على الوكيل نفسه؟
  6. هل يمكن إعادة بناء إجراءاته السابقة والتراجع عنها حيثما أمكن؟

إذا كانت الإجابة الصادقة عن السؤالين الرابع والخامس هي: لا أحد، ولا، فإن المؤسسة قد فوّضت الاستقلالية على أمل. السياسات حقيقية، والاعتماد كان صارماً، ومع ذلك لا توجد مكابح.

لم يعد بإمكان حوكمة الذكاء الاصطناعي الاكتفاء بإخبار النظام المستقل بما ينبغي أن يفعله، بل تحتاج أيضاً إلى وسيلة مستقلة لإيقافه عندما يفعل شيئاً آخر.

أين تقف مؤسستكم من الطبقتين الأخيرتين؟

تربط مراجعة AY&R لحوكمة الذكاء الاصطناعي الوكيل واحتوائه أثناء التشغيل بين السياسات والبنية والأمن السيبراني والضوابط التشغيلية والمساءلة في نموذج تحكم واحد، من حصر الوكلاء والسلطة المفوضة إلى العزل والتراجع والأدلة.

احجز استشارةابدأ التقييم



الكاتب: أحمد الرايس
أحمد الرايس هو المؤسس والمستشار الرئيسي في AY&R للاستشارات الإدارية في أبوظبي. يمتلك عقدين من الخبرة مع الجهات الحكومية والمؤسسات في الإمارات والسعودية والمنطقة، قاد خلالها استراتيجيات التحول الرقمي، وأسس نماذج تشغيلية لجهات اتحادية، وأنشأ وظائف الذكاء الاصطناعي وأطر حوكمتها. وهو مدرب تنفيذي في التحول الرقمي والابتكار لقيادات القطاعين الحكومي والمصرفي، ويحمل ماجستير إدارة الأعمال التنفيذي من جامعة برادفورد، وشهادات ITIL 5 وITIL AI Governance وCOBIT وPRINCE2 وM_o_R.

اترك تعليقاً

يستخدم هذا الموقع ملفات تعريف الارتباط ويطلب بعض البيانات الشخصية لتحسين تجربة التصفح. ونلتزم بحماية الخصوصية وضمان التعامل مع البيانات وفقاً لـ اللائحة العامة لحماية البيانات (GDPR).