تنتقل الذكاء الاصطناعي المؤسسي من مرحلة التجريب إلى عمليات الأعمال اليومية. تقوم أنظمة الذكاء الاصطناعي الآن بتحليل البيانات الداخلية، ودعم القرارات، والتفاعل مع التطبيقات المؤسسية، وتتخذ إجراءات متزايدة من خلال وكلاء الذكاء الاصطناعي.
مع اتصال الذكاء الاصطناعي ببيانات المؤسسات، وواجهات برمجة التطبيقات (APIs)، والتطبيقات، وسير العمل التشغيلي، تصبح الحوكمة بشكل متزايد قضية معمارية تشمل الهوية، والتحكم في الوصول، والمراقبة، وحدود التشغيل.
مع اندماج الذكاء الاصطناعي في العمليات التجارية، تبرز سؤال أكثر صعوبة: كيف تضمن المنظمات أن تظل هذه الأنظمة آمنة وخاضعة للمساءلة وشفافة ومتوافقة مع متطلبات الأعمال واللوائح التنظيمية؟
من تبني الذكاء الاصطناعي إلى مساءلة الذكاء الاصطناعي
توسع الذكاء الاصطناعي التوليدي ووكلاء الذكاء الاصطناعي دور الذكاء الاصطناعي داخل المنظمات. يمكن للأنظمة الحديثة استرداد المعرفة المؤسسية، واستدعاء الأدوات، والتفاعل مع التطبيقات، وتنفيذ سير العمل متعددة الخطوات بشكل متزايد.
هذا يعني أن مخاطر الذكاء الاصطناعي لم تعد تقتصر على دقة النماذج. أصبحت الوصول إلى البيانات، والأمان، والإشراف البشري، والسلوك التشغيلي، والالتزامات التنظيمية تتقاطع الآن طوال دورة حياة الذكاء الاصطناعي.
ينعكس هذا المنظور الأوسع في أطر الحوكمة الرئيسية. تعامل NIST إدارة مخاطر الذكاء الاصطناعي كعملية مستمرة عبر دورة الحياة، بينما تتعامل ISO/IEC 42001 مع حوكمة الذكاء الاصطناعي كنظام إداري مؤسسي يجب الحفاظ عليه وتحسينه باستمرار.
بالنسبة للشركات، أصبحت حوكمة الذكاء الاصطناعي أقل ارتباطًا بكونها تمرينًا للامتثال وأكثر ارتباطًا بكونها قدرة تشغيلية.
تعتمد طبقة الحوكمة هذه على شيء أكثر أساسية: البيانات المؤسسية الموثوقة والمتصلة. لقد استكشفنا هذا الأساس في مشكلة تكامل البيانات التي لا يمكن لأي نموذج ذكاء اصطناعي حلها.
يجب أن تتبع حوكمة الذكاء الاصطناعي النظام، وليس النموذج فقط
ركزت حوكمة النماذج التقليدية بشكل كبير على التطوير: بيانات التدريب، والتحقق من النموذج، ومقاييس الأداء، والموافقة قبل النشر.
لقد وسع الذكاء الاصطناعي المؤسسي هذا الحدود. قد يسترجع نظام الذكاء الاصطناعي المستندات الداخلية، ويصل إلى بيانات الأعمال، ويستدعي الأدوات الخارجية، ويُطلق سير العمل، أو يعمل من خلال وكيل الذكاء الاصطناعي. وبالتالي، يجب أن تغطي الحوكمة ليس فقط النموذج، ولكن أيضًا البيئة التي يعمل فيها الذكاء الاصطناعي.
طريقة مفيدة للتفكير في هذا الأمر هي التحكم في أربع طبقات مترابطة: من المسؤول عن الذكاء الاصطناعي، وما المعلومات التي يمكنه استخدامها، وما الإجراءات المسموح له باتخاذها، وما الدليل الذي يبقى بعد حدوث تلك الإجراءات.
واجهة التحكم في الذكاء الاصطناعي المؤسسي
ينشأ الثقة عندما تربط الحوكمة بين المسؤولية والبيانات والإجراءات والأدلة.
هذا النهج القائم على المخاطر ينعكس أيضًا في إرشادات Microsoft الخاصة بـ حوكمة وكلاء الذكاء الاصطناعي.
حوكمة الذكاء الاصطناعي عبر دورة حياة الذكاء الاصطناعي
الذكاء الاصطناعي الموثوق به لا يتم إنشاؤه عند بوابة موافقة واحدة. يجب أن ينجو في كل مرحلة من مراحل دورة حياة الذكاء الاصطناعي.
قد يبدأ النظام بسياسات محددة بوضوح ومع ذلك يصبح محفوفًا بالمخاطر بعد النشر. تتغير مصادر البيانات، ويتطور السياق التجاري، ويتم تحديث النماذج، ويتحول سلوك المستخدمين، وقد تحصل وكلاء الذكاء الاصطناعي على أدوات أو سير عمل جديدة.
لهذا السبب تحتاج حوكمة الذكاء الاصطناعي الفعالة إلى رؤية مستمرة. يجب أن تعرف المنظمات ما صُمم نظام الذكاء الاصطناعي لفعله، وما هي البيانات التي يعتمد عليها، وكيف يؤدّي في بيئة الإنتاج، وما إذا كان سلوكه يظل ضمن الحدود المقبولة.
في الممارسة العملية، يصبح الحوكمة حلقة تغذية مرتدة: تحديد التوقعات، مراقبة السلوك الفعلي، اكتشاف التغيير، والتدخل عند الضرورة.
حلقة حوكمة مستمرة
4. الرد
التدخل البشري
تقييد
تصحيح
تحسين
3. الكشف
الانحراف
شذوذات
انتهاكات السياسة
المخاطر الناشئة
2. مراقبة
بيانات
المخرجات
الإجراءات
الأداء
1. تعريف
الغرض
الملكية
السياسات
تحمل المخاطر
هذا النهج المستمر يتماشى بشكل وثيق مع إطار إدارة مخاطر الذكاء الاصطناعي الخاص بـ NIST، حيث تعمل عمليات الحوكمة، والرسم، والقياس، والإدارة عبر دورة حياة نظام الذكاء الاصطناعي بدلاً من كونها قائمة مراجعة لمرة واحدة.
لكن المراقبة المستمرة تحل جزءًا فقط من المشكلة. قبل أن تتمكن المنظمة من حوكمة سلوك الذكاء الاصطناعي، يجب أولاً أن تعرف ما هي أنظمة الذكاء الاصطناعي الموجودة فعليًا عبر المؤسسة. أنظمة الذكاء الاصطناعي الآن تحلل البيانات الداخلية، وتدعم القرارات، وتتفاعل مع تطبيقات المؤسسة، وتتخذ إجراءات بشكل متزايد من خلال وكلاء الذكاء الاصطناعي.
إدارة الذكاء الاصطناعي تبدأ مع الرؤية
تبدأ حوكمة الذكاء الاصطناعي مع الرؤية الواضحة.
مع انتشار تبني الذكاء الاصطناعي عبر وحدات الأعمال، يصبح من الصعب رسم خريطة لمشهد الذكاء الاصطناعي في المؤسسات. قد تستخدم مؤسسة واحدة الآن نماذج مطورة داخليًا، وخدمات ذكاء اصطناعي من جهات خارجية، وميزات ذكاء اصطناعي مدمجة، ووكلاء مستقلين، وأدوات تم تبنيها من قبل الموظفين دون مراجعة رسمية.
هذا يُحدث ثغرة في الحوكمة. لا تستطيع المنظمة تعيين الملكية بشكل موثوق، أو تقييم المخاطر، أو فرض السياسات، أو التحقيق في الحوادث إذا لم تكن تعرف أنظمة الذكاء الاصطناعي العاملة، وما تتصل به، وكيفية استخدامها.
ومع ذلك، يجب أن يتجاوز الجرد نماذج التعلم الآلي التقليدية. يتعين على الحوكمة الحديثة أن تأخذ في الاعتبار النظام البيئي الأوسع للذكاء الاصطناعي المحيط بها.
| سؤال الحوكمة | ما يجب تتبعه | الأصول الذكية الاصطناعية |
|---|---|---|
| أي نموذج يتخذ القرار؟ | الإصدار، المالك، الغرض | النماذج |
| ما الذي يمكن للوكيل فعله بالفعل؟ | الهوية، الأدوات، الأذونات | وكلاء الذكاء الاصطناعي |
| ما هي المعلومات التي يمكن للذكاء الاصطناعي استخدامها؟ | الأصل، الحساسية، الوصول | مصادر البيانات |
| ما هي المخاطر الموجودة خارج نطاق سيطرتنا؟ | مزود، تبعية، شروط | الذكاء الاصطناعي التابع لجهات خارجية |
| أين يؤثر الذكاء الاصطناعي على الأعمال؟ | العملية التجارية، المستخدمون، الأثر | حالات استخدام الذكاء الاصطناعي |
الطبقة المخفية: الذكاء الاصطناعي الخفي
المشكلة الأصعب هي الذكاء الاصطناعي الذي لم يدخل المخزون مطلقًا.
الذكاء الاصطناعي الخفي يظهر عندما يستخدم الموظفون أو الفرق أدوات الذكاء الاصطناعي أو الوكلاء أو النماذج أو التكاملات خارج العمليات الرسمية للإدارة. ما قد يبدأ كاختصار لزيادة الإنتاجية يمكن أن يؤدي إلى إنشاء تدفقات بيانات غير معروفة، أذونات غير مُدارة، تعرض أمني، وفجوات في المساءلة.
يُفاقم صعود وكلاء الذكاء الاصطناعي من مشكلة الرؤية هذه. على عكس روبوت الدردشة المستقل، قد يمتلك الوكيل هوية، ويصل إلى بيانات المؤسسة، ويتصل بالأدوات، وينفذ إجراءات عبر أنظمة الأعمال.
لذا فإن أول سؤال حوكمة ليس "هل ذكاءنا الاصطناعي متوافق؟" بل هو أكثر جوهرية: "هل نعرف أين يوجد ذكاؤنا الاصطناعي؟"
تبدأ حوكمة الذكاء الاصطناعي من البيانات
لا يمكن حوكمة الذكاء الاصطناعي بفعالية إلا عندما تكون البيانات التي يعتمد عليها محكومة أيضًا.
لا يعمل الذكاء الاصطناعي المؤسسي على النماذج وحدها. فهو يسترد المستندات، ويستعلم قواعد البيانات، ويستخدم السياق التجاري، ويتصل بالتطبيقات، ويسمح بشكل متزايد لوكلاء الذكاء الاصطناعي بالعمل على المعلومات المؤسسية.
هذا ينشئ اتصالًا مباشرًا بين حوكمة الذكاء الاصطناعي وحوكمة البيانات. إذا لم تتمكن المنظمة من تحديد مصدر البيانات، أو من يمكنه الوصول إليها، أو مدى حساسيتها، أو ما إذا كانت لا تزال موثوقة، فإن حوكمة نظام الذكاء الاصطناعي الذي يستخدم تلك البيانات تصبح أكثر صعوبة بشكل كبير.
الهدف ليس مجرد تزويد الذكاء الاصطناعي بمزيد من البيانات. بل هو تزويده بالبيانات الصحيحة، في السياق المناسب، وتحت الضوابط الملائمة.
- تأكد من جودة البيانات. تحتاج أنظمة الذكاء الاصطناعي إلى معلومات دقيقة ومتسقة وحديثة. يمكن أن تنتج بيانات المؤسسة ذات الجودة الرديئة مخرجات غير موثوقة حتى عندما يعمل النموذج الأساسي بشكل جيد.
- حافظ على السياق التجاري. البيانات بدون معنى ليست كافية. البيانات الوصفية والتعريفات التجارية والعلاقات والسياق التنظيمي تساعد الذكاء الاصطناعي على تفسير المعلومات بشكل صحيح بدلاً من مجرد استرجاعها.
- التحكم في الوصول إلى المعلومات الحساسة. لا ينبغي أن يرث الذكاء الاصطناعي الوصول تلقائيًا إلى كل مصدر بيانات متصل. تحدد الأذونات وتصنيفات الحساسية وسياسات الاستخدام المعلومات المسموح لنموذج أو وكيل ذكاء اصطناعي باستخدامها.
- الحفاظ على إمكانية التتبع. تحتاج المنظمات إلى فهم مصدر المعلومات وكيفية تحويلها وأي البيانات ساهمت في قرار مدعوم بالذكاء الاصطناعي. يصبح تتبع سلالة البيانات مهمًا بشكل خاص عندما تحتاج المخرجات إلى التحقيق أو التدقيق.
- حكّم البيانات عند نقطة التنفيذ. مع تحول وكلاء الذكاء الاصطناعي من توليد الإجابات إلى تنفيذ سير العمل، يصبح حوكمة البيانات أيضًا عنصر تحكم تشغيليًا — مما يساعد في تحديد المعلومات التي يمكن للوكيل الوصول إليها أثناء اتخاذ الإجراء.
تضع Google Cloud أيضًا حوكمة البيانات كأساس لجعل بيانات المؤسسة آمنة وموثوقة وقابلة للاكتشاف وقابلة للاستخدام في أنظمة الذكاء الاصطناعي.
وكلاء الذكاء الاصطناعي يغيرون معادلة الحوكمة
تُشكل وكلاء الذكاء الاصطناعي تحديًا جديدًا في مجال الحوكمة لأن بإمكانهم القيام بأكثر من مجرد توليد الإجابات. يمكنهم استرجاع المعلومات المؤسسية، واستخدام الأدوات، والتفاعل مع التطبيقات، والقيام بشكل متزايد بتنفيذ الإجراءات عبر سير عمل الأعمال.
هذا يغير ما تحتاج المنظمات إلى تحكمه. لم يعد السؤال فقط ما يعرفه نظام الذكاء الاصطناعي أو ما ينتجه، بل ما يُسمح له بفعله. تصبح الهوية، الأذونات، الوصول إلى الأدوات، حدود البيانات، الإشراف البشري، ومراقبة وقت التشغيل جزءًا من بنية الحوكمة.
يجب أن يعكس مستوى التحكم أيضًا مستوى الاستقلالية. المساعد الذي يقوم بتلخيص مستند داخلي لا يحمل نفس مستوى المخاطر مثل الوكيل الذي يقوم بتعديل سجلات العملاء، أو بدء المعاملات، أو تشغيل سير العمل التشغيلي.
لذلك، لا يعني الحوكمة الفعالة للذكاء الاصطناعي وضع خطوة موافقة بشرية أمام كل إجراء. بل تعني تحديد المجالات التي يمكن للذكاء الاصطناعي العمل فيها بشكل مستقل، والمجالات التي تتطلب ضوابط إضافية، والمجالات التي يجب أن يظل الحكم البشري جزءًا من الحلقة.
مع تطور الذكاء الاصطناعي من الإجابة على الأسئلة إلى اتخاذ الإجراءات، يجب أن يتطور الحوكمة معه - من السياسات المكتوبة إلى التحكم في وقت التشغيل.
كيفية بدء حوكمة الذكاء الاصطناعي دون إبطاء وتيرته
لا يحتاج حوكمة الذكاء الاصطناعي إلى البدء ببرنامج امتثال كبير. في العديد من المؤسسات، تكون نقطة البداية الأفضل هي الرؤية: فهم أماكن استخدام الذكاء الاصطناعي بالفعل، والعمليات التجارية التي يؤثر عليها، والبيانات التي يمكنه الوصول إليها، والمسؤولين عنه.
من هناك، يمكن تطبيق الحوكمة وفقًا للمخاطر. قد يتطلب المساعد الداخلي الذي يلخص المستندات المعتمدة ضوابط خفيفة نسبيًا، بينما يحتاج وكيل الذكاء الاصطناعي الذي يصل إلى البيانات الحساسة أو ينفذ إجراءات الأعمال إلى إشراف أقوى وأذونات ومراقبة.
الهدف هو وضع ضوابط واضحة دون تحويل كل مبادرة للذكاء الاصطناعي إلى عملية موافقة طويلة. يجب أن تحدد السياسات ما هو مقبول، وأن تفرض الضوابط التقنية الحدود الحرجة، وأن يكشف الرصد عندما يبدأ السلوك الفعلي في الخروج عن تلك الحدود.
هنا يصبح الحوكمة الفعالة للذكاء الاصطناعي عامل تمكين بدلاً من عائق. عندما تعرف الفرق الحدود مسبقًا، يمكنها تجربة ونشر الذكاء الاصطناعي بثقة أكبر بدلاً من حل مشكلات الحوكمة بعد وقوع الخطأ.
الخلاصة — الثقة أصبحت بنية تحتية
لم يعد حوكمة الذكاء الاصطناعي تقتصر فقط على السياسات أو الامتثال أو الموافقة على النماذج. مع اتصال الذكاء الاصطناعي ببيانات المؤسسات وتطبيقاتها وسير عملها ووكلائها الذاتيين بشكل متزايد، أصبحت الحوكمة جزءًا من البنية التحتية التي تسمح للذكاء الاصطناعي بالعمل بأمان على نطاق واسع.
المنظمات الأسرع حركة لن تكون بالضرورة تلك التي تمتلك أقل الضوابط. بل ستكون تلك التي تعرف أين يعمل الذكاء الاصطناعي، وما البيانات التي يمكنه الوصول إليها، والإجراءات التي يمكنه اتخاذها، ومن المسؤول، وكيف يتم مراقبة سلوكه بمرور الوقت.
لهذا السبب أصبحت الثقة جزءًا من البنية التحتية. يجب أن تكون مدمجة في البيانات والوصول وسير العمل والمراقبة والمساءلة — وليس إضافتها بعد وصول نظام الذكاء الاصطناعي إلى مرحلة الإنتاج.
الأسئلة الشائعة حول حوكمة الذكاء الاصطناعي
ما هي حوكمة الذكاء الاصطناعي؟
الحوكمة في الذكاء الاصطناعي هي نظام يتألف من السياسات والمسؤوليات والضوابط الفنية وممارسات المراقبة المستخدمة لضمان تشغيل أنظمة الذكاء الاصطناعي بأمان وشفافية وتماشيًا مع متطلبات الأعمال واللوائح التنظيمية.
لماذا تعتبر حوكمة الذكاء الاصطناعي مهمة للمؤسسات؟
تتفاعل أنظمة الذكاء الاصطناعي المؤسسية بشكل متزايد مع البيانات الحساسة، والتطبيقات التجارية، والموظفين، والعملاء، وسير العمل التشغيلي. تساعد الحوكمة المؤسسات في إدارة هذه المخاطر مع بناء الثقة والمساءلة اللازمتين لتوسيع نطاق استخدام الذكاء الاصطناعي بشكل مسؤول.
ما الفرق بين حوكمة الذكاء الاصطناعي وحوكمة البيانات؟
تركز حوكمة البيانات على جودة البيانات وملكيتها وأمانها ووصولها ودورة حياتها. تمتد حوكمة الذكاء الاصطناعي لتشمل النماذج ووكلاء الذكاء الاصطناعي والقرارات والإجراءات والإشراف البشري وإدارة المخاطر وسلوك النظام. ترتبط الاثنان ارتباطًا وثيقًا لأن الذكاء الاصطناعي الموثوق به يعتمد على بيانات موثوقة وحوكمة جيدة.
كيف ينطبق حوكمة الذكاء الاصطناعي على وكلاء الذكاء الاصطناعي؟
تتطلب وكلاء الذكاء الاصطناعي حوكمة إضافية لأن بإمكانهم التفاعل مع الأدوات وأنظمة الأعمال واتخاذ إجراءات بدلاً من مجرد توليد استجابات. تحتاج المؤسسات إلى ضوابط واضحة حول هوية الوكيل، الأذونات، الوصول إلى البيانات، حدود الإجراءات، الإشراف البشري، المراقبة، والمساءلة.
هل تحكم الذكاء الاصطناعي يبطئ الابتكار؟
الحوكمة سيئة التصميم يمكن أن تخلق احتكاكًا غير ضروري. بينما تقوم الحوكمة الفعالة للذكاء الاصطناعي بالعكس: فهي تحدد حدودًا واضحة قبل النشر، مما يسمح للفرق بفهم حالات الاستخدام التي يمكن المضي فيها بسرعة وتلك التي تتطلب ضوابط أقوى بسبب المخاطر أو الأثر المترتب عليها.