قبل إنشاء وكيل ذكاء اصطناعي: 7 مهام لا تمنحه صلاحية تنفيذها وحده
 |
بمدى السلطة التي ستمنحها له. فهناك فرق كبير بين وكيل يقترح ردًا، ووكيل يرسله باسمك؛ وبين نظام يحلل فاتورة، ونظام يعتمد دفعها.
الخطأ في إجابة مكتوبة يمكن تصحيحه، أما الخطأ بعد الإرسال أو الدفع أو الحذف فقد يتحول إلى خسارة مالية أو مشكلة قانونية أو ضرر في السمعة. لذلك يجب أن تبدأ حدود التفويض قبل اختيار الأداة وقبل ربط الحسابات، لا بعد وقوع المشكلة.
لماذا تسبق حدود التفويض مرحلة إنشاء الوكيل؟
وكيل الذكاء الاصطناعي ليس مجرد روبوت محادثة. إنه نظام يستطيع استخدام أدوات واتخاذ خطوات متتابعة لتحقيق هدف. وكل أداة تضاف إليه توسع قدرته، لكنها توسع أيضًا نطاق الخطأ المحتمل. ولهذا فإن السؤال الصحيح ليس: «هل يستطيع تنفيذ المهمة؟»، بل: «ماذا يحدث إذا أخطأ أثناء تنفيذها؟»
توصي أدلة بناء الوكلاء بتصنيف الأدوات وفق مستوى الخطر، مع مراعاة إمكانية التراجع عن الإجراء، والصلاحيات المطلوبة، والأثر المالي، ثم إحالة الإجراءات الحساسة إلى الإنسان. ويؤكد إطار إدارة مخاطر الذكاء الاصطناعي الصادر عن NIST أن إدارة المخاطر يجب أن تدخل في تصميم النظام واستخدامه وتقييمه، لا أن تكون معالجة لاحقة.
قاعدة عملية: قيّم أثر الفعل لا جودة النص
قد ينتج الوكيل نصًا ممتازًا ثم يتخذ قرارًا غير مناسب بسبب سياق ناقص أو مصدر غير موثوق أو تعليمات ملتبسة. لتقدير خطورة أي مهمة، افحص أربعة عوامل:
- حجم الأثر: كم شخصًا أو ملفًا أو مبلغًا سيتأثر؟
- قابلية التراجع: هل يمكن إلغاء الفعل بسهولة واستعادة الوضع السابق؟
- درجة عدم اليقين: هل تعتمد المهمة على حكم بشري أو معلومات ناقصة؟
- نطاق الصلاحية: هل يستطيع الوكيل القراءة فقط، أم التعديل والإرسال والحذف أيضًا؟
كلما ارتفع عاملان أو أكثر، يجب أن ينتقل الوكيل من «ينفذ» إلى «يقترح وينتظر الموافقة».
1. نشر المحتوى وإرسال الرسائل الرسمية
يمكن للذكاء الاصطناعي صياغة بريد أو بيان أو رد على شكوى بسرعة، لكنه قد يسيء فهم النبرة أو يضيف معلومة غير مؤكدة أو يقدم وعدًا لا تملك المؤسسة تنفيذه. وعندما يرسل الرسالة من حساب رسمي، يصبح كلامه منسوبًا إليك أو إلى مؤسستك.
يمكن تفويضه: جمع الحقائق من مصادر محددة، واقتراح الصياغة، وتدقيق اللغة، وإعداد بدائل للنبرة.
يجب أن يبقى بشريًا: اعتماد الرسالة وإرسالها، خصوصًا في الشكاوى والأزمات والبيانات الإعلامية والوعود التعاقدية.
2. المدفوعات والالتزامات المالية
قد يساعد الوكيل في قراءة الفواتير ومطابقة الأرقام واكتشاف التكرار، لكن تفويض الدفع أو الشراء أو رد الأموال بصورة مستقلة يضاعف أثر أي خطأ. وقد ينتج الخطأ من فاتورة مزورة، أو مورد متشابه الاسم، أو تكرار المحاولة بعد بطء النظام.
يمكن تفويضه: استخراج بيانات الفاتورة، ومقارنة السعر بالعقد، واكتشاف القيم غير المعتادة، وتجهيز طلب الدفع.
يجب أن يبقى بشريًا: اعتماد المستفيد والمبلغ وإتمام التحويل أو الالتزام المالي.
3. حذف الملفات أو استبدال البيانات الأصلية
الحذف الجماعي وإعادة تسمية الملفات وتعديل السجلات أعمال تبدو روتينية، لكن خطأ بسيطًا في الشرط قد يؤثر في آلاف العناصر. ولا يكفي أن يقول الوكيل إنه «متأكد»؛ فاللغة الواثقة ليست دليلًا على صحة نطاق التنفيذ.
يمكن تفويضه: تحديد الملفات المرشحة، وإنشاء تقرير بالتكرارات، واقتراح خطة تنظيف.
يجب أن يبقى بشريًا: اعتماد قائمة الحذف أو الاستبدال عندما تكون البيانات مهمة أو لا توجد استعادة مضمونة.
4. منح الصلاحيات والوصول إلى الحسابات
الصلاحية الواسعة لا تجعل الوكيل أكثر ذكاءً؛ بل تجعل نتيجة الخطأ أكبر. فإذا كانت مهمته تلخيص ملفات، فلا يحتاج إلى حذفها. وإذا كان يعد رسالة، فلا يحتاج إلى إدارة المستخدمين أو الاطلاع على جميع الصناديق البريدية.
يمكن تفويضه: طلب الوصول المطلوب، وشرح سبب الحاجة، والتحقق من أن الأداة متاحة.
يجب أن يبقى بشريًا: إضافة المستخدمين، وتغيير الأدوار، وإنشاء مفاتيح الوصول، أو توسيع نطاق البيانات المتاحة.
5. التوظيف والتقييم والعقوبات الوظيفية
يستطيع الذكاء الاصطناعي فرز معلومات كثيرة، لكنه قد يعيد إنتاج تحيزات البيانات أو يختزل الشخص في مؤشرات ناقصة. والقرار الذي يمس التوظيف أو الترقية أو العقوبة لا يتعلق بالكفاءة فقط؛ بل بالعدالة والسياق وحق الشخص في معرفة الأساس والاعتراض.
يمكن تفويضه: تنظيم الطلبات، وإخفاء البيانات غير الضرورية، وتلخيص الأدلة وفق معايير معلنة، والتنبيه إلى المعلومات الناقصة.
يجب أن يبقى بشريًا: الاستبعاد النهائي، والتقييم الحاسم، والترقية، والعقوبة، أو إنهاء العلاقة الوظيفية.
6. القرارات الطبية والقانونية وقرارات السلامة
هذه المجالات تعتمد على تفاصيل قد لا تظهر في الطلب، كما تختلف الأنظمة والحالات الفردية. يمكن للذكاء الاصطناعي شرح معلومات عامة أو ترتيب أسئلة، لكنه لا يتحمل مسؤولية التشخيص أو التمثيل القانوني أو اعتماد إجراء يمس سلامة إنسان.
يمكن تفويضه: تلخيص مستند، وشرح مصطلح، وإعداد قائمة أسئلة، أو تنظيم معلومات لمراجعة المختص.
يجب أن يبقى بشريًا: التشخيص والوصفة والرأي القانوني النهائي واعتماد إجراءات السلامة عالية الأثر.
7. إدارة الأزمات والشكاوى الحساسة
في الأزمة، قد تتغير الحقائق بسرعة، وتصبح كلمة واحدة سببًا في تصعيد الموقف. يستطيع الوكيل جمع المنشورات وتصنيفها واقتراح رد أولي، لكنه لا يفهم دائمًا العلاقات الإنسانية أو المسؤوليات القانونية أو التوقيت السياسي والإعلامي.
يمكن تفويضه: الرصد، وإزالة التكرار، وبناء خط زمني، وتلخيص الأسئلة المتكررة، وصياغة خيارات للرد.
يجب أن يبقى بشريًا: تحديد الموقف الرسمي، والاعتذار أو نفي الادعاء، ومخاطبة المتضررين، والنشر باسم المؤسسة.
سُلّم التفويض: من القراءة إلى التنفيذ المستقل
ليس المطلوب منع الوكيل من كل شيء، بل منحه أقل مستوى من الاستقلال يكفي لتحقيق الفائدة. استخدم السلم التالي لكل أداة أو مهمة:
| المستوى | ما يسمح به | متى يستخدم؟ |
|---|---|---|
| 0 — ممنوع | لا وصول ولا تنفيذ. | أسرار شديدة الحساسية أو قرارات لا يناسبها الذكاء الاصطناعي. |
| 1 — قراءة | يجمع ويحلل دون تغيير. | البحث والتلخيص والمراقبة. |
| 2 — اقتراح | ينشئ مسودة أو توصية. | الرسائل والتقارير والقرارات التي تحتاج حكمًا بشريًا. |
| 3 — تنفيذ بعد موافقة | يجهز الفعل وينتظر اعتمادًا واضحًا. | الإرسال والتعديل والشراء والإلغاء. |
| 4 — تنفيذ محدود | ينفذ تلقائيًا داخل حدود قابلة للقياس والتراجع. | مهام متكررة منخفضة الأثر بعد الاختبار. |
ابدأ من المستوى الأول أو الثاني. لا تنتقل إلى مستوى أعلى لأن التجربة نجحت مرة واحدة؛ انتقل بعد اختبارات متعددة، وسجل واضح للأخطاء، وخطة استعادة عند الفشل.
اختبار من ستة أسئلة قبل تفويض أي مهمة
- هل يستطيع الوكيل إلحاق ضرر مالي أو قانوني أو صحي أو بسمعة شخص؟
- هل يمكن التراجع عن الفعل بالكامل وبسرعة؟
- هل يمتلك معلومات كافية، أم سيضطر إلى التخمين؟
- هل يستطيع مصدر خارجي أو ملف خبيث التأثير في تعليماته؟
- هل توجد حدود للوقت والعدد والمبلغ ونطاق البيانات؟
- هل يوجد شخص معروف مسؤول عن المراجعة والتصعيد؟
إذا كانت الإجابة «نعم» عن السؤال الأول، أو «لا» عن أي من الأسئلة الخمسة التالية، فلا تمنح تنفيذًا مستقلًا.
سياسة تفويض قصيرة يمكنك استخدامها
المهمة: حدد نتيجة واحدة واضحة.
المصادر المسموحة: اذكر الملفات والأنظمة التي يجوز قراءتها.
الأفعال المسموحة: قراءة وتحليل وإعداد مسودة فقط.
الأفعال التي تحتاج موافقة: الإرسال والنشر والتعديل والحذف والشراء وتغيير الصلاحيات.
شروط التوقف: معلومات ناقصة، أو تعارض المصادر، أو تجاوز الحد، أو ظهور حالة حساسة.
السجل: احتفظ بالمصادر والأفعال والنتيجة واسم صاحب الموافقة.
مثال عملي: وكيل يجهز ردًا على شكوى
التصميم الخطر هو أن يقرأ الوكيل الشكوى ثم يرسل ردًا تلقائيًا. أما التصميم الأفضل فيعمل هكذا:
- يقرأ الشكوى والبيانات المسموح بها فقط.
- يصنفها إلى عادية أو حساسة وفق قواعد معلنة.
- يسترجع السياسة الرسمية ذات الصلة ويذكر مصدرها.
- يعد مسودة رد، ويميز أي معلومة غير مؤكدة.
- إذا كانت الحالة حساسة، يحيلها مباشرة إلى المسؤول.
- يعرض المسودة والمستلم والمرفقات على الموظف.
- لا يرسل شيئًا إلا بعد موافقة صريحة.
بهذا نستخدم سرعة الوكيل في القراءة والصياغة، ونُبقي المسؤولية والقرار لدى الإنسان.
ضوابط لا تكفي منفردة
وجود عبارة مثل «لا ترتكب أخطاء» داخل التعليمات ليس ضمانًا. وكذلك الموافقة البشرية الشكلية قد تفشل إذا عُرضت على المستخدم عشرات المرات حتى يضغط «موافق» من دون قراءة. الحماية الجيدة متعددة الطبقات:
- صلاحيات محدودة تقنيًا، لا مجرد تعليمات لغوية.
- قوائم واضحة بالأفعال المسموحة والممنوعة.
- موافقة تعرض أثر الفعل قبل تنفيذه.
- حدود للعدد والمبلغ والمدة وعدد المحاولات.
- سجل تدقيق يوضح ماذا فعل الوكيل ولماذا.
- نسخ احتياطية وإمكانية تراجع عندما يكون ذلك ممكنًا.
- اختبارات للحالات الناقصة والخبيثة والمتعارضة، لا للحالة المثالية فقط.
قائمة تحقق قبل تشغيل وكيلك
- هل المهمة محددة ويمكن قياس نجاحها؟
- هل فصلت صلاحية القراءة عن التعديل والتنفيذ؟
- هل منعت الوصول إلى ما لا تحتاجه المهمة؟
- هل عرّفت الحالات التي يجب أن يتوقف عندها؟
- هل اختبرت تكرار الإجراء وفشل الاتصال والمعلومات الناقصة؟
- هل تحتاج الأفعال غير القابلة للتراجع إلى موافقة؟
- هل تظهر شاشة الموافقة ما سيتغير بالضبط؟
- هل يوجد سجل ومراقبة وتنبيه للحالات غير المعتادة؟
- هل تعرف من يتحمل القرار عند التصعيد؟
- هل تستطيع إيقاف الوكيل فورًا من دون تعطيل العمل؟
أسئلة شائعة
هل معنى ذلك أن الوكلاء غير آمنين؟
لا. الخطر لا يأتي من اسم التقنية وحده، بل من الجمع بين عدم اليقين وصلاحيات واسعة وغياب المراقبة. قد يكون وكيل محدود الصلاحية أكثر أمانًا من عملية يدوية فوضوية، لكن الاستقلال الكامل ليس هدفًا بحد ذاته.
ما الإجراءات التي تحتاج موافقة بشرية دائمًا؟
لا توجد قائمة واحدة تناسب كل المؤسسات، لكن النشر الخارجي والدفع والحذف الدائم وتغيير الصلاحيات والقرارات عالية الأثر نقاط افتراضية جيدة للموافقة البشرية.
هل تكفي الموافقة بعد أن ينهي الوكيل المهمة؟
تكفي عند مراجعة مسودة، لكنها متأخرة إذا كان الوكيل قد أرسل أو دفع أو حذف بالفعل. يجب وضع الموافقة قبل آخر خطوة حساسة، مع عرض تفاصيلها.
متى يمكن السماح بالتنفيذ التلقائي؟
عندما تكون المهمة منخفضة الأثر، ومحدودة النطاق، وقابلة للتراجع، ولها معيار نجاح واضح، وبعد اختبارها ومراقبتها. وحتى حينها يجب تحديد سقف للتنفيذ وشروط توقف.
مصادر رسمية للتوسع
- OpenAI: دليل عملي لبناء الوكلاء والضوابط والتدخل البشري.
- NIST: إطار إدارة مخاطر الذكاء الاصطناعي.
- Anthropic: مبادئ بناء وكلاء فعّالين وموثوقين.
اقرأ أيضًا على أفق رقمي
- ما هو وكيل الذكاء الاصطناعي AI Agent؟ وكيف تستخدمه في عملك دون برمجة؟
- استخدام الذكاء الاصطناعي في العمل بأمان: دليل حماية البيانات
- ما هو الذكاء الاصطناعي؟ دليل مبسط لفهم التقنية
- وكيل ذكاء اصطناعي أم أتمتة تقليدية؟ اختبار عملي يحدد ما تحتاجه
- كيف تمنح وكيل الذكاء الاصطناعي صلاحياته بأمان؟ نموذج عملي من 4 مستويات
الخلاصة
أفضل وكيل ليس الأكثر استقلالًا، بل الأكثر فائدة ضمن حدود يمكن فهمها ومراقبتها. ابدأ بالقراءة والتحليل وإعداد المسودات، ثم وسّع التفويض تدريجيًا بعد الاختبار. واجعل الإرسال والدفع والحذف وتغيير الصلاحيات والقرارات التي تمس الأشخاص خلف بوابة موافقة حقيقية.
قبل أن تسأل: «كيف أبني وكيلًا؟»، اسأل أولًا: «ما الذي لن أسمح له بفعله وحده؟». الإجابة عن هذا السؤال هي بداية التصميم الجيد، وليست عائقًا أمامه.
|
بمدى السلطة التي ستمنحها له. فهناك فرق كبير بين وكيل يقترح ردًا، ووكيل يرسله باسمك؛ وبين نظام يحلل فاتورة، ونظام يعتمد دفعها.
الخطأ في إجابة مكتوبة يمكن تصحيحه، أما الخطأ بعد الإرسال أو الدفع أو الحذف فقد يتحول إلى خسارة مالية أو مشكلة قانونية أو ضرر في السمعة. لذلك يجب أن تبدأ حدود التفويض قبل اختيار الأداة وقبل ربط الحسابات، لا بعد وقوع المشكلة.
لماذا تسبق حدود التفويض مرحلة إنشاء الوكيل؟
وكيل الذكاء الاصطناعي ليس مجرد روبوت محادثة. إنه نظام يستطيع استخدام أدوات واتخاذ خطوات متتابعة لتحقيق هدف. وكل أداة تضاف إليه توسع قدرته، لكنها توسع أيضًا نطاق الخطأ المحتمل. ولهذا فإن السؤال الصحيح ليس: «هل يستطيع تنفيذ المهمة؟»، بل: «ماذا يحدث إذا أخطأ أثناء تنفيذها؟»
توصي أدلة بناء الوكلاء بتصنيف الأدوات وفق مستوى الخطر، مع مراعاة إمكانية التراجع عن الإجراء، والصلاحيات المطلوبة، والأثر المالي، ثم إحالة الإجراءات الحساسة إلى الإنسان. ويؤكد إطار إدارة مخاطر الذكاء الاصطناعي الصادر عن NIST أن إدارة المخاطر يجب أن تدخل في تصميم النظام واستخدامه وتقييمه، لا أن تكون معالجة لاحقة.
قاعدة عملية: قيّم أثر الفعل لا جودة النص
قد ينتج الوكيل نصًا ممتازًا ثم يتخذ قرارًا غير مناسب بسبب سياق ناقص أو مصدر غير موثوق أو تعليمات ملتبسة. لتقدير خطورة أي مهمة، افحص أربعة عوامل:
- حجم الأثر: كم شخصًا أو ملفًا أو مبلغًا سيتأثر؟
- قابلية التراجع: هل يمكن إلغاء الفعل بسهولة واستعادة الوضع السابق؟
- درجة عدم اليقين: هل تعتمد المهمة على حكم بشري أو معلومات ناقصة؟
- نطاق الصلاحية: هل يستطيع الوكيل القراءة فقط، أم التعديل والإرسال والحذف أيضًا؟
كلما ارتفع عاملان أو أكثر، يجب أن ينتقل الوكيل من «ينفذ» إلى «يقترح وينتظر الموافقة».
1. نشر المحتوى وإرسال الرسائل الرسمية
يمكن للذكاء الاصطناعي صياغة بريد أو بيان أو رد على شكوى بسرعة، لكنه قد يسيء فهم النبرة أو يضيف معلومة غير مؤكدة أو يقدم وعدًا لا تملك المؤسسة تنفيذه. وعندما يرسل الرسالة من حساب رسمي، يصبح كلامه منسوبًا إليك أو إلى مؤسستك.
يمكن تفويضه: جمع الحقائق من مصادر محددة، واقتراح الصياغة، وتدقيق اللغة، وإعداد بدائل للنبرة.
يجب أن يبقى بشريًا: اعتماد الرسالة وإرسالها، خصوصًا في الشكاوى والأزمات والبيانات الإعلامية والوعود التعاقدية.
2. المدفوعات والالتزامات المالية
قد يساعد الوكيل في قراءة الفواتير ومطابقة الأرقام واكتشاف التكرار، لكن تفويض الدفع أو الشراء أو رد الأموال بصورة مستقلة يضاعف أثر أي خطأ. وقد ينتج الخطأ من فاتورة مزورة، أو مورد متشابه الاسم، أو تكرار المحاولة بعد بطء النظام.
يمكن تفويضه: استخراج بيانات الفاتورة، ومقارنة السعر بالعقد، واكتشاف القيم غير المعتادة، وتجهيز طلب الدفع.
يجب أن يبقى بشريًا: اعتماد المستفيد والمبلغ وإتمام التحويل أو الالتزام المالي.
3. حذف الملفات أو استبدال البيانات الأصلية
الحذف الجماعي وإعادة تسمية الملفات وتعديل السجلات أعمال تبدو روتينية، لكن خطأ بسيطًا في الشرط قد يؤثر في آلاف العناصر. ولا يكفي أن يقول الوكيل إنه «متأكد»؛ فاللغة الواثقة ليست دليلًا على صحة نطاق التنفيذ.
يمكن تفويضه: تحديد الملفات المرشحة، وإنشاء تقرير بالتكرارات، واقتراح خطة تنظيف.
يجب أن يبقى بشريًا: اعتماد قائمة الحذف أو الاستبدال عندما تكون البيانات مهمة أو لا توجد استعادة مضمونة.
4. منح الصلاحيات والوصول إلى الحسابات
الصلاحية الواسعة لا تجعل الوكيل أكثر ذكاءً؛ بل تجعل نتيجة الخطأ أكبر. فإذا كانت مهمته تلخيص ملفات، فلا يحتاج إلى حذفها. وإذا كان يعد رسالة، فلا يحتاج إلى إدارة المستخدمين أو الاطلاع على جميع الصناديق البريدية.
يمكن تفويضه: طلب الوصول المطلوب، وشرح سبب الحاجة، والتحقق من أن الأداة متاحة.
يجب أن يبقى بشريًا: إضافة المستخدمين، وتغيير الأدوار، وإنشاء مفاتيح الوصول، أو توسيع نطاق البيانات المتاحة.
5. التوظيف والتقييم والعقوبات الوظيفية
يستطيع الذكاء الاصطناعي فرز معلومات كثيرة، لكنه قد يعيد إنتاج تحيزات البيانات أو يختزل الشخص في مؤشرات ناقصة. والقرار الذي يمس التوظيف أو الترقية أو العقوبة لا يتعلق بالكفاءة فقط؛ بل بالعدالة والسياق وحق الشخص في معرفة الأساس والاعتراض.
يمكن تفويضه: تنظيم الطلبات، وإخفاء البيانات غير الضرورية، وتلخيص الأدلة وفق معايير معلنة، والتنبيه إلى المعلومات الناقصة.
يجب أن يبقى بشريًا: الاستبعاد النهائي، والتقييم الحاسم، والترقية، والعقوبة، أو إنهاء العلاقة الوظيفية.
6. القرارات الطبية والقانونية وقرارات السلامة
هذه المجالات تعتمد على تفاصيل قد لا تظهر في الطلب، كما تختلف الأنظمة والحالات الفردية. يمكن للذكاء الاصطناعي شرح معلومات عامة أو ترتيب أسئلة، لكنه لا يتحمل مسؤولية التشخيص أو التمثيل القانوني أو اعتماد إجراء يمس سلامة إنسان.
يمكن تفويضه: تلخيص مستند، وشرح مصطلح، وإعداد قائمة أسئلة، أو تنظيم معلومات لمراجعة المختص.
يجب أن يبقى بشريًا: التشخيص والوصفة والرأي القانوني النهائي واعتماد إجراءات السلامة عالية الأثر.
7. إدارة الأزمات والشكاوى الحساسة
في الأزمة، قد تتغير الحقائق بسرعة، وتصبح كلمة واحدة سببًا في تصعيد الموقف. يستطيع الوكيل جمع المنشورات وتصنيفها واقتراح رد أولي، لكنه لا يفهم دائمًا العلاقات الإنسانية أو المسؤوليات القانونية أو التوقيت السياسي والإعلامي.
يمكن تفويضه: الرصد، وإزالة التكرار، وبناء خط زمني، وتلخيص الأسئلة المتكررة، وصياغة خيارات للرد.
يجب أن يبقى بشريًا: تحديد الموقف الرسمي، والاعتذار أو نفي الادعاء، ومخاطبة المتضررين، والنشر باسم المؤسسة.
سُلّم التفويض: من القراءة إلى التنفيذ المستقل
ليس المطلوب منع الوكيل من كل شيء، بل منحه أقل مستوى من الاستقلال يكفي لتحقيق الفائدة. استخدم السلم التالي لكل أداة أو مهمة:
| المستوى | ما يسمح به | متى يستخدم؟ |
|---|---|---|
| 0 — ممنوع | لا وصول ولا تنفيذ. | أسرار شديدة الحساسية أو قرارات لا يناسبها الذكاء الاصطناعي. |
| 1 — قراءة | يجمع ويحلل دون تغيير. | البحث والتلخيص والمراقبة. |
| 2 — اقتراح | ينشئ مسودة أو توصية. | الرسائل والتقارير والقرارات التي تحتاج حكمًا بشريًا. |
| 3 — تنفيذ بعد موافقة | يجهز الفعل وينتظر اعتمادًا واضحًا. | الإرسال والتعديل والشراء والإلغاء. |
| 4 — تنفيذ محدود | ينفذ تلقائيًا داخل حدود قابلة للقياس والتراجع. | مهام متكررة منخفضة الأثر بعد الاختبار. |
ابدأ من المستوى الأول أو الثاني. لا تنتقل إلى مستوى أعلى لأن التجربة نجحت مرة واحدة؛ انتقل بعد اختبارات متعددة، وسجل واضح للأخطاء، وخطة استعادة عند الفشل.
اختبار من ستة أسئلة قبل تفويض أي مهمة
- هل يستطيع الوكيل إلحاق ضرر مالي أو قانوني أو صحي أو بسمعة شخص؟
- هل يمكن التراجع عن الفعل بالكامل وبسرعة؟
- هل يمتلك معلومات كافية، أم سيضطر إلى التخمين؟
- هل يستطيع مصدر خارجي أو ملف خبيث التأثير في تعليماته؟
- هل توجد حدود للوقت والعدد والمبلغ ونطاق البيانات؟
- هل يوجد شخص معروف مسؤول عن المراجعة والتصعيد؟
إذا كانت الإجابة «نعم» عن السؤال الأول، أو «لا» عن أي من الأسئلة الخمسة التالية، فلا تمنح تنفيذًا مستقلًا.
سياسة تفويض قصيرة يمكنك استخدامها
المهمة: حدد نتيجة واحدة واضحة.
المصادر المسموحة: اذكر الملفات والأنظمة التي يجوز قراءتها.
الأفعال المسموحة: قراءة وتحليل وإعداد مسودة فقط.
الأفعال التي تحتاج موافقة: الإرسال والنشر والتعديل والحذف والشراء وتغيير الصلاحيات.
شروط التوقف: معلومات ناقصة، أو تعارض المصادر، أو تجاوز الحد، أو ظهور حالة حساسة.
السجل: احتفظ بالمصادر والأفعال والنتيجة واسم صاحب الموافقة.
مثال عملي: وكيل يجهز ردًا على شكوى
التصميم الخطر هو أن يقرأ الوكيل الشكوى ثم يرسل ردًا تلقائيًا. أما التصميم الأفضل فيعمل هكذا:
- يقرأ الشكوى والبيانات المسموح بها فقط.
- يصنفها إلى عادية أو حساسة وفق قواعد معلنة.
- يسترجع السياسة الرسمية ذات الصلة ويذكر مصدرها.
- يعد مسودة رد، ويميز أي معلومة غير مؤكدة.
- إذا كانت الحالة حساسة، يحيلها مباشرة إلى المسؤول.
- يعرض المسودة والمستلم والمرفقات على الموظف.
- لا يرسل شيئًا إلا بعد موافقة صريحة.
بهذا نستخدم سرعة الوكيل في القراءة والصياغة، ونُبقي المسؤولية والقرار لدى الإنسان.
ضوابط لا تكفي منفردة
وجود عبارة مثل «لا ترتكب أخطاء» داخل التعليمات ليس ضمانًا. وكذلك الموافقة البشرية الشكلية قد تفشل إذا عُرضت على المستخدم عشرات المرات حتى يضغط «موافق» من دون قراءة. الحماية الجيدة متعددة الطبقات:
- صلاحيات محدودة تقنيًا، لا مجرد تعليمات لغوية.
- قوائم واضحة بالأفعال المسموحة والممنوعة.
- موافقة تعرض أثر الفعل قبل تنفيذه.
- حدود للعدد والمبلغ والمدة وعدد المحاولات.
- سجل تدقيق يوضح ماذا فعل الوكيل ولماذا.
- نسخ احتياطية وإمكانية تراجع عندما يكون ذلك ممكنًا.
- اختبارات للحالات الناقصة والخبيثة والمتعارضة، لا للحالة المثالية فقط.
قائمة تحقق قبل تشغيل وكيلك
- هل المهمة محددة ويمكن قياس نجاحها؟
- هل فصلت صلاحية القراءة عن التعديل والتنفيذ؟
- هل منعت الوصول إلى ما لا تحتاجه المهمة؟
- هل عرّفت الحالات التي يجب أن يتوقف عندها؟
- هل اختبرت تكرار الإجراء وفشل الاتصال والمعلومات الناقصة؟
- هل تحتاج الأفعال غير القابلة للتراجع إلى موافقة؟
- هل تظهر شاشة الموافقة ما سيتغير بالضبط؟
- هل يوجد سجل ومراقبة وتنبيه للحالات غير المعتادة؟
- هل تعرف من يتحمل القرار عند التصعيد؟
- هل تستطيع إيقاف الوكيل فورًا من دون تعطيل العمل؟
أسئلة شائعة
هل معنى ذلك أن الوكلاء غير آمنين؟
لا. الخطر لا يأتي من اسم التقنية وحده، بل من الجمع بين عدم اليقين وصلاحيات واسعة وغياب المراقبة. قد يكون وكيل محدود الصلاحية أكثر أمانًا من عملية يدوية فوضوية، لكن الاستقلال الكامل ليس هدفًا بحد ذاته.
ما الإجراءات التي تحتاج موافقة بشرية دائمًا؟
لا توجد قائمة واحدة تناسب كل المؤسسات، لكن النشر الخارجي والدفع والحذف الدائم وتغيير الصلاحيات والقرارات عالية الأثر نقاط افتراضية جيدة للموافقة البشرية.
هل تكفي الموافقة بعد أن ينهي الوكيل المهمة؟
تكفي عند مراجعة مسودة، لكنها متأخرة إذا كان الوكيل قد أرسل أو دفع أو حذف بالفعل. يجب وضع الموافقة قبل آخر خطوة حساسة، مع عرض تفاصيلها.
متى يمكن السماح بالتنفيذ التلقائي؟
عندما تكون المهمة منخفضة الأثر، ومحدودة النطاق، وقابلة للتراجع، ولها معيار نجاح واضح، وبعد اختبارها ومراقبتها. وحتى حينها يجب تحديد سقف للتنفيذ وشروط توقف.
مصادر رسمية للتوسع
- OpenAI: دليل عملي لبناء الوكلاء والضوابط والتدخل البشري.
- NIST: إطار إدارة مخاطر الذكاء الاصطناعي.
- Anthropic: مبادئ بناء وكلاء فعّالين وموثوقين.
اقرأ أيضًا على أفق رقمي
- ما هو وكيل الذكاء الاصطناعي AI Agent؟ وكيف تستخدمه في عملك دون برمجة؟
- استخدام الذكاء الاصطناعي في العمل بأمان: دليل حماية البيانات
- ما هو الذكاء الاصطناعي؟ دليل مبسط لفهم التقنية
- وكيل ذكاء اصطناعي أم أتمتة تقليدية؟ اختبار عملي يحدد ما تحتاجه
الخلاصة
أفضل وكيل ليس الأكثر استقلالًا، بل الأكثر فائدة ضمن حدود يمكن فهمها ومراقبتها. ابدأ بالقراءة والتحليل وإعداد المسودات، ثم وسّع التفويض تدريجيًا بعد الاختبار. واجعل الإرسال والدفع والحذف وتغيير الصلاحيات والقرارات التي تمس الأشخاص خلف بوابة موافقة حقيقية.
قبل أن تسأل: «كيف أبني وكيلًا؟»، اسأل أولًا: «ما الذي لن أسمح له بفعله وحده؟». الإجابة عن هذا السؤال هي بداية التصميم الجيد، وليست عائقًا أمامه.
تعليقات
إرسال تعليق