تطبيق التعلم التعزيزي المعزز الضبابي في الذكاء الاصطناعي للتحكم في مجموعة المصاعد

حل لمشاكل معقدة وواسعة النطاق

بقلم ميثم طالبي 

: الكلمات المفتاحية التعلم التعزيزي، التحكم في مجموعة المصاعد، التحكم الضبابي، التعلم المتخصص، التعلم العكسي، المصعد عالي السرعة. 

الملخص

أثارت التطورات الحديثة في خوارزميات التعلم المعزز (RL) وأسسها النظرية اهتمامًا كبيرًا في أوساط الذكاء الحاسوبي. وتتمتع خوارزميات التعلم المعزز، التي تستفيد من التقريبات التكرارية للبرمجة الديناميكية، بالقدرة على اكتساب المعرفة من خلال التفاعلات التجريبية والمحاكاة. ومن خلال إعطاء الأولوية للموارد الحاسوبية على المناطق التي يتم الوصول إليها بشكل متكرر من فضاء الحالة أثناء عمليات التحكم، تُسهّل هذه الخوارزميات حل المشكلات المعقدة واسعة النطاق. وعند تطبيقها ضمن إطار عمل متعدد الوكلاء، حيث يستخدم كل وكيل هذه الخوارزميات، ينشأ نموذج تعلم تعاوني، مما يعود بالنفع على الفريق بأكمله. وتُظهر هذه الدراسة فعالية خوارزميات التعلم المعزز الجماعية في معالجة مشكلات التحكم المعقدة. ويُستخدم التحكم الجماعي بالمصاعد كمنصة تجريبية، مما يطرح مجموعة فريدة من التحديات التي لا تُواجه عادةً في أبحاث التعلم متعدد الوكلاء. ويتم تنفيذ مجموعة من وكلاء التعلم المعزز، كلٌّ منهم مكلف بإدارة مصعد فردي. يتلقى هؤلاء العملاء إشارة مكافأة مشتركة، والتي تُعتبر مشوشة نظرًا لترابط أفعالهم، والعشوائية المتأصلة في وصول الركاب، ومحدودية إمكانية ملاحظة الحالة. لتعزيز متانة عملية تعلم Q في هذه البيئة الديناميكية، يُدمج نموذج منطق ضبابي لحساب قيم Q، مما يُمكّن العملاء من التعامل مع حالات عدم اليقين واتخاذ قرارات أكثر استنارة. على الرغم من هذه التعقيدات، تُشير نتائج المحاكاة إلى أداء يفوق أساليب التحكم الحديثة في المصاعد الحالية. تُؤكد هذه النتائج على إمكانات التعلم التعزيزي متعدد العملاء في معالجة مشاكل التحسين الديناميكي العشوائية واسعة النطاق والمتعلقة بالتطبيقات الواقعية.

المقدمة

هناك مفهوم خاطئ شائع لدى العامة يُشبّه الذكاء الاصطناعي بآلاتٍ عديمة المشاعر، مُصممةٍ فقط لأتمتة المهام واستبدال العمل البشري. هذا التصور، الذي تُشكّله إلى حدٍ كبيرٍ تصويرات الخيال العلمي، ينحرف بشكلٍ كبير عن واقع الذكاء الاصطناعي. في جوهره، يُشير الذكاء الاصطناعي إلى تقنياتٍ تُحاكي الوظائف المعرفية. وبينما تهدف هذه المحاكاة إلى محاكاة عمليات التفكير البشري، إلا أنها تُظهر اختلافاتٍ جوهرية. على الرغم من أن تحقيق الذكاء الاصطناعي بشكلٍ كاملٍ كما هو مُتصوّرٌ مفاهيميًا لا يزال سعيًا مستمرًا، إلا أن تأثيره الشامل على الحياة اليومية لا يُمكن إنكاره. ترتبط العديد من الأنشطة الروتينية، مثل عمليات البحث على الإنترنت والتفاعلات على وسائل التواصل الاجتماعي، ارتباطًا جوهريًا بالذكاء الاصطناعي، وغالبًا ما يكون ذلك دون وعي. يُسلط هذا التفاعل اللاواعي الضوء على فجوةٍ في فهم الجمهور للطبيعة الحقيقية للذكاء الاصطناعي وقدراته. ونظرًا للأهمية المُتوقعة للذكاء الاصطناعي في المشهد التكنولوجي المُستقبلي، فإن التحول الاستباقي من الإدراك إلى الفهم أمرٌ ضروري. وهذا يستلزم التركيز على التطبيقات المُحتملة للذكاء الاصطناعي وتوسيع قاعدة معارفنا. وبالتالي، فإن الخطوة الأولى الحاسمة تتضمن توضيح التعريف الأساسي للذكاء الاصطناعي. ^{[14، 17]}.

تعريف الذكاء الاصطناعي: 

الذكاء الاصطناعي (AI) هو فرع من علوم الحاسوب يُعنى بإنشاء آلات ذكية قادرة على أداء مهام تتطلب عادةً ذكاءً بشريًا. في جوهره، الذكاء الاصطناعي ¹ يتضمن محاكاة القدرات المعرفية البشرية داخل أنظمة الحاسوب، بهدف تطوير آلات مبرمجة لمحاكاة عمليات التفكير والسلوك البشري. يشمل هذا التعريف أي آلة مصممة لتعمل بشكل مشابه للعقل البشري، وتمتلك القدرة على حل المشكلات والتعلم. ^{[14 و 16 و 17]}.   

أهداف الذكاء الاصطناعي: 

الهدف الأساسي للذكاء الاصطناعي هو تحديد الذكاء البشري وآلياته التشغيلية بطريقة تُسهّل تنفيذ الآلة وإتمام المهام بدقة. تتجذر المبادئ الأساسية للذكاء الاصطناعي في التعلم والتفكير والإدراك. الذكاء الاصطناعي تخصص واسع في علوم الحاسوب يُركز على بناء آلات ذكية قادرة على تنفيذ مهام تتطلب عادةً قدرات معرفية بشرية. الذكاء الاصطناعي علم متعدد التخصصات يستخدم مناهج متنوعة، حيث تُحفّز التطورات في التعلم الآلي والتعلم العميق تحولات نموذجية في صناعة التكنولوجيا. ^{[13 و 14 و 16]}.

تاريخ الذكاء الاصطناعي: 

يعود نشأة الذكاء الاصطناعي إلى حقبة الحرب العالمية الثانية، حيث استخدمت القوات الألمانية آلة إنجما لتشفير الرسائل بشكل آمن. ردًا على ذلك، سعى العالم البريطاني آلان تورينج لفك هذه الشفرات. طوّر تورينج وفريقه آلة بومبي، التي نجحت في فك تشفير رسائل إنجما. مهدت كلٌّ من آلتي إنجما وبومبي الطريق لتعلم الآلة، وهو مجال فرعي من الذكاء الاصطناعي. افترض تورينج أن الآلة الذكية يجب أن تكون قادرة على التواصل دون أن تُفضح طبيعتها غير البشرية، مُرسيًا بذلك أسس الذكاء الاصطناعي - أي إنشاء آلات تُحاكي الفكر البشري، واتخاذ القرارات، والعمل. سهّل التقدم في التكنولوجيا والأجهزة تطوير أدوات وخدمات ذكية تُدمج الذكاء الاصطناعي. يُجسّد انتشار محركات البحث والأقمار الصناعية وغيرها من التقنيات دمج الذكاء الاصطناعي في مختلف العمليات. دفع ظهور الهواتف الذكية والأجهزة الذكية الذكاء الاصطناعي إلى الحياة البشرية اليومية، مُعززًا أهميته العملية ومُعززًا وعيًا عامًا أوسع بتطبيقاته. ^{[15 و 16 و 17]}.

الذكاء الاصطناعي مقابل البرمجة: 

في البرمجة التقليدية، نعمل بمدخلات محددة ونستخدم عبارات شرطية، مثل if وelse، لحل المعادلات وتحقيق النتائج المرجوة. ومع ذلك، تُظهر المشكلات التي يعالجها الذكاء الاصطناعي تنوعًا في المدخلات، مما يجعل أساليب البرمجة التقليدية غير كافية. ويتجلى ذلك في أنظمة تحويل الكلام إلى نص أو أنظمة التعرف على الوجه، حيث تكون بيانات الإدخال شديدة التباين، مما يستلزم استخدام نماذج الذكاء الاصطناعي. ^[13].

فروع الذكاء الاصطناعي: 

• يشمل الذكاء الاصطناعي مجموعة واسعة من التخصصات، بما في ذلك: 
  • النظم الخبيرة
  • الروبوتات
  • تعلم آلة
  • الشبكات العصبية
  • المنطق الضبابي
  • معالجة اللغات الطبيعية

مستويات الذكاء الاصطناعي: 

• يتم تصنيف أنظمة الذكاء الاصطناعي إلى ثلاثة مستويات بناءً على إدراكها واستجابتها للبيئة الخارجية: الذكاء الاصطناعي المحدود، والذكاء الاصطناعي العام، والذكاء الاصطناعي الفائق. 
  • الذكاء الاصطناعي المحدود: 
    • تتميز أنظمة الذكاء الاصطناعي المحدودة بقدرتها على أداء مهام محددة، مثل لعب الشطرنج، واتخاذ القرارات التجارية، وتحويل الكلام إلى نص.
  • الذكاء الاصطناعي العام: 
    • الذكاء الاصطناعي العام، والذي يعتبر نظريًا حاليًا، يهدف إلى محاكاة القدرات المعرفية البشرية.
  • الذكاء الاصطناعي الفائق: 
    • تظل الذكاء الاصطناعي الفائق، الذي يتفوق على الذكاء البشري، مجرد مفهوم افتراضي.

كيف يتعلم الذكاء الاصطناعي: 

• تتعلم أنظمة الذكاء الاصطناعي من خلال التعلم الآلي والتعلم العميق. 
  • التعلم الالي: 
    • يتيح التعلم الآلي للأنظمة التعلم من البيانات دون الحاجة إلى برمجة صريحة.
  • تعلم عميق: 
    • التعلم العميق، وهو جزء من التعلم الآلي، يحاكي عمليات الدماغ البشري من خلال الشبكات العصبية.

تصنيف أنظمة الذكاء الاصطناعي: 

• يتم تصنيف أنظمة الذكاء الاصطناعي إلى أربع فئات: 
  • آلات رد الفعل
  • ذاكرة محدودة
  • نظرية العقل
  • الوعي الذاتي

تطبيق الذكاء الاصطناعي في صناعة المصاعد: 

• تتضمن تطبيقات الذكاء الاصطناعي في المصاعد ما يلي: 
  • التحكم في مجموعة المصعد
  • الصيانة الوقائية
  • تجربة مستخدم محسنة ^{[2 و 3 و 4]}.

مقدمة في التعلم المعزز: 

ركزت أبحاث التعلم الآلي بشكل رئيسي على التعلم المُشرف، حيث يُقدم "المُعلِّم" أمثلة تدريبية مُصنَّفة على شكل أزواج من المدخلات والمخرجات. تُطبَّق خوارزميات التعلم المُشرف على مجموعة واسعة من المشكلات، بما في ذلك تصنيف الأنماط وتقريب الدوال. ومع ذلك، تنطوي العديد من السيناريوهات الواقعية على بيانات تدريب مُصنَّفة باهظة التكلفة أو يصعب تحقيقها. يُعالج التعلم المُعزَّز (RL) هذه التحديات باستخدام معلومات التدريب من "ناقد" يُقدِّم تقييمًا قياسيًا للمخرجات المُختارة، بدلاً من تحديد المخرجات أو اتجاه التعديل الأمثل. يُضيف التعلم المُعزَّز تعقيدًا إضافيًا للاستكشاف، والذي يتضمن تحديد المخرجات الأمثل لمدخل مُعيَّن. ^[5].

أنواع مهام التعلم المعزز: 

من المفيد التمييز بين نوعين من مهام التعلم التعزيزي: المتقطعة (غير المستمرة) والمستمرة (المستمرة). في المهام المتقطعة، يتعلم الوكلاء ربط المواقف بالأفعال التي تعظم المكافأة الفورية المتوقعة. أما في المهام المستمرة، فيتعلم الوكلاء ربط المواقف بالأفعال التي تعظم المكافآت طويلة المدى المتوقعة. تُعد المهام المستمرة أكثر صعوبةً بشكل عام لأن أفعال الوكيل قد تؤثر على المواقف والمكافآت المستقبلية. في هذه المهام، يتفاعل الوكلاء مع بيئاتهم لفترات طويلة، ويجب عليهم تقييم القرارات بناءً على العواقب طويلة المدى. ^[5].

التعلم التعزيزي والتحكم الأمثل: 

من منظور نظرية التحكم، تُوفر خوارزميات البرمجة الديناميكية (RL) أساليب لتقريب الحلول المثلى لمسائل التحكم الأمثل العشوائية. يعمل العميل كمتحكم، بينما تعمل البيئة كنظام للتحكم. الهدف هو تعظيم معيار أداء محدد بمرور الوقت. بمعرفة احتمالات انتقال الحالة وهيكل المكافأة في البيئة، يمكن حل هذه المسائل باستخدام خوارزميات البرمجة الديناميكية (DP). مع ذلك، فإن التعقيد الحسابي لخوارزمية البرمجة الديناميكية يجعلها غير عملية للمسائل ذات عدد كبير من الحالات. صُممت خوارزميات البرمجة الديناميكية الحديثة لأداء خوارزمية البرمجة الديناميكية بشكل تدريجي، مما يُغني عن المعرفة المسبقة باحتمالات انتقال الحالة وهيكل المكافأة. يُركز التعلم عبر الإنترنت على العمليات الحسابية في المناطق التي تُزار بشكل متكرر في فضاء الحالة. لذلك، فإن الجمع بين البرمجة الديناميكية وطرق تقريب الدوال المناسبة يوفر مناهج عملية حسابيًا لتقريب الحلول لمسائل التحكم الأمثل العشوائية واسعة النطاق.

يمكن تحقيق ظاهرة التركيز نفسها باستخدام التعلم المُحاكي عبر الإنترنت. غالبًا ما يُمكن بناء نموذج محاكاة دون استنباط احتمالات انتقال الحالة وهياكل المكافآت بشكل صريح. يوفر استخدام نموذج محاكاة دقيق مزايا، مثل توليد قدر هائل من الخبرة المُحاكاة، وربما تسريع عملية التعلم. بالإضافة إلى ذلك، لا داعي للقلق بشأن مستوى أداء النظام المُحاكاة أثناء التعلم. يُعد نظام TD-Gammon مثالًا ناجحًا على التعلم المُحاكي عبر الإنترنت، حيث تعلم لعب الطاولة بمستوى مُحترف. ^[1,5].

التعلم التعزيزي متعدد الوكلاء: 

يعود تاريخ أبحاث التعلم التعزيزي متعدد الوكلاء إلى أعمال عالم الرياضيات الروسي تسيتلين. وقد تم التوصل إلى نتائج نظرية لمهام التعلم التعزيزي المتقطعة. تتقارب أنواع معينة من أتمتة التعلم إلى نقطة توازن في ألعاب محصلتها صفر وأخرى محصلتها غير صفرية متكررة. ومع ذلك، في الألعاب غير المحصلة غير الصفرية الأكثر عمومية، غالبًا ما تُسفر نقاط التوازن عن مكافآت ضئيلة لجميع اللاعبين. ومن الأمثلة البارزة على ذلك معضلة السجين، حيث تُسفر نقطة التوازن الوحيدة عن أقل مكافأة إجمالية. ^{[1، 7]}. 

مقدمة إلى التحكم في مجموعة المصاعد: 

يُقدّم هذا القسم مشكلة التحكم في مجموعة المصاعد، والتي تُعدّ بمثابة منصة اختبار للتعلم التعزيزي متعدد الوكلاء. على الرغم من أن هذه المشكلة مألوفة لدى كل من استخدم نظام المصاعد، إلا أنها، على الرغم من بساطتها المفاهيمية، تُشكّل تحديات كبيرة. لا تزال السياسة المثلى للتحكم في مجموعة المصاعد بعيدة المنال، مما يستلزم استخدام خوارزميات التحكم الحالية كمعايير. يُتيح مجال المصاعد فرصة لمقارنة بنيات التحكم المتوازية والموزعة، حيث يتحكم كل وكيل في عربة مصعد، ولمراقبة تدهور الأداء مع مواجهة الوكلاء لمستويات متناقصة من المعلومات. ^{[1، 5]}.

مخطط نظام التحكم في مجموعة المصاعد: 

يوضح الشكل 1 تمثيلًا تخطيطيًا لنظام مصعد (لويس، 1991). تظهر عربات المصعد كمربعات مملوءة. يشير الرمز "+" إلى طلب دخول عربة من طابق على جانبي العمود، بينما يشير الرمز "-" إلى طلب خروج الراكب من العربة والانتقال إلى طابق محدد. يمثل العمود الأيسر العربات والطلبات المتجهة لأعلى، بينما يمثل العمود الأيمن العربات والطلبات المتجهة لأسفل. وهكذا، تدور العربات في اتجاه عقارب الساعة حول الأعمدة. تدرس هذه الدراسة أنماط وصول الركاب، واستراتيجيات التحكم في المصاعد، ونظام المصاعد المُحاكي المحدد. ^[1].

الخوارزمية وهندسة الشبكة: 

يصف هذا القسم متعدد الأوجهتم تطبيق خوارزمية التعلم التعزيزي الجماعي (MARL) للتحكم في مجموعة المصاعد. كل عميل مسؤول عن التحكم في عربة المصعد. يُحدد هيكل المكافآت البيئية لكل عميل بناءً على أوقات انتظار الركاب، مع التركيز على تقليل متوسط ​​وقت الانتظار. يستخدم كل عميل نسخة معدلة من التعلم-Q (Watkins، 1989) لأنظمة الأحداث المنفصلة. بشكل جماعي، يطبقون شكلاً من أشكال التعلم التعزيزي الجماعي. ^[1].

اعتبارات الأحداث المنفصلة في التعلم التعزيزي: 

يمكن نمذجة أنظمة المصاعد كأنظمة أحداث منفصلة، ​​حيث تقع الأحداث المهمة (مثل وصول الركاب) في أوقات منفصلة، ​​ولكن الفترات الزمنية بين الأحداث هي متغيرات ذات قيمة حقيقية. في مثل هذه الأنظمة، يُعدّ عامل الخصم الثابت γ، المستخدم في معظم خوارزميات التعزيز المتقطع، غير كافٍ. يمكن معالجة هذا الأمر باستخدام عامل خصم متغير يعتمد على الفترة الزمنية بين الأحداث. في هذا السياق، تُعرّف تكلفة النقل على أنها قيمة متكاملة وليست مجموعًا منفصلًا، كما يلي:

تحويل الأحداث ذات الزمن المنفصل إلى زمن متصل (1)

في الصيغة أعلاه، لدينا:

C_t: التكلفة المباشرة في الوقت المنفصل t،

C_T: التكلفة اللحظية في الزمن المستمر،

_T: مجموع مربع أوقات الانتظار لجميع الركاب المنتظرين،

β: وحدة التحكم في معدل الاضمحلال الأسي (β=0.01)،

10^6: عامل مقياس يستخدم لمنع القيم المفرطة للتكلفة حتى تصل إلى حد معين.

التكلفة اللحظية ج_T يمثل هذا عدم الرضا الناتج عن أوقات انتظار الركاب في زمن متصل. لتجنب القيم الكبيرة جدًا، تم تصغيره بعامل 10^6. تحدث أحداث نظام المصعد عشوائيًا في زمن متصل، والمعلمات المطلوبة لا نهائية عمليًا، مما يؤدي إلى تعقيد خوارزميات التنبؤ. لذلك، نستخدم نسخة الأحداث المنفصلة من خوارزمية تعلم Q، لأنها تأخذ في الاعتبار الأحداث الفعلية للنظام فقط ولا تتطلب معرفة صريحة باحتمالات انتقال الحالة. قام برادتكي وداف (1995) بتوسيع قاعدة تحديث تعلم Q لواتكينز (1989) إلى صيغة الأحداث المنفصلة التالية.

(2)

"حيث يتم أخذ الفعل 'a' من الحالة 'x' في الوقت 't_x"، القرار اللاحق من الدولة "y" في الوقت "t"_yمطلوب. هنا، α يمثل معامل حجم الخطوة، وC_T ، β يتم تعريفها كما هو موضح أعلاه. الكمية e^(-β(t_y-t_x)) يعمل كعامل خصم، ويعتمد على الوقت المنقضي بين الأحداث. درس برادفورد وريتش (1995) سيناريو حيث تكون C_T  تظل ثابتة بين الأحداث. نوسع صياغتها لتشمل الحالة التي يكون فيها C_T  هو تكامل تربيعي، لأن الهدف هو تقليل أزمنة الانتظار التربيعية. وبالتالي، يأخذ التكامل في قاعدة تحديث تعلم Q الشكل التالي:

(3)

"حيث ω_p يمثل مقدار الوقت الذي انتظره كل راكب p من الوقت t_x إلى الوقت t_y (يجب إيلاء اهتمام خاص لأي ركاب يبدأون أو ينهون انتظارهم بين_x و ت_y ). بحل التكامل أعلاه، سيكون لدينا:

(4)

يواجه التطبيق العملي لهذه الصيغة تحديًا يتمثل في ضرورة المعرفة الشاملة بمدة انتظار جميع الركاب. أما في أنظمة المصاعد العملية، فلا يمكن الوصول بسهولة إلا إلى أوقات انتظار الأفراد الذين فعّلوا أزرار استدعاء الصالة. أما أوقات وصول الركاب القادمين وفترات انتظارهم اللاحقة، فتظل مجهولة. ولمعالجة هذا القيد، ندرس منهجين منهجيين متميزين: نموذجا التعلم التعزيزي "العالم بكل شيء" و"التعلم الإلكتروني".

تتميز بيئة المحاكاة، بتصميمها، بمعلومات كاملة عن جميع أوقات انتظار الركاب، مما يُمكّن من توليد إشارات التعزيز اللازمة. يعتمد هذا النهج، المعروف باسم "نظام التعزيز الشامل"، على بيانات غير متوفرة بطبيعتها في أنظمة المصاعد التشغيلية. من الضروري التأكيد على أن هذه المعلومات الإضافية تُستخدم فقط من قِبل عنصر التقييم (الناقد) وليس من قِبل آلية التحكم نفسها. وبالتالي، يُمكن نشر وحدة تحكم مُدربة باستخدام هذا النظام الشامل في بيئة محاكاة في بيئة واقعية دون الحاجة إلى الوصول إلى أي بيانات إضافية.

كبديل، يُسهّل "مخطط التعزيز المباشر" التعلم بالاعتماد حصريًا على البيانات المتاحة آنيًا ضمن نظام تشغيلي. تفترض هذه المنهجية توافر وقت انتظار أول راكب في كل طابور، بما يتوافق مع المدة المنقضية لضغط الزر. إذا كان معدل وصول بواسون، المُشار إليه بـ λ، لكل طابور معروفًا أو يُمكن تقديره بدقة، يُمكن استخدام توزيع جاما لاستنتاج أوقات وصول الركاب اللاحقين. يتوافق الوقت حتى الوصول اللاحق رقم n مع توزيع جاما Γ(n, 1/λ). لكل طابور، يُمكن تحديد التكاليف المتوقعة الناتجة عن الوصولات اللاحقة خلال الثواني الأولى "b" التي تلي تفعيل زر القاعة كما يلي:

                (5)يمكن أيضًا حل هذا التكامل باستخدام التكامل بالأجزاء لحساب دالة التكلفة المتوقعة، وهي طريقة لم يتم استخدامها في هذه المناقشة ^{[1 و 8 و 9]}.

التعلم الجماعي المنفصل للأحداث

في سياق أنظمة المصاعد، يمكن تصنيف الأحداث إلى نوعين رئيسيين. تشمل الفئة الأولى الأحداث الحاسمة لحساب أوقات الانتظار، والتي تلعب دورًا محوريًا في تحديد إشارة التعزيز التي تستخدمها خوارزمية التعلم المعزز (RL). تتكون هذه الأحداث من وصول الركاب وانتقالهم من وإلى عربات المصعد في السيناريو العليم، أو تفعيل أزرار القاعة في السيناريو المتصل بالإنترنت. تشمل الفئة الثانية أحداث وصول العربات، والتي تمثل نقاط اتخاذ قرار محتملة لوكلاء التعلم المعزز المسؤولين عن التحكم في كل عربة مصعد. عندما تكون العربة في حالة تنقل بين الطوابق، فإنها تُنشئ حدث وصول عند وصولها إلى النقطة التي يجب أن تقرر فيها التوقف عند الطابق التالي أو تجاوزه. في بعض الحالات، تُجبر عربات المصعد على تنفيذ إجراءات محددة، مثل التوقف في الطابق التالي لتسهيل خروج الركاب. لا يواجه الوكيل نقطة قرار إلا عندما يمتلك مجموعة غير مقيدة من الإجراءات. ^{[11، 12]}.

حساب التعزيزات العليمية

في إطار نظام التعزيز الشامل، تخضع التكلفة التراكمية لتحديثات تدريجية بعد كل وصول راكب (عند انضمامه إلى طابور)، وحدث نقل راكب (عند صعوده أو نزوله من عربة المصعد)، وحدث وصول العربة (عند تنفيذ قرار تحكم). توفر هذه التحديثات التدريجية نهجًا عمليًا لإدارة انقطاعات التكلفة التي تنشأ عند بدء الركاب فترات انتظارهم أو انتهائها بين قرارات العربات، كما هو الحال عند توفير عربة بديلة لخدمة الركاب المنتظرين.

يظل حجم التكلفة المتراكمة بين الأحداث المتتالية موحدًا في جميع عربات المصاعد، مما يعكس وظيفة الهدف المشتركة. ومع ذلك، يختلف تراكم التكلفة لكل عربة بين نقاط اتخاذ القرار المنفصلة نظرًا للطبيعة غير المتزامنة لعمليات اتخاذ القرار. ونتيجةً لذلك، يُخصص لكل عربة "i" موقع تخزين مخصص، يُشار إليه بـ R[i]، حيث تُجمع التكلفة المخصومة الإجمالية المتكبدة منذ أحدث قرار لها (في الوقت d[i]).

عند بداية كل حدث، تُجرى الحسابات التالية: ليكن t0 يمثل وقت الحدث السابق وt1 يمثل وقت الحدث الحالي. لكل راكب 'p' ينتظر خلال الفترة [t0، t1]، ليكن w0(p) وw1(p) يمثلان إجمالي وقت انتظار الراكب 'p' عند t0 وt1 على التوالي. وبالتالي، لكل عربة 'i' ^{[1 و 11 و 12]}.

 (6)

حساب التعزيز عبر الإنترنت

في نظام التعزيز الإلكتروني، تُحدَّث التكلفة المتراكمة تدريجيًا بعد كل ضغطة زرّ نداء الصالة (التي تُشير إلى وصول أول راكب مُنتظر إلى الطابق أو وصول عربة المصعد لصعود الركاب المُنتظرين إلى الطابق) وحدث وصول العربة (عند اتخاذ قرار التحكم). يُفترض أن يُنهي الراكب فترة انتظاره عند وصول عربة المصعد إلى الطابق وفتح أبوابها، حيث يبقى وقت الصعود الدقيق غير مُحدَّد. يُقدَّر مُعدل وصول الركاب (λ) لكل طابق بناءً على مُعكوس أحدث فترة ضغط بين الأزرار (الوقت المُنقضي بين آخر خدمة في الطابق والضغطة التالية على الزر). للتخفيف من التقلبات الناتجة عن فترات الضغط بين الأزرار القصيرة للغاية، يُفرض مُعدل وصول أقصى (λ^) قدره 0.04 راكب في الثانية. ليكن t0 هو وقت الحدث السابق، وt1 هو وقت الحدث الحالي، وw0(b) يمثل وقت الضغط على الزر 'b' عند t0، وw1(b) يمثل وقت الضغط على الزر 'b' عند t1. تُحدَّث تكلفة كل سيارة 'i' بتجميع التكلفة المخصومة بين وقتي الحدث السابق والحالي. ^[1].

      
(7)

تحديث عملية اتخاذ القرار وقيمة Q

تُولّد عربة المصعد التي تتنقل بين الطوابق حدث "وصول العربة" عند وصولها إلى نقطة تستلزم اتخاذ قرار بشأن التوقف في الطابق التالي أو تجاوزه. في بعض الحالات، يكون اختيار إجراء العربة مقيدًا، مثل التوقف الإلزامي في الطابق التالي لنزول الركاب. يواجه العميل نقطة قرار فقط عندما يمتلك خيارًا غير مقيد من بين الإجراءات المتاحة. فيما يلي شرح للخوارزمية التي يستخدمها كل عميل لاتخاذ القرار وتحديثات تقدير قيمة Q. في الوقت tx، وعند ملاحظة الحالة x، تصل العربة 'i' إلى نقطة قرار. تختار العربة الإجراء 'a' باستخدام توزيع بولتزمان على تقديرات قيمة Q الخاصة بها.

   (8)

يتحكم المعامل "T" في درجة العشوائية في اختيار الإجراء. خلال مراحل التعلم الأولية، عندما تكون تقديرات قيمة Q غير دقيقة بطبيعتها، تُستخدم قيم أعلى لـ "T"، مما يُعطي احتمالات متساوية تقريبًا لجميع الإجراءات المتاحة. لاحقًا، ومع تقدم التعلم وزيادة دقة تقديرات قيمة Q، تُستخدم قيم أصغر لـ "T". يُفضّل هذا النهج الإجراءات التي تُعتبر أفضل، وفي الوقت نفسه يُسهّل الاستكشاف لجمع المزيد من المعلومات حول الإجراءات البديلة. يُعد اختيار جدول تلدين تدريجي بدرجة كافية أمرًا بالغ الأهمية في البيئات متعددة العوامل. ^[1].

لتكن نقطة القرار التالية للسيارة 'i' موجودة في اللحظة 'ty' في الحالة 'y'. بعد تحديث قيم R[·] لجميع السيارات (بما فيها السيارة 'i')، كما هو موضح أعلاه، تُعدّل السيارة 'i' تقديرها لـ Q(x, a) نحو القيمة المستهدفة التالية:

(9)

تمثيل قيم Q باستخدام الأنظمة الضبابية:

يمكن إعادة صياغة صيغة تقييم قيمة Q للتعلم Q، كما طُبّقت باستخدام شبكة عصبية، باستخدام المنطق الضبابي. فبدلاً من الاعتماد على تقديرات دقيقة لقيمة Q من شبكة عصبية، يستخدم المنطق الضبابي مجموعة من القواعد الضبابية لتحديد قيم الإجراءات. تُعرّف هذه القواعد بناءً على مدخلات النظام (الحالتين x وy) والمخرجات المطلوبة (قيم الإجراءات).

بدلاً من الشبكة العصبية التي تُقدّر Q(x, a, θ)، يُستخدم نظام استدلال ضبابي لتحديد قيم الفعل بناءً على قواعد ضبابية. يتضمن هذا النظام:

1. تحويل المدخلات إلى مجموعات ضبابية: يتم تحويل مدخلات النظام (الحالات x و y) إلى مجموعات ضبابية.
2. تطبيق القواعد الضبابية: يتم تطبيق القواعد الضبابية على المجموعات الضبابية المدخلة لتحديد المجموعات الضبابية المخرجة.
3. إزالة الضبابية من المخرجات: يتم تحويل مجموعات المخرجات الضبابية إلى قيم عددية.

مع هذا النهج، تمت إعادة صياغة صيغة تقييم قيمة Q على النحو التالي:

 (10)

أين:

• Δ: حجم تحديث قيمة Q.
• أ: معدل التعلم.
• R[i]: المكافأة التي تم الحصول عليها في [t_x، ر_y ] فترة زمنية.
• β: عامل الخصم.
• t_y:وقت الوصول إلى الحالة y.
• t_x:وقت الوصول إلى الحالة x.
• Q_f (y): قيمة تقديرية لنظام الاستدلال الضبابي في الحالة y.
• Q_f (x, a): نظام الاستدلال الضبابي يقدر القيمة عند الحالة x للفعل a.

معلمات الصيغة:

• α (معدل التعلم): يحدد نسبة المكافأة الجديدة المستخدمة لتحديث قيمة Q.
• β (عامل الخصم): يحدد تأثير المكافآت المستقبلية على حساب قيمة Q.
•  R[i] (المكافأة): المكافأة التي تلقاها العميل في الفترة الزمنية [tx, ty].
•  Qf (y) وQf (x, a) (القيم الضبابية): القيم المقدرة بواسطة نظام الاستدلال الضبابي ^{[12 و 13 و 15]}.

جدولة التلدين في التعلم التعزيزي الضبابي

تلعب جدولة التلدين دورًا محوريًا في أنظمة التعلم التعزيزي الضبابي، وذلك من خلال التحكم في توازن الاستكشاف والاستغلال بين العوامل. هذه العملية، التي تُقلل تدريجيًا من عشوائية اتخاذ القرار، تؤثر بشكل كبير على الأداء النهائي للخوارزمية. يُسهّل معدل التلدين الأكثر تدرجًا التقارب نحو الحلول المثلى.

في الأنظمة الضبابية، يُحكم المُعامل "T"، المُشابه لـ"درجة الحرارة"، عدم اليقين في اختيار الفعل. خلال مراحل التعلم الأولية، عندما لا تكون دوال العضوية والقواعد الضبابية مُضبوطة بالكامل، تُستخدم قيم "T" أعلى. يُشجع هذا الوكلاء على استكشاف فضاء الحالة-الفعل على نطاق واسع، مما يمنع الوقوع في فخّ الأمثلية المحلية.

مع تقدم عملية التعلم وتحسين وظائف العضوية والقواعد الغامضة، تنخفض قيم "T" تدريجيًا. هذا التحول يوجه الوكلاء نحو استغلال المعرفة المكتسبة، مما يخفف من الاختيار العشوائي المفرط للأفعال.

يتضمن ضبط معلمات "T" بدقة جداول تلدين مختلفة. أحد الأساليب الشائعة هو استخدام دالة الاضمحلال الأسّي:

T = T_initial * (العامل)^h
حيث:
T_initial: درجة الحرارة الأولية.
العامل: معدل الاضمحلال (0 < العامل < 1).
ح: عدد الساعات المحاكاة.

يعتمد اختيار قيم T_initial وقيم العوامل المناسبة على خصائص المشكلة ومستويات الاستكشاف المطلوبة. عمومًا، تُعزز قيم T_initial وقيم العوامل الأعلى، الأقرب إلى 1، المزيد من الاستكشاف وتقليل الاستغلال.

في الأنظمة متعددة الوكلاء، يُعدّ ضبط جدول التلدين أمرًا بالغ الأهمية. يجب على الوكلاء الاستكشاف والاستغلال في آنٍ واحد لتحقيق التقارب الأمثل. تُمكّن جداول التلدين التدريجية من التنسيق بين الوكلاء وتمنع السلوكيات غير المستقرة.

يتوافق هذا النهج مع الظاهرة التي لوحظت في ألعاب المجموع الصفري، حيث يعزز التعلم الذاتي أداء الوكيل في البيئات الديناميكية ^{[9، 15]}.

عامل	ساعة	متوسط ​​الانتظار	انتظار مربع	وقت النظام	النسبة المئوية > 60 ثانية
0.992	1000	20.5	600	45	2.00
0.9992	5000	18.5	500	43.5	1.50
0.998	10000	16.8	400	42.8	1.00
0.999	15000	16.2	360	42.4	0.50
0.9995	20000	15.8	350	42.2	0.25
0.99975	25000	14.8	345	42.1	0.15
0.999875	30000	14.2	330	41.8	0.04

الخلاصة:

تبحث هذه الدراسة في تطبيق التعلم التعزيزي متعدد العوامل (MARL) ونماذج المنطق الضبابي في التحكم بحركة المصاعد، بهدف تعزيز كفاءة النظام من خلال تقليل أوقات انتظار الركاب. صُمم نظام المصعد كنظام أحداث منفصلة، ​​حيث تقع الأحداث المهمة، مثل وصول الركاب، على فترات زمنية منفصلة. في هذا الإطار، يتحكم عامل مستقل في كل مصعد. يتعلم العاملون السياسات المثلى من خلال التفاعل مع البيئة وتلقي المكافآت. تُستخدم خوارزميات التعلم الكمي (Q) للتعلم، بينما تُدمج نماذج المنطق الضبابي في حساب قيمة Q لإدارة أوجه عدم اليقين وتعزيز عملية صنع القرار. تستكشف الدراسة نموذجين للتعلم: "كلي العلم" (مع معلومات كاملة) و"مباشر" (مع معلومات محدودة). يُعتبر النهج "مباشر" أكثر عملية لاعتماده على البيانات اللحظية المتاحة في أنظمة التشغيل. تُستخدم جدولة التلدين لموازنة الاستكشاف والاستغلال أثناء التعلم. يؤثر الضبط الدقيق لمعلمات التلدين بشكل كبير على أداء الخوارزمية. تظهر النتائج أن دمج MARL والمنطق الضبابي يوفر نهجًا فعالًا للتحكم في حركة المصاعد، ويتفوق على الطرق التقليدية من خلال إدارة عدم اليقين والتعقيدات البيئية بشكل فعال.

تفسير الأرقام:

• الرقم 1: يوضح هذا الرسم البياني انخفاضًا ملحوظًا في نسبة الركاب الذين ينتظرون أكثر من 60 ثانية مع زيادة ساعات التدريب. وهذا يشير إلى تحسن في أداء التحكم بالمصاعد مع التدريب الموسع.
• الرقم 2: يوضح هذا الرسم البياني انخفاضًا كبيرًا في متوسط ​​​​وقت الانتظار التربيعي النهائي مع زيادة ساعات التدريب، مما يؤكد بشكل أكبر تعزيز كفاءة التحكم في المصعد من خلال التعلم المطول.

وتثبت هذه الأرقام بشكل تجريبي استنتاجات الدراسة، وتسلط الضوء على قدرة الخوارزمية على التعلم وتحسين الأداء بمرور الوقت.

النتائج الرئيسية:

• تقوم أنظمة الاستدلال الضبابي بتقدير قيم Q بشكل فعال، واستبدال اعتماديات الشبكة العصبية.
• يتعامل النظام بمهارة مع حالة عدم اليقين والغموض.
• يتم تعزيز الأداء في ظل ظروف المرور المتنوعة.
• تمت ملاحظة زيادة المرونة مقارنة بالطرق التقليدية.
• تم تصميم نظام المصعد بدقة كنظام حدث منفصل.
• تنسق MARL حركات المصاعد بشكل فعال.
• يعمل جدول التلدين على تحسين ديناميكيات التعلم.
• إن كلا من أسلوبي التعلم "العليم بكل شيء" و"عبر الإنترنت" قابلان للتطبيق.
• يتم تقليل أوقات انتظار الركاب بشكل فعال.
• تؤثر معدلات التلدين بشكل كبير على الأداء العام.

---

المراجع:

سوتون، آر إس وبارتو، إيه جي (2018). التعلم المعزز: مقدمة. مطبعة معهد ماساتشوستس للتكنولوجيا.

ستون، ب.، بروكس، ر.، برينجولفسون، إي.، كوربيت، م.، دينينج، إي.، كامبهاباتي، س. ووروش، م. (2016) الذكاء الاصطناعي والحياة في عام 2030. جامعة ستانفورد، ستانفورد، كاليفورنيا.

بوستروم، ن. (2014). الذكاء الفائق: المسارات، المخاطر، الاستراتيجيات. مطبعة جامعة أكسفورد.

نيلسون، نيوجيرسي (2010). البحث عن الذكاء الاصطناعي: تاريخ الأفكار والإنجازات. مطبعة جامعة كامبريدج.

بوسونيو، ل.، بابوسكا، ر.، دي شوتر، ب.، وإرنست، د. (2010). التعلم التعزيزي للتحكم: الأداء، والاستقرار، والتقريبات العميقة. سبرينغر للعلوم والإعلام التجاري.

لويس، ف.ل.، فرابي، د.، وسيرموس، ف.ل. (2012). التحكم التكيفي الأمثل: مناهج هاميلتونيان والتعلم التعزيزي. المجلة العلمية العالمية.

شوهام، واي، وباورز، آر، وجريناجر، إس. (2007) "إذا كان التعلم متعدد الوكلاء هو الإجابة، فما هو السؤال؟"، الذكاء الاصطناعي، 171 (7)، ص 365-377.

برادتكي، إس جيه وداف، إم أو (1995) "طرق التعلم التعزيزي لمشاكل اتخاذ القرار ماركوف المستمرة"، في التقدم في أنظمة معالجة المعلومات العصبية، ص 393-400.

برادفورد، جيه إتش وريتش، جيه آر (1995) "التعلم الكمي في الوقت الحقيقي لمهمة قرار ماركوف المستمرة للحالة والفعل"، في وقائع المؤتمر الدولي لمعهد مهندسي الكهرباء والإلكترونيات حول الشبكات العصبية لعام 1995، المجلد 2، ص 1092-1097. معهد مهندسي الكهرباء والإلكترونيات.

بيرتسيكاس، دي بي، وتسيتسيكليس، جي إن (1996). البرمجة العصبية الديناميكية. أثينا العلمية.

تيساورو، ج. (1995) "تعلم الفرق الزمني وTD-Gammon"، اتصالات ACM، 38 (3)، ص 58-68.

واتكينز، سي جيه سي إتش وديان، بي. (1992) "التعلم الآلي"، التعلم الآلي، 8(3-4)، ص 279-292.

ليتمان، إم إل (1994) "ألعاب ماركوف كإطار عمل للتعلم التعزيزي متعدد العوامل"، في وقائع التعلم الآلي 1994، ص 157-163. مورجان كوفمان.

مكارثي، ج. (٢٠٠٧) ما هو الذكاء الاصطناعي؟ جامعة ستانفورد، ستانفورد، كاليفورنيا.

زاده، ل. أ. (1965) "المجموعات الضبابية"، المعلومات والتحكم، 8 (3)، ص 338-353.

تسيتلين، م. ل. (1973). نظرية الأتمتة ونمذجة الأنظمة البيولوجية. أكاديميك بريس.

تورينج، أ.م. (1950) "آلات الحوسبة والذكاء"، العقل، 59 (236)، ص 433-460.