البحث في نظام المراقبة بالفيديو والتحكم عن بعد في السلالم المتحركة في الوقت الحقيقي

في هذا المقال الهندسي ، يستكشف مؤلفك وسائل تحسين السلامة.

بواسطة Yantai Luo

: الكلمات المفتاحية مراقبة الفيديو كشف؛ السلامة الوظيفية جهاز التحكم

المستخلص:

السلالم المتحركة هي معدات خاصة للخدمة الشاقة مرتبطة بالسلامة. يعد اكتشاف حالة خطرة أو سلوك الركاب على السلم المتحرك تحديًا لمصنعي السلالم المتحركة باستخدام مراقبة الفيديو في الوقت الفعلي ، مما قد يساعد المسؤولين في غرفة المراقبة الأمنية على التحكم في السلم المتحرك عن بُعد في اللحظة الطارئة. لم يتم حل هذه المشكلة بشكل فعال منذ اختراع السلم المتحرك قبل 120 عامًا. تقدم هذه الورقة بعض الأساليب العملية للتغلب على الصعوبات ، والتي تشمل هذين الجانبين:

1) اكتشف حالة أو سلوكًا خطيرًا للركاب ، مثل السقوط العرضي أو السير في الاتجاه المعاكس ، بناءً على تحليل الفيديو في الوقت الفعلي. لتحسين دقة الكشف ، تقدم هذه المقالة طريقة تحليل الفيديو في الوقت الفعلي التي تجمع بين خوارزمية التدفق البصري وخوارزمية التعلم العميق للصور.

2) استنادًا إلى تقنية السلامة الوظيفية ، استخدم زر إيقاف طوارئ واحد فقط في غرفة المراقبة الأمنية للتحكم في أي من السلالم المتحركة التي يتم فيها اكتشاف الحالة الخطرة للمعدات أو سلوك الركاب عن بُعد.

يوضح التشغيل الفعلي للنظام في محطات المترو أنه يمكنه اكتشاف ظروف المعدات الخطرة أو سلوك الركاب بدقة وثبات ، ويمكن للمسؤولين في غرف المراقبة الأمنية إيقاف السلم المتحرك بطريقة أكثر أمانًا وراحة. تظهر نتيجة التطبيق أن النظام المقترح يقدم قيمة كبيرة لصناعة المصاعد.

المقدمة

تستخدم السلالم المتحركة على نطاق واسع في النقل الرأسي للأشخاص في محطات مترو الأنفاق والسكك الحديدية الخفيفة والقطارات والمطارات والأرصفة ومراكز التسوق وما إلى ذلك.

In China, with the rapid development of urban subways, the use of escalators for subways has increased correspondingly. Take Shanghai Metro, the largest urban rail transit network in China, as an example: At the end of 2018, the total length of the network of Shanghai urban rail transit reached 705 km, ranking first in the world, and recorded 2.038 billion passenger trips in the year, ranking third.[1] The Shanghai Metro has more than 4,000 escalators, which carry more than 30 million passengers a day and bear more than 50% of Shanghai's public-transportation capacity.^[2]

نظرًا للتلامس الحتمي بين الأجزاء المتحركة والركاب ، فإن الإصابات على السلالم المتحركة تمثل أكثر من 60٪ من إجمالي عدد إصابات ركاب النقل بالسكك الحديدية: حتى 80 إصابة في الشهر.^[3] وفقًا للإحصاءات ، تمثل السقوط حوالي 75٪ من جميع أنواع إصابات ركاب السلم المتحرك.^[4] لذلك ، فإن اكتشاف السقوط على السلم المتحرك فور حدوثه ، وإيقاف المصعد عن بُعد وبأمان من قبل طاقم العمل في غرفة التحكم ، يمكن أن يساعد في منع حدوث إصابات شخصية كبيرة. يمكن أن يتسبب السلم المتحرك في التدحرج المستمر للركاب الذين سقطوا ، وهي مشكلة ملحة يجب حلها في إدارة التشغيل اليومية للسلالم المتحركة.

طرق

تحليل الفيديو في الوقت الحقيقي

يمكن لأنظمة الكشف عن السلالم المتحركة الحالية فقط اكتشاف تشغيل الآلات التقليدية ، لذا فإن مراقبة سلوك الركاب تعتمد بشكل أساسي على المراقبة بالفيديو مع المشاهدة اليدوية في الوقت الفعلي. بسبب التوزيع الواسع للسلالم المتحركة ، والعدد الكبير الذي يجب مراقبته ونقص الموظفين الكافيين لتنفيذ المراقبة في الوقت الفعلي ، لا يمكن لأنظمة المراقبة بالفيديو عادةً إلا أن تلعب دور التتبع السلبي بعد وقوع الحادث.

مع تطور تقنية التعرف على الصور بالذكاء الاصطناعي ، يزدهر البحث المرتبط بتحليل الفيديو في الوقت الفعلي لسلوك ركاب السلم المتحرك. على سبيل المثال ، بناءً على Openpose^[5] key point detection algorithm to obtain the human body structure, and the use of the support vector machine (SVM) classifier to realize the detection and alarm of the pedestrian fall phenomenon in the picture,[6] the defect of the algorithm is that it is necessary to detect the key point of the human body, which is easily blocked by the rear passenger or object, and when classifying the human body posture by the SVM, it is difficult to complete the accurate discrimination. The algorithm is based on the human skeleton sequence of the escalator abnormal behavior recognition algorithm. The algorithm firstly detects the passenger's face by using the SVM, which combines the features of the deformable component model and tracks the passenger's motion in the escalator with an improved kernel correlation filter. Then, the human skeleton sequence of the passenger is extracted by using the convolution neural network, and the abnormal behavior sequence is detected from the passenger skeleton sequence by template-matching. Finally, the algorithm uses the dynamic time-regularization to identify the abnormal behavior sequence based on the five-nearest-neighbor method. The optical flow-tracking algorithm and the human object are tracked to define the related abnormal behavior, and the abnormal behavior detection is carried out.^[7] تحدد هذه الخوارزمية فقط السقوط من خلال تتبع التدفق البصري ، ويكون معدل سوء التقدير مرتفعًا.

لتحقيق دقة عالية ومعدل سوء تقدير منخفض وطريقة فيديو في الوقت الفعلي منخفضة التكلفة لاكتشاف سقوط الركاب على السلم المتحرك ، تقترح هذه الورقة طريقة لاستخراج اتجاه حركة الركاب أولاً بناءً على طريقة التدفق البصري الكثيف ، ثم قم بتجميع القيم الذاتية للمعلومات لكل اتجاه حركة كتلة فرعية وسرعة وتسريع وما إلى ذلك في الكتلة التي تتوافق مع نقاط البكسل في اتجاه الحركة ، ثم استخدم مصنف SVM لتصنيف القيم الذاتية للمصفوفة في مستمر من 1 إلى 2 ثانية لتحديد ما إذا كان المشاة في الصورة طبيعيًا أم أنه يسير في الاتجاه المعاكس أم يسقط.

عملية الحساب على النحو التالي:

1. الحصول على أول صورة إطار تم الكشف عنها بواسطة طريقة التدفق البصري
2. احصل على صورة الإطار الثانية كصورة الإطار الحالية التي تم اكتشافها بواسطة طريقة التدفق البصري
3. يتم حساب اتجاه الحركة والإزاحة لكل بكسل في الصورة بطريقة التدفق الضوئي الكثيف.
4. احسب مساحة الكتلة المتحركة وسرعة الكتلة المتحركة باستخدام السلم المتحرك في الخطوة الثالثة لمسافة الإزاحة في مخطط التدفق البصري ، وتعني السرعة والتباين.
5. تخزين النتائج المحسوبة للخطوة 4 مؤقتًا كمتجه للميزات لهذا الإطار.
6. كرر الخطوات 2 ، 3 ، 4 ، 5 باستخدام الإطار الحالي كإطار أول للكشف.
7. للحكم على عدد الإطارات مع منطقة كتلة حركة الإطار N الحالية للإطار السابق> MIN_S ، عندما يكون عدد الإطارات> K ، يُشتبه في أن الحكم الأولي هو سقوط أو حركة عكسية.
8. تم إدخال مصفوفة الميزة المكونة من إطارات N في مصنف SVM من أجل التصنيف لتحديد ما إذا كان السقوط أو السير العكسي أو الإنذار الخاطئ.

إنشاء الميزات وخوارزميات محددة للتدريب:

إنشاء ميزة إطار واحد:

• وفقًا لحساب التدفق البصري ، يتم الحصول على خرائط الإزاحة لاتجاه x واتجاه y للصورة على التوالي:

يجب أن يكون الإزاحة إلى أسفل أكبر من الإزاحة اليسرى واليمنى وفقًا لخصائص حركة التراجع والسقوط للسلالم المتحركة. احصل على صورة قناع كتلة الحركة من خريطة الإزاحة أعلاه:

• استخراج مساحة الكتل المتحركة:

العملية المفتوحة لصورة القناع ؛ حساب القناع m_ij = 1 احسب مساحة المجال المتصل مثل S.

حساب متوسط ​​سرعة الإزاحة العمودية

احسب متوسط ​​السرعة للكتلة المتحركة وفقًا لقناع خريطة قناع كتلة الحركة ، وخريطة الإزاحة في الاتجاه y.

• حساب فرق السرعة ، بناءً على متوسط ​​السرعة المحسوبة في الخطوة 3 للحصول على فرق السرعة:

مزيج من 25 إطارًا من ميزات الإطار الفردي:

المتجه المميز لـ 25 إطارًا متتاليًا هو 25 * 3 = 75 قيمًا ذاتية.

• العناصر في المجموعات الثلاث من المتجهات في F مرتبة ترتيبًا تصاعديًا على التوالي للحصول على.
• اجمع نواقل الميزات في كل حالة لتدريب مصنف SVM.
• Save the classifier's training results for subsequent classification use.

أوقف السلالم المتحركة عن بعد

منذ أن تم اختراعه منذ أكثر من 120 عامًا ، يتم تشغيل وضع السلالم المتحركة بالكامل ، ولم تنجح ممارسة محاولة التشغيل عن بُعد من قبل شركات مترو الأنفاق. عندما تكون هناك حالة طوارئ في مكان الحادث (سقوط الراكب على السلم المتحرك ، أو الازدحام عند مخرج السلم المتحرك ، وما إلى ذلك) ، يمكن أن يعتمد الموقف فقط على أفراد الموقع الذين يجدون عملية الطوارئ في الموقع. لضمان سلامة العملية ، ترسل بعض شركات تشغيل مترو الأنفاق المزيد من الموظفين خلال فترات الذروة والتدخل في حالات الطوارئ.

• في مترو أنفاق موسكو (الشكل 1) ، بجانب السلالم المتحركة ، تم إنشاء صندوق حماية ومشغل في الخدمة. يراقب المشغل السلالم المتحركة ويدفع مفتاح إيقاف الطوارئ فورًا في حالة الطوارئ.
• الجزء المحلي MTR Corporation (الصين ، الشكل 2): في ساعة الذروة من الخطر ، يكون الموظفون المؤقتون في الخدمة ؛ في حالة حدوث حالة طارئة ، يبدأ الموظفون المناوبون في إيقاف الطوارئ للتدخل.

• الجزء المحلي MTR Corporation (الصين ، الشكل 2): في ساعة الذروة من الخطر ، يكون الموظفون المؤقتون في الخدمة ؛ في حالة حدوث حالة طارئة ، يبدأ الموظفون المناوبون في إيقاف الطوارئ للتدخل.

إذا تمكنا من تحقيق التحكم عن بعد في السلالم المتحركة في غرفة مراقبة موظفي الأمن ، خاصة مع الوعي الذكي والتحكم الآمن عن بعد في أحداث الطوارئ ، فسوف يؤدي ذلك إلى تسريع الاستجابة للطوارئ بشكل كبير وتقليل الإصابات الشخصية. ولكن ، كمعدات متخصصة ، يجب أن يتوافق التحكم عن بعد في السلالم المتحركة بشكل صارم مع المعايير واللوائح الأمنية. خلاف ذلك ، إذا كان هناك عيب في البرنامج أو فشل في المكونات أو مشكلة في التوافق الكهرومغناطيسي ، فستفشل الاستجابة عن بعد في تنفيذ إيقاف الطوارئ بشكل صحيح ، أو تتسبب في توقف الطوارئ بشكل غير صحيح ، مما سيؤدي إلى موقف أكثر خطورة. يجب أن يكون جهاز إيقاف الطوارئ جهاز أمان كهربائي متوافق مع EN115-1: 2008 + A1: 2010 5.12.1.2 ، أي: قد يتكون من أ) إما مفتاح أمان واحد أو أكثر ، أو ب) دائرة أمان (آمنة من الأعطال الدائرة) ، أو ج) النظام المرتبط بالسلامة الإلكترونية القابل للبرمجة (PESSRAE).

Currently, the world's response strategy is like type A, with a physical emergency-stop button for each escalator that conforms to the electrical safety device (EN115-1:2008+A1:2010 5.12.1.2). Operators manually press the corresponding physical emergency-stop button (Figure 3) to stop the escalator remotely in the event of a passenger fall.

هذا النهج له العيوب التالية:

• It's not easy to find accurate buttons in an emergency.
• When the operation error causes further injury, the operator should bear the corresponding safety responsibility, so that the operator is not willing to use it, or wouldn't dare use it.^[8]

تقترح هذه الورقة طريقة آمنة ومريحة لإيقاف السلالم المتحركة عن بُعد (أي الوضع C). يضغط المشغلون على زر إيقاف فعلي واحد فقط لقطع دائرة الأمان وإيقاف السلم المتحرك - الذي يحدث فيه الحدث الخطير - من خلال التحكم في خادم تحليل الفيديو ومكونات جهاز التحكم عن بُعد (التي اجتازت شهادة أمان PESSRAE وتحصل على شهادة اختبار النوع ؛ الشكل 4 ).

إجراءات التشغيل هي كما يلي:

1. يحافظ خادم تحليل الفيديو ومكونات جهاز التحكم عن بعد على معلومات السلم المتحرك عند اكتشاف أن أحد الركاب في حالة خطرة على السلم المتحرك ؛
2. تعرض الشاشة في غرفة المراقبة الأمنية فيديو مقابلًا في الوقت الفعلي وفقًا للمعلومات المحفوظة في خادم تحليل الفيديو ومكونات جهاز التحكم عن بُعد ؛
3. يؤكد المشغل يدويًا أن معلومات السلم المتحرك متسقة ويضغط على زر التوقف الفعلي إذا كانت هناك ظروف خطيرة على السلم المتحرك في الفيديو ؛
4. يقوم خادم التحليل بالفيديو ومكونات جهاز التحكم عن بعد بقطع دائرة الأمان المقابلة للسلالم المتحركة لإيقاف السلم المتحرك.

النتائج

يعمل نظام مراقبة الفيديو والتحكم عن بعد في الوقت الفعلي ، والذي يتضمن ما مجموعه ثماني كاميرات تتوافق مع 19 سلمًا متحركًا ، من أغسطس 2018 إلى أكتوبر 2019 في محطة مترو شنغهاي هانتشونج رود.

1. تم التقاط:
   1. سقوط 32 ركاب (تم التقاط جميع حوادث سقوط الركاب بنجاح)
   2. 738 فعالية للمشي العكسي للركاب
2. تحقيق جهاز التحكم عن بعد للسلامة:
   1. يتم منع حدوث المزيد من الإصابات الشخصية للراكب بشكل فعال ، كما تم تحسين السلامة بشكل كبير.

خذ حالة حدثت في الساعة 3:20 مساءً في 17 أغسطس 2018 ، كمثال على سلم متحرك صاعد في محطة مترو شنغهاي هانتشونغ رود. في هذه الحالة ، تسقط امرأة مسنة بسبب فشلها في الإمساك بالدرابزين. يتم إبلاغ العامل في غرفة المراقبة الأمنية عن طريق الشاشة ويضغط على زر الطوارئ الفعلي لإيقاف السلم المتحرك على الفور ، كما هو موضح في الشكلين 5 و 6. الوقت 14 ثانية من وقت السقوط حتى توقف السلم المتحرك ؛ الوقت هو 26 ثانية من وقت السقوط حتى وصول المحامي في المحطة إلى السلم الكهربائي.

أظهرت النتائج أن النظام يتمتع بدقة عالية ومعدل سوء تقدير منخفض ، كما أن السلم المتحرك الذي يتم إيقافه عن بُعد آمن ومريح. إنه يوفر آفاق تطبيق واسعة في صناعة المصاعد في جميع أنحاء العالم.

مراجع حسابات

[1] ليو تشونجي. "البحث والممارسة في Shanghai Smart Subway [J]." أبحاث النقل بالسكك الحديدية في المناطق الحضرية ، 2019 (6): 1-6
[2] ليو تشونجي. "ابتكار وممارسة التحكم الذكي في سلم نقل السكك الحديدية بشنغهاي [J]." هندسة البلديات الصينية ، 2019 (06): 1-3 + 100.
[3] Long و Sijin و Lu و Jian و Xing و Yingying وآخرون. "تحليل الإصابات المتعلقة بالسلالم المتحركة في محطات المترو في الصين ، 2013-2015 [J]." تحليل الحوادث والوقاية منها ، 2019 ، 122 (يناير): 332-341.
[4] Filippone، J.، Feldman، JD، Schloss، RD and Cooper، DA (2002). "أعمال التقاضي وإعادة بناء حوادث المصاعد والسلالم المتحركة ،" شركة المحامين والقضاة للنشر ، Inc.
[5] إم أندريلوكا ، إس. روث ، وبي. شييل. "تقدير الوضع أحادي العدسة ثلاثي الأبعاد وتتبعه عن طريق الكشف." CVPR ، 3.
[6] تشين دونغ. "تطوير برمجيات نظام مراقبة سلامة المشاة للسلالم الكهربائية بناءً على تحليل الفيديو [D]." جامعة تشجيانغ ، 2019.
[7] تيان Lianfang ، وو Qichao ، و du Qiliang ، و Huang Liguang ، و Li Miao ، و Zhang Daming. "تحديد السلوك غير الطبيعي لركاب المصعد المتحرك بناءً على تسلسل الهيكل العظمي البشري [J]." مجلة جامعة جنوب الصين للتكنولوجيا (العلوم الطبيعية) ، 2019 ، 47 (04): 10-19.
[8] يانغ جوانباو. "توفير الطاقة في السلالم المتحركة ونظام المراقبة الذكي القائم على الرؤية البانورامية [D]." جامعة تشجيانغ للتكنولوجيا ، 2011.
[9] هي تشنغ. "التعرف على الصور بالذكاء الاصطناعي ونظام الإشراف والتحكم الوظيفي القائم على السلامة الوظيفية للسلالم المتحركة ولوائح السلامة ذات الصلة [J]." مصعد الصين ، 2019 ، (15): 6-8.