自动扶梯实时视频监控及远程控制系统研究

自动扶梯实时视频监控及远程控制系统研究
图1:莫斯科地铁,长期值班人员

在这篇工程文章中,您的作者探索了提高安全性的方法。

关键词: 视频监控; 检测; 功能安全; 遥控

摘要: 自动扶梯是与安全相关的重型特种设备。 利用实时视频监控来检测扶梯上的危险状态或乘客的行为,帮助安防监控室的管理员在紧急情况下远程控制扶梯,对扶梯制造商来说是一个挑战。 自从120年前发明自动扶梯以来,这个问题一直没有得到有效解决。 本文提出了一些克服困难的实用方法,包括以下两个方面:

基于实时视频分析,检测乘客的危险状态或行为,如意外跌倒、反方向行走等。 为了提高检测的准确率,本文介绍了结合光流算法和图像深度学习算法的实时视频分析方法。

基于功能安全技术,在安全监控室,只需一个急停按钮,即可远程控制任何一台自动检测设备危险状态或乘客行为的自动扶梯。

该系统在地铁站的实际运行表明,它可以准确、稳定地检测危险的设备状况或乘客的行为,安全监控室的管理员可以更安全、更方便地停止自动扶梯。 应用结果表明,所提出的系统为电梯行业提供了重要价值。

介绍

自动扶梯广泛用于地铁、轻轨、火车站、机场、码头、商场等场所的人员垂直运输。在中国,随着城市地铁的快速发展,地铁自动扶梯的使用也相应增加。 以中国最大的城市轨道交通网络上海地铁为例:2018年底,上海城市轨道交通网络总长度达到705公里,位居世界第一,客运量2.038亿人次。在全年出游次数中,排名第三。[1] 上海地铁拥有4,000多部自动扶梯,日载客量超过30万人次,承担上海50%以上的公共交通运力。[2]

由于运动部件与乘客不可避免的接触,自动扶梯上的伤害占轨道交通乘客伤害总数的60%以上:每月高达80起。[3] 据统计,在各类自动扶梯乘客伤害中,跌倒约占75%。[4] 因此,在自动扶梯发生跌落时检测到,并由控制室的工作人员远程安全地停止自动扶梯,有助于防止重大人身伤害。 移动的自动扶梯会导致坠落的乘客不断滚动,这是自动扶梯日常运行管理中亟待解决的问题。

方法

实时视频分析

现有的自动扶梯检测系统只能检测传统机械的运行情况,因此对乘客行为的监控主要依靠视频监控和人工实时查看。 由于自动扶梯分布广泛,需要监控的数量多,实时监控的人员不足,视频监控系统通常只能起到事故后被动追踪的作用。

随着人工智能图像识别技术的发展,自动扶梯乘客行为的实时视频分析相关研究正在蓬勃发展。 例如,基于 Openpose[5] 关键点检测算法获取人体结构,利用支持向量机(SVM)分类器实现对图片中行人跌倒现象的检测和报警,[6] 该算法的缺陷是需要检测人体的关键点,容易被后排乘客或物体挡住,在用SVM对人体姿势进行分类时,难以完成准确的判别. 该算法基于自动扶梯异常行为识别算法的人体骨架序列。 该算法首先利用SVM检测乘客人脸,结合可变形构件模型的特点,利用改进的核相关滤波器跟踪乘客在扶梯内的运动。 然后,利用卷积神经网络提取乘客的人体骨骼序列,通过模板匹配从乘客骨骼序列中检测出异常行为序列。 最后,该算法基于五最近邻方法,使用动态时间正则化来识别异常行为序列。 光流跟踪算法和人体目标进行跟踪定义相关的异常行为,并进行异常行为检测。[7] 该算法仅通过光流跟踪来判断fall,误判率较高。

为实现高精度、低误判率、低成本、实时视频检测扶梯上乘客跌倒的方法,本文提出了一种基于密集光流先提取乘客运动方向的方法。方法,然后将符合运动方向像素点的块中每个子块运动方向、速度、加速度等信息特征值分组,然后使用SVM分类器对矩阵的特征值进行分类连续1到2秒判断图片中的行人是否正常、逆行或跌倒。

计算过程如下:

  1. 获取光流法检测到的第一帧图像。
  2. 获取第二帧图像作为光流法检测到的当前帧图像。
  3. 通过密集光流法计算图像中每个像素的运动方向和位移。
  4. 计算第三步光流图中移动块的面积和与自动扶梯移动块的速度、位移距离、平均速度和方差。
  5. 将步骤4的计算结果缓存为该帧的特征向量。
  6. 以当前帧为第一帧进行检测,重复步骤2、3、4、5。
  7. 判断当前预帧N帧运动块面积>MIN_S的帧数,当帧数>K时,初步判断怀疑是跌倒或逆行。
  8. 由N帧组成的特征矩阵输入SVM分类器进行分类,判断是跌倒、逆行还是误报。

特征生成和训练特定算法

单帧特征生成:

根据光流计算,分别得到图像x方向和y方向的位移图:

根据自动扶梯的逆行和下落运动特性,向下位移应大于左右位移。 从上面的位移图中得到运动块掩码图像:

什么时候 ; 什么时候 ; 什么时候 ; 什么时候 在其中 否则 .

2)移动块的区域提取:

遮罩图像的打开操作; 计算蒙版中的蒙版图像 ,计算连通域的面积为 S。

平均垂直位移速度的计算

根据运动块掩码图mask、y方向的位移图计算运动块的平均速度。

  3)速度方差计算,根据步骤3计算的平均速度得到速度方差:

25帧单帧功能组合:

连续25帧的特征向量为25*3=75个特征值。

  • F中三组向量的元素分别按升序排列得到 .
  • 收集特征向量 在每种情况下用于 SVM 分类器训练。
  • 保存分类器的训练结果供后续分类使用。

远程停止自动扶梯

自120多年前发明以来,自动扶梯的运行方式都是就地运行,地铁公司尝试远程运行的做法一直没有成功。 当现场出现紧急情况(乘客跌倒扶梯、扶梯出口拥堵等)时,情况只能依靠现场人员发现现场应急操作。 为保障运营安全,部分地铁运营公司在高峰期增派人员,紧急介入。

  • 在莫斯科地铁(图1),在自动扶梯的一侧,设置了警卫箱和值班人员。 操作员观察自动扶梯并在紧急情况下立即按下紧急停止开关。
  • 国内部分港铁公司(中国,图2):危险高峰时段,临时人员值班; 如果发生紧急情况,值班人员会发起紧急停止进行干预。

如果能在安保人员监控室实现对自动扶梯的远程控制,尤其是对紧急事件的智能感知和安全、远程控制,将大大加快应急响应速度,减少人身伤害。 但是,作为特种设备,自动扶梯的远程控制必须严格符合安全标准和规定。 否则,如果存在软件缺陷、组件故障或电磁兼容问题,远程响应将无法正确执行紧急停止,或导致不正确的紧急停止,从而导致更危险的情况。 紧急停止装置应是符合 EN115-1:2008+A1:2010 5.12.1.2 的电气安全装置,即:它可以由 A) 一个或多个安全开关组成,或 B) 安全电路(故障安全电路),或 C) 可编程电子安全相关系统 (PESSRAE)。

图2:左图,中国高峰时段临时看扶梯的人员; 右侧特写

目前,世界上的响应策略是A型,每个自动扶梯都有一个物理急停按钮,符合电气安全装置(EN115-1:2008+A1:2010 5.12.1.2)。 操作员手动按下相应的物理紧急停止按钮(图 3),以在乘客坠落时远程停止自动扶梯。

图 3:每个自动扶梯一个实际的停止按钮
图 4:监视器屏幕和实际的停止按钮

这种方法有以下缺点:

  • 在紧急情况下找到准确的按钮并不容易。
  • 当操作失误造成进一步伤害时,操作者应承担相应的安全责任,使操作者不愿意使用或不敢使用。[8]
图5:自动扶梯乘客跌落检测与远程停止
图6:站内律师到达自动扶梯

本文提出了一种安全便捷的远程停止自动扶梯的方法(即模式C)。 操作人员只需按下一个实际停止按钮,即可通过视频分析服务器和远程控制组件(通过 PESSRAE 安全认证并获得型式测试证书;图 4)的控制来切断安全电路并停止发生危险事件的自动扶梯)。

操作程序如下:

  1. 视频分析服务器和远程控制组件在检测到乘客在自动扶梯上处于危险状态时保存自动扶梯信息;
  2. 安防监控室监视器根据视频分析服务器和远程控制组件中保存的信息显示相应的实时视频;
  3. 操作人员人工确认扶梯信息一致,视频中扶梯有危险情况按实际停止按钮;
  4. 视频分析服务器和遥控装置部件切断相应的自动扶梯安全电路,使自动扶梯停止运行。

成果

19年2018月至2019年XNUMX月在上海地铁汉中路站运行的实时视频监控和远程控制系统,共XNUMX个摄像头,对应XNUMX部自动扶梯。

  1. 成功捕获:

    • 32 名乘客坠落(所有乘客坠落均已成功捕获)
    • 738 名乘客反向行走事件
  2. 实现安全遥控:

    • 有效防止了乘客的进一步人身伤害,大大提高了安全性。

以3年20月17日下午2018点5分发生的一个案例为例,上海地铁汉中路站的一个向上运行的自动扶梯。 在这种情况下,一位年长的妇女因未能抓住扶手而摔倒。 安防监控室的操作人员接到监控器通知,按下实际紧急按钮立即停止扶梯,如图6和图14所示。从发生坠落到扶梯停止的时间为26秒; 从坠落到站内律师到达自动扶梯的时间为XNUMX秒。

结果表明,该系统准确率高,误判率低,遥控自动扶梯安全方便。 它在全球电梯行业具有广阔的应用前景。


参考资料

[1] 刘春杰。 上海智慧地铁研究与实践[J]. 城市轨道交通研究,2019(6):1-6。

[2] 刘春杰。 上海轨道交通自动扶梯智能控制创新与实践[J]. 中国市政工程, 2019 (06): 1-3+100.

[3] 龙、司金、陆、健、邢、莹莹等。 2013-2015年中国地铁站自动扶梯相关伤害分析[J]. 事故分析与预防,2019,122(一月):332-341。

[4] Filippone, J.、Feldman, JD、Schloss, RD 和 Cooper, DA(2002 年)。 “电梯和自动扶梯事故重建和诉讼”,Lawyers & Judges Publishing Company, Inc.

[5] M. Andriluka、S. Roth 和 B. Schiele。 “通过检测进行单目 3D 姿态估计和跟踪。” CVPR,2010 年。

[6] 陈东。 基于视频分析的电动扶梯行人安全监控系统软件开发[D]. 浙江大学,2019。

[7] 田连芳、吴启超、杜启良、黄立光、李淼、张大明。 基于人体骨骼序列的电梯步行乘客异常行为识别[J]. 华南理工大学学报(自然科学版), 2019, 47 (04): 10-19.

[8] 杨冠宝。 基于全景视觉的扶梯节能与智能监控系统[D]. 浙江工业大学,2011.

[9] 贺诚。 “基于人工智能图像识别和功能安全的自动扶梯监控系统及相关安全法规[J].” 中国电梯, 2019, (15): 6-8.

罗烟台在日本上海三菱电梯公司工作。

获得更多 Elevator World. 注册我们的免费电子通讯。

请输入一个有效的电子邮件地址。
出了些问题。 请检查您的输入,然后重试。
实时结果的智能平台

实时结果的智能平台

勒阿弗尔的蒙莫朗西自动扶梯

勒阿弗尔的蒙莫朗西自动扶梯

在柏林 Friedrichshain-Kreuzberg 的 EDGE

在柏林 Friedrichshain-Kreuzberg 的 EDGE

第 12 届电梯和自动扶梯技术研讨会

第十二届电梯和自动扶梯技术研讨会

行业迎接电梯专家日

行业相聚“电梯专家日”

VT产业链

VT产业链

旧楼梯,“新”台阶

旧楼梯,“新”台阶

NEII 2021 年回顾

NEII 2021 年回顾