自动扶梯是造成公共交通乘客受伤的主要原因，其中跌倒最为常见。为了实时检测危险的设备状态和乘客行为，本文提出了一种结合密集光流提取运动方向和块级特征，并利用深度学习和支持向量机（SVM）对25帧特征矩阵进行分类的组合方法，能够高精度、低误报地识别跌倒和逆行行为。为了安全干预，本文采用了一种符合功能安全标准的远程控制架构，只需在监控室内按下经认证的紧急停止按钮，即可在操作员确认后切断受影响扶梯的安全电路。在上海地铁的现场部署中，使用8个摄像头监控了19部自动扶梯，记录了32起跌倒事件和738起逆行事件，结果表明该方法具有快速停止（其中一次仅需14秒）、性能稳定和强大的行业适用性。
在这篇工程文章中，您的作者探索了提高安全性的方法。
by 烟台罗
关键词： 视频监控； 检测； 功能安全； 遥控
摘要：
自动扶梯是与安全相关的重型特种设备。 利用实时视频监控来检测扶梯上的危险状态或乘客的行为，帮助安防监控室的管理员在紧急情况下远程控制扶梯，对扶梯制造商来说是一个挑战。 自从120年前发明自动扶梯以来，这个问题一直没有得到有效解决。 本文提出了一些克服困难的实用方法，包括以下两个方面：
1) 基于实时视频分析，检测乘客的危险状态或行为，如意外跌倒、反方向行走等。 为提高检测精度，本文介绍了结合光流算法和图像深度学习算法的实时视频分析方法。
2）基于功能安全技术，在安全监控室仅使用一个急停按钮，即可远程控制任何一台自动检测设备危险状态或乘客行为的自动扶梯。
该系统在地铁站的实际运行表明，它可以准确、稳定地检测危险的设备状况或乘客的行为，安全监控室的管理员可以更安全、更方便地停止自动扶梯。 应用结果表明，所提出的系统为电梯行业提供了重要价值。
介绍
自动扶梯广泛用于地铁、轻轨、火车站、机场、码头、商场等场所的人员垂直运输。
在中国，随着城市地铁的快速发展，地铁自动扶梯的使用也相应增加。以中国最大的城市轨道交通网络——上海地铁为例：截至2018年底，上海城市轨道交通网络总里程达705公里，位居世界第一；年客运量达2.038亿人次，位居世界第三。[1] 上海地铁拥有4,000多部自动扶梯，日均客运量超过30万人次，承担了上海公共交通运力的50%以上。[2]
由于运动部件与乘客不可避免的接触，自动扶梯上的伤害占轨道交通乘客伤害总数的60%以上：每月高达80起。[3] 据统计，在各类自动扶梯乘客伤害中，跌倒约占75%。[4] 因此，在自动扶梯发生跌落时检测到，并由控制室的工作人员远程安全地停止自动扶梯，有助于防止重大人身伤害。 移动的自动扶梯会导致坠落的乘客不断滚动，这是自动扶梯日常运行管理中亟待解决的问题。
方法
实时视频分析
现有的自动扶梯检测系统只能检测传统机械的运行情况，因此对乘客行为的监控主要依靠视频监控和人工实时查看。 由于自动扶梯分布广泛，被监控的数量多，实时监控的人员不足，视频监控系统通常只能起到事故后被动追踪的作用。
随着人工智能图像识别技术的发展，自动扶梯乘客行为的实时视频分析相关研究正在蓬勃发展。 例如，基于 Openpose[5] 本文提出了一种基于关键点检测算法获取人体结构，并利用支持向量机（SVM）分类器实现图中行人跌倒现象检测报警的算法[6]。该算法的不足之处在于，需要检测人体关键点，而这些关键点容易被后方乘客或物体遮挡；此外，利用SVM对人体姿态进行分类时，难以实现精确判别。本文提出了一种基于自动扶梯异常行为识别的人体骨骼序列算法。该算法首先利用SVM检测乘客面部，结合可变形组件模型的特征，并采用改进的核相关滤波器跟踪乘客在自动扶梯中的运动。然后，利用卷积神经网络提取乘客的人体骨骼序列，并通过模板匹配从乘客骨骼序列中检测异常行为序列。最后，该算法采用动态时间正则化方法，基于五近邻算法识别异常行为序列。通过光流跟踪算法跟踪人体目标，确定相关的异常行为，并进行异常行为检测。[7] 该算法仅通过光流跟踪来判断fall，误判率较高。
为实现高精度、低误判率、低成本的实时视频检测乘客跌倒电梯的方法，本文提出了一种基于密集光流法首先提取乘客运动方向的方法。 ，然后将每个子块运动方向、速度、加速度等信息特征值分组在与运动方向的像素点一致的块中，然后使用SVM分类器对矩阵中的特征值进行分类连续1~2s判断图片中的行人是正常、逆行还是跌倒。
计算过程如下：
- 获取光流法检测到的第一帧图像
- 获取第二帧图像作为光流法检测到的当前帧图像
- 通过密集光流法计算图像中每个像素的运动方向和位移。
- 计算第三步光流图中移动块的面积和与自动扶梯移动块的速度、位移距离、平均速度和方差。
- 将步骤4的计算结果缓存为该帧的特征向量。
- 以当前帧为第一帧进行检测，重复步骤2、3、4、5。
- 判断当前预帧N帧运动块面积>MIN_S的帧数，当帧数>K时，初步判断怀疑是跌倒或逆行。
- 由N帧组成的特征矩阵输入SVM分类器进行分类，判断是跌倒、逆行还是误报。
特征生成和训练特定算法：
单帧特征生成：
- 根据光流计算，分别得到图像x方向和y方向的位移图：
根据自动扶梯的逆行和下落运动特性，向下位移应大于左右位移。 从上面的位移图中得到运动块掩码图像：
- 移动块的区域提取：
遮罩图像的打开操作； 计算掩码 mij = 1 计算连通域的面积为 S。
平均垂直位移速度的计算
根据运动块掩码图mask、y方向的位移图计算运动块的平均速度。
- 速度方差计算，根据步骤3计算的平均速度得到速度方差：
25帧单帧功能组合：
连续25帧的特征向量为25*3=75个特征值。
- F中三组向量中的元素分别按升序排列得到。
- 收集每种情况下的特征向量以进行 SVM 分类器训练。
- 保存分类器的训练结果以供后续分类使用。
远程停止自动扶梯
自120多年前发明以来，自动扶梯的运行方式都是就地运行，地铁公司尝试远程运行的做法一直没有成功。 当现场出现紧急情况（乘客跌倒扶梯、扶梯出口拥堵等）时，情况只能依靠现场人员发现现场应急操作。 为保障运营安全，部分地铁运营公司在高峰期增派人员，紧急介入。
- 在莫斯科地铁（图1），在自动扶梯的一侧，设置了警卫箱和值班人员。 操作员观察自动扶梯并在紧急情况下立即按下紧急停止开关。
- 国内部分港铁公司（中国，图2）：危险高峰时段，临时人员值班； 如果发生紧急情况，值班人员会发起紧急停止进行干预。
- 国内部分港铁公司（中国，图2）：危险高峰时段，临时人员值班； 如果发生紧急情况，值班人员会发起紧急停止进行干预。
如果能在安保人员监控室实现对自动扶梯的远程控制，尤其是对紧急事件的智能感知和安全、远程控制，将大大加快应急响应速度，减少人身伤害。 但是，作为特种设备，自动扶梯的远程控制必须严格符合安全标准和规定。 否则，如果存在软件缺陷、组件故障或电磁兼容问题，远程响应将无法正确执行紧急停止，或导致不正确的紧急停止，从而导致更危险的情况。 紧急停止装置应是符合 EN115-1:2008+A1:2010 5.12.1.2 的电气安全装置，即：它可以由 A) 一个或多个安全开关组成，或 B) 安全电路（故障安全电路），或 C) 可编程电子安全相关系统 (PESSRAE)。
目前，全球的应对策略类似于A类，即每部自动扶梯都配备符合电气安全装置标准（EN115-1:2008+A1:2010 5.12.1.2）的物理紧急停止按钮。当乘客跌倒时，操作人员手动按下相应的物理紧急停止按钮（图3）即可远程停止自动扶梯。
这种方法有以下缺点：
- 在紧急情况下找到合适的按钮并不容易。
- 当操作失误造成进一步伤害时，操作人员应承担相应的安全责任，因此操作人员不愿使用，或者不敢使用。[8]
本文提出了一种安全便捷的远程停止自动扶梯的方法（即模式C）。 操作人员只需按下一个实际停止按钮，即可通过视频分析服务器和远程控制组件（通过 PESSRAE 安全认证并获得型式测试证书；图 4）的控制来切断安全电路并停止发生危险事件的自动扶梯）。
操作程序如下：
- 视频分析服务器和远程控制组件在检测到乘客在自动扶梯上处于危险状态时保存自动扶梯信息；
- 安防监控室监视器根据视频分析服务器和远程控制组件中保存的信息显示相应的实时视频；
- 操作人员人工确认扶梯信息一致，视频中扶梯有危险情况按实际停止按钮；
- 视频分析服务器和遥控装置部件切断相应的自动扶梯安全电路，使自动扶梯停止运行。
功能验证
19年2018月至2019年XNUMX月在上海地铁汉中路站运行的实时视频监控和远程控制系统，共XNUMX个摄像头，对应XNUMX部自动扶梯。
- 成功捕获：
- 32名乘客坠落（已成功捕获所有乘客坠落）
- 738 名乘客逆行事件
- 实现安全遥控：
- 有效防止了乘客的进一步人身伤害，大大提高了安全性。
以3年20月17日下午2018点5分发生的一个案例为例，上海地铁汉中路站的一个向上运行的自动扶梯。 在这种情况下，一位年长的妇女因未能抓住扶手而摔倒。 安防监控室的操作人员接到监控器通知，按下实际紧急按钮立即停止扶梯，如图6和图14所示。从发生坠落到扶梯停止的时间为26秒； 从坠落到站内律师到达自动扶梯的时间为XNUMX秒。
结果表明，该系统准确率高，误判率低，遥控自动扶梯安全方便。 它在全球电梯行业具有广阔的应用前景。
案例
更多同类内容
每日新闻