一种电梯视频防夹方法及电梯视频监控装置与流程
本发明属于电梯视频监控领域，尤其涉及一种电梯视频防夹方法及电梯视频监控装置。
背景技术：
现在的电梯一般采用“红外光幕”来检测电梯门之间是否有障碍物，电梯光幕是一种光线式电梯门安全保护装置，适用于客梯、货梯。电梯门一侧安装有红外发射器，另一侧安装有红外接收器，红外发射器内具有的红外发射管，配合红外接收器可实现自上而下连续扫描轿门区域，若有一束光被挡住，控制系统则会发出开门信号。虽然电梯光幕能够发现大多数的障碍物，但依旧是有感应盲区存在的，经常会发生电梯夹人夹物的事故。例如，电梯关门时乘客伸手或伸腿可能会被夹；牵宠物进电梯也会发生电梯门夹住宠物绳的事故；乘客为了让电梯门暂时不关闭，在电梯门区域放置矿泉水瓶之类的障碍物而引发电梯夹物的事故，因此，需要一种能够有效避免此类事故的新方案。
技术实现要素：
本发明的目的在于提供一种电梯视频防夹方法及电梯视频监控装置，除了能够有效避免电梯事故，还能通过智能视频算法来控制电梯门的动作，有助于提升乘客的乘梯体验，减少乘客等待时间，提高电梯的整体运行效率。
本发明提供了一种视频防夹方法，包括：
步骤一：在接收到电梯开门到位的信号时，从电梯轿厢内分别采集电梯门方向的rgb图像及深度图像；
步骤二：在接收到电梯门以外存在其他物体的信号时，将所述rgb图像与深度图像融合为具有深度信息的电梯门融合图像，并将所述电梯门融合图像分别与第一参考图像、第二参考图像进行对比，判断电梯门以外存在的其他物体是否为障碍物：
若所述电梯门融合图像所有像素点的灰度都介于第一参考图像、第二参考图像对应像素点的灰度之间，则判断所述电梯门外存在的其它物体为障碍物；
其中，所述第一参考图像为电梯处于完全开启状态下电梯门外侧封闭面的融合图像，所述第二参考图像为电梯处于完全关闭状态下电梯门内侧的融合图像。
进一步地，所述步骤二还包括：
基于神经网络模型识别采集的rgb图像，判断电梯门外是否存在其他物体，若是，则生成电梯门以外存在其他物体的信号。
进一步地，所述步骤二还包括：
假设第一参考图像灰度值l(i)小于第二参考图像灰度值r(i)，若所述电梯门融合图像所有像素点的灰度值d(i)都小于r(i)，有一部分d(i)大于l(i)，有一部分d(i)小于l(i)，则连续获取两组rgb图像及深度图像，融合成两张电梯门融合图像，并通过下式估计物体的平均运动速度
其中，
计算物体的安全平均速度
其中，dmin是由连续获取的两组rgb图像及深度图像中后一组图像所融合的电梯门融合图像像素点中距离电梯门内侧最近的距离，dmin大于0且小于电梯门的厚度，t为电梯门从开门状态到关闭状态所需要的时间，λ是安全放大系数，λ大于1；
当物体的平均运动速度
进一步地，所述步骤二还包括：
向云服务器发送电梯轿厢内的图像信息；以及
从云服务器获取最新的神经网络模型和图像融合算法。
进一步地，所述视频防夹方法还包括：
当判断所述电梯门外存在的其它物体为障碍物时，发出语音报警；
根据障碍物判断结果向电梯控制装置发送开门信号、禁止关门信号或即刻关闭信号。
本发明还提供了一种电梯视频监控装置，包括：
视频采集模块，用于在接收到电梯开门到位的信号时，从电梯轿厢内分别采集电梯门方向的rgb图像及深度图像；
嵌入式控制模块，用于在接收到电梯门以外存在其他物体的信号时，将所述rgb图像与深度图像融合为具有深度信息的电梯门融合图像，并将所述电梯门融合图像分别与第一参考图像、第二参考图像进行对比，判断电梯门以外存在的其他物体是否为障碍物：
若所述电梯门融合图像所有像素点的灰度都介于第一参考图像、第二参考图像对应像素点的灰度之间，则判断所述电梯门外存在的其它物体为障碍物；
其中，所述第一参考图像为电梯处于完全开启状态下电梯门外侧封闭面的融合图像，所述第二参考图像为电梯处于完全关闭状态下电梯门内侧的融合图像。
进一步地，所述嵌入式控制模块还基于神经网络模型识别采集的rgb图像，判断电梯门外是否存在其他物体，若是，则生成电梯门以外存在其他物体的信号。
进一步地，所述嵌入式控制模块假设第一参考图像灰度值l(i)小于第二参考图像灰度值r(i)，若所述电梯门融合图像所有像素点的灰度值d(i)都小于r(i)，有一部分d(i)大于l(i)，有一部分d(i)小于l(i)，则连续获取两组rgb图像及深度图像，融合成两张电梯门融合图像，并通过下式估计物体的平均运动速度
其中，
计算物体的安全平均速度
其中，dmin是由连续获取的两组rgb图像及深度图像中后一组图像所融合的电梯门融合图像像素点中距离电梯门外侧最近的距离，dmin大于0且小于电梯门的厚度，t为电梯门从开门状态到关闭状态所需要的时间，λ是安全放大系数，λ大于1；以及
当物体的平均运动速度
进一步地，所述嵌入式控制模块向云服务器发送电梯轿厢内的图像信息；以及
从云服务器获取最新的神经网络模型和图像融合算法。
进一步地，所述电梯视频监控装置还包括：
语音报警模块，用于当判断所述电梯门外存在的其它物体为障碍物时，发出语音报警；
数据传输模块，用于根据障碍物判断结果向电梯控制装置发送开门信号、禁止关门信号或即刻关闭信号。
与现有技术相比本发明的有益效果是：能检查到各种死角，从而避免电梯夹人夹物事件的发生。
附图说明
图1是本发明一种电梯视频监控装置相机安装位置示意图；
图2是本发明一种电梯视频监控装置的结构示意图；
图3是本发明一种电梯视频监控装置嵌入式控制模块的示意图；
图4是本发明一种视频防夹方法的原理图。
具体实施方式
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
本实施例提供了一种电梯视频防夹方法，包括：
步骤一：在接收到电梯开门到位的信号时，从电梯轿厢内分别采集电梯门方向的rgb图像及深度图像；
步骤二：在接收到电梯门以外存在其他物体的信号时，将rgb图像与深度图像融合为具有深度信息的电梯门融合图像，并将电梯门融合图像分别与第一参考图像、第二参考图像进行对比，判断电梯门以外存在的其他物体是否为障碍物：
若电梯门融合图像所有像素点的灰度都介于第一参考图像、第二参考图像对应像素点的灰度之间，则判断电梯门外存在的其它物体为障碍物；
其中，第一参考图像为电梯处于完全开启状态下电梯门外侧封闭面的融合图像，第二参考图像为电梯处于完全关闭状态下电梯门内侧的融合图像。
本实施例提供的电梯视频防夹方法，能够把电梯夹人夹物事故的发生率降到最低，以提升电梯的安全性。
在本实施例中，步骤二还包括：
基于神经网络模型识别采集的rgb图像，判断电梯门外是否存在其他物体，若是，则生成电梯门以外存在其他物体的信号。
在本实施例中，步骤二还包括：
假设第一参考图像灰度值l(i)小于第二参考图像灰度值r(i)，若所述电梯门融合图像所有像素点的灰度值d(i)都小于r(i)，有一部分d(i)大于l(i)，有一部分d(i)小于l(i)，则连续获取两组rgb图像及深度图像，融合成两张电梯门融合图像，并通过下式估计物体的平均运动速度
其中，
计算物体的安全平均速度
其中，dmin是由连续获取的两组rgb图像及深度图像中后一组图像所融合的电梯门融合图像像素点中距离电梯门内侧最近的距离，dmin大于0且小于电梯门的厚度，t为电梯门从开门状态到关闭状态所需要的时间，λ是安全放大系数，λ大于1；
当物体的平均运动速度
在本实施例中，步骤二还包括：
向云服务器发送电梯轿厢内的图像信息；以及
从云服务器获取最新的神经网络模型和图像融合算法。
在本实施例中，该电梯视频防夹方法还包括：
当判断所述电梯门外存在的其它物体为障碍物时，发出语音报警；
根据障碍物判断结果向电梯控制装置发送开门信号、禁止关门信号或即刻关闭信号。
本实施例还提供了一种电梯视频监控装置，包括：
视频采集模块，用于在接收到电梯开门到位的信号时，从电梯轿厢内分别采集电梯门方向的rgb图像及深度图像；
嵌入式控制模块，用于在接收到电梯门以外存在其他物体的信号时，将rgb图像与深度图像融合为具有深度信息的电梯门融合图像，并将电梯门融合图像分别与第一参考图像、第二参考图像进行对比，判断电梯门以外存在的其他物体是否为障碍物：
若电梯门融合图像所有像素点的灰度都介于第一参考图像、第二参考图像对应像素点的灰度之间，则判断电梯门外存在的其它物体为障碍物；
其中，第一参考图像为电梯处于完全开启状态下电梯门外侧封闭面的融合图像，第二参考图像为电梯处于完全关闭状态下电梯门内侧的融合图像。
本实施例提供的电梯视频监控装置，能够把电梯夹人夹物事故的发生率降到最低，以提升电梯的安全性。
在本实施例中，嵌入式控制模块还基于神经网络模型识别采集的rgb图像，判断电梯门外是否存在其他物体，若是，生成电梯门以外存在其他物体的信号。
在本实施例中，嵌入式控制模块假设第一参考图像灰度值l(i)小于第二参考图像灰度值r(i)，若电梯门融合图像所有像素点的灰度值d(i)都小于r(i)，有一部分d(i)大于l(i)，有一部分d(i)小于l(i)，则连续获取两组rgb图像及深度图像，融合成两张电梯门融合图像，并通过下式估计物体的平均运动速度
其中，
计算物体的安全平均速度
其中，dmin是由连续获取的两组rgb图像及深度图像中后一组图像所融合的电梯门融合图像像素点中距离电梯门内侧最近的距离，dmin大于0且小于电梯门的厚度，t为电梯门从开门状态到关闭状态所需要的时间，λ是安全放大系数，λ大于1；以及
当物体的平均运动速度
在本实施例中，嵌入式控制模块向云服务器发送电梯轿厢内的图像信息；以及
从云服务器获取最新的神经网络模型和图像融合算法。
在本实施例中，电梯视频监控装置还包括：
语音报警模块，用于当判断所述电梯门外存在的其它物体为障碍物时，发出语音报警；
数据传输模块，用于根据障碍物判断结果向电梯控制装置发送开门信号、禁止关门信号或即刻关闭信号。
下面对本发明作进一步详细说明。
如图1、图3所示，在电梯轿厢内建立如图1所示的坐标系，rgb照相机12和深度照相机11都采用广角镜头，并安装在电梯轿厢的正中间，rgb照相机12和深度照相机11通过一个固定装置，紧密固定在一起，且两个照相机的拍摄角度保持平行。
如图2所示，电梯视频监控装置包括嵌入式控制模块1、视频采集模块2、本地存储模块3、数据传输模块4及语音报警模块5。
嵌入式控制模块1用于通过相机接收电梯轿厢内的图像数据、进行相应的图像分析处理工作(包括物体识别以及图像信息融合)、向控制柜发出电梯门有无障碍物的信号以及从云服务器更新相应的算法。
视频采集模块2与嵌入式控制模块1相连，通过rgb照相机12获取一般的图像数据，通过深度照相机11获取带有深度信息的图像，rgb照相机12应与深度照相机11尽量平行拍摄，且尽量靠近。
本地存储模块3用于存储神经网络模型，图像融合算法以及本地的视频监控画面。
数据传输模块4与嵌入式控制模块1相连，辅助嵌入式控制模块1与控制柜互相发送电梯数据，嵌入式控制模块1可向控制柜发送电梯门有无障碍物的信号，控制柜给予一定的反馈信息；另外，嵌入式控制模块1还能够通过4g网络从云服务器获取最新的神经网络模型以及最新的图像融合算法。
语音报警模块5与嵌入式控制模块1相连，用于发出警告信息，有利于制止乘客的不文明行为，有利于防止电梯夹人夹物事件的发生。
如图3所示，嵌入式控制模块1主要包括：arm芯片9、fpga(field-programmablegatearray，现场可编程门阵列)10、深度照相机11、rgb照相机12、4g模块13、sdcard14、sdram15、复位模块6、电源模块7、外部晶振8。
arm芯片9主要用于整个装置的逻辑管理，对整个视频监控装置的程序运行流程进行控制。arm芯片9跟fpga10的通信采用两种方式：spi和总线。当两者需要传输较大的数据量时，则采用总线方式，当两者之间的传输的数据量较小时，采用spi进行通信，以便于达到最合理地分配资源的目的。
fpga10与arm芯片9、rgb照相机12、深度照相机11相连，主要用于图像方面的相关计算。包括调用神经网络模型识别照片上电梯门之间的物体，利用图像融合算法进行rgb照片和深度照片的融合，并将完成融合后的图像的对比工作，判断电梯门内是否存在障碍物。
4g模块13用于跟云服务器建立socket网络连接，以便整个嵌入式控制模块1与云服务器进行相关的数据交互，嵌入式控制模块1可以向云服务器发送电梯轿厢内的视频信息以及从云服务器获取最新的神经网络模型和图像融合算法，以提升整个装置可靠性。
深度照相机11通过usb口与fpga10相连，主要用于拍摄轿厢内的深度照片，即用于测距，不同的距离的点在图像上的像素点的灰度值是不同的。rgb照相机12通过usb口与fpga10相连，主要用于拍摄轿厢内的rgb照片。
sdcard14主要用于存储轿厢内的视频信息。sdram15与arm芯片9通过总线相连，作为arm芯片9的内存，主要用于进行简单的计算。复位模块6可在装置调试、故障或者需要检修的时候使用。电源模块7主要用于嵌入式控制模块1的供电，为不同的芯片提供稳定可靠的电压。外部晶振8为arm芯片9提供本身不具备的振源。
如图4所示，应用上述电梯视频监控装置实现视频防夹的过程如下：
步骤1：进行装置的初始化。首先，用一块带有棋盘格的布进行深度相机校准。然后，手动控制电梯门完全开启并禁止关闭，先放置一块薄板，薄板略大于电梯门的开启空间，让薄板的一个面贴合电梯门的外侧，利用rgb照相机12和深度照相机11拍摄两张照片，并通过图像融合算法获得第一张融合图片。接着，关闭电梯门，同样通过两种相机拍摄并获得第二张融合图片。将两张融合图像存储在数据存储模块作为参照图片，该参照图片包含电梯轿厢门内外侧两个面上像素点的深度信息。在装置工作时可与新拍摄的融合图像进行对比。
步骤2：电梯运行阶段，一旦从电梯控制柜接收到电梯开门到位的信号，嵌入式控制模块1便发送指令给两个相机，rgb照相机12和深度照相机11在分别获取电梯门方向的图像后，各自将图像返回给嵌入式控制模块1。
步骤3：嵌入式控制模块1调用神经网络模型识别rgb照相机12所拍摄照片中的物体，判断除了电梯门以外是否有其他物体，若有其他物体则进行步骤4，若无其他物体，则进行步骤6。
步骤4：利用图像融合算法将两张照片融合为一张具有深度信息的照片，判断该物体是否为电梯门关门过程中的障碍物，若为障碍物则进行步骤5，若不是障碍物，则进行步骤6。
障碍物的判断过程如下：根据拍摄所得到的电梯门融合图像，把电梯门的可视运行区间分为一个个矩形区间，进而把每一个矩形区间分为一条条线段。由于电梯门的厚度相对于相机距离电梯门的距离足够小，对于新照片上物体的每一个像素点而言，所以可以近似地在之前两张融合照片上找到轿厢门相对应位置的像素点，即每条线段的两个端点，比较三个像素点的灰度，若是新拍摄的照片的灰度介于原先两张照片之间，那么该物体可判定为障碍物，如果所有的像素点都不介于原先两张照片对应像素点的灰度之间，那么该物体不是障碍物。
具体地，障碍物上一点a1，其与相机的距离是d1,而同一水平面内的电梯轿厢门内外侧两点分别为b1,c1，其与相机的距离分别是l1,r1。若d1介于l1与r1之间，则判定为该物体是障碍物，用同样的方法判断物体的其他像素点，若所有的点都不能把该物体判定为障碍物，则认为它不是障碍物。
进一步地，可以把障碍物的状态分为6种，假设l(i)<r(i)。第一类：照片上物体所有点的灰度值d(i)都介于轿厢门相对应点的灰度值l(i)和r(i)之间；第二类：照片上物体所有点的灰度值d(i)都小于r(i)，有一部分d(i)大于l(i)，有一部分d(i)小于l(i)；第三类：照片上物体所有点的灰度值d(i)都大于l(i)，有一部分d(i)大于r(i)，有一部分d(i)小于r(i)；第四类：照片上物体一部分点的灰度值d(i)都介于轿厢门相对应点的灰度值l(i)和r(i)之间，另一部分点的灰度值d(i)<l(i)，还有一部分点的灰度值大于r(i)；第五类：照片上物体所有点的灰度都小于d(i)<l(i)；第六类：照片上所有点的灰度d(i)>r(i)。
当照片上的物体处于第一类的状态时，表明物体较小，并处于电梯轿厢门区域。此时嵌入式控制模块1进行状态二时运算，比较物体的平均速度与安全平均速度的大小关系，当物体的平均速度大于安全平均速度时，嵌入式控制模块1向控制柜发出无障碍信号，电梯门即刻开始关闭；当物体的平均速度小于安全平均速度时，嵌入式控制模块1向控制柜发出开门信号或禁止关门信号。
当照片上的物体处于第三类的状态时，表明物体的任何一部分都未进入电梯轿厢，物体的所有部分都在电梯门内侧以外。此时，嵌入式控制模块1并不进行后续的计算，处于一种等待状态，直至物体处于状态二。
当照片上的物体处于第四类的状态时，表明物体有一部分已经进入电梯轿厢，还有一部分未进入电梯轿厢。此时，嵌入式控制模块1并不进行后续的计算，处于一种等待状态，直至物体处于状态二。
当照片上的物体处于第五类状态时，表明物体已经完全进入电梯轿厢，此时嵌入式控制模块1已经向控制柜发出电梯无障碍物的信号，电梯门已经开始关闭。
当照片上的物体处于第六类状态时，表明物体还未进入电梯轿厢，此时嵌入式控制模块1处于等待物体进入的状态。
具体地，当照片上的物体处于第二类的状态时，可以通过连续拍摄两张融合照片，近似地估计物体的平均速度：
其中，
通过计算可以进一步获得安全平均速度
其中，dmin是最后拍摄照片的像素点中距离电梯门外侧最近的距离，dmin可以通过物体像素点灰度值减去电梯门内侧上像素点灰度值并乘以灰度值与距离的转化系数求得，dmin必须大于0且必须小于电梯门的厚度，t是电梯门从开门状态到关闭状态所需要的时间，λ是安全放大系数，λ必须大于1。当物体运动的平均速度大于物体的安全平均速度时，电梯门关闭时不会夹到物体，这时也可以执行步骤6。
步骤5：嵌入式控制模块1通过语音控制器发出警报，进行提醒，并且通过数据传输模块4向控制柜发出开门信号或禁止关门信号，接下去执行步骤2。
步骤6：嵌入式控制模块1通过数据传输模块4向控制柜发出无障碍物信号，电梯门即刻开始关闭，以减少乘客等待时间，提高电梯的整体运行效率。
本发明在电梯门完全打开时和关闭时，利用rgb照相机12和深度照相机11分别获取图片后进行融合，并将最终获得的两张融合图片作为参照图片。在电梯门关闭过程中，视频监控装置通过rgb照相机12和深度照相机11获取电梯门方向的图像，并通过神经网络模型和图像融合算法进行物体识别和图像融合，通过跟之前的参照图片进行比对，判断电梯门关闭时是否会遇到障碍。相比以往的光幕监控，本发明能检查到各种死角，从而避免电梯夹人夹物事件的发生。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
- 还没有人留言评论。精彩留言会获得点赞！