用于使用摄像设备检测车内暴力的基于融合的方法与流程

本公开涉及一种车辆异常或威胁性情况识别系统。

背景技术：

1、共享出行技术已经非常成熟，这一点从诸如汽车共享（car sharing）、共乘（ridesharing）、打车（ride-hailing）和网约车（ride-sourcing）的可商购的共享出行服务的出现可以看出。共享自动驾驶车辆（shared autonomous vehicle, sav）和共用共享自动驾驶车辆（pooled shared autonomous vehicle, psav）也在迅速出现。在共享自动驾驶车辆（sav）中与陌生人共乘会给用户的个人身体和情感安全带来风险。当乘客与陌生人共乘或共用车时，也很可能会出现拥挤和侵犯个人空间的感觉。

2、因此，尽管目前的共享和共用共享自动驾驶车辆达到了其预期目的，但还是需要新的和改进的车内暴力检测和融合系统。

技术实现思路

1、根据一些方面，一种车内暴力检测和融合系统包括定位在车辆内的标准车辆摄像设备，其采集车辆的至少一个乘员的图像。定位在车辆内的事件摄像设备采集至少一个乘员的运动图像。通过roi融合模块接收并且融合基于标准车辆摄像设备的感兴趣区域（roi）信号和基于事件摄像设备的roi信号以产生融合的roi信号。威胁评估模块接收融合的roi信号并且用保存的数据增强融合的roi信号以有助于区分“正常”事件与暴力或“威胁”事件。基于事件摄像设备的暴力指标表明对车辆的至少一个乘员的威胁事件。

2、在本公开的另一个方面中，隐私掩蔽模块应用隐私掩蔽以确保车辆的至少一个乘员的隐私。隐私掩蔽模块接收标准车辆摄像设备的输出并且产生基于标准车辆摄像设备的感兴趣区域（roi）信号。

3、在本公开的另一个方面中，基于事件摄像设备的建议模块接收来自事件摄像设备的输出信号并且输出基于事件摄像设备的roi信号。

4、在本公开的另一个方面中，身体骨架检测及跟踪模块接收来自隐私掩蔽模块的图像并且根据从计算机的存储器中的数据库中检索的所保存的数据区分车辆内的人解剖结构，该数据库保存了人形状和移动的图像。

5、在本公开的另一个方面中，暴力物体检测模块接收来自隐私掩蔽模块的图像并且区分在车辆内检测的危险活动物体。

6、在本公开的另一个方面中，异常曝光辨识器接收来自事件摄像设备的输出。异常曝光辨识器区分正常的光线和对比度的曝光度与高对比度的曝光度。如果异常曝光辨识器确定来自事件摄像设备的输出超过预先确定的事件摄像设备输出阈值，则产生异常曝光信号。

7、在本公开的另一个方面中，标准车辆摄像设备曝光调整模块接收异常曝光信号并且产生曝光变化信号并且将曝光变化信号发送到标准车辆摄像设备。

8、在本公开的另一个方面中，人识别模块接收从标准车辆摄像设备输出的数据以区分基于人的摄像图像运动。与事件摄像设备通信的运动评估模块提供对经评估的图像输出的事件摄像图像识别。与人识别模块和运动评估模块通信的动作识别模块组合运动评估模块的和人识别模块的输出，以将摄像图像数据与具有先前采集和保存的人动作图像的所保存的数据进行比较。

9、在本公开的另一个方面中，事件摄像设备具有限定速度为小于1ms的高速度。标准车辆摄像设备以限定速度为小于60fps的低速度操作。

10、在本公开的另一个方面中，事件摄像设备具有限定范围为大于140db的高动态范围。标准车辆摄像设备具有限定范围为小于100db的低动态范围。

11、根据一些方面，一种使用摄像设备检测和融合车内暴力的方法包括：将采集车辆的至少一个乘员的图像的标准车辆摄像设备定位在车辆内；将采集至少一个乘员的运动图像的高速事件摄像设备定位在车辆内；将摄像图像划分为区分为正事件和负事件的网格，该网格具有多个网格单元，所述多个网格单元各自具有事件计数数量，所述事件计数数量指示在时间间隔内代表所述摄像图像的记录在所述网格单元中的变化事件的数量；创建环形缓冲器以跟踪所述多个网格单元中的各个网格单元在所述时间间隔内的数量变化；更新针对每个时间间隔δt的事件计数数量，其中，并且填充具有多个网格单元的下一个网格；将指针移动到所述下一个网格的网格单元中的下一个网格单元，并且更新所述网格单元的所述下一个网格单元；以及使用环形缓冲器表明所述网格单元的所述下一个网格单元的变化计数。

12、在本公开的另一个方面中，方法进一步包括通过在网格单元中的事件的整体增加的计数来表明正事件网格，所述在网格单元中的事件的整体增加的计数指示在所述时间间隔内运动事件的增加的数量。

13、在本公开的另一个方面中，方法进一步包括通过在网格单元中事件的整体减少的计数来表明负事件网格，所述在网格单元中事件的整体减少的计数指示在所述时间间隔内运动事件的减少的数量。

14、在本公开的另一个方面中，方法进一步包括：当网格中的一个网格的网格单元中的大多数网格单元中出现整体正（+）事件计数从而导致增加整体场景亮度时辨识出来；并减少标准车辆摄像设备的曝光度。

15、在本公开的另一个方面中，方法进一步包括：当网格中的一个网格的网格单元中的大多数网格单元中出现整体负（-）事件计数从而导致降低整体场景亮度时辨识出来；以及增加用于标准车辆摄像设备的曝光度。

16、在本公开的另一个方面中，方法进一步包括，如果在计数方面没有变化被记录，则通过在网格单元中的一个网格单元的与从先前事件计数以来无变化的事件计数中填入数量零（0）来删除过期事件计数。

17、在本公开的另一个方面中，方法进一步包括：应用事件摄像设备以最佳地提供有快速运动的感兴趣区域（roi）；使用标准车辆摄像设备以提供有人的roi区域；组合来自事件摄像设备的roi区域和标准车辆摄像设备的roi区域；基于+/-事件计数来计算各个网格的权重（w），其中：，并确定具有最大权重的roi区域以适应下游感受野。

18、根据一些方面，使用摄像设备检测和融合车内暴力的方法包括： 将采集车辆的至少一个乘员的图像的标准车辆摄像设备定位在车辆内；将采集至少一个乘员的运动图像的事件摄像设备定位在车辆内；产生基于标准车辆摄像设备的感兴趣区域（roi）信号；产生基于事件摄像设备的roi信号；应用roi融合模块来接收和融合基于事件摄像设备的roi信号和基于标准车辆摄像设备的roi信号并且产生融合的roi信号；将融合的roi信号发送到威胁评估模块以用所保存的数据增强融合的roi信号，以有助于区分正常事件与暴力或威胁事件；以及使用基于事件摄像设备的暴力指标表明对车辆的至少一名乘员的威胁事件。

19、在本公开的另一个方面中，方法进一步包括应用包括车辆位置和一天中的时间的关联信息巩固暴力指标。

20、在本公开的另一个方面中，方法进一步包括：应用隐私掩蔽以确保车辆的至少一个乘员的隐私；以及将标准车辆摄像设备的输出转发到隐私掩蔽模块以产生基于标准车辆摄像设备的感兴趣区域（roi）信号。

21、也就是说，本公开提供了一种车内暴力检测和融合系统，包括：定位在车辆内的标准车辆摄像设备，其用于采集所述车辆的至少一个乘员的图像；定位在所述车辆内的事件摄像设备，其用于采集所述至少一个乘员的运动图像；基于标准车辆摄像设备的感兴趣区域（roi）信号；基于事件摄像设备的roi信号；roi融合模块，其接收并且融合所述基于事件摄像设备的roi信号和所述基于标准车辆摄像设备的roi信号并且产生融合的roi信号；威胁评估模块，其接收所述融合的roi信号并且用保存的数据增强所述融合的roi信号以有助于区分正常事件与威胁事件；以及基于事件摄像设备的暴力指标，其表明对所述车辆的所述至少一名乘员的威胁事件。所述的车内暴力检测和融合系统包括：隐私掩蔽模块，其应用隐私掩蔽以确保所述车辆的所述至少一个乘员的隐私；并且所述隐私掩蔽模块接收所述标准车辆摄像设备的输出并且产生所述基于标准车辆摄像设备的感兴趣区域（roi）信号。所述的车内暴力检测和融合系统包括基于事件摄像设备的建议模块，其接收来自所述事件摄像设备的输出信号并且输出所述基于事件摄像设备的roi信号。所述的车内暴力检测和融合系统包括身体骨架检测及跟踪模块，其接收来自所述隐私掩蔽模块的图像并且基于从计算机的存储器中的数据库中检索的所保存的数据来区分所述车辆内的人解剖结构，所述数据库保存了人形状和移动的图像。所述的车内暴力检测和融合系统包括暴力物体检测模块，其接收来自所述隐私掩蔽模块的图像，所述暴力物体检测模块区分在所述车辆内检测到的危险活动物体。所述的车内暴力检测和融合系统包括异常曝光辨识器，其接收来自所述事件摄像设备的输出，所述异常曝光辨识器区分正常光线和对比度的曝光度与高对比度的曝光度，其中如果所述异常曝光辨识器确定来自所述事件摄像设备的输出超过预先确定的事件摄像设备输出阈值，则异常曝光信号被产生。所述的车内暴力检测和融合系统包括标准车辆摄像设备曝光调整模块，其接收所述异常曝光信号并且产生曝光变化信号并且将所述曝光变化信号发送到所述标准车辆摄像设备。所述的车内暴力检测和融合系统包括：人识别模块，其接收从所述标准车辆摄像设备输出的数据以区分基于人的摄像图像运动；与所述事件摄像设备通信的运动评估模块，其提供对经评估的图像输出的事件摄像图像识别；和动作识别模块，其与所述人识别模块和所述运动评估模块通信并且对所述运动评估模块和所述人识别模块的输出进行组合，以将摄像图像数据与具有先前采集和保存的人动作图像的所保存的数据进行比较。其中：所述事件摄像设备具有小于1ms的高速度；并且所述标准车辆摄像设备以小于60fps的低速度操作。其中：所述事件摄像设备具有限定范围大于140db的高动态范围；并且所述标准车辆摄像设备具有限定范围小于100db的低动态范围。本公开还提供了一种使用摄像设备检测和融合车内暴力的方法，包括：将采集车辆的至少一个乘员的图像的标准车辆摄像设备定位在所述车辆内；将采集所述至少一个乘员的运动图像的高速事件摄像设备定位在所述车辆内；将摄像图像划分为区分为正事件和负事件的网格，所述网格具有多个网格单元，所述多个网格单元各自具有事件计数数量，所述事件计数数量指示在时间间隔内代表所述摄像图像的记录在所述网格单元中的变化事件的数量；创建环形缓冲器以跟踪所述多个网格单元中的各个网格单元在所述时间间隔内的数量变化；更新针对每个时间间隔δt的事件计数数量，其中，并且填充具有多个网格单元的下一个网格；将指针移动到所述下一个网格的网格单元中的下一个网格单元，并且更新所述网格单元的所述下一个网格单元；以及使用环形缓冲器表明所述网格单元的所述下一个网格单元的变化计数。所述方法进一步包括通过指示在所述时间间隔内运动事件的增加的数量的、在所述网格单元中的事件的增加的计数来表明正事件网格。所述方法进一步包括通过指示在所述时间间隔内运动事件的减少的数量的、在所述网格单元中的事件的减少的计数来表明负事件网格。所述方法进一步包括：当所述网格中的一个网格的所述网格单元的大多数网格单元中出现整体正（+）事件计数从而导致增加整体场景亮度时辨识出来；以及减少所述标准车辆摄像设备的曝光度。所述方法进一步包括当所述网格中的一个网格的所述网格单元的大多数网格单元中出现整体负（-）事件计数从而导致减少整体场景亮度时辨识出来；以及增加所述标准车辆摄像设备的曝光度。所述方法进一步包括如果在所述计数方面没有变化被记录，则通过在所述网格单元中的一个网格单元的从先前事件计数以来无变化的事件计数中填入数量零（0）来删除过期事件计数。所述方法进一步包括：应用所述事件摄像设备以最佳地提供有快速运动的感兴趣区域（roi）；使用所述标准车辆摄像设备来提供有人的roi区域；组合来自所述事件摄像设备的roi区域和所述标准车辆摄像设备的roi区域；基于+/-事件计数来计算各个网格的权重（w），其中：；以及确定具有最大权重的roi区域以适应下游感受野。本公开还提供了一种使用摄像设备检测和融合车内暴力的方法，包括：将采集车辆的至少一个乘员的图像的标准车辆摄像设备定位在所述车辆内；将采集所述至少一个乘员的运动图像的事件摄像设备定位在所述车辆内；产生基于标准车辆摄像设备的感兴趣区域（roi）信号；产生基于事件摄像设备的roi信号；应用roi融合模块来接收并且融合所述基于事件摄像设备的roi信号和所述基于标准车辆摄像设备的roi信号并且产生融合的roi信号；将所述融合的roi信号发送到威胁评估模块以用保存的数据增强所述融合的roi信号，以有助于区分正常事件与暴力或威胁事件；以及使用基于事件摄像设备的暴力指标来表明对所述车辆的所述至少一名乘员的所述威胁事件。所述方法进一步包括应用包括车辆位置和一天中的时间的关联信息来巩固所述基于事件摄像设备的暴力指标。所述方法进一步包括：应用隐私掩蔽来确保所述车辆的所述至少一个乘员的隐私；以及将所述标准车辆摄像设备的输出转发到隐私掩蔽模块以产生所述基于标准车辆摄像设备的感兴趣区域（roi）信号。

22、其他可应用领域将通过本文提供的描述而变得显而易见。应该理解，描述和具体示例仅旨在说明，而并不旨在限制本公开的范围。