一种基于图像处理的落车开门提醒装置及提醒方法与流程

本发明涉及车辆安全报警技术领域，特别涉及一种基于图像处理的落车开门提醒装置及提醒方法。

【背景技术】

目前汽车保有量不断上升，其中私家车更是呈现几何数字增加，全球汽车数量的增加也导致交通安全事故呈指数上升，据世界卫生组织2018年统计，全球每年发生交通事故死亡的人数已超250万人，交通伤亡数量已超世界地区局势动荡及地区战争产生的伤亡数量，其中很多事故不是在开车过程中发生，而是在停车落车时车内人员突然开门造成车辆附近人员磕碰或倒地受伤，行人或非机动车驾驶人被撞倒地后被路过的机动车碾压、碰撞行成二次伤害。目前该行为只是通过事后处罚或交通法宣贯，效果并不理想，驾驶员和乘员在停车时无观察前后方的习惯且在车内存在多处盲区，无法观察到有效的距离区间，或对距离速度判断存在误差亦容易造成事故。

目前很多高档车上安装有辅助驾驶(adas)系统，但该系统价格昂贵，只运用于高档车型，目前发生此类事故概率较高的出租车、私家车等中有此装置的比例还很低，无法有效避免此类事故。

技术实现要素：

为了克服上述问题，本发明提出一种可有效解决上述问题的基于图像处理的落车开门提醒装置及提醒方法。

本发明解决上述技术问题提供的一种技术方案是：提供一种基于图像处理的落车开门提醒装置，用于车辆停车时开门提醒，包括第一全景摄像头、第二全景摄像头、检测主机和控制主机，所述第一全景摄像头设置于车辆外车顶上，第二全景摄像头、检测主机和控制主机设置于汽车内前端，所述第一全景摄像头、第二全景摄像头分别和检测主机相连接，所述检测主机与控制主机相连接，所述第一全景摄像头用于采集车辆外图像信息，所述第二全景摄像头用于采集车辆内人员位置信息，所述检测主机用于计算车辆实时速度并在停车后识别车辆周围运动物体位置信息，计算运动物体的速度，所述控制主机用于发出通知和提醒。

优选地，所述检测主机包括图像识别主控单元、第一全景摄像单元、第二全景摄像单元、音频输出装置、图像显示装置、gps车速计算单元，所述第一全景摄像单元、第二全景摄像单元、音频输出单元、图像显示单元、gps车速计算单元分别与图像识别主控单元相连接。

优选地，所述控制主机包括主机控制端、4g无线通讯模块、蓝牙数据传输模块、语音识别模块、防拆报警模块、麦克风输入电路、音频输出电路和对讲电路，所述4g无线通讯模块、蓝牙数据传输模块、语音识别模块、防拆报警模块、对讲电路分别与主机控制端相连接，所述麦克风输入电路和音频输出电路分别与对讲电路相连接。

优选地，所述图像识别主控单元基于多任务的卷积神经网络。

优选地，所述第一全景摄像单元与第一全景摄像头相连接，所述第二全景摄像单元与第二全景摄像头相连接。

优选地，所述主机控制端与检测主机相连接。

优选地，所述一种基于图像处理的落车开门提醒方法，包括如下步骤：

步骤s1，gps车速计算单元实时采集车辆位置信息，并通过车辆的位置信息计算出车辆的速度，将车辆速度反馈于图像识别主控单元；

步骤s2，车辆速度降为零时，图像识别主控单元启动第二全景摄像单元，第二全景摄像头开始采集车辆内人员位置信息，识别到车辆内人员与车辆车门的位置信息后反馈至图像识别主控单元；

步骤s3，图像识别主控单元根据车辆内人员与车辆车门的位置信息启动第一全景摄像单元启动，第一全景摄像头开始采集车辆外周围的图像信息，识别到车辆周围运动物体后将运动物体的图像信息反馈至图像识别主控单元；

步骤s4，图像识别主控单元根据运动物体的图像信息采用边沿参照速度计算法算出运动物体的速度，根据速度计算出运动物体到达车辆车门的时间；

步骤s5，运动物体到达车辆车门的时间小于安全时间时，控制主机发出语音警告，提示注意开门。

优选地，所述步骤s1中，gps车速计算单元采集车辆在t1时刻的位置信息为(x1，y1)，t2时刻的位置信息为(x2，y2)，其中t1、t2的单位为ms，位置信息的单位为km，已知地球半径r(r＝6371km)，圆周率π＝3.14，将地球近似看做一个球，δa＝2*π*(x2-x1)/360，δb＝2*π*(y2-y1)/360，ry1＝2*π*x1/360，ry2＝2*π*x2/360，则两个位置之间的距离为：

δt＝t2-t1，则车辆速度为：

优选地，所述步骤s2中，车辆内人员的位置信息分为左前门、右前门、左后门和右后门，所述步骤s3中，第一全景摄像头采集图像信息分为左前区、右前区、左后区和右后区，左前区对应左前门，右前区对应右前门，左后区对应左后门，右后区对应右后门，图像识别主控单元根据车辆内人员的位置信息相应选择第一全景摄像头采集图像的区域。

优选地，所述步骤s4中，识别到运动物体后，第一次采集运动物体的位置为(a1，b1)，第二次采集运动物体的位置信息为(a2，b2)，第一全景摄像头采集图像的时间间隔为t，则运动物体的速度

与现有技术相比，本发明的基于图像处理的落车开门提醒装置及提醒方法通过安装于车顶的第一全景摄像头采集车辆四周的图像，通过图像识别算法捕获运动目标，当运动物体到达车辆车门的时间小于安全时间时，警示车内人员落车请勿立即开门，观察确认安全后再开车门落车，结构简单，成本低廉，适用性强，可以应用于大众普遍的车辆，能很好的解决停车开门造成的人员伤亡问题。

【附图说明】

图1为本发明一种基于图像处理的落车开门提醒装置的结构示意图；

图2为本发明一种基于图像处理的落车开门提醒装置的检测主机结构示意图；

图3为本发明一种基于图像处理的落车开门提醒装置的控制主机结构示意图。

【具体实施方式】

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅限于指定视图上的相对位置，而非绝对位置。

另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

请参阅图1至图3，本发明的一种基于图像处理的落车开门提醒装置，用于车辆停车时开门提醒，包括第一全景摄像头、第二全景摄像头、检测主机和控制主机，所述第一全景摄像头设置于车辆外车顶上，第二全景摄像头、检测主机和控制主机设置于汽车内前端，所述第一全景摄像头、第二全景摄像头分别和检测主机相连接，所述检测主机与控制主机相连接。所述检测主机用于计算车辆实时速度并在停车后识别车辆周围运动物体位置信息，计算运动物体的速度。当检测主机检测到车辆停止后，第二全景摄像头采集车内人员的位置信息，判断车内驾乘人员的位置，识别到车内人员的位置所在车辆车门的方向后，切换第一全景摄像头开始根据车内人员位置对应采集车辆外的实时图像，经过对图像进行去噪和增强，预处理后的图像送入检测主机，对车内的人脸及其他运动物体进行识别，当检测到运动物体时进行捕获，再次采集输入图像对运动物体进行边沿参照速度计算，参照物可为旁边的固定物体或图像中心点，根据识别到的运动物体距离参照物的距离及两个图片的拍摄时间即可计算出相对速度，根据速度来判断落车车门开启是否安全，如检测到不安全则会发出尖锐的语音提示“危险！禁止开车门！”、“小心xx侧，开门请当心！”

所述检测主机包括图像识别主控单元、第一全景摄像单元、第二全景摄像单元、音频输出装置、图像显示装置、gps车速计算单元，所述第一全景摄像单元、第二全景摄像单元、音频输出单元、图像显示单元、gps车速计算单元分别与图像识别主控单元相连接。所述图像识别主控单元基于多任务的卷积神经网络。所述第一全景摄像单元与第一全景摄像头相连接，用于接收第一全景摄像头采集的图像信息并处理。所述第二全景摄像单元与第二全景摄像头相连接，用于接收第二全景摄像头采集的图像信息并处理。所述音频输出装置用于发出提示音，提醒开门时注意后方运动物体。所述gps车速计算单元用于计算车辆车速，当车速为零时检测主机切换到第一全景摄像单元、第二全景摄像单元进行图像采集。gps车速计算单元实时采集车辆的位置信息，通过速度计算公式计算车辆的运行速度，当检测到车辆减速直到零时，检测主机开启第一全景摄像单元进行图像采集，图像在图像识别主控单元中经过预处理、图像特征提取、运动物体捕获、边沿参照速度计算来分析运动物体距离车辆的距离及相对运动速度，如计算开门与运动物体存在碰撞危险，则提前提醒车内人员当心，警告勿开车门。

所述控制主机包括主机控制端、4g无线通讯模块、蓝牙数据传输模块、语音识别模块、防拆报警模块、麦克风输入电路、音频输出电路和对讲电路，所述4g无线通讯模块、蓝牙数据传输模块、语音识别模块、防拆报警模块、对讲电路分别与主机控制端相连接，所述麦克风输入电路和音频输出电路分别与对讲电路相连接。所述主机控制端与检测主机相连接，在车辆行驶过程中获取驾驶员疲劳信息、异常驾驶行为告警，在检测到车辆停车后获取落车开门危险提醒。此外主机控制端通过对讲电路与音频输出电路实现语音报警功能。主机控制端与语音识别模块相连实现车内危险自动报警功能，当车内发生危险时，语音识别模块采集车内语音并进行识别与后台敏感词进行比对，如检测到车内发生危险进行自动报警。主机控制端与蓝牙数据传输模块连接，蓝牙数据传输模块与手机端app连接，可对系统进行设置，对后台内容进行定制化。主机控制端与4g无线通讯模块连接实现报警信息发送到后台，通过后台再转到移动端。防拆报警模块实现系统的安全不可拆卸，确保装置运行可靠。

控制主机主要起通知和提醒作用，当检测到停车后车外的第一全景摄像头采集图像信息送入检测主机内进行识别，当检测到有运动物体靠近时，对运动物体进行捕获，根据边沿参照速度计算算法计算得到的物体运动速度送到控制主机，控制主机根据收到的信息进行提醒车内人员注意往来车辆和人员，确认安全再开门落车。控制主机还有另外一个作用为：基于图像处理技术，在检测到车辆运动时，自动激发切换车内第二全景摄像头实时采集车内影像，第二全景摄像头开始对准驾驶人员进行图像采集，对驾驶员进行人脸检测的同时进行驾驶员人脸朝向检测、驾驶员人脸其他特征点检测(左右眼、左右嘴角及鼻子)，基于多任务深度学习神经网络通过人脸识别驾驶员是否具有异常驾驶行为(如嗜睡、注意力不集中、驾驶员眼睛脱离驾驶方向、抽烟、未系安全带等)。利用图像识别技术来进行安全驾驶提醒，保证行车安全。

一种基于图像处理的落车开门提醒方法，包括如下步骤：

步骤s1，gps车速计算单元实时采集车辆位置信息，并通过车辆的位置信息计算出车辆的速度，将车辆速度反馈于图像识别主控单元；

所述步骤s1中，gps车速计算单元采集车辆在t1时刻的位置信息为(x1，y1)，t2时刻的位置信息为(x2，y2)，其中t1、t2的单位为ms，位置信息的单位为km，已知地球半径r(r＝6371km)，圆周率π＝3.14，将地球近似看做一个球，δa＝2*π*(x2-x1)/360，δb＝2*π*(y2-y1)/360，ry1＝2*π*x1/360，ry2＝2*π*x2/360，则两个位置之间的距离为：

δt＝t2-t1，则车辆速度为：

步骤s2，车辆速度降为零时，图像识别主控单元启动第二全景摄像单元，第二全景摄像头开始采集车辆内人员位置信息，识别到车辆内人员与车辆车门的位置信息后反馈至图像识别主控单元；

所述步骤s2中，车辆内人员的位置信息分为左前门、右前门、左后门和右后门。

步骤s3，图像识别主控单元根据车辆内人员与车辆车门的位置信息启动第一全景摄像单元启动，第一全景摄像头开始采集车辆外周围的图像信息，识别到车辆周围运动物体后将运动物体的图像信息反馈至图像识别主控单元；

所述步骤s3中，第一全景摄像头采集图像信息分为左前区、右前区、左后区和右后区，左前区对应左前门，右前区对应右前门，左后区对应左后门，右后区对应右后门，图像识别主控单元根据车辆内人员的位置信息相应选择第一全景摄像头采集图像的区域。

步骤s4，图像识别主控单元根据运动物体的图像信息采用边沿参照速度计算法算出运动物体的速度，根据速度计算出运动物体到达车辆车门的时间；

所述步骤s4中，识别到运动物体后，第一次采集运动物体的位置为(a1，b1)，第二次采集运动物体的位置信息为(a2，b2)，第一全景摄像头采集图像的时间间隔为t，则运动物体的速度

步骤s5，运动物体到达车辆车门的时间小于安全时间时，控制主机发出语音警告，提示注意开门。

所述步骤s5中，安全时间等于人的反应时间加上运动物体制动时间之和。

与现有技术相比，本发明的基于图像处理的落车开门提醒装置及提醒方法通过安装于车顶的第一全景摄像头采集车辆四周的图像，通过图像识别算法捕获运动目标，当运动物体到达车辆车门的时间小于安全时间时，警示车内人员落车请勿立即开门，观察确认安全后再开车门落车，结构简单，成本低廉，适用性强，可以应用于大众普遍的车辆，能很好的解决停车开门造成的人员伤亡问题。

以上所述仅为本发明的较佳实施例，并非因此限制本发明的专利范围，凡是在本发明的构思之内所作的任何修改，等同替换和改进等均应包含在本发明的专利保护范围内。