基于双目红外相机的动物避撞方法及系统

本发明涉及自动驾驶，特别是涉及基于双目红外相机的动物避撞方法及系统。

背景技术：

1、过去自动驾驶领域中对于行人的检测与避撞方案基于常规相机进行开发，如：专利cn112356815a《一种基于单目相机的行人主动避撞系统及方案》，专利cn115761700a《行人距离计算方法、系统、计算机及可读存储介质》，专利cn104700414a一种基于车载双目相机的前方道路行人快速测距方法》。

2、对于行人避撞方案中单目相机的技术实现，一定会遇到深度信息缺乏的问题，为了解决此问题，有的方案假定行人运动速度很小，联系多帧图像计算出行人深度信息，有的是根据行人的常见高度进行估算，但是，对于移动速度快，种类繁杂的野生动物而言，这两种方法就失去了有效作用。对于双目相机的方案，可以解决深度缺失的问题，然而动物碰撞事件大多发生在夜间无路灯或者观察条件较差的路段，单目视觉相机由于先天对光线的依赖，无法对这些情况做出有效识别。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本发明提出了一种基于双目红外相机的动物避撞方法，解决原有单目视觉相机在行人检测中的深度缺失问题，同时实现较差光线条件下、高速运动的野生动物避撞。

3、本发明的另一个目的在于提出一种基于双目红外相机的动物避撞装置。

4、为达上述目的，本发明一方面提出一种基于双目红外相机的动物避撞方法，包括：

5、基于预设的至少一种开启条件数据触发自动驾驶系统的双目红外相机进行拍摄得到拍摄图像；其中，所述拍摄图像，包括左侧图像和右侧图像；

6、利用阈值分割和边缘检测建立所述左侧图像的图像模板，并提取所述图像模板与所述右侧图像的模板匹配结果中的动物对象；

7、通过所述左侧图像和右侧图像的视差计算动物对象到所述双目红外相机的距离，并根据所述距离计算动物状态数据；

8、基于所述动物状态数据和动物轨迹重叠度得到碰撞风险因子，并根据所述碰撞风险因子与预设阈值的数值比较结果得到自动驾驶系统的行为决策数据。

9、本发明实施例的基于双目红外相机的动物避撞方法还可以具有以下附加技术特征：

10、在本发明的一个实施例中，在利用阈值分割和边缘检测建立所述左侧图像的图像模板之前，所述方法，还包括：

11、对所述拍摄图像进行数据预处理。

12、在本发明的一个实施例中，对所述拍摄图像进行数据预处理，包括：

13、对左侧图像和右侧图像分别进行灰度均衡化、灰度拉伸及图像去噪操作。

14、在本发明的一个实施例中，所述开启条件数据，包括：手动控制数据、野生动物标识检测数据、大数据事故频发道路状态数据和特殊路段状态数据。

15、在本发明的一个实施例中，基于道路环境状态得到所述手动控制数据；根据道路标识牌检测方法得到基于野生动物标识牌的所述野生动物标识检测数据；根据高精地图方法和汽车网联方法得到基于历史动物相关道路的所述大数据事故频发道路状态数据；基于当前特殊路段状态得到所述特殊路段状态数据。

16、在本发明的一个实施例中，所述动物状态数据，包括拍摄图像中动物的等效质心空间位置、速度与加速度和动物大小。

17、在本发明的一个实施例中，根据动物轨迹重叠度δ1、动物速度δ2和动物大小δ3计算所述碰撞风险因子：

18、

19、其中，δ为碰撞风险因子。

20、在本发明的一个实施例中，在所述双目红外相机获取的左侧图像和右侧图像中，同一动物的等效质心的横向距离d为双目红外相机的中心距离；则动物与双目红外相机的中心的直线距离

21、预设(x,y,z)是等效质心的空间坐标，(x1,x2)是等效质心成像在焦平面上的坐标，基于焦距为f，成像点空间坐标为(x1,x2,-f)，并根据动物与车辆的直线距离l得到等效质心空间位置的坐标计算结果：

22、

23、在本发明的一个实施例中，根据所述碰撞风险因子与预设阈值的数值比较结果得到自动驾驶系统的行为决策数据，包括：

24、构建所述自动驾驶系统的风险区范围；

25、计算所述风险区范围的不同的范围阈值；

26、对所述碰撞风险因子与所述不同的范围阈值进行数值比较，根据不同的数值比较结果得到自动驾驶系统的不同的行为决策数据。

27、为达上述目的，本发明另一方面提出一种基于双目红外相机的动物避撞系统，包括：

28、拍摄图像获取模块，用于基于预设的至少一种开启条件数据触发自动驾驶系统的双目红外相机进行拍摄得到拍摄图像；其中，所述拍摄图像，包括左侧图像和右侧图像；

29、动物对象匹配模块，用于利用阈值分割和边缘检测建立所述左侧图像的图像模板，并提取所述图像模板与所述右侧图像的模板匹配结果中的动物对象；

30、状态数据计算模块，用于通过所述左侧图像和右侧图像的视差计算动物对象到所述双目红外相机的距离，并根据所述距离计算动物状态数据；

31、风险判断决策模块，用于基于所述动物状态数据和动物轨迹重叠度得到碰撞风险因子，并根据所述碰撞风险因子与预设阈值的数值比较结果得到自动驾驶系统的行为决策数据。

32、本发明实施例的基于双目红外相机的动物避撞方法和系统，通过双目红外相机对野生动物空间位置信息进行获取，进行多元的风险评估后，做出相应的车辆决策，进而实现弱光及不利观察条件下对于野生动物的避撞，对现有行人避撞系统的不足进行了完善与创新。

33、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

技术特征：

1.一种基于双目红外相机的动物避撞方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，在利用阈值分割和边缘检测建立所述左侧图像的图像模板之前，所述方法，还包括：

3.根据权利要求2所述的方法，其特征在于，对所述拍摄图像进行数据预处理，包括：

4.根据权利要求1所述的方法，其特征在于，所述开启条件数据，包括：手动控制数据、野生动物标识检测数据、大数据事故频发道路状态数据和特殊路段状态数据。

5.根据权利要求4所述的方法，其特征在于，基于道路环境状态得到所述手动控制数据；根据道路标识牌检测方法得到基于野生动物标识牌的所述野生动物标识检测数据；根据高精地图方法和汽车网联方法得到基于历史动物相关道路的所述大数据事故频发道路状态数据；基于当前特殊路段状态得到所述特殊路段状态数据。

6.根据权利要求1所述的方法，其特征在于，所述动物状态数据，包括拍摄图像中动物的等效质心空间位置、速度与加速度和动物大小。

7.根据权利要求1所述的方法，其特征在于，根据动物轨迹重叠度δ1、动物速度δ2和动物大小δ3计算所述碰撞风险因子：

8.根据权利要求6所述的方法，其特征在于，在所述双目红外相机获取的左侧图像和右侧图像中，同一动物的等效质心的横向距离d为双目红外相机的中心距离；则动物与双目红外相机的中心的直线距离

9.根据权利要求1所述的方法，其特征在于，根据所述碰撞风险因子与预设阈值的数值比较结果得到自动驾驶系统的行为决策数据，包括：

10.一种基于双目红外相机的动物避撞系统，其特征在于，包括：

技术总结
本发明公开了基于双目红外相机的动物避撞方法及系统，该方法，包括基于预设的至少一种开启条件数据触发自动驾驶系统的双目红外相机进行拍摄得到拍摄图像，利用阈值分割和边缘检测建立左侧图像的图像模板，并提取与右侧图像的模板匹配结果中的动物对象；通过左侧图像和右侧图像的视差计算动物对象到双目红外相机的距离，并根据距离计算动物状态数据；基于动物状态数据和动物轨迹重叠度得到碰撞风险因子，并根据碰撞风险因子与预设阈值的数值比较结果得到自动驾驶系统的行为决策数据。本发明有效解决了尤其是动物碰撞事件大多发生在夜间无路灯或者观察条件较差的路段，单目视觉相机由于先天对光线的依赖，无法对这些情况做出有效识别的问题。

技术研发人员：袁泉,闫如骏,徐少兵,许庆,王建强
受保护的技术使用者：清华大学
技术研发日：
技术公布日：2024/1/16