障碍物识别方法、设备及存储介质与流程

1.本技术涉及车辆避障技术，尤其涉及一种障碍物识别方法、设备及存储介质。


背景技术：

2.目前，智能驾驶(自动/无人驾驶)蓬勃发展，智能驾驶的应用越来越广泛，例如无人仓库中自主运货、地下停车场自主泊车等，智能驾驶所处的环境越来越复杂。
3.相关技术中，智能驾驶通常使用双目相机进行障碍物的识别，常用方案是利用双目相机获取双目图像，进而确定uv视差图，利用uv视差图进行障碍物识别。
4.然而，上述v视差和u视差结合的方案，对复杂场景的障碍物存在识别效果差的问题，并且需要额外的后处理算法进行像素平滑处理，处理过程复杂。


技术实现要素：

5.为解决现有技术中存在的问题，本技术提供一种障碍物识别方法、设备及存储介质。
6.第一方面，本技术实施例提供一种障碍物识别方法，该方法包括如下步骤：
7.对待处理双目图像进行深度估计，获得2d深度图；
8.将所述2d深度图转换为3d点云；
9.对所述3d点云进行障碍物聚类，确定每一类障碍物，并对聚类后前后帧中同一类障碍物进行关联，获得所述每一类障碍物的运动参数。
10.在一种可能的实现方式中，所述对所述3d点云进行障碍物聚类，包括：
11.去除所述3d点云中的离群点；
12.对去除离群点后的3d点云进行障碍物聚类。
13.在一种可能的实现方式中，所述将所述2d深度图转换为3d点云，还包括：
14.对所述2d深度图进行边缘去除处理；
15.将去除边缘后的2d深度图转换为所述3d点云。
16.在一种可能的实现方式中，所述对所述2d深度图进行边缘去除处理，包括：
17.对所述2d深度图进行边缘检测；
18.若检测所述2d深度图的边缘不完整，则去除所述2d深度图的边缘上的孤立点和连续间断点；
19.将去除孤立点和连续间断点的边缘，向内外均匀膨胀预设数目个像素，获得所述2d深度图的边缘掩膜；
20.根据所述边缘掩膜，在所述2d深度图上进行边缘掩膜去除处理。
21.在一种可能的实现方式中，所述去除所述3d点云中的离群点，包括：
22.对所述3d点云中每个点的邻域进行统计分析，确定所述3d点云中每个点与其邻域中各个点之间的平均距离，其中，所述每个点的邻域中包括预设数目个点；
23.从所述每个点中确定所述平均距离在预设距离范围之外的点，所述预设距离范围
根据所述平均距离的分布确定；
24.将确定的点作为所述离群点，去除所述3d点云中的所述离群点。
25.在一种可能的实现方式中，所述对待处理双目图像进行深度估计，获得2d深度图，包括：
26.将所述待处理双目图像输入预设卷积神经网络，所述预设卷积神经网络通过参考双目图像和所述参考双目图像对应的参考2d深度图训练得到；
27.根据所述预设卷积神经网络的输出，获得所述2d深度图。
28.在一种可能的实现方式中，所述将所述2d深度图转换为3d点云，包括：
29.根据2d到3d的转换矩阵，将所述2d深度图转换为所述3d点云，所述2d到3d的转换矩阵根据获取所述待处理双目图像的双目图像获取装置的焦距和主点坐标确定。
30.在一种可能的实现方式中，所述运动参数包括运动速度和运动方向；
31.所述对聚类后前后帧中同一类障碍物进行关联，获得所述每一类障碍物的运动参数，包括：
32.确定聚类后前后帧中同一类障碍物之间的欧氏距离，以及所述前后帧中同一类障碍物的质心位置；
33.根据所述欧氏距离和所述前后帧的采集帧率，获得所述每一类障碍物的运动速度，并根据所述质心位置，获得所述每一类障碍物的运动方向。
34.第二方面，本技术实施例提供一种障碍物识别装置，包括：
35.获得模块，用于对待处理双目图像进行深度估计，获得2d深度图；
36.转换模块，用于将所述2d深度图转换为3d点云；
37.聚类关联模块，用于对所述3d点云进行障碍物聚类，确定每一类障碍物，并对聚类后前后帧中同一类障碍物进行关联，获得所述每一类障碍物的运动参数。
38.在一种可能的实现方式中，所述聚类关联模块，具体用于：
39.去除所述3d点云中的离群点；
40.对去除离群点后的3d点云进行障碍物聚类。
41.在一种可能的实现方式中，所述转换模块，具体用于：
42.对所述2d深度图进行边缘去除处理；
43.将去除边缘后的2d深度图转换为所述3d点云。
44.在一种可能的实现方式中，所述转换模块，具体用于：
45.对所述2d深度图进行边缘检测；
46.若检测所述2d深度图的边缘不完整，则去除所述2d深度图的边缘上的孤立点和连续间断点；
47.将去除孤立点和连续间断点的边缘，向内外均匀膨胀预设数目个像素，获得所述2d深度图的边缘掩膜；
48.根据所述边缘掩膜，在所述2d深度图上进行边缘掩膜去除处理。
49.在一种可能的实现方式中，所述聚类关联模块，具体用于：
50.对所述3d点云中每个点的邻域进行统计分析，确定所述3d点云中每个点与其邻域中各个点之间的平均距离，其中，所述每个点的邻域中包括预设数目个点；
51.从所述每个点中确定所述平均距离在预设距离范围之外的点，所述预设距离范围
根据所述平均距离的分布确定；
52.将确定的点作为所述离群点，去除所述3d点云中的所述离群点。
53.在一种可能的实现方式中，所述获得模块，具体用于：
54.将所述待处理双目图像输入预设卷积神经网络，所述预设卷积神经网络通过参考双目图像和所述参考双目图像对应的参考2d深度图训练得到；
55.根据所述预设卷积神经网络的输出，获得所述2d深度图。
56.在一种可能的实现方式中，所述转换模块，具体用于：
57.根据2d到3d的转换矩阵，将所述2d深度图转换为所述3d点云，所述2d到3d的转换矩阵根据获取所述待处理双目图像的双目图像获取装置的焦距和主点坐标确定。
58.在一种可能的实现方式中，所述运动参数包括运动速度和运动方向；
59.所述聚类关联模块，具体用于：
60.确定聚类后前后帧中同一类障碍物之间的欧氏距离，以及所述前后帧中同一类障碍物的质心位置；
61.根据所述欧氏距离和所述前后帧的采集帧率，获得所述每一类障碍物的运动速度，并根据所述质心位置，获得所述每一类障碍物的运动方向。
62.第三方面，本技术实施例提供一种障碍物识别设备，包括：
63.处理器；
64.存储器；以及
65.计算机程序；
66.其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如第一方面所述的方法的指令。
67.第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得服务器执行第一方面所述的方法。
68.本技术实施例提供的障碍物识别方法、设备及存储介质，该方法通过对待处理双目图像进行深度估计，获得2d深度图，进而，将该2d深度图转换为3d点云，即模仿激光雷达的伪雷达信号，再对去该伪雷达信号进行障碍物聚类，并对聚类后前后帧中同一类障碍物进行关联，获得聚类后每一类障碍物的运动参数，其中，伪雷达信号相对于雷达信号，重建得到障碍物的点更加稠密，便于进行障碍物的聚类，提高障碍物识别效果，另外，上述处理过程中无需额外的后处理算法进行像素平滑处理，从而，解决利用uv视差图进行障碍物识别，存在识别效果差、处理过程复杂的问题，进而，提高智能驾驶的安全性。
附图说明
69.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
70.图1为本技术实施例提供的障碍物识别系统架构示意图；
71.图2为本技术实施例提供的一种障碍物识别方法的流程示意图；
72.图3为本技术实施例提供的一种3d点云示意图；
73.图4为本技术实施例提供的一种离群点示意图；
74.图5为本技术实施例提供的一种去除离群点的3d点云示意图；
75.图6为本技术实施例提供的另一种障碍物识别方法的流程示意图；
76.图7为本技术实施例提供的一种对2d深度图进行边缘去除的流程示意图；
77.图8为本技术实施例提供的一种对2d深度图进行边缘检测后的示意图；
78.图9为本技术实施例提供的一种边缘掩膜的示意图；
79.图10为本技术实施例提供的一种在2d深度图上进行边缘掩膜去除后的示意图；
80.图11为本技术实施例提供的另一种去除离群点的3d点云示意图；
81.图12为本技术实施例提供的再一种障碍物识别方法的流程示意图；
82.图13为本技术实施例提供的一种2d深度图示意图；
83.图14为本技术实施例提供的又一种障碍物识别方法的流程示意图；
84.图15为本技术实施例提供的一种障碍物识别装置的结构示意图；
85.图16为本技术提供的一种障碍物识别设备的基本硬件架构示意图。
具体实施方式
86.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
87.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”及“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
88.相关技术中，智能驾驶通常使用双目相机进行障碍物的识别，常用方案是：由双目相机获取左右目图像，利用匹配算法计算uv视差图，并进行预处理；在视差图上统计v视差，进行hough变换处理，检测出道路斜线，障碍物垂直线，其交点为障碍物y方向的位置信息；在视差图上统计u视差，进行hough变换，检测横向直线即为障碍物x方向的位置信息；对uv视差图获取的障碍物坐标信息，进行匹配筛选。
89.然而，v视差和u视差结合的方案，对复杂场景的障碍物存在识别效果差的问题，并且需要额外的后处理算法进行像素平滑处理，处理过程复杂。原因是：v视差上利用hough变换提取相关线时容易受到噪声与阈值的影响，精度较低，如果提取失败，就会导致整个算法无效。u视差上由于同一个障碍物会存在微小的视差变化，使用hough变换提取相关线会形成直线簇，难以确定障碍物的具体位置。而且视差图的精度直接影响到最后识别障碍物的精度。一般方法得到的视差图会在特征不明显的地方产生空洞，如果空洞处恰巧存在障碍物，对于智能驾驶来说十分危险。
90.因此，本技术实施例提出一种障碍物识别方法，对双目图像进行深度估计，在将深
度估计获得的2d深度图转换为3d点云后，即模仿激光雷达的伪雷达信号后，对该伪雷达信号进行障碍物聚类关联，识别出每一类障碍物及其运动参数，提高了障碍物识别的准确性，另外，上述处理过程中无需额外的后处理算法进行像素平滑处理，处理过程简单，进而，提高了智能驾驶的安全性。
91.本技术实施例提供的障碍物识别方法可应用在智能驾驶系统中的路面障碍物识别，例如在无人仓库中自主运货、地下停车场自主泊车等场景中的障碍物识别判断，具体场景可以根据实际情况确定，本技术实施例对此不做特别限制。
92.可选地，图1为障碍物识别系统架构示意图。在图1中，以智能驾驶系统在地下停车场自主泊车场景中的障碍物识别判断为例，上述架构包括双目图像获取装置，例如双目相机11，以及处理装置12和显示装置13。
93.可以理解的是，本技术实施例示意的结构并不构成对障碍物识别系统架构的具体限定。在本技术另一些可行的实施方式中，上述架构可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置，具体可根据实际应用场景确定，在此不做限制。图1所示的部件可以以硬件，软件，或软件与硬件的组合实现。
94.在具体实现过程中，双目相机11和显示装置13可以设置车辆上，处理装置12可以设置在车辆的智能驾驶系统中。
95.在地下停车场自主泊车过程中，双目相机11获取地下停车场的双目图像(左右目图像)，并将获取的双目图像发送至处理装置12。
96.处理装置12使用上述双目图像进行深度估计，并且，在将深度估计获得的2d深度图转换为3d点云后，即模仿激光雷达的伪雷达信号后，对该伪雷达信号进行障碍物聚类关联，识别地下停车场中的障碍物，从而，可以控制车辆避障，完成自主泊车。
97.显示装置13可以用于对上述障碍物识别结果等进行显示。
98.显示装置还可以是触摸显示屏，用于在显示的上述内容的同时接收用户指令，以实现与用户的交互。
99.应理解，上述处理装置12可以通过读取存储器中的指令并执行指令的方式实现，也可以通过芯片电路实现。
100.另外，本技术实施例描述的系统架构以及业务场景是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
101.下面以几个实施例为例对本技术的技术方案进行描述，对于相同或相似的概念或过程可能在某些实施例不再赘述。
102.图2为本技术实施例提供了一种障碍物识别方法的流程示意图，本实施例的执行主体可以为图1所示实施例中的处理装置，如图2所示，该方法可以包括：
103.s201：对待处理双目图像进行深度估计，获得2d深度图。
104.其中，上述待处理双目图像可以根据实际情况确定，例如上述地下停车场自主泊车场景中地下停车场的双目图像，本技术实施例对此不做特别限制。
105.上述处理装置对待处理双目图像进行深度估计，即从2d双目图像估计深度，获得2d深度图。
106.s202：将上述2d深度图转换为3d点云。
107.这里，上述处理装置可以将上述2d深度图转换为3d点云，即模仿激光雷达的伪雷达信号。
108.示例性的，上述处理装置可以根据2d到3d的转换矩阵，将上述2d深度图转换为3d点云，上述2d到3d的转换矩阵根据获取上述待处理双目图像的双目图像获取装置，例如上述双目相机的焦距和主点坐标确定。
109.这里，上述焦距为通过双目相机标定得到去畸变与行校准之后的有效焦距fx、fy。上述处理装置首先根据上述双目相机的有效焦距fx、fy和主点坐标cx、cy，确定2d到3d的转换矩阵，进而，利用2d到3d的转换矩阵将双目预测的深度图转换成3d点云，模仿激光雷达的伪雷达信号，例如，如图3所示，图3为转换的3d点云示意图，即模仿激光雷达的伪雷达信号示意图。
110.s203：对上述3d点云进行障碍物聚类，确定每一类障碍物，并对聚类后前后帧中同一类障碍物进行关联，获得上述每一类障碍物的运动参数。
111.在一些可行的实施例中，上述对上述3d点云进行障碍物聚类，可以包括：去除上述3d点云中的离群点，对去除离群点后的3d点云进行障碍物聚类。
112.从图3中可以看出，双目生成的伪雷达信号中离群点较多，如图中圈出部分所示，这些离群点往往是由于上述预测深度图含有误差而导致的。图中的这些离群点对于后续的操作完全没有任何意义，甚至会产生不利的影响。因此，这里考虑去除3d点云中的离群点，即去除伪雷达信号中的离群点，避免其对后续处理的不利影响。
113.示例性的，上述处理装置在去除上述3d点云中的离群点时，对上述3d点云中每个点的邻域进行统计分析，确定上述3d点云中每个点与其邻域中各个点之间的平均距离，其中，上述每个点的邻域中包括预设数目个点。进而，从上述每个点中确定平均距离在预设距离范围之外的点，将确定的点作为上述离群点，去除上述3d点云中的离群点。
114.其中，上述预设数目可以根据实际情况确定，例如上述每个点的邻域中包括15个点或30个点等，本技术实施例对此不做特别限制。
115.上述预设距离范围根据上述平均距离的分布对应的均值和方差确定，例如，上述3d点云中各个点与其邻域中各个点之间的平均距离的分布为高斯分布，高斯分布的均值为μ和方差为σ，上述预设距离范围可以根据均值μ和方差σ确定，进一步地，上述预设距离范围可以根据表达式μ+std_mul*σ确定，其中，std_mul为方差倍数的阈值。
116.上述处理装置从上述3d点云的每个点中确定平均距离在上述预设距离范围之外的点，将其视为离群点，例如图4所示处理装置确定的离群点，从而，处理装置去除上述3d点云中的这些离群点，得到去除离群点的3d点云，即去除离群点的伪雷达信号，如图5所示。
117.其中，上述运动参数包括运动速度和运动方向。
118.上述处理装置可以采用聚类算法，对去除离群点后的3d点云进行障碍物聚类，确定每一类障碍物，然后将前后帧中相同的一类障碍物进行关联，可以选取障碍物包络盒(包围障碍物的一个长方体)的质心坐标作为该障碍物的三维坐标。在前后帧中，如果属于同一个障碍，则确定同一个障碍物之间的欧氏距离，即计算质心与质心之间的欧氏距离，根据采集的帧率，最终即可换算成运动速度，并根据前后帧中同一类障碍物的质心位置，即前后帧包络盒质心位置的变化趋势，确定每一类障碍物的运动方向。
119.在本技术实施例中，上述处理装置可以在确定每一类障碍物之后，给每一类障碍物分配一个身份标识，例如id，数量从1依次累加，从而方便相关人员及时了解识别到的障碍物信息。
120.在一些可行的实施例中，在上述对去除离群点后的3d点云进行障碍物聚类之前，可以通过设置一定的高度阈值来去除天空和地面，把天空和地面之间的3d点云，即伪雷达信号，作为障碍物检测的范围。
121.本技术实施例通过对待处理双目图像进行深度估计，获得2d深度图，进而，将该2d深度图转换为3d点云，即模仿激光雷达的伪雷达信号，再去除该伪雷达信号中的离群点，对去除离群点后的伪雷达信号进行障碍物聚类，并对聚类后前后帧中同一类障碍物进行关联，获得聚类后每一类障碍物的运动参数，其中，本技术实施例去除伪雷达信号的离群点，使得物体的轮廓更加清晰可分，提高聚类的准确性，并且伪雷达信号相对于雷达信号，重建得到障碍物的点更加稠密，便于进行障碍物的聚类，另外，上述处理过程中无需额外的后处理算法进行像素平滑处理，从而，解决利用uv视差图进行障碍物识别，存在识别效果差、处理过程复杂的问题，进而，提高智能驾驶的安全性。
122.另外，本技术实施例上述仅仅依靠设置某一个距离范围来去除离群点有可能是不够的，如图5中圈出部分所示，上述处理装置在去除上述3d点云中的离群点后，原图片中大量的离群点被去除掉，但是仍然有一些离群点没有被去除，这样在后面进行障碍物检测时，有可能将两个障碍物检测为一个，这对于避障是极为不利的。导致上述问题的主要原因是在上述场景中离群点的离散程度不一样，设置同样的距离范围后，有些区域的离群点是比较难被去除的，例如离散程度较大的3d点云中的点往往分布在视差不连续的区域，这些区域大都是物体的边缘处。如果阈值设置较大，即大部分点的平均距离在预设距离范围之内，没有被视为离群点，保留下来。如果阈值设置较小，即大部分点的平均距离在预设距离范围之外，可以去除，但是可能会造成障碍物内部的一些点也会被视为离群点进行去除，对于进行障碍物检测也是极为不利的。
123.考虑到上述离散程度较大的3d点云中的点往往分布在视差不连续的区域，这些区域大都是物体的边缘处，所以本技术实施例考虑在将上述2d深度图转换为3d点云之前，去除2d深度图的边缘，从而，将去除边缘后的2d深度图转换为3d点云，去除该3d点云中影响障碍物检测的离群点，提高后续障碍物识别的准确性。图6为本技术实施例提出的另一种障碍物识别方法的流程示意图。如图6所示，该方法包括：
124.s601：对待处理双目图像进行深度估计，获得2d深度图。
125.其中，步骤s601与上述步骤s201的实现方式相同，此处不再赘述。
126.s602：对上述2d深度图进行边缘去除处理。
127.示例性的，如图7所示，上述处理装置在对上述2d深度图进行边缘去除处理时，可以首先在上述2d深度图上进行边缘检测(比如canny)，如图8所示。如果边缘检测得到的边界并不完整，通过去除孤立点和连接间断点，再利用形态学算法，向内向外均匀膨胀预设数目个像素，得到一个边缘掩膜，如图9所示。然后按照边缘掩膜，例如按照边缘掩膜的位置在上述2d深度图上进行边缘掩膜去除，如图10所示。
128.其中，上述向内向外均匀膨胀的预设数目个像素可以根据实际情况确定，例如2-3个像素，本技术实施例对此不做特别限制。
129.s603：将去除边缘后的2d深度图转换为3d点云。
130.其中，步骤s603与上述步骤s202的实现方式类似，此处不再赘述。
131.s604：去除上述3d点云中的离群点。
132.这里，以上述地下停车场自主泊车场景为例，上述处理装置对上述2d深度图进行边缘去除处理，图形的边缘同比例地去掉一圈，其检测到的障碍物的包络盒可能会减小，但是其包络盒变化较小，且其质心变化不大，对于后续识别障碍物，确定障碍物的运动速度和运动方向影响不大。因此本技术实施例可以首先对2d深度图进行边缘去除，后续再去除根据去除边缘后的2d深度图转换的3d点云中的离群点。示例性的，上述根据去除边缘后的2d深度图转换的3d点云，即伪雷达信号中仍然会有一些离散程度较小的点，这里再配合进行离群点去除，如图11所示，处理之后的3d点云中物体之间可以清晰地被分开，有利于进行后续聚类操作，提高后续处理的准确性。
133.s605：对去除离群点后的3d点云进行障碍物聚类，确定每一类障碍物，并对聚类后前后帧中同一类障碍物进行关联，获得上述每一类障碍物的运动参数。
134.其中，步骤s605与上述步骤s203的实现方式类似，此处不再赘述。
135.本技术实施例采用2d深度图边缘去除和3d点云离群点去除相结合的方法，去除3d点云中影响障碍物检测的离群点，提高后续障碍物识别的准确性，而且本技术实施例伪雷达信号相对于雷达信号，重建得到障碍物的点更加稠密，便于进行障碍物的聚类，另外，上述处理过程中无需额外的后处理算法进行像素平滑处理，从而，解决利用uv视差图进行障碍物识别，存在识别效果差、处理过程复杂的问题，进而，提高智能驾驶的安全性。
136.另外，本技术实施例在对待处理双目图像进行深度估计，获得2d深度图时，考虑使用卷积神经网络作为双目深度估计的算法。图12为本技术实施例提出的再一种障碍物识别方法的流程示意图。如图12所示，该方法包括：
137.s1201：将待处理双目图像输入预设卷积神经网络，该预设卷积神经网络通过参考双目图像和参考双目图像对应的参考2d深度图训练得到。
138.这里，上述预设卷积神经网络可以通过输入参考双目图像，输出参考双目图像对应的参考2d深度图训练得到。
139.相关技术中，双目立体匹配一般是先得到视差图，进而得到深度图，本技术实施例通过上述预设卷积神经网络，直接回归每一个像素点所代表的深度值。这样一方面可以一定程度地提高远处深度预测的精度，另一方面使整个障碍物识别实现起来更加简洁，简化中间过程，可以一定程度地提高预测效率。
140.s1202：根据上述预设卷积神经网络的输出，获得待处理双目图像的2d深度图。
141.示例性的，上述处理装置根据上述预设卷积神经网络的输出，获得待处理双目图像的2d深度图如图13所示。
142.另外，在本技术实施例中，上述预设卷积神经网络可以融合语义分割的网络，这样可以提高物体边缘的深度预测精度。
143.在上述预设卷积神经网络的设计方面，本技术实施例可以选择精度较高的模型作为替代，考虑到成本和效率，也可以采用一些轻量化的网络，例如mobilenet，或者将原模型进行适当地压缩，具体可以根据实际情况确定，本技术实施例对此不做特别限制。
144.s1203：将上述2d深度图转换为3d点云。
145.s1204：对上述3d点云进行障碍物聚类，确定每一类障碍物，并对聚类后前后帧中同一类障碍物进行关联，获得上述每一类障碍物的运动参数。
146.其中，步骤s1203-s1204与上述步骤s202-s203的实现方式相同，此处不再赘述。
147.本技术实施例深度估计通过双目深度预测网络，即上述预设卷积神经网络，使得回归的深度更加准确，而且本技术实施例伪雷达信号相对于雷达信号，重建得到障碍物的点更加稠密，便于进行障碍物的聚类，另外，上述处理过程中无需额外的后处理算法进行像素平滑处理，从而，解决利用uv视差图进行障碍物识别，存在识别效果差、处理过程复杂的问题，提高智能驾驶的安全性。
148.另外，本技术实施例不仅考虑在将上述2d深度图转换为3d点云之前，去除2d深度图的边缘，而且在对上述3d点云进行障碍物聚类时，去除上述3d点云中的离群点，并在对待处理双目图像进行深度估计，获得2d深度图时，还考虑使用卷积神经网络作为双目深度估计的算法。图14为本技术实施例提出的又一种障碍物识别方法的流程示意图。如图14所示，该方法包括：
149.s1401：将待处理双目图像输入预设卷积神经网络，该预设卷积神经网络通过参考双目图像和参考双目图像对应的参考2d深度图训练得到。
150.s1402：根据上述预设卷积神经网络的输出，获得上述待处理双目图像的2d深度图。
151.s1403：对上述2d深度图进行边缘去除处理。
152.示例性的，上述处理装置可以对上述2d深度图进行边缘检测，如果检测上述2d深度图的边缘不完整，则去除上述2d深度图的边缘上的孤立点和连续间断点，进而，将去除孤立点和连续间断点的边缘，向内外均匀膨胀预设数目个像素，获得2d深度图的边缘掩膜，根据该边缘掩膜，在上述2d深度图上进行边缘掩膜去除处理。
153.s1404：将去除边缘后的2d深度图转换为3d点云。
154.s1405：去除上述3d点云中的离群点。
155.这里，上述处理装置可以首先对2d深度图进行边缘去除，后续再去除根据去除边缘后的2d深度图转换的3d点云中的离群点。示例性的，上述根据去除边缘后的2d深度图转换的3d点云，即伪雷达信号中仍然会有一些离散程度较小的点，这里再配合进行离群点去除，如图11所示，处理之后的3d点云中物体之间可以清晰地被分开，有利于进行后续聚类操作，提高后续处理的准确性。
156.s1406：对去除离群点后的3d点云进行障碍物聚类，确定每一类障碍物，并对聚类后前后帧中同一类障碍物进行关联，获得上述每一类障碍物的运动参数。
157.本技术实施例使用卷积神经网络作为双目深度估计的算法，不仅可以提高远处深度预测的精度，还可以使整个障碍物识别实现起来更加简洁，简化中间过程，一定程度地提高预测效率，而且本技术实施例采用2d深度图边缘去除和3d点云离群点去除相结合的方法，去除3d点云中影响障碍物检测的离群点，提高后续障碍物识别的准确性，另外本技术实施例伪雷达信号相对于雷达信号，重建得到障碍物的点更加稠密，便于进行障碍物的聚类，上述处理过程中无需额外的后处理算法进行像素平滑处理，从而，解决利用uv视差图进行障碍物识别，存在识别效果差、处理过程复杂的问题，提高智能驾驶的安全性。
158.对应于上文实施例的障碍物识别方法，图15为本技术实施例提供的障碍物识别装
置的结构示意图。为了便于说明，仅示出了与本技术实施例相关的部分。图15为本技术实施例提供的一种障碍物识别装置的结构示意图，该障碍物识别装置150包括：获得模块1501、转换模块1502以及聚类关联模块1503。这里的障碍物识别装置可以是上述处理装置本身，或者是实现上述处理装置的功能的芯片或者集成电路。这里需要说明的是，获得模块、转换模块以及聚类关联模块的划分只是一种逻辑功能的划分，物理上两者可以是集成的，也可以是独立的。
159.其中，获得模块1501，用于对待处理双目图像进行深度估计，获得2d深度图。
160.转换模块1502，用于将所述2d深度图转换为3d点云。
161.聚类关联模块1503，用于对去除离群点后的3d点云进行障碍物聚类，确定每一类障碍物，并对聚类后前后帧中同一类障碍物进行关联，获得所述每一类障碍物的运动参数。
162.在一种可能的实现方式中，所述聚类关联模块1503，具体用于：
163.去除所述3d点云中的离群点；
164.对去除离群点后的3d点云进行障碍物聚类。
165.在一种可能的实现方式中，所述转换模块1502，具体用于：
166.对所述2d深度图进行边缘去除处理；
167.将去除边缘后的2d深度图转换为所述3d点云。
168.在一种可能的实现方式中，所述转换模块1502，具体用于：
169.对所述2d深度图进行边缘检测；
170.若检测所述2d深度图的边缘不完整，则去除所述2d深度图的边缘上的孤立点和连续间断点；
171.将去除孤立点和连续间断点的边缘，向内外均匀膨胀预设数目个像素，获得所述2d深度图的边缘掩膜；
172.根据所述边缘掩膜，在所述2d深度图上进行边缘掩膜去除处理。
173.在一种可能的实现方式中，所述聚类关联模块1503，具体用于：
174.对所述3d点云中每个点的邻域进行统计分析，确定所述3d点云中每个点与其邻域中各个点之间的平均距离，其中，所述每个点的邻域中包括预设数目个点；
175.从所述每个点中确定所述平均距离在预设距离范围之外的点，所述预设距离范围根据所述平均距离的分布确定；
176.将确定的点作为所述离群点，去除所述3d点云中的所述离群点。
177.在一种可能的实现方式中，所述获得模块1501，具体用于：
178.将所述待处理双目图像输入预设卷积神经网络，所述预设卷积神经网络通过参考双目图像和所述参考双目图像对应的参考2d深度图训练得到；
179.根据所述预设卷积神经网络的输出，获得所述2d深度图。
180.在一种可能的实现方式中，所述转换模块1502，具体用于：
181.根据2d到3d的转换矩阵，将所述2d深度图转换为所述3d点云，所述2d到3d的转换矩阵根据获取所述待处理双目图像的双目图像获取装置的焦距和主点坐标确定。
182.在一种可能的实现方式中，所述运动参数包括运动速度和运动方向；
183.所述聚类关联模块1503，具体用于：
184.确定聚类后前后帧中同一类障碍物之间的欧氏距离，以及所述前后帧中同一类障
碍物的质心位置；
185.根据所述欧氏距离和所述前后帧的采集帧率，获得所述每一类障碍物的运动速度，并根据所述质心位置，获得所述每一类障碍物的运动方向。
186.本技术实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本技术实施例此处不再赘述。
187.可选地，图16示意性地分别提供本技术所述障碍物识别设备的一种可能的基本硬件架构。
188.参见图16，障碍物识别设备包括至少一个处理器1601以及通信接口1603。进一步可选的，还可以包括存储器1602和总线1604。
189.其中，障碍物识别设备中，处理器1601的数量可以是一个或多个，图16仅示意了其中一个处理器1601。可选地，处理器1601，可以是中央处理器(central processing unit，cpu)、图形处理器(graphics processing unit，gpu)或者数字信号处理器(digital signal processor，dsp)。如果障碍物识别设备具有多个处理器1601，多个处理器1601的类型可以不同，或者可以相同。可选地，障碍物识别设备的多个处理器1601还可以集成为多核处理器。
190.存储器1602存储计算机指令和数据；存储器1602可以存储实现本技术提供的上述障碍物识别方法所需的计算机指令和数据，例如，存储器1602存储用于实现上述障碍物识别方法的步骤的指令。存储器1602可以是以下存储介质的任一种或任一种组合：非易失性存储器(例如只读存储器(rom)、固态硬盘(ssd)、硬盘(hdd)、光盘)，易失性存储器。
191.通信接口1603可以为所述至少一个处理器提供信息输入/输出。也可以包括以下器件的任一种或任一种组合：网络接口(例如以太网接口)、无线网卡等具有网络接入功能的器件。
192.可选的，通信接口1603还可以用于障碍物识别设备与其它计算设备或者终端进行数据通信。
193.进一步可选的，图16用一条粗线表示总线1604。总线1604可以将处理器1601与存储器1602和通信接口1603连接。这样，通过总线1604，处理器1601可以访问存储器1602，还可以利用通信接口1603与其它计算设备或者终端进行数据交互。
194.在本技术中，障碍物识别设备执行存储器1602中的计算机指令，使得障碍物识别设备实现本技术提供的上述障碍物识别方法，或者使得障碍物识别设备部署上述的障碍物识别装置或上述图像处理装置。
195.从逻辑功能划分来看，示例性的，如图16所示，存储器1602中可以包括获得模块1501、转换模块1502以及聚类关联模块1503。这里的包括仅仅涉及存储器中所存储的指令被执行时可以分别实现获得模块、转换模块、去除模块以及聚类关联模块的功能，而不限定是物理上的结构。
196.另外，上述的障碍物识别设备除了可以像上述图16通过软件实现外，也可以作为硬件模块，或者作为电路单元，通过硬件实现。
197.本技术提供一种计算机可读存储介质，所述计算机程序产品包括计算机指令，所述计算机指令指示计算设备执行本技术提供的上述障碍物识别方法。
198.本技术提供一种芯片，包括至少一个处理器和通信接口，所述通信接口为所述至
少一个处理器提供信息输入和/或输出。进一步，所述芯片还可以包含至少一个存储器，所述存储器用于存储计算机指令。所述至少一个处理器用于调用并运行该计算机指令，以执行本技术提供的上述障碍物识别方法。
199.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
200.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
201.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。