一种障碍物检测方法、装置、设备以及存储介质与流程

1.本公开涉及图像处理技术领域，尤其涉及自动驾驶、自动泊车等领域。


背景技术：

2.障碍物检测是实现车辆使用的关键组成部分，例如，障碍物检测是车辆行驶、车辆停放等过程中的重要内容，它可以影响车辆行驶、车辆停放的安全性和可靠性。


技术实现要素：

3.本公开提供了一种障碍物检测方法、装置、设备以及存储介质。
4.根据本公开的第一方面，提供了一种障碍物检测方法，包括：
5.获取车身周围图像；
6.确定所述车身周围图像中的障碍物接地点；
7.将图像坐标系下的障碍物接地点进行坐标转化，得到格子地图坐标系下各障碍物接地点的位置；
8.基于各障碍物接地点的位置，确定格子地图中各像素的占用概率，所述占用概率表示所述像素被障碍物占用的概率，所述格子地图中一个格子对应一个像素；
9.基于格子地图中各像素的占用概率对多个像素进行聚类，得到障碍物检测结果。
10.根据本公开的第二方面，提供了一种障碍物检测装置，包括：
11.获取模块，用于获取车身周围图像；
12.第一确定模块，用于确定所述车身周围图像中的障碍物接地点；
13.转换模块，用于将图像坐标系下的障碍物接地点进行坐标转化，得到格子地图坐标系下各障碍物接地点的位置；
14.第二确定模块，用于基于各障碍物接地点的位置，确定格子地图中各像素的占用概率，所述占用概率表示所述像素被障碍物占用的概率，所述格子地图中一个格子对应一个像素；
15.聚类模块，用于基于格子地图中各像素的占用概率对多个像素进行聚类，得到障碍物检测结果。
16.根据本公开的第三方面，提供了一种电子设备，包括：
17.至少一个处理器；以及
18.与所述至少一个处理器通信连接的存储器；其中，
19.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。
20.根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的方法。
21.根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面所述的方法。
22.根据本公开的第六方面，提供了一种车辆，包括：如第三方面所述的电子设备。
23.根据本公开的第七方面，提供了一种云控平台，包括如第三方面所述的电子设备。
24.本公开实现了对车身周围的障碍物的检测。
25.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
26.附图用于更好地理解本方案，不构成对本公开的限定。其中：
27.图1是本公开实施例提供的障碍物检测方法的流程图；
28.图2是本公开实施例中通过检测网络对车身周围图像进行检测的示意图；
29.图3是本公开实施例中不同坐标系间关系示意图；
30.图4是本公开实施例中确定占用概率的示意图；
31.图5是本公开实施例中不同时刻对应的格子地图的示意图；
32.图6是本公开实施例中针对格子地图进行融合的示意图；
33.图7是应用本公开实施例的障碍物检测方法的示意图；
34.图8是本公开实施例中输出障碍物检测结果的示意图；
35.图9是本公开实施例提供的障碍物检测装置的结构示意图；
36.图10是用来实现本公开实施例的障碍物检测方法的电子设备的框图。
具体实施方式
37.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
38.本公开实施例提供了一种障碍物检测方法，可以包括：
39.获取车身周围图像；
40.确定车身周围图像中的障碍物接地点；
41.将图像坐标系下的障碍物接地点进行坐标转化，得到格子地图坐标系下各障碍物接地点的位置；
42.基于各障碍物接地点的位置，确定格子地图中各像素的占用概率，占用概率表示像素被障碍物占用的概率，格子地图中一个格子对应一个像素；
43.基于格子地图中各像素的占用概率对多个像素进行聚类，得到障碍物检测结果。
44.本公开实施例实现了对车身周围的障碍物的检测，可以为安全驾驶如安全自动驾驶提供保障。
45.图1是本公开实施例提供的障碍物检测方法的流程图，参照图1，本公开实施例提供的障碍物检测方法可以包括：
46.s101，获取车身周围图像。
47.车身周围图像即车辆周围的图像，可以包括车身周围环境信息。
48.可以通过激光雷达、相机等采集车身周围图像。
49.可以获取一个或多个车身周围图像。
50.s102，确定车身周围图像中的障碍物接地点。
51.障碍物接地点也即障碍物的接地点，可以理解为障碍物与地面的接触点。
52.一种可实现方式中，s102可以包括：
53.将车身周围图像输入预设检测网络，通过预设检测网络输出车身周围图像中各点的接地点分数，接地点分数表示点为障碍物接地点的分数；基于接地点分数确定车身周围图像中的障碍物接地点。
54.基于接地点分数确定车身周围图像中的障碍物接地点可以包括：选取接地点分数达到预设分数的点作为障碍物接地点。或者，从车身周围图像的每一列中均选取预设个点组成障碍物接地点。
55.例如，针对每列，对该列中点的接地点分数进行从高到低或者从低到高进行排序，若按照从高到低的顺序进行排序，则选择排序在前的预设个接地点分数对应的点；若按照从低到高的顺序进行排序，则选择排序在后的预设个接地点分数对应的点，将从每列中选取的点组合，得到障碍物接地点。其中，从每列中选择点的数量，也即预设个点的数量，可以根据实际需求或经验确定。一个例子中，针对每列，从该列中选取接地点分数最高的点。
56.预设检测网络可以是预先训练好的检测网络。具体地，可以获取多个样本车身周围图像，对每个样本车身周围图像进行标注，标注出样本车身周围图像对应的接地点分数，即样本车身周围图像对应的接地点分数真值。然后，将一个样本车身周围图像和该样本车身周围图像对应的接地点分数真值作为一个样本对，基于多个样本对对神经网络模型进行训练，得到检测网络。具体地，将样本对输入神经网络模型，得到神经网络模型的输出，将该输出与该样本对对应的接地点分数真值进行比对，如计算两者之间的差异，并基于该差异调整模型参数，当满足训练结束条件时，得到训练好的检测网路，训练结束条件可以包括训练次数达到预设训练次数或基于一样本对得到的差异小于预设阈值。
57.通过检测网络可以方便、准确地确定车身周围图像中各点的接地点分数，使得基于接地点分数确定车身周围图像中的障碍物接地点更加方便，也使得确定的障碍物接地点更加准确。
58.一种可实现方式中，检测网络的网络结构可以包括“backbone(骨干网络)”和“head(检测头)”，骨干网络也称为主干网络，主要用于特征提取，提取不同尺度、不同感受野下、不同类别的目标特征，以满足目标检测。检测头主要用于预测目标的结果，如车身周围图像中点的接地点分数。一个例子中，backbone使用resent50，经过backbone后得到feature pyramid(特征金字塔)，对feature pyramid的每一层进行上采样(resize)，尺寸最大的特征图尺寸(金字塔最下边一层)保持一致。然后拼接成一个tensor(张量)，接下来经过一个decode_conv(卷积核的尺寸是1*1或者3*3可选)，其中卷积核的尺寸可以根据实际需求选取，如可以是1*1或者3*3，卷积后的结果经过head，预测出结果。
59.如图2所示，本公开实施例中检测网络除了可以预测车身周围图像中点的接地点分数(pts_sorce)，还可以预测其他信息，具体地，检测网络中包括五个head，卷积后的结果分别经过五个head，预测出对应的结果。例如，预测得到接地点分数(pts_sorce)，障碍物接地点由于缩放产生的偏差(pts_bias)，障碍物接地点的类别(pts_class)，障碍物接地点和框中心的x方向偏差(pts_offset_x)，障碍物接地点和框中心的y方向偏差(pts_offset_
y)。其中，障碍物接地点的类别表示障碍物类别，框中心表示障碍物检测框的中心。另外，可以将五个head得到的结果组合以输出vis(visual identity system，视觉识别系统)识别结果。
60.s103，将图像坐标系下的障碍物接地点进行坐标转化，得到格子地图坐标系下各障碍物接地点的位置。
61.不同坐标系之间存在转换关系，基于坐标系间的转换关系，将图像坐标系下的障碍物接地点进行坐标转化，得到格子地图坐标系下各障碍物接地点的位置。
62.一种可选地实施例中，s103可以包括：
63.将相机坐标系下的障碍物接地点投影到球面坐标系，得到球面坐标系下各障碍物接地点；利用几何相似关系，计算球面坐标系下各障碍物接地点在地面坐标系下的坐标；将各障碍物接地点在地面坐标系下的坐标进行坐标转换，得到格子地图坐标系下各障碍物接地点的位置。
64.简单理解，像素坐标先投影到球面，得到在球面上的三维坐标，然后利用几何相似关系如三角形相似计算出地面上的点的三维坐标，再将地面坐标系下的坐标转换到格子地图坐标系。
65.基于不同坐标系间的关系，可以方便地得到格子地图下障碍物接地点的位置。
66.如图3所示，坐标系o-xyz代表相机的坐标系，地面坐标系的xoy平面与地面(ground plane)重合，z轴垂直于地面。p点表示地面上的障碍物，也可以理解为p点是障碍物接地点。ouv代表成像平面，保存图像时相机还会对图片进行反转，实际p’是p点的像素位置。通过图中的几何关系可以得到三角形的相似关系xp,yp代表p点在地面坐标系中的坐标，通过三角形相似可以解算出。x
imu_ground
、y
imu_ground
、z
imu_ground
、o
imu_ground
表示地面坐标系,xq,yq、zq表示p点在球面坐标系中的坐标。
67.s104，基于各障碍物接地点的位置，确定格子地图中各像素的占用概率。
68.占用概率表示像素被障碍物占用的概率。
69.格子地图中一个格子对应一个像素，确定格子地图中各像素的占用概率也即确定各格子的占用概率。
70.格子地图坐标系下各障碍物接地点的位置也可以理解为各障碍物接地点在格子地图中所处的像素。
71.一种可选地实施例中，s104可以包括：
72.针对各障碍物接地点的位置，连接格子地图坐标系的原点与位置，得到接地点连线；选取格子地图中与接地点连线之间的角度小于预设角度的像素区域；确定像素区域中与位置之间的距离小于预设距离的像素，并将像素区域中与位置之间的距离小于预设距离的像素作为待更新像素；增大待更新像素的占用概率。
73.具体地，可以预设一初始占用概率，先初始化格子地图中各像素的占用概率均为该初始占用概率；针对一障碍物接地点的位置，在确定像素区域中与位置之间的距离小于预设距离的像素之后，在初始占用概率的基础上，增大像素区域中与该位置之间的距离小于预设距离的像素的占用概率。例如，在初始占用概率的基础上增加预设概率。其中，预设概率可以根据实际需求或经验等确定，如0.5等等，增大占用概率也可以理解为更新占用概
率。如此，得到基于该障碍物接地点的位置确定的格子地图中各像素的占用概率。在此基础上，针对其他障碍物接地点的位置(所有障碍物接地点的位置中除上述障碍物接地点的位置之外的位置)，采用与基于该障碍物接地点的位置确定格子地图中各像素的占用概率相同的方式，确定格子地图中各像素的占用概率，即基于一个障碍物接地点的位置得到对应地像素区域中与位置之间的距离小于预设距离的像素之后，在基于前一个障碍物接地点的位置确定的格子地图中各像素的占用概率的基础上，增大待更新像素的占用概率，当基于所有的障碍物接地点的位置，均增大了格子地图中各像素的占用概率，则得到最终的格子地图中各像素的占用概率。
74.基于一个障碍物接地点的位置确定格子地图中各像素的占用概率的过程如图4所示，连接格子地图坐标系的原点与位置，得到接地点连线，如位置p，连接op，然后选取格子地图中与接地点连线之间的角度小于预设角度的像素区域，如选取与原点连线和op夹角小于1度的像素区域如区域401，区域401的像素中和p点距离小于一个阈值的像素占有概率增加0.5。从图中直观来看，弧线402内像素的概率增加0.5。
75.可以基于各障碍物接地点的位置，方便、准确地更新格子地图中各像素的占用概率。
76.s105，基于格子地图中各像素的占用概率对多个像素进行聚类，得到障碍物检测结果。
77.本公开实施例中不对聚类的方式作限制，任何可以实现像素聚类的方式均在本公开实施例的保护范围内。
78.例如，像素聚类可以采用超像素聚类、k-means聚类方式、bfs(宽度优先搜索，breadth first search)算法等，其中，k-means聚类指的是以空间中k个点为中心进行聚类。
79.障碍物检测结果可以是聚类得到的凸包。
80.得到障碍物检测结果后，可以输出该障碍物检测结果，例如，输出格子地图中聚类得到的凸包。
81.可以根据障碍物检测结果对车辆的行驶、停放等进行决策和控制，例如，自动驾驶车辆得到障碍物检测结果后，可以控制车辆避开该障碍物一继续前行，提高行驶的安全性。
82.一种可选地实施例中s105可以包括：
83.针对各像素，响应于像素的占用概率大于预设占用概率阈值，遍历像素的邻域，并将邻域中占用概率大于预设占用概率阈值的邻域像素存储至像素对应的簇中；基于簇中的邻域像素进行聚类，得到像素对应的聚类结果；结合各像素对应的聚类结果，得到障碍物检测结果。
84.预设占用概率阈值可以根据实际需求或经验等确定。邻域像素可以包括与该像素在预设范围内的像素。
85.例如，遍历格子地图中的每一个像素，如果该像素的“占用概率”超过设定的阈值，即预设占用概率阈值，则维护一个cluster(簇)，然后遍历这个像素的临域，临域中有符合的像素(邻域中占用概率大于预设占用概率阈值的像素)就保存进cluster，每访问到cluster中的一个像素就弹出该像素，cluster中的元素个数减少为零后该像素的循环结束，聚合出该点附近的阈值超过设定阈值的像素，针对每个像素均执行该过程，则可以生成
polygon(多边形)，即可实现结合各像素对应的聚类结果，得到障碍物检测结果。
86.通过簇可以使得聚类更容易实现，能够更方便地进行聚类，且对占用概率大于预设占用概率阈值的像素的邻域进行聚类，使得得到的障碍物检测结果更加准确。
87.一种可选地实施例中，s101可以包括：
88.获取多个车身周围图像；
89.s105可以包括：
90.将多个时刻分别对应的格子地图进行对齐，得到多个对齐的像素；针对每个对齐的像素，对对齐的像素在不同格子地图中的占用概率进行融合，得到融合后占用概率；基于融合后占用概率，对多个对齐的像素进行聚类，得到障碍物检测结果。
91.多个车身周围图像可以包括多个时刻采集得到的车身周围图像，例如，针对多个时刻，选取每一时刻采集的一个车身周围图像，组成多个车身周围图像。
92.每个时刻对应的格子地图，即该时刻的车身周围图像所对应的格子地图。例如，将车身周围图像进行坐标转换得到格子地图坐标系下的图像即该车身周围图像所对应的格子地图。
93.将多个时刻分别对应的格子地图进行对齐，得到多个对齐的像素，可以以一帧格子地图为基准，针对该帧格子地图中每个像素，依次从其他帧格子地图中查找与该像素对齐的像素。具体地，可以根据车辆的行驶信息，如行驶速度、方向等确定当前时刻对应的格子地图中的像素在下一时刻对应的格子地图中的像素。
94.以两帧格子地图进行对齐为例进行说明：计算前后两个时序(如相邻时序)对应的格子地图中像素的对应关系，即将两个时刻分别对应的格子地图进行对齐，得到多个对齐的像素。例如，可以将格子地图坐标系下的像素转换至世界坐标系下以方便计算。可以将格子地图坐标系下的像素转换至世界坐标系下以方便计算。
95.针对每个对齐的像素，对对齐的像素在不同格子地图中的占用概率进行融合，得到融合后占用概率，可以通过如下公式计算：
[0096][0097]
其中，为融合后占用概率，p
t-1
t-1时刻格子地图中像素的占用概率，与p
t-1
对齐的t时刻格子地图中像素的占用概率。
[0098]
得到融合后占用概率后，将上述基于格子地图中各像素的占用概率对多个像素进行聚类，得到障碍物检测结果过程中，聚类所基于的格子地图中各像素的占用概率替换为融合后占用概率，具体地，针对各对齐的像素，响应于对齐的像素的占用概率大于预设占用概率阈值，遍历对齐的像素的邻域，并将邻域中占用概率大于预设占用概率阈值的邻域像素存储至对齐的像素对应的簇中；基于簇中的邻域像素进行聚类，得到对齐的像素对应的聚类结果；结合各对齐的像素对应的聚类结果，得到障碍物检测结果。
[0099]
如图5所示不同时刻对应不同的格子地图，t时刻对应的格子地图为map
t
，t-1时刻对应的格子地图为map
t-1
图5中o
t-1
与o
t
之间的箭头表示车辆的移动。对对齐的像素在不同格子地图中的占用概率进行融合，得到融合后占用概率；基于融合后占用概率，对多个对齐的像素进行聚类，得到障碍物检测结果，聚类得到的障碍物检测结果如图6所示。
[0100]
结合多个车身周围图像，针对多个格子地图对齐的像素，对对齐的像素在不同格子地图中的占用概率进行融合，基于融合后占用概率，对多个对齐的像素进行聚类，得到障碍物检测结果，能够提高得到的障碍物检测结果的准确性。
[0101]
一种可选地实施例中，可以通过鱼目相机采集车身周围图像，s101包括获取鱼目相机采集的车身周围图像。
[0102]
将相机坐标系下的障碍物接地点投影到球面坐标系，得到球面坐标系下各障碍物接地点，包括：
[0103]
将鱼目相机坐标系下的障碍物接地点投影到球面坐标系，得到球面坐标系下各障碍物接地点。
[0104]
具体地，获取鱼目相机采集的车身周围图像，确定车身周围图像中的障碍物接地点，将鱼目相机坐标系下的障碍物接地点投影到球面坐标系，得到球面坐标系下各障碍物接地点，利用几何相似关系，计算球面坐标系下各障碍物接地点在地面坐标系下的坐标；将各障碍物接地点在地面坐标系下的坐标进行坐标转换，得到格子地图坐标系下各障碍物接地点的位置，基于各障碍物接地点的位置，确定格子地图中各像素的占用概率，基于各障碍物接地点的位置，确定格子地图中各像素的占用概率。
[0105]
简单理解，即针对鱼目相机采集的车身周围图像执行步骤s102至s105。
[0106]
通过鱼目相机采集车身周围图像，并对采集到的图像进行处理，以检测车身周围的障碍物，因为鱼目相机的视场范围较大，可以针对激光雷达、普通相机等采集不到的位置的障碍物进行采集，如此，能够填补激光雷达、普通相机对障碍物检测存在的盲区，为安全自动驾驶提供保障。
[0107]
相关技术中，自动驾驶过程中可以采用激光雷达实现车身周围环境的感知，多线激光雷达可以通过点云数据可以检测出车身周围障碍物的三维信息。但是，由于激光雷达存在盲区，一般情况下在车身周围六米以内的区域、近处低矮的障碍物，激光雷达不能实现较好的感知，如此会使得车身近处的障碍物无法检测，而且多线激光雷达的成本较高。
[0108]
本公开实施例中使用鱼目相机，检测出近处盲区障碍物的接地点，感知出盲区障碍物的位置，为安全自动驾驶提供保障，另外，能够降低障碍物检测的成本。
[0109]
本公开实施例中针对鱼目相机采集的车身周围图像，直接进行处理，无需先对鱼目相机采集的图像进行解畸变，使得计算过程复杂度较低，计算量比较小。
[0110]
本公开实施例能够有效地感知车身周围的环境信息，准确的报出自动驾驶汽车周围的障碍物信息，使用针对鱼目相机车身周围360度都可以报出障碍物信息，有效解决了常用传感器(多线激光雷达，普通相机)的盲区问题，为自动驾驶提供安全保障。
[0111]
一个具体的例子中，如图7所示。
[0112]
通过鱼目相机采集车身周围图像。
[0113]
通过鱼眼镜头，如鱼眼前视、鱼眼左视、鱼眼右视、鱼眼后视采集车身周围图像。
[0114]
将车身周围图像输入预设检测网络，通过预设检测网络输出车身周围图像中各点的接地点分数，接地点分数表示点为障碍物接地点的分数；基于接地点分数确定车身周围图像中的障碍物接地点。
[0115]
检测网络中包括五个head，卷积后的结果分别经过五个head，预测出对应的结果。例如，障碍物接地点由于缩放产生的偏差(pts_bias)，障碍物接地点的类别(pts_class)，
障碍物接地点和框中心的x方向偏差(pts_offset_x)，障碍物接地点和框中心的y方向偏差(pts_offset_y)。其中，障碍物接地点的类别表示障碍物类别，框中心表示障碍物检测框的中心，另外，可以将五个head得到的结果组合以输出vis(visual identity system，视觉识别系统)识别结果。
[0116]
将图像坐标系下的障碍物接地点进行坐标转化，得到格子地图坐标系下各障碍物接地点的位置；基于各障碍物接地点的位置，确定格子地图中各像素的占用概率，占用概率表示像素被障碍物占用的概率，格子地图中一个格子对应一个像素；基于格子地图中各像素的占用概率对多个像素进行聚类，得到障碍物检测结果。
[0117]
具体地，将采集到的将车身周围图像输入预先训练好的预设检测网络，得到针对各个点的检测结果(包括：接地点的分数，接地点由于缩放产生的偏差，接地点的类别，接地点和框中心的x方向偏差，接地点和框中心的y方向偏差)；利用检测结果确定多个障碍物接地点以及聚类得到多个目标中心点(障碍物框的中心点)；将图像坐标系下的障碍物接地点进行坐标转化，得到格子地图坐标系下各个障碍物接地点的位置；针对每个障碍物接地点，确定需更新占用概率的范围，即确定待更新像素，然后对该范围内的像素的占用概率进行更新(如增大)，然后，基于该格子地图中各像素的占用概率对多个像素进行聚类，得到障碍物检测结果；或者，确定多个时刻对应的格子地图，然后，先对多个格子地图进行对齐，对对齐的像素的占用概率进行融合，利用融合后的占用概率对对齐的像素进行聚类，得到障碍物检测结果。其中，可以具体地，遍历第一个head输出的tender的每一列，找出最大的pts_sorce的位置，这个位置被认为是障碍物接地点，然后通过尺度变换(图片的缩放比以及第二个head输出的偏差)把位置转化到原图中。由于特征图到尺寸是输入图大小的1/4，因此转化到原图后不是每一列都有障碍物接地点，间隔若干列会有一个障碍物接地点报出。在解算位置后，根据位置信息把这个障碍物接地点的类别(第三个head的输出)也取出来，得到这个障碍物接地点到类别。根据最后两个head的输出，用meanshift算法聚合出目标物体中心(障碍物中心)。得到障碍物接地点后，根据障碍物接地点的位置在最后两个head的输出中取出偏移量，根据偏移量可以得到多个中心点，然后使用meanshift算法，对这些点进行聚合，得到最后的中心点位置。中心点位置以及障碍物接地点的信息可以传给下游融合模块以及pnc(planning and control，规划与控制)模块，自动驾驶汽车可以根据这些信息进行运动。
[0118]
根据每个格子的占用概率可以用于确定障碍物位置，即基于格子地图中各像素的占用概率对多个像素进行聚类，得到障碍物检测结果。其它信息如类别，传感器名，分数等，也可以和占用概率以及得到的障碍物检测结果一起传给融合模块，与点云信息进行融合。障碍物检测结果具体可以是聚类出的凸包。如图8所示，以6层格子地图的形式输出障碍物相关信息，其中，聚合出的凸包即上述得到的障碍物检测结果；类别表示障碍物的类别，分数每个点为障碍物接地点的分数，类别和分数通过上述预设检测网络可以得到；传感器名可以表示鱼眼相机的型号等。
[0119]
本公开实施例通过鱼目相机实现车身周围环境的感知，基于鱼目相机采集的车身周围图像检测出障碍物的接地点，再通过多视几何的方法计算出障碍物接地点在地面坐标系下的坐标，再聚合成凸包进行报出，鱼目相机的视场范围较大，可以填补激光雷达和普通相机的盲区，对于进入这些盲区的障碍物(比如锥形路障)，可以报出障碍物相关信息，避免
安全事故。
[0120]
对应于上述实施例提供的障碍物检测方法，本公开实施例还提供了一种障碍物检测装置，如图9所示，可以包括：
[0121]
获取模块901，用于获取车身周围图像；
[0122]
第一确定模块902，用于确定车身周围图像中的障碍物接地点；
[0123]
转换模块903，用于将图像坐标系下的障碍物接地点进行坐标转化，得到格子地图坐标系下各障碍物接地点的位置；
[0124]
第二确定模块904，用于基于各障碍物接地点的位置，确定格子地图中各像素的占用概率，占用概率表示像素被障碍物占用的概率，格子地图中一个格子对应一个像素；
[0125]
聚类模块905，用于基于格子地图中各像素的占用概率对多个像素进行聚类，得到障碍物检测结果。
[0126]
可选地，第二确定模块904，具体用于针对各障碍物接地点的位置，连接格子地图坐标系的原点与位置，得到接地点连线；选取格子地图中与接地点连线之间的角度小于预设角度的像素区域；确定像素区域中与位置之间的距离小于预设距离的像素，并将像素区域中与位置之间的距离小于预设距离的像素作为待更新像素；增大待更新像素的占用概率。
[0127]
可选地，聚类模块905，具体用于针对各像素，响应于像素的占用概率大于预设占用概率阈值，遍历像素的邻域，并将邻域中占用概率大于预设占用概率阈值的邻域像素存储至像素对应的簇中；基于簇中的邻域像素进行聚类，得到像素对应的聚类结果；结合各像素对应的聚类结果，得到障碍物检测结果。
[0128]
可选地，获取模块901，具体用于获取多个车身周围图像；
[0129]
聚类模块905，具体用于将多个时刻分别对应的格子地图进行对齐，得到多个对齐的像素；针对每个对齐的像素，对对齐的像素在不同格子地图中的占用概率进行融合，得到融合后占用概率；基于融合后占用概率，对多个对齐的像素进行聚类，得到障碍物检测结果。
[0130]
可选地，第一确定模块902，具体用于将车身周围图像输入预设检测网络，通过预设检测网络输出车身周围图像中各点的接地点分数，接地点分数表示点为障碍物接地点的分数；基于接地点分数确定车身周围图像中的障碍物接地点。
[0131]
可选地，转换模块903，具体用于将相机坐标系下的障碍物接地点投影到球面坐标系，得到球面坐标系下各障碍物接地点；利用几何相似关系，计算球面坐标系下各障碍物接地点在地面坐标系下的坐标；将各障碍物接地点在地面坐标系下的坐标进行坐标转换，得到格子地图坐标系下各障碍物接地点的位置。
[0132]
可选地，获取模块901，具体用于获取鱼目相机采集的车身周围图像；
[0133]
转换模块903，具体用于将鱼目相机坐标系下的障碍物接地点投影到球面坐标系，得到球面坐标系下各障碍物接地点。
[0134]
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0135]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0136]
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0137]
如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(rom)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(ram)1003中的计算机程序，来执行各种适当的动作和处理。在ram 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、rom 1002以及ram 1003通过总线1004彼此相连。输入/输出(i/o)接口1005也连接至总线1004。
[0138]
设备1000中的多个部件连接至i/o接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0139]
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如障碍物检测方法。例如，在一些实施例中，障碍物检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由rom 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到ram 1003并由计算单元1001执行时，可以执行上文描述的障碍物检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行障碍物检测方法。
[0140]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0141]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0142]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供
指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0143]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0144]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0145]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0146]
本公开实施例还提供了一种车辆，包括：如图10实施例所示的电子设备。
[0147]
车辆可以包括自动驾驶汽车等等。
[0148]
本公开实施例还提供了一种云控平台，包括：如图10实施例所示的电子设备。
[0149]
云控平台在云端执行处理，云控平台包括的电子设备可以获取车辆的数据，例如图片和视频等，从而进行图像视频处理和数据计算；云控平台也可以称为车路协同管理平台、边缘计算平台、云计算平台、中心系统、云端服务器等。
[0150]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0151]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。