障碍物检测方法、装置、电子设备及存储介质与流程

1.本公开涉及无人驾驶车辆环境感知领域，尤其涉及一种障碍物检测方法、装置、电子设备及存储介质。


背景技术：

2.随着辅助驾驶技术的发展，出现了以相机作为传感器进行障碍物检测的方式。该方式主要是经由相机作为传感器获取车辆周围的环境图像，经由深度学习算法处理，对环境图像中的障碍物进行检测和识别。
3.目前，针对障碍物检测的深度学习算法，受限于检测的精度，对于小目标障碍物的检测效果差，容易出现漏检。通常的做法是通过增加算法模型的深度来提高检测的精度，提升对小目标障碍物的检测能力，但是这会导致计算量的显著增加。


技术实现要素：

4.本公开提供一种障碍物检测的方法，可以在没有显著增加计算量的提前下，提高检测精度，解决小目标障碍物容易漏检的问题。本公开的技术方案如下：
5.根据本公开实施例的第一方面，提供一种障碍物检测的方法，该方法包括：
6.获取待处理图像，对待处理图像进行特征提取，获取多个维度的矩阵特征，每个维度的矩阵特征对应不同的尺寸；
7.分别以每个维度的矩阵特征作为基准尺寸特征，将非基准尺寸特征进行特征缩放，得到各个基准尺寸特征对应的缩放特征；所述特征缩放是指将非基准尺寸特征对应的尺寸缩放为与所述基准尺寸特征对应的尺寸相同；所述非基准尺寸特征是指所述多个维度的矩阵特征中除作为基准尺寸特征以外的矩阵特征；
8.将所述基准尺寸特征与所述基准尺寸特征对应的缩放特征进行特征融合，得到所述基准尺寸特征对应的融合特征；
9.根据各个所述基准尺寸特征对应的融合特征对所述待处理图像进行处理，得到所述待处理图像中的障碍物检测结果。
10.根据本公开实施例的第一方面中，所述将所述基准尺寸特征与所述基准尺寸特征对应的缩放特征进行特征融合，得到所述基准尺寸特征对应的融合特征包括：
11.通过深度学习网络训练得到所述基准尺寸特征与所述基准尺寸特征所对应的缩放特征的权重系数；
12.使用所述权重系数对所述基准尺寸特征与所述基准尺寸特征所对应的缩放特征进行加权融合，得到加权融合后的融合特征。
13.根据本公开实施例的第一方面中，所述根据各个所述基准尺寸特征对应的融合特征对所述待处理图像进行处理，得到所述待处理图像中的障碍物检测结果包括：
14.使用深度学习网络模型对所述融合特征进行预测，获取包括障碍物是否存在的概率、障碍物预测类别、与所述障碍物预测类别对应的概率、障碍物坐标的障碍物信息；
15.将所述障碍物是否存在的概率与所述障碍物预测类别对应的概率进行相乘，得到相乘值，当所述相乘值满足设定的障碍物识别阈值时，输出所述障碍物的障碍物预测类别为障碍物类别，以及将所述障碍物对应的障碍物坐标作为第一障碍物坐标。
16.根据本公开实施例的第一方面中，所述根据各个所述基准尺寸特征对应的融合特征对所述待处理图像进行处理，得到所述待处理图像中的障碍物检测结果之后还包括：
17.求解当前帧中目标障碍物与历史帧中历史障碍物面积的交并比，以及所述目标障碍物的中心点与所述历史障碍物的中心点的欧式距离；
18.根据获得的当前帧中目标障碍物与历史帧中历史障碍物面积的交并比和所述目标障碍物的中心点与所述历史障碍物的中心点的欧式距离，采用最大匹配算法进行匹配；
19.对所述匹配满足预设的匹配阈值时，输出当前帧的障碍物类别及所述障碍物对应的障碍物坐标；
20.对输出的所述障碍物类别及所述障碍物对应的障碍物坐标和历史帧中历史障碍物类别及所述障碍物对应的障碍物坐标，使用滤波算法进行最优估计，得到当前帧检测的障碍物类别及将所述障碍物类别对应的障碍物坐标作为第二障碍物坐标。
21.根据本公开实施例的第一方面中，在得到所述当前帧中目标障碍物与历史帧中历史障碍物面积的交并比和所述目标障碍物的中心点与所述历史障碍物的中心点的欧式距离，所述方法还包括：
22.对所述根据当前帧中目标障碍物与历史障碍物面积的交并比和所述目标障碍物的中心点与所述历史障碍物的中心点的欧式距离分别进行加权，得到加权后的交并比和/或加权后的欧式距离；
23.所述根据获得的当前帧中目标障碍物与历史帧中历史障碍物面积的交并比和所述目标障碍物的中心点与所述历史障碍物的中心点的欧式距离，进行最大匹配包括：根据加权后的当前帧中目标障碍物与历史帧中历史障碍物面积的交并比和加权后所述目标障碍物的中心点与所述历史障碍物的中心点的欧式距离，进行最大匹配。
24.根据本公开实施例的第一方面中，采用下述方式获取所述获取待处理图像：
25.在共享内存中获取通过相机传感器采集而得到的图像数据；
26.将所述图像数据处理成指定像素大小的图像，得到待处理图像。
27.根据本公开实施例的第二方面，提供一种障碍物检测装置，该装置包括：
28.特征提取模块，用于获取待处理图像，对待处理图像进行特征提取，获取多个维度的矩阵特征，每个维度的矩阵特征对应不同的尺寸；
29.特征缩放模块，用于分别以每个维度的矩阵特征作为基准尺寸特征，将非基准尺寸特征进行特征缩放，得到各个基准尺寸特征对应的缩放特征；所述特征缩放是指将非基准尺寸特征对应的尺寸缩放为与所述基准尺寸特征对应的尺寸相同；所述非基准尺寸特征是指所述多个维度的矩阵特征中除作为基准尺寸特征以外的矩阵特征；
30.特征融合模块，用于将所述基准尺寸特征与所述基准尺寸特征对应的缩放特征进行特征融合，得到所述基准尺寸特征对应的融合特征；
31.障碍物检测模块，用于根据各个所述基准尺寸特征对应的融合特征对所述待处理图像进行处理，得到所述待处理图像中的障碍物检测结果。
32.根据本公开实施例的第三方面，提供一种电子设备，该设备包括处理器和用于存
储所述处理器可执行指令的存储器，该处理器被配置为执行以实现如上述第一方面所述的障碍物检测的方法的指令。
33.根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被该处理器执行时实现如上述第一方面所述的障碍物检测的方法。
34.根据本公开实施例的第五方面，提供一种计算机程序产品，该产品包括指令，该指令被执行时实现如上述第一方面所述的障碍物检测的方法。
35.本公开的实施例提供的技术方案至少带来以下有益效果：
36.本公开提供的实施例方案通过对不同尺寸大小的特征进行特征融合，将不同尺寸大小的特征进行了关联，从而兼顾并增强了小目标的深层语义信息和浅层表征信息。故，提高了对小目标障碍物的识别检测能力。
37.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
38.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
39.图1是根据一示例性实施例示出的一种障碍物检测方法的应用环境图。
40.图2是根据一示例性实施例示出的一种障碍物检测方法的流程图。
41.图3是根据一示例性实施例示出的一种障碍物检测方法的特征缩放和融合的流程图。
42.图4是根据一示例性实施例示出的一种障碍物检测方法的障碍物检测结果输出的流程图。
43.图5是根据一示例性实施例示出的一种障碍物检测方法的障碍物追踪的流程图。
44.图6是根据一示例性实施例示出的一种障碍物检测方法的获取待处理图像的流程图。
45.图7是根据一示例性实施例示出的一种障碍物检测装置的框图。
46.图8根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
47.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
48.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
49.还需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经
过各方充分授权的信息和数据。
50.本公开所提供的障碍物检测方法，可以应用于如图1所示的应用环境中。其中，车辆110通过网络与计算机设备120进行通信。车辆110获取所处道路环境图像，将获取到的道路环境图像上传至计算机设备120。一些实施方式中，计算机设备120可以获取到目标车辆所处的道路环境图像时，对该图像进行障碍物检测处理，得到目标车辆所处的道路环境图像中各目标物体对应的障碍物是否存在的概率、障碍物预测类别、与所述障碍物预测类别对应的概率、障碍物坐标的障碍物信息。可以根据障碍物是否存在的概率、与所述障碍物预测类别对应的概率，最终确定障碍物的类别。此外，计算机设备120还可以将对该障碍物的检测结果下发至目标车辆，以使目标车辆110可以根据该障碍物检测结果及时避开障碍物。
51.其中，目标车辆120可以但不限于是自动驾驶汽车，或带有自动驾驶或辅助驾驶的机动车等。当然，本公开所提供的障碍物检测方法、装置等也可以应用于非机动车、飞行器、轨道交通等交通工具。计算机设备可以是终端或服务器，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以是独立的物理服务器，也可以是由多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云存储、网络服务、云通信、大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以是有线或者无线的方式进行直接或者间接的连接，本公开在此不做限制。
52.一般的，小目标与常规目标相比可利用的像素较少，难以提取到较好的特征，而且随着深度神经网络层数的增加，小目标的特征信息与位置信息会出现丢失的现象，难以被网络检测，这些特性导致小目标同时需要深层语义信息与浅层表征信息。本公开提供的实施例方案可以通过对不同尺寸大小的特征进行特征融合，将不同尺寸大小的特征进行了关联，从而兼顾并增强了小目标的深层语义信息和浅层表征信息，提高了对小目标障碍物的识别检测能力。所述的小目标通常有多种定义方式，如可以是相对尺寸大小，如目标尺寸的长宽是原图像尺寸的0.1或者其他系数，在本公开的一些实施例中可认为是小目标。或者是绝对尺寸的定义，例如尺寸小于32*32像素的目标等，在本公开的一些实施例中可认为是小目标。
53.图2是根据一示例性实施例示出的一种障碍物检测方法的流程图，如图2所示，以障碍物检测方法用于计算机设备中，包括以下步骤。
54.在步骤s210中，获取待处理图像，对待处理图像进行特征提取，获取多个维度的矩阵特征，每个维度的矩阵特征对应不同的尺寸。
55.其中，待处理图像可以是由图像采集设备(如相机、摄像机等)采集车辆周围的道路环境信息得到的图像。可以采用传统的图像处理算法，处理成特定像素的图像。所述图像可以反应车辆周围的环境，比如车道和障碍物，障碍物包括行人、车辆、动物、路灯、行道树等。待处理图像的格式可以是图片，也可以是视频形式。对待处理图像进行特征提取可以是通过深度学习网络对其特征层进行提取。所述深度学习网络可以包括卷积神经网络、ssd(single shot multibox detector)、yolo(you only look once)等。其中，ssd为一种目标检测网络。所述多个维度通常可以包括2个或2个以上的指定维度。本公开不排除在一些实施例中所述的多个维度也可以包含1个维度的实施方式。维度通常由深度学习网络中的特征层层数决定。比如针对yolo(you only look once)通常使用的是3层的特征层，而针对ssd(single shot multibox detector)通常采用的是6层的特征层。通过深度学习网络对
特征层进行卷积等相关操作可以对图像提取出不同层的特征信息。每个维度的特征通常对应不同的尺寸大小，可以指每个维度的特征图的图像尺寸不同。由于输入图像上的不同目标的尺度差异较大，因而使用不同尺寸的特征可以更好的适应不同尺度的目标。
56.在一个实施例中，计算机设备将待处理图像作为开源目标检测算法yolov5(you only look once version 5)的输入，对图像进行特征提取，获取到3个不同层的特征，分别记为特征1，特征2，特征3。其中特征1的尺寸大于特征2的尺寸，特征2的尺寸大于特征3的尺寸。
57.在步骤s220中，分别以每个维度的矩阵特征作为基准尺寸特征，将非基准尺寸特征进行特征缩放，得到各个基准尺寸特征对应的缩放特征；所述特征缩放是指将非基准尺寸特征对应的尺寸缩放为与所述基准尺寸特征对应的尺寸相同；所述非基准尺寸特征是指所述多个维度的矩阵特征中除作为基准尺寸特征以外的矩阵特征；
58.其中，特征缩放可以包括特征缩小和特征放大两种方式。特征缩小可以是将大尺寸的特征缩小到与基准尺寸特征大小一致。特征放大可以是将小尺寸的特征放大到与基准尺寸特征尺寸一致。基准尺寸特征可以是任何一个特征，当以该特征作为基准尺寸进行特征缩放时，该特征即成为基准尺寸特征。
59.在一个实施例中，计算机设备通过yolov5(you only look once version 5)算法提取到3个不同层的特征，分别记为特征1，特征2，特征3，其中特征1的尺寸大于特征2的尺寸，特征2的尺寸大于特征3的尺寸。首先，以特征3为基准尺寸特征进行特征缩放，具体操作包括：将特征1尺寸缩小到与特征3的尺寸相同，得到缩小后的特征1；将特征2尺寸缩小到与特征3的尺寸相同，得到缩小后的特征2。其次，以特征2为基准尺寸特征进行特征缩放，具体操作包括：将特征1尺寸缩小到与特征2的尺寸相同，得到缩小后的特征1；将特征3尺寸放大到与特征2的尺寸相同，得到放大后的特征3。最后，以特征1为基准尺寸特征进行特征缩放，具体操作包括：将特征2尺寸放大到与特征1的尺寸相同，得到放大后的特征2；特征3尺寸放大到与特征1的尺寸相同，得到放大后的特征2。
60.在步骤s230中，将所述基准尺寸特征与所述基准尺寸特征对应的缩放特征进行特征融合，得到所述基准尺寸特征对应的融合特征；
61.其中，特征融合通常是将不同的特征层进行关联，从而丰富每个特征的信息。具体操作可以是将基准尺寸特征以外的特征层的信息融合入基准尺寸特征形成融合后的特征。
62.在步骤s240中，根据各个所述基准尺寸特征对应的融合特征对所述待处理图像进行处理，得到所述待处理图像中的障碍物检测结果。
63.其中，障碍物的检测结果可以包括目标障碍物的障碍物类别信息、障碍物的位置坐标信息等。
64.通过上述步骤，可以将获取到的图像进行特征提取处理，并将不同尺寸的矩阵特征进行融合，关联了不同特征之间的信息，使得特征融合对小目标检测可以同时兼顾较高的分辨率和较大的感受野，从而提高了小目标检测的检测能力。
65.在一示例性实施例中，如图3所示，在步骤s230中，将所述基准尺寸特征与所述基准尺寸特征对应的缩放特征进行特征融合，得到所述基准尺寸特征对应的融合特征，具体可以通过以下步骤实现：
66.在步骤s310中，通过深度学习网络训练得到所述基准尺寸特征与所述基准尺寸特
征所对应的缩放特征的权重系数；
67.其中，权重系数的取值通常是由深度学习网络训练过程中得到的。
68.在步骤s320中，使用所述权重系数对所述基准尺寸特征与所述基准尺寸特征所对应的缩放特征进行加权融合，得到加权融合后的融合特征。
69.其中，以3层特征层为例，加权融合的过程可以由以下方式进行：
70.首先，以特征3尺寸为基准尺寸来进行特征缩放，分别执行：
71.将特征1尺寸缩小到与特征3的尺寸相同，得到缩小后的特征1；
72.将特征2尺寸缩小到与特征3的尺寸相同，得到缩小后的特征2。
73.接着，按照融合公式1对特征3进行特征融合，该公式为：
74.融合后的特征3＝a3*缩小后的特征1+b3*缩小后的特征2+c3*特征3。
75.其中a3，b3，c3中各位置的取值是由网络训练过程中得到的。
76.接着，以特征2尺寸为基准尺寸来进行特征缩放，分别执行：
77.将特征1尺寸缩小到与特征2的尺寸相同，得到缩小后的特征1；
78.将特征3尺寸放大到与特征2的尺寸相同，得到放大后的特征3。
79.接着，按照融合公式2对特征2进行特征融合，该公式为：
80.融合后的特征2＝a2*缩小后的特征1+b2*特征2+c2*放大后的特征3。
81.其中a2，b2，c2中各位置的取值是由网络训练过程中得到的。
82.接着，以特征1尺寸为基准尺寸来进行特征缩放，分别执行：
83.将特征2尺寸放大到与特征1的尺寸相同，得到放大后的特征2；
84.将特征3尺寸放大到与特征1的尺寸相同，得到放大后的特征3。
85.接着，按照融合公式3对特征1进行特征融合，该公式为：
86.融合后的特征1＝a1*特征1+b1*放大后的特征2+c1*放大后的特征3。
87.其中a1，b1，c1中各位置的取值是由网络训练过程中得到的。
88.通过该实施例，可以利用权重系数，兼顾基准尺寸特征和缩放特征的特征信息，把两者的信息进行平衡，获取最终的融合特征。
89.在一示例性实施例中，如图4所示，在步骤s240中，根据各个所述基准尺寸特征对应的融合特征对所述待处理图像进行处理，得到所述待处理图像中的障碍物检测结果可以通过以下步骤实现：
90.在步骤s410中，可以使用深度学习网络模型对所述融合特征进行预测，获取包括障碍物是否存在的概率、障碍物预测类别、与所述障碍物预测类别对应的概率、障碍物坐标的障碍物信息；
91.其中，障碍物是否存在的概率，可以使用0
‑
1之间的小数表示，数值越大，越接近1，可以表示该目标为障碍物存在的概率越大。障碍物类别可以是行人，汽车，自行车，行道树，动物，路灯，指示牌等。障碍物类别对应的概率，通常是指识别到的障碍物为该类别的可能性。障碍物坐标，包括障碍物在图像画面中的横坐标和纵坐标，反应了障碍物所在的位置，也可以根据坐标计算出障碍物的尺寸。障碍物坐标可以包括障碍物的中心位置信息。障碍物信息还可以包括障碍物的速度和朝向。
92.在步骤s420中，将所述障碍物是否存在的概率与所述障碍物预测类别对应的概率进行相乘，得到相乘值，当所述相乘值满足设定的障碍物识别阈值时，输出所述障碍物的障
碍物预测类别为障碍物类别，以及将所述障碍物对应的障碍物坐标作为第一障碍物坐标。
93.其中，障碍物的判断通常需要借助障碍物是否存在的概率和障碍物预测类别对应的概率两个要素，当两者的乘积大于设定的阈值，可以判定为对应类别的障碍物。这个设定的阈值可以是经过网络学习得到。
94.通过该实施例，可以将图像中的障碍物与背景中的无关信息进行区分，使车辆准确识别障碍物，获取障碍物的信息。
95.在一示例性实施例中，如图5所示，在步骤s240根据所述融合特征对所述待处理图像进行处理，得到所述待处理图像中的障碍物检测结果之后还可以有以下步骤对输出结果作进一步处理：
96.在步骤s510中，求解当前帧中目标障碍物与历史帧中历史障碍物面积的交并比，以及所述目标障碍物的中心点与所述历史障碍物的中心点的欧式距离；
97.将当前帧中的目标障碍物与历史帧中的障碍物信息可以提取出来，对当前帧中的目标障碍物与历史帧中的障碍物计算交并比，交并比可以反应两个障碍物之间的重叠度。欧式距离是将当前帧中的障碍物与历史帧中的障碍物计算欧式距离，欧式距离可以反应两个目标障碍物之间的距离信息。在计算两个障碍物之间的交并比和/或欧式距离时，当前帧中的障碍物与历史帧中的障碍物可以没有对应关系。计算得到的交并比和/或欧式距离可以作为判断标准，作为下一步骤s520最大匹配算法的输入。
98.在步骤s520中，根据获得的当前帧中目标障碍物与历史帧中历史障碍物面积的交并比和所述目标障碍物的中心点与所述历史障碍物的中心点的欧式距离，采用最大匹配算法进行匹配；
99.其中，最大匹配算法可以是将当前帧中的目标障碍物与历史帧中的障碍物进行关联匹配。最大匹配算法可以包括匈牙利最大匹配算法。将上一步骤中计算得到的交并比和/或欧式距离可以作为匹配标准，输入给最大匹配算法进行计算和判断。进行最大匹配时，可以只采用交并比，也可以只采用欧式距离一项，也可以分别使用交并比或者欧式距离作为匹配标准进行两次匹配，得到满足两次匹配过程的匹配结果作为最大匹配的结果输出。
100.在步骤s530中，对所述匹配满足预设的匹配阈值时，输出当前帧的障碍物类别及所述障碍物对应的障碍物坐标；
101.其中，所述匹配满足预设的匹配阈值通常是指，最大匹配算法计算当前帧的目标障碍物和历史帧的目标障碍物，可以根据预先计算获得的交并比和/或欧式距离作为判断标准，输出匹配结果。
102.在步骤s540中，对输出的所述障碍物类别及所述障碍物对应的障碍物坐标和历史帧中历史障碍物类别及所述障碍物对应的障碍物坐标，使用滤波算法进行最优估计，得到当前帧检测的障碍物类别及将所述障碍物类别对应的障碍物坐标作为第二障碍物坐标。
103.其中，滤波算法是一种预测算法，基于观测值以及估计值二者的数据对真实值进行估计的算法，包括有卡尔曼滤波算法和粒子滤波算法，通过滤波算法可以实现对当前帧目标障碍物的追踪。
104.通过该实施例，可以对检测到的障碍物进行追踪和预测。
105.在一示例性实施例中，在步骤s520中，根据获得的当前帧中目标障碍物与历史帧中历史障碍物面积的交并比和所述目标障碍物的中心点与所述历史障碍物的中心点的欧
式距离，采用最大匹配算法进行匹配可以包括以下步骤对输出结果作进一步处理：
106.在步骤s610中，对所述根据当前帧中目标障碍物与历史障碍物面积的交并比和所述目标障碍物的中心点与所述历史障碍物的中心点的欧式距离分别进行加权，得到加权后的交并比和/或加权后的欧式距离；
107.其中，交并比和欧式距离之间也可以关联进行判断，关联的方式之一可以是采用加权的方式进行关联。
108.在步骤s620中，所述根据获得的当前帧中目标障碍物与历史帧中历史障碍物面积的交并比和所述目标障碍物的中心点与所述历史障碍物的中心点的欧式距离，进行最大匹配还包括：根据加权后的当前帧中目标障碍物与历史帧中历史障碍物面积的交并比和加权后所述目标障碍物的中心点与所述历史障碍物的中心点的欧式距离，进行最大匹配。
109.其中，在利用当前帧的目标障碍物和历史帧的目标障碍物进行最大匹配时，可以将交并比和欧式距离进行关联，并把关联的结果作为最大匹配的判断标准和输入。交并比和欧式距离的关联方式可以采用加权的方式进行。
110.通过该实施例，将欧式距离和交并比的结果进行加权，可以更加准确地判断当前帧的障碍物与历史帧障碍物的匹配度，所得的最大匹配结果与单一进行交并比或者单一进行欧式距离作为匹配标准相比，将有更好的准确性。也比使用欧式距离和交并比进行两次独立匹配，有更高的匹配效率。
111.在一示例性实施例中，如图6所示，在步骤s210中，对采用下述方式获取所述获取待处理图像还包括：
112.在步骤s710中，在共享内存中获取通过相机传感器采集而得到的图像数据；
113.其中，相机传感器是一种图像采集装置，可以是相机，可以是摄像机，也可以是其他采集视频或图像信息的系统。所述相机传感器可以内置在车辆里，也可以是外置的、且与目标车辆关联的图像采集系统，并通过有线或者无线的方式与计算机连接。所述共享内存可以是相机内置的存储器，也可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)、电可擦除可编程只读存储器(eeprom)、可擦除可编程只读存储器(eprom)、可编程只读存储器(prom)、只读存储器(rom)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器，也可以是云端的存储设备，并通过有线或者无线的方式与相机传感器或者计算机连接。
114.在步骤s720中，将所述图像数据处理成指定像素大小的图像，得到待处理图像。
115.其中，所述指定像素大小的图像可以包括1080p像素的图像，720p像素的图像，4k像素的图像等。所述的1080p像素的图像具体例如可以是指1920
×
1080像素的图像，所述的720p、4k像素等参考1080p的描述。
116.应该理解的是，虽然图2
‑
图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2
‑
图6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
117.可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见，每个实施例重点说明的是与其他实施例的不同之处，相关之处参见其他方法实施例的说明即可。
118.基于上述所述的障碍物检测方法的描述，本公开还提供障碍物检测装置。所述装置可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本公开实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的装置的实施可以参见前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
119.图7是根据一示例性实施例示出的一种障碍物检测的装置800的框图。参照图7，该装置包括特征提取模块810、特征缩放模块820、特征融合模块830、障碍物检测模块840。
120.所述特征提取模块810，被配置为用于获取待处理图像，对待处理图像进行特征提取，获取多个维度的矩阵特征，每个维度的矩阵特征对应不同的尺寸；
121.所述特征缩放模块820，被配置为用于分别以每个维度的矩阵特征作为基准尺寸特征，将非基准尺寸特征进行特征缩放，得到各个基准尺寸特征对应的缩放特征；所述特征缩放是指将非基准尺寸特征对应的尺寸缩放为与所述基准尺寸特征对应的尺寸相同；所述非基准尺寸特征是指所述多个维度的矩阵特征中除作为基准尺寸特征以外的矩阵特征；
122.所述征融合模块830，被配置为用于将所述基准尺寸特征与所述基准尺寸特征对应的缩放特征进行特征融合，得到所述基准尺寸特征对应的融合特征；
123.所述障碍物检测模块840，被配置为用于根据各个所述基准尺寸特征对应的融合特征对所述待处理图像进行处理，得到所述待处理图像中的障碍物检测结果。
124.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。上述装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
125.图8是根据一示例性实施例示出的一种用于障碍物检测的电子设备900的框图。例如，电子设备900可以是计算机、消息收发设备、平板设备等。
126.参照图8，电子设备可以包括以下一个或多个组件：处理组件910、存储器920、电源组件930、多媒体组件940、音频组件950、输入/输出(i/o)的接口960、传感器组件970、通信组件980以及处理器990。
127.处理组件910通常控制电子设备900的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件910可以包括一个或多个处理器990来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件910可以包括一个或多个模块，便于处理组件910和其他组件之间的交互。例如，处理组件910可以包括多媒体模块，以方便多媒体组件940和处理组件910之间的交互。
128.存储器920被配置为存储各种类型的数据以支持在电子设备900的操作。这些数据
的示例包括用于在电子设备900上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器920可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)、电可擦除可编程只读存储器(eeprom)、可擦除可编程只读存储器(eprom)、可编程只读存储器(prom)、只读存储器(rom)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。
129.电源组件930为电子设备900的各种组件提供电力。电源组件930可以包括电源管理系统，一个或多个电源，及其他与为电子设备900生成、管理和分配电力相关联的组件。
130.多媒体组件940包括在所述电子设备900和用户之间的提供输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件940包括前置摄像头和/或后置摄像头。当电子设备900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是固定的光学透镜系统或具有焦距和光学变焦能力。
131.音频组件950被配置为输出和/或输入音频信号。例如，音频组件950包括麦克风(mic)，当电子设备900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器920或经由通信组件980发送。在一些实施例中，音频组件950还包括扬声器，用于输出音频信号。
132.i/o接口960为处理组件910和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
133.传感器组件970包括一个或多个传感器，用于为电子设备900提供各个方面的状态评估。例如，传感器组件970可以检测到电子设备900的打开/关闭状态，组件的相对定位，例如所述组件为电子设备900的显示器和小键盘，传感器组件970还可以检测电子设备900或电子设备900组件的位置改变，用户与电子设备900接触的存在或不存在，电子设备900方位或加速/减速和电子设备900的温度变化。传感器组件970可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件970还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件970还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
134.通信组件980被配置为便于电子设备900和其他设备之间有线或无线方式的通信。电子设备900可以接入基于通信标准的无线网络，如wifi，运营商网络(如2g、3g、4g或5g)，或它们的组合。在一个示例性实施例中，通信组件980经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件980还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
135.在示例性实施例中，电子设备900可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
136.在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器920，上述指令可由电子设备900的处理器990执行以完成上述方法。例如，计算机可读存储介质可以是rom、随机存取存储器(ram)、cd
‑
rom、磁带、软盘和光数据存储设备等。
137.在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备900的处理器990执行以完成上述方法。
138.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
139.需要说明的，上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
140.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
141.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。