一种物体检测方法及装置与流程

文档序号:31709107发布日期:2022-10-04 15:38阅读:50来源:国知局
一种物体检测方法及装置与流程

1.本技术涉及数据处理技术领域,尤其涉及一种物体检测方法及装置。


背景技术:

2.在辅助驾驶、自动驾驶等智能驾驶领域,车辆在行驶过程中,通常需要利用自动驾驶系统或者先进驾驶辅助系统(advanced driver-assistance systems,adas)对当前行驶路况进行检测和判断,实现对一般障碍物的检测,从而有效躲避障碍物,保证车辆驾驶的安全性。
3.目前可以采用传统的图像处理方法或网络处理方法实现对障碍物的检测。其中,传统的图像处理方法基于图像处理算法、人工构造和提取特征等方式,能够对障碍物进行有针对性地筛选,但是该方法通常需要限定行车场景以及检测的障碍物类别,以保持特征的合理性,导致该方法通用性较差。网络处理方法以数据驱动为主要手段,通过机器学习进行特征构造和提取,具备一定的泛化性,但是对于与训练数据的特征差异较大的障碍物,存在一定程度的漏检。因此,目前进行障碍物检测的方法存在漏检、误检等问题,通用性较差。


技术实现要素:

4.本技术提供一种物体检测方法及装置,用以提高对图像中的物体进行检测的准确度和通用性。
5.第一方面,本技术提供一种物体检测方法,该方法包括:
6.对第一目标图像进行逆透视变换处理,得到第二目标图像,其中,所述第一目标图像为对包含至少一个目标物体的场景拍摄的图像,所述第二目标图像为所述第一目标图像映射到目标平面后得到的图像;对所述第二目标图像进行轮廓线提取处理,在所述第二目标图像中得到多个轮廓线段;在所述多个轮廓线段中,选择线段所在直线经过设定的目标点的多个线段;根据所述多个线段在所述第二目标图像的位置,将所述多个线段划分为至少一个线段集合,其中,不同线段集合包含的线段不同,任一个线段集合包含所述多个线段中的至少两个线段;针对每个线段集合执行以下步骤:将目标线段集合中包含的至少两个线段投影到所述第一目标图像中,得到至少两个投影线段;根据所述至少两个投影线段确定一个目标物体在所述第一目标图像中的位置,其中,所述目标线段集合为每个线段集合。
7.在该方法中,根据将第一目标图像投影到目标平面后得到的第二目标图像进行物体检测,可以充分利用到第一目标图像进行逆透视变换后图像中物体的轮廓尤其是物体的高度轮廓所呈现的仿射几何特征,对图像中的物体位置进行准确检测,能够提高物体检测的准确度,且该方法可实现对多种不同物体的检测,适用场景广泛,通用性良好。此外,该方法仅根据获取的一帧图像就能实现对图像中物体的准确检测,因此进行检测所需的成本较低。
8.在一种可能的设计中,根据所述多个线段在所述第二目标图像的位置,将所述多个线段划分为至少一个线段集合,包括:根据所述多个线段的起始端点在所述第二目标图
像的位置,对所述多个线段进行排序,其中,任一个线段的起始端点为所述线段的两个端点中距离所述目标点最近的一个端点;按照所述多个线段的排序,依次选择一个未被划分到线段集合的线段作为参考线段,并对所述参考线段执行以下划分过程:将所述多个线段中除所述参考线段和已被划分到线段集合的线段以外的其它线段作为待分线段;在所述待分线段中确定与所述参考线段之间的夹角小于设定阈值的目标线段,其中,所述目标线段中包含至少一个线段;计算将所述目标线段与所述参考线段归类于同一物体轮廓的误差参数;当所述误差参数小于或等于设定阈值时,将所述目标线段与所述参考线段划分到同一线段集合;当所述误差参数大于所述设定阈值时,不将所述目标线段与所述参考线段划分到同一线段集合,本次划分过程结束。
9.在该方法中,进行线段集合划分时,按照多个线段的顺序,分别选择一个线段以及较大概率与该线段属于同一物体轮廓线的线段组成线段集合,最终实现线段集合划分,将属于不同物体轮廓线的线段划分到不同集合中,一方面按照线段排序对线段进行处理,能够简便快速的进行线段集合划分,简化线段划分流程,提高线段集合划分的效率,另一方面,同一物体的轮廓线中线段的分布接近,按照线段位置进行线段集合划分能够线段集合划分的准确性。
10.在一种可能的设计中,根据所述多个线段的起始端点在所述第二目标图像的位置,对所述多个线段进行排序,包括:按照在所述第二目标图像中线段的起始端点顺时针或逆时针的位置分布顺序,对所述多个线段进行排序。
11.在该方法中,多个线段均是所在直线经过同一目标点的线段,因此,按照多个线段的起始端点的位置分布顺序,对多个线段进行排序后,在线段集合划分过程中选择参考线段对应的目标线段时,可以保证尽可能准确的选择到与参考线段临近且存在较大概率属于同一物体的线段。
12.在一种可能的设计中,计算将所述目标线段与所述参考线段归类于同一物体轮廓的误差参数,包括:根据设定数据模型,计算将所述目标线段与所述参考线段归类于同一物体轮廓的误差参数,其中,所述设定数据模型用于计算将多个线段归类于同一物体轮廓时存在的误差。
13.在该方法中,利用设定的数据模型可以快速准确的计算目标线段与参考线段属于同一物体轮廓的概率值。
14.在一种可能的设计中,计算将所述目标线段与所述参考线段归类于同一物体轮廓的误差参数,包括:对所述目标线段和所述参考线段执行多次计算过程,得到多个备选误差参数;其中,每次计算过程包括以下步骤:从所述目标线段中随机选择至少一个线段;将所述参考线段和从所述目标线段中随机选择的至少一个线段作为样本线段;计算所述样本线段对应的目标参数,根据所述目标参数确定备选误差参数;其中,所述目标参数:包括至少一项用于表征所述样本线段的几何分布特征的参数;确定所述多个备选误差参数中的最小值;将所述最小值作为将所述目标线段与所述参考线段归类于同一物体轮廓的误差参数。
15.在该方法中,通过多次重复计算目标线段与参考线段属于同一物体轮廓的概率值,选择得到的多个概率值中的最小值作为最终的判断依据,能够保证判断的准确度和可信度,通过多次重复计算的方式,降低单次计算的不确定性导致的误差或误判。
16.在一种可能的设计中,根据所述目标参数确定备选误差参数,包括:若所述目标参
数中仅包含一项用于表征所述样本线段的几何分布特征的参数,则将所述参数作为所述备选误差参数;若所述目标参数中包含多项用于表征所述样本线段的几何分布特征的参数,则根据所述目标参数中的多项参数对应的权重,对所述多项参数进行加权求和,得到所述备选误差参数。
17.在该方法中,将目标参数中的不同参数对应的权重应用到概率值确定中,使得具体实施中可以根据实际场景需求调整参考信息的侧重,进而灵活的进行线段集合划分,提高场景适应性。
18.在一种可能的设计中,所述样本线段中包含多个第一线段;所述目标参数包含如下至少一项:取值为1/(1+exp(-x))的参数,其中,exp()为以自然常数为底的指数函数,x为所述多个第一线段的比例参数的方差,任一个第一线段的比例参数为所述第一线段的长度与所述第一线段的终止端点到所述目标点的距离之间的比值,任一个第一线段的终止端点为所述第一线段的两个端点中距离所述目标点最远的一个端点;至少一个第二线段中包含的所有点的纹理方向值的方差,所述至少一个第二线段为按照所述多个第一线段在所述多个线段中的排序,依次连接所述多个第一线段的起始端点后得到的线段;所述至少一个第二线段中距离所述目标点最近的一个线段与所述目标点之间的距离;分别连接所述参考线段的两个端点与所述目标点后得到的两个线段之间的夹角。
19.在该方法中,目标参数包含线段集合中的线段的长度、纹理、角度等几何特征信息或几何分布特征信息,因此可以根据线段集合中的线段的各维度的特征信息,判断线段集合中的线段是否属于同一物体的轮廓线,提高判断的准确度,进而提高后续进行目标检测的准确度。
20.在一种可能的设计中,对所述第二目标图像进行轮廓线提取处理,在所述第二目标图形中得到多个轮廓线段,包括:对所述第二目标图像进行边缘轮廓检测,在所述第二目标图像中得到多个轮廓点;根据所述多个轮廓点,得到所述多个轮廓线段。
21.在该方法中,通过对图像进行轮廓提取处理,得到多个轮廓线段,进而能够根据所述多个轮廓线段确定对应不同物体的线段,进一步进行物体检测。
22.在一种可能的设计中,根据所述多个轮廓点,得到所述多个轮廓线段,包括:对所述多个轮廓点进行过滤,得到多个目标轮廓点;对所述多个目标轮廓点进行直线检测,得到所述多个轮廓线段;或者对所述多个轮廓点进行直线检测,得到所述多个轮廓线段。
23.在该方法中,通过对图像中的轮廓点进行过滤,能够滤除一些除需检测的目标物体之外的其它物体的轮廓点,减少这些轮廓点对目标检测过程的干扰,进而提高检测精度及效率。
24.在一种可能的设计中,对所述多个轮廓点进行过滤,包括:按照设定网格大小,将所述第二目标图像的图像区域划分为多个网格;利用设定的分类器,对所述多个网格中显示的物体进行分类;若在所述多个网格中,存在目标网格中显示的物体的类别为设定类别,则将位于所述目标网格中的轮廓点删除。
25.在该方法中,通过分类器可以对图像中像素点进行快速分类,通过将设定类别的物体所在区域的轮廓点删除,能够在不影响对需要检测的目标物体进行检测的同时,降低处理的轮廓点的数量,提高处理速度和效率。
26.第二方面,本技术提供一种物体检测装置,该装置包括:
27.透视变换单元,用于对第一目标图像进行逆透视变换处理,得到第二目标图像,其中,所述第一目标图像为对包含至少一个目标物体的场景拍摄的图像,所述第二目标图像为所述第一目标图像映射到目标平面后得到的图像;图像处理单元,用于对所述第二目标图像进行轮廓线提取处理,在所述第二目标图像中得到多个轮廓线段;选择单元,用于在所述多个轮廓线段中,选择线段所在直线经过设定的目标点的多个线段;划分单元,用于根据所述多个线段在所述第二目标图像的位置,将所述多个线段划分为至少一个线段集合,其中,不同线段集合包含的线段不同,任一个线段集合包含所述多个线段中的至少两个线段;定位单元,用于针对每个线段集合执行以下步骤:将目标线段集合中包含的至少两个线段投影到所述第一目标图像中,得到至少两个投影线段;根据所述至少两个投影线段确定一个目标物体在所述第一目标图像中的位置,其中,所述目标线段集合为每个线段集合。
28.在一种可能的设计中,所述物体检测装还包括获取单元,所述获取单元用于获取所述第一目标图像。
29.在一种可能的设计中,所述划分单元根据所述多个线段在所述第二目标图像的位置,将所述多个线段划分为至少一个线段集合时,具体用于:根据所述多个线段的起始端点在所述第二目标图像的位置,对所述多个线段进行排序,其中,任一个线段的起始端点为所述线段的两个端点中距离所述目标点最近的一个端点;按照所述多个线段的排序,依次选择一个未被划分到线段集合的线段作为参考线段,并对所述参考线段执行以下划分过程:将所述多个线段中除所述参考线段和已被划分到线段集合的线段以外的其它线段作为待分线段;在所述待分线段中确定与所述参考线段之间的夹角小于设定阈值的目标线段,其中,所述目标线段中包含至少一个线段;计算将所述目标线段与所述参考线段归类于同一物体轮廓的误差参数;当所述误差参数小于或等于设定阈值时,将所述目标线段与所述参考线段划分到同一线段集合;当所述误差参数大于所述设定阈值时,不将所述目标线段与所述参考线段划分到同一线段集合,本次划分过程结束。
30.在一种可能的设计中,所述划分单元根据所述多个线段的起始端点在所述第二目标图像的位置,对所述多个线段进行排序时,具体用于:按照在所述第二目标图像中线段的起始端点顺时针或逆时针的位置分布顺序,对所述多个线段进行排序。
31.在一种可能的设计中,所述划分单元计算将所述目标线段与所述参考线段归类于同一物体轮廓的误差参数时,具体用于:根据设定数据模型,计算将所述目标线段与所述参考线段归类于同一物体轮廓的误差参数,其中,所述设定数据模型用于计算将多个线段归类于同一物体轮廓时存在的误差。
32.在一种可能的设计中,所述划分单元计算将所述目标线段与所述参考线段归类于同一物体轮廓的误差参数时,具体用于:对所述目标线段和所述参考线段执行多次计算过程,得到多个备选误差参数;其中,每次计算过程包括以下步骤:从所述目标线段中随机选择至少一个线段;将所述参考线段和从所述目标线段中随机选择的至少一个线段作为样本线段;计算所述样本线段对应的目标参数,根据所述目标参数确定备选误差参数;其中,所述目标参数:包括至少一项用于表征所述样本线段的几何分布特征的参数;确定所述多个备选误差参数中的最小值;将所述最小值作为将所述目标线段与所述参考线段归类于同一物体轮廓的误差参数。
33.在一种可能的设计中,所述样本线段中包含多个第一线段;所述目标参数包含如
下至少一项:取值为1/(1+exp(-x))的参数,其中,exp()为以自然常数为底的指数函数,x为所述多个第一线段的比例参数的方差,任一个第一线段的比例参数为所述第一线段的长度与所述第一线段的终止端点到所述目标点的距离之间的比值,任一个第一线段的终止端点为所述第一线段的两个端点中距离所述目标点最远的一个端点;至少一个第二线段中包含的所有点的纹理方向值的方差,所述至少一个第二线段为按照所述多个第一线段在所述多个线段中的排序,依次连接所述多个第一线段的起始端点后得到的线段;所述至少一个第二线段中距离所述目标点最近的一个线段与所述目标点之间的距离;分别连接所述参考线段的两个端点与所述目标点后得到的两个线段之间的夹角。
34.在一种可能的设计中,所述图像处理单元对所述第二目标图像进行轮廓线提取处理,在所述第二目标图形中得到多个轮廓线段时,具体用于:对所述第二目标图像进行边缘轮廓检测,在所述第二目标图像中得到多个轮廓点;根据所述多个轮廓点,得到所述多个轮廓线段。
35.在一种可能的设计中,所述图像处理单元根据所述多个轮廓点,得到所述多个轮廓线段时,具体用于:对所述多个轮廓点进行过滤,得到多个目标轮廓点;对所述多个目标轮廓点进行直线检测,得到所述多个轮廓线段;或者对所述多个轮廓点进行直线检测,得到所述多个轮廓线段。
36.在一种可能的设计中,所述图像处理单元对所述多个轮廓点进行过滤时,具体用于:按照设定网格大小,将所述第二目标图像的图像区域划分为多个网格;利用设定的分类器,对所述多个网格中显示的物体进行分类;若在所述多个网格中,存在目标网格中显示的物体的类别为设定类别,则将位于所述目标网格中的轮廓点删除。
37.第三方面,本技术提供一种物体检测装置,包括存储器和处理器;所述存储器用于存储计算机程序;所述处理器用于执行所述存储器中存储的计算程序,实现上述第一方面或第一方面的任一可能的设计所描述的方法。
38.第四方面,本技术提供一种物体检测装置,包括至少一个处理器和接口;所述接口,用于为所述至少一个处理器提供程序指令或者数据;所述至少一个处理器用于执行所述程序指令,实现上述第一方面或第一方面的任一可能的设计所描述的方法。
39.第五方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,当所述计算机程序在物体检测装置上运行时,使得所述物体检测装置执行上述第一方面或第一方面的任一可能的设计所描述的方法。
40.第六方面,本技术提供一种计算机程序产品,所述计算机程序产品包括计算机程序或指令,当所述计算机程序或指令被物体检测装置执行时,实现上述第一方面或第一方面的任一可能的设计所描述的方法。
41.第七方面,本技术提供一种芯片系统,该芯片系统包括至少一个处理器和接口,所述接口用于为所述至少一个处理器提供程序指令或者数据,所述至少一个处理器用于执行所述程序指令,实现上述第一方面或第一方面的任一可能的设计所描述的方法。
42.在一种可能的设计中,所述芯片系统还包括存储器,所述存储器,用于存储程序指令和数据。
43.在一种可能的设计中,所述芯片系统由芯片构成,或者包括芯片和其他分立器件。
44.上述第二方面到第七方面的有益效果,请参见上述第一方面的有益效果的描述,
这里不再重复赘述。
附图说明
45.图1为本技术实施例提供的一种物体检测方法的示意图;
46.图2为本技术实施例提供的一种对第二目标图像进行轮廓线提取处理的示意图;
47.图3为本技术实施例提供的一种逆透视变换的示意图;
48.图4为本技术实施例提供的一种在第二目标图像中的轮廓线段中选择线段的示意图;
49.图5为本技术实施例提供的一种基于参考线段选择目标线段的示意图;
50.图6为本技术实施例提供的一种目标线段的示意图;
51.图7为本技术实施例提供的一种确定第一目标图像中物体位置的示意图;
52.图8为本技术实施例提供的一种物体检测方法的示意图;
53.图9为本技术实施例提供的一种物体检测方法的流程示意图;
54.图10为本技术实施例提供的一种物体检测方法的流程示意图;
55.图11为本技术实施例提供的一种物体检测方法的流程示意图;
56.图12为本技术实施例提供的一种物体检测装置的示意图;
57.图13为本技术实施例提供的一种物体检测装置的结构示意图。
具体实施方式
58.为了使本技术实施例的目的、技术方案和优点更加清楚,下面将结合附图对本技术实施例作进一步地详细描述。其中,在本技术实施例的描述中,以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
59.为了便于理解,示例性的给出了与本技术相关概念的说明以供参考。
60.1)、物体检测:物体检测是指从图像中定位多个目标物体的过程。另外,在一些实施场景中,物体检测不仅可以确定目标物体在图像中的位置,还可以识别包括目标物体的类别等信息,其中,一般在识别目标物体在图像中的位置后,一般可以用矩形框标记该目标物体以提示用户,矩形框也可以称为边界框(bounding box)。
61.2)、逆透视变换(inverse perspective mapping,ipm):在前视摄像头拍摄的图像中,由于透视效应的存在,本来平行的一些物体轮廓线会显示为是相交的,ipm变换就是用于消除这种透视效应的方法。目前可以利用摄像头成像过程中各种坐标系之间的转换关系,对其基本原理进行抽象和简化,得到世界坐标系和图像坐标系之间坐标的对应关系,进而对逆透视变换的坐标关系进行公式化描述。
62.3)、感兴趣区域(region of interest,roi):在图像处理中,在被处理的图像中以方框、圆、椭圆、不规则多边形等方式划定出的需要处理的区域称为感兴趣区域,即感兴趣区域是从图像中选择的一个图像区域。
63.应理解,本技术实施例中“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表
示:单独存在a,同时存在a和b,单独存在b的情况,其中a、b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一(项)个”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a、b或c中的至少一项(个),可以表示:a,b,c,a和b,a和c,b和c,或a、b和c,其中a、b、c可以是单个,也可以是多个。
64.本技术实施例提供的物体检测方法可以适用于各种目标检测领域,例如安保、图像处理、视频处理、陆地交通、海上交通、无人机监控、导航、智能家居以及自动驾驶等。下面以自动驾驶场景为例进行说明。
65.在自动驾驶领域中,自动驾驶车辆的驾驶安全性及其重要,自动驾驶车辆在驾驶过程中一般需要利用自动驾驶系统或adas等系统对当前路况进行及时的检测和判断,从而有效躲避障碍物,保证行车安全。但是,由于路况的复杂性及道路中参与者的多样性,目前很难通过一套解决方案实现对一般障碍物的高精度的检测。而不可靠的检测结果容易给自动驾驶造成极大的安全隐患,例如,误检的情况容易影响adas系统的决策,继而造成车辆的前方碰撞预警系统(forward collision warning system,fcws)的频繁触发,导致驾驶效率降低,漏检则容易造成严重的车辆碰撞事故。
66.目前自动驾驶领域中已有的障碍物检测方法主要包括基于单目相机、双目相机、雷达、激光雷达等的检测方法,主要有如下几种:
67.方法1:通过车载前视摄像头获取当前帧图像以及历史帧图像,利用三角测量算法重构出路面的稠密型三维点云,从而获得图像中像素对应的相对深度,通过该深度信息进一步进行障碍物的检测。
68.但是,在该方法中,需要对几十张的历史帧图像进行处理,才能从图像获得路面的稠密型三维点云,因此计算量很大,此外,三角测量算法对特征的匹配精度要求较高,这意味着该算法对特征匹配的精度较为敏感,通用性较差。
69.方法2:通过车载前视摄像头采集当前周围环境的图片,将该图片与前一帧采集的图片在rgb(red、green、blue,红绿蓝)色域上直接相减,再利用逆透视变换将相减后得到的差值图映射到路面,最后统计映射后图像的角度直方图得到障碍物的候选位置。
70.然而该方法主要依赖两帧图像之间的像素差值得到障碍物的候选位置,因此,对于静态的障碍物存在误检和漏检的问题。
71.方法3:通过车载激光雷达发射激光扫描前方障碍物得到点云数据集,再融合车载相机采集的图像信息,筛选点云数据集,利用筛选后的点云数据检测出具备一定高度的障碍物。
72.该方法是基于激光雷达和相机的信息融合型技术方案,方案的实施成本较高,此外,三维点云过于密集时也容易造成一定程度的误检。
73.综上所述,现有技术方案进行障碍物检测的方法大多存在漏检、误检等问题,因此进行检测的效率较低,方案的通用性较差。
74.为解决该问题,本技术实施例提供一种物体检测方法及装置,用以高效准确的对物体进行检测。该方法可应用到自动驾驶、辅助驾驶等智能驾驶领域中进行障碍物的检测,能够实现各种路况下的相对准确的障碍物检测。
75.为了便于介绍,在下文中,以本技术实施例提供的物体检测方法由物体检测装置执行为例进行说明。
76.本技术实施例提供的物体检测方法可以结合图像采集装置采集的图像进行物体检测。该方法可以应用于具有数据处理能力的物体检测装置中。其中,图像采集装置可以集成到物体检测装置中,或者图像采集装置可以向物体检测装置实时传输图像。另外,图像采集装置还可以对保存的多媒体文件中的图像进行检测。
77.作为示例而非限定,所述物体检测装置可以为具有数据处理功能的车辆,或者车辆中具有数据处理功能的车载设备,或者设置在具有采集、处理图像的功能的传感器中。车载设备可以包括但不限于车载终端、车载控制器、车载模块、车载模组、车载部件、车载芯片、车载单元、电子控制单元(electronic control unit,ecu)、域控制器(domain controller,dc)等装置。物体检测装置还可以是其它具有数据处理功能的电子设备,电子设备包括但不限于智能家居设备(例如电视等)、智能机器人、移动终端(例如手机、平板电脑等)、可穿戴设备(例如智能手表等)等智能设备。物体检测装置也可以是智能设备内的控制器、芯片等其它器件。
78.本技术实施例中所述的图像采集装置可以是相机、单目摄像头、双目摄像头、近红外摄像头、摄像机、座舱型摄像机、行车记录仪(即录像终端)、倒车影像摄像头等,本技术实施例中不进行具体限制。
79.示例性的,在自动驾驶、辅助驾驶等智能驾驶领域中,图像采集装置的拍摄区域可以为车辆的外部环境。例如,当车辆前行时,所述拍摄区域可以为车头前方区域;当车辆进行倒车时,所述拍摄区域可以为车尾后方区域;当所述图像采集装置为360度多角度摄像器时,所述拍摄区域可以为所述车辆周边360度范围的区域等。
80.下面结合附图,对本技术实施例提供的物体检测方法进行详细说明,可以理解的是,以下所描述的实施例仅是本技术一部分实施例,而不是全部的实施例。
81.图1为本技术实施例提供的一种物体检测方法的示意图。下面参阅图1,对本技术实施例提供的物体检测方法进行具体说明。
82.s101:物体检测装置对第一目标图像进行逆透视变换处理,得到第二目标图像,其中,所述第一目标图像为对包含至少一个目标物体的场景拍摄的图像,所述第二目标图像为所述第一目标图像映射到目标平面后得到的图像。
83.本技术实施例中,物体检测装置可以基于针对某一场景拍摄的图像,对该场景中包含的目标物体进行检测,确定所述目标物体在所述图像中的位置,进而根据所述目标物体在所述图像中的位置,确定所述目标物体在所述场景中的位置。
84.在进行物体检测时,物体检测装置首先获取待检测的第一目标图像,所述第一目标图像为对包含至少一个目标物体的场景拍摄的图像。其中,物体检测装置可以通过接收图像采集装置发送的图像,或者接收用户输入的图像的方式,来获取所述第一目标图像。
85.物体检测装置获取到所述第一目标图像后,对所述第一目标图像进行逆透视变换,得到第二目标图像,其中,所述第二目标图像为所述第一目标图像映射到目标平面后得到的图像。
86.在本技术一些实施例中,所述第一目标图像可以为针对某一场景拍摄的完整图像,或者,所述第一目标图像可以为某一图像中的感兴趣区域对应的部分图像。所述目标平面可以为所述场景中多数目标物体所处的同一平面。
87.例如,在自动驾驶场景中,所述目标平面可以为理想地平面。又例如,在海上交通
场景中,所述目标平面可以为理想海平面。
88.鉴于目前大多数场景下图像采集装置采集的图像会由于透视效应造成一定程度的几何失真,因此物体检测装置可以先将获取的第一目标图像投影到理想地平面,得到第二目标图像,从而还原第一目标图像中物体的真实几何特性。
89.其中,物体检测装置可以通过单应矩阵,将所述第一目标图像映射到理想地平面,得到所述第二目标图像其中,单应矩阵可以用来描述物体在世界坐标系和像素坐标系之间的位置映射关系。
90.需要说明的是,将针对某场景拍摄的第一目标图像映射到理想地平面后,得到的第二目标图像也可以理解为是俯视角度下该场景的图像,因此,本技术实施例中,所述第二目标图像也可以理解为是鸟瞰图。
91.s102:物体检测装置对所述第二目标图像进行轮廓线提取处理,在所述第二目标图像中得到多个轮廓线段。
92.上述物体检测装置得到第一目标图像对应的第二目标图像后,可以先对所述第二目标图像进行边缘轮廓检测,在所述第二目标图像中得到多个轮廓点,再根据所述多个轮廓点,得到所述多个轮廓线段。
93.其中,物体检测装置可以采用基于canny算子的边缘轮廓检测算法完成轮廓点的提取,得到所述多个轮廓点;可以采用霍夫变换算法对所述多个轮廓点进行直线检测,得到所述多个轮廓线段。
94.作为一种可选的实施方式,物体检测装置确定所述多个轮廓线段时,可以直接对所述多个轮廓点进行直线检测,得到所述多个轮廓线段。
95.作为另一种可选的实施方式,物体检测装置确定所述多个轮廓线段时,可以先对进行边缘轮廓检测得到的所述多个轮廓点进行过滤,得到多个目标轮廓点,再对所述多个目标轮廓点进行直线检测,得到所述多个轮廓线段。
96.其中,物体检测装置可以按照设定网格大小,将所述第二目标图像的图像区域划分为多个网格,然后利用设定的分类器,对所述多个网格中显示的物体进行分类,分类后若在所述多个网格中,存在目标网格中显示的物体的类别为设定类别,则将位于所述目标网格中的轮廓点删除,实现对所述多个轮廓点的过滤。
97.在本技术一些实施例中,所述设定的分类器可以是轻量型的分类器,如基于支持向量机(support vector machine,svm)的分类器或基于极端梯度提升(extreme gradient boosting,xgboost)的分类器。
98.物体检测装置可以采用上述分类器对所述第二目标图像中设定类别的物体所在网格区域中的轮廓点进行过滤,删除较大概率是设定类别物体所在区域的网格中的轮廓点,从而避免这些区域中像素点对物体检测过程的干扰。
99.例如,在自动驾驶领域中,当所述目标平面设置为理想地平面时,所述设定类别可以为路面,则物体检测装置可以采用轻量型的路面分类器对所述第二目标图像中的像素点进行分类,并确定其中的路面像素,将路面像素对应网格区域中的轮廓点删除,从而过滤掉较大概率是路面区域的网格中的轮廓点,避免路面区域对物体检测过程的干扰。
100.又例如,在海上交通场景中,当所述目标平面设置为理想海平面时,所述设定类别可以为海平面,对应的轮廓点过滤方式可参照上述地面轮廓点过滤方式,此处不再赘述。
101.示例性的,图2为本技术实施例提供的一种对第二目标图像进行轮廓线提取处理的示意图。图2中的(a)示意图为对相机拍摄的图像进行逆透视变换后得到的第二目标图像,对该第二目标图像进行上述的边缘轮廓检测后,得到如图2中的(b)示意图所示的轮廓图,该轮廓图中显示的多个轮廓点用于表示(a)示意图所示的第二目标图像中多个物体的轮廓。通过对该轮廓图中的多个轮廓点进行过滤,并对过滤后得到的目标轮廓点进行直线检测,得到如图2中的(c)示意图所示的多个线段,该示意图中删除了路面的轮廓点,可以避免路面元素对物体检测的影响,(c)示意图中显示的多个线段表示(a)示意图所示的第二目标图像中提取的物体的轮廓线段,用于确定第二目标图像中物体的位置。
102.s103:物体检测装置在所述多个轮廓线段中,选择线段所在直线经过设定的目标点的多个线段。
103.对图像进行逆透视变换后,图像中具备一定高度的物体的高度轮廓线将会被显著拉长,且变换后物体在高度上的轮廓线都会接近于同一点。因此,物体检测装置对第一目标图像进行逆透视变换后,得到的第二目标图像中对应物体高度的轮廓线段都将接近于所述第二目标图像中的同一特征点。
104.示例性的,图3为本技术实施例提供的一种逆透视变换的示意图。其中,图3中的(a)示意图为一种第一目标图像的示意图,在图3中的(a)示意图中,四边形abcd表示道路中一个物体在第一目标图像中的轮廓,其中,线段ac、线段bd表示该物体在高度方向的轮廓线。对图3中的(a)示意图所示的第一目标图像进行逆透视变换后得到的对应的第二目标图像如图3中的(b)示意图所示,其中,四边形efgh为(a)示意图中的四边形abcd经逆透视变换后得到的图形,e点、f点、g点、h点分别与a点、b点、c点、d点一一对应。对比图3中的(a)示意图、(b)示意图可知,图像中物体在高度方向的轮廓线经过逆透视变换后会被显著拉长,而物体宽度方向的轮廓线经过逆透视变换后,长度的变化较小。
105.基于以上特性,物体检测装置对所述第二目标图像进行轮廓线提取处理得到所述多个轮廓线后,可以先从所述多个轮廓线中选择对应物体高度轮廓的线段,根据选择出的线段进行物体检测。
106.具体实施时,物体检测装置在得到的所述多个轮廓线段中,可以选择线段所在直线经过设定的目标点的多个线段,或者可以选择线段所在直线经过以所述目标点为中心的设定区域的多个线段,后续对所述多个线段进分析处理。
107.可选的,所述设定的目标点为图像采集装置的光心在所述第二目标图像中对应的特征点。例如,所述目标点可以为所述第二目标图像的底边中心位置处的特征点。
108.示例性的,图4为本技术实施例提供的一种在第二目标图像中的轮廓线段中选择线段的示意图。如图4所示,线段l1至线段l8分别为第二目标图像中提取出的8条轮廓线段,p点为第二目标图像中设定的目标点。其中,在8条轮廓线段中,线段l1、线段l2以及线段l6、线段l7所在的直线均经过所述目标点即p点,因此可以从8条轮廓线段中选择出线段l1、线段l2、线段l6、线段l7作为选择的多个线段,从而根据线段l1、线段l2、线段l6、线段l7进行物体检测。
109.s104:物体检测装置根据所述多个线段在所述第二目标图像的位置,将所述多个线段划分为至少一个线段集合,其中,不同线段集合包含的线段不同,任一个线段集合包含所述多个线段中的至少两个线段。
110.物体检测装置在多个轮廓线段中选择多个线段后,对所述多个线段进行线段集合划分,再根据划分得到的线段集合进行物体检测。
111.具体的,物体检测装置可以通过以下步骤a1~a2,执行s104:
112.a1:物体检测装置根据所述多个线段的起始端点在所述第二目标图像的位置,对所述多个线段进行排序,其中,任一个线段的起始端点为所述线段的两个端点中距离所述目标点最近的一个端点。
113.a2:物体检测装置按照所述多个线段的排序,依次选择一个未被划分到线段集合的线段作为参考线段,并对所述参考线段执行以下划分过程b1~b4:
114.b1:将所述多个线段中除所述参考线段和已被划分到线段集合的线段以外的其它线段作为待分线段。
115.b2:在所述待分线段中确定与所述参考线段之间的夹角小于设定阈值的目标线段,其中,所述目标线段中包含至少一个线段。
116.b3:计算将所述目标线段与所述参考线段归类于同一物体轮廓的误差参数。
117.b4:当所述误差参数小于或等于设定阈值时,将所述目标线段与所述参考线段划分到同一线段集合;当所述误差参数大于所述设定阈值时,不将所述目标线段与所述参考线段划分到同一线段集合,本次划分过程结束。
118.其中,上述计算的误差参数越小,所述参考线段与所述目标线段属于同一物体轮廓的可能性越大。
119.在本技术一些实施例中,物体检测装置可以将上述线段集合划分方法应用到采用随机抽样一致算法(random sample consensus,ransac)的ransac算法模型中,利用该模型完成线段集合的划分。
120.在本技术一些实施例中,物体检测装置对所述多个线段进行排序时,可以按照在所述第二目标图像中线段的起始端点顺时针或逆时针的位置分布顺序,对所述多个线段进行排序。
121.在本技术一些实施例中,任一个目标线段与参考线段之间的夹角为分别延长所述目标线段和所述参考线段使其相交于一点时,所述目标线段与所述参考线段在该点处形成的夹角。物体检测装置在所述待分线段中确定与所述参考线段之间的夹角小于设定阈值的目标线段时,可以连接所述参考线段的起始端点与所述目标点得到第一辅助线段,在连接某一线段的起始端点和所述目标点得到的线段与所述第一辅助线段之间的夹角小于设定角度时,认为该线段与所述参考线段之间的夹角小于设定阈值。
122.示例性的,图5为本技术实施例提供的一种基于参考线段选择目标线段的示意图。如图5所示,基于图4所示的第二目标图像,在选择的多个线段中,若当前选择线段l1作为参考线段,角度的设定阈值为则连接线段l1的起始端点a0与所述目标点得到辅助线段l
01
,与该辅助线段l
01
的夹角为设定阈值的范围可以为图5中所示的扇形对应的角度范围。在选择线段l1对应的目标线段时,对于图5中所示的线段l2,连接该线段的起始端点b0与所述目标点后得到辅助线段l
02
,由于辅助线段l
02
与辅助线段l
01
之间的夹角δ小于所述设定角度则线段l2可以作为线段l1对应的一个目标线段,依此类推,可以确定线段l1对应的所有参考线段。
123.在本技术中,物体检测装置计算将所述目标线段与所述参考线段归类于同一物体
轮廓的误差参数时,可以但不限于通过以下方式实现:
124.在第一种实施方式中,物体检测装置可以对所述目标线段和所述参考线段执行多次计算过程,得到多个备选误差参数。其中,每次计算过程包括以下步骤:
125.c1:从所述目标线段中随机选择至少一个线段。
126.c2:将所述参考线段和从所述目标线段中随机选择的至少一个线段作为样本线段。
127.c3:计算所述样本线段对应的目标参数,根据所述目标参数确定备选误差参数;其中,所述目标参数:包括至少一项用于表征所述样本线段的几何分布特征的参数。
128.c4:确定所述多个备选误差参数中的最小值。
129.c5:将所述最小值作为将所述目标线段与所述参考线段归类于同一物体轮廓的误差参数。
130.在第二种实施方式中,上述计算将所述目标线段与所述参考线段归类于同一物体轮廓的误差参数的过程的算法可以通过一个设定数据模型实现,该设定数据模型用于计算多个线段属于同一物体的概率值,可以采用上述计算概率值的方法,计算将所述目标线段与所述参考线段归类于同一物体轮廓的误差参数。
131.可选的,在上述第一种实施方式中,所述样本线段中包含多个第一线段,物体检测装置计算的目标参数包含如下四项参数中的至少一项:
132.1)、取值为1/(1+exp(-x))的参数,该参数在本技术实施例中可以称为比例约束参数,其中,exp()为以自然常数为底的指数函数,x为所述多个第一线段的比例参数的方差,任一个第一线段的比例参数为所述第一线段的长度与所述第一线段的终止端点到所述目标点的距离之间的比值,任一个第一线段的终止端点为所述第一线段的两个端点中距离所述目标点最远的一个端点。
133.示例性的,图6为本技术实施例提供的一种目标线段的示意图。如图6中所示,假设样本线段中包含3个第一线段,按照线段排序分别为线段l9、线段l
10
和线段l
11
,其中,线段l9还作为参考线段,p点为目标点。以线段l9为例,线段l9的起始端点为a1,终止端点为a2,则线段l9对应的比例参数为辅助线段a1p的长度与辅助线段a2p的长度的比值,线段l
10
、线段l
11
同理。根据该方式计算出线段l9、线段l
10
、线段l
11
对应的3个比例参数,计算3个比例参数的方差,就得到样本线段对应的比例约束参数。
134.2)、至少一个第二线段中包含的所有点的纹理方向值的方差,其中,所述至少一个第二线段为按照所述多个第一线段在所述多个线段中的排序,依次连接所述多个第一线段的起始端点后得到的线段,该参数在本技术实施例中可以称为纹理约束参数。
135.物体检测装置可以利用小波(gabor)算子计算每个第二线段上点的纹理方向(纹理朝向)值。
136.其中,任一个第二线段上任一个点的纹理方向为该点在第一目标图像或第二目标图像中对应的像素点的纹理方向。
137.示例性的,如图6中所示,假设样本线段中包含的3条第一线段在从多个轮廓线段选择的多个线段中的排序依次为线段l9、线段l
10
、线段l
11
,其中,线段l9的起始端点为a1,终止端点为a2,线段l
10
的起始端点为b1,终止端点为b2,线段l
11
的起始端点为c1,终止端点为c2。则物体检测装置可以分别连接a1点、b1点得到辅助线段l
12
,连接b1点、c1点得到辅助线段
l
13
,将线段l
12
、线段l
13
作为第二线段,然后分别计算线段l
12
、线段l
13
上各点对应的纹理方向值,再对得到的线段l
12
以及线段l
13
上所有点对应的纹理方向值求方差,得到样本线段对应的纹理约束参数。
138.3)、至少一个第二线段中距离所述目标点最近的一个线段与所述目标点之间的距离,该参数在本技术实施例中可以称为距离约束参数,其中,所述至少一个第二线段为按照所述多个第一线段在所述多个线段中的排序,依次连接所述多个第一线段的起始端点后得到的线段。
139.示例性的,如图6中所示,物体检测装置分别连接a1点、b1点得到辅助线段l
12
,连接b1点、c1点得到辅助线段l
13
后,判断线段l
12
、线段l
13
中距离p点最近的线段为线段l
12
,则将线段l
12
到p点的距离确定为样本线段的距离约束参数。其中,线段l
12
到p点的距离为p点到线段l
12
的垂线段l
03
的长度。
140.4)、分别连接所述参考线段的两个端点与所述目标点后得到的两个线段之间的夹角,该参数在本技术实施例中可以称为角度约束参数。
141.在本技术一些实施例中,物体检测装置确定上述目标参数后,根据所述目标参数确定备选误差参数时可以采用如下方式:物体检测装置若确定所述目标参数中仅包含一项参数,则将所述参数作为所述备选误差参数;若确定所述目标参数中包含多项参数,则根据所述目标参数中的多项参数对应的权重,对所述多项参数进行加权求和,得到所述备选误差参数。
142.其中,所述目标参数中包含的各项参数对应的权重可以为用户输入的,同一参数在不同场景下对应的权重可以不同。
143.s105:物体检测装置针对每个线段集合执行以下步骤:将目标线段集合中包含的至少两个线段投影到所述第一目标图像中,得到至少两个投影线段;根据所述至少两个投影线段确定一个目标物体在所述第一目标图像中的位置,其中,所述目标线段集合为每个线段集合。
144.在本技术一些实施例中,物体检测装置通过上述方式在第二目标图像中进行线段集合划分后,将每个线段集合分别作为目标线段集合,进行以下处理:将目标线段集合中包含的至少两个线段投影到所述第一目标图像中,得到至少两个投影线段,若所述至少两个投影线段不能组成一个封闭的包围框,则通过连接每两个相邻的投影线段的起始端点/终止端点,或者连接每两个相邻的投影线段中一个投影线段的起始端点与另一个投影线段的终止端点,使得所述至少两个投影线段能够形成一个封闭的包围框,再将该包围框作为第一目标图像一个目标物体的边界框,将该包围框圈定的位置作为该目标物体在所述第一目标图像中的位置。
145.在本技术一些实施例中,物体检测装置对目标线段集合进行处理时,若目标线段集合中包含的至少两个线段不能组成一个封闭的包围框,物体检测装置也可以先通过连接每两个相邻线段的起始端点/终止端点,或者连接每两个相邻线段中一个线段的起始端点与另一个线段的终止端点,使得所述至少两个线段能够形成一个封闭的包围框,再将形成该包围框的所有线段投影到第一目标图像中,得到一个目标物体对应的边界框。
146.示例性的,图7为本技术实施例提供的一种确定第一目标图像中物体位置的示意图。基于图4所示的第二目标图像的示意图,在图7中,(a)示意图为对从图4所示的轮廓线段
中选择的线段l1、线段l2、线段l7、线段l8进行线段集合划分后的第二目标图像的示意图,该第二目标图像中包含两个线段集合,分别为包含线段l1、线段l2的第一线段集合,以及包含线段l7、线段l8的第二线段集合。其中,第一线段几何包含的线段l1、线段l2无法形成封闭的包围框,则物体检测装置可以连接线段l1和线段l2的起始端点得到线段l
14
,以及连接线段l1和线段l2的终止端点得到线段l
15
,使得线段l1、线段l2、线段l
14
、线段l
15
组成一个封闭的包围框,第二线段集合同理。然后,物体检测装置将第二目标图像中各包围框的线段都投影到第一目标图像中,得到图7中的(b)示意图所示的第一目标图像的示意图,其中,投影到所述第一目标图像中的每个包围框可以作为一个目标物体的边界框,用于标记该目标物体的位置。
147.需要说明的是,本技术实施例中所描述的各个实施例中的步骤编号仅为执行流程的一种示例,并不构成对步骤执行的先后顺序的限制,本技术实施例中相互之间没有时序依赖关系的步骤之间没有严格的执行顺序。
148.上述实施例中,物体检测装置根据将第一目标图像投影到目标平面后得到的第二目标图像进行物体检测,可以充分利用到第一目标图像进行逆透视变换后物体轮廓呈现的仿射几何特征进行物体检测,提高物体检测的准确度,且该方案可实现对多种不同物体的检测,适用场景广泛,通用性较好。
149.本技术上述实施例提供的物体检测方法可以应用于自动驾驶领域中,对路面上的障碍物进行检测。例如,自动驾驶车辆的车载设备可以利用该物体检测方法对前置车载相机拍摄的图像进行物体检测。下面结合具体实施例进行说明。以下,仍以物体检测装置作为执行物体检测方法的实体为例进行说明。
150.图8为本技术实施例提供的一种物体检测方法的示意图。如图8所示,物体检测装置获取到待检测的当前帧图像后,可以直接将该图像作为第一目标图像进行逆透视变换得到第二目标图像即鸟瞰图,也可以将该图像中的感兴趣区域的图像作为第一目标图像进行逆透视变换得到第二目标图像,并对第二目标图像进行轮廓线提取处理,得到处理后的轮廓图,该轮廓图中包含多个轮廓线段。
151.其中,在理想地平面上,障碍物存在紧贴路面的外轮廓线,因此物体检测装置可以基于理想地平面假设,根据拍摄图像的相机的标定参数,将第一目标图像映射到地平面,得到第二目标图像,并对第二目标图像中的外轮廓线进行提取。可选的,物体检测装置得到轮廓图后,可以对轮廓图进行噪声处理,去除轮廓图中的路面噪声点。
152.基于ipm变换,具备一定高度的轮廓线段将会被显著拉长,对于在路面上具备一定高度的物体,其高度的外轮廓都将接近于光心。因此,以下实施例中可以采用基于光心约束的局部ransac算法模型,对轮廓线段进行迭代采样和线段集合划分。
153.在ransac算法模型中,图像中像素点在图像坐标系中的坐标可以表示为pointn=(x,y),其中,pointn表示第n个端点,x对应图像坐标系下的横坐标,y对应图像坐标系下的纵坐标。图像中的轮廓线段在图像坐标系中可以表示为linen=(point
n1
,point
n2
),其中,linen表示第n条线段,point
n1
表示第n条线段的起始端点,point
n2
表示第n条线段的终止端点。所述n为正整数。将图像中线段按其起始端点顺时针排序,可以得到包含(line1,line2,

,linen)的模型。
154.物体检测装置通过进行直线检测,在第二目标图像中得到多个轮廓线段后,在利
用ransac算法模型对第二目标图像中的轮廓线段进行直线检测/聚类即线段集合划分时,基于相同的高度经过ipm变换后将被拉伸比例等同的长度,可以为ransac算法模型增加轮廓比例约束,即如果确定一些线段的长度与其终止端点到光心的距离比例接近,则倾向于认为这些线段属于同一物体。
155.此外,物体尾部正对相机的轮廓线段在ipm变换后,会在图像中形成轮廓方向趋同的纹理。基于此,ransac算法模型还可以使用小波算子在鸟瞰图上检测物体顶点相连线段的纹理方向,即模型相邻两线段的起始点的连线,将确定的纹理方向参数作为一项参考信息,来确定不同线段是否属于同一物体。
156.物体检测装置通过ransac算法模型对轮廓线段进行线段集合划分后,将划分得到的不同线段集合的线段分别反投影至第一目标图像,获得不同目标物体最终的包围框(边界框)。
157.在该方法中,通过对拍摄的图像进行ipm变换,加强了路面上物体的外轮廓特征,再利用ransac算法模型,对具备物体特征的轮廓线段进行提取。将对轮廓线进行线段提取和线段集合划分后得到的候选模型轮廓即每个线段集合的线段,反投影到原始图像平面得到物体最终的包围框。该方法充分利用图像之后物体轮廓经过ipm变换后呈现的几何特征,筛选出路面上所有具有该特征的候选障碍物轮廓,同时解决障碍物多样化和距离的问题,由此简化了算法流程。上述方法适用于对结构化道路以及非结构化道路中的物体进行检测。
158.下面结合具体实施例对上述物体检测方法的执行流程进行说明。
159.实施例一
160.图9为本技术实施例提供的一种物体检测方法的流程示意图。该方法的流程以采用ransac算法模型进行线段集合划分为例进行说明,涉及了算法整体迭代流程及ransac算法模型筛选候选线段集的过程。其中,ransac算法模型对局部线段进行随机采样,基于物体轮廓特有的几何特征,使用比例约束、纹理约束、距离约束和角度约束对每一组采样线段集进行评分,得到划分的线段集合。
161.如图9所示,该方法的流程包括:
162.s900:图像采集装置获取当前图像帧。
163.图像采集装置通过拍摄图像,获取当前图像帧,将当前图像帧作为第一目标图像,并发送到物体检测装置。其中,所述图像采集装置可以为相机。
164.s901:物体检测装置对当前图像帧进行ipm变换。
165.物体检测装置通过单应矩阵对当前图像帧即第一目标图像进行ipm变换,实现第一目标图像的图像平面到理想地平面的转换,得到第二目标图像,所述第二目标图像即为鸟瞰图。
166.s902:物体检测装置得到轮廓图。
167.物体检测装置基于canny算子,使用边缘轮廓检测算法完成第二目标图像中初始轮廓点的提取,得到包含多个轮廓点的轮廓图。
168.s903:物体检测装置获取初始线段候选集。
169.物体检测装置基于霍夫变换对所述多个轮廓点进行直线检测,得到多个轮廓线段,并从所述多个轮廓线段中选择所在直线经过设定的目标点的多个线段,将所述多个线
段作为初始线段候选集。
170.s904:物体检测装置将ransac算法模型按逆时针遍历初始线段候选集中的线段。
171.物体检测装置将所述多个线段按照线段起始端点进行逆时针排序。这里起始点定义为线段距离光心的距离较近的一段,即检测算法逆时针遍历线段。
172.其中,所述检测算法可以通过ransac算法模型实现。
173.s905:物体检测装置筛选ransac算法模型,实现对初始线段候选集中线段的线段集合划分。
174.在该步骤中,物体检测装置将ransac算法模型按逆时针遍历每个线段,其中,ransac算法模型中包括以下步骤:
175.步骤1:将当前处理的当前线段及其左右相邻不超过设定角度范围内的其它线段作为ransac算法模型的局部采样集合。
176.当前线段即为参考线段,当前线段左右相邻不超过设定角度的范围指连接当前线段的起始端点与目标点得到的辅助线段的周围设定角度范围,具体可参照上述实施例中的介绍。所述采样集合包含的线段对应上述实施例中的参考线段和目标线段。
177.步骤2:物体检测装置将局部采样集合作为ransac算法模型的输入,并设置ransac算法模型的迭代次数。
178.其中,迭代次数可以为用户输入的。物体检测装置按照所述迭代次数,迭代执行以下步骤3~步骤4。
179.步骤3:物体检测装置从局部采样集合中随机采样部分线段,得到包含当前线段的多个线段,并求出ransac算法模型的评分,该最终评分即为将所述目标线段与所述参考线段归类于同一物体轮廓的误差参数。
180.其中,包含当前线段的多个线段为样本线段,ransac算法模型的评分为样本线段对应的目标参数。
181.物体检测装置确定ransac算法模型的评分时,需先计算以下四项评分:
182.1)、比例约束评分(比例约束参数)。
183.物体检测装置先计算各线段自身的长度与改线段的终止端点到光心的最大长度的比例值。由于ransac算法模型的输入至少包含两个线段,所以一定存在至少两个比例值。再通过公式1/(1+exp(-var(disti/distio)))计算出对应的比例约束评分,其中,exp()为以自然常数为底的指数函数,var()为求方差函数,disti表示线段本身的长度,distio表示线段端点到光心的最大距离,即线段终止端点到光心的距离。
184.2)、纹理约束评分(纹理约束参数)。
185.物体检测装置按照输入ransac算法模型的多个线段的排序,依次连接各线段的起始端点后得到至少一个线段,利用小波算子求出该至少一个线段中包含的所有点的纹理朝向,并计算这些点的纹理朝向方差。
186.3)、距离约束评分(距离约束参数)。
187.物体检测装置确定按照输入ransac算法模型的多个线段的排序,依次连接各线段的起始端点后得到的线段中到光心的最短距离。
188.4)、角度约束评分(角度约束参数)。
189.物体检测装置计算当前线段起始端点以及线段终止端点到光心所形成的夹角。
190.步骤4:根据算法运行场景,确定不同评分对应的权重,将权重应用于各约束评分,获取最终的评分。
191.步骤5:步骤3~步骤4迭代执行完毕后,将多次迭代中评分最低的ransac算法模型作为当前线段最终的ransac算法模型,且若该模型的评分小于设定阈值则表示存在模型,否则,表示存在模型。
192.步骤6:若存在模型,则从初始线段集合中去除当前最终的ransac算法模型内的线段集合,即将该集合内的线段标记为删除。
193.步骤7:重复执行s904,利用ransac算法模型对下一个线段进行处理。
194.s906:物体检测装置根据划分的线段集合进行物体检测。
195.物体检测装置将所有满足条件的ransac算法模型内的线段集合反投影到第一目标图像的图像平面,根据得到的投影线段,确定至少一个目标物体在第一目标图像中的位置。
196.关于上述各步骤的具体实施,可参照图1提供的物体检测方法中的实施方式,重复之处不再赘述。
197.上述实施例中,通过引入相机标定信息,构造从图像平面到理想地平面的ipm转换所需的单应矩阵,将原始图像帧内目标的几何属性进行还原以及加强,其中还原主要针对位于地平面内的地标例如车道线、人行道等,针对具备高度的物体,其轮廓将被显著拉长。因此,在新的数据表现形式下,更有利于使用ransac算法进行模型的筛选。本实施例中充分利用图像中物体在经过ipm变换后所形成的显著的仿射状几何特征,特别是对于较高和较远的目标,物体在鸟瞰图上形成的轮廓将接近或者经过光心,且其高度对应的轮廓将被显著拉长,基于以上几何约束,通过半随机的ransac算法,并通过自定义的轮廓模型及评分项,完成对目标物体轮廓的迭代筛选。同时,该方法可以根据相机标定信息进行测距,整合了检测和测距算法,将检测和测距整合进同一个迭代模型,故可以同时返回距离信息和检测信息,从而简化了算法的整体流程。
198.实施例二
199.图10为本技术实施例提供的一种物体检测方法的流程示意图。该方法的流程以采用ransac算法模型进行线段集合划分为例进行说明,涉及了算法整体迭代流程及ransac算法模型筛选候选线段集的过程。其中,ransac算法模型对局部线段进行随机采样,基于物体轮廓特有的几何特征,使用比例约束、纹理约束、距离约束和角度约束对每一组采样线段集进行评分,得到划分的线段集合。
200.如图10所示,该方法的流程包括:
201.s1000:图像采集装置获取当前图像帧。
202.图像采集装置通过拍摄图像,获取当前图像帧,将当前图像帧作为第一目标图像,并发送到物体检测装置。其中,所述图像采集装置可以为相机。
203.s1001:物体检测装置对当前图像帧进行ipm变换。
204.物体检测装置通过单应矩阵对当前图像帧即第一目标图像进行ipm变换,实现第一目标图像的图像平面到理想地平面的转换,得到第二目标图像,所述第二目标图像即为鸟瞰图。
205.s1002:物体检测装置得到轮廓图。
206.物体检测装置基于canny算子,使用边缘轮廓检测算法完成第二目标图像中初始轮廓点的提取,得到包含多个轮廓点的轮廓图。
207.s1003:物体检测装置对轮廓图进行网格划分。
208.物体检测装置将轮廓图即第二目标图像划分成设定大小的网格。
209.s1004:物体检测装置利用分类器删除路面区域轮廓点。
210.物体检测装置利用轻量型的路面分类器,对路面像素进行初步的过滤,删除分类为是路面的区域中的轮廓点。
211.其中,在以下步骤中处理的图像为根据路面分类器的分类结果和所述轮廓图,确定的删除路面区域中轮廓点的图像。
212.s1005:物体检测装置获取初始线段候选集。
213.物体检测装置基于霍夫变换对所述多个轮廓点进行直线检测,得到多个轮廓线段,并从所述多个轮廓线段中选择所在直线经过设定的目标点的多个线段,将所述多个线段作为初始线段候选集。
214.s1006:物体检测装置将ransac算法模型按逆时针遍历初始线段候选集中的线段。
215.物体检测装置将所述多个线段按照线段起始端点进行逆时针排序。这里起始点定义为线段距离光心的距离较近的一段,即检测算法逆时针遍历线段。
216.其中,所述检测算法可以通过ransac算法模型实现。
217.s1007:物体检测装置筛选ransac算法模型,实现对初始线段候选集中线段的线段集合划分。
218.在该步骤中,物体检测装置将ransac算法模型按逆时针遍历每个线段,其中,ransac算法模型中包括以下步骤:
219.步骤1:将当前处理的当前线段及其左右相邻不超过设定角度范围内的其它线段作为ransac算法模型的局部采样集合。
220.当前线段即为参考线段,当前线段左右相邻不超过设定角度的范围指连接当前线段的起始端点与目标点得到的辅助线段的周围设定角度范围,具体可参照上述实施例中的介绍。所述采样集合包含的线段对应上述实施例中的参考线段和目标线段。
221.步骤2:物体检测装置将局部采样集合作为ransac算法模型的输入,并设置ransac算法模型的迭代次数。
222.其中,迭代次数可以为用户输入的。物体检测装置按照所述迭代次数,迭代执行以下步骤3~步骤4。
223.步骤3:物体检测装置从局部采样集合中随机采样部分线段,得到包含当前线段的多个线段,并求出ransac算法模型的评分,该最终评分即为将所述目标线段与所述参考线段归类于同一物体轮廓的误差参数。
224.其中,包含当前线段的多个线段为样本线段,ransac算法模型的评分为样本线段对应的目标参数。
225.物体检测装置确定ransac算法模型的评分时,需先计算以下三项评分:
226.1)、比例约束评分(比例约束参数)。
227.物体检测装置先计算各线段自身的长度与改线段的终止端点到光心的最大长度的比例值。由于ransac算法模型的输入至少包含两个线段,所以一定存在至少两个比例值。
再通过公式1/(1+exp(-var(disti/distio)))计算出对应的比例约束评分,其中,exp()为以自然常数为底的指数函数,var()为求方差函数,disti表示线段本身的长度,distio表示线段端点到光心的最大距离,即线段终止端点到光心的距离。
228.2)、距离约束评分(距离约束参数)。
229.物体检测装置确定按照输入ransac算法模型的多个线段的排序,依次连接各线段的起始端点后得到的线段中到光心的最短距离。
230.3)、角度约束评分(角度约束参数)。
231.物体检测装置计算当前线段起始端点以及线段终止端点到光心所形成的夹角。
232.步骤4:根据算法运行场景,确定不同评分对应的权重,将权重应用于各约束评分,获取最终的评分。
233.步骤5:步骤3~步骤4迭代执行完毕后,将多次迭代中评分最低的ransac算法模型作为当前线段最终的ransac算法模型,若该模型的评分小于设定阈值则表示存在模型,否则,表示存在模型。
234.步骤6:若存在模型,则从初始线段集合中去除当前最终的ransac算法模型内的线段集合,将该集合内的线段标记为删除。
235.步骤7:重复执行s1004,利用ransac算法模型对下一个线段进行处理。
236.s1008:物体检测装置根据划分的线段集合进行物体检测。
237.物体检测装置将所有满足条件的ransac算法模型内的线段集合反投影到第一目标图像的图像平面,根据得到的投影线段,确定至少一个目标物体在第一目标图像中的位置。
238.关于上述各步骤的具体实施,可参照图1提供的物体检测方法中的实施方式,重复之处不再赘述。
239.上述实施例中,通过引入相机标定信息,构造从图像平面到理想地平面的ipm转换所需的单应矩阵,将原始图像帧内目标的几何属性进行还原以及加强,其中还原主要针对位于地平面内的地标例如车道线、人行道等,针对具备高度的物体,其轮廓将被显著拉长。因此,在新的数据表现形式下,更有利于使用ransac算法进行模型的筛选。本实施例中充分利用图像中物体在经过ipm变换后所形成的显著的仿射状几何特征,特别是对于较高和较远的目标,物体在鸟瞰图上形成的轮廓将接近或者经过光心,且其高度对应的轮廓将被显著拉长,基于以上几何约束,通过半随机的ransac算法,并通过自定义的轮廓模型及评分项,完成对目标物体轮廓的迭代筛选。同时,该方法可以根据相机标定信息进行测距,整合了检测和测距算法,将检测和测距整合进同一个迭代模型,故可以同时返回距离信息和检测信息,从而简化了算法的整体流程。此外,算法中使用轻量的分类器删除路面区域的轮廓点,能够提高算法的效率。
240.实施例三
241.图11为本技术实施例提供的一种物体检测方法的流程示意图。该方法的流程以采用ransac算法模型进行线段集合划分为例进行说明,涉及了算法整体迭代流程及ransac算法模型筛选候选线段集的过程。其中,ransac算法模型对局部线段进行随机采样,基于物体轮廓特有的几何特征,使用比例约束、纹理约束、距离约束和角度约束对每一组采样线段集进行评分,得到划分的线段集合。
242.如图11所示,该方法的流程包括:
243.s1100:图像采集装置获取当前图像帧。
244.图像采集装置通过拍摄图像,获取当前图像帧,将当前图像帧作为第一目标图像,并发送到物体检测装置。其中,所述图像采集装置可以为相机。
245.s1101:物体检测装置对当前图像帧进行ipm变换。
246.物体检测装置通过单应矩阵对当前图像帧即第一目标图像进行ipm变换,实现第一目标图像的图像平面到理想地平面的转换,得到第二目标图像,所述第二目标图像即为鸟瞰图。
247.s1102:物体检测装置得到轮廓图。
248.物体检测装置基于canny算子,使用边缘轮廓检测算法完成第二目标图像中初始轮廓点的提取,得到包含多个轮廓点的轮廓图。
249.s1103:物体检测装置对轮廓图进行网格划分。
250.物体检测装置将轮廓图即第二目标图像划分成设定大小的网格。
251.s1104:物体检测装置利用分类器删除路面区域轮廓点。
252.物体检测装置利用轻量型的路面分类器,对路面像素进行初步的过滤,删除分类为是路面的区域中的轮廓点。
253.其中,在以下步骤中处理的图像为根据路面分类器的分类结果和所述轮廓图,确定的删除路面区域中轮廓点的图像。
254.s1105:物体检测装置获取初始线段候选集。
255.物体检测装置基于霍夫变换对所述多个轮廓点进行直线检测,得到多个轮廓线段,并从所述多个轮廓线段中选择所在直线经过设定的目标点的多个线段,将所述多个线段作为初始线段候选集。
256.s1106:物体检测装置将ransac算法模型按逆时针遍历初始线段候选集中的线段。
257.物体检测装置将所述多个线段按照线段起始端点进行逆时针排序。这里起始点定义为线段距离光心的距离较近的一段,即检测算法逆时针遍历线段。
258.其中,所述检测算法可以通过ransac算法模型实现。
259.s1107:物体检测装置筛选ransac算法模型,实现对初始线段候选集中线段的线段集合划分。
260.在该步骤中,物体检测装置将ransac算法模型按逆时针遍历每个线段,其中,ransac算法模型中包括以下步骤:
261.步骤1:将当前处理的当前线段及其左右相邻不超过设定角度范围内的其它线段作为ransac算法模型的局部采样集合。
262.当前线段即为参考线段,当前线段左右相邻不超过设定角度的范围指连接当前线段的起始端点与目标点得到的辅助线段的周围设定角度范围,具体可参照上述实施例中的介绍。所述采样集合包含的线段对应上述实施例中的参考线段和目标线段。
263.步骤2:物体检测装置将局部采样集合作为ransac算法模型的输入,并设置ransac算法模型的迭代次数。
264.其中,迭代次数可以为用户输入的。物体检测装置按照所述迭代次数,迭代执行以下步骤3~步骤4。
265.步骤3:物体检测装置从局部采样集合中随机采样部分线段,得到包含当前线段的多个线段,并求出ransac算法模型的评分,该最终评分即为将所述目标线段与所述参考线段归类于同一物体轮廓的误差参数。
266.其中,包含当前线段的多个线段为样本线段,ransac算法模型的评分为样本线段对应的目标参数。
267.物体检测装置确定ransac算法模型的评分时,需先计算以下四项评分:
268.1)、比例约束评分(比例约束参数)。
269.物体检测装置先计算各线段自身的长度与改线段的终止端点到光心的最大长度的比例值。由于ransac算法模型的输入至少包含两个线段,所以一定存在至少两个比例值。再通过公式1/(1+exp(-var(disti/distio)))计算出对应的比例约束评分,其中,exp()为以自然常数为底的指数函数,var()为求方差函数,disti表示线段本身的长度,distio表示线段端点到光心的最大距离,即线段终止端点到光心的距离。
270.2)、纹理约束评分(纹理约束参数)。
271.物体检测装置按照输入ransac算法模型的多个线段的排序,依次连接各线段的起始端点后得到至少一个线段,利用小波算子求出该至少一个线段中包含的所有点的纹理朝向,并计算这些点的纹理朝向方差。
272.其中,物体检测装置求任一端点的纹理朝向时,是将源图即第一目标图像中该端点对应的像素点的纹理朝向作为该端点的纹理朝向。
273.3)、距离约束评分(距离约束参数)。
274.物体检测装置确定按照输入ransac算法模型的多个线段的排序,依次连接各线段的起始端点后得到的线段中到光心的最短距离。
275.4)、角度约束评分(角度约束参数)。
276.物体检测装置计算当前线段起始端点以及线段终止端点到光心所形成的夹角。
277.步骤4:根据算法运行场景,确定不同评分对应的权重,将权重应用于各约束评分,获取最终的评分。
278.步骤5:步骤3~步骤4迭代执行完毕后,将多次迭代中评分最低的ransac算法模型作为当前线段最终的ransac算法模型,若该模型的评分小于设定阈值则表示存在模型,否则,表示存在模型。
279.步骤6:若存在模型,则从初始线段集合中去除当前最终的ransac算法模型内的线段集合,将该集合内的线段标记为删除。
280.步骤7:重复执行s1104,利用ransac算法模型对下一个线段进行处理。
281.s1108:物体检测装置根据划分的线段集合进行物体检测。
282.物体检测装置将所有满足条件的ransac算法模型内的线段集合反投影到第一目标图像的图像平面,根据得到的投影线段,确定至少一个目标物体在第一目标图像中的位置。
283.上述实施例中,通过引入相机标定信息,构造从图像平面到理想地平面的ipm转换所需的单应矩阵,将原始图像帧内目标的几何属性进行还原以及加强,其中还原主要针对位于地平面内的地标例如车道线、人行道等,针对具备高度的物体,其轮廓将被显著拉长。因此,在新的数据表现形式下,更有利于使用ransac算法进行模型的筛选。本实施例中充分
利用图像中物体在经过ipm变换后所形成的显著的仿射状几何特征,特别是对于较高和较远的目标,物体在鸟瞰图上形成的轮廓将接近或者经过光心,且其高度对应的轮廓将被显著拉长,基于以上几何约束,通过半随机的ransac算法,并通过自定义的轮廓模型及评分项,完成对目标物体轮廓的迭代筛选。同时,该方法可以根据相机标定信息进行测距,整合了检测和测距算法,将检测和测距整合进同一个迭代模型,故可以同时返回距离信息和检测信息,从而简化了算法的整体流程。此外,算法中使用轻量的分类器删除路面区域的轮廓点,能够提高算法的效率。
284.基于以上实施例及相同构思,本技术实施例还提供了一种物体检测装置,如图12所示,所述物体检测装置1200可以包括:透视变换单元1201、图像处理单元1202、选择单元1203、划分单元1204以及定位单元1205。
285.所述透视变换单元1201,用于对第一目标图像进行逆透视变换处理,得到第二目标图像,其中,所述第一目标图像为对包含至少一个目标物体的场景拍摄的图像,所述第二目标图像为所述第一目标图像映射到目标平面后得到的图像。
286.所述图像处理单元1202用于对所述第二目标图像进行轮廓线提取处理,在所述第二目标图像中得到多个轮廓线段。
287.所述选择单元1203用于在所述多个轮廓线段中,选择线段所在直线经过设定的目标点的多个线段。
288.所述划分单元1204用于根据所述多个线段在所述第二目标图像的位置,将所述多个线段划分为至少一个线段集合,其中,不同线段集合包含的线段不同,任一个线段集合包含所述多个线段中的至少两个线段;针对每个线段集合执行以下步骤:将目标线段集合中包含的至少两个线段投影到所述第一目标图像中,得到至少两个投影线段。
289.所述定位单元1205用于根据所述至少两个投影线段确定一个目标物体在所述第一目标图像中的位置,其中,所述目标线段集合为每个线段集合。
290.在一种可能的设计中,所述物体检测装置1200还包括获取单元1206,所述获取单元1206用于获取所述第一目标图像。
291.在一种可能的设计中,所述划分单元1204根据所述多个线段在所述第二目标图像的位置,将所述多个线段划分为至少一个线段集合时,具体用于:根据所述多个线段的起始端点在所述第二目标图像的位置,对所述多个线段进行排序,其中,任一个线段的起始端点为所述线段的两个端点中距离所述目标点最近的一个端点;按照所述多个线段的排序,依次选择一个未被划分到线段集合的线段作为参考线段,并对所述参考线段执行以下划分过程:将所述多个线段中除所述参考线段和已被划分到线段集合的线段以外的其它线段作为待分线段;在所述待分线段中确定与所述参考线段之间的夹角小于设定阈值的目标线段,其中,所述目标线段中包含至少一个线段;计算将所述目标线段与所述参考线段归类于同一物体轮廓的误差参数;当所述误差参数小于或等于设定阈值时,将所述目标线段与所述参考线段划分到同一线段集合;当所述误差参数大于所述设定阈值时,不将所述目标线段与所述参考线段划分到同一线段集合,本次划分过程结束。
292.在一种可能的设计中,所述划分单元1204根据所述多个线段的起始端点在所述第二目标图像的位置,对所述多个线段进行排序时,具体用于:按照在所述第二目标图像中线段的起始端点顺时针或逆时针的位置分布顺序,对所述多个线段进行排序。
293.在一种可能的设计中,所述划分单元1204计算将所述目标线段与所述参考线段归类于同一物体轮廓的误差参数时,具体用于:根据设定数据模型,计算将所述目标线段与所述参考线段归类于同一物体轮廓的误差参数,其中,所述设定数据模型用于计算将多个线段归类于同一物体轮廓时存在的误差。
294.在一种可能的设计中,所述划分单元1204计算将所述目标线段与所述参考线段归类于同一物体轮廓的误差参数时,具体用于:对所述目标线段和所述参考线段执行多次计算过程,得到多个备选误差参数;其中,每次计算过程包括以下步骤:从所述目标线段中随机选择至少一个线段;将所述参考线段和从所述目标线段中随机选择的至少一个线段作为样本线段;计算所述样本线段对应的目标参数,根据所述目标参数确定备选误差参数;其中,所述目标参数:包括至少一项用于表征所述样本线段的几何分布特征的参数;确定所述多个备选误差参数中的最小值;将所述最小值作为将所述目标线段与所述参考线段归类于同一物体轮廓的误差参数。
295.在一种可能的设计中,所述样本线段中包含多个第一线段;所述目标参数包含如下至少一项:取值为1/(1+exp (-x))的参数,其中,exp()为以自然常数为底的指数函数,x为所述多个第一线段的比例参数的方差,任一个第一线段的比例参数为所述第一线段的长度与所述第一线段的终止端点到所述目标点的距离之间的比值,任一个第一线段的终止端点为所述第一线段的两个端点中距离所述目标点最远的一个端点;至少一个第二线段中包含的所有点的纹理方向值的方差,所述至少一个第二线段为按照所述多个第一线段在所述多个线段中的排序,依次连接所述多个第一线段的起始端点后得到的线段;至少一个第二线段中距离所述目标点最近的一个线段与所述目标点之间的距离,所述至少一个第二线段为按照所述多个第一线段在所述多个线段中的排序,依次连接所述多个第一线段的起始端点后得到的线段;分别连接所述参考线段的两个端点与所述目标点后得到的两个线段之间的夹角。
296.在一种可能的设计中,所述图像处理单元1202对所述第二目标图像进行轮廓线提取处理,在所述第二目标图形中得到多个轮廓线段时,具体用于:对所述第二目标图像进行边缘轮廓检测,在所述第二目标图像中得到多个轮廓点;根据所述多个轮廓点,得到所述多个轮廓线段。
297.在一种可能的设计中,所述图像处理单元1202根据所述多个轮廓点,得到所述多个轮廓线段时,具体用于:对所述多个轮廓点进行过滤,得到多个目标轮廓点;对所述多个目标轮廓点进行直线检测,得到所述多个轮廓线段;或者对所述多个轮廓点进行直线检测,得到所述多个轮廓线段。
298.在一种可能的设计中,所述图像处理单元1202对所述多个轮廓点进行过滤时,具体用于:按照设定网格大小,将所述第二目标图像的图像区域划分为多个网格;利用设定的分类器,对所述多个网格中显示的物体进行分类;若在所述多个网格中,存在目标网格中显示的物体的类别为设定类别,则将位于所述目标网格中的轮廓点删除。
299.本技术实施例中,对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,另外,在本技术各个实施例中的各功能单元可以集成在一个处理器或控制器中,也可以是单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
300.例如,所述透视变换单元1201、所述图像处理单元1202、所述选择单元1203、所述划分单元1204、所述定位单元1205可以分别是不同的处理器或控制器;或者所述透视变换单元1201、所述图像处理单元1202、所述选择单元1203、所述划分单元1204、所述定位单元1205可以是同一个处理器或控制器;或者,所述透视变换单元1201、所述图像处理单元1202、所述选择单元1203、所述划分单元1204、所述定位单元1205中的部分功能单元可以集成到一个处理器或控制器,另一部分功能单元集成到另一个处理器或控制器。
301.所述处理器或控制器,例如可以是通用中央处理器(central processing unit,cpu),通用处理器,数字信号处理(digital signal processing,dsp),专用集成电路(application specific integrated circuits,asic),现场可编程门阵列(field programmable gate array,fpga)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框,模块等。处理器也可以是实现计算功能的组合,例如包括一个或多个微处理器组合,dsp和微处理器的组合等等。
302.所述获取单元1206可以是一种该物体检测装置1200的接口电路,用于从其它装置接收数据,例如接收图像采集装置发送的第一目标图像。当该物体检测装置以芯片的方式实现时,获取单元1206可以是该芯片用于从其它芯片或装置接收数据或者向其它芯片或装置发送数据的接口电路。
303.图12中的各个单元的只一个或多个可以软件、硬件、固件或其结合实现。所述软件或固件包括但不限于计算机程序指令或代码,并可以被硬件处理器所执行。所述硬件包括但不限于各类集成电路,如中央处理单元(cpu)、数字信号处理器(dsp)、现场可编程门阵列(fpga)或专用集成电路(asic)。
304.基于以上实施例及相同构思,本技术实施例还提供了一种物体检测装置,用于实现本技术实施例提供的障碍物检测方法。如图13所示,所述物体检测装置1300可以包括:一个或多个处理器1301,存储器1302,以及一个或多个计算机程序(图中未示出)。
305.作为一种实现方式,上述各器件可以通过一个或多个通信线路1303耦合。其中,存储器1302中存储有一个或多个计算机程序,所述一个或多个计算机程序包括指令;处理器1301调用存储器1302中存储的所述指令,使得物体检测装置1300执行本技术实施例提供的物体检测方法。
306.在本技术实施例中,处理器可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
307.在本技术实施例中,存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,rom)、可编程只读存储器(programmable rom,prom)、可擦除可编程只读存储器(erasable prom,eprom)、电可擦除可编程只读存储器(electrically eprom,eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory,ram),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的ram可用,例如静态随机存取存储器
(static ram,sram)、动态随机存取存储器(dynamic ram,dram)、同步动态随机存取存储器(synchronous dram,sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram,ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram,esdram)、同步连接动态随机存取存储器(synchlink dram,sldram)和直接内存总线随机存取存储器(direct rambus ram,dr ram)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。本技术实施例中的存储器还可以是电路或者其它任意能够实现存储功能的装置。
308.作为一种实现方式,所述物体检测装置1300还可以包括通信接口1304,用于通过传输介质和其它装置进行通信,例如,所述通信接口1304可以接收来自图像采集装置的第一目标图像。在本技术实施例中,通信接口可以是收发器、电路、总线、模块或其它类型的通信接口。在本技术实施例中,通信接口为收发器时,收发器可以包括独立的接收器、独立的发射器;也可以集成收发功能的收发器、或者是接口电路。
309.在本技术一些实施例中,所述处理器1301、存储器1302以及通信接口1304可以通过通信线路1303相互连接;通信线路1303可以是外设部件互连标准(peripheral component interconnect,简称pci)总线或扩展工业标准结构(extended industry standard architecture,简称eisa)总线等。所述通信线路1303可以分为地址总线、数据总线、控制总线等。为便于表示,图13中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
310.本技术实施例提供的方法中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,简称dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机可以存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,数字视频光盘(digital video disc,简称dvd)、或者半导体介质(例如,ssd)等。
311.显然,本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的范围。这样,倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内,则本技术也意图包含这些改动和变型在内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1