连续型障碍物检测方法、装置、设备和存储介质与流程

文档序号:15183173发布日期:2018-08-17 07:11阅读:217来源:国知局

本申请实施例涉及辅助驾驶技术领域,特别涉及一种连续型障碍物检测方法、装置、设备和存储介质。



背景技术:

在无人驾驶技术中,由汽车通过摄像头采集的图像对路面的障碍物进行识别。对障碍物进行识别又分为:对连续型障碍物的识别以及非连续型障碍物的识别。其中,连续型的障碍物是指满足一定高度和一定长度的障碍物,如:路肩石、路边的栅栏等。

相关技术中,对连续型障碍物进行检测时,首先通过立体相机对汽车前进方向的图像进行采集。该立体相机包括左摄像头和右摄像头,根据左摄像头采集的第一图像和右摄像头采集的第二图像得到视差图,并对该视差图中检测得到的障碍物候选点进行直线拟合得到连续型障碍物的拟合直线,从而得到连续型障碍物在视差图中的位置。

但由于视差图中障碍物情况较为复杂,障碍物候选点的数量较多,分布较广,导致在对连续型障碍物进行直线拟合时,其他障碍物的障碍物候选点也被拟合至连续型障碍物的拟合直线中,导致连续型障碍物的检测结果不准确。



技术实现要素:

本申请实施例提供了一种连续型障碍物检测方法、装置、设备和存储介质,可以解决连续型障碍物的检测结果不准确的问题。该技术方案如下:

第一方面,提供了一种连续型障碍物检测方法,该方法包括:

根据立体相机采集的第一图像和第二图像得到v视差图和u视差图;

根据预设检测区域信息在u视差图中确定连续型障碍物的检测区域,预设检测区域信息用于指示在u视差图中位于车身侧方预设距离范围内的区域;

在v视差图中选取连续型障碍物的第一候选点,并将第一候选点投影至u视差图中,得到第二候选点;

在u视差图中对处于检测区域内的第二候选点进行拟合,得到连续型障碍物的拟合直线。

第二方面,提供了一种连续型障碍物检测装置,该装置包括:

采集模块,用于根据立体相机采集的第一图像和第二图像得到v视差图和u视差图;

区域确定模块,用于根据预设检测区域信息在u视差图中确定连续型障碍物的检测区域,预设检测区域信息用于指示在u视差图中位于车身侧方预设距离范围内的区域;

选取模块,用于在v视差图中选取连续型障碍物的第一候选点,并将第一候选点投影至u视差图中,得到第二候选点;

拟合模块,用于在u视差图中对处于检测区域内的第二候选点进行拟合,得到连续型障碍物的拟合直线。

第三方面,提供了连续型障碍物检测设备,设备包括处理器和存储器,存储器中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上述本申请实施例第一方面及其可选实施例中任一的连续型障碍物检测方法。

第四方面,提供了一种计算机可读存储介质,存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上述本申请实施例第一方面及其可选实施例中任一的连续型障碍物检测方法。

本申请实施例提供的技术方案带来的有益效果是:

相关技术中,由于对连续型障碍物进行检测时,会将干扰区域中的零散障碍物的点拟合进连续型障碍物的拟合直线中,如:将车辆正前方的零散障碍物的点拟合进连续型障碍物的拟合直线中,造成连续型障碍物的拟合直线中包括较多零散障碍物的点构成的直线,连续型障碍物的检测结果不准确,而本申请通过根据预设检测区域信息在u视差图中对检测区域中的点进行直线拟合,而预设检测区域信息用于指示在u视差图中位于车身侧方预设距离范围内的区域,从而避免车辆正前方的零散障碍物的点的干扰,提高了连续型障碍物的拟合准确度。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请一个示例性实施例提供的视差图与v视差图的变换过程示意图;

图2是本申请一个示例性实施例提供的视差图与u视差图的变换过程示意图;

图3是本申请一个示例性的实施例提供的连续型障碍物检测系统的示意图;

图4是本申请一个示例性的实施例提供的连续型障碍物检测方法的流程图;

图5a是本申请一个示例性的实施例提供的检测区域的示意图;

图5b是本申请另一个示例性的实施例提供的检测区域的示意图;

图6a是本申请另一个示例性的实施例提供的连续型障碍物检测方法的流程图;

图6b是本申请一个示例性的实施例提供的连续型障碍物的示意图;

图7是本申请另一个示例性的实施例提供的连续型障碍物检测方法的流程图;

图8是本申请一个示例性的实施例提供的v视差图中的第一候选点选取范围的示意图;

图9是本申请一个示例性的实施例提供的u视差图中的第二候选点的示意图;

图10是本申请一个示例性的实施例提供的u视差图中的拟合直线的示意图;

图11是本申请一个示例性的实施例提供的连续型障碍物检测装置的结构框图;

图12是本申请一个示例性实施例提供的连续型障碍物检测设备的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。

首先,对本申请实施例中涉及的名词进行解释:

连续型障碍物:连续型障碍物是指具有一定高度以及一定长度的障碍物,结合本申请实施例的实际应用场景,该连续型障碍物是指在车辆自动驾驶过程中,在车辆前进方向两侧的具有一定高度和一定长度的障碍物,其中,一定高度是指该连续型障碍物的顶部距离地面的高度在预设高度范围内,一定长度是指该连续型障碍物沿道路延伸方向进行延伸的长度在预设长度范围内,如:路边的路肩、栅栏等。

视差(英文:parallax):视差是指从一定距离的两个点上观察同一对象产生的方向差异。比如:对于同一对象,若该对象在实际场景中连续,同一时刻由第一摄像头拍摄该对象得到第一图像,由第二摄像头拍摄该对象得到第二图像,并将第一图像和第二图像进行点对点拼接得到拼接图像时,在拼接图像中该对象不再连续。其中,点对点拼接是指将第一图像的右上角与第二图像的左上角做拼接,将第一图像的右下角与第二图像的左下角做拼接;或者将第一图像的左上角与第二图像的右上角做拼接,将第一图像的左下角与第二图像的右下角做拼接。

视差图(英文:disparitymap):视差图是指以一副图像为基准图像,结合对照图像生成的用于表示这两幅图像之间的差别的图,视差图中的每个点的元素值为该点的视差值。其中,每个点视差值可以由该点在基准图像中的横坐标与该点在对照图像中的横坐标之间的差值得到,示意性的,由立体相机的左摄像头采集得到第一图像,右摄像头采集得到第二图像,以第一图像为基准图像,第二图像作为对照图像,点a在第一图像中的坐标为(5,3),点a在第二图像中的坐标为(2,3),则可以认为该点a在由第一图像和第二图像得到的视差图中的元素值为5和2之间的差值,即为3。其中,在第一图像中构建的坐标系和在第二图像中构建的坐标系相同。可选地,视差图中的点的坐标可以用(u,v)表示,其中u为横坐标,v为纵坐标,点(u,v)处的视差值可以用d(u,v)表示,如:da(u,v)=3。

v视差图(英文:v-disparitymap):v视差图为视差图经过变换得到的,v视差图为视差图的横向投影。形象的说,v视差图为视差图的侧视图。可选地,由视差图转换至v视差图时,转换方式如图1所示:首先,v视差图110中横坐标为视差值,纵坐标为v,v视差图110的行数与视差图100的行数对应,v视差图110的列数由视差图100中的最大视差值决定,如:视差图100中包括6行,则v视差图110也包括6行,视差图100中最大视差值为5,则v视差图110包括5+1列,即6列,其中,v视差图中每个点的取值由该点所在的行中,每个视差值的点的个数,以及该点所在的列决定,第1列对应视差值为0的点的个数,第2列对应视差值为1的点的个数,第3列对应视差值为2的点的个数,以此类推,如:第1行第1列的点的取值由视差图的第1行中视差值为0的点的个数确定,参考图1可知,第1行中视差值为0的点的个数为0,则第1行第1列的点的取值为0。

u视差图(英文:u-disparitymap):u视差图为视差图经过变换得到的,u视差图为视差图的纵向投影,形象的说,u视差图为视差图的俯视图。可选地,由视差图转换至u视差图时,转换方式如图2所示:首先,u视差图210中横坐标为u,纵坐标为视差值,u视差图210的行数与视差图200的列数对应,u视差图210的行数由视差图200中的最大视差值决定,如:视差图200中包括6列,则u视差图210也包括6列,视差图200中最大视差值为5,则u视差图210包括5+1行,即6行,其中,u视差图中每个点的取值由该点所在的列中,每个视差值的点的个数,以及该点所在的行决定,第1行对应视差值为0的点的个数,第2行对应视差值为1的点的个数,第3行对应视差值为2的点的个数,以此类推,如:第1行第2列的点的取值由视差图的第2列中视差值为0的点的个数确定,参考图2可知,第2列中视差值为0的点的个数为1,则第1行第2列的点的取值为1。

拟合:拟合是指把平面上一系列的点,用一条光滑的曲线连接起来。

地面相关线(英文:groundcorrelationline):地面相关线是在视差图中用于指代地面的线,可选地,该地面相关线通常是在v视差图中用于指代地面的线。

结合上述本申请实施例中的名词解释,图3是本申请一个示例性的实施例提供的连续型障碍物检测系统的示意图,如图3所示,该连续型障碍物检测系统包括:立体相机300和处理模块320;

立体相机300用于对图像进行采集。可选地,立体相机300包括左摄像头301和右摄像头302,立体相机300用于在同一时刻通过左摄像头301和右摄像头302分别采集图像,并将采集到的两张图像传输至处理模块320。

其中,左摄像头301和右摄像头302固定在车辆上,且左摄像头301和右摄像头302之间的距离为b,两个摄像头的焦距都为f,即该立体相机300的基线长为b,焦距为f。

处理模块320,用于根据立体相机采集的两张图像通过立体匹配算法得到视差图,并将该视差图通过第一变换得到v视差图,将该视差图经过第二变换得到u视差图,以及根据v视差图和u视差图检测得到连续型障碍物。

结合上述连续型障碍物检测系统,图4是本申请一个示例性的实施例提供的连续型障碍物检测方法的流程图,如图4所示,该连续型障碍物检测方法包括:

步骤401,根据立体相机采集的第一图像和第二图像得到v视差图和u视差图。

根据第一图像和第二图像得到v视差图和u视差图的过程在上述图1图2的解释中已作说明,此处不再赘述。

步骤402,根据预设检测区域信息在u视差图中确定连续型障碍物的检测区域。

该预设检测区域信息用于指示在u视差图中位于车身侧方预设距离范围内的区域。

可选地,该连续型障碍物的检测区域以场景的俯视角度看,处于车身的两侧向前延伸,如图5a所示,以对场景的俯视图作一个示意性的说明,在车身51中设置立体相机,该立体相机的可视角度如角度52所示,车身51的正前方为区域53,该区域53为不在检测区域内的区域,其中,车身51左侧向左第一距离到车身51左侧之间的区域设置为第一检测区域541,并将车身51右侧向右第二距离到车身51右侧之间的区域设置为第二检测区域542,将第一检测区域541和第二检测区域542确定为连续型障碍物的检测区域。可选地,该第一距离和第二距离可以是相等的距离也可以是不相等的距离。

可选地,在通过预设检测区域信息在u视差图中确定连续型障碍物的检测区域时,包括如下方式中的至少一种:

第一,在确定u视差图后,根据预设的图形化检测区域在u视差图中进行映射,得到u视差图中的连续型障碍物检测区域;

示意性的,请参考图5b,图5b是本申请一个示例性的实施例提供的u视差图中连续型障碍物的检测区域的示意图,结合上述说明,图5b中示意性的展示了车身正前方区域53以及第一检测区域541和第二检测区域542。

第二,根据预设检测区域信息在u视差图中确定第一检测区域,该第一检测区域用于表示距离车身左侧预设距离范围内的区域;根据预设检测区域信息在u视差图中确定第二检测区域,该第二检测区域用于表示距离车身右侧预设距离范围内的区域;将第一检测区域和第二检测区域确定为连续型障碍物的检测区域。

步骤403,在v视差图中选取连续型障碍物的第一候选点。

可选地,该v视差图是立体相机采集的第一图像和第二图像经过第一变换得到的视差图。可选地,该第一变换为先根据第一图像和第二图像得到这两个图像的视差图,并对视差图进行横向投影,得到v视差图,具体投影方式,请参考图1。

可选地,该第一候选点为在v视差图中显示为障碍物的点。示意性的,如路面上的石子在v视差图中的点、路肩在v视差图中的点。

步骤404,将v视差图中的第一候选点投影至u视差图中,得到第二候选点。

可选地,该u视差图是立体相机采集的第一图像和第二图像经过第二变换得到的视差图。可选地,该第二变换为先根据第一图像和第二图像得到这两个图像的视差图,并对视差图进行纵向投影,得到u视差图,具体投影方式,请参考图2。

可选地,v视差图中的点与u视差图中的点相互对应,v视差图中的点可以映射到u视差图中。

步骤405,在u视差图中对处于检测区域内的第二候选点进行拟合,得到连续型障碍物的拟合直线。

可选地,对u视差图中位于检测区域内的映射得到的第二候选点进行拟合,得到一条直线,作为连续型障碍物的拟合直线。

综上所述,本实施例提供的连续型障碍物检测方法,通过在u视差图中对检测区域进行设置,对检测区域内的点进行拟合,而不是对立体相机视线范围内的所有障碍物的点都进行拟合,有效避免车辆正前方的零散障碍物的点的干扰,提高了连续型障碍物的拟合准确度。

本实施例提供的连续型障碍物检测方法,通过在u视差图中对连续型障碍物的拟合直线的极径和角度进行限制,限制了连续型障碍物的拟合直线在u视差图中的位置,从而避免了将零散障碍物的点拟合进连续型障碍物的拟合直线中,提高了连续型障碍物的检测准确度。

在一个可选的实施例中,在得到拟合直线后,还可以对拟合直线是否满足连续型障碍物的位置条件进行检测,图6a是本申请另一个示例性的实施例提供的连续型障碍物检测方法的流程图,如图6a所示,该连续型障碍物检测方法包括:

步骤601,根据立体相机采集的第一图像和第二图像得到v视差图和u视差图。

根据第一图像和第二图像得到v视差图和u视差图的过程在上述名词解释中已作说明,此处不再赘述。

步骤602,根据预设检测区域信息在u视差图中确定连续型障碍物的检测区域。

该预设检测区域信息用于指示在u视差图中位于车身侧方预设距离范围内的区域。

可选地,该连续型障碍物的检测区域以场景的俯视角度看,处于车身的两侧向前延伸,具体请参考上述步骤402,此处不再赘述。

可选地,在通过预设检测区域信息在u视差图中确定连续型障碍物的检测区域时,包括如下方式中的至少一种:

第一,该预设检测区域信息为预设的图形化检测区域,在确定u视差图后,根据预设的图形化检测区域在u视差图中进行映射,得到u视差图中的连续型障碍物检测区域;

示意性的,请参考图5b,图5b是本申请一个示例性的实施例提供的u视差图中连续型障碍物的检测区域的示意图,结合上述说明,图5b中示意性的展示了车身正前方区域53以及第一检测区域541和第二检测区域542。

第二,该预设检测范围信息包括第一极径取值范围、第二极径取值范围、第一角度取值范围以及第二角度取值范围,预先设置连续型障碍物的拟合直线在u视差图中的极径取值范围和角度取值范围,并在得到u视差图后,根据极径取值范围和角度取值范围确定连续型障碍物的检测区域;

可选地,该极径取值范围和角度取值范围为与上述图5a中的检测区域对应的取值范围。

示意性的,根据第一极径取值范围和第一角度范围在u视差图中确定第一检测区域,根据第二极径取值范围和第二角度范围在u视差图中确定第二检测区域,将第一检测区域和第二检测区域确定为连续型障碍物的检测区域,其中,极径和角度是u视差图的直角坐标系中进行表达的参数,直角坐标系用于得到对u视差图中的图像元素的第一表达方式。

可选地,该直角坐标系的横轴为x轴,纵轴为y轴,示意性的,直线l在上述直角坐标系中的第一表达方式如下:

ρ=xcosθ+ysinθ,ρ≥0,0≤θ≤2π

其中,ρ为直线l的极径,即直线l与原点之间的垂线的距离,可选地,该原点可以是u视差图的左上角的点、右上角的点、左下角的点或右下角的点,本实施例对该原点的位置不做限定,θ为直线l的角度,即直线l与x轴之间的夹角。

步骤603,在v视差图中选取连续型障碍物的第一候选点。

可选地,该v视差图是立体相机采集的第一图像和第二图像经过第一变换得到的视差图。可选地,该第一变换为先根据第一图像和第二图像得到这两个图像的视差图,并对视差图进行横向投影,得到v视差图,具体投影方式,请参考图1。

可选地,该第一候选点为在v视差图中显示为障碍物的点。示意性的,如路面上的石子在v视差图中的点、路肩在v视差图中的点。

步骤604,将v视差图中的候选点投影至u视差图中。

将v视差图中的第一候选点投影至u视差图中,得到第二候选点。

可选地,该u视差图是立体相机采集的第一图像和第二图像经过第二变换得到的视差图。可选地,该第二变换为先根据第一图像和第二图像得到这两个图像的视差图,并对视差图进行纵向投影,得到u视差图,具体投影方式,请参考图2。

可选地,v视差图中的点与u视差图中的点相互对应,v视差图中的点可以映射到u视差图中。

步骤605,在u视差图中对处于检测区域内的第二候选点进行拟合,得到连续型障碍物的拟合直线。

可选地,对u视差图中位于检测区域内的映射得到的第二候选点进行拟合,得到一条直线,作为连续型障碍物的拟合直线。

可选地,该拟合方式包括如下方式中的至少一种:

第一,通过霍夫变换(英文:houghtransform)法对第二候选点进行拟合,得到拟合直线;

可选地,霍夫变换法是根据第二候选点的共线性进行拟合得到拟合直线的方法。

可选地,在通过霍夫变换法对第二候选点进行拟合时,需要在上述步骤602中所述的极径取值范围以及角度取值范围内对该候选点进行拟合,即拟合得到的拟合直线的极径以及角度需要在极径取值范围内以及角度取值范围内。

该角度取值范围为从连续型障碍物距离车身距离最近的情况下角度,到连续型障碍物距离车身有一定距离的情况下角度。由于连续型障碍物的拟合直线在霍夫变换时的角度仅与连续型障碍物距离车身的横向距离有关,连续型障碍物与车身之间的距离越远,角度越大。示意性的,检测区域为与车身侧边距离为m到车身侧边之间的区域,则对应的角度取值范围为±θ0~±θm,其中,±θ0为连续型障碍物紧贴车身时的拟合直线的角度,±θm为连续型障碍物与车身之间的距离为m时的拟合直线的角度。

该极径取值范围为从连续型障碍物与车身平行的情况下拟合直线的极径,到连续型障碍物与车身之间有一定角度的情况下拟合直线的极径。由于拟合直线的极径与连续型障碍物与车身之间的距离,以及连续型障碍物与车辆前进方向之间的夹角都有关,距离越远,极径越小;夹角越大,极径越大。示意性的,当连续性障碍物与车辆之间的距离为0~xc,并限制连续型障碍物与车辆前进方向之间的夹角为0~α之间,则拟合直线的极径范围为τc~τα,其中,τc为车身前进方向与连续型障碍物平行,车身与连续型障碍物距离为xc时的极径,τα为车身前进方向与连续型障碍物呈α角,且连续型障碍物与车身之间的距离为0时的极径。

第二,通过最小二乘法对第二候选点进行拟合,得到拟合直线。

可选地,最小二乘法是根据第二候选点到拟合直线的距离平方和取最小的规则得到拟合直线的方法。

步骤606,检测拟合直线是否满足连续型障碍物的位置条件。

可选地,该连续型障碍物的位置条件,包括该连续型障碍物在图像像素坐标系中的位置条件,该图像像素坐标系用于得到u视差图中的图像元素的第二表达方式。

可选地,该图像像素坐标系为横坐标为u,纵坐标为d的坐标系,可选地,该图像像素坐标系可以由三维坐标系转换得到,三维坐标系为以相机中心点为原点,由x轴、y轴以及z轴构成的坐标系,图像像素坐标系和三维坐标系的转换关系如下:

其中,ul、d、x、和z为变量,f为立体相机的焦距,b为立体相机的基线长,u0为三维坐标系的原点在图像像素坐标系中的横坐标。

可选地,该拟合直线在三维坐标系中的表达方式如下:

第一,当连续型障碍物与立体相机的拍摄方向平行,也即与车辆前进方向平行时,连续型障碍物的拟合直线在三维坐标系中可表达为:

x=r

其中,x为变量,r为连续型障碍物与纵轴之间的距离;

根据该连续型障碍物的拟合直线在三维坐标系中的表达式,得到拟合直线在图像像素坐标系中的表达式为:

其中,d和u为变量,b为立体相机的基线长,u0为三维坐标系的原点在图像像素坐标系中的横坐标,即该拟合直线在图像像素坐标系中还可以表达为:

其中,k表示斜率,b表示截距,即,该拟合直线为斜率为截距为的直线。

第二,当连续型障碍物与立体相机的拍摄方向有一定的夹角时,连续型障碍物在三维坐标系中可表达为:

z=σx+τ

其中,z和x为变量,σ和τ为根据连续型障碍物在三维坐标系中的实际位置确定的参数,根据该表达式,该拟合直线在图像像素坐标系中的表达式为:

其中,d和u为变量,b为立体相机的基线长,u0为三维坐标系的原点在图像像素坐标系中的横坐标,f为立体相机的焦距,即该拟合直线在图像像素坐标系中还可以表达为:

其中,k表示斜率,b表示截距,即,该拟合直线为斜率为截距为的直线。

可选地,检测拟合直线是否满足连续型障碍物在图像像素坐标系中的位置条件,包括如下方式中的至少一种:

第一,检测拟合直线在图像像素坐标系中的斜率是否在预设斜率范围内;

该预设斜率范围为从连续型障碍物距离车身距离最近的情况下拟合直线的斜率,到连续型障碍物距离车身有一定距离的情况下拟合直线的斜率。由于连续型障碍物的拟合直线的斜率仅与连续型障碍物距离车身的横向距离有关,而与车身前进方向和连续型障碍物之间的夹角无关,连续型障碍物与车身之间的距离越远,拟合直线的斜率的绝对值越小。示意性的,检测区域为与车身侧边距离为m到车身侧边之间的区域,则对应的斜率范围为±k0~±km,其中,±k0为连续型障碍物紧贴车身时的拟合直线的斜率,±km为连续型障碍物与车身之间的距离为m时的拟合直线的斜率。

第二,检测拟合直线在图像像素坐标系中的截距是否在预设截距范围内。

该预设截距范围为从连续型障碍物与车身平行的情况下拟合直线的截距,到连续型障碍物与车身之间有一定角度的情况下拟合直线的截距。由于拟合直线的截距与连续型障碍物与车身之间的距离,以及连续型障碍物与车辆前进方向之间的夹角都有关,距离越远,截距越小;夹角越大,截距越大。示意性的,当连续性障碍物与车辆之间的距离为x0不变,并限制连续型障碍物与车辆前进方向之间的夹角为0~α之间,则拟合直线的截距范围为b0~bα,其中,b0为车身前进方向与连续型障碍物平行时的截距,bα为车身前进方向与连续型障碍物呈α角时的截距。

步骤607,当拟合直线满足连续型障碍物的位置条件时,根据拟合直线在立体相机采集的目标图像中确定连续型障碍物的底边缘和/或上边缘,该目标图像为第一图像,或,第二图像。

可选地,底边缘是指连续型障碍物中与地面距离最近的一条边,上边缘是指连续型障碍物中与地面距离最远的一条边。

示意性的,请参考图6b,在u视差图61中确定拟合直线611后,在目标图像62中确定连续型障碍物63的底边缘631以及连续型障碍物63的上边缘632,其中,底边缘631为距离地面最近的边,上边缘632为距离地面最远的边。

综上所述,本实施例提供的连续型障碍物检测方法,通过在u视差图中对检测区域进行设置,对检测区域内的点进行拟合,而不是对立体相机视线范围内的所有障碍物的点都进行拟合,有效避免车辆正前方的零散障碍物的点的干扰,提高了连续型障碍物的拟合准确度。

本实施例提供的连续型障碍物检测方法,通过在u视差图中对连续型障碍物的拟合直线的极径和角度进行限制,限制了连续型障碍物的拟合直线在u视差图中的位置,从而避免了将零散障碍物的点拟合进连续型障碍物的拟合直线中,提高了连续型障碍物的检测准确度。

本实施例提供的连续型障碍物检测方法,通过对拟合直线是否满足连续型障碍物在图像像素坐标系中的位置条件,对拟合直线的斜率以及截距进行限制,进一步提高了连续型障碍物的拟合直线的准确性,提高了连续型障碍物检测准确度。

在一个可选的实施例中,在v视差图中选取的候选点是根据v视差图中的地面相关线确定的,图7是是本申请另一个示例性的实施例提供的连续型障碍物检测方法的流程图,如图7所示,该连续型障碍物检测方法包括:

步骤701,根据立体相机采集的第一图像和第二图像得到v视差图和u视差图。

根据第一图像和第二图像得到v视差图和u视差图的过程在上述名词解释中已作说明,此处不再赘述。

步骤702,根据预设检测区域信息在u视差图中确定连续型障碍物的检测区域。

该预设检测区域信息用于指示在u视差图中位于车身侧方预设距离范围内的区域。

可选地,该连续型障碍物的检测区域以场景的俯视角度看,处于车身的两侧向前延伸,具体请参考上述步骤402,此处不再赘述。

可选地,在通过预设检测区域信息在u视差图中确定连续型障碍物的检测区域时,包括如下方式中的至少一种:

第一,该预设检测区域信息为预设的图形化检测区域,在确定u视差图后,根据预设的图形化检测区域在u视差图中进行映射,得到u视差图中的连续型障碍物检测区域;

示意性的,请参考图5b,图5b是本申请一个示例性的实施例提供的u视差图中连续型障碍物的检测区域的示意图,结合上述说明,图5b中示意性的展示了车身正前方区域53以及第一检测区域541和第二检测区域542。

第二,该预设检测范围信息包括第一极径取值范围、第二极径取值范围、第一角度取值范围以及第二角度取值范围,预先设置连续型障碍物的拟合直线在u视差图中的极径取值范围和角度取值范围,并在得到u视差图后,根据极径取值范围和角度取值范围确定连续型障碍物的检测区域;

可选地,该极径取值范围和角度取值范围为与上述图5a中的检测区域对应的取值范围。

示意性的,根据第一极径取值范围和第一角度范围在u视差图中确定第一检测区域,根据第二极径取值范围和第二角度范围在u视差图中确定第二检测区域,将第一检测区域和第二检测区域确定为连续型障碍物的检测区域,其中,极径和角度是u视差图的直角坐标系中进行表达的参数,直角坐标系用于得到对u视差图中的图像元素的第一表达方式。

步骤703,在v视差图中确定地面相关线。

可选地,该v视差图是立体相机采集的第一图像和第二图像经过第一变换得到的视差图。可选地,该第一变换为先根据第一图像和第二图像得到这两个图像的视差图,并对视差图进行横向投影,得到v视差图,具体投影方式,请参考图1。

该地面相关线为用于指代地面的地面拟合直线,可选地,在v视差图中确定地面相关线的方式包括但不限于:

第一,在v视差图中确定地面上的候选地面点,根据候选地面点查询预存的与该候选地面点对应的候选地面相关线,并在该候选地面相关线中确定一条地面相关线;

示意性的,首先在v视差图中获取候选地面点,该候选地面点可以是地面上的预设像素的点,也可以是根据像素点与参考线之间的距离确定的,该参考线为前一帧v视差图中的地面相关线。确定候选地面点后,查询与候选地面点对应的候选地面相关线,并根据候选地面相关线与每个候选地面点之间的距离,确定地面相关线。

第二,在v视差图中确定地面上的候选地面点,并对候选地面点进行拟合,得到地面拟合直线。

该拟合方式包括但不限于:霍夫拟合法、最小二乘法中的至少一个。

步骤704,在v视差图中,将高于地面相关线预定高度范围的点,确定为第一候选点。

可选地,该第一候选点为在v视差图中显示为障碍物的点。示意性的,如路面上的石子在v视差图中的点。

示意性的,请结合图8,假设预定高度范围为2至10,在v视差图81中,首先,确定地面相关线82,将高于地面相关线82预定高度范围,即2至10的点确定为第一候选点,即在高度区域83中的点,确定为第一候选点,则地面相关线82至高于地面相关线82的高度在2以内的点,不被确定为第一候选点。

步骤705,将v视差图中的候选点投影至u视差图中。

可选地,该u视差图是立体相机采集的第一图像和第二图像经过第二变换得到的视差图。可选地,该第二变换为先根据第一图像和第二图像得到这两个图像的视差图,并对视差图进行纵向投影,得到u视差图,具体投影方式,请参考图2。

可选地,v视差图中的点与u视差图中的点相互对应,v视差图中的点可以映射到u视差图中。

示意性的,请参考图9,图9是本申请一个示例性的实施例提供的将v视差图中的候选点映射到u视差图后,u视差图中显示的候选点的示意图,其中,白色较明显的点为高度较高的点,即该位置由多个白色的点叠加组成,如:位置91。

步骤706,在u视差图中对处于检测区域内的第二候选点进行拟合,得到连续型障碍物的拟合直线。

可选地,对u视差图中位于检测区域内的映射得到的第二候选点进行拟合,得到一条直线,作为连续型障碍物的拟合直线。

可选地,该拟合方式包括如下方式中的至少一种:

第一,通过霍夫变换(英文:houghtransform)法对第二候选点进行拟合,得到拟合直线;

可选地,霍夫变换法是根据第二候选点的共线性进行拟合得到拟合直线的方法。

第二,通过最小二乘法对第二候选点进行拟合,得到拟合直线。

可选地,最小二乘法是根据第二候选点到拟合直线的距离平方和取最小的规则得到拟合直线的方法。

示意性的,结合上述图9所示的u视差图中的候选点,得到的拟合直线如图10中的直线1001所示。

步骤707,检测拟合直线是否满足连续型障碍物的位置条件。

可选地,该连续型障碍物的位置条件,包括该连续型障碍物在图像像素坐标系中的位置条件,该图像像素坐标系用于得到u视差图中的图像元素的第二表达方式。

可选地,检测拟合直线是否满足连续型障碍物在图像像素坐标系中的位置条件,包括如下方式中的至少一种:

第一,检测拟合直线在图像像素坐标系中的斜率是否在预设斜率范围内;

第二,检测拟合直线在图像像素坐标系中的截距是否在预设截距范围内。

步骤708,当拟合直线满足连续型障碍物的位置条件时,根据拟合直线在立体相机采集的目标图像中确定连续型障碍物的底边缘和上边缘,该目标图像为第一图像,或,第二图像。

综上所述,本实施例提供的连续型障碍物检测方法,通过在u视差图中对检测区域进行设置,对检测区域内的点进行拟合,而不是对立体相机视线范围内的所有障碍物的点都进行拟合,有效避免车辆正前方的零散障碍物的点的干扰,提高了连续型障碍物的拟合准确度。

本实施例提供的连续型障碍物检测方法,通过在u视差图中对连续型障碍物的拟合直线的极径和角度进行限制,限制了连续型障碍物的拟合直线在u视差图中的位置,从而避免了将零散障碍物的点拟合进连续型障碍物的拟合直线中,提高了连续型障碍物的检测准确度。

本实施例提供的连续型障碍物检测方法,首先在v视差图中根据地面相关线确定候选点,确定的候选点更能满足连续性障碍物的分布规律,从而提高了连续型障碍物的检测准确度。

图11是本申请一个示例性的实施例提供的连续型障碍物检测装置的结构框图,如图11所示,该连续型障碍物检测装置包括:采集模块1101、区域确定模块1102、选取模块1103以及拟合模块1104;

采集模块1101,用于根据立体相机采集的第一图像和第二图像得到v视差图和u视差图;

区域确定模块1102,用于根据预设检测区域信息在u视差图中确定连续型障碍物的检测区域,预设检测区域信息用于指示在u视差图中位于车身侧方预设距离范围内的区域;

选取模块1103,用于在v视差图中选取连续型障碍物的第一候选点,并将第一候选点投影至u视差图中,得到第二候选点;

拟合模块1104,用于在u视差图中对处于检测区域内的第二候选点进行拟合,得到连续型障碍物的拟合直线。

在一个可选的实施例中,区域确定模块1102,包括:

确定单元,用于根据预设检测区域信息在u视差图中确定第一检测区域,第一检测区域用于表示距离车身左侧预设距离范围内的区域;

确定单元,还用于根据预设检测区域信息在u视差图中确定第二检测区域,第二检测区域用于表示距离车身右侧预设距离范围内的区域;

确定单元,还用于将第一检测区域和第二检测区域确定为连续型障碍物的检测区域。

在一个可选的实施例中,预设检测区域信息包括第一极径取值范围、第二极径取值范围、第一角度取值范围以及第二角度取值范围;

确定单元,还用于根据第一极径取值范围和第一角度取值范围在u视差图中确定第一检测区域;

确定单元,还用于根据第二极径取值范围和第二角度取值范围在u视差图中确定第二检测区域,其中,极径和角度是在u视差图的直角坐标系中进行表达的参数,直角坐标系用于得到对u视差图中的图像元素的第一表达方式。

在一个可选的实施例中,该装置,还包括:

检测模块,用于检测拟合直线是否满足连续型障碍物的位置条件;

边缘确定模块,用于当拟合直线满足连续型障碍物的位置条件时,根据拟合直线在立体相机采集的目标图像中确定连续型障碍物的底边缘和上边缘,目标图像是第一图像,或,第二图像。

在一个可选的实施例中,检测模块,还用于检测拟合直线是否满足连续型障碍物在图像像素坐标系中的位置条件,图像像素坐标系用于得到u视差图中的图像元素的第二表达方式。

在一个可选的实施例中,检测模块,还用于检测拟合直线在图像像素坐标系中的斜率是否在预设斜率范围内;

检测模块,还用于检测拟合直线在图像像素坐标系中的截距是否在预设截距范围内。

综上所述,本实施例提供的连续型障碍物检测装置,通过在u视差图中对检测区域进行设置,对检测区域内的点进行拟合,而不是对立体相机视线范围内的所有障碍物的点都进行拟合,有效避免车辆正前方的零散障碍物的点的干扰,提高了连续型障碍物的拟合准确度。

请参考图12,示出了本申请一个示例性实施例提供的地面检测设备的结构框图,该设备应用于图1所示的处理模块120中,该设备包括:处理器1210以及存储器1220。

处理器1210可以是中央处理器(英文:centralprocessingunit,cpu),网络处理器(英文:networkprocessor,np)或者cpu和np的组合。处理器1210还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文:application-specificintegratedcircuit,asic),可编程逻辑器件(英文:programmablelogicdevice,pld)或其组合。上述pld可以是复杂可编程逻辑器件(英文:complexprogrammablelogicdevice,cpld),现场可编程逻辑门阵列(英文:field-programmablegatearray,fpga),通用阵列逻辑(英文:genericarraylogic,gal)或其任意组合。

存储器1220通过总线或其它方式与处理器1210相连,存储器1220中存储有至少一条指令、至少一段程序、代码集或指令集,上述至少一条指令、至少一段程序、代码集或指令集由处理器1210加载并执行以实现如图4、图6a、图7实施例中的连续型障碍物检测方法。存储器1220可以为易失性存储器(英文:volatilememory),非易失性存储器(英文:non-volatilememory)或者它们的组合。易失性存储器可以为随机存取存储器(英文:random-accessmemory,ram),例如静态随机存取存储器(英文:staticrandomaccessmemory,sram),动态随机存取存储器(英文:dynamicrandomaccessmemory,dram)。非易失性存储器可以为只读存储器(英文:readonlymemoryimage,rom),例如可编程只读存储器(英文:programmablereadonlymemory,prom),可擦除可编程只读存储器(英文:erasableprogrammablereadonlymemory,eprom),电可擦除可编程只读存储器(英文:electricallyerasableprogrammableread-onlymemory,eeprom)。非易失性存储器也可以为快闪存储器(英文:flashmemory),磁存储器,例如磁带(英文:magnetictape),软盘(英文:floppydisk),硬盘。非易失性存储器也可以为光盘。

本申请还提供一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述方法实施例提供的连续型障碍物检测方法。

可选地,本申请还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各方面所述的连续型障碍物检测方法。

应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质;也可以是单独存在,未装配入终端中的计算机可读存储介质。该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如图1至图7任一所述的连续型障碍物检测方法。

可选地,该计算机可读存储介质可以包括:只读存储器(rom,readonlymemory)、随机存取记忆体(ram,randomaccessmemory)、固态硬盘(ssd,solidstatedrives)或光盘等。其中,随机存取记忆体可以包括电阻式随机存取记忆体(reram,resistancerandomaccessmemory)和动态随机存取存储器(dram,dynamicrandomaccessmemory)。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1