环视障碍物检测方法、装置、介质、车载系统以及车辆与流程
本公开涉及车辆技术领域，尤其涉及一种环视障碍物检测方法、装置、介质、车载系统以及车辆。
背景技术：
随着科技的进步和生活水平的不断提高，出行工具逐渐多样化和智能化。其中，为了提高出行工具例如车辆的行驶安全性和泊车便捷性等，通常需要对车身前方或周边的其他障碍物进行检测，以避免车辆与障碍物发生碰撞。
在现有技术中，即现有的障碍物检测方法中，通常直接由鱼眼镜头图像融合得到障碍物检测信息，其数据处理过程对硬件的算力具有较高的要求；同时，由于鱼眼摄像头拍摄的图像存在畸变，导致对鱼眼摄像头图像进行特征提取所得到的障碍物特征为畸变条件下的障碍物三维特征，进而导致特征提取不完全。由此，现有障碍物检测方法中，障碍物检测的准确率较低。
技术实现要素：
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种环视障碍物检测方法、装置、介质、车载系统以及车辆。
第一方面，本公开实施例提出一种环视障碍物检测方法，该方法包括：
获取环视拼接图；
基于所述环视拼接图，提取环视障碍物的边缘语义特征、掩膜语义特征和底框语义特征，并基于所述边缘语义特征、所述掩膜语义特征和所述底框语义特征，确定融合特征；
基于所述融合特征，确定环视障碍物的三维检测框；
基于所述三维检测框，生成环视障碍物局部地图。
在一些实施例中，所述获取环视拼接图，包括：
获取点云数据和多路二维图像数据；
基于所述多路二维图像数据，通过图像拼接生成环视俯视拼接图；
将所述点云数据投影到所述环视俯视拼接图上，生成投影关联；
基于所述投影关联，将所述点云数据赋值给所述环视俯视拼接图，生成图像三维框标注；
基于所述图像三维框标注，得到底框标注、mask标注和轮廓标注的完整真值，确定所述环视拼接图。
在一些实施例中，所述点云数据采用激光雷达采集，所述二维图像数据采用鱼眼摄像头采集；
在图像拼接过程中，去掉所述二维图像数据中的畸变。
在一些实施例中，所述基于所述环视拼接图，提取环视障碍物的边缘语义特征、掩膜语义特征和底框语义特征，并基于所述边缘语义特征、所述掩膜语义特征和所述底框语义特征，确定融合特征，包括：
将所述环视拼接图输入多层语义提取和融合模型，通过所述多层语义提取和融合模型的特征提取层检测环视障碍物特征，并输出用于描述环视障碍物特征的边缘语义特征、掩膜语义特征和底框语义特征；
将所述边缘语义特征、所述掩膜语义特征和所述底框语义特征继续输入所述多层语义提取和融合模型，通过所述多层语义提取和融合模型的特征融合层融合环视障碍物特征，输出所述融合特征。
在一些实施例中，所述环视障碍物特征被所述多层语义提取和融合模型中各层处理的顺序依次为：第一特征提取层、第一下采样层、第二特征提取层、第二下采样层、第三特征提取层、第三下采样层以及特征融合层；
所述第一特征提取层用于提取所述边缘语义特征；所述第一下采样层用于对所述第一特征提取层处理后的数据进行采样，并输出至所述第二特征提取层；
所述第二特征提取层用于提取所述掩膜语义特征；所述第二下采样层用于对所述第二特征提取层处理后的数据进行采样，并输出至所述第三特征提取层；
所述第三特征提取层用于提取所述底框语义特征；所述第三下采样层用于对所述第三特征提取层处理后的数据进行采样，并输出至所述特征融合层；
所述特征融合层用于将所述边缘语义特征、所述掩膜语义特征和所述底框语义特征进行融合。
在一些实施例中，所述第一特征提取层采用如下公式提取所述边缘语义特征：
其中，a1和a2表示选取的是模型前一层和后一层卷积特征进行融合，t1和t2表示选取的特征在融合前进行的变换函数，以将特征图变换到相同尺度以进行拼接融合；
在一些实施例中，所述第二特征提取层采用如下公式提取所述掩膜语义特征：
其中，b1和b2表示选取的是模型前一层和后一层卷积特征进行融合，t1和t2表示选取的特征在融合前进行的变换函数，以将特征图变换到相同尺度以进行拼接融合；
在一些实施例中，所述第三特征提取层采用如下公式提取所述底框语义特征：
其中，c1和c2表示选取的是模型前一层和后一层卷积特征进行融合，t1和t2表示选取的特征在融合前进行的变换函数，以将特征图变换到相同尺度以进行拼接融合；
在一些实施例中，所述特征融合层采用如下公式进行语义特征融合：
其中，conv()表示1×1的卷积层操作，add()表示对应像素相加的融合操作，multi()表示对应像素相乘的融合操作；xa、xb和xc分别表示边缘语义分支、掩膜语义分支和底框语义分支获得的信息；af表示边缘语义特征，bf表示掩膜语义特征，cf表示底框语义特征，xf表示最终得到的融合特征。
在一些实施例中，所述多层语义提取和融合模型的损失函数为：
loss＝l_3dbbox+l_mask+l_border+l_2d底框，
其中，loss表示整体模型loss总和，l_3dbbox表示特征融合的损失，l_2d底框表示底框语义特征的损失，l_mask表示掩膜语义特征的损失，l_border表示边缘语义特征的损失。
在一些实施例中，所述基于所述三维检测框，生成环视障碍物局部地图包括：
基于多帧检测得到的所述三维检测框，生成多帧融合的俯视图；
网格化所述俯视图，生成障碍物栅格地图，即得到所述环视障碍物局部地图。
第二方面，本公开实施例还提供了一种环视障碍物检测装置，该装置包括：
图像获取模块，用于获取环视拼接图；
特征提取融合模块，用于基于所述环视拼接图，提取环视障碍物的边缘语义特征、掩膜语义特征和底框语义特征，并基于所述边缘语义特征、所述掩膜语义特征和所述底框语义特征，确定融合特征；
三维检测框确定模块，用于基于所述融合特征，确定环视障碍物的三维检测框；
地图生成模块，用于基于所述三维检测框，生成环视障碍物局部地图。
在一些实施例中，所述图像获取模块具体用于：
获取点云数据和多路二维图像数据；
基于所述多路二维图像数据，通过图像拼接生成环视俯视拼接图；
将所述点云数据投影到所述环视俯视拼接图上，生成投影关联；
基于所述投影关联，将所述点云数据赋值给所述环视俯视拼接图，生成图像三维框标注；
基于所述图像三维框标注，得到底框标注、mask标注和轮廓标注的完整真值，确定所述环视拼接图。
在一些实施例中，所述点云数据采用激光雷达采集，所述二维图像数据采用鱼眼摄像头采集；
在图像拼接过程中，去掉所述二维图像数据中的畸变。
在一些实施例中，所述特征提取融合模块具体用于：
将所述环视拼接图输入多层语义提取和融合模型，通过所述多层语义提取和融合模型的特征提取层检测环视障碍物特征，并输出用于描述环视障碍物特征的边缘语义特征、掩膜语义特征和底框语义特征；
将所述边缘语义特征、所述掩膜语义特征和所述底框语义特征继续输入所述多层语义提取和融合模型，通过所述多层语义提取和融合模型的特征融合层融合环视障碍物特征，输出所述融合特征。
在一些实施例中，所述环视障碍物特征被所述多层语义提取和融合模型中各层处理的顺序依次为：第一特征提取层、第一下采样层、第二特征提取层、第二下采样层、第三特征提取层、第三下采样层以及特征融合层；
所述第一特征提取层用于提取所述边缘语义特征；所述第一下采样层用于对所述第一特征提取层处理后的数据进行采样，并输出至所述第二特征提取层；
所述第二特征提取层用于提取所述掩膜语义特征；所述第二下采样层用于对所述第二特征提取层处理后的数据进行采样，并输出至所述第三特征提取层；
所述第三特征提取层用于提取所述底框语义特征；所述第三下采样层用于对所述第三特征提取层处理后的数据进行采样，并输出至所述特征融合层；
所述特征融合层用于将所述边缘语义特征、所述掩膜语义特征和所述底框语义特征进行融合。
在一些实施例中，所述第一特征提取层采用如下公式提取所述边缘语义特征：
其中，a1和a2表示选取的是模型前一层和后一层卷积特征进行融合，t1和t2表示选取的特征在融合前进行的变换函数，以将特征图变换到相同尺度以进行拼接融合；
在一些实施例中，所述第二特征提取层采用如下公式提取所述掩膜语义特征：
其中，b1和b2表示选取的是模型前一层和后一层卷积特征进行融合，t1和t2表示选取的特征在融合前进行的变换函数，以将特征图变换到相同尺度以进行拼接融合；
在一些实施例中，所述第三特征提取层采用如下公式提取所述底框语义特征：
其中，c1和c2表示选取的是模型前一层和后一层卷积特征进行融合，t1和t2表示选取的特征在融合前进行的变换函数，以将特征图变换到相同尺度以进行拼接融合；
在一些实施例中，所述特征融合层采用如下公式进行语义特征融合：
其中，conv()表示1×1的卷积层操作，add()表示对应像素相加的融合操作，multi()表示对应像素相乘的融合操作；xa、xb和xc分别表示边缘语义分支、掩膜语义分支和底框语义分支获得的信息；af表示边缘语义特征，bf表示掩膜语义特征，cf表示底框语义特征，xf表示最终得到的融合特征。
在一些实施例中，所述多层语义提取和融合模型的损失函数为：
loss＝l_3dbbox+l_mask+l_border+l_2d底框，
其中，loss表示整体模型loss总和，l_3dbbox表示特征融合的损失，l_2d底框表示底框语义特征的损失，l_mask表示掩膜语义特征的损失，l_border表示边缘语义特征的损失。
在一些实施例中，所述地图生成模块具体用于：
基于多帧检测得到的所述三维检测框，生成多帧融合的俯视图；
网格化所述俯视图，生成障碍物栅格地图，即得到所述环视障碍物局部地图。
本公开还提供了一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行上述任一种方法的步骤。
本公开还提供了一种车载系统，包括：处理器和存储器；
所述处理器通过调用所述存储器存储的程序或指令，用于执行上述任一种方法的步骤。
本公开还提供了一种车辆，包括上述任一种车载系统。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例技术方案可以解决在数据处理过程中，对硬件算力要求较高以及障碍物检测准确率较低的问题，本公开实施例提供的基于多层语义特征的环视障碍物检测方法，通过获取环视拼接图；基于环视拼接图，提取环视障碍物的边缘语义特征、掩膜语义特征和底框语义特征，并基于边缘语义特征、掩膜语义特征和底框语义特征，确定融合特征；基于融合特征，确定环视障碍物的三维检测框；基于三维检测框，生成环视障碍物局部地图，可基于环视拼接图，结合多层语义特征实现对障碍物的检测和表达，从而实现对障碍物的检测，其数据处理过程中不直接由鱼眼镜头图像得到障碍物检测信息，数据处理过程对算力要求较低；同时，通过基于环视拼接图进行特征提取和融合，可提取障碍物的多方位特征，从而可多方位表征障碍物，提升了障碍物检测的准确率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本公开实施例的一种环视障碍物检测方法的流程示意图；
图2是本公开实施例的一种特征提取和融合的算法流程示意图；
图3是本公开实施例的一种多层语义融合的流程示意图；
图4为本公开实施例的一种环视障碍物检测装置的结构示意图；
图5为本公开实施例的一种车载系统的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
现有的障碍物检测方法，通常在鱼眼摄像头上进行障碍物全身检测，具体地，可通过鱼眼摄像头获取的图像，即鱼眼检测结果直接融合生成局部障碍物地图。其缺陷主要包括：1)直接处理鱼眼镜头图像，即直接融合得到障碍物检测结果，其对硬件算力要求高；2)单幅图像无法体现障碍物的全方位特征，且鱼眼摄像头拍摄到的图像中存在畸变，无法准确体现障碍物的真实特征，因此对鱼眼摄像头畸变条件下三维障碍物特征提取不完全；3)对障碍物的定位和尺寸检测准确性较差，因此三维障碍物检测召回率和准确率较低。
针对此，本公开实施例提供一种基于多层语义特征的环视障碍物检测方法，其利用拼接环视图像实现障碍物检测，可提取障碍物的多方位多层次的语义特征，并将多层语义特征融合，以确定三维检测框，并进一步生成障碍物局部地图，而不再直接利用鱼眼检测结果融合，由此可降低对算力的要求，通过提取多方位、多层语义特征，可实现障碍物的全方位检测，以便提高检测准确性；同时，从多个层次进行语义特征提取和融合，可更充分描述障碍物的特征，提升对障碍物位置和尺寸的检测准确性。
示例性地，该环视障碍物检测方法可应用于行车过程中，实现准确性较高的障碍物检测，以进一步躲避障碍物，提高行车安全性；其还可应用于泊车过程中，示例性地，在高通820处理器等低算力硬件条件下实时进行环视泊车障碍物检测，其检测准确性较高，有利于避免泊车碰撞，提高泊车安全性，提升用户体验。
在其他实施方式中，该环视障碍物检测方法还可应用于包括障碍物检测过程的其他场景中，在此不赘述也不限定。
下面结合图1-图5，对本公开实施例提供的环视障碍物检测方法、装置、介质、车载系统以及车辆进行示例性说明。
示例性的，图1示出了本公开实施例中的一种环视障碍物检测方法的流程示意图。参照图1，该环视障碍物检测方法可包括：
s110、获取环视拼接图。
其中，环视拼接图为拼接得到的包括障碍物多方位特征的环视图，也可称为拼接环视图或360度环视图，其可基于鱼眼摄像头采集的二维图像拼接得到，后文中详述。
在其他实施方式中，环视拼接图还可采用本领域技术人员可知的其他方式得到，在此不限定。
s120、基于环视拼接图，提取环视障碍物的边缘语义特征、掩膜语义特征和底框语义特征，并基于边缘语义特征、掩膜语义特征和底框语义特征，确定融合特征。
其中，环视拼接图中包括障碍物的多方位、多层次的语义特征，通过对其提取并融合，可实现对障碍物的多方位、多层次的检测，以实现对障碍物的较准确地检测。进一步地，边缘语义特征用于表征障碍物的局部边缘，掩膜语义特征用于表征障碍物的封闭边缘包围的区域，底框语义特征用于表征障碍物的二维底框，融合特征用于基于前述三层语义特征实现对障碍物的多维表征。
具体地，该步骤中，对障碍物不同方位的边缘语义特征、掩膜语义特征和底框语义特征进行提取，进一步地进行特征融合，得到融合特征。其中，边缘语义特征还可称为轮廓语义特征或低层语义特征，掩膜语义特征也可称为中层语义特征，底框语义特征也可称为高层语义特征，融合特征也可称为多层语义融合特征或顶层语义特征。
示例性地，该步骤可基于多层语义提取和融合模型实现，后文中详述；也可采用本领域技术人员可知的其他方式实现，在此不限定。
s130、基于融合特征，确定环视障碍物的三维检测框。
其中，三维检测框(即3d检测框)用于表征立体空间内障碍物的多个不同范围内的轮廓点，以及包括对应的语义信息，或称为语义标签，以表明该障碍物的空间位置、尺寸以及名称等障碍物信息。
该步骤中，可将多层语义融合特征通过神经网络，例如卷积神经网络(convolutionalneuralnetworks，cnn)特征整合，生成环视障碍物的三维检测框。
s140、基于三维检测框，生成环视障碍物局部地图。
其中，环视障碍物局部地图为满足用户行车或泊车需求的局部地图。该步骤中，在得到三维检测框后，可通过后处理算法将三维检测框作为输入，输出环视障碍物局部地图，即生成环视障碍物局部地图。
本公开实施例提供的环视障碍物检测方法，通过获取环视拼接图；基于环视拼接图，提取环视障碍物的边缘语义特征、掩膜语义特征和底框语义特征，并基于边缘语义特征、掩膜语义特征和底框语义特征，确定融合特征；基于融合特征，确定环视障碍物的三维检测框；基于三维检测框，生成环视障碍物局部地图，由此可利用拼接环视图像实现障碍物检测，提取障碍物的多方位多层次的语义特征，并将多层语义特征融合，以确定三维检测框，并进一步生成障碍物局部地图，而不再直接利用鱼眼检测结果融合，由此可降低对算力的要求，通过提取多方位、多层语义特征，可实现障碍物的全方位检测，以便提高检测准确性；同时，从多个层次进行语义特征提取和融合，可更充分描述障碍物的特征，提升对障碍物位置和尺寸的检测准确性。
在一些实施例中，在图1的基础上，s110具体可包括：
获取点云数据和多路二维图像数据；
基于多路二维图像数据，通过图像拼接生成环视俯视拼接图；
将点云数据投影到环视俯视拼接图上，生成投影关联；
基于投影关联，将点云数据赋值给环视俯视拼接图，生成图像三维框标注；
基于图像三维框标注，得到底框标注、mask标注和轮廓标注的完整真值，确定环视拼接图。
由此，完成深度学习模型真值采集和标注。
示例性地，应用于泊车场景中时，首先，通过激光雷达采集车，采集到整个泊车过程中的点云数据和4路鱼眼二维图像数据；然后，通过图像拼接算法将4路鱼眼二维图像数据拼接成环视俯视拼接图；然后，将点云数据投影到环视俯视拼接图上，通过缩放比生成投影关联；然后，标注人员通过点云数据与环视俯视拼接图之间的投影关系，将标注好的点云三维信息赋值给环视俯视拼接图，这样就生成了图像3d框标注。最后，通过实例化3d框标注里，去掉高度信息得到环视俯视拼接图的底框标注，将底框中的投影点云膨胀得到障碍物mask标注，通过mask标注的轮廓提取得到障碍物的轮廓信息，得到轮廓边缘标注。至此，生成了本方案的3d框标注、底框标注、mask标注和轮廓边缘标注的完整真值。
其中，本公开实施例中仍可采用鱼眼二维图像数据，其与现有技术的区别在于：现有技术中直接采用鱼眼二维数据融合实现障碍物检测；而本公开实施例提供的环视障碍物检测方法中，并非直接利用该鱼眼二维图像数据进行障碍物定位，而是利用多路二维图像数据进行拼接，去掉畸变，得到较准确的环视拼接图之后，利用深度学习模型进行数据处理，以得到障碍物位置和尺寸，提升障碍物检测准确性。
其中，点云数据与环视俯视拼接图之间的投影关联为将点云数据与环视俯视拼接图中的对应点一一关联，以便确定各点空间位置。
其中，实例化3d框标注里可简单理解为将障碍物利用一个框框起来，每个障碍物对应一个独立的三维框。底框标注为不包括高度信息的平面上的标注，与3d框标注区分。
其中，底框标注为分散的点，通过将各点依次连接，形成封闭的轮廓线，并填充。mask标注包括轮廓边缘标注及其内部空间的填充；轮廓边缘标注仅包括轮廓线上的点。
本实施例中，点云数据通过激光雷达采集，以确保数据采集的实时性较好，准确性较好。在其他实施方式中，还可采用其他雷达或采用本领域技术人员可知的其他方式，实现点云数据的采集，在此不作具体限定。
本实施例中，二维图像数据可采用鱼眼摄像头采集，可减少用于拼接环视图的二维图像的数目，以简化图像拼接过程；进一步地，通过在图像拼接过程中，去掉二维图像数据中的畸变，可提高环视拼接图的准确性，从而提升障碍物检测的准确性。在其他实施方式中，还可采用其他类型的摄像头实现二维图像的采集，在此不限定。
本实施例中，采用4路鱼眼二维图像数据拼接得到环视拼接图，在其他实施方式中，还可采用3路、5路、8路或其他多路鱼眼二维图像数据拼接得到环视拼接图，并可基于摄像头的视角范围以及环视拼接图的拼接需求设置，在此不限定。
在一些实施例中，在图1的基础上，s120具体可包括：
将环视拼接图输入多层语义提取和融合模型，通过多层语义提取和融合模型的特征提取层检测环视障碍物特征，并输出用于描述环视障碍物特征的边缘语义特征、掩膜语义特征和底框语义特征；
将边缘语义特征、掩膜语义特征和底框语义特征继续输入多层语义提取和融合模型，通过多层语义提取和融合模型的特征融合层融合环视障碍物特征，输出融合特征。
其中，多层语义特征提取和融合模型可为深度学习模型，示例性地，其可基于卷积神经网络实现。
示例性地，图2示出了本公开实施例中多层语义提取和融合算法的流程示意图。参照图2，环视拼接图作为多层语义特征提取和融合模型的输入，经过该模型中的特征提取层分别提取低层局部语义特征、中层像素语义特征以及高层全局语义特征，即对应得到轮廓语义特征、掩膜语义特征以及底框语义特征；其后，通过该模型中的特征融合层将包括轮廓语义特征、掩膜语义特征以及底框语义特征在内的多层语义特征融合，并进一步生成环视障碍物三维检测框，以及进一步生成环视障碍物局部地图。
示例性地，结合上文，该模型的图像输入可采用将多路鱼眼摄像头通过图像拼接技术，拼成360环视图像(即环视拼接图)，最后将360环视图像作为算法的输入，避免多路鱼眼图作为算法输入引起的硬件算力和算法耗时限制。
在其他实施方式中，还可设置特征提取层采用一个深度学习模型实现，特征融合层采用另一个深度学习模型实现，在此不限定，本实施例中仅以一个深度学习模型为例，对特征提取和融合的实现方式进行示例性说明。
在一些实施例中，图3示出了本公开实施例中多层语义融合的流程示意图。结合图2和图3，多层语义提取和融合模型包括特征提取层、下采样层以及特征融合层；环视障碍物特征被多层语义提取和融合模型中各层处理的顺序依次为：第一特征提取层、第一下采样层、第二特征提取层、第二下采样层、第三特征提取层、第三下采样层以及特征融合层；第一特征提取层用于提取边缘语义特征；第一下采样层用于对第一特征提取层处理后的数据进行采样，并输出至第二特征提取层；第二特征提取层用于提取掩膜语义特征；第二下采样层用于对第二特征提取层处理后的数据进行采样，并输出至第三特征提取层；第三特征提取层用于提取底框语义特征；第三下采样层用于对第三特征提取层处理后的数据进行采样，并输出至特征融合层；特征融合层用于将边缘语义特征、掩膜语义特征和底框语义特征进行融合。
示例性地，当该深度学习模型采用卷积神经网络实现时，第一特征提取层、第二特征提取层、第三特征提取层以及特征融合层可为卷积层，其结合三个下采样层，用于实现对多层语义特征的提取和融合。
具体地，首先，在模型低层cnn卷积(即第一特征提取层)上进行低层局部语义特征提取，输出环视障碍物的边缘语义特征，对应于图3中的1/4scale低层轮廓语义。其次，在模型中层cnn卷积(即第二特征提取层)上进行中层像素语义特征提取，输出环视障碍物的像素粒度的mask语义特征，对应于图3中的1/8scale中层像素语义。接着，在模型高层cnn卷积(即第三特征提取层)上进行高层全局语义特征提取，输出环视障碍物的底框语义特征，对应于图3中的1/16scale高层底框语义。然后，在模型顶层cnn卷积(即特征融合层)上进行多层语义融合，将低层轮廓语义特征(即边缘语义特征)、中层像素语义特征(即掩膜语义特征)和高层全局语义特征(即底框语义特征)通过cnn语义融合得到多层语义融合特征，对应于图3中的1/32scale顶层语义特征。
下面，分别对各特征提取层以及特征融合层的具体实现方式进行示例性说明。
在一些实施例中，第一特征提取层采用如下公式提取边缘语义特征：
示例性地，第一特征融合函数
在其他实施方式中，还可采用其他函数实现该第一特征提取层的特征融合。
在一些实施例中，第二特征提取层采用如下公式提取掩膜语义特征：
示例性地，第二特征融合函数
在其他实施方式中，还可采用其他函数实现该第二特征提取层的特征融合。
在一些实施例中，第三特征提取层采用如下公式提取底框语义特征：
示例性地，第三特征融合函数
在其他实施方式中，还可采用其他函数实现该第三特征提取层的特征融合。
在一些实施例中，特征融合层采用如下公式进行语义特征融合：
其中，conv()表示1×1的卷积层操作，add()表示对应像素相加的融合操作，multi()表示对应像素相乘的融合操作；xa、xb和xc分别表示边缘语义分支、掩膜语义分支和底框语义分支获得的信息；af表示边缘语义特征，bf表示掩膜语义特征，cf表示底框语义特征，xf表示最终得到的融合特征。
由此，实现三层语义特征的融合。
在一些实施例中，多层语义提取和融合模型的损失函数为：
loss＝l_3dbbox+l_mask+l_border+l_2d底框，
其中，loss表示整体模型loss总和，l_3dbbox表示特征融合的损失，l_2d底框表示底框语义特征的损失，l_mask表示掩膜语义特征的损失，l_border表示边缘语义特征的损失。
如此，该模型整体的损失包括了各特征提取和融合过程中的损失，当loss满足设定值时，表明模型训练好了。其中，设定值基于障碍物检测需求设置，在此不限定。
在一些实施例中，在图1的基础上，s140具体可包括：
基于多帧检测得到的三维检测框，生成多帧融合的俯视图；
网格化俯视图，生成障碍物栅格地图，即得到环视障碍物局部地图。
具体地，结合图2，该步骤之前，将多层语义融合特征通过cnn特征整合成环视障碍物的3d检测框，该步骤中，通过后处理算法将3d检测框生成环视障碍物局部地图。
示例性地，后处理算法具体采用的是：基于多帧检测结果生成多帧融合的俯视图，将融合俯视图按20cm粒度网格化，形成障碍物栅格地图点，该栅格地图即为泊车局部障碍物地图。
在其他实施方式中，还可采用其他尺寸进行融合俯视图的网格化操作，例如可采用15cm粒度、25cm粒度或其他尺寸，可基于障碍物检测需求设置，在此不限定。
本公开实施例的环视障碍物检测方法，应用于泊车场景时，对于环视泊车场下的障碍物采用多层语义特征进行检测和表达，能够在低算力硬件上较准确地表达车辆周边环境，实时精确性较高的局部3d障碍物地图，从而提高泊车安全性和准确性。
本公开实施例还提供了一种环视障碍物检测装置，可用于执行上述任一种环视障碍物检测方法的步骤，实现对应的效果。
示例性的，图4示出了本公开实施例中的一种环视障碍物检测装置的结构示意图。参照图4，该装置可包括：图像获取模块410，用于获取环视拼接图；特征提取融合模块420，用于基于环视拼接图，提取环视障碍物的边缘语义特征、掩膜语义特征和底框语义特征，并基于边缘语义特征、掩膜语义特征和底框语义特征，确定融合特征；三维检测框确定模块430，用于基于融合特征，确定环视障碍物的三维检测框；地图生成模块440，用于基于三维检测框，生成环视障碍物局部地图。
本公开实施例提供的环视障碍物检测装置，通过上述各功能模块的协同作用，可利用拼接环视图像实现障碍物检测，提取障碍物的多方位多层次的语义特征，并将多层语义特征融合，以确定三维检测框，并进一步生成障碍物局部地图，而不再直接利用鱼眼检测结果融合，由此可降低对算力的要求，通过提取多方位、多层语义特征，可实现障碍物的全方位检测，以便提高检测准确性；同时，从多个层次进行语义特征提取和融合，可更充分描述障碍物的特征，提升对障碍物位置和尺寸的检测准确性。
在一些实施例中，图像获取模块410具体用于：
获取点云数据和多路二维图像数据；
基于多路二维图像数据，通过图像拼接生成环视俯视拼接图；
将点云数据投影到环视俯视拼接图上，生成投影关联；
基于投影关联，将点云数据赋值给环视俯视拼接图，生成图像三维框标注；
基于图像三维框标注，得到底框标注、mask标注和轮廓标注的完整真值，确定环视拼接图。
由此，完成深度学习模型真值采集和标注。
在一些实施例中，点云数据采用激光雷达采集，二维图像数据采用鱼眼摄像头采集；图像拼接过程中，去掉二维图像数据中的畸变。
由此，可利用激光雷达快速且准确地采集点云数据，同时利用车辆中现有的鱼眼摄像头采集二维图像数据，从而无需增加额外的结构部件，无需对现有车辆进行硬件改装，即可提升其障碍物检测准确性。
此外，通过在图像拼接过程中，去掉二维图像数据中的畸变，可提高环视拼接图的准确性，从而提升障碍物检测的准确性。
在一些实施例中，特征提取融合模块420具体用于：
将环视拼接图输入多层语义提取和融合模型，通过多层语义提取和融合模型的特征提取层检测环视障碍物特征，并输出用于描述环视障碍物特征的边缘语义特征、掩膜语义特征和底框语义特征；
将边缘语义特征、掩膜语义特征和底框语义特征继续输入多层语义提取和融合模型，通过多层语义提取和融合模型的特征融合层融合环视障碍物特征，输出融合特征。
如此，可利用多层语义提取和融合模型实现特征提取和融合。
在一些实施例中，多层语义提取和融合模型包括特征提取层、下采样层以及特征融合层；环视障碍物特征被多层语义提取和融合模型中各层处理的顺序依次为：第一特征提取层、第一下采样层、第二特征提取层、第二下采样层、第三特征提取层、第三下采样层以及特征融合层；第一特征提取层用于提取边缘语义特征；第一下采样层用于对第一特征提取层处理后的数据进行采样，并输出至第二特征提取层；第二特征提取层用于提取掩膜语义特征；第二下采样层用于对第二特征提取层处理后的数据进行采样，并输出至第三特征提取层；第三特征提取层用于提取底框语义特征；第三下采样层用于对第三特征提取层处理后的数据进行采样，并输出至特征融合层；特征融合层用于将边缘语义特征、掩膜语义特征和底框语义特征进行融合。
如此，可利用多层语义提取和融合模型实现特征提取和融合。
在一些实施例中，第一特征提取层采用如下公式提取边缘语义特征：
其中，a1和a2表示选取的是模型前一层和后一层卷积特征进行融合，t1和t2表示选取的特征在融合前进行的变换函数，以将特征图变换到相同尺度以进行拼接融合；
示例性地，第一特征融合函数
在一些实施例中，第二特征提取层采用如下公式提取掩膜语义特征：
其中，b1和b2表示选取的是模型前一层和后一层卷积特征进行融合，t1和t2表示选取的特征在融合前进行的变换函数，以将特征图变换到相同尺度以进行拼接融合；
示例性地，第二特征融合函数
在一些实施例中，第三特征提取层采用如下公式提取底框语义特征：
其中，c1和c2表示选取的是模型前一层和后一层卷积特征进行融合，t1和t2表示选取的特征在融合前进行的变换函数，以将特征图变换到相同尺度以进行拼接融合；
示例性地，第三特征融合函数
在一些实施例中，特征融合层采用如下公式进行语义特征融合：
其中，conv()表示1×1的卷积层操作，add()表示对应像素相加的融合操作，multi()表示对应像素相乘的融合操作；xa、xb和xc分别表示边缘语义分支、掩膜语义分支和底框语义分支获得的信息；af表示边缘语义特征，bf表示掩膜语义特征，cf表示底框语义特征，xf表示最终得到的融合特征。
由此，实现三层语义特征的融合。
在一些实施例中，多层语义提取和融合模型的损失函数为：
loss＝l_3dbbox+l_mask+l_border+l_2d底框，
其中，loss表示整体模型loss总和，l_3dbbox表示特征融合的损失，l_2d底框表示底框语义特征的损失，l_mask表示掩膜语义特征的损失，l_border表示边缘语义特征的损失。
如此设置，可将特征提取和融合的损失均包括在模型整体的损失函数中，有利于提高模型训练效果，提高模型准确性。
在一些实施例中，地图生成模块440具体用于：
基于多帧检测得到的三维检测框，生成多帧融合的俯视图；
网格化俯视图，生成障碍物栅格地图，即得到环视障碍物局部地图。
如此，实现基于三维检测框，通过融合和网格化处理，得到环视障碍物局部地图。
以上实施例公开的装置能够实现以上各方法实施例公开的方法的流程，具有相同或相应的有益效果，为避免重复，在此不再赘述。
本公开实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储程序或指令，程序或指令使计算机执行上述任一种方法的步骤。
示例性地，程序或指令使计算机执行一种环视障碍物检测方法，该方法包括：
获取环视拼接图；
基于所述环视拼接图，提取环视障碍物的边缘语义特征、掩膜语义特征和底框语义特征，并基于所述边缘语义特征、所述掩膜语义特征和所述底框语义特征，确定融合特征；
基于所述融合特征，确定环视障碍物的三维检测框；
基于所述三维检测框，生成环视障碍物局部地图。
可选的，该计算机可执行指令在由计算机处理器执行时还可以用于执行本公开实施例所提供的上述任意环视障碍物检测方法的技术方案，实现对应的有益效果。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本公开实施例可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)，执行本公开各个实施例所述的方法。
在上述实施方式的基础上，本公开实施例还提供了一种车载系统，包括：处理器和存储器；处理器通过调用存储器存储的程序或指令，用于执行上述任一种方法的步骤，实现对应的有益效果。
在一些实施例中，图5示出了本公开实施例的一种车载系统的结构示意图。参照图5，该车载系统可包括：
一个或多个处理器401，图5中以一个处理器401为例；
存储器402；
车载系统还可以包括：输入装置403和输出装置404。
车载系统中的处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图5中示例性地以通过总线连接为例示出其连接方式。
其中，存储器402作为一种非暂态计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本公开实施例中的应用程序的方法对应的程序指令/模块(例如，附图4所示的图像获取模块410、特征提取融合模块420、三维检测框确定模块430以及地图生成模块440)。处理器401通过运行存储在存储器402中的软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的方法。
存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据车载系统的使用所创建的数据等。
此外，存储器402可以包括高速随机存取存储器，还可以包括非暂态性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态性固态存储器件。
在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置403可用于接收输入的数字或字符信息，以及产生与车载系统的用户设置以及功能控制有关的键信号输入。
输出装置404可包括显示屏等显示设备。
在一些实施例中，该处理器和存储器还可设置于云端，在此不限定。示例性地，车端传感器采集数据之后，会通过控制器局域网络(controllerareanetwork，can)汇总至车端控制中心，并进一步的将汇总之后的数据发送至云端，在云端利用处理器调用并执行存储器中存储的程序，以实现上述任一种环视障碍物检测方法，生成的环视障碍物局部地图还可再反馈回车端，以供驾驶人员查看。
在上述实施方式的基础上，本公开实施例还提供了一种车辆，包括上述任一种车载系统或环视障碍物检测装置，可实现上述任一种环视障碍物检测方法，因此，对环视障碍物的检测准确性较高，从而可提高行车安全性以及泊车准确性，有利于提高用户体验。
在一些实施例中，车辆可为手动驾驶车辆、辅助驾驶车辆以及自动驾驶车辆，车辆还可包括：传感器组、智能控制系统、车辆底层执行系统以及其他可用于驱动车辆和控制车辆运行的部件，在此不赘述也不限定。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
- 还没有人留言评论。精彩留言会获得点赞！