一种全地形路面类型识别方法及系统与流程

本申请涉及自动驾驶，尤其涉及一种全地形路面类型识别方法及一种全地形路面类型识别系统。

背景技术：

1、在车辆的智能驾驶系统中，需要对路面类型进行有效的检测，以便为辅助驾驶系统自动调节底盘和悬架提供依据，同时，还能够给驾驶员提供辅助的参考，提升驾驶体验。

2、而现有技术中，对城市场景中结构化道路的路面检测方法较多，但对户外、越野场景中非结构化道路的全地形路面类型检测技术还不太成熟。相关场景下实际道路环境存在复杂性和多样性，例如阴影、光照变化、天气状况、车辆遮挡、破损路面、混合场景路面和背景干扰等，这些都给非结构化道路的全地形路面类型的检测带来了难度，影响此类道路路面类型检测精度。

3、另外，冰、雪、泥泞、砂砾等道路状况对车辆驾驶安全也构成极大的威胁。因此，为了及时准确的获取道路路面的状况信息，保证车辆行驶安全，需要对路面的类型进行可靠、准确的检测。

技术实现思路

1、本申请所要解决的一个技术问题是：如何提高复杂道路环境下的路面类型检测的准确性和可靠性。

2、为解决上述技术问题，本申请第一方面技术内容提供了一种全地形路面类型识别方法，该方法包括：步骤1：基于路面识别模型，对当前rgb图像中的像素点进行像素类别标签识别，生成预测掩码图像；步骤2：基于识别出的像素类别标签，对预测掩码图像进行区域划分，并统计预测掩码图像中各类标签的标签信息，其中，标签信息至少包括区域内像素类别标签数、标签类别比率；步骤3：基于区域内像素类别标签数与区域权重的乘积，生成区域序列；步骤4：基于区域序列、标签类别比率以及预设规则，确定当前rgb图像的路面类型。

3、在一些实施例中，方法还包括：构建样本图像数据库，并基于样本图像数据库对路面识别模型进行训练，其中，构建样本图像数据库包括：获取样本rgb图像，并基于预设标注规则对样本rgb图像进行标注，生成标签图像；基于随机滑动窗口对样本rgb图像和标签图像进行剪裁，构建样本图像数据库。

4、在一些实施例中，随机滑动窗口的左上角坐标由随机滑动窗口所在区域与样本rgb图像中间区域的交并比确定，随机滑动窗口的左上角坐标的计算公式为：

5、moverect(x1,y1)＝w1*a*iou*random(rect(x,y))

6、

7、

8、式中，(x1,y1)为随机滑动窗口的左上角坐标，w1为权重参数，a为区域参数，iou为交并比，random(rect(x,y))为坐标随机函数，(x,y)为随机坐标，a为预设常数，b为符合高斯分布的均值，c为符合高斯分布的方差。

9、在一些实施例中，步骤2中，基于识别出的像素类别标签，对预测掩码图像进行区域划分，具体包括：逐行扫描预测掩码图像中识别出的各个像素类别标签，将预测掩码图像中标签类别相同且位置相连的像素点所在区域划分为同一个区域，记作标签区域；统计同一类标签区域的数量，记作第一区域数量，并判断第一区域数量是否大于第一阈值，若是，对第一区域数量大于第一阈值的标签区域进行区域融合，若否，对下一类标签区域重复上述过程，完成对预测掩码图像的区域划分。

10、在一些实施例中，步骤2中还包括：统计标签区域的总数量，记作第二区域数量，并判断第二区域数量是否大于第二阈值，若是，根据标签区域所占面积大小，由大到小，对各个标签区域进行排序，并对第二阈值之后的标签区域进行区域融合，若否，统计预测掩码图像中各类标签的标签信息。

11、在一些实施例中，步骤4中，基于区域序列、标签类别比率以及预设规则，确定当前rgb图像的路面类型，具体包括：判断区域序列中序列取值的个数是否为一个，若是，将区域序列对应的像素类别标签标记为当前rgb图像的路面类型；若否，基于区域序列、标签类别比率以及预设规则，确定当前rgb图像的路面类型。

12、在一些实施例中，基于区域序列、标签类别比率以及预设规则，确定当前rgb图像的路面类型，具体包括：当区域序列中含有至少两个序列取值时，基于预设标签优先级，选取区域序列中对应目标标签的标签类别比率；判断目标标签的标签类别比率是否大于或等于第一比率阈值，若是，则将目标标签确定为当前rgb图像的路面类型，若否，则基于预设规则，确定当前rgb图像的路面类型；其中，目标标签为区域序列中对应像素类别标签的优先级最高的像素类别标签。

13、在一些实施例中，方法还包括：当目标标签的标签类别比率小于第一比率阈值时，判断目标标签对应的区域是否在预设区域内，若否，将区域序列中排列第一的序列取值对应的像素类别标签确定为当前rgb图像的路面类型，若是，当目标标签的标签类别比率大于或等于第二比率阈值时，判断目标标签在区域序列中排列是否满足预设排位条件，若满足，则将目标标签确定为当前rgb图像的路面类型，若不满足，则将区域序列中排列第一的序列取值对应的像素类别标签确定为当前rgb图像的路面类型。

14、在一些实施例中，方法还包括：当目标标签的标签类别比率小于第二比率阈值时，将区域序列中排列第一的序列取值对应的像素类别标签确定为当前rgb图像的路面类型。

15、本申请第二方面技术内容提供了一种全地形路面类型识别系统，该系统包括：图像生成模块，图像生成模块被配置为基于路面识别模型，对当前rgb图像中的像素点进行像素类别标签识别，生成预测掩码图像；区域划分模块，区域划分模块被配置为基于识别出的像素类别标签，对预测掩码图像进行区域划分，并统计预测掩码图像中各类标签的标签信息，其中，标签信息至少包括区域内像素类别标签数、标签类别比率；序列生成模块，序列生成模块被配置为基于区域内像素类别标签数与区域权重的乘积，生成区域序列；决策模块，决策模块被配置为基于区域序列、标签类别比率以及预设规则，确定当前rgb图像的路面类型。

16、本申请的有益效果：

17、通过上述技术方案，本申请提供的全地形路面类型识别方法及系统，基于对rgb图像中的各个像素点进行像素类别标签识别，以生成预测掩码图像并进行区域划分，进而生成区域序列，之后，基于区域序列、标签类别比率以及预设规则，确定当前rgb图像的路面类型。通过充分利用识别出的像素标签信息，从像素级别对路面类别进行识别，不仅实现了非结构化道路的全地形路面类型检测，而且还有效提高了此类复杂道路环境下路面类型检测的准确性和可靠性，为自动驾驶的安全性和舒适性提供保障。

18、本申请在生成区域序列时，充分利用像素点的标签信息，并结合了区域权重，对车辆前方重点区域的像素类别标签进行加权，以使基于区域序列确定最终路面类型更加准确、可靠，更加贴合实际情况。

技术特征：

1.一种全地形路面类型识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的全地形路面类型识别方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的全地形路面类型识别方法，其特征在于，所述随机滑动窗口的左上角坐标由所述随机滑动窗口所在区域与所述样本rgb图像中间区域的交并比确定，所述随机滑动窗口的左上角坐标的计算公式为：

4.根据权利要求1所述的全地形路面类型识别方法，其特征在于，所述步骤2中，所述基于识别出的像素类别标签，对所述预测掩码图像进行区域划分，具体包括：

5.根据权利要求4所述的全地形路面类型识别方法，其特征在于，所述步骤2中还包括：

6.根据权利要求1所述的全地形路面类型识别方法，其特征在于，所述步骤4中，所述基于所述区域序列、所述标签类别比率以及预设规则，确定所述当前rgb图像的路面类型，具体包括：

7.根据权利要求6所述的全地形路面类型识别方法，其特征在于，所述基于所述区域序列、所述标签类别比率以及预设规则，确定所述当前rgb图像的路面类型，具体包括：

8.根据权利要求7所述的全地形路面类型识别方法，其特征在于，所述方法还包括：

9.根据权利要求8所述的全地形路面类型识别方法，其特征在于，所述方法还包括：

10.一种全地形路面类型识别系统，其特征在于，所述系统包括：

技术总结
本申请提供一种全地形路面类型识别方法及系统，该方法包括：基于路面识别模型，对当前RGB图像中的像素点进行像素类别标签识别，生成预测掩码图像；基于识别出的像素类别标签，对预测掩码图像进行区域划分，并统计预测掩码图像中各类标签的标签信息，其中，标签信息至少包括区域内像素类别标签数、标签类别比率；基于区域内像素类别标签数与区域权重的乘积，生成区域序列；基于区域序列、标签类别比率以及预设规则，确定当前RGB图像的路面类型。通过本申请中的技术方案，基于对生成的预测掩码图像进行区域划分及统计出的标签信息，实现对RGB图像的路面类型进行识别，有助于提高复杂道路环境下的路面类型检测的准确性和可靠性。

技术研发人员：刘晓莉,刘亚川,周祖华
受保护的技术使用者：元橡科技（北京）有限公司
技术研发日：
技术公布日：2024/1/25