道路图像处理方法、装置、计算机设备和存储介质与流程

本技术涉及地图领域和人工智能，特别是涉及一种道路图像处理方法、装置、计算机设备和存储介质。

背景技术：

1、随着计算机技术和图像处理技术的发展，针对道路图像进行处理的应用越来越广泛。例如可以从道路图像中识别车道、行人或车辆等。

2、传统技术中，通常是从道路图像中检测与车道相关的数据，将与车道相关的数据作为地图场景中的辅助数据。

3、然而，与车道相关的数据能够为地图场景提供的信息量具有局限性。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高为地图场景提供的信息量的道路图像处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、一方面，本技术提供了一种道路图像处理方法。所述方法包括：确定道路图像中道路标志对象包括的组成元素；基于所述道路标志对象包括的组成元素确定目标组成元素；获取所述道路图像中车道的车道特征；根据所述车道的车道特征和所述目标组成元素的元素特征，预测得到所述车道与所述目标组成元素之间的关系类型；所述车道与所述目标组成元素之间的关系类型用于作为地图场景中的辅助数据。

3、另一方面，本技术还提供了一种道路图像处理装置。所述装置包括：元素特征获取模块，用于确定道路图像中道路标志对象包括的组成元素；元素确定模块，用于基于所述道路标志对象包括的组成元素确定目标组成元素；车道特征获取模块，用于获取所述道路图像中车道的车道特征；关系预测模块，用于根据所述车道的车道特征和所述目标组成元素的元素特征，预测得到所述车道与所述目标组成元素之间的关系类型；所述车道与所述目标组成元素之间的关系类型用于作为地图场景中的辅助数据。

4、在一些实施例中，所述装置还包括对象关系类型确定模块，所述对象关系类型确定模块，用于在所述道路图像中包括多个道路标志对象的情况下，确定各所述道路标志对象之间的对象关系类型；所述元素确定模块，还用于基于对象关系类型从所述多个道路标志对象中确定附属道路标志对象之外的道路标志对象，得到非附属道路标志对象；所述附属道路标志对象附属于至少一个道路标志对象，所述附属道路标志对象所附属于的道路标志对象与所述附属道路标志对象之间的对象关系类型为附属关系；基于所述非附属道路标志对象包括的组成元素确定目标组成元素。

5、在一些实施例中，所述装置还包括元素关系类型确定模块，所述元素关系类型确定模块，用于确定各所述道路标志对象包括的组成元素之间的元素关系类型；所述元素确定模块，还用于基于元素关系类型，从同一所述非附属道路标志对象包括的组成元素中确定元素关系类型为同义类型的组成元素，得到所述同义类型对应的元素组；将所述同义类型对应的元素组中的各组成元素进行组合，得到组合元素；将各所述非附属道路标志对象包括的除所述元素组之外的组成元素和所述组合元素，分别确定为目标组成元素。

6、在一些实施例中，所述元素关系类型确定模块，还用于基于各所述道路标志对象分别包括的各组成元素，生成至少一个组成元素对；在所述组成元素对中的各组成元素分别属于不同的道路标志对象的情况下，基于各相关道路标志对象之间的对象关系类型，确定所述组成元素对中各组成元素之间的元素关系类型；各所述相关道路标志对象，是指所述组成元素对中的各组成元素分别所属的道路标志对象。

7、在一些实施例中，所述元素关系类型确定模块，还用于在各所述相关道路标志对象之间的对象关系类型为无关的情况下，确定所述组成元素对中各组成元素之间的元素关系类型为无关；在各所述相关道路标志对象之间的对象关系类型表征有关的情况下，基于所述组成元素对中的各组成元素的元素特征，确定所述组成元素对中各组成元素之间的元素关系类型。

8、在一些实施例中，所述元素关系类型确定模块，还用于在所述组成元素对中的各组成元素属于同一道路标志对象的情况下，基于所述组成元素对中的各组成元素的元素特征，确定所述组成元素对中各组成元素之间的元素关系类型。

9、在一些实施例中，所述对象关系类型确定模块，用于从所述道路图像中获取各所述道路标志对象的对象图像；分别对每个所述道路标志对象的对象图像进行特征提取，得到每个所述道路标志对象的对象特征图；基于各所述道路标志对象的对象特征图确定各所述道路标志对象之间的对象关系类型。

10、在一些实施例中，所述关系预测模块，还用于根据所述车道的车道特征和所述目标组成元素的元素特征，预测所述车道与所述目标组成元素之间的关系特征；根据所述车道与所述目标组成元素之间的关系特征，预测得到所述车道与所述目标组成元素之间的关系类型。

11、在一些实施例中，所述装置还包括图生成模块，所述图生成模块，用于获取所述目标组成元素中的文本内容；将所述文本内容和所述车道的标识分别作为节点，并将所述车道与所述目标组成元素之间的关系类型作为边，生成道路知识图。

12、在一些实施例中，所述车道与所述目标组成元素之间的关系类型，是基于已训练的关系检测模型预测的；所述装置还包括关系检测模型训练模块，所述关系检测模型训练模块，用于获取样本组成元素的元素特征；所述样本组成元素是指样本道路图像中的样本道路标志对象包括的组成元素；基于各所述样本组成元素确定目标样本组成元素；所述目标样本组成元素，用于预测与所述样本道路图像中的样本车道之间的关系类型，所述目标样本组成元素，基于至少一个所述样本组成元素得到；将所述样本车道的车道特征和所述目标样本组成元素的元素特征，输入待训练的关系检测模型中的车道关系检测网络，得到所述样本车道与所述目标样本组成元素之间的预测关系类型；根据所述样本车道与所述目标样本组成元素之间的预测关系类型，更新待训练的关系检测模型的模型参数，得到已训练的关系检测模型。

13、在一些实施例中，所述样本道路图像中包括至少两个样本道路标志对象；所述待训练的关系检测模型中还包括对象关系检测网络；所述关系检测模型训练模块，还用于获取各所述样本道路标志对象的样本对象特征图；将各所述样本对象特征图输入到对象关系检测网络中，得到各所述样本道路标志对象之间的预测对象关系类型；基于预测对象关系类型从各所述样本道路标志对象中确定非附属样本道路标志对象；基于所述非附属样本道路标志对象包括的组成元素确定目标样本组成元素。

14、在一些实施例中，所述待训练的关系检测模型中还包括元素关系检测网络；所述关系检测模型训练模块，还用于将各所述样本道路标志对象之间的预测对象关系类型和各所述样本元素特征输入到所述元素关系检测网络中，得到各所述样本组成元素之间的预测元素关系类型；基于预测元素关系类型和各所述非附属样本道路标志对象包括的样本组成元素，确定同义类型对应的样本元素组；将所述同义类型对应的样本元素组中的各样本组成元素进行组合，得到样本组合元素；将各所述非附属样本道路标志对象包括的除所述样本元素组之外的样本组成元素和所述样本组合元素，分别确定为目标样本组成元素。

15、另一方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述道路图像处理方法中的步骤。

16、另一方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述道路图像处理方法中的步骤。

17、另一方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述道路图像处理方法中的步骤。

18、上述道路图像处理方法、装置、计算机设备、存储介质和计算机程序产品，确定道路图像中道路标志对象包括的组成元素，基于道路标志对象包括的组成元素确定目标组成元素，目标组成元素，用于预测与道路图像中的车道之间的关系类型，目标组成元素基于至少一个组成元素得到，获取道路图像中车道的车道特征，根据车道的车道特征和目标组成元素的元素特征，预测得到车道与目标组成元素之间的关系类型，车道与目标组成元素之间的关系类型用于作为地图场景中的辅助数据。由于目标组成元素基于至少一个组成元素得到，因此目标组成元素体现了道路标志对象的内部组成部分，故车道与目标组成元素之间的关系类型，反映了车道与道路标志对象的内部组成部分之间关系类型，从而根据车道与目标组成元素之间的关系类型作为地图场景中的辅助数据，可以提高为地图场景提供的信息量。