路牌角点的自动识别方法、装置、设备及存储介质与流程

1.本技术涉及导航技术领域，尤其涉及一种路牌角点的自动识别方法、装置、设备及存储介质。


背景技术：

2.路牌元素是构建高精地图不可或缺的元素之一。路牌元素的构建主要包括路牌角点和路牌信息这两部分的识别，其中路牌角点的识别是构建路牌元素的前提基础。
3.相关技术中常利用卷积神经网络对图像进行识别出图像中的路牌角点。但受制于卷积神经网络自身架构的原因，在对图像进行识别处理时，常会捕捉不到图像中不同层级的数据信息，进而导致无法准确识别出路牌角点。


技术实现要素：

4.为解决或部分解决相关技术中存在的问题，本技术提供一种路牌角点的自动识别方法、装置、设备及存储介质，能够准确识别出路牌角点。
5.本技术的第一方面提供了一种路牌角点的自动识别方法，包括：
6.获取待识别图像，所述待识别图像携带有路牌元素；
7.沿预设对称式分支对所述待识别图像进行卷积计算，所述预设对称式分支包括多条具有对应关系的奇数序分支和偶数序分支，沿所述奇数序分支对所述待识别图像依次进行多次普通卷积计算，得到第一卷积特征图，沿所述偶数序分支对所述待识别图像依次进行不同空洞率的空洞卷积计算和普通卷积计算，得到第二卷积特征图；
8.分别对多条所述奇数序分支对应的所述第一卷积特征图对应与多条所述偶数序分支对应的所述第二卷积特征图进行特征融合计算，得到多个初始融合特征图；
9.分别对多个所述初始融合特征图进行普通卷积计算，得到多个第三卷积特征图；
10.将多个所述第三卷积特征图进行特征融合计算，得到待处理融合特征图；
11.对所述待处理融合特征图进行普通卷积计算，得到目标卷积特征图，基于所述目标卷积特征图输出路牌角点坐标。
12.优选的，所述普通卷积计算，包括：
13.初始化卷积核n*n，其中n为[1,7]区间内的正奇数；
[0014]
设定普通卷积通道数；
[0015]
根据所述卷积核n*n和所述普通卷积通道数，对所述待识别图像、初始融合特征图或待处理融合特征图进行普通卷积计算。
[0016]
优选的，沿不同的所述奇数序分支对所述待识别图像进行多次普通卷积计算时，两两所述奇数序分支对应位置执行的所述普通卷积计算的所述卷积核n*n互不相同、所述普通卷积通道数互补。
[0017]
优选的，所述空洞卷积计算，包括：
[0018]
初始化卷积核p*p，并设置所述卷积核p*p的空洞率，其中p为[1,7]区间内的正奇
数；
[0019]
设定空洞卷积通道数；
[0020]
根据所述卷积核p*p和所述空洞卷积通道数，对所述待识别图像进行空洞卷积计算。
[0021]
优选的，沿不同的所述偶数序分支对所述待识别图像依次进行不同空洞率的空洞卷积计算时，两两所述偶数序分支对应位置执行的所述空洞卷积计算的所述卷积核p*p相同、所述空洞卷积通道数互补。
[0022]
优选的，根据路牌角点的数量设定对所述待处理融合特征图进行普通卷积计算的所述普通卷积通道数。
[0023]
优选的，所述对所述待处理融合特征图进行普通卷积计算的所述普通卷积通道数等于4；
[0024]
所述基于所述目标卷积特征图输出路牌角点坐标，包括：
[0025]
将所述普通卷积通道编号等于1的所述目标卷积特征图的路牌角点坐标作为路牌左上角点坐标输出；
[0026]
将所述普通卷积通道编号等于2下的所述目标卷积特征图的路牌角点坐标作为路牌右上角点坐标输出；
[0027]
将所述普通卷积通道编号等于3下的所述目标卷积特征图的路牌角点坐标作为路牌右下角点坐标输出；
[0028]
将所述普通卷积通道编号等于4下的所述目标卷积特征图的路牌角点坐标作为路牌左下角点坐标输出。
[0029]
本技术的第二方面提供了一种路牌角点的自动识别装置，包括：
[0030]
获取模块，用于获取待识别图像，所述待识别图像携带有路牌元素；
[0031]
对称式卷积计算模块，用于沿预设对称式分支对所述待识别图像进行卷积计算，所述预设对称式分支包括多条具有对应关系的奇数序分支和偶数序分支，沿所述奇数序分支对所述待识别图像依次进行多次普通卷积计算，得到第一卷积特征图，沿所述偶数序分支对所述待识别图像依次进行不同空洞率的空洞卷积计算和普通卷积计算，得到第二卷积特征图；
[0032]
第一融合模块，用于分别对多条所述奇数序分支对应的所述第一卷积特征图对应与多条所述偶数序分支对应的所述第二卷积特征图进行特征融合计算，得到多个初始融合特征图；
[0033]
分布卷积计算模块，用于分别对多个所述初始融合特征图进行普通卷积计算，得到多个第三卷积特征图；
[0034]
第二融合模块，用于将多个所述第三卷积特征图进行特征融合计算，得到待处理融合特征图；
[0035]
输出模块，用于对所述待处理融合特征图进行普通卷积计算，得到目标卷积特征图，基于所述目标卷积特征图输出路牌角点坐标。
[0036]
本技术的第三方面提供了一种电子设备，包括：
[0037]
处理器；以及
[0038]
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述
处理器执行如上所述的路牌角点识别方法。
[0039]
本技术的第四方面提供了一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的路牌角点识别方法。
[0040]
本技术提供的技术方案可以包括以下有益效果：
[0041]
本技术的技术方案，获取待识别图像，沿着具有对应关系的奇数序分支和偶数序分支分别对待识别图像进行卷积计算，其中沿奇数序分支进行普通卷积计算得到第一卷积特征图，沿着偶数序分支进行不同空洞率的空洞卷积计算和普通卷积计算得到第二卷积特征图，将多个第一卷积特征图对应与多个第二卷积特征图进行特征融合计算，得到多个初始融合特征图，分别对多个初始融合特征图进行普通卷积计算得到多个第三卷积特征图，将多个第三卷积特征图进行特征融合计算得到待处理融合特征图，对待处理融合特征图进行普通卷积计算，得到目标卷积特征图，基于目标卷积特征图输出路牌角点坐标。由于空洞卷积计算具有更大的感受野，结合普通卷积计算来提取更多的有效信息，同时采用不同空洞率的空洞卷积计算对待识别图像处理，能够捕捉到不同层级的信息，从而提高对路牌角点识别率。
[0042]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
[0043]
通过结合附图对本技术示例性实施方式进行更详细地描述，本技术的上述以及其它目的、特征和优势将变得更加明显，其中，在本技术示例性实施方式中，相同的参考标号通常代表相同部件。
[0044]
图1是本技术实施例示出的路牌角点的自动识别方法的流程示意图；
[0045]
图2是本技术实施例示出的路牌角点的自动识别方法的应用框架示图；
[0046]
图3是本技术实施例示出的目标卷积特征图的模拟示意图；
[0047]
图4是本技术实施例示出的路牌角点的自动识别装置的结构示意图；
[0048]
图5是本技术实施例示出的电子设备的结构示意图。
具体实施方式
[0049]
下面将参照附图更详细地描述本技术的实施方式。虽然附图中显示了本技术的实施方式，然而应该理解，可以以各种形式实现本技术而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本技术更加透彻和完整，并且能够将本技术的范围完整地传达给本领域的技术人员。
[0050]
在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0051]
应当理解，尽管在本技术可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，
在不脱离本技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0052]
路牌角点的识别是构建路牌元素的前提基础。相关技术中常利用卷积神经网络对图像进行识别出图像中的路牌角点。但受制于卷积神经网络自身架构的原因，存在无法准确识别出路牌角点的问题。
[0053]
针对上述问题，本技术提供了一种路牌角点的自动识别方法、装置、设备及存储介质，能够准确识别出路牌角点。为了便于理解本技术的技术方案，以下结合附图详细说明本技术的技术方案。
[0054]
图1示出了本技术实施例中的一种路牌角点的自动识别方法的流程示意图。
[0055]
请参阅图1，一种路牌角点的自动识别方法，包括如下步骤：
[0056]
步骤s11、获取待识别图像，待识别图像携带有路牌元素。
[0057]
待识别图像是车载摄像头所拍摄的照片。待识别图像携带有路牌元素。路牌是安装在道路上的物体，路牌的形状通常是方形、三角形以及六边形。对于方形路牌而言，其具有4个路牌角点(路牌角点即边角点，下同)。对于三角形路牌，其具有3个路牌角点。对于六边形路牌，其具有6个路牌角点。待识别图像中的路牌数量并不局限一个，也可能是多个。
[0058]
步骤s12、沿预设对称式分支对待识别图像进行卷积计算，预设对称式分支包括多条具有对应关系的奇数序分支和偶数序分支，沿奇数序分支对待识别图像依次进行多次普通卷积计算，得到第一卷积特征图，沿偶数序分支对待识别图像依次进行不同空洞率的空洞卷积计算和普通卷积计算，得到第二卷积特征图。
[0059]
预设对称式分支包括多条奇数序分支和偶数序分支，奇数序分支与偶数序分支具有对应关系，即每一条奇数序分支对应一条偶数序分支。沿奇数序分支对待识别图像依次进行多次普通卷积计算，得到第一卷积特征图。而沿着偶数序分支对待识别图像依次进行不同空洞率的空洞卷积计算和普通卷积计算，得到第二卷积特征图。让待识别图像沿着不同分支进行不同的卷积处理，空洞卷积计算相比于普通卷积计算，其有着更大的感受野，能够在待识别图像的目标检测和语义分割的任务中对小型路牌元素的识别分割有着更好地效果。将普通卷积计算和空洞卷积计算的混合使用，两种卷积计算相互补充，以此提取待识别图像更多的有效信息。
[0060]
此外，沿偶数序分支会对待识别图像进行不同空洞率的空洞卷积计算，能够捕捉到待识别图像中不同层级的信息，即能够捕捉到待识别图像中的大型路牌、中型路牌以及小型路牌元素，防止遗漏识别路牌元素。
[0061]
还需要说明的是，沿奇数序分支对待识别图像进行的卷积计算的次数与沿偶数序分支对待识别图像进行卷积计算的次数可以相同。即沿奇数序分支对待识别图像进行依次进行3次普通卷积计算时，对应的，沿偶数序分支对待识别图像依次进行2次空洞卷积计算(2次空洞卷积计算的空洞率不相同)和1次普通卷积计算。
[0062]
对待识别图像进行普通卷积计算时，初始化卷积核n*n，其中n为[1,7]区间内的正奇数，设定普通卷积通道数，根据卷积核n*n和普通卷积通道数，对待识别图像进行普通卷积计算。例如，初始化卷积核3*3，设定普通卷积通道数channels＝128，根据卷积核3*3和普
通卷积通道数为128对待识别图像进行普通卷积计算。
[0063]
需要说明的是，由于预设对称式分支包括多条奇数序分支，两两奇数序分支对应位置的执行的普通卷积计算的卷积核n*n互不相同、普通卷积通道数互补。例如预设对称式分支包括两条奇数序分支，两条奇数序分支均对待识别图像依次进行3次普通卷积计算，两条奇数序分支两两配对，若一条奇数序分支进行第一次普通卷积计算采用的是卷积核3*3，则另一条奇数序分支采用的是卷积核5*5。若一条奇数序分支进行第一次普通卷积计算的普通卷积通道数channels＝128，则另一条奇数序分支进行第一次普通卷积计算的普通卷积通道数channels＝256。按照上述方式能够丰富待识别图像卷积后的特征信息，为后续提高路牌角点识别率打下铺垫。
[0064]
对待识别图像进行空洞卷积计算时，初始化卷积核p*p，并设置卷积核p*p的空洞率，其中p为[1,7]区间内的正奇数，设定空洞卷积通道数，根据卷积核p*p和空洞卷积通道数，对待识别图像进行空洞卷积计算。例如，初始化卷积核3*3，并设置卷积核3*3的空洞率dilation＝5，设定空洞卷积通道数channels＝256，根据空洞率为5的卷积核3*3、空洞卷积通道数为256对待识别图像进行空洞卷积计算。
[0065]
需要说明的是，由于预设对称式分支包括多条偶数序分支，两两偶数序分支对应位置执行的空洞卷积计算的卷积核p*p相同、空洞卷积通道数互补。例如预设对称式分支包括两条偶数序分支，两条偶数序分支均对待识别图像依次进行2次空洞卷积计算和1次普通卷积计算，两条偶数序分支两两配对，若一条偶数序分支进行第一次空洞卷积计算采用的是空洞率为2的卷积核3*3，则另一条偶数序分支进行第一次空洞卷积计算采用的是同样是空洞率为2的卷积核3*3。若一条偶数序分支进行第一次空洞卷积计算的空洞卷积通道数channels＝128，则另一条偶数序分支进行第一次空洞卷积计算的空洞卷积通道数channels＝256。按照上述方式能够丰富待识别图像卷积后的特征信息，为后续提高路牌角点识别率打下铺垫。
[0066]
步骤s13、分别对多条奇数序分支对应的第一卷积特征图对应与多条偶数序分支对应的第二卷积特征图进行特征融合计算，得到多个初始融合特征图。
[0067]
需要说明的是，沿着不同分支对待识别图像进行处理后，得到多个第一卷积特征图和多个第二卷积特征图。分别对多条奇数序分支对应的第一卷积特征图对应与多条偶数序分支对应的第二卷积特征图进行特征融合计算，得到多个初始融合特征图。
[0068]
还需要说明的是，特征融合计算即线性相加的过程，将第一卷积特征图对应位置的像素值与第二卷积特征图对应位置的像素值线性相加，得到初始融合特征图。
[0069]
步骤s14、分别对多个初始融合特征图进行普通卷积计算，得到多个第三卷积特征图。
[0070]
得到多个初始融合特征图后，分别对多个初始融合特征图进行普通卷积计算，得到多个第三卷积特征图。普通卷积计算的方式参考前述的普通卷积计算过程，此处不再赘述。
[0071]
步骤s15、将多个第三卷积特征图进行特征融合计算，得到待处理融合特征图。
[0072]
得到多个第三卷积特征图后，将多个第三卷积特征图进行特征融合计算，得到待处理融合特征图。特征融合计算的过程参考上文，此处不再赘述。
[0073]
步骤s16、对待处理融合特征图进行普通卷积计算，得到目标卷积特征图，基于目
标卷积特征图输出路牌角点坐标。
[0074]
得到待处理融合特征图后，对待处理融合特征图进行普通卷积计算，得到目标卷积特征图，基于目标卷积特征图输出路牌角点坐标。对待处理融合特征图进行普通卷积计算的基本过程参考上文，此处不再赘述。不同在于，对待处理融合特征图进行普通卷积计算的普通卷积通道数与路牌角点的数量有关。
[0075]
例如，若要识别待识别图像的方形路牌时，不管是小型方形路牌、中型方形路牌还是大型方形路牌，这三种规格的方形路牌都是4个路牌角点，因此，将对待处理融合特征图进行普通卷积计算的普通卷积通道数等于4。基于目标卷积特征图输出路牌角点坐标时：将普通卷积通道编号等于1的目标卷积特征图的路牌角点坐标作为路牌左上角点坐标输出；将普通卷积通道编号等于2下的目标卷积特征图的路牌角点坐标作为路牌右上角点坐标输出；将普通卷积通道编号等于3下的目标卷积特征图的路牌角点坐标作为路牌右下角点坐标输出；将普通卷积通道编号等于4下的目标卷积特征图的路牌角点坐标作为路牌左下角点坐标输出。
[0076]
为了更好地理解本技术的技术方案，下面以一个具体实施例对本技术的技术原理过程进行说明。
[0077]
实施例一
[0078]
请一并参阅图2和图3。假定需要识别出待识别图像的方形路牌的路牌角点，预设对称式分支包括两条奇数序分支(图2所示的第
①
分支和第
③
分支)和两条偶数序分支(图2所示的第
②
分支和第
④
分支)，其中第
①
分支对应第
②
分支，第
③
分支对应第
④
分支。获取待识别图像img，沿第
①
分支、第
②
分支、第
③
分支以及第
④
分支对待识别图像img进行处理。沿第
①
分支和第
③
分支处理得到的是第一卷积特征图，沿第
②
分支和第
④
分支处理得到的是第二卷积特征图。
[0079]
由于第
①
分支和第
③
分支两两配对，沿第
①
分支和第
③
分支对待识别图像img依次进行3次普通卷积计算时，对应位置执行的普通卷积计算卷积核n*n互不相同、普通卷积通道数互补。由于第
②
分支和第
④
分支两两配对，沿第
②
分支和第
④
分支对待识别图像img依次进行2次空洞卷积计算和1次普通卷积计算，对应位置执行的空洞卷积计算的卷积核p*p相同、空洞卷积通道数互补。
[0080]
将第
①
分支对应的第一卷积特征图与第
②
分支对应的第二卷积特征图进行特征融合计算，得到其中一个初始融合特征图。将第
③
分支对应的第一卷积特征图与第
④
分支对应的第二卷积特征图进行特征融合计算，得到另一个初始融合特征图。
[0081]
分别对两个初始融合特征图进行普通卷积计算，得到两个第三卷积特征图。将两个第三卷积特征图进行特征融合计算，得到待处理融合特征图。最后对待处理融合特征图进行普通卷积计算，得到目标卷积特征图。
[0082]
其中对待处理融合特征图进行普通卷积计算时，普通卷积通道数channels＝4。将普通卷积通道编号等于1的目标卷积特征图的路牌角点坐标作为路牌左上角点坐标输出(即图3示出的a1点、a2点和a3点)；将普通卷积通道编号等于2下的目标卷积特征图的路牌角点坐标作为路牌右上角点坐标输出(即图3示出的b1点、b2点和b3点)；将普通卷积通道编号等于3下的目标卷积特征图的路牌角点坐标作为路牌右下角点坐标输出(即图3示出的c1点、c2点和c3点)；将普通卷积通道编号等于4下的目标卷积特征图的路牌角点坐标作为路
牌左下角点坐标输出(即图3示出的d1点、d2点和d3点)。
[0083]
与前述应用功能方法实施例相对应，本技术还提供了一种路牌角点的自动识别装置相应的实施例。
[0084]
图4示出了本技术实施例中的一种路牌角点的自动识别装置40的结构示意图。
[0085]
请参阅图4，一种路牌角点的自动识别装置40，包括：获取模块410、对称式卷积计算模块420、第一融合模块430、分布卷积计算模块440、第二融合模块450及输出模块460。
[0086]
获取模块410用于获取待识别图像，待识别图像携带有路牌元素；
[0087]
对称式卷积计算模块420用于沿预设对称式分支对待识别图像进行卷积计算，预设对称式分支包括多条具有对应关系的奇数序分支和偶数序分支，沿奇数序分支对待识别图像依次进行多次普通卷积计算，得到第一卷积特征图，沿偶数序分支对待识别图像依次进行不同空洞率的空洞卷积计算和普通卷积计算，得到第二卷积特征图；
[0088]
第一融合模块430用于分别对多条奇数序分支对应的第一卷积特征图对应与多条偶数序分支对应的第二卷积特征图进行特征融合计算，得到多个初始融合特征图；
[0089]
分布卷积计算模块440用于分别对多个初始融合特征图进行普通卷积计算，得到多个第三卷积特征图；
[0090]
第二融合模块450用于将多个第三卷积特征图进行特征融合计算，得到待处理融合特征图；
[0091]
输出模块460用于对待处理融合特征图进行普通卷积计算，得到目标卷积特征图，基于目标卷积特征图输出路牌角点坐标。
[0092]
关于上述实施例中的装置，其中各个模块及单元执行操作的具体方式已经在有关该装置所对应的方法实施例中进行了详细描述，此处将不再做详细阐述说明。
[0093]
请参阅图5，电子设备900包括处理器910和存储器920。
[0094]
处理器910可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0095]
存储器920可以包括各种类型的存储单元，例如系统内存、只读存储器(rom)和永久存储装置。其中，rom可以存储处理器910或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器920可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(例如dram，sram，sdram，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。存储器920上存储有可执行代码，当可执行代码被处理器910处理时，可以使处理器910执行上文述及的方法中的部分或全部。
[0096]
此外，根据本技术的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本技术的上述方法中部分或全部步骤的计算机程序代码指令。
[0097]
或者，本技术还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质)，其上存储有可执行代码(或计算机程序或计算机指令代码)，当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时，使处理器执行根据本技术的上述方法的各个步骤的部分或全部。
[0098]
以上已经描述了本技术的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。