基于双通道卷积神经网络的交通标志识别方法、装置与流程

本发明涉及图像识别领域，具体而言，涉及一种基于双通道卷积神经网络的交通标志识别方法、装置。

背景技术

交通标志是交通环境的重要因素之一，随着无人驾驶汽车、车载导航等领域的快速发展，交通标志识别因具有很强的实际应用价值，成为了图像识别领域的一个研究热点。在传统交通标志识别中，基于颜色与形状特征的交通标志检测法和基于局部特征与分类器的交通标志检测法是国内外学者提出的主要的两大类方法。传统的方法往往都需要先提取特征，但是在现实中，交通标志的特征提取会受到光照、视角、清晰度等因素的影响，进而降低交通标志识别的准确率。加之传统交通标志识别算法存在着识别率低、识别时间长等问题，已经不能满足当下的需求，因此需要一种新的方法来解决目前在交通标志识别上出现的问题。

技术实现要素：

有鉴于此，本发明实施例的目的在于提供一种基于双通道卷积神经网络的交通标志识别方法、装置，以缓解上述问题。

第一方面，本发明实施例提供了一种基于双通道卷积神经网络的交通标志识别方法，应用于改进后的lenet-5网络结构，改进后的lenet-5网络结构包括依次连接的输入层、中间层、全连接层和输出层，所述中间层至少包括两个具备不同卷积核的子卷积神经网络，每个所述子卷积神经网络包括依次连接的第一卷积层、第一采样层、第二卷积层、第二采样层、第三卷积层、第三采样层，每个所述子卷积神经网络的第三采样层分别与所述全连接层连接，所述方法包括：所述输入层获取待识别图片；每个所述子卷积神经网络分别对所述待识别图片进行处理，得到具有不同特征的中间结果，所述中间结果的数量与所述子卷积神经网络的数量相同；所述全连接层对所有的所述中间结果进行拼接，得到一个拼接后的特征；所述输出层根据所述拼接后的特征计算所述待识别图片所属的类别，得到识别结果。

第二方面，本发明实施例提供了一种基于卷积神经网络的交通标志识别装置，应用于改进后的lenet-5网络结构，改进后的lenet-5网络结构包括依次连接的输入层、中间层、全连接层和输出层，所述中间层至少包括两个具备不同卷积核的子卷积神经网络，每个所述子卷积神经网络包括依次连接的第一卷积层、第一采样层、第二卷积层、第二采样层、第三卷积层、第三采样层，每个所述子卷积神经网络的第三采样层分别与所述全连接层连接，所述装置包括：获取模块，所述输入层通过所述获取模块获取待识别图片；处理模块，每个所述子卷积神经网络分别通过所述处理模块对所述待识别图片进行处理，得到具有不同特征的中间结果，所述中间结果的数量与所述子卷积神经网络的数量相同；拼接模块，所述全连接层通过所述拼接模块对所有的所述中间结果进行拼接，得到一个拼接后的特征；输出模块，所述输出层通过所述输出模块根据所述拼接后的特征计算所述待识别图片所属的类别，得到识别结果。

第三方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如第一方面中任意一项所述的方法。

与现有技术相比，本发明各实施例提出的基于双通道卷积神经网络的交通标志识别方法、装置的有益效果是：通过构造两个相对独立的不同卷积核的子卷积神经网络，能够使其具有不同的特征提取层结构，用于加快特征提取且形成特征互补，使得交通标志图像在受到视角、光照、清晰度等影响的情况下，能够有效的增加信息来源，减少重要特征的丢失，获得更多的区分性的特征信息。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种电子设备的结构示意图；

图2为本发明实施例提供的一种卷积神经网络的结构示意图；

图3为本发明第一实施例提供的基于双通道卷积神经网络的交通标志识别方法的流程图；

图4为本发明第二实施例提供的基于双通道卷积神经网络的交通标志识别装置的结构框图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

本发明实施例提供的基于双通道卷积神经网络的交通标志识别方法、装置可以运行在电子设备上如图1所示的电子设备100上，电子设备100可以是个人电脑(personalcomputer，pc)、平板电脑、智能手机、个人数字助理(personaldigitalassistant，pda)等。

所述电子设备100可以包括：基于卷积神经网络的交通标志识别装置400、存储器110、存储控制器120、处理器130、外设接口140、输入输出单元150、音频单元160、显示单元170。

所述存储器110、存储控制器120、处理器130、外设接口140、输入输出单元150、音频单元160以及显示单元170各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述基于卷积神经网络的交通标志识别装置包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中或固化在客户端设备的操作系统(operatingsystem，os)中的软件功能模块。所述处理器130用于执行存储器110中存储的可执行模块，例如所述基于卷积神经网络的交通标志识别装置包括的软件功能模块或计算机程序。

其中，存储器110可以是，但不限于，随机存取存储器(randomaccessmemory，ram)，只读存储器(readonlymemory，rom)，可编程只读存储器(programmableread-onlymemory，prom)，可擦除只读存储器(erasableprogrammableread-onlymemory，eprom)，电可擦除只读存储器(electricerasableprogrammableread-onlymemory，eeprom)等。其中，存储器110用于存储程序，所述处理器130在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流程可以应用于处理器130中，或者由处理器130实现。

处理器130可能是一种集成电路芯片，具有信号的处理能力。上述的处理器130可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述外设接口140将各种输入/输出装置耦合至处理器130以及存储器110。在一些实施例中，外设接口140，处理器130以及存储控制器120可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

输入输出单元150用于提供给用户输入数据实现用户与电子设备100的交互。所述输入输出单元150可以是，但不限于，鼠标和键盘等。

音频单元160向用户提供音频接口，其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。

显示单元170在电子设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元170可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器130进行计算和处理。

请参看图2，图2为本发明实施例提供的一种卷积神经网络200的结构示意图，卷积神经网络200可以包括依次连接的输入层210、中间层220、全连接层230和输出层240。

所述中间层220至少包括两个具备不同卷积核尺寸的子卷积神经网络221，例如图2中所示的两个。每个所述子卷积神经网络221可以包括依次连接的第一卷积层c1、第一采样层s1、第二卷积层c2、第二采样层s2、第三卷积层c3、第三采样层s3，所述第三采样层s3与所述全连接层230连接。

可选的，在本发明实施例中所提供的两个子卷积神经网络221可以分别为第一子卷积神经网络以及第二子卷积神经网络，形成双通道网络。所述第一子卷积神经网络的卷积核尺寸可以为11×11，所述第二子卷积神经网络的卷积核尺寸可以为9×9。值得指出的是，本发明实施例中所提供的子卷积神经网络221的卷积核尺寸均大于传统的lenet-5网络模型内卷积核的尺寸。

第一实施例

请参照图3，图3是本发明第一实施例提供的一种基于双通道卷积神经网络的交通标志识别方法的流程图，所述方法可以应用于图2所示的包含两个子卷积神经网络221的卷积神经网络200。下面将对图3所示的流程进行详细阐述，所述方法包括：

步骤s110：所述输入层获取待识别图片。

其中，待识别图片可以是大小为256×256的交通标志。

步骤s120：每个所述子卷积神经网络分别对所述待识别图片进行处理，得到具有不同特征的中间结果，所述中间结果的数量与所述子卷积神经网络的数量相同。

值得指出的是，每个中间结果包含多个特征。

可选的，针对每个所述子卷积神经网络，可以包括依次连接的第一卷积层c1、第一采样层s1、第二卷积层c2、第二采样层s2、第三卷积层c3、第三采样层s3。其中，上述每一层由多个二维平面组成，每一个平面由多个独立的神经元组成。

对于卷积层而言，通过卷积运算，可以使输入的原始信号增强，并且起到降噪作用，且不同的卷积核能够提取到图像中不同的特征，卷积层的计算公式如(1)所示。

其中：l是卷积层所在的层数；k是卷积核；b是偏置；f(·)是激活函数(一般有tanh()sigmoid()relu()等激活函数)，mj是上一层的一个输入特征图。

采样层通常设置在卷积层之后，对卷积层输出的特征图做下采样。卷积神经网络的下采样方法很多，例如均值采样(meanpooling)、最大值采样(maxpooling)、重叠采样(overlapping)等方法，目的是保留主要特征的同时减少参数和计算量，防止过度拟合，提高模型的泛化能力，采样层的计算公式如(2)所示。

其中：down(·)表示子采样函数，β表示子采样系数，b是偏置，f(·)是激活函数。为了避免出现过度拟合，降低特征图的维度，每幅特征图都应对应自身的乘性偏置和加性偏置。

全连接层用于对前面提取的特征做加权和，而且全连接层在整个卷积神经网络中起到“分类器”的作用。并且将学到的“分布式特征表示”映射到样本标记空间。在实际使用中，全连接层也可由卷积操作实现。

于本发明实施例中，针对各个层，在执行步骤s120时，具体步骤如下：

所述第一卷积层对所述待识别图片进行卷积运算，得到第一特征图，所述第一采样层对所述第一特征图进行降维度处理，得到第一降维度图；针对每个所述子卷积神经网络，所述第二卷积层对所述第一降维度图进行卷积运算，得到第二特征图；所述第二采样层对所述第二特征图进行降维度处理，得到第二降维度图；所述第三卷积层对所述第二降维度图进行卷积运算，得到第三特征图；所述第三采样层对所述第三特征图进行降维度处理，得到所述中间结果。

进一步的，针对第一子卷积神经网络，c1是第一卷积层，采用11×11的卷积核对待识别图片(大小为256×256)11×11的领域进行卷积运算，步长为3，共生成90个82×82的特征图，即为第一特征图。s1是第一采样层，对每个输入的第一特征图2×2的领域进行采样运算，移动步长为2，共生成90个41×41的特征图，降低了第一特征图的维度，减小了第一特征图的尺寸，同时又可以保留相应的特征，得到第一降维度图，其中，由卷积层到采样层特征图的个数不变。同理c2层是第二卷积层，有130个38×38的特征图，即为第二特征图，s2层是第二采样层，有130个19×19的特征图，即为第二降维度图，c3层是第三卷积层，有180个18×18的特征图，s3是第三采样层，有180个9×9的特征图。第三采样层得到的特征图为中间结果。

同理，针对第二子卷积神经网络，不同之处就是第一卷积层c1用9×9的卷积核与输入图像9×9的领域进行卷积运算。

其中，针对不同的子卷积神经网络211，卷积核的尺寸不同所提取到的特征是不同的。子卷积神经网络211的个数越多，提取的特征越充分，交通标志的识别率会越高。待识别图像输入两个卷积核尺寸不同的子卷积神经网络211后，两个子卷积神经网络211同时对图像进行处理，提取的是不同的特征。子卷积神经网络211对待识别图像的处理过程，相当于对待识别图像特征即有用信息的筛选过程，设置双通道以及不同卷积和尺寸，其中某个通道未提取到的有用特征，极有可能被另一个通道提取到。增大了后续识别的准确率，同时，双通道同时识别，也缩短了识别的时间。

可选的，在所述第一卷积层、所述第二卷积层、第三卷积层后还可以分别添加有非线性激活函数relu。针对上述卷积层在输出特征图时，可以通过relu来输出相应地特征图。

relu函数收敛很快，这是因为relu是线性的非饱和的，并且relu只需要一个阈值就可以得到激活函数。

步骤s130：所述全连接层对所有的所述中间结果进行拼接，得到一个拼接后的特征。

其中，全连接层的每个神经元都与上层的输出全连接，将每个子卷积神经网络221提取到的特征进行拼接，输出到输出层。

可选的，所述全连接层可以包括第一全连接层以及第二全连接层，在所述第一全连接层与所述第二全连接层之间添加有dropout层。

为了避免过度拟合，可以在第一个全连接层之后添加dropout层。以这种方式“dropout”的神经元既不参加前向传播，也不参加反向传播，所以每次输入一个新样本，相当于神经网络尝试了一个新结构，这些结构之间共享权重，降低了神经元复杂互适应关系，从而减少过度拟合。

步骤s140：所述输出层根据所述拼接后的特征计算所述待识别图片所属的类别，得到识别结果。

输出层计算出输入的待识别图片属于某类交通标志的概率后输出。

在本发明实施例中，针对每个子卷积神经网络211，其可以提取图片的多尺度特征。每个子卷积神经网络211的浅卷积层可以提取图片的颜色、边缘等特征信息，但是可能存在特征信息理解不足的问题，此时通过增加卷积以及采样的次数，能逐渐提取图片复杂的轮廓结构信息(深层信息)，随着每个子卷积神经网络211的加深，轮廓特征的完整性及辨别性增强，尤其是深卷积层的轮廓类别信息更加清晰，对区分不同的目标起到较为关键的作用。

第二实施例

请参照图4，图4是本发明第二实施例提供的一种基于双通道卷积神经网络的交通标志识别装置400的结构框图，可以应用于图2所示的卷积神经网络200。下面将对图4所示的结构框图进行阐述，所示装置包括：

获取模块410，所述输入层通过所述获取模块获取待识别图片；

处理模块420，每个所述子卷积神经网络分别通过所述处理模块对所述待识别图片进行处理，得到具有不同特征的中间结果，所述中间结果的数量与所述子卷积神经网络的数量相同；

拼接模块430，所述全连接层通过所述拼接模块对所有的所述中间结果进行拼接，得到一个拼接后的特征；

输出模块440，所述输出层通过所述输出模块根据所述拼接后的特征计算所述待识别图片所属的类别，得到识别结果。

可选的，针对每个所述子卷积神经网络，所述处理模块420，具体用于：

对所述待识别图片进行卷积运算，得到第一特征图；对所述第一特征图进行降维度处理，得到第一降维度图；对所述第一降维度图进行卷积运算，得到第二特征图；对所述第二特征图进行降维度处理，得到第二降维度图；对所述第二降维度图进行卷积运算，得到第三特征图；对所述第三特征图进行降维度处理，得到所述中间结果。

本实施例对基于卷积神经网络的交通标志识别装置400的各功能模块实现各自功能的过程，请参见上述图1至图3所示实施例中描述的内容，此处不再赘述。

此外，本发明实施例还提供一种卷积神经网络，例如图2所示的卷积神经网络200，包括依次连接的输入层、中间层、全连接层和输出层，所述中间层至少包括两个具备不同卷积核的子卷积神经网络，每个所述子卷积神经网络包括依次连接的第一卷积层、第一采样层、第二卷积层、第二采样层、第三卷积层、第三采样层，每个所述子卷积神经网络的第三采样层分别与所述全连接层连接。所述输入层，用于获取待识别图片；每个所述子卷积神经网络，用于分别对所述待识别图片进行处理，得到具有不同特征的中间结果，所述中间结果的数量与所述子卷积神经网络的数量相同；所述全连接层，用于对所有的所述中间结果进行拼接，得到一个拼接后的特征；所述输出层，用于根据所述拼接后的特征计算所述待识别图片所属的类别，得到识别结果。

各层实现各自功能的过程，请参见上述图1至图3所示实施例中描述的内容，此处不再赘述。

此外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如第一方面中任意一项实施方式所述的方法。

综上所述，本发明实施例提出的基于双通道卷积神经网络的交通标志识别方法、装置，通过构造两个相对独立的不同卷积核的子卷积神经网络形成双通道，每个通道提取一部分特征，能够使其具有不同的特征提取层结构，用于加快特征提取且形成特征互补，使得交通标志图像在受到视角、光照、清晰度等影响的情况下，能够有效的增加信息来源，减少重要特征的丢失，获得更多的区分性的特征信息。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。