检测车辆轮胎的花纹的方法、设备和存储介质与流程

本发明涉及智能检测领域，更具体地，涉及一种用于检测车辆轮胎的花纹的方法、实现这种方法的设备以及计算机可读存储介质。

背景技术：

随着社会经济的不断发展和人民生活水平的持续提高，城市机动车保有量迅猛增长，机动车车辆年检的工作量也随之迅速增大。在车辆的使用过程中，车主可能出于各种原因对车辆轮胎进行更换或改装，从而造成车辆左右车轮的轮胎可能不同。然而，不同的轮胎的摩擦力等技术指标可能存在差异，从而有可能在车辆行驶过程中造成意外状况。因此，作为机动车车辆年检的其中一项内容，需要对车辆左右车轮的轮胎进行检测，以确定二者花纹是否相同。在传统的车辆年检中，需要工作人员肉眼对左右轮胎花纹进行判断。然而，由于轮胎的纹络、表面线条特征比较复杂，工作人员肉眼的判断往往可能产生偏差或漏检。

现有技术中，也有一些借助于机器的轮胎检测方法，例如通过统计关键区域像素的均值或像素分布图的方法，或者基于某些深度学习的方法，通过网络学习轮胎的特征，计算轮胎的距离(或者余弦相似度)，与设定的阈值进行比较以判断是否一致。

然而，一方面，这些方法达不到较好的精度，另一方面，这些方法需要人为干预或控制的参数较多，实施较为复杂。因此，如何精确、客观地检测车辆轮胎花纹是当前急需解决的技术问题。

技术实现要素：

针对上述问题，本发明提供了一种用于检测车辆轮胎的花纹的方案，能够在尽量减少人为控制的参数的情况下自动检测车辆轮胎的花纹是否一致。

根据本发明的一个方面，提供了一种用于检测车辆轮胎的花纹的方法。该方法包括：获取包括车辆的两个轮胎的原始图片；利用分割模型对该原始图片进行分割以得到左侧轮胎花纹图片和右侧轮胎花纹图片；将该左侧轮胎花纹图片附加第一标签输入孪生神经网络的第一分支，将该右侧轮胎花纹图片附加该第一标签输入该孪生神经网络的第二分支，并根据损失函数获得该左侧轮胎花纹图片和该右侧轮胎花纹图片的第一损失值，该孪生神经网络的第一分支和第二分支分别包括多个卷积层和多个全连接层，并且该孪生神经网络的第一分支和第二分支具有相同的参数集合；将该左侧轮胎花纹图片和该右侧轮胎花纹图片分别附加第二标签输入该孪生神经网络的两个分支，并根据该损失函数获得该左侧轮胎花纹图片和该右侧轮胎花纹图片的第二损失值；确定该第一损失值是否大于或等于该第二损失值；如果该第一损失值大于或等于该第二损失值，确定该车辆的左侧轮胎的花纹和右侧轮胎的花纹相同；以及如果该第一损失值小于该第二损失值，确定该车辆的左侧轮胎的花纹和右侧轮胎的花纹不同。

根据本发明的另一个方面，提供了一种用于检测车辆轮胎的花纹的设备。该设备包括：存储器，其上存储有计算机程序代码；以及处理器，其被配置为运行该计算机程序代码，以执行如上所述的方法。

根据本发明的再一个方面，提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序代码，该计算机程序代码在被运行时执行如上所述的方法。

利用本发明的方案，一方面利用分割模型对车辆轮胎区域进行精确划分，另一方面利用训练过的孪生神经网络对车辆的左右轮胎的花纹是否一致进行判断，从而在尽量减少工作人员干预的情况下获得了尽可能精确的检测结果。此外，本发明还提供了对孪生神经网络进行训练的方法。

附图说明

图1示出了根据本发明的实施例的用于检测车辆轮胎的花纹的方法的流程图；

图2a示出了根据本发明的车辆的原始图片的示意图；

图2b和2c分别示出了根据本发明的车辆的左侧轮胎花纹图片和右侧轮胎花纹图片的示意图；

图3示出了根据本发明的实施例的孪生神经网络的结构示意图；

图4示出了根据本发明的实施例的用于对孪生神经网络进行训练的方法的流程图；以及

图5示出了可以用来实施本发明的实施例的示例设备的示意性框图。

具体实施方式

以下将结合附图对本发明的各实施例进行详细说明，以便更清楚理解本发明的目的、特点和优点。应理解的是，附图所示的实施例并不是对本发明范围的限制，而只是为了说明本发明技术方案的实质精神。

在下文的描述中，出于说明各种发明的实施例的目的阐述了某些具体细节以提供对各种发明实施例的透彻理解。但是，相关领域技术人员将认识到可在无这些具体细节中的一个或多个细节的情况来实践实施例。在其它情形下，与本申请相关联的熟知的装置、结构和技术可能并未详细地示出或描述从而避免不必要地混淆实施例的描述。

除非语境有其它需要，在整个说明书和权利要求中，词语“包括”和其变型，诸如“包含”和“具有”应被理解为开放的、包含的含义，即应解释为“包括，但不限于”。

在整个说明书中对“一个实施例”或“一些实施例”的提及表示结合实施例所描述的特定特点、结构或特征包括于至少一个实施例中。因此，在整个说明书的各个位置“在一个实施例中”或“在一些实施例”中的出现不一定全都指相同实施例。另外，特定特点、结构或特征可在一个或多个实施例中以任何方式组合。

说明书和所附权利要求中所用的单数形式“一”和“所述”包括复数指代物，除非文中清楚地另外规定。应当指出的是术语“或”通常以其包括“和/或”的含义使用，除非文中清楚地另外规定。

图1示出了根据本发明的实施例的用于检测车辆轮胎的花纹的方法100的流程图。图2a示出了根据本发明的车辆的原始图片20的示意图。如图2a中所示，车辆的原始图片20是车辆的后视图，其中拍摄了车辆的车牌、后保险杠、两个后轮胎22和24的至少一部分等。注意，图2a仅仅用于示意性表示，图中未具体显示车辆轮胎的花纹。以下将结合图1和图2a对方法100进行描述。

首先，在步骤110，获取包括车辆的两个轮胎的原始图片20。每张原始图片20可以是如图2a中所示的原始图片20的形式，或者还可以是其他形式，如车辆的前视图等。这里，原始图片20可以是由安全检查人员手动拍摄的，也可以是由诸如安全检查站的摄像头等自动拍摄并传送给安全检查设备(如下面结合图5所述的设备500)的。

接下来，在步骤120，利用分割模型对原始图片20进行分割以得到左侧轮胎花纹图片和右侧轮胎花纹图片。

在一些实施例中，步骤120可以具体包括子步骤122，其中利用分割模型对原始图片20进行分割以得到左侧轮胎区域和右侧轮胎区域。得到的左侧轮胎区域和右侧轮胎区域如图2a中标号22和24所指向的轮胎区域，以下重用标号22和24来指示所获得的原始图片20中的左右侧轮胎区域(即包含轮胎花纹的区域)。

接下来，在子步骤124，分别确定左侧轮胎区域22和右侧轮胎区域24的面积与原始图片20的面积之间的比值是否处于预定阈值范围。预定阈值范围例如可以是[0.5％,3％]。这里，该预定阈值范围用来确定所获取的轮胎区域是否足以用来检测轮胎花纹是否一致。例如，如果由于拍摄角度或有遮挡等原因，获取的原始图片20中包含的轮胎部分过小，则这样的原始图片不适于用来进行轮胎花纹检测。

接下来，在子步骤126，如果确定左侧轮胎区域22和右侧轮胎区域24的面积与原始图片20的面积之间的比值都处于预定阈值范围，则利用边界框(如boundingrect)方法获取左侧轮胎区域22的左侧轮胎花纹图片和右侧轮胎区域24的右侧轮胎花纹图片。图2b和2c分别示出了根据本发明的车辆的左侧轮胎花纹图片26和右侧轮胎花纹图片28的示意图。

这里，为了提高左右轮胎花纹特征的空间位置相似性，还可以将左侧或右侧轮胎区域进行竖直翻转并基于竖直翻转后的左侧或右侧轮胎区域获取左侧或右侧轮胎花纹图片。也就是说，可以将一侧轮胎的花纹图片进行镜像，以使其与另一侧轮胎的花纹图片上的花纹的空间分布保持一致，从而避免将实际上相同的左右轮胎花纹识别为不同，以提高检测精度。

此外，还可以对分割出的左侧轮胎花纹图片26和右侧轮胎花纹图片28进行图像增强处理(如利用十字交叉型滤波器进行滤波、执行开运算、闭运算、图像锐化、矩形框优化等中的至少一种)，以增强左侧轮胎花纹图片和右侧轮胎花纹图片。例如，开运算能够在保持图像的总的位置和形状的情况下除去孤立的小点和毛刺，闭运算能够填平图像中的小孔和小裂缝等。并且，还可以利用卷积核(如5*5的卷积核)对分割处的图片26和28的每个像素进行卷积，以提取更多的花纹边界特征。通过这种方式提取轮胎花纹的边界特征，可以进一步提高轮胎花纹检测的精确度。

在一些实施例中，分割模型可以是segnet分割模型。segnet分割模型是一种基于编码器-解码器结构的分割算法，segnet的编码器部分使用的是vgg(visualgeometrygroup)16的前13层卷积网络，每个编码器层都对应一个解码器层，解码器的输出通过soft-max分类器产生每个像素的类概率，从而到达分割的效果。有两种版本的segnet，分别为segnet与bayesiansegnet。当然，本领域技术人员可以理解，本发明并不局限于segnet分割模型，而是可以扩展到能够对图像中的特定对象进行分割的任何分割模型，本文中不再对这些分割模型的原理和训练过程进行赘述。

具体地，首先通过诸如segnet分割模型的分割模型将原始图片20进行分割以得到对应的掩膜(mask)灰度图，其中，该掩膜灰度图中的目标区域(左侧轮胎区域22和右侧轮胎区域24)被设定为不同于原始图片20中的其他部分的预定灰度值。遍历掩膜灰度图以确定每个像素的灰度值是否为该预定灰度值，并且从原始图片20中分割出灰度值为该预定灰度值的所有像素，这些像素即构成了包含目标对象的子图，即左侧轮胎花纹图片26和右侧轮胎花纹图片28。该预定灰度值可以是例如0或255等。通过这种方式，可以将原始图片20中属于待检测对象的像素和背景部分的像素区分开来，从而消除背景部分的像素对于检测的影响。

接下来，在步骤130，将左侧轮胎花纹图片26附加第一标签lable1输入孪生神经网络的第一分支，将右侧轮胎花纹图片28附加第一标签lable1输入孪生神经网络的第二分支，并根据损失函数获得左侧轮胎花纹图片26和右侧轮胎花纹图片28的第一损失值loss1。在步骤140，将左侧轮胎花纹图片26附加第二标签lable2输入孪生神经网络的第一分支，将右侧轮胎花纹图片28附加第二标签lable2输入孪生神经网络的第二分支，并根据损失函数获得左侧轮胎花纹图片和右侧轮胎花纹图片的第二损失值loss2。

图3示出了根据本发明的实施例的孪生神经网络300的结构示意图。如图3中所示，孪生神经网络300包括两个分支310和320，两个分支310和320具有相同的结构。具体地，如图3中所示，分支310包括多个卷积层312(也可以称为卷积子网络312)和多个全连接层314(也可以称为全连接子网络314)，分支320包括多个卷积层322(也可以称为卷积子网络322)和多个全连接层324(也可以称为全连接子网络324)。孪生神经网络300的两个分支310和320共享相同的参数集合(也称为权重w)，从而相同的输入通过分支310和320产生完全相同的输出。

卷积子网络312和322中的每个卷积层对输入分别执行卷积(conv)操作、批量归一化(bn)操作和线性修正(relu)操作。在一种优选实施例中，卷积子网络312和322包括7个卷积层，全连接子网络包括3个全连接层。

在根据本发明的一种实施例中，第一标签lable1和第二标签lable2分别用于指示轮胎花纹比对的两种情况，例如第一标签lable1可以用于指示左右轮胎花纹相同，第二标签lable2可以用于指示左右轮胎花纹不同(如根据本发明的实施例中的情况)，或者反之。在一种具体实例中，第一标签lable1可以设为1，第二标签lable2可以设为0，从而第一标签lable1和第二标签lable2构成一个二元组(0,1)。

在步骤130和140中，分别将图片26和28附加第一标签lable1和第二标签lable2作为分支310和320的输入，通过分支310和320分别提取图片26和28的特征向量，分支310和320的输出分别与第一标签lable1和第二标签lable2一起被输入给损失子网络330。损失子网络330基于其中的损失函数分别计算第一标签lable1下的第一损失值loss1和第二标签lable2下的第二损失值loss2。

在一些实施例中，损失函数可以包括对比损失函数(contrastiveloss)、三元组损失函数(tripletloss)和折页损失函数(tripletloss)中的至少一种。

以对比损失函数(contrastiveloss)为例，其表达式为：

其中d＝||an-bn||²，表示两个输入an和bn的特征向量之间的欧式距离，y是用于指示两个输入是否匹配的标签，其中第一标签lable1＝1指示两个输入匹配，第二标签lable2＝0指示两个输入不匹配，margin为设定的阈值。

接下来，在步骤150，确定第一损失值loss1是否大于或等于第二损失值loss2。

如果第一损失值loss1大于或等于第二损失值loss2(步骤150判断为“是”)，则在步骤160确定车辆的左侧轮胎的花纹和右侧轮胎的花纹相同。

另一方面，如果第一损失值loss1小于第二损失值loss2，则在步骤170确定车辆的左侧轮胎的花纹和右侧轮胎的花纹不同。

在一种实施例中，在步骤130之前，还可以对左侧轮胎花纹图片26和右侧轮胎花纹图片28分别进行亮度平衡和标准归一化。此外，还可以将两张图片的尺寸调整为一致，如128*128。通过这种方式，能够尽量消除由于图片26和28非轮胎花纹因素造成的不一致，从而提高检测精确度。

在图1所示的方法100的步骤130和140，基于孪生神经网络300来确定第一损失值loss1和第二损失值loss2。这里，孪生神经网络300可以是经过训练的孪生神经网络。在这种情况下，方法100在步骤130和140之前还可以包括对孪生神经网络300进行训练的过程。注意，孪生神经网络的训练过程可以是一个单独执行的方法，也可以是方法100的一部分。

图4示出了根据本发明的实施例的用于对孪生神经网络300进行训练的方法400的流程图。对孪生神经网络300进行训练是指利用一些已知的训练图片(包括左右轮胎花纹一致的训练图片和左右轮胎花纹不一致的训练图片)来对原始的孪生神经网络300进行训练以使其参数集合340从其初始值变为适合于检测目标对象的参数值的过程。以下结合图2至图4对方法400进行描述。

如图4中所示，方法400包括步骤410，其中获取包括车辆的两个轮胎的训练图片。这里，训练图片类似于图2中所示的待检测的原始图片20。出于方便起见，下面以原始图片20作为训练图片为例进行描述，然而本领域技术人员可以理解，训练图片是用来对孪生神经网络300进行训练的图片，其作用和来源通常不同于从待检测的车辆获取的上述原始图片20。

接下来，在步骤420，利用分割模型对训练图片20进行分割以得到训练图片20的左侧轮胎图片和右侧轮胎图片。这里，获取训练图片的左侧轮胎图片和右侧轮胎图片的过程与上述方法100的步骤120中获取左侧轮胎花纹图片26和右侧轮胎花纹图片28的过程类似，以下也以标号26和28分别指示训练图片的左侧轮胎图片和右侧轮胎图片。

对于训练图片来说，假设图片的信息是已知的，例如已知左右轮胎的花纹是否一致。

因此，如果两个轮胎的花纹相同，在步骤440，将左侧轮胎图片26和右侧轮胎图片28附加第一标签lable1输入孪生神经网络300的两个分支310和320，以获得孪生神经网络300的参数集合340的一部分。

另一方面，如果两个轮胎的花纹不同，在步骤450，将左侧轮胎图片26和右侧轮胎图片28附加第二标签lable2输入孪生神经网络300的两个分支310和320，以获得孪生神经网络300的参数集合340的另一部分。

具体地，以lable1＝1，lable2＝0为例，以二元组(0，1)分别作为标签送入孪生神经网络300得到两组损失值，loss[0]代表轮胎花纹不一致的损失值，loss[1]代表轮胎花纹一致的损失值。比较loss[0]和loss[1]的大小，损失值较小的一组反映轮胎花纹越接近对应的标签。例如，loss[0]<loss[1]代表轮胎花纹不一致，loss[0]>loss[1]代表轮胎花纹一致。此外，在一些其他实现中，也可以调整标签(0，1)对应的损失值的权重，使得结果更侧重于某一类样本的检测。

类似地，在步骤420和430之间，还可以包括对左侧轮胎图片26和右侧轮胎图片28进行锐化并利用卷积算法(如以5*5的卷积核进行卷积操作)来增强左侧轮胎图片26和右侧轮胎图片28的花纹边界特征。

图5示出了可以用来实施本发明的实施例的示例设备500的示意性框图。设备500例如可以是安全检查站的计算机或者安全检查人员的手持设备。如图所示，设备500可以包括一个或多个中央处理单元(cpu)510(图中仅示意性地示出了一个)，其可以根据存储在只读存储器(rom)520中的计算机程序指令或者从存储单元580加载到随机访问存储器(ram)530中的计算机程序指令，来执行各种适当的动作和处理。在ram530中，还可存储设备500操作所需的各种程序和数据。cpu510、rom520以及ram530通过总线540彼此相连。输入/输出(i/o)接口550也连接至总线540。

设备500中的多个部件连接至i/o接口550，包括：输入单元560，例如键盘、鼠标等；输出单元570，例如各种类型的显示器、扬声器等；存储单元580，例如磁盘、光盘等；以及通信单元590，例如网卡、调制解调器、无线通信收发机等。通信单元590允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

上文所描述的方法100和400例如可由一个设备500或多个设备500的处理单元510执行。例如，在一些实施例中，方法100和400可被实现为计算机软件程序，其被有形地包括于机器可读介质，例如存储单元580。在一些实施例中，计算机程序的部分或者全部可以经由rom520和/或通信单元590而被载入和/或安装到设备500上。当计算机程序被加载到ram530并由cpu510执行时，可以执行上文描述的方法100和400的一个或多个操作。此外，通信单元590可以支持有线或无线通信功能。在通信单元590支持无线通信的情况下，例如可以在车辆进入检查站时从检查人员的手持设备接收该手持设备的摄像头所拍摄的原始图片。

以上结合附图对根据本发明的用于检测车辆的花纹的方法100、400和设备500进行了描述。然而本领域技术人员可以理解，方法100、400的步骤的执行并不局限于图中所示和以上所述的顺序，而是可以以任何其他合理的顺序来执行。此外，设备500也不必须包括图5中所示的所有组件，其可以仅仅包括执行本发明中所述的功能所必须的其中一些组件，并且这些组件的连接方式也不局限于图中所示的形式。例如，在设备500是诸如手机之类的便携式设备的情况下，设备500可以具有与图5中相比不同的结构。

利用本发明的方案，通过基于改进的孪生神经网络来检测车辆轮胎的花纹是否一致，减少了人为控制的参数，并且能够更加合理和准确地得到检测结果。此外，基于分割模型对轮胎区域进行分割，并且对轮胎花纹区域进行图像锐化等增强处理，能够提高轮胎花纹的边界特征，使得检测效果更加准确。

本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言-诸如smalltalk、c++等，以及常规的过程式编程语言-诸如"c"语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络-包括局域网(lan)或广域网(wan)-连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。