一种基于深度学习的曲线特征描述方法与流程

本发明涉及深度学习领域和计算机视觉中的图像特征描述领域，特别是数字图像中曲线特征描述方法。

背景技术：

曲线特征描述技术是计算机视觉、模式识别和图像理解等领域的一项关键技术，在物体识别、图像匹配以及三维重建等领域中都有很重要的应用。曲线特征描述与匹配主要是对在同一场景中处于不同时间或不同视角下的两幅或多幅图像中寻找曲线之间的对应关系，首先采用特定的方法对待匹配图像进行曲线提取，然后用相应的算法对曲线进行描述，最后利用匹配准则计算两条曲线间的相似性来实现匹配。目前主流的曲线特征描述方法为手工设计的方法，随深度学习在不同领域的成功应用，使得利用深度学习技术进一步提高曲线描述方法的可区分性高和鲁棒性成为可能。

已知的手工设计的曲线特征描述子主要有mscd、iomsd[1]、iocd[2]、gocd[3]等。其中mscd是由直线描述子msld[4]推广到曲线得到的，mscd基于sift[5]的邻域位置划分思想，统计曲线上所有像素点各子区域的不变特征，解决了不同长度的曲线的统一描述问题，但在主方向计算不稳定。iomsd在划分曲线支撑区域时用圆形区域代替矩形区域，避免主方向的计算不稳定问题，但匹配性能不高且不适用于弱纹理图像。iocd和gocd这两种曲线特征描述方法，前者是根据亮度序划分子区域及构建描述子，后者依据梯度序划分子区域构建描述子，两种算法对几何光学变换较大的图像都匹配良好，但是匹配耗时较多，无法达到实时匹配的效果。同时，上述四种描述子在复杂条件下都存在可区分性和鲁棒性不强的问题。

参考文献：

1.王志衡,智珊珊,刘红敏.基于亮度序的均值标准差描述子[j].模式识别与人工智能,2012,26(4):409-416.

2.liuh.m,zhis.s,wangz.h.,iocd:intensityordercurvedescriptor[j].internationaljournalofpatternrecognitionandartificialintelligence,2013,27(7):1355011-135037.

3.liuh,chenl,wangz,etal.gocd:gradientordercurvedescriptor[j].ieicetransactionsoninformationandsystems,2017,100(12):2973-2983.

4.wangzhiheng,wufuchao,huzhanyi.msld:arobustdescriptorforlinematching[j].patternrecognition,2009,42(5):941－953.

5.lowed.g.,distinctiveimagefeaturesfromscale-invariantkey-points[j].internationaljournalofcomputervision,2004,60(2):91-110.

技术实现要素：

本发明针对现有手工设计的曲线特征描述算法在复杂条件下存在的可区分性不强和鲁棒性不高的问题，本发明提出一种可区分性更强和鲁棒性更高的基于深度学习的曲线特征描述方法，包括以下步骤：

步骤s1：构建卷积神经网络的输入图像块数据集，具体如下：

步骤s11：收集图像并进行预处理，组成图像数据集；

步骤s12：利用现有的曲线检测方法获取图像对中的曲线；

步骤s13：获取正确匹配曲线对；

步骤s14：确定曲线对应的图像块，构建图像块数据集；

步骤s2：训练卷积神经网络；

步骤s21：对输入数据进行预处理；

步骤s22：搭建卷积神经网络；

步骤s23：利用三元组边际损失函数计算新的网络参数；

步骤s24：利用步骤s23获得的网络模型参数更新步骤s22搭建的卷积神经网络的参数值；

步骤s25：重复步骤s23、s24，直到参数更新达到指定的次数；

步骤s3：获取输入曲线的描述子。

针对现有手工设计的曲线特征描述方法在复杂条件下存在的可区分性和鲁棒性不强等问题，本发明提出了基于深度学习的曲线特征描述方法。通过将曲线的支撑区域纵向压缩为类似点的支撑区域，获取每条曲线的均值与方差图像块，然后将其输入卷积神经网络中进行训练，最终得到所需的曲线描述子。本发明提供的方法可以获得可区分性更强和鲁棒性更高的曲线特征描述子。

附图说明

图1为本发明基于深度学习的曲线特征描述方法流程图。

图2为本发明卷积神经网络模型的结构图。

具体实施方式

图1所示为本发明基于深度学习的曲线特征描述方法流程图，该方法的主要步骤包括：利用现有曲线检测方法获取图像对中的曲线；获取正确匹配曲线对；确定曲线对应的图像块；构建图像块数据集；对输入数据进行预处理；搭建卷积神经网络；利用三元组边际损失函数计算新的网络参数；更新神经网络参数直到达到指定的次数；获取输入曲线的描述子。各步骤具体实施细节如下：

步骤s1：构建卷积神经网络的输入图像块数据集，具体方式包括步骤s11、s12、s13、s14：

步骤s11：收集图像并进行预处理，组成图像数据集，具体方式为，收集不同场景下的图像，对其进行光照、噪音、模糊以及压缩等不同情况的变化处理，原图像与处理后的图像构成图像对，输入计算机。

步骤s12：利用现有的曲线检测方法获取图像对中的曲线。

步骤s13：获取正确匹配曲线对，具体方式为，对于任一图像对，利用现有的曲线匹配方法进行曲线匹配，然后剔除错误匹配，获得图像对中的正确匹配曲线对集合{(cj,cj'),j＝1,2,…,nc}，其中cj表示图像对中第1幅图像中的曲线，cj'表示图像对中第2幅图像中与cj正确匹配的曲线，nc为匹配曲线对的个数。

步骤s14：确定曲线对应的图像块，具体方式为，对于步骤s13获得的正确匹配曲线对集合中的任一由num(c)个点组成的曲线c，记c上任一像素点为pk,k＝1,2,…,num(c)，将以pk为中心、沿曲线c方向和曲线c垂直方向的长度均为64的方形区域定义为点pk的支撑区域，点pk支撑区域的亮度值矩阵记为i(pk)，计算曲线c的均值矩阵m(c)＝mean(i(p1),i(p2),…,i(pnum(c)))和标准差矩阵std(c)＝std(i(p1),i(p2),…,i(pnum(c)))，其中mean表示计算亮度矩阵的均值，std表示计算亮度矩阵的标准差，则曲线c对应的图像块为ac＝[m(c),std(c)]。

步骤s2：训练卷积神经网络，具体方式包括步骤s21、s22、s23、s24、s25：

步骤s21：对输入数据进行预处理，具体方式为，对于步骤s14获得的任一输入图像块ac＝[m(c),std(c)]，将ac转换为大小为64×64×2的矩阵ac'，其中ac'(:,:,1)＝m(c),ac'(:,:,2)＝std(c)，然后对ac'进行归一化获得

步骤s22：构建卷积神经网络，具体方式为，搭建hardnet卷积神经网络，如图2所示，采用七层的全卷积结构，输入大小为64×64×2的图像块，在每个卷积层之后都使用批量归一化，改变卷积的步长实现下采样，将最后一层卷积核的大小由为8×8修改为16×32，网络输出经过l2归一化处理，输出256维的曲线特征描述子。

步骤s23：利用三元组边际损失函数计算新的网络参数，具体方式为，从步骤s1获得的输入图像块中随机选取n对匹配曲线对应的图像块，经过步骤s21处理后合并为其中为曲线cj对应的归一化矩阵，为曲线cj'对应的归一化矩阵，曲线cj和cj'为匹配曲线对；计算n×n大小的距离矩阵d，其中ai、bj分别为作为输入时步骤s22构建的卷积神经网络输出的特征向量；计算三元组损失函数其中代表最接近ai的非匹配描述子，jmin＝argminj＝1,…,n,j≠id(ai,bj)，代表最接近bi的非匹配描述子，kmin＝argmink＝1,…,n,k≠id(ak,bi)，利用梯度下降法获取新的网络参数。

步骤s24：利用步骤s23获得的网络模型参数更新步骤s22构建的卷积神经网络的参数值。

步骤s25：重复步骤s23、s24，直到参数更新达到指定的次数。

步骤s3：获取输入曲线的描述子，具体方式为，对于给定的任一图像，根据步骤s12、s13和s14获取图像中任意一条曲线对应的图像块，根据步骤s21对任意一条曲线的图像块进行处理，将结果输入到步骤s2构造的卷积神经网络中，即可输出该曲线的描述子。

针对现有手工设计的曲线特征描述方法在复杂条件下存在的可区分性和鲁棒性不强等问题，本发明提出了基于深度学习的曲线特征描述方法。通过将曲线的支撑区域纵向压缩为类似点的支撑区域，获取每条曲线的均值与方差图像块，然后将其输入卷积神经网络中进行训练，最终得到所需的曲线描述子。本发明提供的方法可以获得可区分性更强和鲁棒性更高的曲线特征描述子。