本发明属于计算机视觉技术领域，涉及到图像信息处理的技术领域，特别涉及到一种基于视觉词袋模型的鞋印图像特征提取及检索方法，适应于现场鞋印图像的特征提取与检索。
背景技术
鞋印与指纹、dna、人脸并称为公安部的四大生物物证，对于案件的侦破和罪犯的认定都起着重要的作用。其中人们对于指纹的研究比较深入，破案的效果也比较显著。然而随着犯罪分子反侦察意识的提高，常常可以通过戴手套等方式来降低指纹在犯罪现场的出现率，导致通过指纹来破案的手段得到了限制。因此现代案件中，鞋印也就成为了犯罪现场采集率最高的物证，而对现场鞋印进行分析也将成为破案的关键。
然而，各个地区公安局的鞋印花纹保存方法不够妥当，而且大多数是人工操作管理，容易存在疏忽，加上从刑事案件现场中提取的鞋印图像不够清晰，微小特征难以分辨；这些都导致鞋印分析在刑事案件中没有充分的发挥作用。同时随着时代的进步，犯罪手段也逐渐高明，许多犯罪分子甚至跨省、市来进行犯案，以致原有的鞋印分析处理根本不能满足办案的需求，所以如果能将鞋印的特征提取与计算机网络技术相挂钩的话，将会使破案的效率更上一个台阶。因此，对鞋印花纹图像的高效检索成为了目前鞋印物证分析中急需解决的关键问题之一。但是现场鞋印花纹图像由于受到周围环境和提取过程的影响，存在着大量的噪声和干扰，例如物体边缘参差不齐，图像纹理失真，出现大面积的图像残缺等问题。这就使得目前常用的特征提取方法并不能很好的表现现场花纹图像的纹理形状等信息。
技术实现要素：
本发明所要解决的技术问题是：弥补现有技术的不足，提供一种基于视觉词袋模型的鞋印图像特征提取及检索方法。设计了一种更符合鞋印图像本身的特点的局部特征：边缘方向特征，将其应用到传统的检索算法中，并设计了残缺模板算法来降低残缺图像对检索结果的影响。
本发明的技术方案：
一种基于视觉词袋模型的鞋印图像特征提取及检索方法，步骤如下：
a、对鞋印图像进行预处理；
a1、对图像进行中值滤波，消除图像的椒盐噪声；
所述的中值滤波过程为：利用m×n大小的二维滑动模板，将模板内像素按照像素值的大小进行排序，生成单调上升的二维数据序列，然后用排序后的中值取代要处理的数据；中值滤波的公式为：
其中：f(x,y)为当前的像素点的中值滤波输出，sxy表示以(x,y)为中心像素点，大小为m×n的矩形窗口里所有的像素值，g(s,t)为矩形窗口中进行中值排序的像素点的像素值大小；
a2、利用腐蚀膨胀算法对图像进行先膨胀后腐蚀的闭运算，消除物体内部小空洞，平滑物体边界；其中，腐蚀和膨胀的定义公式如下：
腐蚀：
膨胀：
其中，b(x)代表结构元素，e表示工作空间；
a3、通过镜像、平移、旋转和添加噪声对鞋样鞋印花纹图像库中样本数量不符合要求的图像类进行数据扩充，然后对图像类内的数据进行聚类，提高算法的计算效率并增加数据的鲁棒性；
b、提取鞋印图像的边缘方向特征；
b1、使用sobel算子来提取像素的梯度信息：sobel算子包含两组3×3的矩阵，分别代表横向和纵向，将矩阵与鞋印图像做平面卷积，分别得到横向及纵向的亮度差分近似值；sobel算子的计算公式如下，分为水平x方向和垂直y方向：
其中，gx为原始像素点经过sobel算子卷积计算后得到的x方向的梯度，gy为原像素点经过sobel算子卷积计算后得到的y方向的梯度，a为以原始像素点为中心的3×3大小的原鞋印图像像素矩阵块；
b2、计算局部方向：将整幅鞋印图像分成w×w大小且不重叠的小块，根据最小平方估计公式估计每小块的局部方向，最终得到该w×w小块的局部方向及其模值；最小平方估计公式为：
其中，gx(u,v)为该坐标的像素点经过sobel算子卷积计算后得到的x方向的梯度；gy(u,v)为该坐标的像素点经过sobel算子卷积计算后得到的y方向的梯度；vx为局部方向的x模值；vy为局部方向的y模值；θ(i,j)为该小块的局部方向；
b3、对局部方向向量进行直方图统计：
以鞋印图像中每个w×w的小块为基础单位，将图像再次分解成若干个不重叠的区域；对每个区域内包含的所有梯度进行直方图统计，将方向进行无符号分割，将0到180度方向分割成9个区域，作为直方图的横轴，角度范围所对应的梯度模值作为纵轴，统计每个区域内所有梯度的模值和方向，每一个区域得到一个9维的特征向量；
将鞋印花纹图像划分成若干个宏块，每一个宏块包含3×3个区域；将每个宏块包含的9个区域的方向特征向量进行串联，得到一个81维的局部特征，将局部特征进行归一化处理，得到鞋印图像的局部特征，该特征便是鞋印图像的边缘方向特征；
c、利用dirft算法将局部特征进行再编码；
设步骤b3得到的局部特征符合狄利克雷概率分布，基于狄利克雷费舍尔核的线性特征的公式如下：
其中，
d、利用scspm算法(稀疏约束金字塔匹配算法)得到鞋印图像的整体特征；
d1、对步骤b3得到的局部特征按类进行筛选：将鞋印图像中满足黑色部分与白色部分的比值在20％～80％的局部特征进行保留，将大于80％和小于20％的局部特征去除；
d2、把保留的局部特征利用e-m算法进行字典学习，得到f×d大小的字典；字典学习过程中所用scspm算法的目标函数为：
其中，m是输入的局部特征的个数，um是第m个局部特征通过字典的映射指数，xm为第m个局部特征的值，v为字典，λ为正则化系数，用来调节重构误差项和稀疏项之间的权重；
d3、对局部特征进行池化：首先将步骤b3得到的所有局部特征与通过字典学习得到的字典进行编码，将所有f维的局部特征转化为维度为d的特征向量；然后通过三个不同的尺度1、2、4对得到的特征向量进行最大池化操作，得到一个21×d维的图像特征，对所得的图像特征进行归一化操作，得到鞋印图像的整体特征；
e、构建鞋印图像的残缺模板；
e1、计算局部特征占空比
在步骤b计算鞋印图像每个宏块的边缘方向特征的同时计算该宏块的占空比，使每一个局部特征都带有一个占空比的标记；占空比的计算公式如下：
其中，b表示该宏块的占空比，s表示该宏块中非零像素点的数量，p和q分别表示该宏块的长和宽；
e2、计算平均占空比
步骤d3图像池化环节的同时，统计在整个池化模块中包含的所有局部特征的平均占空比，当平均占空比低于阈值时，则把这个池化模块标记成图像残缺部分；当平均占空比高于阈值时，则把这个池化模块标记成图像完整部分；残缺标志mi公式如下：
其中，b为池化模块的平均占空比，n为该池化模块内局部特征的数量，bj为局部特征的占空比，th为评价是否为图像残缺的阈值；
e3、生成残缺模板
利用e2计算得到的每个池化模块的残缺标志，生成一个和图像特征维度相同的残缺模板d，其定义如下：
d＝[m1,m2,...,ms]
其中，mi是一个行向量，维度等于字典的基的维度，向量中每一个参数的值等于第i个残缺标志mi的值，s为池化模块的个数；
f、利用得到的图像特征进行相似度计算，得到检索结果
f1、将得到的残缺模板d与将要检索的图像的图像特征进行点乘，确保在计算相似度时排除掉被判定为图像残缺的部分；
f2、比较两幅图像的相似程度：计算两幅图像特征向量夹角的余弦值，余弦值越大，则向量的夹角越小，两幅图像越相似；设图像a代表n维向量a[a1,a2,...,an]，图像b代表n维向量b[b1,b2,...,bn]，两个n维向量a、b的夹角余弦公式为：
其中，夹角余弦值的取值范围是[-1,1]，当两个特征向量的方向重合时，夹角余弦取最大值1，当两个特征向量的方向相反时，夹角余弦取最小值-1；
f3、将输入的测试组图像与所有的训练组图像进行相似性计算，然后对相似性进行排序，从而得到查中率累计曲线。
本发明的有益效果：
(1)给出了一种基于视觉词袋模型的鞋印图像检索方法，提高了鞋印图像的检索效率，有利于鞋印图像在刑事案件中充分发挥其作用；
(2)本发明给出的边缘方向特征相较于其他常用的局部特征，如sift特征等，更符合鞋印图像的本身特点，在检索中具有更强的分辨力；
(3)残缺模板算法可以有效的降低残缺图像对最后检索结果的影响。
附图说明
图1是本发明方法中图像经过噪声预处理后的效果图。
图2是本发明中dirft局部特征、边缘方向特征与sift特征的查询准确率累计排名曲线的结果比较图。
图3是本发明的流程框图。
具体实施方式
下面结合具体实施例和附图详细阐述本发明的具体实施方式。
一种基于视觉词袋模型的鞋印图像特征提取及检索方法，步骤如下：
a、对鞋印图像进行预处理：
a1、对图像进行中值滤波，有效的消除图像的椒盐噪声。中值滤波对消除椒盐噪声有很好的效果，它基于排序统计理论，用数字图像序列中某点邻域的值来对该点的值做替代，目的是让周围的像素值接近真实值，从而消除孤立的噪声点。方法是用某种结构的二维滑动模板，将板内像素按照像素值的大小进行排序，生成单调上升的二维数据序列，然后用排序后的中值取代要处理的数据即可。中值滤波的公式可以简单的概括如下：
其中：f(x,y)为当前的像素点的中值滤波输出，sxy表示以(x,y)为中心点，大小为m×n的矩形窗口里所有的像素值。对指纹图像经过简单滤波处理后，指纹图像中的椒盐噪声被有效消除，这样就减少对后续指纹识别处理的可能造成的不利影响。
a2、对图像进行闭运算，消除物体内部小空洞，平滑物体边界。
腐蚀膨胀算法是图像形态学中最基础的算法，膨胀算法是将图像中与物体边缘相连接的背景点合并到图像的物体中，使得物体的边界向外扩展。腐蚀算法是膨胀算法的对偶运算，腐蚀是将图像中物体边界的点并到背景的过程。腐蚀和膨胀的定义公式如下：
腐蚀：
膨胀：
b(x)代表结构元素，结构元素是图像形态学最基本的概念，e表示工作空间。
先腐蚀后膨胀在形态学上叫做开运算，先膨胀后腐蚀在形态学上叫做闭运算。在本发明中，使用的是先膨胀再腐蚀的闭运算，该运算可以很好的消除物体内部的小空洞，平滑物体的边界。
a3、对鞋样鞋印花纹图像库中样本数量不符合要求的图像类进行了数据扩充，使之能够达到提取鞋印特征的基本要求。通过镜像、平移、旋转和添加噪声等操作来实现数据库的扩充，在对数据集进行扩充之后，整个鞋样鞋印花纹图像库的图像数据量被大大提高，这同样也造成算法效率的下降，为了提高算法的效率，对类内数据进行了聚类，一方面可以提高算法的计算效率，另一方面可以保持类内数据的数量，增加数据的鲁棒性。
b、提取鞋印图像的边缘方向特征：
b1、使用sobel算子来提取像素的梯度信息。该算子包含两组3×3的矩阵，分别代表横向和纵向，将之与图像做平面卷积，即可分别得出横向及纵向的亮度差分近似值。sobel算子计算简单，对像素的位置影响做加权，可以降低边缘模糊程度，因此效果相比其他算子更好。sobel算子的公式如下，分为水平x方向和垂直y方向。
其中gx为原始像素点经过sobel算子卷积计算后得到的x方向的梯度，gy为原像素点经过sobel算子卷积计算后得到的y方向的梯度，a表示以原始像素点为中心的3×3大小的原图像像素矩阵块。
b2、计算局部方向。图像的边缘参差不齐使用单个像素的梯度方向作为基础单位有着很高的误差，因此选取了一个小范围的局部方向作为基础单位。将整幅图像分成w×w大小且不重叠的小块(一般w值取4)，根据最小平方估计的公式估计每小块的局部方向，具体公式如下：
最终得到该w×w小块的局部方向及其模值。
b3、对局部方向向量进行直方图统计。经过以上步骤后，图像中每一个小块都会有一个对应的梯度模值和方向，以每一个小块为基础单位，将图像再次分解成若干cell，每个cell之间并不重叠。然后对每个cell内包含的所有梯度进行直方图统计，将方向进行进行无符号的分割，将0到180度方向分割成9个区域，作为直方图的横轴，角度范围所对应的梯度模值作为纵轴，统计每个cell内所有梯度的模值和方向。最终每一个cell都将得到一个9维的特征向量。将鞋印花纹图像划分成若干个block，每一个包含3×3个cell。每个block是将其包含的9个cell的方向特征向量进行串联，这样便得到了一个81维的局部特征，再将这个特征进行归一化处理。
c、利用dirft算法将局部特征进行再编码：
dirft算法全称为狄利克雷费舍尔核转换算法，是一种对基于直方图的图像特征的改进算法。本申请使用该算法对得到的局部特征进行改进，在不改变局部特征的维度的同时，可以使得局部特征具有更好的分辨能力，更适合之后的检索计算。
对图像的局部特征提取完毕之后，假设这些局部特征符合狄利克雷概率分布，基于狄利克雷费舍尔核的线性特征的公式如下：
作为输入训练数据的的局部特征的均值和方差，它们的公式如下：
通过这种简单有效的映射方法，既不会像核映射那样造成维度的增加，又可以提高局部特征的辨别能力，更适合之后的检索计算。
d、利用scspm算法得到鞋印图像的整体特征：
d1、对局部特征按类进行筛选。由于图片的关系，取得的局部特征中有大量的全0初始特征，导致学习到的字典中含有很多近似于全白或全黑的局部特征，由于这些局部特征都含有较少的纹理信息，所以将图像中的每一个局部特征进行了筛选，把满足黑色部分与白色部分的比值在20％到80％的局部特征保留了下来，而将大于80％和小于20％的局部特征去除
d2、把筛选得到的局部特征进行字典学习，得到f×d大小的字典。scspm算法全称为稀疏约束金字塔匹配算法，其目标函数为：
其中的m代表的是描述符的个数，而um代表的是第m个描述符通过字典的映射指数。首先给字典矩阵设定初始的值，通过e-m算法不断的迭代更新，最终学习得到满足要求的字典。
d3、对特征进行池化。将每一张图片进行三级金字塔模型的算法运算，首先将得到的所有局部特征与通过字典学习得到的字典进行编码，将所有f维的局部特征转化为维度为d的特征向量。然后通过三个不同的尺度(1、2、4)对得到的编码特征进行最大池化的操作，这样便可以得到一个21×d维的图像特征，对所得的图像特征进行归一化操作，便得到了代表这幅图像的最终的局部特征。
e、构建鞋印图像的残缺模板：
e1、计算局部特征占空比。
在计算局部特征时，一般会把图像进行分割，计算每一个小宏块的局部特征。在计算局部特征的同时计算该宏块部分的残缺程度。因为图像为二值图像，所以只需要计算该宏块的占空比即可，计算占空比的公式如下：
其中b表示该宏块的占空比，s表示该宏块区域中非零像素点的数量，p和q表示该宏块的长和宽。这样便可以使每一个局部特征都带有一个占空比的标记。
e2、计算平均占空比。
在池化环节，将统计在整个池化模块中包含的所有局部特征的平均占空比，当其平均占空比低于阈值时，便把这个池化模块标记成图像残缺部分，记其残缺标志mi为0，若所有局部特征的平均占空比高于阈值时，便把这个池化模块标记成图像完整部分，记其残缺标志mi为1，其残缺标志mi公式如下：
其中b为池化模块的平均占空比，n为该池化模块内局部特征的数量，bj为局部特征的占空比，th为评价是否为图像残缺的阈值。
e3、生成残缺模板。
得到每一个池化模块的残缺标记后，便可以生成一个和图像特征相同大小的残缺模板d，其定义如下：
d＝[m1,m2,...,ms]
其中mi是一个行向量，其维度等于字典的基的维度，其向量中每一个参数的值等于第i个残缺标志mi的值，s为池化模块的个数，这样得到的残缺模板的维度将和图像特征的维度相同。
f、利用得到的图像特征进行相似度计算，得到检索结果：
f1、在做相似性计算时，首先将得到的残缺模板与将要检索的图像的图像特征进行点乘，这样便可以在计算相似度时排除掉被判定为图像残缺的部分，即解决了图像残缺部分对最终检索结果的影响。
f2、比较两幅图像的相似程度，可以将两幅图像的特征向量夹角的余弦值进行计算，如果通过计算得到的余弦值越大，则说明向量的夹角越小，那两幅图像也就越相似。设图像a代表的是n维向量a[a1,a2,...,an]，图像b代表的是n维向量b[b1,b2,...,bn]，那么两个n维向量a,b的夹角余弦公式为：
其中，夹角余弦值的取值范围是[-1,1]，当两个特征向量的方向重合时，夹角余弦取最大值1，当两个特征向量的方向相反时，夹角余弦取最小值-1。
f3、将输入的测试组图像与所有的训练组图像进行相似性计算，然后对相似性进行排序，从而得到查中率累计曲线。