一种多示例学习框架下的鞋印图像检索方法及系统的制作方法

一种多示例学习框架下的鞋印图像检索方法及系统的制作方法
【专利摘要】本发明公开了一种多示例学习框架下的鞋印图像检索方法及系统，涉及图像检索技术领域。采用有重叠分块方案将鞋印图像构造成多示例包的形式，从而将鞋印图像检索问题转化成MIL问题；然后，对大规模“鞋印图像库”进行分层聚类，建立索引结构；最后，设计基于EMD距离的相似比对、相关反馈与半监督MIL算法的鞋印图像检索方案。相关实验表明，本发明的算法能以单张样图为检索起点，通过几次反馈与半监督学习，得到比较高的检索精度，同时，该方法有效地解决训练样本手工标注困难与大规模图像检索速度慢等问题，对鞋印图像的旋转与尺度变化等具有良好的鲁棒性。
【专利说明】
一种多示例学习框架下的鞋印图像检索方法及系统
技术领域
[0001] 本发明涉及图像检索技术领域，特别涉及一种多示例学习框架下的鞋印图像检索 方法及系统。
【背景技术】
[0002] 足迹作为犯罪现场中最常见的一种痕迹物证，具有遗留率、发现率、提取率高等特 点，在串案、并案的侦破工作以及提供法庭证据等方面具有十分重要的作用。但是，随着刑 侦科学的发展，从犯罪现场收集的鞋印图像数量越来越多，则如何利用图像自动识别技术， 快速而准确地从大规模罪犯足迹库、嫌疑足迹库或鞋样库中，对犯罪现场的鞋印进行比对 检索，为破案工作提供线索和证据，提高破案速度，已经成为刑侦系统中迫待解决的关键问 题，在当前"科技强警"工作具有重要的应用价值。
[0003]经对现有技术文献的检索发现，国外的鞋印检索系统有英国Freeman公司的SICAR (Shoeprint Image Capture And Retrieval)系统，该系统建库时保存了鞋印的文本、商标 与花纹等信息，查询功能齐全，但因对鞋印的花纹与结构划分太细，而对建库录入人员要求 很高，且很容易存在录入错误;在国内，鞋印检索相关科研团队通常提取鞋印图像的纹理、 轮廓与花纹等信息，再采用人工或相似比对的方法进行鞋印比对或检索;除此之外，还有基 于能量谱密度(power spectral density，简称PSD)特征、图像Gabor纹理、局部不变描述子 (SIFT)的鞋印检索或识别算法，且在相应的测试集，都具有一定的检索精度。上述鞋印图像 检索工作中，没有考虑大数据集、相关反馈与训练样本少等现实问题，即当库中的图像数量 非常多时，若采用穷举比对的方法进行相似检索，效率非常低，且单次检索结果很难满足用 户应用需求。

【发明内容】

[0004] 本发明实施例提供了一种多示例学习框架下的鞋印图像检索方法及系统，用以解 决现有技术中存在的问题。
[0005] -种多示例学习框架下的鞋印图像检索方法，其特征在于，该方法包括：
[0006] 基于多尺度有重叠分块的多示例建模，将鞋印图像库中的鞋印图像划分为多个分 块，并计算每个分块的旋转不变LBP纹理特征，获得所述鞋印图像库中的鞋印图像的多示例 包，所述多示例包包括每个分块的旋转不变LBP纹理特征；
[0007] 采用K-Means的方法对所述鞋印图像库中的鞋印图像的多示例包进行分层聚类， 建立索引结构，获得相应的分层聚类树；
[0008] 接收用户输入的测试鞋印图像，利用基于多尺度有重叠分块的多示例建模获得所 述测试鞋印图像的多示例包；
[0009] 采用自顶向下的方向在所述分层聚类树中进行搜索，计算所述测试鞋印图像的多 示例包与所述鞋印图像库中的鞋印图像的多示例包之间的EMD距离，并按EMD距离由小到大 排序后输出查询结果；
[0010] 若用户不满意查询结果，则由用户通过相关反馈输入训练鞋印图像；
[0011] 利用用户反馈的训练鞋印图像，基于视觉空间投影与TSVM的半监督MIL算法构建 TSVM分类器；
[0012] 再使用TSVM分类器在鞋印图像库中进行检索，并输出相应的检索结果。
[0013] 优选地，所述计算每个分块的旋转不变LBP纹理特征具体包括：
[0014]根据式（1)计算原始LBP纹理特征：
[0016]其中，LBPP,R(Xc，yc)为所述原始LBP纹理特征，（x c，yc)表示分块的中心像素坐标， 其灰度值为L，iP表示邻域像素P的灰度值，R表示邻域半径，P为半径为R的圆周上采样的像 素数，sign()表示符号函数，SP:
[0018] 根据所述原始LBP纹理特征以及式(3)计算所述旋转不变LBP纹理特征：
[0019] LBP(xc，yc) =min(ROR(LBPR,p(xc，yc)，i))，i = 0，1，…，P_1 (3);
[0020]其中，LBP(Xc，yc；)为所述旋转不变纹理特征，1^〇^以(^。）4)是旋转函数，即 对P比特的二进制数LBPr, P (Xc，yc)按位右移i次。
[0021] 优选地，采用K-Means的方法对所述鞋印图像库中的所有鞋印图像的多示例包进 行分层聚类具体包括：
[0022] 将所述鞋印图像库中鞋印图像的多示例包进行L层聚类，并将每层中的每个节点 聚为3类，在每个节点处用该类的聚类中心为属于该类的所有的多示例包建立索引。
[0023] 优选地，所述计算所述测试鞋印图像的多示例包与所述鞋印图像库中的鞋印图像 的多示例包之间的EMD距离具体包括：
[0024] 根据式(4)求解获得目标函数:达到最小时&的最优解：
[0026] 其中，为式(4)的解，n为鞋印图像库中的图像A中不同的分块的数量，图像A记为 A={(ai，wi)，. . .，（ai，wi)，. . .，（an，wn)}，其中aiGRd表示第i分块的d维的旋转不变LBP特征 向量， Wl为该分块的权值;m为测试鞋印图像Q中不同的分块的数量，图像Q记为Q={(qi， W1)，? ? ?，（qj，Wj)，? ? ?，（qm，Wm)}，其中qjGRd是第j分块的d维的旋转不变LBP特征向量，Wj为 该分块的权值;Cij=| |ai_qj| |2表示特征向量ai与qj之间的欧氏距离；
[0027] 通过式(4)求得后，再根据式(5)计算所述测试鞋印图像的多示例包与所述鞋印 图像库中的鞋印图像的多示例包之间的EMD距离：
[0029] 优选地，采用归一化边缘像素数方法来为每个分块分配权值Wl，其具体包括：
[0030] 采用Canny算法对鞋印图像A进行边缘检测，然后统计每个分块区域边缘像素的个 数，记第i个分块的边缘像素数为edgei，则权值wi定义为：
[0032]优选地，所述基于视觉空间投影与TSVM的半监督MIL算法构建TSVM分类器具体包 括：
[0033]设所述鞋印图像库中鞋印图像的多示例包. . .，（Bi， yi)，. . .，（BN，yN)}，其中yiG {-1 , + 1}，i = l，2,. .，N，+1表示兴趣图像，即正包;-1表示非兴 趣图像，即负包；
[0034] 设第i个图像m分成m个分块，XljeRd表示图像仏第」个分块对应的底层视觉特征， 其中j = l，2, . .，ru，将D中所有图像的分块对应的视觉特征放在一起，记作S={xt|t=l, 2，. . .，T.}，其中r = &表示视觉特征的总数；
[0035] 采用AP方法对S中元素进行自动聚成了 K类，每个类的聚类中心都代表一组具有相 同视觉特征的图像区域，称之为视觉字，记作v1;以这K个视觉字为轴，构造的空间称为投影 空间，记作Q = {vi，V2, . . .，vk};贝图像Bi= {xij I j = l，2,. . .，ru}在投影空间的投影特征定 义如下：
[0036] <i> (Bi) = [s(vi,Bi) ,s(v2,Bi), . . . , s(vk,Bi), . . . ,s(vK,Bi) ] (7);
[0037] 其中，巾（Bi)为Bi的投影特征
，k=l，2,…，K，称式 (7)为非线性投影函数；
[0038]给定一组独立同分布的| L |个已标记训练样本集L= {( (HBd，yi)，. . .，（ (HBO， yi)，...，（巾（B|l|)，y|L|)}和另一组具有与L同一分布的|U|个未标记测试样本 冰孕）.……，多(5,,)丨，TSVM方法是同时在已标注和未标注样本上最大化margin，其 目标函数如下：
[0040]其中|L|为已标注样本的总数，|U|为未标注样本的总数，LS()为损失函数，SPLS (z)=max(0,1-z) jG {-1,1}，j = l，2,. . .，|U|是在优化过程中，分配给未标注样本的标 号，r为希望标记为正的样本数占未标注样本总数的比例，A为控制参数，用来调节算法复杂 度与损失函数之间的平衡，V也是一个控制参数，用于控制未标注样本的影响强度，即TSVM 的目的要寻找一个最优分类超平面W和未标注样本的一组标号y'』，使式(8)的目标函数最 小化，且满足未标注样本的r部分必须标注为正的约束条件，设最优解为w'则TSVM分类器 Slabel(B)=sign(w*T<MB))。
[0041] 本发明还提供了一种多示例学习框架下的鞋印图像检索系统，其特征在于，包括：
[0042] 图像库分块模块，用于基于多尺度有重叠分块的多示例建模，将鞋印图像库中的 鞋印图像划分为多个分块，并计算每个分块的旋转不变LBP纹理特征，获得所述鞋印图像库 中的鞋印图像的多示例包，所述多示例包包括每个分块的旋转不变LBP纹理特征；
[0043] 图像库聚类模块，用于采用K-Means的方法对所述鞋印图像库中的鞋印图像的多 示例包进行分层聚类，建立索引结构，获得相应的分层聚类树；
[0044] 测试鞋印图像分块模块，用于接收用户输入的测试鞋印图像，利用基于多尺度有 重叠分块的多示例建模获得所述测试鞋印图像的多示例包；
[0045] 预搜索模块，用于采用自顶向下的方向在所述分层聚类树中进行搜索，计算所述 测试鞋印图像的多示例包与所述鞋印图像库中的鞋印图像的多示例包之间的EMD距离，并 按EMD距离由小到大排序后输出查询结果；
[0046] 分类器构建模块，用于在用户不满意预查询结果时，利用用户反馈的训练鞋印图 像，基于视觉空间投影与TSVM的半监督MIL算法构建TSVM分类器；
[0047] 图像检索模块，用于使用TSVM分类器在鞋印图像库中进行检索，并输出相应的检 索结果。
[0048]本发明实施例中一种多示例学习框架下的鞋印图像检索方法及系统，采用有重叠 分块方案将鞋印图像构造成多示例包的形式，从而将鞋印图像检索问题转化成MIL问题;然 后，对大规模"鞋印图像库"进行分层聚类，建立索引结构;最后，设计基于EMD距离的相似比 对、相关反馈与半监督MIL算法的鞋印图像检索方案。相关实验表明，本发明的算法能以单 张样图为检索起点，通过几次反馈与半监督学习，得到比较高的检索精度，同时，该方法有 效地解决训练样本手工标注困难与大规模图像检索速度慢等问题，对鞋印图像的旋转与尺 度变化等具有良好的鲁棒性。
【附图说明】
[0049] 为了更清楚地说明本发明发明实施例或现有技术中的技术方案，下面将对实施例 或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅 是本发明发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提 下，还可以根据这些附图获得其他的附图。
[0050] 图1为本发明实施例提供的一种多示例学习框架下的鞋印图像检索方法的方法流 程图；
[0051 ]图2为采用K-Means的方法建立的分层聚类树的示意图；
[0052]图3为本发明实施例提供的一种多示例学习框架下的鞋印图像检索系统的功能模 块图。
【具体实施方式】
[0053]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0054] 参照图1，本发明提供了一种多示例学习框架下的鞋印图像检索方法，该方法包 括：
[0055] 步骤100,基于多尺度有重叠分块的多示例建模，将鞋印图像库中的鞋印图像划分 为多个分块，并计算每个分块的LBP纹理特征，获得所述鞋印图像库中的鞋印图像的多示例 包，所述多示例包包括每个分块的LBP纹理特征；
[0056]具体地，首先设置分块高度H= 50，分块宽度W = 50，分块步长S = 30，图像缩小比率 a = 〇.8,采用多尺度有重叠分块的方式，将鞋印图像自动划分成多个有重叠分块;具体的划 分方法为：当图像的高度大于50且宽度也大于50时，从图像中截取多个连续的高为50,宽为 50的分块，其中起始分块位于图像的左下角，然后以起始分块为基准分别向右移动截取最 多30个分块，以及向上移动截取最多30个分块。
[0057] 然后，提取每个分块的旋转不变LBP(Local Binary Patterns)纹理特征。这样一 来，图像被当作包(Bag)，每个分块的LBP特征当作包中的示例（instance)，贝lj鞋印图像检索 问题转化成MIL问题。
[0058] LBP算子的数学定义如式(1)所示：
[0060]其中，LBPP,R(Xc，yc)为所述原始LBP纹理特征，（x c，yc)表示分块的中心像素坐标， 其灰度值为L，iP表示邻域像素P的灰度值，R表示邻域半径，P为半径为R的圆环上采样的像 素数，sign()表示符号函数，SP:
[0062]根据所述原始LBP纹理特征以及式(3)计算所述旋转不变LBP纹理特征：
[0063] LBP(xc，yc) =min(ROR(LBPR,p(xc，yc)，i))，i = 0，1，…，P_1 (3);
[0064]其中，LBP(xc，yc)为所述旋转不变纹理特征，R0R(LBPr,P(x c，yc)，i)是旋转函数，即 对P比特的二进制数LBPr, P (，yc)按位右移i次。
[0065] 通俗地说，旋转不变性LBP算子LBP(Xc；，y。），即不停地旋转圆形窗口中的像素而得 到一系列原始定义的LBP值，然后取最小值作为该窗口的旋转不变LBP特征值，用1^巧丨 &表 示。通过引入旋转不变LBP算子，则LBP特征值对图像的旋转具有不变性，且减少了模式种 类，使LBP纹理识别更加容易。
[0066] 步骤110,基于多不例包之间的EMD(Earth Mover Distance)距离，米用K-Means的 方法对鞋印图像库中的所有图像对应的多示例包进行分层聚类，建立索引结构，获得相应 的分层聚类树；
[0067] 具体地，如图2所示，是一种自顶向下的L层聚类示意图，首先，对鞋印库所有的多 示例包，聚成3个子类，并从每个子类中选取一个包，作为该子类的代表，建立该类的索引； 然后，对每个子类又聚成3个下一层的子类，依次类推，直到第L层则停止。
[0068] 步骤120,当用户在进行相似性查询时，接收用户输入的测试鞋印图像，利用基于 多尺度有重叠分块的多示例建模获得与测试鞋印图像对应的多示例包；
[0069] 步骤130,根据距离最小原则，采用自顶向下的方向在分层聚类树中进行搜索，计 算测试鞋印图像的多示例包与鞋印图像库中的鞋印图像的多示例包之间的EMD距离，以实 现鞋印图像相似比对。在每层只要和3个节点的索引比较大小，即计算EMD距离；然后顺着 EMD距离最小，即相似性最大的节点往下找。当到达终端节点时，计算输入的鞋印图像与终 端节点对应的图像子集中所有图像的相似度，并按相似度由大到小排序后输出查询结果。
[0070] 具体地，在MIL框架中，每幅鞋印图像都被组织成多示例包的形式，要度量多示例 包之间的相似性，就类似于要度量集合之间的相似性。本实施例采用EMD距离来度量多示例 包之间的相似度，因为EMD允许图像区域间的多对多匹配，能很好地反映多示例包间的相似 度。
[0071] 设鞋印图像库中的图像A被分成n个不同的分块，记为A={(ai，W1)，. . .，（ai， Wi)，. . .，（an，wn)}，其中aiGRd表示第i分块的d维的旋转不变LBP特征向量， Wi为该分块的权 值;测试鞋印图像Q被分成m个不同的分块，记为Q={(qi，wi), . . .，（qj，wj), . . .，（qm，wm)}，其 中q」GRd是第j分块的d维的旋转不变LBP特征向量，Wj为该分块的权值;设 Cij= | |ai-qj| |2表 示特征向量&1与(^之间的欧氏距离，则求解图像A，Q之间EMD距离将转化成以下线性优化问 题：
[0073]其中，为式（4)的解。通过寻找满足上述条件的最优F=[f^]，使目标函数 乙二义义达到最小。则图像A和Q之间EMD距离定义如下：
[0075]由上述EMD距离的定义可知，在计算多示例包之间的EMD距离时，图像分块的权值 常重要，本实施例采用"归一化边缘像素数"方法来分配权值Wl具体方法为:采用Canny 算法对鞋印图像A进行边缘检测，然后统计每个分块区域边缘像素的个数，记第i个分块的 边缘像素数为edgei，则权值Wi定义为：
[0077] 步骤140,若用户满意查询结果，则流程结束;若用户不满意查询结果，则由用户通 过相关反馈输入训练鞋印图像，并进入步骤150;
[0078] 步骤150,利用用户反馈的训练鞋印图像，并基于视觉空间投影与TSVM的半监督 MIL算法构建TSVM分类器，以提高鞋印图像检索精度。当用户反馈或提供少量的训练鞋印图 像时，本实施例还设计了一种半监督的MIL算法，以利用大量未标注图像参与训练分类器， 达到提高鞋印图像识别精度的目的。具体方法是：
[0079] 设鞋印图像库中与鞋印图像对应的多示例包. . .，（Bi， yi)，. . .，（BN，yN)}，其中yiG {-1 , + 1}，i = l，2,. .，N，+1表示兴趣图像，即正包;-1表示非兴 趣图像，即负包。设第i个图像仏分成m个分块，^」￡#表示图像仏第」个分块对应的底层视 觉特征，其中j = 1，2，..，m。将D中所有图像的分块对应的视觉特征放在一起，记作S = {xt 11 = i，2,...，t.}，其中r = 表示视觉特征的总数。因为具有相同视觉特征的图像的分 块对应的视觉特征向量在特征空间将会聚集在一起，对应着一个明确的高层语义概念，设 采用六？(六€:^11；^?1'(^831:;[011)方法对3中元素进行自动聚成了1(类，由于每个聚类中心通 常都代表一组具有相同视觉特征的图像区域，称之为视觉字，记作v 1;以这K个视觉字为轴， 构造的空间称为投影空间，记作Q = {vi，V2,. ? .，vk}。则图像Bi= {xij I j = l，2, . . ?，m}在投 影空间的投影特征定义如下：
[0080] <i) (Bi) = [s(vi,Bi) ,s(v2,Bi), . . . , s(vk,Bi), . . . ,s(vK,Bi) ] (7);
[0081 ]
，k=l，2, ? ? ?，K，称式（7)为非线性投影函数。 通过式(7)的投影，相当于将图像嵌入成视觉空间中的一个点，变成了单个训练样本，若为 感兴趣的图像，对应的样本标为正;若为不感兴趣的图像，则标为负，将MIL问题就转化成一 个标准的有监督学习问题。
[0082]由上述方法将MIL问题被转化成有监督学习问题时，本实施例则采用直推式支持 向量机(TSVM)来训练分类器，因为TSVM作为一种半监督的学习方法，能利用大量的未标记 图像来提高分类器的性能，达到改善小样本学习的问题。TSVM的具体方法是：
[0083]给定一组独立同分布的| L |个已标记训练样本集L= {( (MB!)，yi)，…?，（ (HBO， yi)，...，（巾（B|l|)，y|L|)}和另一组具有与L同一分布的|U|个未标记测试样本 = H 〇TSVM方法的基本思想是同时在已标注和未标注样本上最大 化margin，其目标函数如下：
[0085]其中|L|为已标注样本的总数，|U|为未标注样本的总数，LS()为损失函数，通常LS (z)=max(0,1-z) jG {-1,1}，j = l，2,. . .，|U|是在优化过程中，分配给未标注样本的标 号，r为希望标记为正的样本数占未标注样本总数的比例，A为控制参数，用来调节算法复杂 度与损失函数之间的平衡，V也是一个控制参数，用于控制未标注样本的影响强度。换句话 说，TSVM就是要寻找一个最优分类超平面w和未标注样本的一组标号y、，使式(8)的目标函 数最小化，且满足未标注样本的r部分必须标注为正的约束条件。不防设最优解为w'则 TSVM分类器为label(B)= Sign(Ww(i)(B))，可以用它来对鞋印图像进行识别。
[0086]步骤160,再使用TSVM分类器在鞋印图像库中进行检索，并输出相应的检索结果。 [0087]基于同一发明构思，本发明实施例提供了一种多示例学习框架下的鞋印图像检索 系统，如图3所示，由于该系统解决技术问题的原理和一种多示例学习框架下的鞋印图像检 索方法相似，因此该系统的实施可参照方法的实施，重复之处不再赘述。
[0088] 图像库分块模块200,用于基于多尺度有重叠分块的多示例建模，将鞋印图像库中 的鞋印图像划分为多个分块，并计算每个分块的旋转不变LBP纹理特征，获得所述鞋印图像 库中的鞋印图像的多示例包，所述多示例包包括每个分块的旋转不变LBP纹理特征；
[0089] 图像库聚类模块210,用于采用K-Means的方法对所述鞋印图像库中的所有鞋印图 像的多示例包进行分层聚类，建立索引结构，获得相应的分层聚类树；
[0090]测试鞋印图像分块模块220,用于接收用户输入的测试鞋印图像，利用基于多尺度 有重叠分块的多示例建模获得所述测试鞋印图像的多示例包；
[0091]预搜索模块240,用于采用自顶向下的方向在所述分层聚类树中进行搜索，计算所 述测试鞋印图像的多示例包与所述鞋印图像库中的鞋印图像的多示例包之间的EMD距离， 并按EMD距离由小到大，即相似度由大到小排序后输出查询结果；
[0092]分类器构建模块250,用于在用户不满意预查询结果时，利用用户反馈的训练鞋印 图像，基于视觉空间投影与TSVM的半监督MIL算法构建TSVM分类器；
[0093]图像检索模块260，用于使用TSVM分类器在鞋印图像库中进行检索，并输出相应的 检索结果。
[0094]应当理解，以上一种多示例学习框架下的鞋印图像检索系统包括的模块仅为根据 该系统实现的功能进行的逻辑划分，实际应用中，可以进行上述模块的叠加或拆分。并且该 实施例提供的一种多示例学习框架下的鞋印图像检索系统所实现的功能与上述实施例提 供的一种多示例学习框架下的鞋印图像检索方法一一对应，对于该系统所实现的更为详细 的处理流程，在上述方法实施例一中已做详细描述，此处不再详细描述。
[0095] 本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序 产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实 施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机 可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产 品的形式。
[0096] 本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程 图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流 程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序 指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产 生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实 现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0097] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特 定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指 令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或 多个方框中指定的功能。
[0098] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计 算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或 其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一 个方框或多个方框中指定的功能的步骤。
[0099] 尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造 性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优 选实施例以及落入本发明范围的所有变更和修改。
[0100] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精 神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围 之内，则本发明也意图包含这些改动和变型在内。
【主权项】
1. 一种多示例学习框架下的鞋印图像检索方法，其特征在于，该方法包括： 基于多尺度有重叠分块的多示例建模，将鞋印图像库中的鞋印图像划分为多个分块， 并计算每个分块的旋转不变LBP纹理特征，获得所述鞋印图像库中的鞋印图像的多示例包， 所述多示例包包括每个分块的旋转不变LBP纹理特征； 采用K-Means的方法对所述鞋印图像库中的鞋印图像的多示例包进行分层聚类，建立 索引结构，获得相应的分层聚类树； 接收用户输入的测试鞋印图像，利用基于多尺度有重叠分块的多示例建模获得所述测 试鞋印图像的多示例包； 采用自顶向下的方向在所述分层聚类树中进行搜索，计算所述测试鞋印图像的多示例 包与所述鞋印图像库中的鞋印图像的多示例包之间的EMD距离，并按EMD距离由小到大排序 后输出查询结果； 若用户不满意查询结果，则由用户通过相关反馈输入训练鞋印图像； 利用用户反馈的训练鞋印图像，基于视觉空间投影与TSVM的半监督MIL算法构建TSVM 分类器； 再使用TSVM分类器在鞋印图像库中进行检索，并输出相应的检索结果。2. 如权利要求1所述的方法，其特征在于，所述计算每个分块的旋转不变LBP纹理特征 具体包括： 根据式(1)计算原始LBP纹理特征：其中，LBPp,r(x。，y。)为所述原始LBP纹理特征，（x。，y。)表示分块的中心像素坐标，其灰度 值为L，iP表示邻域像素 P的灰度值，R表示邻域半径，P为半径为R的圆周上采样的像素数， sign〇表示符号函数，SP:根据所述原始LBP纹理特征以及式(3)计算所述旋转不变LBP纹理特征： LBP(xc，yc) =min(ROR(LBPR,p(xc，yc)，i))，i = 0,1，…，P-1 (3)； 其中，LBP(xc，yc)为所述旋转不变纹理特征，1^〇^1^(^。）4)是旋转函数，即对?比 特的二进制数LBPr , p (x。，y。)按位右移i次。3. 如权利要求1所述的方法，其特征在于，采用K-Means的方法对所述鞋印图像库中的 所有鞋印图像的多示例包进行分层聚类具体包括： 将所述鞋印图像库中鞋印图像的多示例包进行L层聚类，并将每层中的每个节点聚为3 类，在每个节点处用该类的聚类中心为属于该类的所有的多示例包建立索引。4. 如权利要求1所述的方法，其特征在于，所述计算所述测试鞋印图像的多示例包与所 述鞋印图像库中的鞋印图像的多示例包之间的EMD距离具体包括： 根据式(4)求解获得目标函数达到最小时b的最优解：其中，fu为式（4)的解，n为鞋印图像库中的图像A中不同分块的数量，图像A记为A = {(ai，wi)，. . .，（ai，wi)，. . .，（an，wn)}，其中aiGRd表示第i分块的d维的旋转不变LBP特征向 量， Wl为该分块的权值；m为测试鞋印图像Q中不同的分块的数量，图像Q记为Q={(qi， W1)，? ? ?，（qj，Wj)，? ? ?，（qm，Wm)}，其中qjGRd是第j分块的d维的旋转不变LBP特征向量，Wj为 该分块的权值;Cij=| |ai_qj| |2表示特征向量ai与qj之间的欧氏距离； 通过式(4)求得后，再根据式(5)计算所述测试鞋印图像的多示例包与所述鞋印图像 库中的鞋印图像的多示例包之间的EMD距离：5. 如权利要求4所述的方法，其特征在于，采用归一化边缘像素数方法来为每个分块分 配权值Wi，其具体包括： 采用Canny算法对鞋印图像A进行边缘检测，然后统计每个分块区域边缘像素的个数， 记第i个分块的边缘像素数为edgei，则权值wi定义为：6. 如权利要求1所述的方法，其特征在于，所述基于视觉空间投影与TSVM的半监督MIL 算法构建TSVM分类器具体包括： 设所述鞋印图像库中鞋印图像的多示例包D= {他，yi)，（B2，y2)，. . .，（Bi，yi)，. . .，（BN， 3^)}，其中71￡{-1，+ 1}4 = 1，2，..，1 + 1表示兴趣图像，即正包;-1表示非兴趣图像，即负 包； 设第i个图像m分成m个分块，相GRd表示图像仏第」个分块对应的底层视觉特征，其中 」=1，2，..，]^，将0中所有图像的分块对应的视觉特征放在一起，记作5={11；卜=1，2，...， T.}，其中r二[二％表示视觉特征的总数； 采用AP方法对S中元素进行自动聚成了 K类，每个类的聚类中心都代表一组具有相同视 觉特征的图像区域，称之为视觉字，记作Vl;以这K个视觉字为轴，构造的空间称为投影空 间，记作Q = {vi，V2,. . .，vk};则图像Bi= {xij I j = l，2,. . .，m}在投影空间的投影特征定义 如下： (Bi) = [s(vi,Bi) ,s(v2,Bi),. . . ,s(vk,Bi),. . . ,s(vK,Bi)] (7)； 其中，巾⑶丨为仏的投影特征，，/c = l，U，:称式⑴为 非线性投影函数； 给定一组独立同分布的I L |个已标记训练样本集L= {(巾，yi)，...，（巾（B〇， yi)，...，（巾（B|l|)，y|L|)}和另一组具有与L同一分布的|U|个未标记测试样本 )、...，#(<,).…肩心）丨.，TSVM方法是同时在已标注和未标注样本上最大化margin，其 目标函数如下：其中I L |为已标注样本的总数，| U |为未标注样本的总数，LS()为损失函数，即LS(z)= maxWj-zhy'jG {-1,1}，j = l，2, . . .，|U|是在优化过程中，分配给未标注样本的标号，:r为 希望标记为正的样本数占未标注样本总数的比例，A为控制参数，用来调节算法复杂度与损 失函数之间的平衡，V也是一个控制参数，用于控制未标注样本的影响强度，即TSVM的目的 要寻找一个最优分类超平面w和未标注样本的一组标号y、，使式(8)的目标函数最小化，且 满足未标注样本的 r部分必须标注为正的约束条件，设最优解为w'则TSVM分类器为label (B)=sign(w*T(i) (B))。7. -种多示例学习框架下的鞋印图像检索系统，其特征在于，包括： 图像库分块模块，用于基于多尺度有重叠分块的多示例建模，将鞋印图像库中的鞋印 图像划分为多个分块，并计算每个分块的旋转不变LBP纹理特征，获得所述鞋印图像库中的 鞋印图像的多示例包，所述多示例包包括每个分块的旋转不变LBP纹理特征； 图像库聚类模块，用于采用K-Means的方法对所述鞋印图像库中的鞋印图像的多示例 包进行分层聚类，建立索引结构，获得相应的分层聚类树； 测试鞋印图像分块模块，用于接收用户输入的测试鞋印图像，利用基于多尺度有重叠 分块的多示例建模获得所述测试鞋印图像的多示例包； 预搜索模块，用于采用自顶向下的方向在所述分层聚类树中进行搜索，计算所述测试 鞋印图像的多示例包与所述鞋印图像库中的鞋印图像的多示例包之间的EMD距离，并按EMD 距离由小到大排序后输出查询结果； 分类器构建模块，用于在用户不满意预查询结果时，利用用户反馈的训练鞋印图像，基 于视觉空间投影与TSVM的半监督MIL算法构建TSVM分类器； 图像检索模块，用于使用TSVM分类器在鞋印图像库中进行检索，并输出相应的检索结 果。
【文档编号】G06F17/30GK106055573SQ201610340226
【公开日】2016年10月26日
【申请日】2016年5月20日
【发明人】李大湘, 吴倩, 朱志宇, 邱鑫, 赵小强, 刘颖
【申请人】西安邮电大学