一种基于分割和特征匹配的服装图像检索方法
【专利摘要】本发明涉及一种基于分割和特征匹配的服装图像检索方法，属于计算机视觉及图像应用领域。本发明首先输入待检服装图像，通过提取待检服装图像和辅助分割用的小型图像库的HOG特征信息，实现服装图像的分割；其次，基于分割后的待检图像的服装区域，提取其颜色特征和Bundled特征，实现待检服装的特征提取；然后，根据待检图像的服装特征，以及供检索用的大型图像库预处理得到的特征库，计算待检图像与大型图像库之间特征的相似度，进行特征匹配；最后，按照特征匹配结果在大型图像库中搜索与待检图像相似的服装图像，并按相似度高低顺序输出检索的结果。本发明的检索方法具有较高的准确率。
【专利说明】
-种基于分割和特征匹配的服装图像检索方法
技术领域
[0001] 本发明设及一种基于分割和特征匹配的服装图像检索方法，属于计算机视觉及图 像应用领域。
【背景技术】
[0002] 随着互联网+的发展，网上商店成为绝大多数人们消费的首选。其中，服装类网店 在各大网络销售平台中占据了很大比重。庞大的网络资源带来的多样化选择和价格优势使 得众多女性网民比起逛街购物更喜欢在网上浏览并购买服装。随着时尚的发展，服装的款 式越来越多，基于文字的服装检索已经不能满足广大消费者的需求，W图捜图的技术因此 出现。用户们希望只输入服装图片，网络平台就能输出一系列理想的服装图片序列，既方便 又准确。由此可见，服装检索的结果会在很大程度上影响用户的选择。有效的检索平台能够 提供更为准确的检索结果，使得用户们能够更加准确地捜索出满意的服装图片。而网络销 售金额的不断增长及各网站之间的竞争对W图捜图的准确性提出了更高的要求。
[0003] 作为服装识别和检索前提要求的分割，提高前景分割的准确性成了提高服装识别 和服装检索准确性的关键性问题。公知的服装分割方法主要是基于人脸检测，皮肤检测或 者动作检测来实现的。例如Ming Yang(<I趾E International Conference on Image Processing〉，18，2011，2937-2940)提出在监控视频画面中先检测出人脸信息，再根据脸部 信息决定人体位置，从而进行服装分割。Michael Webe;r(<Advanced Video and Si即曰1- Based 511'￥6111311。6〉，8,2011，361~366)将服装分为上身和下身两部分，并考虑人体动 作，利用多种人体部分检测器和部分分割模板将两部分分割出来，再通过整合运些模板进 行整体的分割。运些方法都是基于图像中的人体进行的，具有很大的局限性。本发明分割方 法是基于服装的HOG特征进行的，不依赖于服装之外的部分，较公知的方法具有较高的准确 率。
[0004] 在检索方面，公知的检索方法主要基于低级和高级属性特征来实现的。例如颜色， 款式，样式是最常见的属性特征。其中，款式特征的提取一般都是手工标注，或者根据检测 出部分特征来决定。而手工标注比较繁琐，款式特征提取准确率不高，导致服装检索准确率 不高。因此，公知方法在检索准确率上还不够理想。所W，一个从分割方面及检索方面都提 高准确率的方法很有必要。
【发明内容】
[0005] 本发明提供了一种基于分割和特征匹配的服装图像检索方法，W用于有效地分 害d、检索服装图像，从而满足目前大规模服装检索的需求。
[0006] 本发明的技术方案是:一种基于分割和特征匹配的服装图像检索方法，首先输入 待检服装图像，通过提取待检服装图像和辅助分割用的小型图像库的HOG特征信息，实现服 装图像的分割;其次，基于分割后的待检图像的服装区域，提取其颜色特征和Bundled特征， 实现待检服装的特征提取;然后，根据待检图像的服装特征，W及供检索用的大型图像库预 处理得到的特征库，计算待检图像与大型图像库之间特征的相似度，进行特征匹配;最后， 按照特征匹配结果在大型图像库中捜索与待检图像相似的服装图像，并按相似度高低顺序 输出检索的结果。
[0007]所述方法的具体步骤如下：
[000引5*6口1、输入待检服装图像6'，将图像6'、辅助分割用的小型图像库旨={旨1，邑2， ...gn}分别进行超像素分割得到对应的超像素，并利用分割传播方法将n+1个图像对应的 超像素分别组合成多个区域，接着从组合成的多个区域中选择分割效果积极的区域，利用 得到的n+1个分割效果积极的区域的册G信息训练ESVM检测器得到n+1个训练后的ESVM检测 器，再利用辅助分割用的小型图像库g={gi，g2,...扣}训练后的ESVM检测器将待检图像G' 中的服装分割出来，得到服装区域;其中，n表示辅助分割用的小型图像库中图片数量，分割 传播方法是指对图像之间的超像素进行分割传播；
[0009] Step2、对分割后的待检图像G'的服装区域，结合SIFT算法和极大稳定极值区域， 提取服装区域的Bundled特征;采用HSV颜色空间表示服装区域的颜色信息，得到服装区域 的颜色特征；
[0010] Step3、根据待检图像G'中服装区域的Bundled特征、颜色特征，W及通过步骤 Stepl、Step2的方法处理后得到的大型图像库G= {Gi，G2, .. .Gm}中服装区域的Bundled特 征、颜色特征；
[0011]采用词频相关性和几何一致性进行待检图像G'与大型图像库G={Gi，G2，...Gm}中 各图像之间的Bundled特征相似度计算，进行Bundled特征匹配；
[001^ 采用欧氏距离进行待检图像G'与大型图像库G={Gi，G2，...Gm}中各图像之间的颜 色特征相似度计算，进行颜色特征匹配；
[0013] 将对应的Bundled特征的相似度与颜色特征的相似度进行线性相加，得出待检图 像G'与大型图像库G={Gi，G2，...Gm}中各图像之间的相似度；
[0014] Step4、对得到的m个相似度按高低顺序排列，并输出前1个相似度所对应的大型图 像库中的图像，作为检索结果。
[0015] 本发明的有益效果是：
[0016] 1、由于图像背景，人体姿势多种多样，公知的分割方法依赖于人体脸部，皮肤或姿 势的检测，分割准确性并不理想。本发明中的分割方法仅仅依赖于服装的册G特征，结合SVM 分类器，准确率较高。
[0017] 2、公知的检索方法是基于服装的各种属性特征如颜色、款式、样式等，有时也会加 注文本标识。而运些属性特征的提取特别是款式和样式，比较困难。文本标识在如今大数据 的趋势下很不现实。且基于运些属性特征及文本的检索准确率远不能达到用户的需求。本 发明考虑到款式及样式特征提取难度大和不准确的情况，提出了基于颜色和Bundled特征 的检索方法。本发明的检索方法依赖的Bundled特征易于提取，且能够很好地代表服装的特 征。因此，本方法的检索方法具有较高的准确率。
【附图说明】
[0018] 图1为本发明的流程图；
[0019] 图2为本发明中服装侵害方法的示例图；
[0020]图3为本发明中图像特征提取、匹配和检索的示例图；
[0021 ]图4为本发明中服装分割的结果实例图；
[0022] 图5为本发明中服装区域Bundled特征提取示例图；
[0023] 图6为本发明中服装区域颜色特征直方图示例图；
[0024] 图7为本发明中服装区域Bundled特征，颜色特征匹配示例图；
[0025] 图8为本发明中服装检索的结果示例图。
【具体实施方式】
[0026] 实施例1:如图1-8所示，一种基于分割和特征匹配的服装图像检索方法，首先输入 待检服装图像，通过提取待检服装图像和辅助分割用的小型图像库的HOG特征信息，实现服 装图像的分割;其次，基于分割后的待检图像的服装区域，提取其颜色特征和Bundled特征， 实现待检服装的特征提取;然后，根据待检图像的服装特征，W及供检索用的大型图像库预 处理得到的特征库，计算待检图像与大型图像库之间特征的相似度，进行特征匹配;最后， 按照特征匹配结果在大型图像库中捜索与待检图像相似的服装图像，并按相似度高低顺序 输出检索的结果。
[0027] 所述方法的具体步骤如下：
[0028] 5*6口1、输入待检服装图像6'，将图像6'、辅助分割用的小型图像库旨={旨1，邑2， ...gn}分别进行超像素分割得到对应的超像素，并利用分割传播方法将n+1个图像对应的 超像素分别组合成多个区域，接着从组合成的多个区域中选择分割效果积极的区域，利用 得到的n+1个分割效果积极的区域的册G信息训练ESVM检测器得到n+1个训练后的ESVM检测 器，再利用辅助分割用的小型图像库g={gi，g2,...扣}训练后的ESVM检测器将待检图像G' 中的服装分割出来，得到服装区域;其中，n表示辅助分割用的小型图像库中图片数量，分割 传播方法是指对图像之间的超像素进行分割传播；
[0029] Step2、对分割后的待检图像G'的服装区域，结合SIFT算法和极大稳定极值区域， 提取服装区域的Bundled特征;采用HSV颜色空间表示服装区域的颜色信息，得到服装区域 的颜色特征；
[0030] Step3、根据待检图像G'中服装区域的Bundled特征、颜色特征，W及通过步骤 Stepl、Step2的方法处理后得到的大型图像库G= {Gi，G2, .. .Gm}中服装区域的Bundled特 征、颜色特征；
[0031] 采用词频相关性和几何一致性进行待检图像G'与大型图像库G={Gi，G2，...Gm}中 各图像之间的Bundled特征相似度计算，进行Bundled特征匹配；
[0032] 采用欧氏距离进行待检图像G'与大型图像库G={Gi，G2，...Gm}中各图像之间的颜 色特征相似度计算，进行颜色特征匹配；
[0033] 将对应的Bundled特征的相似度与颜色特征的相似度进行线性相加，得出待检图 像G'与大型图像库G={Gi，G2，...Gm}中各图像之间的相似度；
[0034] Step4、对得到的m个相似度按高低顺序排列，并输出前1个相似度所对应的大型图 像库中的图像，作为检索结果。
[0035] 实施例2:如图1-8所示，一种基于分割和特征匹配的服装图像检索方法，首先输入 待检服装图像，通过提取待检服装图像和辅助分割用的小型图像库的HOG特征信息，实现服 装图像的分割;其次，基于分割后的待检图像的服装区域，提取其颜色特征和Bundled特征， 实现待检服装的特征提取;然后，根据待检图像的服装特征，W及供检索用的大型图像库预 处理得到的特征库，计算待检图像与大型图像库之间特征的相似度，进行特征匹配;最后， 按照特征匹配结果在大型图像库中捜索与待检图像相似的服装图像，并按相似度高低顺序 输出检索的结果。
[0036] 实施例3:如图1-8所示，一种基于分割和特征匹配的服装图像检索方法，首先输入 待检服装图像，通过提取待检服装图像和辅助分割用的小型图像库的HOG特征信息，实现服 装图像的分割;其次，基于分割后的待检图像的服装区域，提取其颜色特征和Bundled特征， 实现待检服装的特征提取;然后，根据待检图像的服装特征，W及供检索用的大型图像库预 处理得到的特征库，计算待检图像与大型图像库之间特征的相似度，进行特征匹配;最后， 按照特征匹配结果在大型图像库中捜索与待检图像相似的服装图像，并按相似度高低顺序 输出检索的结果。
[0037] 所述方法的具体步骤如下：
[0038] 5*6口1、输入待检服装图像6'，将图像6'、辅助分割用的小型图像库旨={旨1，邑2， ...gn}分别进行超像素分割得到对应的超像素，并利用分割传播方法将n+1个图像对应的 超像素分别组合成多个区域，接着从组合成的多个区域中选择分割效果积极的区域，利用 得到的n+1个分割效果积极的区域的册G信息训练ESVM检测器得到n+1个训练后的ESVM检测 器，再利用辅助分割用的小型图像库g={gi，g2,...扣}训练后的ESVM检测器将待检图像G' 中的服装分割出来，得到服装区域;其中，n表示辅助分割用的小型图像库中图片数量，分割 传播方法是指对图像之间的超像素进行分割传播。
[0039] 经过Stepl后，可W得到检索图像的服装区域，具体的分割流程图如图2所示。本实 例W输入的待检服装图像(连衣裙、衬衫、外套等)为输入，利用Matlab进行仿真实验。我们 展示了部分类别的服装的分割结果图，部分仿真结果如图4所示。并给出了在自己捜集整理 的数据集中各类服装图像分割的统计结果，并与公知的部分分割方法准确率进行比较，如 表1所示。
[0040] 表 1
[0041]
[0042] 准确率和召凹率是厂泛用于信恳检索和统计学分类领域的两个度量值，用来评价 结果的质量，精确率反映了判定的正例中真正的正例样本的比重。所W本实例从准确率A， 召回率R及精确率P=方面分析分割方法的性能，公式如下：
[0043]
其中，t表示第i个图像中服装所占区域。r表示利用算 法提取出第i个图像中的服装区域。P表示第i个图像中被正确提取出的服装区域。
[0044] Step2、对分割后的待检图像G'的服装区域，结合SIFT算法和极大稳定极值区域， 提取服装区域的Bundled特征;采用HSV颜色空间表示服装区域的颜色信息，得到服装区域 的颜色特征。
[0045] 服装区域的Bundled特征由服装区域的SIFT特征组成。将服装区域中极大稳定极 值区域内的SIFT特征结合在一起即得到服装区域的Bundled特征。部分服装区域的Bundled 特征如图5所示。
[0046] 服装区域的颜色特征用改进的HSV颜色直方图法来表示。直方图统计时，排除饱和 度S和亮度V分量的边界值，将其作为黑色和灰色进行统计，当S和V的值在合适的范围内（不 为边界值)时，将色调H分量进行量化，统计到直方图里。不将S和V分量量化和统计进直方图 中，只记录S和V分量的均值。部分服装区域的颜色直方图如图6所示。服装检索流程图如图3 所示。
[0047] Step3、根据待检图像G'中服装区域的Bundled特征、颜色特征，W及通过步骤 Stepl、Step2的方法处理后得到的大型图像库G= {Gi，G2, .. .Gm}中服装区域的Bundled特 征、颜色特征。
[004引采用词频相关性和几何一致性进行待检图像护与大型图像库G={Gi，G2, . . .Gm}中 各图像之间的Bund 1 ed特征匹配，得至化und 1 ed特征的相似度。
[0049]待检图像和大型图像库G={Gi，G2, . . .Gm}中各图像的Bundled特征之间的相似性 可由函数C(B/s;B/j)=Cp(B/s;B/j)+ACq(B/s;B/j)计算。其中，A表示权重，视觉局部词频相关 性Cp(B/s;B/j)可根据视觉单词在各Bundled特征中出现的频率得到，几何一致性Cq(B/s;B /j)可由面积比例矩阵得出。B's={bi}表示待检服装图像的Bundled特征的SIFT特征，B'j = {bj}表示大型图像库中图像Gj的Bundled特征的SIFT特征。Wd= {Wdi}表示图像G'和大型图 像库中图像Gi共同的视觉单词的集合。分别计算图像G'和图像Gi中Bundled特征中出现视觉 单词Wdi的频率f'和。，由此可得到一个视觉词频对集Fwd(Wdi)。最终，可得到词频相关性计 算公式如下：
[(K)加 ]
,
[0化1] 其中，N为集合Wd的大小。
[0052] 对于Bundled特征B'，几何中屯、为B'，面积矩阵可表示为如下形式：
[0化3]
[0054]其中，au表示Wbi也、B'为顶点形成的S角形的面积。假设，Am中最大面积为amax。 面积不变性矩阵Am-I可表示为如下形式：
[0化5]
[0化6] 由化而俱丕Il倍捻巧條r,'占巧條片义间的几何一致性可表示为如下；
[0化7]
[0化9]
[0化引其中，n为图像中匹配上的SIFT特征的个数，协方差corr (Am-I，An-I)可由如下公式 得出：
[0060] 采用欧氏距离进行待检图像G'与大型图像库G={Gi，G2，...Gm}中各图像之间的颜 色特征匹配，得到颜色特征的相似度。
[0061] 考虑到S和V分量对检索结果有一定的影响，使用H直方图欧氏距离和两幅图像的 S，V分量的均值的差的线性加权值Dis来进行特征匹配。具体实现公式如下所示：
[0062]
[0063]
[0064] disS[i] = I sea;rchS[i]-da1:aS[i] I，
[00化]disV[i] = I sea;rchV[i]-da1:aV[i] I。
[0066] 式中
争别表不H分量、S分量、V分量占有的比重。searchH表 示待检图像的H直方图，dat址表示大型图像库中图像的H直方图。searchSiSearchV分别表 示待检图像的S分量和V分量的均值。dataS，dataV分别表示大型图像库中图像的S分量和V 分量的均值。
[0067] 待检图像G'与大型图像库中图像Gi的相似度即对应的颜色相似度和Bundled特征 相似度的线性和Sim[i]，计算公式如下：
[006引 Sim[i]=Dis[i]+kC(B's;B'j)。
[0069] 为防止两种相似度值取值范围差异过大而削弱另一个相似度值在匹配过程中的 重要性，本研究设定了系数knk取值一般在1000左右。
[0070] 表2给出了本发明服装检索方法的预测结果，勾号表示待检服装与对比服装的该 特征匹配，叉号表示待检服装与对比服装的该特征不匹配。图7用示例图表示出本发明特征 匹配的预测结果。五角星表示该特征匹配，叉号表示该特征不匹配。当服装图像之间的颜色 特征相似度计算值差异大时，颜色特征匹配失败。当服装图像之间的Bundled特征相似度计 算值差异大时，Bundled特征匹配失败。
[0071] 表2
[0072]
[0073] Step4、对得到的m个相似度按高低顺序排列，并输出前I个相似度所对应的大型图 像库中的图像，作为检索结果。
[0074] 根据计算出的相似度值，按照相似度值大小排序，并输出前4个相似度所对应的大 型图像库中的图像，W此作为检索结果。图8给出了 W连衣裙和刊血为待检服装时，检索结果 示例图。
[0075] 上面结合附图对本发明的【具体实施方式】作了详细说明，但是本发明并不限于上述 实施方式，在本领域普通技术人员所具备的知识范围内，还可W在不脱离本发明宗旨的前 提下做出各种变化。
【主权项】
1. 一种基于分割和特征匹配的服装图像检索方法，其特征在于:首先输入待检服装图 像，通过提取待检服装图像和辅助分割用的小型图像库的HOG特征信息，实现服装图像的分 害J;其次，基于分割后的待检图像的服装区域，提取其颜色特征和Bundled特征，实现待检服 装的特征提取;然后，根据待检图像的服装特征，以及供检索用的大型图像库预处理得到的 特征库，计算待检图像与大型图像库之间特征的相似度，进行特征匹配;最后，按照特征匹 配结果在大型图像库中搜索与待检图像相似的服装图像，并按相似度高低顺序输出检索的 结果。2. 根据权利要求1所述的基于分割和特征匹配的服装图像检索方法，其特征在于:所述 方法的具体步骤如下： Stepl、输入待检服装图像G'，将图像G'、辅助分割用的小型图像库g={gl，g2，...g n}* 别进行超像素分割得到对应的超像素，并利用分割传播方法将n+1个图像对应的超像素分 别组合成多个区域，接着从组合成的多个区域中选择分割效果积极的区域，利用得到的n+1 个分割效果积极的区域的HOG信息训练ESVM检测器得到n+1个训练后的ESVM检测器，再利用 辅助分割用的小型图像库g={ gl，g2,. . .gn}训练后的ESVM检测器将待检图像G'中的服装分 害拙来，得到服装区域;其中，η表示辅助分割用的小型图像库中图片数量，分割传播方法是 指对图像之间的超像素进行分割传播； Step2、对分割后的待检图像G'的服装区域，结合SIFT算法和极大稳定极值区域，提取 服装区域的Bundled特征;采用HSV颜色空间表示服装区域的颜色信息，得到服装区域的颜 色特征； Step3、根据待检图像G'中服装区域的Bundled特征、颜色特征，以及通过步骤Step 1、 Step2的方法处理后得到的大型图像库中服装区域的Bundled特征、颜色 特征； 采用词频相关性和几何一致性进行待检图像G'与大型图像库中各图 像之间的Bundled特征相似度计算，进行Bundled特征匹配； 采用欧氏距离进行待检图像G'与大型图像库6={61，62，...6"}中各图像之间的颜色特 征相似度计算，进行颜色特征匹配； 将对应的Bundled特征的相似度与颜色特征的相似度进行线性相加，得出待检图像G' 与大型图像库. . .Gm}中各图像之间的相似度； Step4、对得到的m个相似度按高低顺序排列，并输出前1个相似度所对应的大型图像库 中的图像，作为检索结果。
【文档编号】G06F17/30GK106021603SQ201610442678
【公开日】2016年10月12日
【申请日】2016年6月20日
【发明人】黄冬艳, 刘骊, 付晓东, 黄青松, 刘利军
【申请人】昆明理工大学