一种基于内容自适应哈希编码的草图检索方法
【专利摘要】本发明公开了一种基于内容自适应哈希编码的草图检索方法，其特征在于，包括以下具体步骤：基于外观约束和多样性约束，对被检索的草图或轮廓图根据其内容自适应地选取候选窗口用于特征提取，实现整个图像所包含的信息被均匀地分布到每个窗口里；基于关键点的显著性检测方法检测特征窗口的显著性；基于局部敏感的哈希算法将草图或轮廓图的局部视觉特征、显著性以及结构空间特征结合起来，编制成特征哈希码；将草图或轮廓图的特征哈希码进行索引，通过计算特征哈希码之间的汉明距离来度量草图之间的相似度，并将相似度高的返回给用户。采用本发明可具有更高的精度、更广泛的适应性和更强的匹配能力。
【专利说明】一种基于内容自适应哈希编码的草图检索方法
【技术领域】
[0001]本发明涉及图像处理领域，尤其涉及的是一种基于内容自适应哈希编码的草图检索方法。
【背景技术】
[0002]近几年，利用草图(例如手绘图形、图片和三维模型等视觉素材信息)作为输入来检索一直是计算机视觉领域的研究热点。这是因为随着触屏设备的日益普及，人们更加偏爱于使用手势、触摸笔等方式同计算机完成各类信息的输入及交互，这种方式能够更好地表达出用户的意图且操作极为简单。同时，通过手绘草图的方式进行各类检索任务，这为使用手持输入设备(如Apple iPhone/iPad、Microsoft Surface以及其它各类平板电脑等)的用户提供了很强的便捷性。
[0003]在各类草图交互任务中，草图与手绘图形、图片以及3D模型等不同视觉信息载体的匹配问题在整个草图交互计算领域中占有重要的地位，同样这也是基于草图的检索方法的基础研究问题。为了在检索任务中得到尽量同人的认知、直观视觉感受一直的结果，需要有一种高效的算法能够准确、快速地度量输入草图与被检索信息之间的相似度，基于草图的检索方法研究就是旨在于解决这一问题。从实际价值来看，一方面，基于草图的检索方法与实际工程技术应用密切相关，不仅有很强的领域适用性，还是多种基于草图应用的主要核心技术。另一方面，它也具有很强的科学研究价值，其探索了计算机认知人为创作视觉图形的根本方法。
[0004]在传统的检索任务中，一张草图通常被视为一系列手绘笔画的集合，以此来表不一个物体的骨架、轮廓等信息。然而，物体所拥有的其它外观细节，诸如颜色、纹理等内容，在被转化为草图的过程中却不可避免地丢失了。由于该特性，基于草图的检索方法与传统的基于图片的检索算法相比有着很大的不同之处。最近一段时间以来，在该领域内所开展的研究工作一直试图回答一个问题:如何才能够合理地提取并比较每一张草图中所蕴含的特征信息呢？
[0005]近期，基于分割(segmentat1n)的方法被广泛地使用，并且在草图检索和识别领域已经证明这类算法是非常有效的。它们在实现的过程中通常会将草图包含的笔画进行分害I]，以此来降低计算复杂度。接着，再对分割后的笔画进行拓扑、几何形状等属性的提取。然而，针对草图进行精确的笔画分割是很难做到的，尤其对于包含自然景观的图片或者3D模型而言，这一步变得更为困难。这是因为此类视觉信息的轮廓特征通常包含了很多的噪音，要对它们进行完美的笔画分割几乎是个不可能完成的任务。因而，正是这一缺点极大地限制了基于笔画分割的一类方法在被用于基于草图对图片或者3D模型进行检索时的适用性。
[0006]其它的研究工作借鉴于传统的图片检索算法，通过区域特征(patch)来比较草图的相似度完成检索任务。首先，一张草图被均等地划分成一个个小区域，然后从中提取出不同的视觉特征描述子。在通常情况下，这类方法将带有区域重叠的网格或者是稠密等大的窗口覆盖在整张草图上，以此来描述该草图的特征分布情况。这非常适用于普通的图片，因为一张图片往往包含了丰富的色彩或者纹理等细节特征，但是，对于仅仅包含有限笔画的草图这类稀疏的轮廓图像是不适用的。在这种情况下，一张草图所包含的大部分信息都会包含到几个非常显著的图像区域里面，而使得剩下的区域几乎空无一物。由于这种极度不平衡的现象，会产生许多无效的特征描述子，这些描述子在参与到之后的特征相似度计算中后会大大降低计算的有效性，而且，由于在使用哈希算法对它们进行索引之前需要对其进行二值化，这会使得仅有的视觉信息进一步地被丢失，从而让情况变得更糟。
[0007]基于区域特征的检索方法的另一个问题在于对草图之间相似度的计算方法比较薄弱，并不严格准确。一张手绘草图通常包含了各式各样的线条笔画而不是颜色或者纹理等内容来表现不同的物体，因而草图在两方面同传统的图片有着很大的不同之处:巨大的类内差异性(因为每个草图绘制者对于同样的东西都或多或少有着自己的主观理解)和较小的类间差异性(由于颜色或者纹理等这类重要视觉信息的缺失)。这就导致了即使是相同主题的草图依旧包含了大量不相似的区域特征。因此，“相似的图片往往包含了大量相似的区域特征”，这个在图片检索算法中被广泛使用的概念针对基于草图的检索方法而言并不准确，它对相似度的定义约束过于严格因而变得不够有效。
[0008]因此，鉴于以上的分析可以发现，现有的基于草图的检索技术并不完善，还有待于改进和发展。本发明研究基于区域特征的检索方法，因为相比基于笔画分割的方法其适用性更高，并且集中解决了上述基于区域特征的检索方法中存在的两个问题。
【发明内容】
[0009]本发明的目的在于提供一种基于内容自适应哈希编码的草图检索方法，旨在解决现有基于哈希编码的草图检索方法在提取视觉特征时并未兼顾草图自身内容分布特点，采用的方法会大大降低计算的有效性，且对草图之间相似度的计算方法比较薄弱，并不严格准确的问题。
[0010]本发明的技术方案如下:一种基于内容自适应哈希编码的草图检索方法，其包括以下具体步骤:
[0011]步骤A:基于外观约束和多样性约束，对被检索的草图或轮廓图根据其内容自适应地选取候选窗口用于特征提取，实现整个图像所包含的信息被均匀地分布到每个窗口里；
[0012]步骤B:基于关键点的显著性检测方法检测特征窗口的显著性；
[0013]步骤C:基于局部敏感的哈希算法将草图或轮廓图的局部视觉特征、显著性以及结构空间特征结合起来，编制成特征哈希码；
[0014]步骤D:将草图或轮廓图的特征哈希码进行索引，通过计算特征哈希码之间的汉明距离来度量草图之间的相似度，并将相似度高的结果返回给用户。
[0015]所述的草图检索方法，其中，还可对图片和3D模型进行检索，在对图片和3D模型进行检索前，要对其进行预处理，把它们转化成轮廓线图像。
[0016]所述的草图检索方法，其中，将图片和3D模型转化成轮廓线图像的方法分别为:对于图片要结合边缘提取算法以及图片的显著性检测算法计算出该图片的显著轮廓图；对于3D模型，依照基于视角的匹配算法计算出模型对应的轮廓投影图。
[0017]所述的草图检索方法，其中，用于特征提取的候选窗口选取算法:首先为输入的草图设置初始化n*n的网格；再从网格中均匀采样m*m个初始种子；然后为每个网格中的窗口计算HOG特征h ;最后计算全局HOG特征
【权利要求】
1.一种基于内容自适应哈希编码的草图检索方法，其特征在于，包括以下具体步骤: 步骤A:基于外观约束和多样性约束，对被检索的草图或轮廓图根据其内容自适应地选取候选窗口用于特征提取，实现整个图像所包含的信息被均匀地分布到每个窗口里； 步骤B:基于关键点的显著性检测方法检测特征窗口的显著性； 步骤C:基于局部敏感的哈希算法将草图或轮廓图的局部视觉特征、显著性以及结构空间特征结合起来，编制成特征哈希码； 步骤D:将草图或轮廓图的特征哈希码进行索引，通过计算特征哈希码之间的汉明距离来度量草图之间的相似度，并将相似度高的结果返回给用户。
2.根据权利要求1所述的草图检索方法，其特征在于，还可对图片和3D模型进行检索，在对图片和3D模型进行检索前，要对其进行预处理，把它们转化成轮廓线图像。
3.根据权利要求2所述的草图检索方法，其特征在于，将图片和3D模型转化成轮廓线图像的方法分别为:对于图片要结合边缘提取算法以及图片的显著性检测算法计算出该图片的显著轮廓图；对于3D模型，依照基于视角的匹配算法计算出模型对应的轮廓投影图。
4.根据权利要求1所述的草图检索方法，其特征在于，用于特征提取的候选窗口选取算法:首先为输入的草图设置初始化n*n的网格；再从网格中均匀采样m*m个初始种子；然后为每个网格中的窗口计算HOG特征hi ;最后计算全局HOG特征
5.根据权利要求1或3所述的草图检索方法，其特征在于，所述的外观约束记作Capp,具体表示为:Capp(h):= Fapp(h) ^ kappXFappOl) 其中
是外观约束的目标方程，当Fapp计算所得的值较高时，
它表示该特征窗口所包含的视觉特征信息较多。
6.根据权利要求5所述的草图检索方法，其特征在于，所述的多样性约束记作C_，具体表示为:Cvar(h):= Fvar(h) ( kvarXFvar(H)
其中，
是多样性约束的目标方程，如果Fva,的值较低且Fapp较高，则表明在窗口特征向量h中的每一个维度的值均较高。
7.根据权利要求1所述的草图检索方法，其特征在于，基于关键点的显著性检测方法检测特征窗口的显著性的具体方法为:首先，使用Harris-Laplace检测器作为草图显著性提取工具，对于每个特征窗口 &，定义其显著性h为:
其中,Number (Si)表示在特征窗口 Wi中使用Harris-Laplace检测器提取出的显著点个数！Area(Wi)是Wi包含像素点的个数。
8.根据权利要求1所述的草图检索方法，其特征在于，编制成特征哈希码的方法为:令fi为从特征窗口 Wi中提取出的特征向量先将其二值化为向量I;接着，遵循相似哈希算法的计算过程，根据每个窗口对应的K和ki值计算得到该窗口的特征哈希码；然后，将草图分别在水平和垂直方向上一分为二，得到四个分隔的空间位置，对位于每个空间位置上的候选窗口分别进行哈希编码；最后，通过把四个空间位置上的哈希码依次首尾拼接从而得到表示整个草图的特征哈希码。
9.根据权利要求4所述的草图检索方法，其特征在于，特征描述子还可选用尺度不变的特征描述子或局部线性Gabor特征描述子。
10.根据权利要求4所述的草图检索方法，其特征在于，选用了未经归一化处理的HOG特征来描述每个子窗口所包含的视觉信息。
【文档编号】G06K9/46GK104200240SQ201410493545
【公开日】2014年12月10日 申请日期:2014年9月24日 优先权日:2014年9月24日
【发明者】赵龙, 梁爽, 贾金原 申请人:梁爽