特征位置信息的译码的制作方法
【专利摘要】本发明揭示用于对特征位置进行译码的方法和装置。在一个实施例中，一种对图像的特征位置信息进行译码的方法包含：产生六角形网格，其中所述六角形网格包含多个六角形单元；使用所述六角形网格对图像的特征位置进行量化；产生直方图以记录特征位置在每一六角形单元中的出现；以及根据特征位置在每一六角形单元中的出现对所述直方图进行编码。所述对所述直方图进行编码的方法包含：应用相邻六角形单元的上下文信息对所述直方图中待编码的后续六角形单元的信息进行编码，其中所述上下文信息包含来自所述待编码的后续六角形单元的一级相邻单元的上下文信息和来自所述待编码的后续六角形单元的二级相邻单元的上下文信息。
【专利说明】特征位置信息的译码
[0001]相关申请案的交叉参考
[0002]本申请案主张2011年9月9日申请的第13 / 229，654号美国申请案“特征位置信息的译码(Coding of Feature Location Information) ”的权益,所述申请案又主张2011年8月10日申请的第61 / 522，171号美国临时申请案“特征位置信息的译码(Coding ofFeature Location Information) ”的权益。前述美国申请案的全文以引用的方式并入本文中。
【技术领域】
[0003]本发明涉及处理数字图像数据的领域。确切地说，本发明涉及图像的特征位置信息的译码。
【背景技术】
[0004]随着相机电话和个人数字助理(PDA)在市场上广泛使用，这些装置变成用于视觉搜索和移动增强现实应用的广泛平台。为了支持需要图像比较的应用，需要从移动装置向服务器上载信息，或者需要从服务器向移动装置下载信息。有待经由无线网络发射和/或接收的数据量对于这些应用的性能和易用性变得至关重要。
[0005]常规基于特征的检索系统通常采用直接方案对位置信息进行译码。在这些系统中，每一特征的(x，y)坐标被量化成某个固定分辨率，例如每个特征位置8位。接着存储和发射这些经量化的U，y)对。举例来说，在使用具有一千个特征和8位分辨率的图像的情况下，这个方案将需要每个图像大约2K字节的数据。这些数据译码方案产生大量需要经由无线网络发射的数据，这又会不利地影响视觉搜索和移动增强现实应用的性能和易用性。
[0006]因此，需要用于对特征位置信息进行译码的可以解决常规系统的上述问题的系统和方法。
【发明内容】
[0007]本发明涉及图像的特征位置信息的译码。根据本发明的实施例，一种对图像的特征位置信息进行译码的方法包含:产生六角形网格，所述六角网格包含多个六角形单元；使用所述六角形网格对图像的特征位置进行量化；产生直方图以记录特征位置在每一六角形单元中的出现；以及根据特征位置在每一六角形单元中的出现次数对直方图进行编码。
[0008]所述产生六角形网格的方法包含根据特征位置信息的预定量化等级确定六角形单元的大小。所述对特征位置进行量化的方法包含:执行每一特征位置从二维平面到三维空间的坐标变换；将经变换的坐标舍入成对应的最接近的整数；以及验证经变换的坐标属于所述三维空间中的六角形平面。应注意，所述变换是可逆的。为了验证经变换的坐标属于三维空间中的六角形平面，所述方法计算经变换的坐标的总和，并且验证经变换的坐标的总和等于零。
[0009]所述产生直方图的方法包含产生经配置以包含特征位置在每一六角形单元中的出现的直方图映射，以及产生经配置以描述特征位置在每一六角形单元中的出现次数的直方图计数。所述对直方图进行编码的方法可包含应用相邻六角形单元的上下文信息对在直方图中待编码的后续六角形单元的信息进行编码，其中所述上下文信息包含来自待编码的后续六角形单元的一级相邻单元的上下文信息和来自待编码的后续六角形单元的二级相邻单元的上下文信息。
[0010]在另一实施例中，一种移动装置包含:图像模块，其经配置以获得图像；视觉搜索模块，其经配置以产生图像的经编码的特征位置信息；以及控制器，其经配置以经由无线网络将图像的经编码的特征位置信息传送到服务器。所述移动装置的视觉搜索模块包含:用于产生六角形网格的逻辑，其中所述六角形网格包含多个六角形单元；用于使用所述六角形网格对图像的特征位置进行量化的逻辑；用于产生直方图以记录特征位置在每一六角形单元中的出现的逻辑；以及用于根据特征位置在每一六角形单元中的出现对直方图进行编码的逻辑。
【专利附图】
【附图说明】
[0011]在配合以下图式阅读了本发明的实施例的详细描述之后，本发明的前述特征和优点及其额外特征和优点将可更加明确地理解。
[0012]图1a-1b图解说明根据本发明的一些方面产生特征位置直方图的方法。
[0013]图2图解说明根据本发明的一些方面产生特征位置直方图的另一方法。
[0014]图3a图解说明根据本发明的一些方面在三维(3D)空间中用六角形平面表示特征位置信息的方法。
[0015]图3b图解说明根据本发明的一些方面的六角形单元的特性。
[0016]图4a_4b图解说明根据本发明的一些方面对直方图值的自适应统计编码应用上下文配置。
[0017]图5图解说明根据本发明的某一方面利用正方形网格和六角形网格的特征位置译码方案的比较。
[0018]图6a图解说明根据本发明的一些方面经配置以执行视觉搜索的移动装置的框图。
[0019]图6b图解说明根据本发明的实施例的用于图像检索的方法。
[0020]图6c图解说明根据本发明的实施例对图像的特征位置信息进行译码的方法。
[0021]图7a_7b图解说明根据本发明的实施例的视觉搜索功能性的示范性实施方案。
[0022]图8a_8b图解说明根据本发明的实施例在特征位置编索引时使用词汇树和相关联的倒排索引。
【具体实施方式】
[0023]本发明揭示对特征位置信息进行译码的实施例。呈现以下描述以便使得所属领域的技术人员能够制作和使用本发明。具体实施例和应用的描述仅是作为实例提供。所属领域的技术人员将容易明白本文所述的实例的各种修改和组合，并且在不脱离本发明的精神和范围的情况下，本文中所界定的一般原理可以应用于其它实例和应用。因而，本发明并不希望限于所描述和展示的实例，而是应被赋予符合本文揭示的原理和特征的最宽范围。[0024]图1a图解说明如2009年9月《国际移动多媒体通信会议论文集》中蔡(Tsai)等人的“用于移动图像检索系统的位置译码(Location coding for mobile image retrievalsystems) ”所描述的使用矩形网格产生特征位置直方图的方法。这份参考文献的全文以引用的方式并入本文中。在102中，黑点表示图像的特征。在104中，图像上覆盖着正方形网格，其中所述正方形网格包含多个正方形单元。根据应用，每一正方形单元的大小可以从2x2个正方形像素向32x32个正方形像素变化。在106中，产生直方图映射以展示图像的特征的位置。直方图映射中的含有黑点的单元用灰色展示，并且不含有黑点的单元用白色展示。在特征处于两个正方形单元之间的边界上的情况下，选择含有较大特征区域的正方形单元。在特征在两个单元之间同等分布的情况下，可以选择所述单元中的任一者。在108中，基于106的直方图映射产生直方图计数。正方形单元中的数字表示106的属于直方图映射中的所述单元中的特征的数目。
[0025]根据本发明的实施例，假设η指示图像的特征的数目，并且假设m指示直方图中的单元的数目。接着，在给定视频图形阵列(VGA)图像的情况下，并且使用比例不变特征变换(SIFT)或加速稳固特征(SURF)，在n=1000的情况下，于是m=640*480 / w2，其中w是所述单元的大小(以像素为单位)。
[0026]应注意，可以使用多重集的观念来表示特征位置信息的直方图，在多重集中允许成员出现一次以上。一个元素属于多重集的次数是所述成员的多重性。多重集中的元素的总数(包含重复的成员)是多重集的基数性。举例来说，在多重集{a，a，b，b，b，c}中，成员a、b和c的多重性分别是2、3和1，并且多重集的基数性是6。
[0027]在图1a中所示的实例中，基数性的多重集的数目η(其中元素是取自基数性m的有限集)是多重集系数或多重集数目。通过多重集系数表示具有m个单元和η个总数的可能直方图的数目:
【权利要求】
1.一种对图像的特征位置信息进行译码的方法，其包括: 产生六角形网格，其中所述六角形网格包含多个六角形单元； 使用所述六角形网格对图像的特征位置进行量化； 产生直方图以记录特征位置在每一六角形单元中的出现；以及 根据特征位置在每一六角形单元中的所述出现对所述直方图进行编码。
2.根据权利要求1所述的方法，其中产生六角形网格包括: 根据特征位置信息的预定量化等级确定所述六角形单元的大小。
3.根据权利要求1所述的方法，其中对特征位置进行量化包括: 对于每一特征位置，产生所述特征位置的从二维平面到三维空间的经变换的坐标； 将所述经变换的坐标舍入成对应最接近的整数；以及 验证所述经变换的坐标属于所述三维空间中的六角形平面。
4.根据权利要求3所述的方法，其中验证所述经变换的坐标包括: 计算所述经变换的坐标的总和；以及 验证所述经变换的坐标的所述总和等于零。
5.根据权利要求1所述的方法，其中产生直方图包括: 产生经配置以包含特征位置在每一六角形单元中的出现的直方图映射。
6.根据权利要求5所述的方法，其进一步包括: 产生经配置以描述特征位置在每一六角形单元中的出现次数的直方图计数。
7.根据权利要求1所述的方法，其中对直方图进行编码包括: 将所述直方图转换成唯一词典式索引；以及 使用固定长度代码对所述唯一词典式索引进行编码。
8.根据权利要求1所述的方法，其中对直方图进行编码进一步包括: 将所述直方图的空块以光栅扫描次序转换成游程长度；以及 使用熵译码器对所述游程长度进行编码。
9.根据权利要求8所述的方法，其中所述熵译码器采用哥伦布-莱斯代码。
10.根据权利要求8所述的方法，其中所述熵译码器采用霍夫曼代码。
11.根据权利要求8所述的方法，其中所述熵译码器采用算术代码。
12.根据权利要求1所述的方法，其中对所述直方图进行编码进一步包括: 应用相邻六角形单元的上下文信息对所述直方图中的待编码的后续六角形单元的信息进行编码。
13.根据权利要求12所述的方法，其中所述上下文信息包括: 来自所述待编码的后续六角形单元的一级相邻单元的上下文信息。
14.根据权利要求13所述的方法，其中所述上下文信息进一步包括: 来自所述待编码的后续六角形单元的二级相邻单元的上下文信息。
15.根据权利要求12所述的方法，其中将上下文信息用作算术编码器的输入。
16.一种移动装置，其包括: 图像模块，其经配置以获得图像； 视觉搜索模块，其经配置以产生所述图像的经编码的特征位置信息；以及 控制器，其经配置以经由无线网络将所述图像的所述经编码的特征位置信息传送到服务器； 其中所述视觉搜索模块包含 用于产生六角形网格的逻辑，其中所述六角形网格包含多个六角形单元； 用于使用所述六角形网格对图像的特征位置进行量化的逻辑； 用于产生直方图以记录特征位置在每一六角形单元中的出现的逻辑；以及 用于根据特征位置在每一六角形单元中的所述出现对所述直方图进行编码的逻辑。
17.根据权利要求16所述的移动装置，其中用于产生六角形网格的逻辑包括: 用于根据特征位置信息的预定量化等级确定所述六角形单元的大小的逻辑。
18.根据权利要求16所述的移动装置，其中用于对特征位置进行量化的逻辑包括: 对于每一特征位置，用于产生所述特征位置从二维平面到三维空间的经变换的坐标的逻辑； 用于将所述经变换的坐标舍入成对应最接近的整数的逻辑；以及 用于验证所述经变换的坐标属于所述三维空间中的六角形平面的逻辑。
19.根据权利要求18所述的移动装置，其中用于验证所述经变换的坐标的逻辑包括: 用于计算所述经变换的坐标的总和的逻辑；以及 用于验证所述经变换的坐标的所述总和等于零的逻辑。
20.根据权利要求16所述的移动装置，其中用于产生直方图的逻辑包括: 用于产生经配置以包含特征位置在每一六角形单元中的出现的直方图映射的逻辑。
21.根据权利要求20所述的移动装置，其进一步包括: 用于产生经配置以描述特征位置在每一六角形单元中的出现次数的直方图计数的逻辑。
22.根据权利要求16所述的移动装置，其中用于对直方图进行编码的逻辑包括: 用于将所述直方图转换成唯一词典式索引的逻辑；以及 用于使用固定长度代码对所述唯一词典式索引进行编码的逻辑。
23.根据权利要求16所述的移动装置，其中用于对直方图进行编码的逻辑进一步包括: 用于将所述直方图的空块以光栅扫描次序转换成游程长度的逻辑；以及 用于使用熵译码器对所述游程长度进行编码的逻辑。
24.根据权利要求16所述的移动装置，其中用于对所述直方图进行编码的逻辑进一步包括: 用于应用相邻六角形单元的上下文信息对所述直方图中的待编码的后续六角形单元的信息进行编码的逻辑。
25.根据权利要求24所述的移动装置，其中所述上下文信息包括: 来自所述待编码的后续六角形单元的一级相邻单元的上下文信息。
26.根据权利要求25所述的移动装置，其中所述上下文信息进一步包括: 来自待编码的所述后续六角形单元的二级相邻单元的上下文信息。
27.—种移动装置，其包括: 图像模块，其经配置以获得图像； 视觉搜索模块，其经配置以产生所述图像的经编码的特征位置信息；以及控制器，其经配置以经由无线网络将所述图像的所述经编码的特征位置信息传送到服务器； 其中所述视觉搜索模块包含 用于产生六角形网格的装置，其中所述六角形网格包含多个六角形单元； 用于使用所述六角形网格对图像的特征位置进行量化的装置； 用于产生直方图以记录特征位置在每一六角形单元中的出现的装置；以及 用于根据特征位置在每一六角形单元中的所述出现对所述直方图进行编码的装置。
28.根据权利要求27所述的移动装置，其中用于对特征位置进行量化的装置包括: 对于每一特征位置，用于产生所述特征位置的从二维平面到三维空间的经变换的坐标的装置； 用于将所述经变换的坐标舍入成对应最接近的整数的装置；以及 用于验证所述经变换的坐标属于所述三维空间中的六角形平面的装置。
29.根据权利要求27所述的移动装置，其中用于产生直方图的装置包括: 用于产生经配置以包含特征位置在每一六角形单元中的出现的直方图映射的装置。
30.根据权利要求29所述的移动装置，进一步包括: 用于产生经配置以描述特征位置在每一六角形单元中的出现次数的直方图计数的装置。
31.根据权利要求27所述的移动装置，其中用于对所述直方图进行编码的装置进一步包括: 用于应用相邻六角形单元的上下文信息对所述直方图中待编码的后续六角形单元的信息进行编码的装置。
32.根据权利要求31所述的移动装置，其中所述上下文信息包括: 来自所述待编码的后续六角形单元的一级相邻单元的上下文信息。
33.根据权利要求32所述的移动装置，其中所述上下文信息进一步包括: 来自待编码的所述后续六角形单元的二级相邻单元的上下文信息。
34.一种用于对图像的特征位置信息进行译码的计算机程序产品，其包括存储有供一个或一个以上计算机系统执行的计算机程序的非暂时媒体，所述计算机程序产品包括: 用于产生六角形网格的代码，其中所述六角形网格包含多个六角形单元； 用于使用所述六角形网格对图像的特征位置进行量化的代码； 用于产生直方图以记录特征位置在每一六角形单元中的出现的代码；以及 用于根据特征位置在每一六角形单元中的所述出现对所述直方图进行编码的代码。
35.根据权利要求34所述的计算机程序产品，其中用于对特征位置进行量化的代码包括: 对于每一特征位置，用于产生所述特征位置的从二维平面到三维空间的经变换的坐标的代码； 用于将所述经变换的坐标舍入成对应最接近的整数的代码；以及 用于验证所述经变换的坐标属于所述三维空间中的六角形平面的代码。
36.根据权利要求34所述的计算机程序产品，其中用于产生直方图的代码包括: 用于产生经配置以包含特征位置在每一六角形单元中的出现的直方图映射的代码。
37.根据权利要求36所述的计算机程序产品，进一步包括: 用于产生经配置以描述特征位置在每一六角形单元中的出现次数的直方图计数的代码。
38.根据权利要求36所述的计算机程序产品，其中用于对所述直方图进行编码的代码进一步包括: 用于应用相邻六角形单元的上下文信息对所述直方图中的待编码的后续六角形单元的信息进行编码的代码。
【文档编号】G06T9/00GK103843011SQ201280038785
【公开日】2014年6月4日 申请日期:2012年7月31日 优先权日:2011年8月10日
【发明者】尤里娅·列兹尼克, 奥努尔·C·哈姆西奇, 桑迪普·瓦达迪, 约翰·H·洪, 重·U·李 申请人:高通股份有限公司