供的另外的优点是将视频内容(例如，电视上的商业广告)链接至电子内容的能力。使用本发明，用户能够使用移动电话应用来拍摄电视上播放的节目的图片/片段，并且获得到移动电话的电子内容(例如，优惠券、网站、销售信息、直接购买)。例如，在这种情况下，系统的服务器将存储视频片段，并且该系统将所捕获的帧与片段中的帧进行匹配。
[0107]虽然上文已结合由MMD相机捕获的图像描述了该方法，然而，可以对由其他图像捕获装置提供的图像应用图像处理。
[0108]可以将上述方法实现为执行图像处理功能的计算机程序。从而，用于实现本发明的设备可以包括对数字图像文件进行处理以执行图像分析和后续校正的计算机。通常，程序模块包括例程、程序、组件、数据结构以及执行特定任务或者实现特定抽象数据类型的其他类型的结构。还在分布式计算环境中实践本发明，在分布式计算环境中，通过通信网络链接的远程处理装置执行任务。在分布式计算环境中，程序模块可以位于本地存储器存储装置和远程存储器存储装置两者中。
[0109]上文中描述的功能可以由存储在计算机可读介质且在基于一个或多个处理器的系统上运行的可执行代码和指令来执行。然而，也可以使用状态机和/或硬连线的电子电路。此外，关于本文中所描述的示例处理，并不需要达到所有处理状态，也不一定以示出的顺序执行这些状态。此外，可以并行地执行被示为串行地执行的某些处理状态。
[0110]通过下面的说明性而非限制性的示例可以更好地理解所有上述内容。所描绘的且本文中所描述的示例出现和术语意在是说明性的和示例性的，而非以任何方式限制所要求保护的本发明的范围。
[0111]图4示出了根据本发明的实施例的源对象的示例性数字图像，其表示在不同的处理阶段的印刷报纸的页面的印刷布局。印刷报纸的原始数字图像由附图标记41表示(例如，由MMD获取)。在下一处理阶段，示出了在提取文本描述符和非文本描述符之前、在应用分割算法之后源对象的数字图像的二进制表示(如由附图标记42所示)。在下一处理阶段，每个文本对象由印刷字的至少一部分或相对于印刷布局的平面在任意方向上的至少两个或更多个相邻印刷字的组合的边界框形式来表示(如由附图标记43所示)。在下一处理阶段，准备图像以提取文本描述符和非文本描述符，其中，附图标记44表示仅示出文本对象的数字图像，而附图标记45表示仅示出非文本对象的数字图像。附图标记45表示在应用分割算法和掩盖文本、准备非文本描述符以进行提取之后的源对象的数字图像的示例。附图标记44表示在对文本对象应用分割算法、准备文本描述符以进行提取之后的源对象的数字图像的示例。
[0112]在该实施例中，每个文本对象被转换成基本上四边形形式或边界框，而包含从每行的共同虚拟对齐线扩展的字母的字产生相应的较高形式，诸如字母b、d、f、g、h、k、1、p、q、t*y。根据字体属性，每个不同的字(或者根据行间距和字间距，字的一部分或两个或更多个字的组合)可以产生唯一形式。
[0113]所有上述描述和示例是出于说明的目的而给出的，并且不意在以任何方式限制本发明。在都不超过本发明的范围的情况下，可以采用很多不同的机制、分析方法、电子和逻辑元件。
【主权项】
1.一种用于将印刷对象链接至电子内容的方法，包括: a)向服务器的数据库提供印刷对象的至少一个数字拷贝，其中，所述数字拷贝表示所述印刷对象的印刷布局的至少一部分； b)通过提取和保存所述数字拷贝中的每个链接的坐标或经由外部链接列表来将所述数字拷贝在布局的至少一部分与电子内容相关联； c)对所述数字拷贝进行处理以区分文本对象和非文本对象这两类对象，其中，每个文本对象表示字的至少一部分或相对于所述印刷布局的平面在任意方向上的至少两个或更多个相邻字的组合； d)根据两类对象中的每个对象的视觉形状和其在所述印刷布局上相对于定义的坐标的参考位置来对这两类对象中的每个对象进行编码，从而将所述数字拷贝表示为二进制格式的向量阵列； e)创建相似的二进制向量的聚类并向每个所述聚类分配随机的字符阵列，并且将所述字符阵列保存为“哈希字”的编码字典，从而将所述二进制向量转换成可搜索的文本形式； f)通过移动装置捕获所述印刷对象的至少一部分的图像； g)对所述捕获的图像进行处理以区分文本对象与非文字对象，并且根据每个所述对象的视觉形状和其相对于所述印刷布局的参考位置来对每个所述对象进行编码，从而将所述捕获的数字图像表示为二进制格式的向量阵列； h)经由通信网络将所述二进制向量阵列发送至所述服务器； i)对哈希字中的每个聚类向量进行转换并且执行文本搜索以识别基本上与表示所述捕获的图像的哈希字最佳匹配的相应的哈希字，其中，在所述发送之前在所述移动装置中在本地或者在所述发送之后在所述服务器处远程地将所述阵列转换成哈希字； j)对表示所捕获的图像的所述向量阵列执行最佳匹配当中的几何匹配； k)计算所捕获的部分在最佳匹配数字拷贝上的位置并且提取旨在到所捕获的图像的特定链接；以及 I)将关联的电子内容或其相应链接从所述服务器发送至所述移动装置。
2.根据权利要求1所述的方法，其中，所述数字图像的处理包括:在所述数字图像的区域上检测行间距和字间距，并且检测每行中的文本区域和非文本区域并确定字边界，从而确定每个文本对象和每个非文本对象。
3.根据权利要求1所述的方法，其中，所述处理还包括:通过对所述图像的数字表示应用图像处理算法来对所捕获的图像进行预处理。
4.根据权利要求1所述的方法，其中，所述预处理包括:执行用于扭斜校正的图像旋转。
5.根据权利要求1所述的方法，其中，还包括:在发送所述二进制向量阵列之前，将所述阵列中的每个向量转换成唯一的字符串。
6.一种包括计算机程序代码工具的计算机程序，当所述计算机程序在基于计算机的装置上运行时，所述计算机程序代码工具适于执行权利要求1的至少步骤c和步骤d。
【专利摘要】本发明涉及用于将印刷对象链接至电子内容的系统和方法。本发明的系统使得MMD(移动媒体装置)的用户能够捕获印刷对象(例如，该对象可以是印刷物品的至少一部分)的图像并且作为回报而获得相应的电子内容(例如，视频片段、图片、文本、到网页的链接等)。本发明的示例提供如下图像处理方法：以在图像的区域上的样本将捕获的图像转换成聚类向量(在本文中称为描述符)阵列，该聚类向量阵列基于文本对象和非文本对象的行间距和字间距。该方法还包括：在发送二进制向量阵列之前，将所述阵列中的每个向量转换成唯一的字符串(“哈希字”)。在另一方面，本发明涉及包括计算机程序代码工具的计算机程序，当所述计算机程序在诸如MMD或服务器的基于计算机的装置上运行时，计算机程序代码工具适于执行用于将印刷对象链接至电子内容的方法。
【IPC分类】G06T1-00, G06F17-30
【公开号】CN104603833
【申请号】CN201380040688
【发明人】伊泰·阿拉德, 特苏里·赫尔曼
【申请人】温克应用程序有限公司
【公开日】2015年5月6日
【申请日】2013年8月8日
【公告号】US20150242684, WO2014024197A1