用于支持对输入图像中包含的对象进行采集的方法、终端装置和计算机可读记录介质的制作方法
【专利摘要】根据本发明，提供了包括如下步骤的方法：（a）在输入包括规定对象的图像时，使用物体识别技术、字符识别技术及条形码识别技术来识别客体的原形，其中，该物体识别技术用于通过与参照对象图像的图像匹配计算相似度，并通过相似度在相似度阈值以上的参照对象图像的标识符识别对象，字符识别技术用于识别对象中包括的字符、数字和符号，该条形码识别技术用于识别对象中包括的条形码的；（b）通过使用关于对象的原形、创建输入图像的地点或者创建输入图像的时间的识别信息来获取包括关于符合语法地组合的自动注释的信息和关于被识别的对象的图像的信息的采集页；以及（c）接收到注册请求时存储采集页。
【专利说明】用于支持对输入图像中包含的对象进行采集的方法、终端装置和计算机可读记录介质
【技术领域】
[0001]本发明涉及用于支持由终端装置输入的图像包含的对象的采集的方法，终端装置和计算机可读记录介质，更具体涉及如下方法、终端装置及计算机可读记录介质，该方法是物体识别技术、字符识别(OCR)技术和条形码识别技术的至少一个被用来识别输入图像包含的对象的原形，关于对象原形的识别信息、关于图像被创建的地点的识别信息和关于图像被创建时的时间的信息的至少一个被用来获取采集页，该采集页包括遵照适用语言组合的语句，或者换句话说包括关于自动注释的信息和关于被识别对象的图像的信息，以及当接收到注册采集页的请求时采集页将被存储使得用户可以便利快捷地采集到关于感兴趣对象的信息并且可提供给用户相关于以上所述的各种服务而省去一个接一个地编辑关于用户周边众多对象的各种信息的不便。
【背景技术】
[0002]最近由于互联网(Internet)使用的广泛传播，提供曾以诸如书的印刷形式提出的信息转化成为数字形式已经很普遍。由于互联网和3G网络或其他高速通信系统的普及，转化成数字形式的信息可以由很多用户实时共享和传递，因此相比较于相对缺乏信息共享和传递的印刷材料被广泛地使用。
[0003]尤其是在用于增强现实(Augmented Reality:AR)的方法中提供数种信息形式,结合用户终端装置实时取得的输入图像显示包含计算机图像(CG)，文本等等的补充信息的技术最近已被引入。根据AR技术，该技术可以提供给用户更好的环境，这是因为该技术可以提供各种包含所要求信息的图标，而这些图标可以视觉上在其中显示了用户所观察的真实
世界的屏幕上相互重叠。
[0004]当通过使用AR数个信息源被提供和分享时，实际上很难确定关于用户终端装置拍照或输入的图像上包含的所有对象的信息并有效地存储所述信息。即使用户想要有差别地只存储关于带有相对高的兴趣(或高的重要性)的对象的信息，记录和存储所述信息也是复杂和令人烦恼的。
[0005]因此，在为了从用户引出更积极的参与方面它确实是具有一定程度的限制。
【发明内容】
[0006]本发明的目标是解决所有以上描述的问题。
[0007]本发明的另一个目标是获取关于有关感兴趣对象的自动注释的信息和关于对应于对象的图像的信息。这是通过使用包含在输入图像中的包含对象原形，位置和时间的信息构成采集页，以及使得注册请求时采集页系统地被存储以便用户可以容易地存储关于用户周边众多对象的各种信息来实现的。
[0008]本发明的再另一个目标是使得能够激励用户基于关于某一对象采集的信息的参与愿望，这是通过提供关于可以在适用对象执行的任务的信息和关于任务执行时提供的补偿的信息实现的。
[0009]本发明想要达到以上目标的有代表性的构成如下:
依据本发明的一个方面，提供用于支持对通过终端装置被输入的输入图像中包含的对象进行采集的方法，包括:步骤(a)，在所述终端装置的屏幕上输入包括规定对象的图像时，使用下列识别技术中的至少一种来识别所述对象的原形:用于通过所述输入的图像和已经存储的参照对象图像的图像匹配来计算相似度并且通过所述相似度在预设相似度阈值以上的参照对象图像的标识符来识别所述对象的原形的物体识别技术；用于通过识别所述对象中包含的字符、数字和符号之中至少一个来识别所述对象的原形的字符识别技术；以及用于从所述对象中包含的条形码识别所述对象的原形的条形码识别技术；步骤(b)，使用关于所述对象的原形的识别信息、关于创建所述输入图像的地点的识别信息以及关于创建所述输入图像的时间的识别信息中的至少一个来获取采集页，所述采集页包含关于含有在适用语言的语法下正确组合的词组或语句的自动注释的信息和关于对所述被识别的对象的图像的信息中的至少一部分；以及步骤(c)，当接收到关于所述采集页的注册请求时，按每个用户存储所述采集页。
[0010]依据本发明的另一个方面，提供用于支持对通过终端装置被输入的输入图像中包含的对象进行采集的终端装置，其中包括:对象识别部分，在所述终端装置的屏幕上输入包括规定对象的图像时，使用下列识别技术中的至少一种来识别所述对象的原形:用于通过所述输入的图像和已经存储的参照对象图像的图像匹配来计算相似度并且通过所述相似度在预设相似度阈值以上的参照对象图像的标识符来识别所述对象的原形的物体识别技术；用于通过识别所述对象中包含的字符、数字和符号之中至少一个来识别所述对象的原形的字符识别技术；以及用于从所述对象中包含的条形码识别所述对象的原形的条形码识别技术；以及采集执行部分，使用关于所述对象的原形的识别信息、关于创建所述输入图像的地点的识别信息以及关于创建所述输入图像的时间的识别信息中的至少一个来获取采集页，所述采集页包含关于含有在适用语言的语法下正确组合的词组或语句的自动注释的信息和关于对所述被识别的对象的图像的信息中的至少一部分，当接收到关于所述采集页的注册请求时，按每个用户存储所述采集页。
[0011]此外，还提供了实施本发明的其他方法和系统以及还提供了其他用于记录运行本方法的计算机程序的计算机可读记录介质。
[0012]根据本发明，使用包含关于包含在输入图像中的对象的原形、位置和地点的信息来获取关于感兴趣对象的自动注释和关于图像的信息，并且在其中请求注册时系统地存储关于感兴趣对象的自动注释和关于图像的信息使得用户可以便利快捷地存储关于用户周边众多对象的各种信息而省去一个接一个地编辑并管理这些对象的不便。
[0013]此外，根据本发明，提供给用户关于可以涉及适用对象执行的任务的信息和当执行任务时提供的补偿的信息使得用户可以被引导着来更积极地执行关于对象的采集。
【专利附图】
【附图说明】
[0014]图1是根据本发明一个实施例的示意性地表示支持采集输入图像中包含的对象的终端装置(100)的构成的图。
[0015]图2是根据本发明一个实施例的示例的表示其中如果某一对象作为输入图像被输入那么适用对象被识别的说明的图。
[0016]图3是根据本发明一个实施例的示例的表示包含了关于自动注释的信息和关于被识别对象的信息的采集页的说明的图。
[0017]图4是根据本发明一个实施例的示例的表示其中对象的采集页被存储的说明的图。
[0018]图5是根据本发明一个实施例的示例的说明了使得每个用户管理他或她自己的采集页的分配的独特虚拟空间的图。
[0019]符号说明 100:终端装置
110:输入图像获取部分 120:对象识别部分 130:采集执行部分 140:探索任务管理部分 150:通信部分 160:控制部分 300:采集页
310:对象原形的识别信息 320:自动注释
330:关于被识别对象的图像。
【具体实施方式】
[0020]在本发明的以下详细描述中参照将特定实施例示例示出为可以实践本发明的说明的附图。这些实施例示例以充分的细节进行描述以使得本领域技术人员可以实践本发明。应理解到虽然本发明的各种实施例虽然不同但并不必然是互相排他的。例如本文中联系一个实施例示例描述的特定特点、结构和特征可以在不离开本发明精神和范围的情况下在其他实施例示例中实施。此外还应理解到每个公开的实施例示例中的各个要素的位置或布置可以在不离开本发明精神和范围的情况下进行修改。因此以下的细节描述不应该用限制的方式来理解，并且本发明的范围只由如果是正确地进行理解了的所附上的权利要求和权利要求所要求的全范围的等同物定义。在图中，相似的参照数指贯穿数个方面相同或相似的功能性。
[0021]以下通过参考优选的实施例示例在细节上描述本发明以便本发明所属【技术领域】的技术人员可以容易地实践本发明。
[0022]本发明优选实施例
在说明书中，采集可以定义成指出一系列的采集和存储自动注释的过程，其中自动注释是从通过使用图像中包含的包括对象类型、原形等等的关于对象原形的信息以及拍照包含适用对象的图像的地点和时间的信息以及对应于适用对象作为数据的图像三者之中的至少一个做出的。
[0023]例如，如果输入图像中包含电影海报，那么对用于海报的采集适用:将适用海报识别为采集的目标对象的一系列的过程；以及在一种语言的语法下正确的组合语句上从对应于海报关于电影的信息(包含概要、导演、以及领衔男演员和女演员信息)中采集和存储信息；以及关于包含海报的图像被拍照为数据的地点和时间的信息。
[0024]整体系统的构成
图1是根据本发明一个实施例的示意性地表示支持采集输入图像中包含的对象的终端装置(100)的构成的图解。
[0025]如图1所示，根据本发明一个实施例的示例的终端装置(100)可以包含输入图像获取部分(110)、对象识别部分(120)、采集执行部分(130)、探索任务管理部分(140)、通信部分(150)和控制部分(160)。根据本发明的一个实施例示例，至少输入图像获取部分(110)、对象识别部分(120)、采集执行部分(130)、探索任务管理部分(140)、通信部分(150)和控制部分(160)中的一些可以是与终端装置(100)通信的程序模块。这些程序模块可以以操作系统、应用程序和其他程序模块的形式包含在终端装置(100)中，并且物理地存储在一定数量的公知的存储设备中。另外，这些程序模块还可以存储在能够与终端装置(100)通信的远程存储设备中。另一方面，这些程序模块包含但不限于例程、子例程、程序、对象、组件和执行特定操作或者将根据本发明之后进行描述的类型的特定摘要数据的数据结构。
[0026]首先，根据本发明一个实施例的示例，输入图像获取部分(110)可以执行获取作为之后描述的对象识别部分(120)实施的对象识别的基础的输入图像的功能。更确切地，根据本发明一个实施例的示例的输入图像获取部分(110 )可以包含各种诸如CCD相机的图像拍照设备并且执行实时接收携带终端装置(100)的用户周围的景观场景的功能，例如在预览状态中接收。
[0027]接下来，如果输入图像获取部分(110)获取了含有某一对象的输入图像，那么根据本发明一个实施例的示例的对象识别部分(120)可以使用以下对象识别技术的至少一个执行识别某一对象原形的功能，这些对象识别技术包括:用来通过匹配包括对象的输入图像和已经存储在某些数据库中的对象图像(下文中称为“参照对象图像”)来计算相似度并且通过预设相似度阈值以上的特定参照对象图像的标识符来识别对象原形的对象识别技术；通过感知拍照的对象中包含的字符，数字和符号之中至少一个识别对象原形的字符识别技术(OCR);以及用来从拍照对象中包含的条形码识别对象原形的条形码识别技术和同类识别技术。
[0028]作为用来从不同角度和一定距离上识别输入图像中包含的某些对象的某一对象识别技术，可以参照“International Journal of Computer Vision”上 2005 年 11 月发表的由K.MIK0LAJCZYK和其他七名作者共同署名的文章(该文章的全部内容必须考虑成已经结合在说明书中)。该文章描述探测仿射不变区域来准确地识别从不同角度拍摄的相同对象的方法。当然本发明适用的对象识别技术不只限于该文章中提到的方法，并且本发明可以应用其不同的修改示例进行实施。为了将对象识别技术使用于通过图像匹配的相似度计算的对象原形识别，对象识别部分(120)可以与其中记录了参照对象图像和对应的标识符的某些数据库(未说明)互锁。
[0029]此外，用于识别输入图像中包含的某些字符串的某些字符识别(OCR)技术可以参照韩国专利申请N0.2006-0078850的说明书，并且该说明书必须考虑成整体已经结合在本文中。该说明书提到了一种方法，用于创建组成输入图像中包含的字符串的每个候选字符并且对每个创建的候选字符执行字符识别技术。适用于本发明的字符识别技术不限于该说明书中描述的方法而是可以考虑不同的修改过的例子。
[0030]此外，用于识别输入图像中包含的条形码的技术可以参照韩国专利登记N0.0791704的说明书，并且该说明书必须考虑成整体已经结合在本文中。在该说明书中，通过基于条形码结构特征的连接区域的邻接关系的分析描述了用于提取条形码区域的方法，该方法根据提取的条形码区域的黑色像素的连接区域的宽度确定用作条形码的模块宽度的单位宽度，并且将条形码图案与输入宽度图案比较来识别条形码。适用与本发明的字符识别技术不限于该说明书中描述的方法而是可以考虑不同的修改过的例子。
[0031]图2是根据本发明一个实施例的示例的表示其中如果某一对象作为输入图像被输入那么适用对象被识别的说明的图解。
[0032]参照图2,当一本标题为“如零工那样做梦,成功如盖茨(Dream Like Jobs andAchieve Like Gates)”的书被包括进输入到终端装置(100)的图像中时，对象识别部分
(120)将能够通过对输入图像应用对象识别技术、字符识别技术和/或条形码识别技术把输入图像中包含的对象识别为“如零工那样做梦，成功如盖茨” 一书。
[0033]接下来根据本发明一个实施例的示例，采集执行部分(130)可以执行通过使用对象识别部分(120)获取的关于对象原形的信息、创建输入图像的地点、创建输入图像的时间以及关于被识别对象的图像的信息之中的至少一个获取采集页的功能，其中采集页包含关于一种语言的语法下合适地组合起来的词组或语句(称为“自动注释”)的信息。而且采集执行部分(130)还使得接收到注册所述页的请求时存储该采集页。
[0034]特别是，根据本发明一个实施例的示例的采集执行部分(130)将能够通过使用诸如GPS技术、A-GPS技术、WPS技术和基于小区的位置服务(LBS)的位置定位技术计算终端装置(100)现在的位置来因此通过使用关于创建输入图像的地点的识别信息完成采集页中要包含的自动注释。为此，采集执行部分(130)可能包含特定的GPS模块、移动电信模块等
坐寸ο
[0035]另外，根据本发明一个实施例的示例的采集执行部分(130)可以直接地从输入图像或者间接地从在与输入图像包含的对象的图像匹配过程中始终在预设的相似度阈值以上的特定参照对象图像获取对象的图像。采集页中包含的被识别的对象的图像可以优选地为索引图像形式。
[0036]另一方面，根据本发明一个实施例的示例的采集执行部分(130)可以使得用户的采集页被存储以便根据终端装置(100)的用户来管理采集页，并且在这一情况中，采集执行部分(130 )还可以按每一用户分配每个用户支持的独特虚拟空间以用来管理他或她自己的采集页。
[0037]图3是根据本发明一个实施例的示例的表示包含了关于自动注释的信息和关于被识别对象的信息的采集页的说明的图解。
[0038]通过参照图3，可以验证采集执行部分(130)通过使用对象识别部分(120)得到的关于书的原形的识别信息(310)、关于输入图像被创建的地点的识别信息(“XX书库”)、关于输入图像被创建的时间的识别信息(“2010年10月20日”)以及被识别的书的图像(330)获得了采集页(300)，采集页(300)包含在韩语语法下合适地组合起来的自动注释(320)。图3说明性地示出了其中被识别的书(330)被显示为从参照对象图像间接获取的索引图像的形式的图像而不是从输入图像直接地获取的图像(换句话说就是图2的输入图像)的情况。即使采集页(300)在图3中说明自动注释(320)和被识别的书的图像(330)被直接地显示但是本发明实施例的示例不限于此，并且可以考虑仅仅存储关于自动注释的信息或关于被识别的书的标识符的信息而不是如以上所述直接地显示自动注释(320)和被识别的书的图像(330)。
[0039]其后，可以当接收到注册采集页(300)的请求时(见图4)确认采集执行部分(130)做出用户的采集页(300)的存储。
[0040]图5是根据本发明一个实施例的示例的说明了使得每个用户管理他或她自己的采集页的分配的独特虚拟空间的图解。
[0041]通过参照图5，可以验证采集执行部分(130)在用户的采集页的存储中分配称作“我的空间”的用户的独特虚拟空间以便用户可以管理他或她自己的采集页。
[0042]接下来，根据本发明一个实施例的示例，当特定的对象被采集为预设阈值以上的次数时，探索任务管理部分(140)可以执行给用户提供用户关于对象所能执行的任务的信息和当任务被执行时提供的补偿信息的功能。更确切地，任务信息可以是关于用户必须另外再采集对象多少次而补偿信息可以对应于如果用户执行任务就提供的信息，或者例如关于维护或销售对象的公司发行的赠券的信息。例如，如果用户三次访问并且采集了称为“建筑63中的水族馆”的地点(对象)，这一情况中可以考虑探索任务管理部分(140)为用户提供如下的任务信息和补偿信息“当建筑63中的水族馆再被采集两次时，将发行建筑63中的水族馆的入场券的50%折扣券”。
[0043]根据本发明一个实施例的示例，通信部分(150)可以执行使得本发明的终端装置
(100)与外部设备通信的功能。
[0044]最后，根据本发明一个实施例的示例，控制部分(160)执行控制输入图像获取部分(110)、对象识别部分(120)、采集执行部分(130)、探索任务管理部分(140)和通信部分(150)之间的数据流的功能。换句话说，控制部分(160)通过控制来自外界的数据流或者终端装置(100)组件之间的数据流来控制执行输入图像获取部分(110)、对象识别部分
(120)、采集执行部分(130)、探索任务管理部分(140)和通信部分(150)中的每个独特功倉泛。
[0045]这些以上描述的根据本发明的实施例示例可以以记录在计算机可读记录介质上并且通过多种计算机组件执行的程序命令的形式实施。计算机可读介质可以单独地或者是相结合地包含程序命令、数据文件和数据结构。记录在计算机可读记录介质上的程序命令可以被特殊地设计和构成以用于本发明，也可以为计算机软件领域的技术人员所知并可用。计算机可读记录介质的示例包含特别是构成为存储和执行程序命令的诸如硬盘、软盘和磁带的磁性媒体；诸如CD-ROM和DVD的光学媒体；诸如光磁软盘的磁光媒体以及诸如ROM、RAM和闪存的硬件设备。
[0046]程序命令由计算机执行，程序命令不仅包括由编译器做出的机器语言代码也包括解释器可以使用的高级代码等等。硬件设备可以配置成作为一个或更多的软件模块工作来执行根据本发明的行为，反过来也是同样的。
[0047]虽然本发明目前已经以诸如特定组件和限定的实施例示例和附图的某些细节进行了描述，但这些只是提供来促进对本发明的全面理解，而本发明不限于上面的实施例示例。拥有本发明所属【技术领域】公知常识的人员可以基于这样的描述尝试各种修改和变化。
[0048]因此本发明的思想不能被局限在解释的实施例示例中，并且之后描述的权利要求连同相等于或等同于权利要求的变更体也将属于本发明思想的范畴。
【权利要求】
1.一种用于支持对通过终端装置被输入的输入图像中包含的对象进行采集的方法，包括: 步骤(a)，在所述终端装置的屏幕上输入包括规定对象的图像时，使用下列识别技术中的至少一种来识别所述对象的原形:用于通过所述输入的图像和已经存储的参照对象图像的图像匹配来计算相似度并且通过所述相似度在预设相似度阈值以上的参照对象图像的标识符来识别所述对象的原形的物体识别技术；用于通过识别所述对象中包含的字符、数字和符号之中至少一个来识别所述对象的原形的字符识别技术；以及用于从所述对象中包含的条形码识别所述对象的原形的条形码识别技术； 步骤(b)，使用关于所述对象的原形的识别信息、关于创建所述输入图像的地点的识别信息以及关于创建所述输入图像的时间的识别信息中的至少一个来获取采集页，所述采集页包含关于含有在适用语言的语法下正确组合的词组或语句的自动注释的信息和关于对所述被识别的对象的图像的信息中的至少一部分； 步骤(C)，当接收到关于所述采集页的注册请求时，按每个用户存储所述采集页；以及 步骤(d)，如果所述对象被所述用户采集的次数为预设的次数阈值以上，就提供这样的信息给所述用户，即在所述用户关于所述对象执行指定的行为的情况下向所述用户提供补m\-ΖΧ ο
2.根据权利要求1所述的方法，其特征在于，在步骤(d)中关于所述对象执行指定的行为包含达成另外再请求所述用户的关于所述对象的采集次数。
3.根据权利要求1所述的方法，其特征在于，提供所述补偿的信息包含关于维护或销售所述对象的公司发行的赠券的信息。
4.根据权利要求1所述的方法，其特征在于，在步骤(b)中关于所述对象的图像从所述输入图像直接地获取或者从参照对象图像间接地获取，所述参照对象图像是通过所述输入图像中包含的所述对象与所述参照对象图像之间的图像匹配获取的相似度在所述预设的相似度阈值以上的图像。
5.根据权利要求4所述的方法，其特征在于，关于所述对象的图像以索引图像的形式获取。
6.根据权利要求1所述的方法，其特征在于，所述采集页以能按照所述终端装置的每个用户来管理的方式存储。
7.根据权利要求6所述的方法，其特征在于，在步骤(c)中分配虚拟空间使得所述采集页能根据所述用户来管理。
8.—种终端装置，用于支持对通过终端装置被输入的输入图像中包含的对象进行采集，其中包括: 对象识别部分，在所述终端装置的屏幕上输入包括规定对象的图像时，使用下列识别技术中的至少一种来识别所述对象的原形:用于通过所述输入的图像和已经存储的参照对象图像的图像匹配来计算相似度并且通过所述相似度在预设相似度阈值以上的参照对象图像的标识符来识别所述对象的原形的物体识别技术；用于通过识别所述对象中包含的字符、数字和符号之中至少一个来识别所述对象的原形的字符识别技术；以及用于从所述对象中包含的条形码识别所述对象的原形的条形码识别技术； 采集执行部分，使用关于所述对象的原形的识别信息、关于创建所述输入图像的地点的识别信息以及关于创建所述输入图像的时间的识别信息中的至少一个来获取采集页，所述采集页包含关于含有在适用语言的语法下正确组合的词组或语句的自动注释的信息和关于对所述被识别的对象的图像的信息中的至少一部分，当接收到关于所述采集页的注册请求时，按每个用户存储所述采集页；以及 探索任务管理部分，如果所述对象被所述用户采集的次数为预设的次数阈值以上，就提供这样的信息给所述用户，即在所述用户关于所述对象执行指定的行为的情况下向所述用户提供补偿。
9.根据权利要求8所述的终端装置，其中还包括在所述对象被所述用户采集的次数为预设的次数阈值以上时，向所述用户提供关于所述对象能执行的任务信息以及在执行了所述任务时提供的补偿信息的探索任务管理部分。
10.根据权利要求8所述的终端装置，其特征在于，在达成了另外再请求所述用户的关于所述对象的所述采集次数的情况下，所述探索任务管理部分向所述用户提供对所述用户提供补偿的信息。
11.根据权利要求8所述的终端装置，其特征在于，所述探索任务管理部分提供包含关于维护或销售所述对象的公司发行的赠券的信息的所述提供补偿的信息。
12.根据权利要求8所述的终端装置，其特征在于，所述采集执行部分从所述输入图像直接地获取或者从参照对象图像间接地获取关于所述对象的图像，所述参照对象图像是通过所述输入图像中包含的所述对象与所述参照对象图像之间的图像匹配获取的相似度在所述预设的相似度阈值以上的图像。
13.根据权利要求12所述的终端装置，其特征在于，所述采集执行部分以索引图像的形式获取关于所述被识别的对象的图像。
14.根据权利要求8所述的终端装置，其特征在于，所述采集执行部分以能按照所述终端装置的每个用户来管理的方式存储所述采集页。
15.根据权利要求14所述的终端装置，其特征在于，所述采集执行部分以能根据所述用户来管理所述采集页的方式分配虚拟空间。
16.一种计算机可读记录介质，所述计算机可读记录介质上记录有用于执行根据权利要求I到7中的任一项所述的方法的计算机程序。
【文档编号】G06F17/21GK103548025SQ201180068985
【公开日】2014年1月29日 申请日期:2011年12月29日 优先权日:2011年1月4日
【发明者】J.H.柳, H.N.柳 申请人:英特尔公司