专利名称：用于提供窗口形式的增强现实的设备和方法
技术领域：
以下公开涉及提供增强现实(AR)服务的设备和方法，更具体地涉及ー种提供窗ロ形式的AR对象的设备和方法。
背景技术：
增强现实(AR)是ー种形式的虚拟现实，它可以提供通过组合用户的眼镜可观察到的真实世界视图和包括附加信息的虚拟世界而获得的图像。AR技术用虚拟世界图像补充了真实世界视图，使用计算机图形实现了虚拟世界环境，同时将真实时间环境保持为AR中的主要成分。计算机图像可以提供针对真实世界环境的附加信息。例如，三维(3D)虚拟图像可以与用户观看到的实际图像交叠从而真实世界环境和虚拟世界环境可能很难彼此区分开。虚拟现实技术使用户能够沉浸在虚拟世界环境中。为了实现AR，计算机可以识别标记(marker)，并且可以在显示屏幕上显示连接到该标记的3D图形模型。标记可以在ニ维 (2D)平面上实际存在，并且可以提供与连接到该标记的3D图形模型的大小、观看方向和位置相关联的信息。标记和3D图形模型可以基于用户的选择以各种形状来显示。
发明内容
本发明的示例性实施方式提供了一种用于提供窗ロ形式的增强现实(AR)服务的设备和方法，其可以显示AR对象，就好象AR对象是通过窗ロ来显示的一祥。本发明的其它特征将在以下说明中进行阐述，并且一部分根据该说明将是清楚的，或者可以从本发明的实践获知。本发明的示例性实施方式提供了一种用于提供增强现实的设备，所述设备包括窗ロ检测器，所述窗ロ检测器用于基于所捕获的对象的图像来确定第一区域和第二区域；信息处理器，所述信息处理器用于基于对所述对象的与第一区域相对应的第一观看方向来识别要在第一区域中显示的虚拟世界图像层的第一部分；以及图像处理器，所述图像处理器用于在第一区域中显示第一部分，并在第二区域中显示真实世界图像层。本发明的示例性实施方式提供了一种用于提供增强现实的设备，所述设备包括图像捕获装置，所述图像捕获装置用于捕获图像；标记识别单元，所述标记识别单元用于从所述图像中识别标记；窗ロ检测器，所述窗ロ检测器用于确定与所述标记相对应的第一区域；信息处理器，所述信息处理器用于基于相对于所述标记的观看方向来确定要在第一区域中显示的虚拟世界图像层的第一部分，所述虚拟世界图像层包括一个或者更多个增强现实对象；以及图像处理器，其用于显示在所述第一区域中显示所述第一部分。本发明的示例性实施方式提供了ー种提供增强现实的方法，所述方法包括以下步骤基于所捕获的对象的图像来确定第一区域和第二区域；基干与第一区域相对应的对象的第一观看方向来识别要在第一区域中显示的虚拟世界图像层的第一部分；以及在第一区域中显示第一部分，并在第二区域中显示真实世界图像层。本发明的示例性实施方式提供了ー种提供增强现实的方法，所述方法包括以下步骤使用图像捕获装置来捕获图像；从所述图像中识别标记；确定与所述标记相对应的第一区域；基于相对于所述标记的观看方向来确定要在第一区域中显示的虚拟世界图像层的第一部分，所述虚拟世界图像层包括一个或者更多个增强现实对象；以及在所述第一区域中显示所述第一部分。应当理解的是，前面的一般描述和后面的具体描述都是示例性和解释性的，并旨在对所要求保护的本发明提供进ー步的解释。。其它特征和方面将从详细描述、附图和权利要求中变得明显。
附图被包括进来以提供对本发明的进ー步理解，并结合到本申请中且构成本申请 的一部分，这些附图例示了本发明的示例性实施方式，并与说明书一起用于解释本发明的原理。图I是例示了根据本发明实施方式的以窗ロ形式提供的增强现实(AR)服务的图；图2是例示了根据本发明示例性实施方式的提供窗ロ形式的增强现实(AR)服务的设备的图；图3是例示了根据本发明示例性实施方式的提供窗ロ形式的增强现实(AR)服务的方法的流程图。
具体实施例方式下面将參照附图更加全面地描述示例性实施方式，附图中求出了示例性实施方式。然而，本公开可以以许多不同形式来实施，并且不应当解释为是对这里阐述的示例性实施方式的限制。而是，提供示例性这些实施方式从而本公开充分完全，并向本领域的技术人员全面传达本公开的范围。在描述中，可以省略已知特征和技术的细节以避免不必要的混淆本实施方式。这里使用的术语目的只是在于描述具体实施方式
，而不是要限制本公开。如这里使用的，未指明单复数意在还包括复数形式，除非上下文清楚地另有指明。因此，未指明单复数不表示对数量的限制，而表示存在至少ー个所引用的项目。措辞“第一”、“第二”等不暗示具体顺序，因而可以包括以标识各个元件。另外，措辞第一、第二等的使用不表示任何顺序或者重要性，而是措辞第一、第二可以用于将ー个元件和另ー个元件彼此区分。还要理解的是措辞“包括/包含”当在本说明书使用时是指存在陈述的特征、区域、要件、步骤、操作、元件或者部件但是不排除存在或者添加一个或者多个其他特征、区域、要件、步骤、操作、元件、部件和/或其组合。将理解为了本公开，“至少之一”解释为遵循各个语言所举例的要素的任意组合，包括多个举例的要素的组合。例如，“x、Y和Z中的至少ー个”将理解为仅仅X、仅仅Y、仅仅Ζ、或者Χ、Υ和Z的两个或者更多个的任意组合(例如，ΧΥΖ、ΧΖ、ΧΖΖ、ΥΖ、Χ)。本发明的示例性实施方式提供以窗ロ形式显示AR对象的增强现实(AR)服务设备和方法。图I是例示了根据本发明实施方式的以窗ロ形式提供的增强现实(AR)服务的图。參照图1，用户110可以捕获标记以从AR服务设备200接收AR服务。标记可以是显示特定信息(例如QR代码)的图像。此外，标记可以是包含可被诸如摄像机的图像捕获装置识别的ー个或者更多个确定特征点的图像。例如，AR服务设备200捕获的矩形对象可以被识别为标记，并且矩形对象的面积可以被确定为窗ロ区域120。此外，如果矩形对象是从观看方向310捕获的，则可以获得窗ロ区域120的平面与观看方向310之间的角，并且可以将该视角存储为视角Θ。此外，可以基于视角Θ来确定窗ロ区域120的面积。例如，可以按照以下公式I来定义窗ロ区域120的面积。[公式I]Aw = kAmsin Θ其中，Aw表示窗ロ区域120的面积，k表示系数，Am表示标记的面积，Θ表示视角。此外，可以基于AR服务设备200与标记之间的距离来获得“ k”。例如，“ k”可以跟AR服务设备200与标记之间的距离成反比。
AR服务设备200可以使后侧AR对象130、140和150通过与标记相对应的窗ロ区域120示出。AR服务设备200可以通过窗ロ区域120在要显示的显示画面上显示后侧AR对象130、140和150，因而可以基于AR服务设备200相对于与标记相对应的窗ロ区域120的位置或者投影角度来显示后侧AR对象130、140和150的一部分。在下文，通过窗ロ区域120显示的后侧AR对象130、140和150的那部分可以称为AR信息区域。基于包括标记所确定的窗ロ区域120的平面，该平面的前侧可以称为真实世界空间160，后侧可以称为虚拟世界空间170。真实世界空间160可以包括对所捕获的真实世界图像增强的ー个或者更多个前侧AR对象。虚拟世界空间170可以是包括一个或者更多个后侧AR对象的虚拟图像。增强现实(AR)对象可以是显示在AR服务设备200的显示画面上的ニ维或者三维图像。基于包括窗ロ区域120的平面，放置在该平面后侧的AR对象可以称为后侧AR对象，放置在该平面前侧的AR对象可以称为前侧AR对象。在AR服务设备200中，真实世界空间160可以作为第一层(“真实世界图像层”)而生成，虚拟世界空间170可以作为第二层(“虚拟世界图像层”)而生成。在AR服务设备200的显示画面上，可以显示第一层并且可以获得对应的第二层并且将其与第一层匹配。如果窗ロ区域120被显示在显示画面上，则可以通过窗ロ区域120来显示第二层的一部分。如果AR服务设备200相对于窗ロ区域120位于中央位置，则可以通过窗ロ区域120来显示后侧AR对象140，并且可以不显示后侧对象130和150，因为后侧对象130和150位于盲点上。此外，可以在约I到约O的范围内动态地控制第一层的透明度。例如，如果第一层的透 明度从I变到O. 7，则第二层的透明度可以从O变到O. 3。因而，后侧对象130和150可以与第一层的真实世界空间160 —起显示。图2是例示了根据本发明示例性实施方式的提供窗ロ形式的增强现实(AR)服务的设备的图。该设备可以称为AR服务设备200。參照图2,AR服务设备200包括控制器210、标记存储单元220、对象存储单元230、摄像机240、显示器250、标记识别单元211、窗ロ检测器212、位置估计器213、信息处理器214、图像处理器215以及增强现实(AR)执行器216。标记存储单元220可以存储标记信息和窗ロ区域信息。标记信息可以包括标记图像、用于标识标记的标记标识(ID)以及用于跟踪标记的位置或者角度的特征点中的至少ー个。窗ロ区域信息可以包括窗ロ区域120的大小、位置、形状、角度等。对象存储单元230可以存储与标记相对应的AR对象信息。所存储的AR对象信息可以是用于生成3D AR图像的三维(3D)模型信息。此外，AR对象可以包括ニ维(2D)图像或者3D图像。所存储的AR对象信息可以是运动信息以及可以与对应的AR对象的运动相关联的3D模型信息。AR对象信息可以与对应的AR对象一起用于AR游戏。此外，所存储的AR对象信息可以是与用于各种目的的3D模型信息相关联的数据，例如，文件数据、音乐数据、声音数据等。此外，所存储的AR对象信息可以包括与具有访问对应数据的权限的传输介质相关联的信息。传输介质可以通过网络连接来连接。例如，用·户可以按照各种方式使用所存储的AR对象信息来玩游戏或者共享数据。如果与声音相关联的AR对象被显示为接近用户，则与该AR对象相关联的声音可以増大。如果AR对象被显示为从用户离开，则声音可以减小。如果AR对象被选择，则可以基于所选择的AR对象的特征来实时地接收或者共享声音文件。基于窗ロ区域存在的平面，可以将AR对象信息分类为与后侧AR对象相关联的信息和与前侧AR对象相关联的信息。后侧AR对象可以是位于窗ロ区域所存在的平面的后侧的AR对象。前侧AR对象可以是位于窗ロ区域所存在的平面的前侧的AR对象。前侧AR对象可以包括与窗ロ区域120的窗框相对应的AR对象。具体来讲，可以在显示器250上显示窗框形状的AR对象。可以根据与AR服务设备200的摄像机240所捕获的窗ロ区域120相对应的标记的位置来显示和重定位窗框形状的AR对象。摄像机240可以向标记识别单元211和/或显示器250提供静态图像或者预览图像。如果摄像机240的位置或者视角发生改变，则预览图像可以实时地改变。在提供到标记识别単元211和/或显示器250之前，摄像机240捕获的图像可以被图像校正处理或者摄像机校正处理修改。显示器250可以显示与AR服务设备200相关联的信息、指示符、数字、字符、运动图像、静止图像等。显示器250可以显示从摄像机240接收的标记，并且可以显示前侧AR对象和/或图像处理器215生成的AR信息区域的一部分或者全部。标记识别单元211可以识别预览图像或者从摄像机240捕获的静态图像中包括的
ο窗ロ检测器212可以检测对应于标记的窗ロ区域120。窗ロ区域120的大小可以不涉及标记的大小，或者窗ロ区域120和标记可以具有相同大小或者对应或者相关的大小。此外，可以基于标记的大小和/或标记与AR服务设备200之间的距离来确定窗ロ区域120的大小。位置估计器213可以确定标记与AR服务设备200之间的位置关系。此外，位置估计器213可以确定窗ロ区域120与AR服务设备200之间的位置关系。信息处理器214可以确定AR信息和与标记相对应并且要在窗ロ区域120的后侧显示的AR对象。此外，信息处理器214可以基于该位置关系来确定要通过窗ロ区域120显不的AR信息区域的一部分。为了将后侧AR对象显示为好象后侧AR对象是通过窗ロ区域120示出的，位于窗ロ区域120后方的虚拟世界空间170的盲点的后侧AR对象可以不在显示器250上显示。此夕卜，信息处理器214可以确定可以从虚拟世界空间170通过窗ロ区域120显示的AR信息区域。具体来讲，信息处理器214可以确定与当从AR服务设备200的观看方向观看时可以通过窗ロ区域120示出的后侧AR对象的区域相对应的AR信息区域。图像处理器215可以在窗ロ区域120中显示所确定的AR信息区域。该AR信息区域可以与当从AR服务设备 200的观看方向观看时通过窗ロ区域120示出的后侧AR对象的区域相对应。例如，返回图I，如果从窗ロ区域120的左侧观看窗ロ区域120，则可以通过窗ロ区域120显示花形AR对象150。如果从窗ロ区域120的右侧观看窗ロ区域120，则可以通过窗ロ区域120显示蝴蝶形AR对象130。如果从窗ロ区域120的前侧观看窗ロ区域120，则可以通过窗ロ区域120显示树形AR对象140。后侧AR对象130、140和150的位置信息可以存储在对象存储单元230中。后侧AR对象130、140和150可以显示为绕着显示器250移动。后侧AR对象130、140和150可以是3D图像并且显示为通过窗ロ区域120移动并且变为前侧AR对象。图像处理器215可以确定对应于标记的前侧AR对象，并且可以基于窗ロ区域120和AR服务设备200的位置来显示前侧AR对象。随着AR被执行，AR执行器216可以处理后侧AR对象或者后侧AR对象的运动。控制器210可以控制AR服务设备200的操作。控制器210可以执行标记识别单元211、窗ロ检测器212、位置估计器213、信息处理器214、图像处理器215和AR执行器216的操作的一部分者全部。単独例示了控制器210、标记识别单元211、窗ロ检测器212、位置估计器213、信息处理器214、图像处理器215和AR执行器216以描述各自的操作。控制器210可以包括一个或者更多个处理器以执行标记识别单元211、窗ロ检测器212、位置估计器213、信息处理器214、图像处理器215和AR执行器216的操作的一部分者全部。在下文，将參照图3来描述根据本发明示例性实施方式提供窗ロ形式的AR服务的方法。图3是例示了根据本发明示例性实施方式的提供窗ロ形式的增强现实(AR)服务的方法的流程图。图3将被描述为似乎被图2所示的AR服务设备200进行，但是不限于此。參照图3，在操作310，AR服务设备200可以捕获图像。图像可以是当AR服务设备200操作摄像机240时实时捕获的预览图像。在操作312，AR服务设备200可以确定是否从所捕获的图像中识别出标记。如果确定未识别出标记，则AR服务设备200可以返回操作 310。如果识别出标记，则在操作314，AR服务设备200可以跟踪并且检测对应于标记的窗ロ区域。窗ロ区域可以是如图I所示的窗ロ区域120。在操作316，AR服务设备200可以基于标记的特征点来确定标记与AR服务设备200之间的位置关系。此外，AR服务设备200可以基于标记的特征点来确定窗ロ区域与AR服务设备200之间的位置关系。在操作318，AR服务设备200可以确定指示与对应于标记的后侧AR对象相关联的AR信息。在操作320，AR服务设备200可以基于位置关系来确定要通过窗ロ区域显示的AR信息区域。
在操作322，AR服务设备200可以确定是否显示前侧对象。AR服务设备200可以确定与前侧AR对象相关联的信息。在操作324，AR服务设备200可以在窗ロ区域中显示AR信息区域，并且如果确定要显示前侧AR对象则可以在真实世界空间160中显示前侧AR对象。可以在窗ロ区域中显示AR信息区域，因而，AR信息区域中的后侧AR对象可以被显示为好象AR信息区域是通过窗ロ区域示出的。在操作326，如果前侧AR对象不存在，则AR服务设备200可以在显示区域中显示AR信息区域。在操作S328，随着AR被执行，AR服务设备216可以处理后侧AR对象或者后侧AR对象的运动。根据本发明的示例性实施方式可以记录在包括用于由计算机实现的实现各个操作的程序指令的计算机可读介质中。介质可以还独立地或者与节目指令一起包括数据文 件、数据结构等。介质和程序指令可以是为了本发明的目的而特别指定和构建的，或者可以是本领域技术人员已知并且可用的种类。计算机可读介质的示例包括磁介质，诸如硬盘、软盘和磁带等；诸如CD-ROM和DVD的光学介质；诸如光软盘的磁光介质；以及特别配置以存储和执行程序指令的硬件装置，诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存等。程序指令的示例包括诸如编译器产生的机器代码、和包含可被计算机使用解码器执行的更高级别代码的文件两者。所描述的硬件装置可以配置以用作一个或者更多个软件模块以进行本发明的上述实施方式的操作。根据本发明的示例性实施方式，用于提供AR服务的设备和方法可以基于AR服务设备的位置和基于标记而确定的窗ロ的大小以对应于标记的窗ロ形式来显示AR对象，并且可以显示位于窗ロ区域的后侧的AR对象以提供窗ロ形式。对于本领域技术人员而言，很明显，可以在不脱离本发明的精神或范围的情况下对本发明做出各种修改和变化。由此，本发明g在覆盖本发明的全部修改和变化只要它们落入所附的权利要求和等同物的范围内。本申请要求2011年I月13日提交的韩国专利申请No. 10-2011-0003691和2011年6月9日提交的韩国专利申请No. 10-2011-0055515的优先权，其整体在此通过引用并入如同在此全面阐述。
权利要求
1.一种用于提供增强现实的设备，该设备包括 窗ロ检测器，其用于基于所捕获的对象的图像来确定第一区域和第二区域； 信息处理器，其用于基于对所述对象的与所述第一区域相对应的第一观看方向来识别要在所述第一区域中显示的虚拟世界图像层的第一部分；以及 图像处理器，其用于在所述第一区域中显示所述第一部分，并在所述第二区域中显示真实世界图像层。
2.根据权利要求I所述的设备，该设备还包括 标记识别单元，其用于识别由图像捕获装置捕获的标记，该标记包括特征点； 位置估计器，其用于基于所述特征点来获得所述标记的位置信息， 其中，所述第一区域是基于所述标记的位置信息而确定的。
3.根据权利要求I所述的设备，其中，所述第一区域被配置为，如果从所述第一观看方向观看所述对象，则显示所述虚拟世界图像层的所述第一部分，并且 所述第一区域被配置为，如果从第二观看方向观看所述对象，则显示所述虚拟世界图像层的第二部分。
4.根据权利要求I所述的设备，该设备还包括 标记识别单元，其用于识别由图像捕获装置捕获的标记；以及 位置估计器，其用于获得从所述图像捕获装置朝向所述标记的所述第一观看方向， 其中，所述信息处理器基干与所述第一部分相对应的所述第一观看方向来识别布置于要在所述第一区域中显示的所述第一部分中的第一增强现实对象。
5.根据权利要求4所述的设备，其中 所述位置估计器获得从所述图像捕获装置朝向所述标记的第二观看方向， 所述信息处理器基干与所述第二部分相对应的第二观看方向来识别布置于要在所述第一区域中显示的所述虚拟世界图像层的第二部分中的第二增强现实对象，并且所述图像处理器在所述第一区域中显示所述第二增强现实对象。
6.根据权利要求I所述的设备，其中，所述虚拟世界图像层的所述第一部分包括第一增强现实对象，如果所述第一增强现实对象被显示为朝向所述真实世界图像层移动，则所述第一增强现实对象改变为所述真实世界图像层的一部分。
7.一种用于提供增强现实的设备，该设备包括 图像捕获装置，其用于捕获图像； 标记识别单元，其用于从所述图像中识别标记； 窗ロ检测器，其用于确定与所述标记相对应的第一区域； 信息处理器，其用于基于相对于所述标记的观看方向来确定要在所述第一区域中显示的虚拟世界图像层的第一部分，所述虚拟世界图像层包括一个或更多个增强现实对象；以及 图像处理器，其用于在所述第一区域中显示所述第一部分。
8.根据权利要求7所述的设备，该设备还包括位置估计器，该位置估计器用于基于所述标记的位置来确定所述第一区域的位置。
9.根据权利要求7所述的设备，该设备还包括位置估计器，该位置估计器用于计算所述图像捕获装置与所述标记之间的距离并获得所述观看方向，其中，所述窗ロ检测器基于所述距离和所述观看方向来确定所述第一区域的大小。
10.根据权利要求7所述的设备，其中，所述图像处理器显示在所述虚拟世界图像层的所述第一部分中布置的第一增强现实对象。
11.ー种提供增强现实的方法，该方法包括以下步骤 基于所捕获的对象的图像来确定第一区域和第二区域； 基于对所述对象的与所述第一区域相对应的第一观看方向来识别要在所述第一区域中显示的虚拟世界图像层的第一部分；以及 在所述第一区域中显示所述第一部分，并在所述第二区域中显示真实世界图像层。
12.根据权利要求11所述的方法，该方法还包括以下步骤 识别由图像捕获装置捕获的标记，该标记包括特征点； 基于所述特征点来获得所述标记的位置信息， 其中，所述第一区域是基于所述标记的位置信息而确定的。
13.根据权利要求11所述的方法，其中，所述第一区域被配置为，如果从所述第一观看方向观看所述对象，则显示所述虚拟世界图像层的所述第一部分，并且 所述第一区域被配置为，如果从第二观看方向观看所述对象，则显示所述虚拟世界图像层的第二部分。
14.根据权利要求11所述的方法，该方法还包括以下步骤 识别由图像捕获装置捕获的标记； 获得从所述图像捕获装置朝向所述标记的所述第一观看方向；以及基干与所述第一部分相对应的所述第一观看方向来识别布置于要在所述第一区域中显示的第一部分中的第一增强现实对象。
15.根据权利要求14所述的方法，该方法还包括以下步骤 获得从所述图像捕获装置朝向所述标记的第二观看方向；以及 在所述第一区域中显示所述虚拟世界图像层的第二部分，所述第二部分对应于所述第ニ观看方向。
16.根据权利要求11所述的方法，其中，如果所述虚拟世界图像层的第一增强现实对象被显示为朝向所述真实世界图像层移动，则所述第一增强现实对象改变为所述真实世界图像层的一部分。
17.ー种提供增强现实的方法，该方法包括以下步骤 使用图像捕获装置来捕获图像； 从所述图像中识别标记； 确定与所述标记相对应的第一区域； 基于相对于所述标记的观看方向来确定要在所述第一区域中显示的虚拟世界图像层的第一部分，所述虚拟世界图像层包括一个或更多个增强现实对象；以及在所述第一区域中显示所述第一部分。
18.根据权利要求17所述的方法，该方法还包括以下步骤基于所述标记的位置来确定所述第一区域的位置。
19.根据权利要求17所述的方法，该方法还包括以下步骤 计算所述图像捕获装置与所述标记之间的距离，并获得所述观看方向，以及基于所述距离和所述观看方向来确定所述第一区域的大小。
20.根据权利要求17所述的方法，该方法还包括以下步骤显示在所述虚拟世界图像层的所述第一部分中布置的第一增强现实对象。
全文摘要
本发明公开了用于提供窗口形式的增强现实的设备和方法。该设备包括窗口检测器，其用于基于所捕获的对象的图像来确定第一区域和第二区域；信息处理器，其用于基于对所述对象的与第一区域相对应的第一观看方向来识别要在所述第一区域中显示的虚拟世界图像层的第一部分；以及图像处理器，其用于在第一区域中显示第一部分，并在第二区域中显示真实世界图像层。该方法包括以下步骤基于所捕获的对象的图像来确定第一区域和第二区域；基于对所述对象的与第一区域相对应的第一观看方向来识别要在第一区域中显示的虚拟世界图像层的第一部分；以及在第一区域中显示第一部分，并在第二区域中显示真实世界图像层。
文档编号G06F9/44GK102693125SQ20121000899
公开日2012年9月26日 申请日期2012年1月12日 优先权日2011年1月13日
发明者安启赫, 朴炯一, 李钟权 申请人:株式会社泛泰