专利名称：用于增强现实的装置和方法
技术领域：
本公开涉及用于增强现实的装置和方法。
发明内容
增强现实(AR)将真实世界图像与虚拟图像相结合。真实世界图像是实际可观察的场景，由相机或另一光学或电子传感器捕捉到。AR技术还使用标记来跟踪真实世界图像。该标记通常由黑白图案以及环绕该图案的黑色边界构成。一般地，AR技术确定与标记相对应的虚拟图像，并将虚拟图像叠加在标记上，以将虚拟图像与真实世界图像相结合。根据本公开，提供了用于AR的改进的装置和方法。
图I是示出了用于增强现实的装置的说明性实施例的框图。图2是示出了由图I所示的增强现实装置提供的增强服务的说明性实施例的示意图。图3是示出了用于增强现实的装置的另一说明性实施例的框图。图4是示出了标记的说明性示例的示意图。图5是示出了用于增强现实的方法的说明性实施例的流程图。图6是示出了根据说明性实施例的用于增强现实的屏幕的说明性示例的示意图。图7是示出了根据本公开的被布置用于增强现实的示例计算设备的框图。
具体实施例方式在一个实施例中，一种用于增强现实的装置包括图像获取单元，被配置为产生包括标记在内的真实世界图像；以及处理单元，被配置为从所述真实世界图像中检测所述标记，以及将与检测到的标记相对应的对象图像与所述真实世界图像相结合，以产生增强现实图像。所述标记包括至少两个不同的标记图像。在另一实施例中，一种处理设备包括显示单元，用于显示要向增强现实装置提供的标记，所述标记包括至少两个不同的标记图像。在又一实施例中，一种用于增强现实的方法包括从真实世界图像中检测标记；搜索与检测到的标记相对应的对象图像；以及将所述对象图像与所述真实世界图像相结合，以产生增强现实图像。所述标记包括至少两个不同的标记图像。在又一实施例中，一种计算机可读介质在其上存储有计算机程序，在由至少一个处理器执行所述计算机程序时，所述计算机程序使得所述处理器执行用于增强现实的方法。所述方法包括从真实世界图像中检测标记；搜索与检测到的标记相对应的对象图像；以及将所述对象图像与所述真实世界图像相结合，以产生增强现实图像。所述标记包括至少两个不同的标记图像。在以下具体描述中，参考了作为该描述的一部分的附图。在附图中，除非上下文另行指明，否则类似符号通常表示类似部件。在具体描述、附图和权利要求书中记载的说明性实施例并不是限制性的。在不脱离本文所呈现主题的精神或范围的情况下，可以利用其他实施例，且可以进行其他改变。应当容易理解，如本文一般性记载以及附图中示出的本公开的各方案可以按照在本文中明确公开的多种不同配置来部置、替换、组合、分割和设计。图I是示出了用于增强现实的装置的说明性实施例的框图。图2是示出了由图I所示的增强现实装置所提供的增强服务的说明性实施例的示意图。图I示出了包括彼此相关联的处理单元110和图像获取单元120在内的增强现实装置100。在一个实施例中，可以将增强现实装置100实现为计算机或便携式信息设备，如台式计算机、工作站、膝上型计算机、掌上计算机、超移动个人计算机(UMPC)、平板个人计算机(PC)、个人数字助理(PDA)、上网本、移动电话、智能电话、电子日记、MP3播放器、便携式多媒体播放器(PMP)等等，但不限于此。图像获取单元120可以被配置为捕捉包括标记MK在内的真实世界图像，并向处理 单元110发送该真实世界图像。作为示例，图像获取单元120可以包括(不限于)数字相机、视频相机、网络摄像头、光学传感器、或电子传感器等等。在一个实施例中，标记MK可以包括至少两个不同的标记图像，下文中将详细描述它们。处理单元110可以被配置为从图像获取单元120接收真实世界图像，并处理该真实世界图像。在一个实施例中，处理单元110可以通过使用对象识别技术(如，边缘匹配、灰阶匹配、以及梯度匹配(不限于此))，检测在真实世界图像中包含的标记MK，并针对与检测到的标记MK相对应的对象图像来搜索处理单元110的存储器或数据库(未示出)或单独的存储器或数据库(未示出)。在另一实施例中，处理单元110可以将与标记MK相对应的对象图像(例如，虚拟图形图像)与来自图像获取单元120的真实世界图像相结合，以产生增强图像。可以将处理单元110实现为单一芯片、多个芯片、或实现在多个电子组件上，且处理单元110可以具有以下形式(不限于此)专用或嵌入式处理器、单用途处理器、控制器、专用集成电路(ASIC)
坐坐寸寸ο图2示出了增强现实装置100捕捉包含标记MK的图像，将该图像显示在显示设备200上。作为示例，显示设备200可以包括例如液晶显示器、阴极射线管(CRT)、有机发光二极管、等离子显示监视器等等。在一个实施例中，显示设备200可以显示标记MK。如上所述，显示设备200可以是通用设备，如计算机、便携式信息设备、电视机等，但是可以将其设计为仅用于显示标记MK。显示设备200可以包括用于存储标记MK的标记信息的存储器(未示出)，且可以从外部服务器(未示出)提供标记信息(不限于此)。标记信息可以包括例如在标记MK中包括的标记图像的形状、颜色或显示间隔(不限于此)，下文中将详细描述它们。可以将标记信息包含在例如可以向显示设备200输出的图形交换格式(GIF)文件、flash文件、或动画文件中，但不限于此。尽管图2示出了增强现实装置100捕捉在显示设备200上显示的图像，对于本领域技术人员显而易见的是增强现实装置100可以捕捉在任何其他东西(如，纸张、塑料、木头、金属等等，且不限于此)上显示或打印的包括标记在内的图像。图3是示出了用于增强现实的装置的另一说明性实施例的框图。图3示出了增强现实装置300包括处理单元310、图像获取单元320、输入单元330、存储单元340和显示单元 350。处理单元310和图像获取单元320实质上分别类似于处理单元110和图像获取单元120。因此，将省略对处理单元310和图像获取单元320相关的详细描述。输入单元330可以从外部用户输入接收输入数据，并向处理单元310发送该输入数据。在一个实施例中，输入单兀330可以包括以下一项或多项触摸传感器、键盘和鼠标。例如，用户可以输入字符，以发起要由处理单元310处理的应用的开始。对于另一示例，用户可以使用输入单元330来选择显示单元350上的图形用户界面(GUI)的选项。存储单元340可以存储执行代码以及标记图像数据，并向处理单元310提供该代码和数据。例如，存储单元340可以存储标记图像数据，并在处理单元310请求时向处理单元310提供指令和/或数据。作为示例，标记图像数据可以包括与标记的形状或颜色相关的信息和/或与标记的形状或颜色相对应的对象图像、以及要由处理单元310用于检测在来自图像获取单元320的真实世界图像中包含的标记的算法或程序。存储单元340的示例 可以是(但不限于)只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、存储器卡、PC卡、CD-ROM、软盘或磁带。显示单元350可以在屏幕或监视器上显示各种信息，例如，由处理单元310产生的增强现实图像。显示单元350可以包括例如液晶显示器、阴极射线管(CRT)、有机发光二极管、等离子显示监视器等等，但不限于此。图4是示出了标记的说明性示例的示意图。该说明性示例可以由增强现实装置100或300来执行。在一个实施例中，标记MK可以包括彼此不同的至少两个图像。为了方便描述，下文中将标记MK中包含的每个图像称为标记图像。在一些实施例中，标记图像可以是二维或三维图。二维图的示例是三角形、四角形、六角形、圆形或星形，且三维图的示例是六面体、圆柱体、三棱柱、四面体、八面体、或球体。然而，图不限于此，且图可以具有各种东西的形状，如字符、数字、花、建筑结构等等。标记图像可以不具有图案化的形状，且标记图像的图可以具有彼此能够区分的任何形状。此外，标记图像不限于图形图像，而可以是真实世界图像。在一些实施例中，除了不同形状之外，标记图像可以具有不同的颜色。在一个实施例中，可以在显示设备(例如显示设备200)上以预定时间间隔、按照顺序反复显示一个标记MK中包括的一组标记图像。显示的标记图像可以位于标记MK的预定位置上。在两个显示的标记图像之间的时间间隔可以根据由图像获取单元120和320捕捉的真实世界图像的每秒帧数(帧每秒，fps)来确定。即，标记图像的显示间隔可以实质上等于图像获取单元120和320的fps数除以预定自然数。例如，对于图像获取单元120和320的30fps，显示设备可以用30Hz、15Hz、IOHz等为周期来显示标记图像。人眼可能无法识别在显示设备上以这种周期显示的标记图像。图4示出了例如由具有4个标记图像(即，立方体、圆柱体、三棱柱、以及截面为星形的柱体)的组所表示的4位标记MK。图4示出了包括4个标记图像(即，顺序为立方体、圆柱体、三棱柱、以及截面为星形的柱体)在内的标记MK，且按照顺序反复显示这四个标记图像。特别地，在显示设备上已显示了这4个图像(即，立方体、圆柱体、三棱柱、以及截面为星形的柱体))的第一系列之后，可以在预定时间间隔内在显示设备上显示这4个标记图像的第二系列。
在一个实施例中，每个标记图像可以具有预定的含义，从而标记MK可以通过将分别指派给标记图像的预定含义相结合来说明各种含义。例如，十个(10)标记图像可以分别表示零(O)至九(9)。在该情况下，具有十个标记图像的标记MK可以是数字的序列，且暗示对象图像类似于代表产品序列号的条形码。在另一示例中，二十八(28)个标记图像可以分别对应于英文字符从a至z、斜线以及句点。因此，具有二十八个标记图像的标记MK可以表示包含对象图像在内的统一资源定位符(URL)。标记图像的上述含义(如，数字或英文字符)仅是示例，且不限于此。可以用各种方式来定义标记图像的含义。在又一实施例中，除了表示对象图像的标记图像之外，标记MK还可以包括以下至少一项表示标记图像的开始的开始图像、表示标记图像的结束的结束图像、以及用于检测标记图像的错误的检查图像。标记MK可以包括环绕标记图像的边界以便容易检测，但不限于此。可以通过将标记图像的数目与标记图像的重复次数相乘来计算使用各种标记图像可以产生的标记的数目。例如，假定标记MK包括4个标记图像，且标记图像的组重复5次，则产生的标记MK的数目是256。因此，由4个不同标记图像产生的可能的4位标记MK 的数目是44 = 2 56。类似地，由4个不同标记图像产生的可能的5位标记MK的数目是45 =1024。标记图像可以是二维图、三维图等等，从而容易检测标记图像。此外，容易增加标记图像的数目和/或位，从而可以产生标记MK的数目。图5是示出了用于增强现实的方法的说明性实施例的流程图。可以由增强现实装置100来执行该方法的该说明性实施例。图像获取单元120可以捕捉在显示设备(例如，显示设备200)上显示的包括标记MK在内的真实世界图像(510)。在一个实施例中，标记MK可以包括以预定时间间隔、按照顺序反复显示的多个标记图像。图像获取单元120可以向处理单元110发送真实世界图像。处理单元110可以在从图像获取单元120接收到的真实世界图像中检测标记MK(520)。在一个实施例中，处理单元110可以按预定帧速率从真实世界图像中选择一些图像，并通过使用对象识别技术(如边缘匹配、灰阶匹配、以及梯度匹配(不限于此))从所选图像中检测标记图像。由于处理单元110具有与标记图像在显示设备上的显示间隔相关的信息，处理单元110可以在考虑到显示间隔的情况下确定帧。例如，当显示设备以15Hz为显示间隔显示标记图像且由图像获取单元120捕捉的每秒帧数是30fps时，处理设备110可以从每两帧的2个真实世界图像中选择一个图像，并从所选图像中检测标记图像。用户可以在考虑到图像获取单元120的每秒帧数的情况下，确定显示设备的显示标记图像的间隔。在一些实施例中，用户可以在考虑到显示设备的显示标记图像的间隔的情况下，确定图像获取单元120的每秒帧数。处理单元110可以通过使用标记图像的组合来解释标记MK。此处，对标记MK的“解释”指代对标记图像的预定含义进行解释。作为示例，可以将具有数字序列的标记MK解释为指示条形码。作为另一示例，可以将具有28个英文字符的标记MK解释为指示URL。在一个实施例中，处理单元110可以通过以下方式来解释标记MK :搜索已存储与标记图像的组合相对应的标记信息的存储器或数据库，在请求时从外部服务器接收标记信息，或使用标记图像的含义。处理单元110可以重复方框520至少两次，以增强标记识别的准确性。即，在检测第一组标记图像之后，可以检测第二组标记图像并将其与第一组标记图像比较，以确定标记识别是否正确。处理单元110可以从存储对象图像的存储器或数据库中搜索与检测到的标记MK相对应的对象图像(530)，或在请求时从外部服务器接收对象图像。处理单元110可以将对象图像与来自图像获取单元120的真实世界图像相结合(540)，以产生新的图像，即增强现实图像，以及在装置100中包括的、或作为外部设备的显示单元上显示该增强现实图像(550)。当结合图像时，可以将对象图像置于标记MK在真实世界图像中所处的位置上。同时，当标记MK包括三维图的标记图像时，处理单元110可以检测三维图的方向，并按照根据三维图的方向所确定的方向来显示该对象。尽管图5示出了在装置100上执行的方法的流程，对于本领域技术人员明显地是可以在装置300上执行该方法。在该情况下，输入单元330可以从外部用户输入接收输入 数据，并向处理单元310发送该输入数据。图像获取单元320可以捕捉在显示设备上显示的包括标记MK在内的真实世界图像，并向处理单元310发送该真实世界图像。处理单元310可以根据输入数据，从真实世界图像中检测标记图像，解释与标记图像的组合相对应的标记MK，并将对象图像与真实世界图像相结合。存储单元340可以存储标记信息和/或对象图像，并向处理单元310发送该标记信息和/或对象图像。显示单元350可以显示结合的图像。图6是示出了用于增强现实的屏幕的说明性示例的示意图。图6示出了在装置300的显示单元350上示出的增强图像。可以通过将包括标记MK在内的真实世界图像(例如，显示设备(例如，显示设备200)的图像,其中，在显示设备上示出了标记MK)叠加在对象图像(例如，球形对象0B)上来产生增强图像。球形对象OB可以是图形图像，且可以显示在标记MK所处的位置上。当用户在显示设备200上通过例如使用手、笔或鼠标沿着箭头移动标记MK时，球形对象OB也可以随之一起移动。在一个实施例中，用于增强现实的装置还可以可选地包括显示设备，例如显示设备200。作为示例，该装置可以可选地包括被配置为显示由装置100或300创建的增强现实的显示设备。在另一实施例中，用于增强现实的方法可以包括在显示设备上显示标记MK。作为示例，可以在图5的方法中捕捉真实世界图像(510)之前，执行对标记MK的显示。如上所述，由于标记图像的简单形状，用于增强现实的装置和方法的说明性实施例可以向用户提供对标记的容易识别，且产生大量的标记使得它们可以在增强现实领域中用作新类型的标记。还可以将这种装置和方法应用于各种领域，如设计、游戏、教育、搜索等
坐寸ο在一个实施例中，可以将用于增强现实的方法的说明性实施例应用于存储介质。该存储介质可以由计算机来读取，并包括用于执行可以由各种计算机实现的操作的程序指令。该介质可以记录用于执行上述增强现实方法的程序。该介质可以包括以下各项之一程序指令、数据文件、数据结构及其组合。介质的示例包括磁介质(如硬盘、软盘和磁带)、光介质(如CD、和DVD)、磁-光介质(如光可读软盘)、以及硬件设备(如R0M、RAM和闪存)，它们被配置为存储和执行程序指令。介质可以是传输介质，如光或金属线路、波导等等，它们包括具有信号的载波，该信号用于指定程序指令、数据结构等等。程序指令的示例可以包括可由编译器产生的机器代码，以及由计算机经由解释器执行的高级语言代码。
在说明性实施例中，可以将本文所述的任何操作、过程等实现为在计算机可读介质上存储的计算机可读指令。可以由移动单元、网络单元、和/或任何其他计算设备的处理器来执行该计算机可读指令。图7是示出了根据本公开的被布置用于增强现实的示例计算设备700的框图。在非常基本的配置701中，计算设备700典型地包括一个或多个处理器710以及系统存储器720。存储器总线730可用于在处理器710和系统存储器720之间进行通信。根据所期望的配置，处理器710可以是任意类型的，包括但不限于微处理器(μ P)、微控制器(μ C)、数字信号处理器(DSP)或其任意组合。处理器710可以包括一级或多级缓存(例如，一级高速缓存711和二级高速缓存712)、处理器核713、以及寄存器714。示例处理器核713可以包括算术逻辑单元(ALU)、浮点单元(FPU)、数字信号处理核(DSP核)或其任意组合。示例存储器控制器715也可以与处理器710—起使用，或者在一些实施方式中，存储器控制器715可以是处理器710的内部部件。根据所期望的配置，系统存储器720可以是任意类型的，包括但不限于易失性存 储器(如RAM)、非易失性存储器(如ROM、闪存等)或其任意组合。系统存储器720可以包括操作系统721、一个或多个应用程序722和程序数据724。应用程序722可以包括被布置用于执行如本文所述的功能的增强现实算723，所述的功能包括关于图5的过程510至550所描述的那些功能。程序数据724可以包括如下面进一步描述的有助于增强现实算法723的操作的增强现实数据725。在一些实施例中，应用程序722可以设置为在操作系统721上以程序数据724操作，使得可以如本文所述提供鲁棒的增强现实的实现。这里所描述的基本配置在图7中由虚线701内的部件来图示。计算设备700可以具有额外特征或功能以及额外接口，以有助于基本配置701与任意所需设备和接口之间进行通信。例如，总线/接口控制器740可以有助于基本配置701与一个或多个数据存储设备750之间经由存储接口总线741进行通信。数据存储设备750可以是可拆除存储设备751、不可拆除存储设备752或其组合。可拆除存储设备和不可拆除存储设备的示例包括磁盘设备(如软盘驱动器和硬盘驱动器(HDD))、光盘驱动器(如高密度盘(CD)驱动器或数字通用盘(DVD)驱动器)、固态驱动器(SSD)以及磁带驱动器，这仅仅是极多例子中的一小部分。示例计算机存储介质可以包括以任意信息存储方法和技术实现的易失性和非易失性、可拆除和不可拆除介质，如计算机可读指令、数据结构、程序模块或其他数据。系统存储器720、可拆除存储设备751和不可拆除存储设备752均是计算机存储介质的示例。计算机存储介质包括但不限于RAM、ROM、EEPR0M、闪存或其他存储器技术，CD-ROM、数字多功能盘(DVD)或其他光存储设备，磁盒、磁带、磁盘存储设备或其他磁存储设备，或可以用于存储所需信息并可以由计算设备700访问的任意其他介质。任何这种计算机存储介质可以是设备700的一部分。计算设备700还可以包括接口总线742，以有助于各种接口设备(例如，输出接口、外围设备接口和通信接口)经由总线/接口控制器740与基本配置701进行通信。示例输出设备760包括图形处理单元761和音频处理单元762，其可被配置为经由一个或多个A/V端口 763与多种外部设备(如显示器或扬声器)进行通信。示例外围设备接口 770包括串行接口控制器771或并行接口控制器772，它们可被配置为经由一个或多个I/O端口 773与外部设备(如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备等))或其他外围设备(例如，打印机、扫描仪等)进行通信。示例通信设备780包括网络控制器781，其可以被设置为经由一个或多个通信端口 782与一个或多个其他计算设备790通过网络通信链路进行通信。网络通信链路可以是通信介质的一个示例。通信介质典型地可以由调制数据信号(如载波或其他传输机制)中的计算机可读指令、数据结构、程序模块或其他数据来体现，并可以包括任意信息传送介质。“调制数据信号”可以是通过设置或改变一个或多个特性而在该信号中实现信息编码的信号。例如，但并非限制性地，通信介质可以包括有线介质(如有线网络或直接布线连接)、以及无线介质(例如声、射频(RF)、微波、红外(IR)和其他无线介质)。这里所使用的术语计算机可读介质可以包括存储介质和通信介质。计算设备700可以实现为小体积便携式(或移动)电子设备的一部分，如蜂窝电话、个人数据助理(PDA)、个人媒体播放设备、无线web浏览设备、个人耳机设备、专用设备或包括任意上述功能的混合设备。计算设备700也可以实现为个人计算机，包括膝上型计算机和非膝上型计算机配置。 在系统方案的硬件和软件实现方式之间存在一些小差别；硬件或软件的使用一般(但并非总是，因为在特定情况下硬件和软件之间的选择可能变得很重要)是一种体现成本与效率之间权衡的设计选择。可以各种手段(例如，硬件、软件和/或固件)来实施本文所描述的过程和/或系统和/或其他技术，并且优选的过程将随着所述过程和/或系统和/或其他技术所应用的环境而改变。例如，如果实现方确定速度和准确性是最重要的，则实现方可以选择主要为硬件和/或固件的手段；如果灵活性是最重要的，则实现方可以选择主要是软件的实施方式；或者，同样也是可选地，实现方可以选择硬件、软件和/或固件的特定组合。以上的详细描述通过使用框图、流程图和/或示例，已经阐述了设备和/或过程的众多实施例。在这种框图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种框图、流程图或示例中的每一功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本公开所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于可记录型介质，如软盘、硬盘驱动器、CD、DVD、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。本领域技术人员应认识到，本文详细描述了设备和/或过程，此后使用工程实践来将所描述的设备和/或过程集成到数据处理系统中是本领域的常用手段。即，这里所述的设备和/或过程的至少一部分可以通过合理数量的试验而被集成到数据处理系统中。本领域技术人员将认识到，典型的数据处理系统一般包括以下各项中的一项或多项系统单元外壳；视频显示设备；存储器，如易失性和非易失性存储器；处理器，如微处理器和数字信号处理器；计算实体，如操作系统、驱动程序、图形用户接口、以及应用程序；一个或多个交互设备，如触摸板或屏幕；和/或控制系统，包括反馈环和控制电机(例如，用于感测位置和/或速度的反馈；用于移动和/或调节成分和/或数量的控制电机)。典型的数据处理系统可以利用任意合适的商用部件(如数据计算/通信和/或网络计算/通信系统中常用的部件)予以实现。本文所述的主题有时说明不同部件包含在不同的其他部件内或者不同部件与不同的其他部件相连。应当理解，这样描述的架构只是示例，事实上可以实现许多能够实现相同功能的其他架构。在概念上，有效地“关联”用以实现相同功能的部件的任意设置，从而实现所需功能。因此，这里组合实现具体功能的任意两个部件可以被视为彼此“关联”从而实现所需功能，而无论架构或中间部件如何。同样，任意两个如此关联的部件也可以看作是彼此“可操作地连接”或“可操作地耦合”以实现所需功能，且能够如此关联的任意两个部·件也可以被视为彼此“能可操作地耦合”以实现所需功能。能可操作地耦合的具体示例包括但不限于物理上可配对和/或物理上交互的部件，和/或无线交互和/或可无线交互的部件，和/或逻辑交互和/或可逻辑交互的部件。至于本文中任何关于多数和/或单数术语的使用，本领域技术人员可以从多数形式转换为单数形式，和/或从单数形式转换为多数形式，以适合具体环境和应用。为清楚起见，在此明确声明单数形式/多数形式可互换。本领域技术人员应当理解，一般而言，所使用的术语，特别是所附权利要求中(例如，在所附权利要求的主体部分中)使用的术语，一般地应理解为“开放”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“至少具有”等)。本领域技术人员还应理解，如果意在所引入的权利要求中标明具体数目，则这种意图将在该权利要求中明确指出，而在没有这种明确标明的情况下，则不存在这种意图。例如，为帮助理解，所附权利要求可能使用了引导短语“至少一个”和“一个或多个”来引入权利要求中的特征。然而，这种短语的使用不应被解释为暗示着由不定冠词“一”或“一个”引入的权利要求特征将包含该特征的任意特定权利要求限制为仅包含一个该特征的实施例，即便是该权利要求既包括引导短语“一个或多个”或“至少一个”又包括不定冠词如“一”或“一个”(例如，“一”和/或“一个”应当被解释为意指“至少一个”或“一个或多个”)；在使用定冠词来引入权利要求中的特征时，同样如此。另外，即使明确指出了所引入权利要求特征的具体数目，本领域技术人员应认识到，这种列举应解释为意指至少是所列数目(例如，不存在其他修饰语的短语“两个特征”意指至少两个该特征，或者两个或更多该特征)。另外，在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和/或短语，无论是在说明书、权利要求书还是附图中，都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如，短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。另外，在以马库什组描述本公开的特征或方案的情况下，本领域技术人员应认识至IJ，本公开由此也是以该马库什组中的任意单独成员或成员子组来描述的。本领域技术人员应当理解，出于任意和所有目的，例如为了提供书面说明，这里公开的所有范围也包含任意及全部可能的子范围及其子范围的组合。任意列出的范围可以被容易地看作充分描述且实现了将该范围至少进行二等分、三等分、四等分、五等分、十等分等。作为非限制性示例，在此所讨论的每一范围可以容易地分成下三分之一、中三分之一和上三分之一等。本领域技术人员应当理解，所有诸如“直至”、“至少”、“大于”、“小于”之类 的语言包括所列数字，并且指代了随后可以如上所述被分成子范围的范围。最后，本领域技术人员应当理解，范围包括每一单独数字。因此，例如具有I 3个单元的组是指具有1、2或3个单元的组。类似地,具有I 5个单元的组是指具有1、2、3、4或5个单元的组，以此类推。尽管已经在此公开了多个方案和实施例，但是本领域技术人员应当明白其他方案和实施例。这里所公开的多个方案和实施例是出于说明性的目的，而不是限制性的，本公开的真实范围和精神由所附权利要求表征。
权利要求
1.一种用于增强现实的装置，包括 图像获取单元，被配置为产生包括标记在内的真实世界图像；以及 处理单元，被配置为从所述真实世界图像中检测所述标记，以及将与检测到的标记相对应的对象图像与所述真实世界图像相结合，以产生增强现实图像， 其中，所述标记包括至少两个不同的标记图像。
2.根据权利要求I所述的装置，还包括显示设备，被配置为显示所述标记图像。
3.根据权利要求2所述的装置，其中，以预定时间间隔、按照顺序在所述显示设备上显示所述标记图像。
4.根据权利要求2所述的装置，其中，所述标记图像的显示间隔实质上等于所述图像获取单元用于产生所述真实世界图像的每秒帧数除以预定自然数的商。
5.根据权利要求I所述的装置，其中，所述标记还包括以下至少一项表示所述标记图像的开始的开始图像、表示所述标记图像的结束的结束图像、以及用于检测所述标记图像的错误的检查图像。
6.根据权利要求I所述的装置，其中，所述标记由以下至少一项构成图形交换格式GIF文件、flash文件、以及动画文件。
7.根据权利要求I所述的装置，其中，所述标记图像中的每一个具有预定的含义。
8.根据权利要求I所述的装置，还包括显示单元，被配置为显示结合的图像。
9.根据权利要求I所述的装置，还包括存储单元，被配置为存储所述对象图像和/或与所述标记相关的信息。
10.根据权利要求I所述的装置，还包括输入单元，被配置为从外部用户输入接收输入数据并向所述处理单元发送所述输入数据。
11.一种处理设备，包括 显示单元，被配置为显示要向增强现实装置提供的标记，所述标记包括至少两个不同的标记图像。
12.根据权利要求11所述的设备，其中，所述显示单元以预定时间间隔、按照顺序显示所述标记图像。
13.根据权利要求11所述的设备，其中，所述标记图像的显示间隔实质上等于所述增强现实装置用于捕捉真实世界图像的每秒帧数除以预定自然数的商。
14.根据权利要求11所述的设备，其中，所述标记还包括以下至少一项表示所述标记图像的开始的开始图像、表示所述标记图像的结束的结束图像、以及用于检测所述标记图像的错误的检查图像。
15.一种用于增强现实的方法，所述方法包括 从真实世界图像中检测标记； 搜索与检测到的标记相对应的对象图像；以及 将所述对象图像与所述真实世界图像相结合，以产生增强现实图像， 其中，所述标记包括至少两个不同的标记图像。
16.根据权利要求15所述的方法，还包括产生包括所述标记的所述真实世界图像。
17.根据权利要求16所述的方法，还包括在从所述真实世界图像中检测所述标记之前，以预定时间间隔、按照顺序显示所述真实世界图像中包括的所述标记的标记图像。
18.根据权利要求17所述的方法，其中，显示所述标记图像包括以预定显示间隔来显示所述标记图像，其中，所述标记图像的所述预定显示间隔等于用于产生所述真实世界图像的每秒帧数除以预定自然数的商
19.根据权利要求15所述的方法，其中，所述标记还包括以下至少一项表示所述标记图像的开始的开始图像、表示所述标记图像的结束的结束图像、以及用于检测所述标记图像的错误的检查图像。
20.一种计算机可读介质，其上存储有计算机程序，当由至少一个处理器执行所述计算机程序时，所述计算机程序使得所述处理器执行根据权利要求15所述的方法。
全文摘要
公开了一种用于增强现实的方法。产生包括标记的真实世界图像，从该真实世界图像中检测标记，将与检测到的标记相对应的对象图像与该真实世界图像相结合，以及显示结合的图像。
文档编号H04N5/272GK102893596SQ201080066830
公开日2013年1月23日 申请日期2010年8月6日 优先权日2010年8月6日
发明者金宰亨, 洪钟哲, 金鸿根, 权峰基 申请人:比兹摩德莱恩有限公司