基于手持式装置中的眼睛俘获的增强现实处理的制作方法

本发明涉及增强现实(AR)处理，其中俘获视频信息的装置可提供关于所述视频信息中的一个或一个以上对象的实时信息，且更特定来说，本发明涉及可改进且可能加速AR处理的技术。

背景技术：
可执行对视频序列的增强现实(AR)处理以便提供关于视频序列中出现的一个或一个以上对象的实时信息。通过AR处理，视频序列中出现的对象可被识别，使得可向用户显示关于视频序列中的对象的补充信息(即，增强信息)。所述补充信息可包括覆盖在视频序列的帧上的图形或文本信息，使得可向用户识别、界定或以其它方式描述对象。以此方式，AR可向用户提供相对于被实时俘获和显示的视频序列的增强实时体验。遗憾的是，AR处理可能非常复杂，且可能需要密集型处理能力。此外，在AR处理中，可能难以区分视频序列内的用户感兴趣的对象以及与用户无关的对象。补充性AR信息对于感兴趣的对象可为合意的，但对于无关对象可为较不合意的，或甚至不合意的。AR处理在手持式装置中可能特别有挑战性，所述手持式装置例如为蜂窝式电话、智能电话、数码相机或支持视频俘获的其它手持式装置，其中处理能力和电池电力是有限的。

技术实现要素：
本发明描述可改进且可能加速相对于视频序列图像中出现的对象产生增强现实(AR)信息的技术。为此，本发明的技术可俘获并使用关于视频装置的用户的眼睛的信息。所述视频装置可包含两个不同相机。第一相机经定向以俘获从用户向外的图像序列(例如，视频序列)，使得所述第一相机俘获所述用户正观看的场景。第二相机经定向以在所述第一相机俘获从所述用户向外的图像时俘获所述用户的所述眼睛的图像。如由所述第二相机的一个或一个以上图像俘获的所述用户的所述眼睛可用于产生概率图，且所述概率图可用于区分所述第一图像中的对象的优先级以用于AR处理。在一个实例中，本发明描述一种方法，所述方法包括使用手持式装置的第一相机俘获第一图像，所述第一相机相对于所述手持式装置的用户指向外；使用所述手持式装置的第二相机俘获第二图像，其中所述第二图像包含所述用户的眼睛；基于所述第二图像中的所述用户的所述眼睛而产生概率图；至少部分基于所述概率图而产生与所述第一图像中的一个或一个以上对象相关联的增强现实(AR)信息；以及与所述第一图像一起显示所述AR信息。在另一实例中，本发明描述一种手持式装置，所述手持式装置包括：第一相机，其经定向以在所述第一相机相对于所述手持式装置的用户指向外时俘获第一图像；第二相机，其经定向以在所述第一相机相对于所述用户指向外时俘获包含所述用户的眼睛的第二图像；AR单元，其基于所述第二图像中的所述用户的所述眼睛而产生概率图，且至少部分基于所述概率图而产生与所述第一图像中的一个或一个以上对象相关联的AR信息；以及显示器，其与所述第一图像一起显示所述AR信息。在另一实例中，本发明描述一种装置，所述装置包括：用于用手持式装置俘获第一图像的装置；用于用所述手持式装置俘获第二图像的装置，其中所述第二图像包含所述用户的眼睛且其中所述第一和第二图像被大体上同时俘获；用于基于所述第二图像中的所述用户的所述眼睛而产生概率图的装置；用于至少部分基于所述概率图而产生与所述第一图像中的一个或一个以上对象相关联的AR信息的装置；以及用于与所述第一图像一起显示所述AR信息的装置。本发明中所描述的技术可至少部分实施于硬件中，可能与硬件组合地使用软件或固件的若干方面。如果部分实施于软件或固件中，则可在例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)等一个或一个以上硬件处理器中执行软件或固件。可最初将执行所述技术的软件存储于计算机可读媒体中且在处理器中加载并执行。因此，本发明还预期一种包括指令的计算机可读存储媒体，所述指令在由处理器执行后即刻致使所述处理器：在从手持式装置的第一相机接收第一图像后，所述第一相机即刻相对于所述手持式装置的用户指向外，且在使用所述手持式装置的第二相机接收第二图像后，其中所述第二图像包含所述用户的眼睛，即刻基于所述第二图像中的所述用户的所述眼睛而产生概率图；至少部分基于所述概率图而产生与所述第一图像中的一个或一个以上对象相关联的AR信息；以及将所述AR信息输出到显示器。在另一实例中，本发明描述一种设备，所述设备可为用于实施本文中所描述的AR单元的处理器。在从手持式装置的第一相机接收第一图像后，所述第一相机即刻相对于所述手持式装置的用户指向外，且在使用所述手持式装置的第二相机接收第二图像后，其中所述第二图像包含所述用户的眼睛，所述设备可经配置以即刻基于所述第二图像中的所述用户的所述眼睛而产生概率图；至少部分基于所述概率图而产生与所述第一图像中的一个或一个以上对象相关联的AR信息；以及将所述AR信息输出到显示器。本发明的一个或一个以上方面的细节在附图及以下描述中陈述。从描述和图式并从权利要求书将明白本发明中所描述的技术的其它特征、目的和优点。附图说明图1为说明与本发明一致的示范性视频装置的框图。图2为说明与本发明一致的示范性视频装置的框图。图3A是说明由经定向以俘获从用户向外的场景的图像的第一相机俘获的帧的概念图。图3B是说明由经定向以俘获用户的眼睛的图像的第二相机俘获的帧的镜像版本的概念图。图3C是说明来自第一相机的图像的平铺版本的概念图。图3D是说明基于图3B中的用户的一只或多只眼睛的来自第二相机的图像的镜像版本的平铺近似的概念图，其中用阴影展示可能的感兴趣的区域。图4A是说明基于来自第一相机的图3C的平铺图像的示范性第一概率图的图。图4B是说明基于来自第二相机的图像的镜像版本的平铺近似的示范性第二概率图的图。图5是说明基于图4A和4B的第一和第二概率图的组合概率图的图。图6是说明具有在每一对象下方添加的AR信息的图像的概念图。图7和8是说明与本发明一致的用于产生和显示AR信息的示范性技术的流程图。具体实施方式本发明描述可改进且可能加速相对于视频序列图像中出现的对象产生增强现实(AR)信息的技术。本发明的技术可涉及俘获并使用视频装置的用户的一只或多只眼睛的图像。所述视频装置可包含两个不同相机，使得场景的视频序列可与正观看同一场景的装置的用户的眼睛的视频序列被同时俘获。第一相机可经定向以俘获从用户向外的图像序列(例如，视频序列)。第二相机可经定向以在所述第一相机俘获从所述用户向外的图像时俘获所述用户的所述眼睛的图像。如由所述第二相机的一个或一个以上图像俘获的所述用户的所述眼睛可用于产生概率图，且所述概率图可用于区分所述第一图像中的特定对象或所述第一图像内的特定区域或瓦片的优先级以用于AR处理。以此方式，用户的注意力(例如，如由用户的眼睛的位置或方向来界定)可提供可改进AR处理的信息，例如基于用户的眼睛将AR处理集中在感兴趣的对象上。根据本发明的技术，可界定对象识别算法以便基于由第二相机俘获的用户眼睛来区分第一相机的所俘获视频序列的区域的优先级。以此方式，用户眼睛的方向可提供反馈，所述反馈可改进快速识别所俘获视频序列内的感兴趣的对象的能力。可基于第二相机所俘获的图像中的用户眼睛而产生优先级图。在一些情况下，可基于由第一相机俘获的图像以及由第二相机俘获的图像(其包含用户眼睛)而产生两个优先级图。在此情况下，可将所述两个优先级图组合为组合优先级图，所述组合优先级图可用于相对于第一相机的所俘获视频序列的区域来区分AR处理的优先级。图1为说明与本发明一致的包含两个相机的示范性视频装置10的基本框图。视频装置10可实施于包含两个相机的例如蜂窝式电话等手持式装置(例如，手持机)中。或者，视频装置10可实施为另一类型的手持式装置，例如智能电话、平板计算机、膝上型计算机、个人游戏装置、数码相机，或包含两个相机且向用户实时显示AR信息的另一手持式装置。如图1中所示，视频装置10包含两个不同摄像机(第一摄像机12和第二摄像机14)，其用于大体上同时俘获两个不同视频序列。每一所俘获视频序列包括图像序列(有时称为视频帧序列)。术语“帧”和术语“图像”一般在本发明中可互换地使用以指代视频序列的图像帧，但所述技术也可应用于静态图像。第一视频序列的图像可与第二视频序列的图像时间同步，从而意味着第一相机12可与由第二相机14俘获的图像同时俘获连续图像。任何给定时刻可具有来自第一相机12的相关联图像和来自第二相机14的相关联图像，但可有可能针对第一相机12和第二相机14应用不同的帧速率，在此情况下，较慢帧速率相机的帧可对应于较高帧速率相机的每第N帧，其中N为整数。在任何情况下，由第二相机14俘获的图像内的用户的眼睛可向视频装置10提供关于用户相对于由第一相机12俘获的图像所感兴趣的区域的信息。第一摄像机12一般从用户指向外以便以正常方式俘获向外视频序列，例如，使得第一摄像机12一般俘获用户看到的相同视图。当第一摄像机12相对于用户向外定向时，第二摄像机14可经定向以俘获包含用户眼睛的视频序列。因此，第一摄像机12和第二摄像机14可在大体上相对的方向上定向，例如相对于彼此近似180度定向。其它定向也可起作用，只要第二相机俘获用户的眼睛且第一相机俘获与用户的视图相关联的图像即可。归因于不同相机的相对定向，可能需要“镜射”来自相机中的一者的图像，使得来自两个不同相机的图像从共同角度对准。然而，不一定需要镜射。增强现实(AR)单元16可相对于来自第一摄像机12和第二摄像机14的个别图像或序列而操作。来自第一摄像机12的第一图像以及来自第二摄像机14的第二图像可对应于相同时刻。因此，如由第二摄像机14俘获的用户的眼睛可用于辅助分析由第一摄像机12俘获的第一图像。用户的眼睛可界定指示注意方向的位置(例如，瞳孔的位置)。在一些情况下，眼睛越过视频帧的移动或眼睛焦点(如由用户的瞳孔的方向以及可能的大小确定)可用于界定注意方向。AR单元16可包括硬件，例如处理器或离散逻辑组件。在一些情况下，AR单元16可与硬件组合地实施软件。AR单元16可相对于由第一摄像机12俘获的第一视频序列执行AR处理，且可产生可覆盖在第一视频序列上的AR信息。由AR单元16执行的AR处理可包含对象识别算法，或用于产生或识别视频序列中的AR信息或对象的其它AR处理技术。所述AR信息可包括图形信息，文本信息、标记，或任何识别或修改在第一视频序列中俘获的对象的信息。由AR单元16执行的AR处理可包括对象匹配技术，其中将第一视频序列内的对象与可存储在库中的模板对象进行比较。AR单元16内的或AR单元16可存取的存储器(未图示)可存储模板以及关于此些模板的信息的库。如果AR单元16确定第一视频序列中的对象与特定模板对象充分匹配，那么可将关于模板对象的信息归于第一视频序列中的对象。AR单元16可执行对象比较、对象形状比较、色彩或明度比较，或其它类型的比较，以便确定给定对象是否与AR单元所存储或可存取的模板对象中的一者匹配。AR处理还可包含面部辨识技术、生物计量辨识技术，或其它技术，以识别第一视频序列中的对象(其可为一个或一个以上特定的人)。为了辅助对象识别过程，AR单元16可利用由用户眼睛位置、方向、移动或焦点(其由第二摄像机14俘获)提供的信息。由于用户可能注视感兴趣的对象，所以用户眼睛位置(以及可能的移动和焦点)可有助于AR单元16区分第一图像的区域的优先级以用于对象识别。举例来说，如果第一视频序列中的图像包含许多对象，但用户眼睛关注于视频序列的左上区域，那么可在对象识别技术中给予此左上区域优先级。给定有限量的处理能力、有限功率以及有限时间，使用用户眼睛(如由第二摄像机14俘获)可改进相对于由第一摄像机12俘获的第一视频序列的对象识别技术。第一摄像机12可俘获第一图像(或第一图像序列)，且第一摄像机12可相对于视频装置10的用户指向外。第二摄像机14可俘获第二图像(或第二图像序列)，且当第一摄像机12相对于用户指向外时，第二摄像机可经定向以俘获用户的眼睛。AR单元16可基于第二图像中的用户的眼睛而产生概率图，且可至少部分基于所述概率图而产生与第一图像中的一个或一个以上对象相关联的AR信息。输出装置18可随后与所述第一图像一起显示所述AR信息。如下文更详细地描述，所述概率图可包含多个瓦片，但本发明的技术不一定限于基于瓦片的方法。如果使用基于瓦片的概率图，那么至少部分基于第二图像中的用户眼睛，可给予概率图的一个或一个以上瓦片比其它瓦片高的优先级。在一些情况下，AR单元16可基于第一图像中的一个或一个以上对象而产生第一概率图，且产生第二概率图，其中所述第二概率图是基于所述第二图像中的用户眼睛的概率图。在此情况下，AR单元16还可基于第一和第二概率图而产生组合概率图，且基于组合概率图而产生AR信息。基于组合概率图而产生AR信息可包含基于组合优先级图而区分第一图像中的不同对象的优先级，且基于不同对象的优先级区分而执行对不同对象的对象识别。第一概率图可界定第一图像中的具有比第一图像中的其它区域高的包含感兴趣的对象的概率的一个或一个以上区域，且第二概率图可界定基于用户眼睛相对于第一图像中的其它区域具有更高的用户兴趣的概率的一个或一个以上区域。由于第一摄像机12和第二摄像机14可在相对方向上定向，所以从共同角度对准第一摄像机12和第二摄像机14的图像可为有帮助或合意的。因此，AR单元16还可产生第一或第二图像中的至少一者的镜像版本，使得第一和第二图像从共同角度对准，其中第一和第二概率图中的至少一者是基于所述镜像版本而产生。同样，由第一摄像机12和第二摄像机14俘获的第一和第二图像可时间同步，这意味着两个不同图像可对应于大体上类似的时刻。AR单元16可大体上实时地执行AR处理，且可针对第一图像序列和第二图像序列的每个图像来重复AR处理，其中第一图像序列与第二图像序列时间同步。然而，为了进一步节省电力并加速处理，在一些情况下，AR单元16可针对第一图像序列中的每第N图像以及第二图像序列中的每第N图像来执行AR处理，其中第一图像序列与第二图像序列时间同步，且其中N表示大于或等于2的整数。另外，AR单元16不一定需要逐图像地执行AR处理。在其它实例中，AR单元16进行的AR处理可相对于时间窗(例如，滑动窗)上的图像序列而发生。在此情况下，第一摄像机12可俘获第一图像序列，且第二摄像机14可俘获第二图像序列，其中所述第二图像序列包含用户的眼睛。AR单元16可基于第二图像序列中的用户的眼睛而产生多个概率图，且可至少部分基于所述多个概率图而产生AR信息。输出装置18可随后显示所述AR信息与所述第一图像序列。图2为说明与本发明一致的一个示范性视频装置20的更详细框图。在此实例中(类似于图1的实例)，视频装置20包含第一摄像机21、第二摄像机22、AR单元25以及显示器28(其为可显示AR信息的输出装置)。这些单元可类似于上文相对于图1的视频装置10而阐释的第一摄像机12、第二摄像机14、AR单元16以及输出装置18而操作。在图2的实例中，视频装置20还可包含额外组件，例如对所俘获视频序列执行图形处理的图形处理器26，以及可对所俘获或所接收的视频信息进行编码或解码的视频编解码器27(编码器-解码器)。举例来说，视频编解码器27可根据视频译码标准对视频序列进行编码或解码，所述视频译码标准例如为ITUH.264标准，或MPEG标准中的一者。AR单元25、图形处理器26以及视频编解码器27可实施为一个或一个以上处理器29。可将单独的处理器用于这些不同单元，或相同处理器可以可能地实施单元25、26和27中的两者或两者以上。视频装置20还可包含存储器23以存储数据，所述数据可包含视频序列。存储器23可存储由摄像机21和22俘获的原始视频序列，在此情况下，AR单元25可存取存储器23中的所存储的视频序列以便执行本文中所描述的AR处理。另外，存储器23还可存储由AR单元25在AR处理中使用的模板对象库。存储器23还可存储由图形处理器26输出的经处理视频序列或由视频编解码器27输出的经编码视频序列。内部存储器还可并入到一个或一个以上处理器29中以加速AR单元25、图形处理器26或视频编解码器27的处理。在一些情况下，存储器23还可能用于存储由AR单元25执行以执行本发明的技术的计算机可读指令。视频装置20还可包含发射器-接收器24，其促进经由天线19与其它装置的无线通信。发射器-接收器24可根据各种各样的无线协议中的任一者来操作，所述无线协议例如为码分多址(CDMA)或其它无线协议。发射器-接收器24可包含调制解调器，所述调制解调器根据CDMA调制及解调数据。可由发射器-接收器24使用的其它示范性无线技术可包含全球移动通信系统(GSM)系统、频分多址(FDMA)、时分多址(TDMA)、正交频分多址(OFDM)、蓝牙、IEEE802.11协议中的一者或一者以上、超宽带通信协议，或任何其它通信技术、标准或其组合。系统总线17可通信地耦合视频装置20的不同组件或单元。然而，可在不同组件或单元之间使用单独总线，或其它有线或无线接口，其取决于实施方案。在图2的实例中，视频装置20可对应于无线通信装置，例如无线手机或智能电话。出于简明起见，在图2中未说明许多处理组件，例如音频处理组件。同样，根据本发明，AR单元25可相对于由第一摄像机21俘获的第一视频序列执行AR处理，且可产生可覆盖在第一视频序列上的AR信息。由AR单元25执行的AR处理可包括对象匹配技术，其中将第一视频序列内的对象与可存储在存储器23的库中的模板对象进行比较。AR单元25可执行对象比较、对象形状比较、色彩或明度比较，或其它类型的比较，以便确定给定对象是否与模板对象中的一者匹配。如所提及，AR处理还可包含面部辨识技术、生物计量辨识技术，或其它技术，以识别第一视频序列中的对象(其可为一个或一个以上特定的人)。所产生的AR信息可用于补充由视频装置20显示的大量不同类型的信息。所述AR信息可包括关于对象的广告材料、对象或人的标记、方向、军事识别符、紧急信息、关于环境或位置的勘测或推测信息、建筑信息、观光信息、特定群组的合作者的合作信息、关于对象或人的娱乐或教育信息、对象内的虚拟“x射线”视图、音乐标记或识别符、用以辅助残疾人员的信息，或可产生且覆盖在图像或场景上的任何类型的信息。作为另一实例，AR信息可为虚拟现实信息。为了辅助对象识别过程，AR单元25可利用由用户眼睛的位置或瞳孔方向(其由第二摄像机22俘获)提供的信息。第一摄像机21可俘获第一图像(或第一图像序列)，且第一摄像机21可相对于视频装置20的用户指向外。第二摄像机22可俘获第二图像(或第二图像序列)，且当第一摄像机21相对于用户指向外时，第二摄像机可经定向以俘获用户的眼睛。AR单元25可基于第二图像(或第二图像序列)中的用户的眼睛而产生概率图，且可至少部分基于所述概率图而产生与第一图像(或第一图像序列)中的一个或一个以上对象相关联的AR信息。显示器28可随后显示AR信息与第一图像(或第一图像序列)。显示器28可包括视频装置20的取景器，或可由用户实时观看的任何显示器，但本发明的技术不限于任何特定显示器，且可适用于不实时显示图像的一些应用。在一些实例中，概率图可包含多个瓦片，且可至少部分基于第二图像中的用户眼睛而给予所述概率图的一个或一个以上瓦片比其它瓦片高的优先级。此外，在一些情况下，AR单元25可基于第一图像中的一个或一个以上对象而产生第一概率图，且产生第二概率图，其中所述第二概率图是基于所述第二图像中的用户眼睛的概率图。当AR单元25产生第一和第二概率图时，AR单元25还可基于第一和第二概率图而产生组合概率图，且基于所述组合概率图而产生AR信息。基于组合概率图而产生AR信息可包含基于组合优先级图而区分第一图像中的不同对象的优先级，且基于不同对象的优先级区分而执行对不同对象的对象识别。给定对象的优先级区分，可以优先级区分的次序处理此些对象。然而，在一些情况下，如果处理能力不足以处理所有对象，那么可跳过且不处理较低优先级的对象。第一概率图可界定第一图像中的具有比第一图像中的其它区域高的包含感兴趣的对象的概率的一个或一个以上区域，且第二概率图可界定基于用户眼睛相对于第一图像中的其它区域具有更高的用户兴趣的概率的一个或一个以上区域。由于第一摄像机21和第二摄像机22可在相对方向上定向，所以从共同角度对准第一摄像机21和第二摄像机22的图像可为有帮助或合意的。因此，AR单元25还可产生第一或第二图像中的至少一者的镜像版本，使得第一和第二图像从共同角度对准，其中第一和第二概率图中的至少一者是基于所述镜像版本而产生。图3A到3D是将从图1的视频装置10的角度描述的概念图，但以下论述也可适用于其它装置。图3A是说明由相对于用户向外定向的第一相机12俘获的帧(即，图像)的概念图。图3A中所示的来自第一相机12的帧可对应于特定时间(即，时间1)。图3B是说明由经定向以俘获用户的眼睛的第二相机14俘获的帧的镜像版本的概念图。如图3B中所示的由第二相机14俘获的帧的镜像版本可由AR单元16产生，使得图3A和3B中所示的第一和第二帧从共同角度对准。此镜射可能并非总是需要，但由于第一相机12和第二相机14一般指向相对方向，所以由第二相机14俘获的帧的镜像版本(图3B中所示)确保用户的眼睛说明相对于第一相机12所俘获的帧(图3A中所示)的焦点方向。对图像的处理次序(即，处理像素的次序)也可用于考虑到不同的图像定向，而非实际上需要产生镜像图像。然而，第二图像的镜像版本可有助于将用户的眼睛如何有助于在来自第一相机的向外俘获的图像中定位感兴趣的区域或感兴趣的对象概念化。图3C是说明来自第一相机的帧的平铺版本的概念图。平铺的层级可在不同实例中变化，因此图3C仅是示范性的。在此实例中，瓦片31包含对象1。瓦片32包含对象3。瓦片33和34各自包含对象2的一部分。对象4定位在帧内，使得对象4的若干部分定位在瓦片35、36、37和38内。图3D是基于图3B的图像中的用户眼睛的来自第二相机14的帧的镜像版本的平铺近似，其中用阴影展示可能的感兴趣的区域。在此实例中，瓦片301具有阴影，其可指示用户的眼睛朝向瓦片301定位、朝向瓦片301定向、指向瓦片301或以其它方式聚焦在瓦片301上的非常高的可能性。邻近于瓦片301的瓦片302、303和304也可具有阴影，以指示用户的眼睛朝向瓦片302、303或304定位、朝向瓦片302、303或304定向、指向瓦片302、303或304或以其它方式聚焦在瓦片302、303或304上的中等可能性。剩余瓦片没有任何阴影，从而指示剩余瓦片较不可能包含用户感兴趣的对象。图4A是基于来自第一相机12的图3C的平铺帧的示范性第一概率图。在此情况下，可基于不同区域包含将为针对AR处理感兴趣的对象的对象的可能性来向此些区域指派不同优先级。在此实例中，可给予区域41和42高优先级(例如，1.0)，因为这些区域与各自包含整个对象的瓦片相关联。可给予区域43和44中等优先级(例如，0.5)，因为这些区域与各自包含对象的一半的瓦片相关联。可给予区域45、46、47和48较低优先级(例如，0.25)，因为这些区域各自与包含少于对象的一半的瓦片相关联，且可给予剩余区域最低优先级(例如，0.1)，因为剩余区域不像包含任何对象或部分对象。图4B是基于来自第二相机14的图3C的帧的镜像版本的示范性第二概率图。根据本发明的一个实例，图4B的概率图可用于区分感兴趣的区域的优先级以供AR单元16进行AR处理。在此情况下，可给予区域401高优先级(例如，1)，可给予区域402、403和404较低优先级(例如，0.2)，且可给予剩余区域最低优先级(例如，0.1)。由于图4B的概率图是基于给定时间处的用户的眼睛(如由第二相机14俘获)，所以此概率图可有助于区分那个时间处的向外图像(如由第一相机12俘获)中的对象的AR处理的优先级。举例来说，第一图像的对应于区域401的瓦片可首先被处理，随后是第一图像的对应于区域402、403和404的瓦片。如果剩余处理能力和电力可用，那么可处理与概率图的剩余区域相关联的剩余瓦片。在一些情况下，可能需要组合图4A和4B的概率图以界定组合概率图。以此方式，可将关于用户的眼睛的信息与识别有可能具有对象(其可为感兴趣的对象)的区域的信息进行组合。图5说明基于图4A和4B的第一和第二概率图的组合概率图。图4A中的第一概率图的概率可与图4B中的第二概率图的概率相乘，以便产生图5的组合概率图。此产生用于不同瓦片的一系列优先级值，所述优先级值组合了关于用户的眼睛的信息以及识别有可能具有对象的区域的信息。在图5的组合概率图中，区域51具有优先级1，其为此实例中的最高可能的优先级。区域55具有下一最高优先级，即，优先级0.1。区域56和57具有优先级0.05，且区域58、59、61和62具有优先级0.025。区域52、53和54具有优先级0.02。剩余区域可具有概率0.01。由第一相机俘获的图像(例如，图3C中所示的平铺图像)的对应瓦片可由AR单元16以组合概率图所指派的优先级次序处理。在此情况下，首先处理瓦片31，因为区域51的概率在图5的组合概率图中具有最高值(即，1)。接下来，AR单元16基于区域55中的优先级值0.1而处理瓦片32。接下来，AR单元16基于区域56和57中的优先级值0.05而处理瓦片33和34。接下来，AR单元16基于区域58、59、61和62中的优先级值0.025而处理瓦片35、36、37和38。接下来，AR单元16基于区域52、53和54中的优先级值0.02而处理图3C中的邻近于瓦片31的瓦片。最终，可处理与概率图的剩余区域相关联的任何剩余区域。以此方式，基于用户的眼睛(如第二图像中所界定和俘获)以及存在对象的可能区域(如第一图像所界定)的组合因素来将优先级给予不同区域。图6是说明具有在每一对象下方添加的AR信息的图像的概念图。举例来说，AR信息63和64可覆盖在来自第一相机的原始帧上，使得识别出不同的对象。虽然将AR信息63和64说明为简单的文本标记，但AR信息可采用其它形式，包含例如图标或图像等图形信息，文本信息、标记，或识别或修改第一图像或第一图像序列中所俘获的对象的任何信息。作为说明，可产生人名或建筑物的名称或地址以作为AR信息并覆盖在相应对象上。可针对任何类型的对象产生AR信息，但可能需要限制用于任何给定图像的AR信息的量。本发明的优先级区分技术可用于限制AR信息，甚至对于处理能力不限制可执行的AR处理的量的情况也是如此。与本发明的技术一致，AR信息63的产生可比AR信息64的产生更有可能。这可从图5的组合概率图显而易见，其中区域51和55具有比区域56、57、58、59、61和62高的优先级值。可在较低优先级区域之前处理较高优先级区域，且因此，给定有限量的电力、时间或处理能力，图像的对应于概率图的较高优先级区域的对应区域可更有可能被AR信息覆盖。在此实例中，对象1周围的区域具有最高优先级，这归因于对象在那里(如在图4A中的第一概率图中所界定)以及基于用户的眼睛而指派的高概率(如在图4B的第二概率图中所界定)的组合概率。图7是说明与本发明一致的用于产生和显示AR信息的示范性技术的流程图。如图7中所示，第一摄像机12俘获包含对象的第一图像(71)，且第二摄像机14俘获包含用户的眼睛的第二图像(72)。AR单元16接收第一和第二图像，且基于第二图像中的用户的眼睛而产生第一图像中的对象的概率图(73)。AR单元16随后基于概率图而执行AR处理以产生用于第一图像中的对象中的一者或一者以上的AR信息(74)。举例来说，AR处理可包含对象比较、对象形状比较、色彩或明度比较，或其它类型的比较，以便确定给定对象是否与AR单元16所存储或可存取的模板对象中的一者匹配。AR处理还可包含面部辨识技术、生物计量辨识技术，或其它技术，以识别第一图像中的对象(其可为一个或一个以上特定的人)。一旦AR单元16产生AR信息，输出装置18可(例如)通过将AR信息覆盖在第一图像中的一个或一个以上对象上而显示AR信息与第一图像。图8是说明与本发明一致的用于产生和显示AR信息的另一示范性技术的流程图。如图8中所示，第一摄像机12俘获包含对象的第一图像序列(81)。AR单元16从第一摄像机12接收第一图像序列，且基于所述第一图像序列的一个或一个以上图像而产生第一概率图(82)。在大体上相同时间，第二摄像机14俘获包含用户的眼睛的第二图像序列(83)。AR单元16还从第二摄像机14接收第二图像序列，且基于所述第二图像序列的一个或一个以上图像中的用户的眼睛而产生第二概率图(84)。如所提及，可有可能针对第一和第二相机使用不同的取样速率，在这种情况下，本发明的AR处理可相对于具有与向外图像相同时刻下的用户眼睛的对应图像的向外图像而发生。AR单元16基于第一和第二概率图而产生组合概率图(85)，例如第一概率图与第二概率图的概率的组合概率。举例来说，第一概率图的概率可与第二概率图的概率相乘，以便产生组合概率图的不同概率。然而，在一些情况下，可在组合概率图中给予第一或第二概率图更多的权重。AR单元16接下来基于组合概率图来区分第一图像序列中的对象的优先级(86)，且根据对象的优先级区分而执行对不同对象的AR处理(87)。这意味着AR单元16处理被给予较高优先级的对象或位于概率图的具有较高优先级的区域中的对象，之后AR单元16处理被指派较低优先级的其它对象或位于概率图的具有较低优先级的区域中的其它对象。AR单元16一般在用以界定对象处理的次序的优先级区分方案之后产生用于不同对象的AR信息(88)。一旦AR单元16产生AR信息，输出装置18可(例如)通过将AR信息覆盖在第一图像中的一个或一个以上对象上而显示AR信息与第一图像(89)。本发明的技术可实施于广泛多种装置或设备中，包含例如移动电话等无线通信装置手持机、集成电路(IC)或IC组(即，芯片组)。提供已描述的任何组件、模块或单元是为了强调功能方面，且未必要求通过不同硬件单元来实现。本文中所描述的技术还可以用硬件、软件、固件或其任一组合来实施。被描述为模块、单元或组件的任何特征可共同地实施于集成逻辑装置中或分开实施为离散但可交互操作的逻辑装置。在一些情况下，各种特征可实施为集成电路装置，例如，集成电路芯片或芯片组。如果用软件实施，那么所述技术可至少部分地由包含指令的计算机可读媒体实现，所述指令当在处理器中执行时实施上述方法中的一者或一者以上。计算机可读媒体可包括有形计算机可读存储媒体，且可形成计算机程序产品(其可包含封装材料)的一部分。计算机可读存储媒体可包括例如同步动态随机存取存储器(SDRAM)等随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等。另外或替代地，所述技术可至少部分由载运或传送呈指令或数据结构的形式的代码且可由计算机存取、读取和/或执行的计算机可读通信媒体来实现。所述指令可由一个或一个以上处理器执行，例如，一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于经配置以用于编码及解码的专用软件模块或硬件模块内，或并入组合式视频编解码器中。并且，可将所述技术完全实施于一个或一个以上电路或逻辑元件中。本发明还预期包含用以实施本发明中所描述的技术中的一者或一者以上的电路的多种集成电路装置中的任一者。此电路可提供于单个集成电路芯片中或提供于所谓的芯片组中的多个可交互操作的集成电路芯片中。此些集成电路装置可用于多种应用中，所述应用中的一些可包含在无线通信装置(例如，移动电话手持机)中的使用。已在本发明中描述各种实例。这些及其它实例处于所附权利要求书的范围内。