多相机设备的制作方法

本说明书涉及使用相机(例如，使用移动通信设备或类似设备的相机)捕获内容。

背景技术：

包括相机的移动通信设备是已知的。此外，已知在移动通信设备的前面和后面都提供这样的相机。但是，很难针对前置和后置相机两者的图像提供良好的成帧，尤其是在同时使用两个相机时。

技术实现要素：

在第一方面，本说明书描述了一种方法，该方法包括：从多相机设备的第一相机获得第一输入数据；从多相机设备的第二相机获得第二输入数据，其中第二相机被定向在与第一相机不同的方向上；定义针对第一相机的第一感兴趣区域或对象以及/或者针对第二相机的第二感兴趣区域或对象；跟踪第一感兴趣区域或对象以及/或者第二感兴趣区域或对象；基于第一输入数据生成第一输出数据；基于第二输入数据生成第二输出数据；以及生成多相机输出，该多相机输出包括第一输出数据和第二输出数据。第一相机可以是前置相机。第二相机可以是后置相机。第一输入数据可以是来自第一相机的视场的数据。第二输入数据可以是来自第二相机的视场的数据。

第一输出数据可以是来自第一相机的视口的数据，其中第一相机的视口比第一相机的视场窄。备选地或另外地，第二输出数据可以是来自第二相机的视口的数据，其中第二相机的视口比第二相机的视场窄。

第一感兴趣区域或对象以及/或者第二感兴趣区域或对象可以由用户指示来定义。

跟踪第一感兴趣区域或对象可以包括：将第一感兴趣区域或对象保持在第一输出数据内。备选地或另外地，跟踪第二感兴趣区域或对象可以包括：将第二感兴趣区域或对象保持在第二输出数据内。

该方法可以包括：当第一感兴趣区域或对象以及/或者第二感兴趣区域或对象移动到相关相机的视场的外部时，停止跟踪所述感兴趣区域或对象。该方法还可以包括：当第一感兴趣区域或对象以及/或者第二感兴趣区域或对象在相关相机的视场内移回时，恢复对所述感兴趣区域或对象的跟踪。

该方法还可以包括：当第一感兴趣区域或对象以及/或者第二感兴趣区域或对象移动到相关相机的视场的外部时，提供警报。

该方法还可以包括：取消选择针对第一相机的第一感兴趣区域或对象以及/或者针对第二相机的第二感兴趣区域或对象，并且停止跟踪被取消选择的感兴趣区域或对象。

多相机输出可以并排或者一个输出数据在另一个输出数据之上呈现第一输出数据和第二输出数据。

在第二方面，本说明书描述了一种装置，该装置被配置为执行参考第一方面描述的任何方法。

在第三方面，本说明书描述了一种计算机可读指令，该计算机可读指令在由计算装置执行时使计算装置执行参考第一方面描述的任何方法。

在第四方面，本说明书描述了一种装置，该装置包括：用于从多相机设备的第一相机获得第一输入数据的部件；用于从多相机设备的第二相机获得第二输入数据的部件，其中第二相机被定向在与第一相机不同的方向上；用于定义针对第一相机的第一感兴趣区域或对象以及/或者针对第二相机的第二感兴趣区域或对象的部件；用于跟踪第一感兴趣区域或对象以及/或者第二感兴趣区域或对象的部件；用于基于第一输入数据生成第一输出数据的部件；用于基于第二输入数据生成第二输出数据的部件；以及用于生成多相机输出的部件，该多相机输出包括第一输出数据和第二输出数据。第一输入数据可以是来自第一相机的视场的数据。第二输入数据可以是来自第二相机的视场的数据。第一输出数据可以是来自第一相机的视口的数据，其中第一相机的视口比第一相机的视场窄。第二输出数据可以是来自第二相机的视口的数据，其中第二相机的视口比第二相机的视场窄。第一相机可以是前置相机。第二相机可以是后置相机。第一输入数据可以是来自第一相机的视场的数据。第二输入数据可以是来自第二相机的视场的数据。

第一输出数据可以是来自第一相机的视口的数据，其中第一相机的视口比第一相机的视场窄。备选地或另外地，第二输出数据可以是来自第二相机的视口的数据，其中第二相机的视口比第二相机的视场窄。

第一感兴趣区域或对象以及/或者第二感兴趣区域或对象可以由用户指示来定义。

跟踪第一感兴趣区域或对象可以包括：将第一感兴趣区域或对象保持在第一输出数据内。备选地或另外地，跟踪第二感兴趣区域或对象可以包括：将第二感兴趣区域或对象保持在第二输出数据内。

该装置可以包括用于以下的部件：当第一感兴趣区域或对象以及/或者第二感兴趣区域或对象移动到相关相机的视场的外部时，停止跟踪所述感兴趣区域或对象。该装置还可以包括用于以下的部件：当第一感兴趣区域或对象以及/或者第二感兴趣区域或对象在相关相机的视场内移回时，恢复对所述感兴趣区域或对象的跟踪。

该装置还可以包括用于以下的部件：当第一感兴趣区域或对象以及/或者第二感兴趣区域或对象移动到相关相机的视场的外部时，提供警报。

该装置还可以包括用于以下的部件：取消选择针对第一相机的第一感兴趣区域或对象以及/或者针对第二相机的第二感兴趣区域或对象，并且停止跟踪被取消选择的感兴趣区域或对象。

多相机输出可以并排或者一个输出数据在另一个输出数据之上呈现第一输出数据和第二输出数据。

所述部件可以包括：至少一个处理器；以及至少一个存储器，该至少一个存储器包括计算机程序代码，至少一个存储器和计算机程序被配置为与至少一个处理器一起引起该装置的执行。

在第五方面，本说明书描述了一种装置，该装置包括：至少一个处理器；以及至少一个存储器，该至少一个存储器包括计算机程序代码，该计算机程序代码在由至少一个处理器执行时使该装置：从多相机设备的第一相机获得第一输入数据；从多相机设备的第二相机获得第二输入数据，其中第二相机被定向在与第一相机不同的方向上；定义针对第一相机的第一感兴趣区域或对象和以及/或者针对第二相机的第二感兴趣区域或对象；跟踪第一感兴趣区域或对象以及/或者第二感兴趣区域或对象；基于第一输入数据生成第一输出数据；基于第二输入数据生成第二输出数据；以及生成多相机输出，该多相机输出包括第一输出数据和第二输出数据。第一输入数据可以是来自第一相机的视场的数据，并且第二输入数据可以是来自第二相机的视场的数据。第一输出数据可以是来自第一相机的视口的数据(其中第一相机的视口比第一相机的视场窄)，以及/或者第二输出数据可以是来自第二相机的视口的数据(其中第二相机的视口比第二相机的视场窄)。跟踪第一感兴趣区域或对象可以包括：将第一感兴趣区域或对象保持在第一输出数据内，以及/或者跟踪第二感兴趣区域或对象可以包括：将第二感兴趣区域或对象保持在第二输出数据内。

在第六方面，本说明书描述了一种计算机可读介质，其上存储有计算机可读代码，该计算机可读代码在由至少一个处理器执行时引起以下的执行：从多相机设备的第一相机获得第一输入数据；从多相机设备的第二相机获得第二输入数据，其中第二相机被定向在与第一相机不同的方向上；定义针对第一相机的第一感兴趣区域或对象以及/或者针对第二相机的第二感兴趣区域或对象；跟踪第一感兴趣区域或对象以及/或者第二感兴趣区域或对象；基于第一输入数据生成第一输出数据；基于第二输入数据生成第二输出数据；以及生成多相机输出，该多相机输出包括第一输出数据和第二输出数据。第一输入数据可以是来自第一相机的视场的数据，并且第二输入数据可以是来自第二相机的视场的数据。第一输出数据可以是来自第一相机的视口的数据(其中第一相机的视口比第一相机的视场窄)以及/或者第二输出数据可以是来自第二相机的视口的数据(其中第二相机的视口比第二相机的视场窄)。跟踪第一感兴趣区域或对象可以包括：将第一感兴趣区域或对象保持在第一输出数据内，以及/或者跟踪第二感兴趣区域或对象可以包括：将第二感兴趣区域或对象保持在第二输出数据内。

在第七方面，本说明书描述了一种计算机可读介质(诸如非瞬态计算机可读介质)，该计算机可读介质包括存储在其上的程序指令，该程序指令用于至少执行以下：从多相机设备的第一相机获得第一输入数据，其中第一输入数据是来自第一相机的视场的数据；从多相机设备的第二相机获得第二输入数据，其中第二输入数据是来自第二相机的视场的数据，并且其中第二相机被定向在与第一相机不同的方向上；定义针对第一相机的第一感兴趣区域或对象以及/或者针对第二相机的第二感兴趣区域或对象；跟踪第一感兴趣区域或对象以及/或者第二感兴趣区域或对象；基于第一输入数据生成第一输出数据，其中第一输出数据是来自第一相机的视口的数据；基于第二输入数据生成第二输出数据，其中第二输出数据是来自第二相机的视口的数据；以及生成多相机输出，该多相机输出包括第一输出数据和第二输出数据，其中：第一相机的视口比第一相机的视场窄，以及/或者第二相机的视口比第二相机的视场窄；以及跟踪第一感兴趣区域或对象包括：将第一感兴趣区域或对象保持在第一输出数据内，以及/或者跟踪第二感兴趣区域或对象包括：将第二感兴趣区域或对象保持在第二输出数据内。

附图说明

现在将参考以下示意图通过非限制性示例来描述示例实施例，在附图中：

图1是根据示例实施例的系统的框图；

图2示出了由图1的系统输出的示例性视图；

图3是根据示例实施例的系统的框图；

图4示出了由图3的系统输出的示例性视图；

图5是根据示例实施例的系统的框图；

图6示出了由图5的系统输出的示例性视图；

图7示出了由图5的系统生成和输出的示例性视图；

图8是示出根据示例实施例的算法的流程图；

图9a至9d示出了图8的算法的示例性输出；

图10是示出根据示例实施例的算法的流程图；

图11a至11e示出了根据示例实施例的示例性输出；

图12a至12c示出了根据示例实施例的示例性输出；

图13a和13b示出了根据示例实施例的示例性输出；

图14是根据示例实施例的系统的框图；以及

图15a和15b示出了有形介质，分别是可移动存储器单元和存储计算机可读代码的公司盘(cd)，该计算机可读代码在由计算机运行时执行根据实施例的操作。

具体实施方式

图1是根据示例实施例的系统的框图，其总体上由附图标记10指示。

系统10包括用户设备12，诸如移动通信设备(例如，移动电话)。用户设备12具有前置相机13和后置相机14(相机可以是摄像机和/或静止图像相机)。第一对象15和第二对象16在前置相机13的视口内。第三对象17在后置相机14的视口内。第三对象17例如可以是用户设备12的用户。具有前置相机13和后置相机14的用户设备12是多相机设备的示例。多相机设备的其他示例也是可能的，诸如具有多于两个相机的设备或在不同位置具有相机的设备。

图2示出了由以上参考图1描述的用户设备12输出的示例性视图，其总体上由附图标记20指示。视图20是组合视图，其包括由前置相机13提供的第一视图21和由后置相机14提供的第二视图22。如图2所示，组合视图20并排显示第一视图和第二视图。因此，视图20示出了相机13和14的视口内的数据。通常，第一视图21和第二视图22分别由相机13和14同时捕获。

第一视图21包括第一图像23和第二图像24。第一图像23(在视图21的左侧)是第一对象15的表示。第二图像24是第二对象16的表示。以类似的方式，第二视图22包括第三图像25，该第三图像25是对第三对象17的表示。显然，可以通过移动用户设备12(并且因此移动相机13和14)来调节在第一视图和第二视图中显示的图像。

图3是根据示例实施例的系统的框图，其总体上由附图标记30指示。

系统30包括上述用户设备12、第一对象15、第二对象16和第三对象17。然而，在系统30中，用户设备12已经相对于图1中的用户设备定位逆时针旋转。可以以这种方式旋转用户设备12，以便在用户设备12的前置相机的视口的中心内对第一对象15成帧。

图4示出了由系统30输出的示例性视图，其总体上由附图标记40指示。与上述视图20一样，视图40是组合视图，该组合视图包括由用户设备12的前置相机提供的第一视图41和由用户设备的后置相机提供的第二视图42。与上述组合视图20一样，组合视图40并排显示第一视图和第二视图，并且如上所述，第一视图41和第二视图42通常被同时捕获。

第一视图41包括第一图像44，该第一图像44是对第一对象15的表示。由于用户设备12的旋转，第一图像44在第一视图41的中心，而第二对象16在第一视图41中不再可见。

第二视图42包括图像45，该图像45是对第三对象17的表示。由于用户设备12的旋转，图像45出现在第二视图42的左侧(与上述第二视图22中的对应图像的中心定位相比)。

难以操纵用户设备12以在前置相机13的视口内对一个或多个感兴趣对象成帧并且同时在后置相机14的视口内对一个或多个感兴趣对象成帧。如果任何感兴趣对象正在移动，则尤其如此。此外，对后置相机14的输出成帧可能特别困难，因为该视图通常被呈现为镜像图像。

作为示例，考虑其中用户设备12的前置相机13正被用来捕获两个正在玩耍的孩子的视频数据的场景。孩子可以是上述对象15和16。同时，后置相机14被用于捕获两个孩子的父母的视频数据。父母可以是上述对象17。随着孩子的移动，用户设备12可以移动以将孩子(即，对象15和16)保持在前置相机12的视口内，并且因此显示在组合视图20或40的第一视图21或41中。然而，随着用户设备12被移动以将孩子保持在视口内，后置相机14的视口内的父母的定位将改变。因此，后置相机的成帧随着前置相机的成帧的改变而改变。前置相机与后置相机的成帧之间的相互关系可能难以控制。因此，使用系统10(或30)来提供组合视图(诸如视图20或40)可能是困难的，特别是对于没有经验的用户，并且尤其是在期望生成图像(静止图像或视频图像)而无需对这样的图像进行后处理的情况下。

图5是根据示例实施例的系统的框图，其总体上由附图标记50指示。系统50包括上述的用户设备12，用户设备12包括前置相机13和后置相机14。此外，系统50包括第一对象51、第二对象52、第三对象53、第四对象54和第五对象55。

如图5所示，前置相机13具有角度为φviewport的视口。后置相机14具有类似的视口(在图5中用虚线指示)。在以上参考图2和4描述的布置中，在相机的视口内的任何对象被显示在组合输出中。

除了视口之外，前置相机13还具有角度为φfov的视场。后置相机具有类似的视场(同样，在图5中用虚线指示)。如图5所示，相机13和14的视场的角度(φfov)比这些相机的视口的角度(φviewport)宽。注意，尽管第一相机和第二相机的视口相似并且第一相机和第二相机的视场相似，但情况不必须如此。作为示例，一个相机(例如，前置相机)的视口和视场可以比另一相机(例如，后置相机)的对应视口和视场宽。还应注意，如本文档中其他地方讨论的，一个或两个视口可以改变它们在相机视场内的位置。

图6示出了由系统50输出的示例性视图，其总体上由附图标记60指示。视图60是组合视图，该组合视图包括由系统50的用户设备12的前置相机13提供的第一视图61和由用户设备的后置相机14提供的第二视图62。与上述组合视图20和40一样，组合视图60并排显示第一视图和第二视图。另外，根据上述视图20和40，第一视图61示出了在第一相机13的视口内可见的内容，并且第二视图62示出了在第二相机14的视口内可见的内容。

第一视图61包括第一图像63、第二图像64和第三图像65。第一图像61(在视图61的左侧)是对第一对象51的一部分(在前置相机13的视口内的部分)的表示。第二图像64是对第二对象52的表示。第三图像65是对第三对象53的一部分(在前置相机13的视口内的部分)的表示。

以类似的方式，第二视图62包括第四图像66和第五图像67，其分别是对第四对象54和第五对象55的表示。

如下面进一步描述的，从前置相机和后置相机的视场收集数据，这些视场比视口宽。因此，收集的数据多于显示的数据。如下面详细描述的，这引起可以利用的一定程度的灵活性。

图7示出了由系统50输出的示例性视图，其总体上由附图标记70指示。视图70包括第一视图71和第二视图72，第一视图71示出了在第一相机13的视场内可见的内容，第二视图72示出了在第二相机14的视场内可见的内容。

第一视图71包括第一图像73、第二图像74和第三图像75，其分别是对第一对象51、第二对象52和第三对象53的表示。类似地，第二视图72包括第四图像76和第五图像77，其分别是对第四对象54和第五对象55的表示。

因此，第一视图71示出了第一对象51、第二对象52和第三对象53，这些对象均在第一相机的视场内。类似地，第二视图72示出了第四对象54和第五对象55，这两个对象均在第二相机的视场内。

如上所述，第一相机和第二相机的视场比第一相机和第二相机的相应视口宽。因此，在第一视图71内是总体上由附图标记78指示的区域，该区域示出了在第一相机的视口内可见的内容。类似地，在第二视图72内是总体上由附图标记79指示的区域，该区域示出了在第二相机的视口内可见的内容。

从观看图6和7将很清楚的是，上述组合视图60的第一视图61由视图78形成。类似地，组合视图60的第二视图62是由视图79形成的。因此，第一相机12和第二相机13捕获的数据多于组合视图60中显示的数据。这一事实可以以一些有趣的方式利用，如下面进一步所述。

图8是示出根据示例实施例的算法的流程图，其总体上由附图标记80指示。图9a至9d示出了算法80的示例性输出。

如图8所示，算法80在操作82处开始。可选地，在操作84处，定位用户设备12。例如，可以将用户设备定位为使得一个或多个期望对象在用户设备的前置相机的视口或视场内。在一些实施例中，可以省略操作84(例如，如果用户设备12是固定的，或者如果用户不希望改变旋转定位)。

在操作86处，生成并且显示前置相机和后置相机的组合视图。例如，可以生成并且显示上述输出60，以示出在用户设备12的前置相机和后置相机的视口内可见的内容。

因此，从前置相机和后置相机的视场获得的数据可以被认为是算法80的“输入数据”，并且从前置相机和后置相机的视口获得的数据可以被认为是算法80的“输出数据”，其中输出(视口)数据是输入(视场)数据的子集。

在操作88处，选择前面的对象或感兴趣区域。图9a示出了总体上由附图标记100指示的输出，该输出示出了以上参考图6描述的第一、第二、第三、第四和第五图像63至67。图9a中示出了指示101，其示出了感兴趣对象或区域。指示101可以例如由用户触摸相关屏幕来做出(其他选项在下面进一步讨论)。响应于指示101，在输出100中突出显示第二图像64周围的感兴趣区域102。突出显示的区域102可以指示感兴趣区域，或者可以指示第二图像64表示算法80中的感兴趣对象。(应当注意，在一些实施例中，在操作88中是否选择感兴趣对象或区域可以由用户定义。)

在操作90处，对视图重新成帧。例如，在操作88中选择的感兴趣区域或对象的视图可以通过放大该对象或区域来扩展。作为示例，图9b示出了总体上由附图标记110指示的组合视图，其中第一视图已经被修改(即，重新成帧)使得其以包括缩放的第二图像64'的缩放区域102'为中心。注意，第一图像63和第三图像65不再显示。

在操作92处，可选地旋转用户设备。例如，可以旋转用户设备使得一个或多个期望对象在用户设备的后置相机的视口或视场内。在一些实施例中，可以省略操作92(例如，如果用户设备12是固定的，或者如果用户不希望改变旋转定位)。(实际上，从图9a至9d的示例中省略了操作92。)

在操作94处，选择后面的对象或区域。图9c示出了总体上由附图标记120指示的组合视图，其中示出了指示121，示出了感兴趣对象或区域。与上述指示101一样，指示121可以通过用户触摸相关屏幕来做出。响应于指示121，在输出120中突出显示第五图像67周围的感兴趣区域122。突出显示的区域122可以指示感兴趣区域，或者可以指示第五图像67表示算法80中的感兴趣对象。(应当注意，在一些实施例中，在操作94中是否选择感兴趣对象或区域可以由用户定义。)

在操作96处，对视图重新成帧。图9d示出了总体上由附图标记130指示的组合视图，其中第二视图已经被修改(即，重新成帧)，使得其以包括缩放图像67'的缩放区域122'为中心。该算法然后在操作98处结束。

如上所述，用户可以通过触摸显示屏来指示感兴趣对象或区域。例如，这可以使用用户的手指或使用手写笔来实现。其他选择选项也是可能的。例如，可以确定用户的注视方向，使得可以通过查看相关显示器的一部分来实现选择。其他选项包括语音命令和键盘或鼠标指令。触摸显示屏、使用用户的注视方向、语音命令以及使用键盘或鼠标都是用户指示的示例。在某些实施例中，用户指示的子集是可以用作一种形式的用户输入的用户姿势(例如，手势)。用于确定感兴趣对象或区域的另一选项包括利用内容分析(例如，将视图的内容与已知内容匹配并且跟踪该内容)。内容分析可以与其他元素组合。例如，用户可以指示感兴趣区域和用于标识该区域内的感兴趣对象的内容分析。

并非算法90的所有操作都是必不可少的。如上所述，可能没有必要选择前面的对象或区域(操作88)和后面的对象或区域(操作94)两者。此外，可能没有必要重新成帧前视图(操作90)和/或后视图(操作96)。特别地，重新成帧不一定需要包括缩放操作。

应当注意，算法90的至少一些操作可以以不同的顺序执行。例如，尽管算法90描述了在操作94(选择后面的对象或感兴趣区域)之前执行的操作88(选择前面的对象或感兴趣区域)，但是这些操作可以相反。

图10是示出根据示例实施例的算法的流程图，其总体上由附图标记140指示。

该算法开始于操作142，在操作142处，设置前显示器和后显示器。例如，操作142可以实现上述算法80。因此，在操作142完成之后，组合显示器的第一显示器可以显示缩放图像64'，并且组合显示器的第二显示器可以显示缩放图像67'。(当然，如上所述，缩放和重新成帧并非在所有实施例中都是必不可少的。)

在操作144处，跟踪已经被选择的对象或区域，使得它们被保持在相关显示器的中心内(例如，在相关显示器的中心内)。因此，例如，随着用户设备12和/或所显示的对象52至55移动，它们可以被保留在所显示的图像的中心内。在示例显示器130中，可以在操作144中跟踪对象52和55(对应于图像64和67)两者。这是可能的，因为如上所述，用户设备的前置相机和后置相机的视场获得的数据多于显示器中示出的数据。如下面进一步描述的，并非总是能够将跟踪的区域保持在相关显示器的中心内。操作144可以包括将跟踪的区域保持在相关显示器内(无论跟踪的区域是否在该显示器的中心内)。在一些实施例中，可以在视场内移动视口，以将跟踪的区域保持在相关显示器的中心内(或较靠近中心)。

应当注意，选择两个感兴趣区域/对象绝不是必需的。例如，在示例性显示器110的情况下，第三对象64可以被保持在第一显示器的中心内，但是用户可以自由旋转用户设备以便改变在第二显示器中可见的内容。在一些示例实施例中，用户具有对感兴趣区域/对象的选择(和取消选择)的控制。

考虑上述系统10的示例，其中第一对象15和第二对象16是孩子，而第三对象17是父母。用户设备的用户可以决定通过移动用户设备12来手动跟踪孩子15和16。因此，在上述操作88中可能没有选择任何对象。然而，在操作94中可以选择父母17，使得父母被自动跟踪。因此，假设父母在用户设备12的后置相机14的视场内，父母将停留在后视图22的中心内。如上所述，可能无法保持孩子15和16以及父母17在相关显示器的视场的中心内。在一些实施例中，(多个)相关相机的视口可以在(多个)视场内移动，以便将(多个)跟踪区域保持在相关显示器的中心内(或较靠近中心)。

在算法140的操作146处，确定感兴趣区域或对象是否保留在相关相机的视场内。如果是，则算法返回操作144；否则，算法移动到操作148。

在操作148处，已经确定至少一个感兴趣区域或对象不再位于相关相机的视场内。因此，不可能显示该区域或对象。这可以例如通过用户设备的适当旋转(使得相关相机的视场移动)来校正。这种旋转(或其他运动)可以在操作148中被发起。

图11a至11e示出了根据示例性实施例的示例性视图输出的不同版本。图11a至11e中的每个示出了第一视图150、第二视图151和第三视图152，第一视图150示出了在第一相机13的视场和视口内可见的内容，第二视图151示出了在第二相机14的视场和视口内可见的内容，第三视图152是从第一视图和第二视图的视口的内容中得出的组合视图。

在图11a中，第一视图150包括在视口的中心的第一对象153。类似地，第二视图151包括在视口的中心的第二对象154。因此，第三视图包括第一对象155(对应于第一对象153)和第二对象156(对应于第二对象154)。

假设正在跟踪第一对象153(已经在上述操作88中被选择)，但是未跟踪第二对象154(因此在操作94中没有选择对象或区域)。根据算法140的操作144，将跟踪第一感兴趣对象并且将其保留在相关显示器152的中心内。

图11b示出了其中第一对象153和第二对象154两者在相关视口内向左移动的情况。如第一视图150所示，正在跟踪第一对象153，因此第一相机的视口有效地在视场内移动，使得第一对象153停留在视口的中心内。同时，由于未跟踪第二对象154，因此第二相机的视图不会移动(参见第二视图151)。因此，第三视图152示出了在相关视口的中心的第一对象155和朝向相关视口的左侧的第二对象156。

图11c示出了其中第一对象153正在移动到第一相机的视场的外部(参见第一视图150)并且第二对象已经移回到第二相机的视口的中心(参见第二视图151和第三视图152，其中第二对象156再次显示在相关视口的中心)的情况。由于对象153已经移出用户设备12的第一相机的视场，因此不再可能完全跟踪和显示该对象。因此，算法140移动到操作148，操作148使箭头157被显示(参见图11c的第三视图152)。箭头157指示对象152已经移出用户设备的相关相机可见的区域。因此，箭头157提示用户如果希望继续跟踪相关对象，则旋转用户设备。箭头157是警报的示例，该警报可以被提供以指示第一感兴趣区域或对象以及/或者第二感兴趣区域或对象何时移动到相关相机的视场的外部。箭头157仅作为示例示出；许多备选机制可以用于向用户指示跟踪的对象/区域不再在视场内。这些包括视觉指示(诸如箭头156或闪烁的图像)、音频指示(例如，警报)或触觉。

图11d示出了其中第一对象153已经在第一相机的视场内移回(参见第一视图150)并且第二对象仍然在第二相机的视口的中心(参见第二视图151)的情况。因此，第一对象155和第二对象156两者可以显示在第三视图152的相关视口的中心。

现在假设第一对象153正在被跟踪(在上述操作88中已经被选择)和第二对象154正在被跟踪(在上述操作94中已经被选择)。图11e示出了其中第一对象153和第二对象154两者在相关视口内向左移动的情况。如第一视图150所示，正在跟踪第一对象153，因此第一相机的视口有效地在视场内移动，使得第一对象153停留在视口的中心内(以与以上参考图11b所述相同的方式)。同时，由于第二对象154也正被跟踪，因此第二相机的视口有效地以类似的方式移动。因此，如第三视图153所示，第一对象155和第二对象156两者出现在相关视口的中心。

上述实施例中的一些包括跟踪感兴趣对象。这可以通过多种方式来实现。例如，可以生成模板来标识正在被跟踪的对象的关键特征(例如，大小、形状、颜色、纹理等)以及用于标识该对象的简单匹配算法。以这种方式，可以将对象保持在上述第一相机或第二相机的视口的中心内。

图12a至12c示出了根据示例实施例的示例性输出，其由附图标记160、170和180分别指示。

图12a示出了布置160，其中第一对象162正被跟踪(如方框163所示)，而第二对象164未被跟踪。

图12b示出了第一对象162移出相关相机的视场但没有采取任何动作时的情况。无法再跟踪该对象，因此可以看到它移出显示器。

现在假设对象移回视场。现在，如图12c所示，可以再次跟踪该对象(对象162)并且将其示出在相关显示器的中心。如上所述，可以生成模板，该模板标识正在跟踪的对象的关键特征(例如，大小、形状、颜色、纹理等)以及用于标识该对象的简单匹配算法。可以使用这种匹配算法来标识在相机的视场内移回的这样的对象。

上面描述的实施例已经总体上描述了被跟踪的感兴趣对象。也可以跟踪感兴趣区域，无论该区域内可见什么。因此，可以将例如由用户以本文中描述的任何方式选择的感兴趣区域保持在显示器的中心内，只要该感兴趣区域保持在相关相机的视场内。

在上述实施例中，组合视图已经被并排呈现。这在本发明的所有形式中不是必需的。图13a示出了由图1的系统输出的示例性视图，并且与上述图2相同。

因此，图13a是组合视图，其包括由前置相机13提供的第一视图和由后置相机14提供的第二视图22。如图2所示，组合视图20并排显示第一视图和第二视图。第一视图21包括第一图像23(第一对象15的表示)和第二图像24(第二对象16的表示)。以类似的方式，第二视图22包括第三图像25，该第三图像25是对第三对象17的表示。

图13b还示出了组合视图，其包括与上述第一视图21相对应的第一视图21'(并且包括第一图像23'和第二图像24')和与上述第二视图22相对应的第二视图22'(并且包括第三图像25')。图13b的组合视图与图13a的组合视图的不同之处在于，第一视图和第二视图在彼此之上示出。如图13b所示，第一视图21'显示在第二视图22'上方。在备选实施例中，第二视图可以显示在第一视图上方。

为了完整起见，图14是根据示例实施例的先前描述的一个或多个模块的组件的示例示意图，其在下文中被统称为处理系统300。处理系统300可以包括处理器302、紧密耦合到处理器并且包括ram314和rom312的存储器304、以及可选地，用户输入310和显示器318。处理系统300可以包括用于连接到网络的一个或多个网络接口308，例如可以是有线或无线的调制解调器。

处理器302连接到其他组件中的每个组件，以便控制其操作。

存储器304可以包括非易失性存储器，诸如硬盘驱动器(hdd)或固态驱动器(ssd)。存储器314的rom312除别的以外还存储操作系统315，并且可以存储软件应用316。存储器304的ram314由处理器302用于临时存储数据。操作系统315可以包含代码，该代码在由处理器执行时实现算法80和/或140的各方面。

处理器302可以采用任何合适的形式。例如，它可以是微控制器、多个微控制器、一个处理器、或多个处理器。

处理系统300可以是独立的计算机、服务器、控制台、或其网络。

在一些实施例中，处理系统300还可以与外部软件应用相关联。这些可以是存储在远程服务器设备上的应用，并且可以部分或专门在远程服务器设备上运行。这些应用可以称为云托管应用。处理系统300可以与远程服务器设备通信，以利用存储在其中的软件应用。通信可以通过网络接口308来处理。

图15a和15b示出了存储计算机可读代码的有形介质，分别是可移动存储器单元365和光盘(cd)368，该计算机可读代码在由计算机运行时可以执行根据上述实施例的方法。可移动存储器单元365可以是具有存储计算机可读代码的内部存储器366的存储器棒，例如usb存储器棒。存储器366可以由计算机系统经由连接器367访问。cd368可以是cd-rom或dvd等。可以使用其他形式的有形存储介质。

本发明的实施例可以以软件、硬件、应用逻辑或软件、硬件和应用逻辑的组合来实现。软件、应用逻辑和/或硬件可以驻留在存储器、或任何计算机介质上。在示例实施例中，应用逻辑、软件或指令集被维持在各种常规计算机可读介质中的任何一种上。在本文档的上下文中，“存储器”或“计算机可读介质”可以是任何非瞬态介质或可以包含、存储、传达、传播或传送指令以用于由指令执行系统、装置、或设备(诸如计算机)使用或与其结合使用的部件。

在相关时，对“计算机可读存储介质”、“计算机程序产品”、“有形地实施的计算机程序”等或“处理器”或“处理电路系统”等的引用应当被理解为不仅涵盖具有不同架构(诸如单/多处理器架构和定序器/并行架构)的计算机，而且还涵盖专用电路，诸如现场可编程门阵列fpga、应用指定电路asic、信号处理设备和其他设备。对计算机程序、指令、代码等的引用应当被理解为表示用于可编程处理器固件的软件，诸如硬件设备的可编程内容，作为用于处理器的指令或用于固定功能设备、门阵列、可编程逻辑设备等的所配置的或配置设置。

在本申请中，术语“电路系统”是指以下所有内容：(a)仅硬件电路实现(诸如仅在模拟和/或数字电路系统中的实现)，以及(b)电路和软件(和/或固件)的组合，诸如(如果适用)：(i)(多个)处理器的组合，或(ii)(多个)处理器/软件的部分(包括(多个)数字信号处理器)、软件、和(多个)存储器，它们一起工作以使装置(诸如服务器)执行各种功能，以及(c)需要软件或固件才能操作的电路，诸如(多个)微处理器或(多个)微处理器的一部分，即使软件或固件实际上不存在。

如果期望，本文中讨论的不同功能可以以不同的顺序和/或彼此并发地执行。此外，如果期望，上述功能中的一个或多个可以是可选的或可以被组合。类似地，还将意识到，图8和10的流程图仅是示例，并且其中描绘的各种操作可以省略、重新排序和/或组合。

应当理解，上述示例实施例仅是说明性的，而不限制本发明的范围。在阅读本说明书之后，其他变化和修改对本领域技术人员将是很清楚的。

此外，应当理解本申请的公开内容包括本文中或其任何概括中明确或隐含公开的任何新颖特征或任何新颖特征的组合，并且在本申请或由此得出的任何申请的起诉期间，可以提出新的权利要求以覆盖任何这样的特征和/或这样的特征的组合。

尽管在独立权利要求中陈述了本发明的各个方面，但是本发明的其他方面包括来自所描述的实施例和/或从属权利要求的特征与独立权利要求的特征的其他组合，而不仅仅是权利要求中明确列出的组合。

本文中还应当注意，尽管以上描述了各种示例，但是这些描述不应以限制性的意义来理解。而是，在不脱离如所附权利要求书中定义的本发明的范围的情况下，可以进行多种变型和修改。