对可旋转立体相机的远程控制的制作方法

本发明涉及立体成像，更具体地，涉及用于对包括立体相机对和相应的显示设备在内的相机设备进行控制的相机设备、方法、计算机程序和计算机程序产品。

背景技术：

远程控制的立体相机设备广泛地用于对设备(例如机器人，手术系统等)的高级远程控制和监视。

立体相机设备包括两个彼此水平位移的相机，用于获得对一个场景两个不同视图。使用显示设备将来自两个相机的图像显示给远程操作者的相应眼睛，以创建深度感，即3D图像。当操作者转动他/她的头部时，相机也应转动以从不同的方向观察场景。

在检测到操作者的头部的移动和示出正确方向的场景之间的时间被称为延时。延迟时间有三个主要构成：图像处理延迟、电机反应时间和网络延迟。

高延迟破坏了操作者的沉浸效应，由此许多立体系统对实现低延迟特别强调。可以通过使用轻量级编码算法或通过增加编码硬件的计算能力来减小图像处理延迟。使用更强的电机来减少电机反应时间。通过使操作者相对靠近相机来维持较低的网络延迟。

技术实现要素：

根据第一方面，提供了一种相机设备，包括：可旋转的相机基座；连接到相机基座的电机；形成具有第一图像捕捉方向的第一立体相机对的第一相机和第二相机，第一相机和第二相机都是广角相机并且安装在相机基座上；被配置为接收移动信号的通信接口。相机设备被配置为基于移动信号旋转相机基座。

相机设备还可以包括：处理器，连接到所述通信接口和所述电机；存储指令的存储器，所述指令在被所述处理器执行时使得所述相机设备：接收移动信号；控制所述电机基于移动信号来旋转所述相机基座。

第一相机和第二相机还可以被配置为通过通信接口发送图像。

移动信号可以包括绝对角，并且所述相机设备可以被配置为通过控制所述电机来旋转所述相机基座，以将第一图像捕捉方向对准为对应于所述绝对角。

移动信号可以包括移动角，并且所述相机设备可以被配置为通过控制所述电机来旋转所述相机基座，以将相机基座旋转对应于移动角的量。

所述第一相机和所述第二相机中的每一个可以提供足够广角的图像，使得操作者一次只能观看所得到的图像的子集。

所述相机设备还可以包括形成具有第二图像捕捉方向的第二立体相机对的第三相机和第四相机，所述第三相机和所述第四相机安装在所述相机基座上。这时，移动信号包括绝对角，并且所述相机设备被配置为旋转所述相机基座以选择具有离绝对角最近的图像捕捉方向的立体相机对。此外，相机设备被配置为控制电机以将所选的立体相机对的图像捕捉方向与绝对角对准。

根据第二方面，提供一种用于控制相机设备的方法，所述相机设备包括可旋转的相机基座、连接到相机基座的电机、形成具有第一图像捕捉方向的第一立体相机对的第一相机和第二相机、以及通信接口，其中所述第一相机和所述第二相机都是广角相机并安装在所述相机基座上。所述方法在所述相机设备中执行并且包括以下步骤：接收移动信号；控制所述电机基于移动信号来旋转所述相机基座。

所述方法还包括步骤：通过所述通信接口发送来自所述第一相机和所述第二相机的图像。

移动信号可以包括绝对角，并且控制电机的步骤可以包括控制所述电机将第一图像捕捉方向对准为对应于所述绝对角。

移动信号可以包括移动角，并且控制电机的步骤可以包括控制所述电机将所述相机基座旋转对应于移动角的量。

所述第一相机和所述第二相机中的每一个可以提供足够广角的图像，使得操作者一次只能观看所得到的图像的子集。

所述相机设备还可以包括形成具有第二图像捕捉方向的第二立体相机对的第三相机和第四相机，所述第三相机和所述第四相机都是广角相机并且安装在所述相机基座上。这时，所述移动信号包括绝对角，并且所述方法还包括以下步骤：选择具有离所述绝对角最近的图像捕捉方向的立体相机对。此外，控制电机的步骤还包括控制所述电机以将所选的立体相机对的图像捕捉方向与所述绝对角对准。

根据第三方面，提供了一种相机设备，包括：用于通过通信接口接收移动信号的装置；用于控制所述电机基于所述移动信号旋转所述相机设备的相机基座的装置，所述相机基座已安装有形成具有第一图像捕捉方向的第一立体相机对的第一相机和第二相机，其中所述第一相机和所述第二相机都是广角相机。

根据第四方面，提供一种用于控制相机设备的计算机程序，所述相机设备包括可旋转的相机基座、连接到相机基座的电机、形成具有第一图像捕捉方向的第一立体相机对的第一相机和第二相机、以及通信接口，其中所述第一相机和所述第二相机都是广角相机并安装在所述相机基座上。所述计算机程序包括计算机程序代码，所述计算机程序代码在相机设备上运行时使得所述相机设备：接收移动信号；控制所述电机基于移动信号来旋转所述相机基座。

根据第五方面，提供一种计算机程序产品，所述计算机程序产品包括根据第四方面的计算机程序和存储所述计算机程序的计算机可读装置。

根据第六方面，提供一种显示设备，包括：处理器；以及存储指令的存储器，所述指令在被所述处理器执行时使得所述显示设备：从相机设备接收立体图像，所述立体图像覆盖超过操作者视野；检测操作者视野的中心方向；在所述显示设备的显示器上显示所述立体图像的扇区，所述扇区的中心方向对应于操作者视野的中心方向；以及向所述相机设备发送移动信号，以便将图像捕捉方向与操作者视野的新中心方向对准。

用于发送移动信号的指令可以包括当被所述处理器执行时使所述显示设备仅在检测到操作者视野的中心方向的显著移动时才发送移动信号的指令。

所述显示设备还可以包括当被所述处理器执行时使所述显示设备重复所提到的指令的指令。

用于检测新中心方向的指令可以包括当被所述处理器执行时使所述显示设备使用传感器来检测操作者的头部移动的指令。

根据第七方面，提供了一种显示设备，包括：用于从相机设备接收立体图像的装置，所述立体图像覆盖超过操作者视野；用于检测操作者视野的新中心方向的装置；用于在所述显示设备的显示器上显示所述立体图像的扇区的装置，所述扇区的中心方向对应于操作者视野的中心方向；以及用于向所述相机设备发送移动信号以便将图像捕捉方向与操作者视野的新中心方向对准的装置。

根据第八方面，提供一种用于显示立体图像的方法。所述方法在显示设备中执行并且包括以下步骤：从相机设备接收立体图像，所述立体图像覆盖超过操作者视野；检测操作者视野的中心方向；在所述显示设备的显示器上显示所述立体图像的扇区，所述扇区的中心方向对应于操作者视野的中心方向；以及向所述相机设备发送移动信号，以便将图像捕捉方向与操作者视野的中心方向对准。

在一个实施例中，发送移动信号的步骤仅当检测到操作者视野的中心方向的显著移动时才执行。

所述方法可以重复。

检测新中心方向的步骤可以包括使用传感器来检测操作者的头部移动。

根据第九方面，提供了一种用于显示立体图像的计算机程序。所述计算机程序包括计算机程序代码，所述计算机程序代码在显示设备上运行时使得所述显示设备：从相机设备接收立体图像，所述立体图像覆盖超过操作者视野；检测操作者视野的新中心方向；在所述显示设备的显示器上显示所述立体图像的扇区，所述扇区的中心方向对应于操作者视野的中心方向；以及向所述相机设备发送移动信号，以便将图像捕捉方向与操作者视野的新中心方向对准。

根据第十方面，提供一种计算机程序产品，所述计算机程序产品包括根据第九方面的计算机程序和存储所述计算机程序的计算机可读装置。

通过使用相机设备提供广角图像的解决方案，显示设备可以几乎无延迟地响应许多操作者移动，只要移动在广角图像的范围内，因此不需要与相机设备进行新的通信以进行初始调整。虽然这暂时地减少了深度，但这可以快速补救，因为相机设备命令相机设备与操作者的新方向对准。这提供了在沉浸(由于立即响应)与深度(由于相机设备的移动)之间的很大平衡。

一般地，除非另有明确说明，权利要求中使用的所有术语根据其在技术领域中的普通含义来解释。除非本文中另行明确声明，否则对“一/一个/所述单元、设备、组件、装置、步骤等”的所有引用应被开放地解释为指代单元、设备、组件、装置、步骤等的至少一个实例。除非明确声明，否则本文所公开的任何方法的步骤不一定严格按所公开的顺序来执行。

附图说明

下面参照附图以示例方式描述本发明，在附图中：

图1是示出相机设备和显示设备的一些组件的示意图；

图2是示出根据一个实施例的相机设备的示意图；

图3是示出根据一个实施例的相机设备的示意图；

图4A至4C是示出如何基于移动信号来控制图2或图3的相机设备的实施例的示意图；

图5A至5B是示出在图1或图2的相机设备中执行的用于控制相机设备的方法的流程图；

图6是示出根据一个实施例的在图1的显示设备中执行的用于显示立体图像的方法的流程图；

图7是示出图1或图2的相机设备的功能模块的示意图；以及

图8是示出图1的显示设备的功能模块的示意图；以及

图9示出了包括计算机可读装置在内的计算机程序产品的一个示例。

具体实施方式

现将在下文参考其中示出本发明的特定实施例的附图来更全面地描述本发明。然而，本发明可以按多种不同形式来体现，并且不应当被解释为受到本文阐述的实施例的限制。相反，通过示例给出这些实施例，使得本公开将透彻和完整，并且向本领域技术人员充分地传达本发明的范围。在本描述的全文中，相似的标记指代相似的元素。

图1是示出相机设备1和显示设备20的一些组件的示意图。相机设备1包括可旋转的相机基座3和连接到相机基座3的电机5。第一相机6a和第二相机6b以水平位移安装在相机基座3上。第一相机6a和第二相机6b一起形成立体相机对10，从而允许三维(3D)图像捕捉。相机基座3是适合于将相机设备6a-b安装在其上并且可以被电机5控制以旋转的任何合适的结构。电机5是能够将相机基座3旋转到合适方向的任何合适的电机。例如，电机5可以是诸如DC(直流)电机的电动机，如步进电机。

提供通信(输入/输出)接口57，以允许使用无线或有线通信(例如通过互联网协议(IP)网络)与显示设备20通信。以这种方式，相机设备可以将来自相机6a-b的图像31发送到显示设备20。此外，这允许相机设备1从显示设备20接收移动信号30或其他命令。

使用能够执行存储在存储器54中的软件指令58(因此可以是计算机程序产品)的合适的中央处理单元(CPU)、多处理器、微控制器、数字信号处理器(DSP)等中的一个或多个的任何组合来提供可选的处理器50。处理器50可以被配置为执行下面参照图5A-B描述的方法。处理器50连接到电机5、相机6a-b、通信接口57、存储器54和数据存储器59。

备选地，可以在不使用软件的情况下，即，使用硬件(例如专用集成电路(ASIC)或离散数字和/或模拟组件)，在相机设备中执行以下参照图5A-B所描述的方法。此外，硬件处理和软件处理可以混合。

存储器54可以是读写存储器(RAM)和只读存储器(ROM)的任意组合。存储器54还可以包括持久存储设备，其例如可以是磁存储器、光存储器、固态存储器或甚至远程安装的存储器中的任意单独一个或组合。

还提供数据存储器59，用于在处理器50中执行软件指令期间读取和/或存储数据。数据存储器59可以是读写存储器(RAM)和只读存储器(ROM)的任意组合。

相机设备1的其他部件被省略，以便不会混淆本文提出的概念。

显示设备20包括其自身的通信(输入/输出)接口67，提供该通信接口以允许与相机设备1通信，例如，用于发送移动信号30和接收图像31。

使用能够执行存储在存储器64中的软件指令68(因此可以是计算机程序产品)的合适的中央处理单元(CPU)、多处理器、微控制器、数字信号处理器(DSP)、专用集成电路等中的一个或多个的任何组合来提供处理器60。处理器60可以被配置为执行下面参照图6描述的方法。处理器60连接到通信接口67、存储器64、数据存储器69a、3D显示器61和可选的方向传感器65。传感器65可以检测操作者的方向，例如，通过将传感器65安装在头部来感测操作者的头部的转动，或者以其他方式检测操作者的头部的转动。

存储器64可以是读写存储器(RAM)和只读存储器(ROM)的任意组合。存储器64还可以包括持久存储设备，其例如可以是磁存储器、光存储器、固态存储器或甚至远程安装的存储器中的任意单独一个或组合。

还提供数据存储器69，用于在处理器60中执行软件指令期间读取和/或存储数据。数据存储器69可以是读写存储器(RAM)和只读存储器(ROM)的任意组合。

提供连接到CPU 60的3D显示器61。3D显示器61可以是显示设备20的一部分或者在显示设备20的外部，例如在操作者佩戴的设备中。3D显示器61能够提供两个立体图像以向3D显示器61的观看者提供三维图像。这可以使用任何现有或未来的3D显示技术来提供，例如，用于每只眼睛的分离的物理小显示器、偏振图像、时间切换图像等。偏振图像和切换图像可能需要操作者佩戴合适的3D眼镜。

省略了显示设备20的其他组件，以免混淆本文提出的概念。

以这种方式，将相机设备的立体相机对所捕捉的图像提供给显示设备20的3D显示器61。这允许显示设备处的操作者体验相机设备1的远程位置的3D图像。

第一相机和第二相机都是广角相机，提供足够宽角度的图像，使得操作者一次只看到作为所得到图像的子集的操作者视野。

由于深度感与两个相机之间的有效距离成正比，因此将相机静止地放置以便在所有方向上实现3D视觉是不够的。操作者仅在接近图像捕捉方向的方向上获得完整的深度感。

但是这里，两个广角相机6a-b放置在可旋转的相机基座3上。一旦操作者转动他或她的头部(X弧度)，传感器65就会感测到，并且实际上立即向他示出对应于新方向的图像(离中心方向X弧度)，只要可以使用来自相机6a-b的当前存在于显示设备20中的广角图像来实现。如果角度X相对较大，则3D图像其中可能缺少一些深度。然而，注意到新方向的传感器还触发处理器60向相机设备1发送移动信号30，以相应地旋转相机基座3。当相机基座3旋转时，向操作者示出的作为图像一部分的操作者视野也以相反方向旋转，以抵消相机的旋转。操作者视野的中心方向不改变，因为旋转实际上是在头部转动之后发生的。一旦相机完成转动，操作者再次观察到场景的深度3D图像。

以这种方式，当操作者突然转动头部并在新方向上停止时，他/她或多或少能立即获得这个方向的图片(最初可能有点平面化)。随着时间的推移，他的视线方向保持不变(如果头部不再转动)，但随着相机转动，图像逐渐变得越来越深。

这为操作者提供了沉浸式的3D视觉系统，即使延时如原先那样阻止这种沉浸。

因此，系统中的延迟将仅影响突然转动头部的操作者获得完全深度图像的快速程度。对于较小的头部移动，丢失的深度将不被注意到。对于人类来说，当我们改变视线方向时，需要一些时间来重新聚焦，由此，突然转动头部后的时间上的深度损失不会对操作者所体验的沉浸式3D感觉产生大的影响。可选地，相机设备在相机基座3移动时发送较低分辨率的图像，因为无论如何眼睛调整都有延迟，由此减少了带宽使用。

此外，显示设备20处的操作者可以向相机设备1发送移动信号30(通过通信链路)，以旋转以改变其视野。相机设备通过旋转相机基座3来实现这一点，从而将立体相机对引导到新的角度。

图2是示出根据一个实施例的相机设备的示意图。

现在从上方观看相机设备1的相机基座3，相机基座3可以围绕原点与相机基座3的旋转轴对准的坐标系旋转。第一立体相机对10a包括第一相机6a和第二相机6b。第一立体相机对10a具有相对于坐标系定义的第一图像捕捉方向11a。第一图像捕捉方向11a可以被定义为第一立体相机对的两个相机6a-b的中心方向的平均值。例如，在两个相机6a-b的中心方向对准的示例中，第一图像捕捉方向11a也与该方向对准。

第一相机6a具有第一视角12a，第二相机6b具有第二视角12b。第一物体15a在两个相机6a-b的视野内。第二物体也在两个相机6a-b的视野内。然而，第三物体15c在两个相机6a-b的视野之外。

如果连接到相机设备的显示设备20的操作者想要看第三对象15c，则向相机设备发送移动信号以旋转相机基座，使得相机可捕捉包括第三对象15c的图像，如图4A-B中所示以及更详细的解释。

相比于图2，在图3中，相机设备1包括第二立体相机对10b，第二立体相机对10b包括第三相机6c和第四相机6d。第二立体相机对10b具有同样相对于坐标系定义的第二图像捕捉方向11b。第二图像捕捉方向11b与第一图像捕捉方向11a类似地定义。

相机设备1可以包括更多的相机对，以进一步减少任何所需的移动角和/或增加相机设备1的静止视角。

在图4C中示出并且在下文更详细地解释该实施例的操作。

图4A至4B是示出如何基于移动信号来控制图2或图3的相机设备的实施例的示意图。

在图4A中，移动信号包括绝对角14。绝对角在这里被解释为非相对角。换句话说，绝对角可以是正的或负的。然后，相机设备1需要将相机基座3旋转差角17，以将第一图像捕捉方向11a与绝对角14对准。差角被计算为第一图像捕捉方向11a与绝对角14之间的差。差角17可以是正的(意味着逆时针旋转)或负的(意味着顺时针旋转)，无论哪个方向都产生最短幅度的旋转角。在该示例中，差角为负，由此旋转为顺时针。

在图4B中，移动信号包括移动角16。这是相对信号，由此相机设备1控制电机以使相机基座3旋转对应于移动角16的量。移动角可以为正，产生逆时针旋转，或者为负，产生顺时针旋转。在该示例中，移动角16为正，产生顺时针旋转。

在图4C中，相机设备1包括第一立体相机对10a和第二立体相机对10b。以这种方式，当显示设备发送具有绝对方向的移动信号时，相机设备1选择具有离绝对角14最近的图像捕捉方向的立体相机对。在该示例中，第二立体相机对10b的第二图像捕捉方向11b离绝对角14最近。然后，相机设备1控制电机以将所选的立体相机对的图像捕捉方向与绝对角14对准。这通过计算所选的立体对的图像捕捉方向与绝对角14之间的差角17并根据差角17控制相机基座3的旋转来实现。

在一个实施例中，相机设备1向显示设备20发送从所有相机捕捉到的图像，由此显示设备可以处理和选择应在3D显示器上显示什么图像。

在一个实施例中，相机设备仅发送来自当前有效的立体相机对的图像，这减少了用于向显示设备发送图像31的带宽需求。

在一个实施例中，仅当所期望的旋转的速度足够快时才允许立体相机对切换。

图5A至5B是示出在图1、图2或图3的相机设备中执行的用于控制相机设备的方法的流程图。

在接收移动信号的步骤40中，从显示设备20接收移动信号30。移动信号30指示相机设备旋转其上安装有相机的相机基座。

在一个实施例中，移动信号30包括绝对角14，即指示相机设备将其视野与绝对角14对准。

在一个实施例中，移动信号30包括移动角，该移动角是相对移动命令，例如移动x弧度(或度)，其中x是正数或负数。

在控制电机的步骤42中，控制电机5以基于移动信号30旋转相机基座3。

当移动信号30包括绝对角14时，该步骤包括控制电动机，以将第一图像捕捉方向11a对准为对应于绝对角14。

当移动信号30包括移动角时，该步骤包括控制电机以将相机基座旋转对应于移动角的量。

图5B是示出与图5A所示方法类似的方法的流程图。在此仅说明相对于图5A的方法的新步骤或修改的步骤。

在可选的选择相机对的步骤41中，选择具有离绝对角最近的图像捕捉方向的立体相机对。仅当移动信号包括绝对角时才执行该步骤，并且相机设备包括至少两个立体相机对。

当执行选择相机对的步骤41时，控制电机的步骤42包括控制电机以将所选的立体相机对的图像捕捉方向与绝对角对准。

在可选的发送图像的步骤44中，通过通信接口57发送来自第一相机6a和第二相机6b的图像，例如，发送到显示设备。备选地或附加地，还通过通信接口发送来自另一立体相机对的图像。

图6是示出根据一个实施例的在图1的显示设备中执行的用于显示立体图像的方法的流程图。

在接收步骤70中，从相机设备接收立体图像。立体图像覆盖超过操作者视野。这里还接收立体图像的图像捕捉方向。

在检测步骤74中，检测操作者视野的新中心方向。这可以例如使用传感器65执行以检测操作者的头部移动。

在显示步骤75中，在显示设备20的显示器61上显示最后接收的立体图像的扇区。扇区的中心方向对应于操作者视野的中心方向。应当注意，扇区是完整立体图像的严格子集。该步骤包括在3D显示器61上显示两个图像。

在有条件的显著移动步骤76中，确定是否检测到操作者视野的中心方向的显著移动。例如，这可以涉及比较检测步骤的不同迭代的操作者视野的中心方向。备选地或附加地，当扇区靠近立体图像的边界超过了阈值量时，检测到显著移动。备选地或附加地，当扇区的中心方向偏离图像捕捉方向超过阈值量时，检测到显著移动。如果存在显著移动，则该方法进行到发送移动信号的步骤78，否则，该方法进行到有条件的新图像可用的步骤79。

在发送移动信号的步骤78中，向相机设备1发送移动信号，以便将图像捕捉方向与操作者视野的新中心方向对准。如上所述，移动信号可以包括取决于相机设备1应执行多少处理的绝对角或移动角。

在发送移动信号的步骤后，该方法进行到有条件的新图像可用的步骤79。

在有条件的新图像可用的步骤79中，确定是否存在要接收的新立体图像。应当注意，立体图像可以作为单个图像的序列或作为媒体流来接收。在任一种情况下，这里都确定是否准备好接收新立体图像。如果是这种情况，则该方法返回到接收步骤70，否则，该方法返回到检测步骤74，继续对操作者移动进行动态跟踪。

图7是示出图2或图3的相机设备1的功能模块的示意图。模块使用诸如在相机设备1中执行的计算机程序的软件指令来实现。模块对应于图5A-B所示的方法中的步骤。

接收器80被配置为接收移动信号。该模块对应于图5A-B的接收移动信号40。

选择器82被配置为当移动信号中存在绝对角时选择具有离绝对角最近的图像捕捉方向的立体相机对。该模块对应于图5B的选择相机对步骤41。

控制器84被配置为控制电动机以基于移动信号旋转相机基座。该模块对应于图5A-B的控制电机步骤42。

发射器86被配置为将来自至少一个立体相机对的相机的图像发送到显示设备。该模块对应于图5B的发送图像步骤44。

图8是示出图1的显示设备的功能模块的示意图。使用软件指令(例如，在显示设备20中执行的计算机程序)来实现模块。模块对应于图6所示的方法中的步骤。

接收器92被配置为从相机设备接收立体图像。该模块对应于图6的接收步骤。

显示器93被布置为在显示设备的显示器上显示立体图像的扇区，扇区的中心方向对应于操作者视图的中心方向。该模块对应于图6的显示步骤。

检测器94被配置为检测操作者视图的中心方向。该模块对应于图6的检测步骤。

发射器96被配置为向相机设备发送移动信号，以便将图像捕捉方向与操作者视图的新中心方向对准。该模块对应于图6的发送移动信号步骤。

图9示出了包括计算机可读装置在内的计算机程序产品的一个示例。在该计算机可读装置中，可以存储计算机程序91，该计算机程序可以使处理器执行根据此处描述的实施例的方法。在该示例中，计算机程序产品是光盘，例如CD(紧凑盘)或DVD(数字通用盘)或蓝光盘。如上所述，计算机程序产品还可以被实现在设备的存储器中，例如图1的计算机程序产品54或64。虽然计算机程序91此处被示意性地示为光盘上所示的轨道，可以以任意适合于计算机程序产品的方式来存储计算机程序，例如可移除固态存储器(例如通用串行总线(USB)驱动器)。

应当注意，虽然本文提出的实施例主要描述水平移动，但是本文所示的相同原理同样可以良好地应用于作为水平移动的替代或补充的垂直移动。

已经参考一些实施例在上文中主要地描述了本发明。然而，本领域技术人员容易理解的是，上述公开之外的在如由所附权利要求所限定的本发明的范围之内的其它实施例同样是可能的。