专利名称：用于360度立体视频捕捉的底架组件的制作方法
技术领域：
本发明涉及用于360度立体视频捕捉的底架组件。
背景技术：
人类视觉使用了各种提示来感知真实世界中的三维(3D)深度。这些提示之一是视网膜差异，其中眼间距离导致左眼和右眼接收到外界投影略微不同。立体成像尝试通过向每个眼睛呈现略微不同的图像来创建人为的3D深度感知。从彼此隔开一距离的不同有利地点捕捉两个图像，该距离近似于人眼的眼间距离。假定图像被正确地同步且有利地点近似眼间距离，则大脑以创建图像中深度幻象的方式来处理这些图像。常规的3D相机包括用于生成两个场景视图的一对间隔开的图像传感器。尽管适用于场景的正视图或场景的某些其它部分，但是常规的3D相机不能获得场景的全景360度视图。这至少是因为在围绕360°全景的某一视角，第一图像传感器会捕捉第二图像传感器的视野，反之亦然，导致了 360°视野内的堵塞。另一选择是旋转这对图像传感器以便在没有任何相机堵塞的情况下捕捉完全的360°视野，但该技术不能正确地捕捉动态场景。
发明内容
本文公开了一种底架组件，包括底架以及固定安装到底架的多个图像传感器。图像传感器的数量可以变化，但是在一个示例中，存在三个图像传感器，在底架内排列成等边三角形。每个图像传感器包括相机(其可以是视频相机)和反折射(catadioptric)镜。每个视频传感器中的镜子可以经由用于将镜子安装到底架的杆和环(collar)相对于相机来固定安装。在实施例中，每个图像传感器中的镜子具有等角表面。图像传感器用于捕捉全景图像，例如360°全景。在一个示例中，第一图像传感器捕捉全景的第一部分的视图以及捕捉全景第的二部分的视图，全景的第一部分的视图用于第一部分的立体视图的左视角，全景的第二部分的视图用于第二部分的立体视图的右视角。第一图像传感器不用于捕捉全景的第三部分的视图。第二图像传感器捕捉全景的第一部分的视图以及捕捉全景的第三部分的视图，全景的第一部分的视图用于第一部分的立体视图的右视角，全景的第三部分的视图用于第三部分的立体视图的左视角。第二图像传感器不用于捕捉第二部分的视图。第三图像传感器捕捉全景的第三部分的视图以及捕捉全景的第二部分的视图，全景的第三部分的视图用于第三部分的立体视图的右视角，全景的第二部分的视图用于第二部分的立体视图的左视角。第三图像传感器不用于捕捉第一部分的视图。在一个示例中，本技术涉及用于捕捉立体图像数据的系统，包括彼此结合操作以捕捉全景的左、右视图用于生成全景的立体视图。在另一个示例中，本技术涉及用于捕捉立体图像数据的反折射底架组件，包括底架，包括三个容纳器(receptacle);以及三个图像传感器，在底架的每个容纳器中固定安装一个，三个图像传感器一起工作以捕捉用于提供全景的立体视图的图像数据。
在另一示例中，本技术涉及用于捕捉立体图像数据的反折射组件，包括三个图像传感器，它们彼此固定安装并且一起工作以捕捉用于提供全景的立体视图的图像数据， 三个图像传感器中的每个图像传感器包括用于捕捉图像的相机，以及用于将绕反折射镜 360°的图像引导到相机中的反折射镜。提供本发明内容以便以简化形式介绍在以下详细描述中进一步描述的概念精选。 本发明内容不旨在标识所要求保护主题的关键或必要特征，也不旨在用于帮助确定所要求保护主题的范围。此外，所要求保护的主题并不受限于解决在本公开任何部分提到的任何或全部缺点的实现。
图I是包括反折射底架组件和计算系统的本系统的示意图。图2是反折射底架组件的透视图。图3是反折射底架的透视图。图4是移除了凸镜的反折射底架组件的一部分的透视图。图5是在反折射底架组件的图像传感器内使用的镜子的俯视图。图6是反折射底架组件的图像传感器的截面侧视图。图7是捕捉全景视图的反折射底架组件的俯视图。图8是捕捉图7中全景的不同部分的视图的反折射底架组件的俯视图。图8A是图7中反折射底架组件的示意图，示出了遮挡角的计算。图9是示出图8的反折射底架组件的图像传感器的左视图、右视图和遮挡视图的图表。图10-12是根据本系统替代实施例的反折射底架组件的俯视图。图13是本系统的一实施例的操作流程图。图14是捕捉反折射图像的凸镜的仰视图。图15是从图14的反折射图像弯曲的柱形图像的透视图。图16是图14中凸镜的仰视图，示出凸镜的多种参数。图17是图15中柱形图像的展平视图。图18-20是由三个图像传感器捕捉的柱形图像，示出可以出于校准目的而在不同图像之间匹配的提示。图21是示出图13中步骤208的进一步细节的流程图。图22是示出图13中步骤212的进一步细节的流程图。图23是来自不同图像传感器的柱形图像被分成左视图和右视图的示意图。图24和25是在从全景的不同部分接收图像数据时区分明显的眼间距离的两个示 例。图26是左图像被组合成全景左图像且右图像被组合成全景右图像的示意图。图27是示出图13中步骤218的进一步细节的流程图。图28是示出图27中步骤274的进一步细节的流程图。图29是待组合的左图像对或右图像对的示意图。图30是图29的图像被组合成带有重叠区域的示意图。
图31是示出图30的图像在重叠区域中以第一方向通过而弯曲的示意图。图32是示出图30的图像在重叠区域中以第二方向通过而弯曲的示意图。图33是可在其上实现本系统实施例的示例计算设备的框图。
具体实施例方式现在参考附图1-33描述本技术的多个实施例，这些实施例一般涉及用于生成全景立体图像的系统和方法。在各实施例中，本系统包括硬件和软件组件。硬件组件包括计算设备以及在底架中彼此固定的三个或更多图像传感器的组件。每个图像传感器生成全景的图像，诸如场景的360°视图。软件组件将反折射图像处理成全景的柱形图像，将来自不同图像传感器的柱形图像彼此在空间上校准并且在时间上同步，将柱形图像分成用于左眼的图像和用于右眼的图像，然后将来自不同传感器的左眼图像以及来自不同传感器的右眼图像缝合在一起。结果是可以向用户显示以便提供例如360°全景的3D立体视图的全景左视图和右视图。在示例中，系统中所使用的图像可以是真实事件、人物、地点或事物的图像。仅在一些非限制性的示例中，图像可以是体育事件或音乐会的图像，其中用户能够观看来自竞技场、舞台或者图像收集设备所位于的任何地方的事件。下面说明用于生成场景的立体全景视图的硬件和软件组件。图1-4示出用于捕捉全景立体图像的系统100的一个示例。系统100包括能够与计算系统110通信的反折射底架组件104。下面参照图33更详细地说明了计算系统110的实施例，但通常，计算系统110可以是一个或多个台式计算机、膝上型计算机、服务器、多处理器系统、大型计算机、分布式计算环境或其它处理系统。反折射底架组件104可以经由物理连接或者无线地与计算系统110通信。在实施例中，计算系统110可以是与组件104分离的组件。在这样的实施例中，计算系统110可以直接连到组件104，或者计算系统110和组件104可以经由例如LAN或因特网这样的网络连接相连。在进一步的实施例中，计算系统可以被集成为反折射底架组件104的一部分，以形成单个组件。在图1-4的示例实施例中，反折射底架组件104包括三个反折射图像传感器112、 114和116。每个反折射图像传感器可以一起安装在底架120中以使图像传感器彼此保持固定。图3是没有图像传感器112、114、116的底架120的视图。底架120可以包括容纳器，一般为柱形的图像传感器112、114、116的每一个可以被容纳并且例如通过一个或多个螺杆或其它扣件扣紧在容纳器中。一旦被扣紧，图像传感器112、114和116就相对于彼此保持基本上固定。在所示的实施例中，底架120被配置成容纳三个反折射图像传感器。如下面说明的，底架120可以被配置成容纳三个以上的图像传感器。底架120例如可以安装在三脚架122上。每个图像传感器112、114、116包括中心轴，每个中心轴在此被称为传感器112、 114、116的光轴。传感器112、114、116固定在底架120内，使得光轴一起限定了等边三角形的顶点。在其它实施例中，相应传感器的轴可以形成其它配置的三角形。底架120可由金属、塑料或其它刚性材料形成。在包括三个以上图像传感器的实施例中，底架120可被相应地配置成将组件内的每个图像传感器保持为彼此固定关系。由于反折射图像传感器112、114、116的每一个彼此相同，以下对其一的说明应用于阵列104中的每一个反折射图像传感器。如图1-2、4-6所示，每个反折射图像传感器可以包括相机124以及经由杆132和环133固定安装到相机124的凸镜130。镜子130包括顶部130a和与杆132相邻的底部130b。杆132可以是关于反折射图像传感器的光轴而同轴的，并且可以支撑镜子使得镜子的底部130b距离相机约为7英寸，然而在其它实施例中也可以更大或更小。杆132可以是直径为四分之一英寸到二分之一英寸的圆形，然而在其它实施例中，它也可以具有其它直径并且可以是其它截面形状。镜子130和杆132可以通过环133相对于相机124而固定，环133可以附加到底架 120的容纳器。镜子130和杆132可以通过各种其它附加方法来附加到底架120和/或相机 124。在 2008 年 7 月 15 日颁发的题为“Apparatus For Mounting a Panoramic Mirror (用于安装全景镜的装置)”的第7399095号美国专利中公开了一种这样的方法，该专利整体结合于此。构想了其它安装结构，用于以使安装结构在由反折射图像传感器所捕捉的图像中最少出现的方式将镜子安装到相机。相机124可以是用于捕捉图像并将图像数字化为像素数据的已知数字相机。在一个示例中，相机可以是具有IEEE-1394接口的IIDC数字相机。 可使用其它类型的数字相机。凸镜130可以关于光轴对称，并且通常可用来捕捉来自360°全景的图像数据并将该图像数据向下引导至相机124。具体而言，如图5、6中所示的，镜子130的表面被设置成使入射到镜子130的部分上的光线LR被引导到相机124中的透镜134。透镜又将光线聚焦到图像传感设备138上，图像传感设备138可以例如是图6示意性示出的CCD或CMOS传感器。在下面描述的实施例中，每个反折射图像传感器112、114、116所捕捉的全景可以是 360°全景。然而，由图像传感器所产生的全景可以小于360°，诸如在90°与360°之间， 但在其它实施例中也可以小于90°。在实施例中，镜子130的表面可以关于图像传感器的光轴对称。可以使用在与相机光学元件组合时真正等角的镜形状。在这一等角的镜/相机系统中，图像中的每个像素可以跨越相等的角度，而不考虑它距由反折射图像传感器112、114、116所创建的圆形图像中心的距离。由此，图像的径向弯曲是统一的。可以修改镜子形状，以便补偿在与镜子组合时相机透镜添加的透视效果，从而提供经改进的高分辨率全景图像。关于凸镜130形状的一个示例的进一步细节在2006年6月6日向Singh等人颁发的题为“System and Method for Panoramic Imaging(用于全景成像的系统和方法)”第7058239号美国专利中有阐述， 该专利通过引用整体结合于此。下面提供了镜子130的形状的一些细节。图5、6示出等角镜130的示例的几何形状。所反射的光线LR由常数增益α来放大，而不管沿着镜子130的垂直轮廓的位置。这些镜子的一般形式在公式(I)中给出
权利要求
1.一种用于捕捉立体图像数据的系统(100)，包括三个或更多个图像传感器(104)，它们彼此结合操作以捕捉全景的左视图和右视图用于生成立体全景视图。
2.如权利要求I所述的用于捕捉立体图像数据的系统，其特征在于，所述三个或更多个图像传感器捕捉360°全景。
3.如权利要求I所述的用于捕捉立体图像数据的系统，其特征在于，所述三个或更多个图像传感器中的图像传感器包括反折射凸镜和从所述镜子接收反折射图像的相机。
4.如权利要求3所述的用于捕捉立体图像数据的系统，其特征在于，所述反折射凸镜包括等角表面。
5.如权利要求I所述的用于捕捉立体图像数据的系统，其特征在于，所述三个或更多个图像传感器包括四个至六个之间的图像传感器。
6.一种用于捕捉立体图像数据的反折射底架组件(104)，包括底架(120)，其包括三个容纳器；以及三个图像传感器(112，114，116)，在所述底架的每个容纳器中固定安装一个，所述三个图像传感器一起工作以捕捉用于提供全景的立体视图的图像数据。
7.如权利要求6所述的反折射底架组件，其特征在于，所述三个容纳器支撑所述三个图像传感器，其中图像传感器的光轴一起定义等边三角形。
8.如权利要求6所述的反折射底架组件，其特征在于，所述三个或更多个图像传感器捕捉360°全景。
9.一种用于捕捉立体图像数据的反折射组件(104)，包括三个图像传感器(112，114，116)，它们被彼此固定安装并且一起工作以捕捉用于提供全景的立体视图的图像数据，所述三个图像传感器中的每个图像传感器包括相机(124)，用于捕捉图像，以及反折射镜(130)，用于将围绕所述反折射镜360°的图像向下引导到所述相机(124)。
10.如权利要求9所述的反折射组件，其特征在于，所述三个图像传感器包括第一图像传感器，用于捕捉a)全景的第一部分的视图，用于第一部分的立体视图的左视角，以及b)全景的第二部分的视图，用于第二部分的立体视图的右视角；第二图像传感器，用于捕捉a)全景的第一部分的视图，用于第一部分的立体视图的右视角，以及b)全景的第三部分的视图，用于第三部分的立体视图的左视角；第三图像传感器，用于捕捉a)全景的第三部分的视图，用于第三部分的立体视图的右视角，以及b)全景的第二部分的视图，用于第二部分的立体视图的左视角；
全文摘要
本发明描述了用于360度立体视频捕捉的底架组件。公开了一种底架组件，包括底架以及固定安装到底架的多个图像传感器。图像传感器的数量可以变化，但是在一个示例中，存在三个图像传感器，在底架内排列成等边三角形。每个图像传感器包括相机(其可以是视频相机)和反折射镜。每个图像传感器中的镜子可以经由用于将镜子安装到底架的杆和环相对于相机固定安装。
文档编号G03B17/56GK102595169SQ20111044429
公开日2012年7月18日 申请日期2011年12月16日 优先权日2010年12月17日
发明者A·加登, B·沃特, H·扎尔加坡, M·龙迪内利 申请人:微软公司