专利名称：用于捕捉全景立体视频的系统的制作方法
技术领域：
本发明涉及图像处理，尤其涉及用于捕捉全景立体视频的系统。
背景技术：
人类视觉使用了各种线索来感知真实世界中的三维(3D)深度。这些线索之一是视网膜像差，其中瞳孔间距导致左眼和右眼接收到关于世界的略微不同的投影。立体成像尝试通过向每个眼睛呈现略微不同的图像来创建人为的3D深度感知。从不同的有利位置捕捉两个图像，所述不同的有利位置彼此隔开一个距离，该距离近似于人眼的瞳孔间距。假定图像被正确地同步且有利位置近似瞳孔间距，则大脑以创建图像中深度的幻象的方式来处理这些图像。
常规的3D相机包括用于生成一个场景的两个视图的一对隔开的图像传感器。尽管适用于场景的正视图或场景的某一其他部分，但是常规的3D相机不能获得场景的全景 360度视图。这点的原因至少在于在围绕360度全景的某一视角，第一图像传感器会捕捉第二图像传感器的视图，反之亦然，导致了 360度视图内的遮挡。另一选项是旋转这对图像传感器以便在没有任何相机遮挡的情况下捕捉完全的360度视图，但该技术将不能正确地捕捉动态场景。发明内容
这里公开了通过在独立的凸面镜下定位多个相机来捕捉全景视频图像的系统和方法。视频图像被解除变形以形成柱形视频。柱形视频彼此组合以形成用于左眼视图和右眼视图的各个视频流-这是通过选择每个全景视频中的未被其他相机/镜遮挡的部分来完成的。然后将左眼和右眼柱形视频打包以便以各种立体查看格式进行回放。
在一个实施例，本发明的技术涉及一种用于提供立体图像数据的系统，包括用于提供被处理成全景的立体视图的图像数据的三个或更多图像传感器。
在进一步的实施例中，本发明的技术涉及用于提供立体图像数据的系统，包括用于捕捉全景的图像数据的三个或更多图像传感器；以及用于将来自三个或更多图像传感器的图像数据处理成不包括三个或更多图像传感器的图像的立体图像数据的处理器。
在另一实施例中，本发明的技术涉及一种提供立体图像数据的方法，包括(a)从全景的至少180度捕捉视频图像数据；以及(b)将所述步骤(a)中捕捉的视频图像数据处理成这样的立体图像数据，该立体图像数据不包括用于在所述步骤(a)中捕捉视频图像数据的任何设备的图像。
提供本发明内容以便以简化形式介绍在以下详细描述中进一步描述的概念精选。 本发明内容不旨在标识所要求保护主题的关键或必要特征，也不旨在用于帮助确定所要求保护主题的范围。此外，所要求保护的主题并不受限于解决在本公开任何部分提到的任何或全部缺点的实现。
图I是包括反折射底架组件和计算系统的本发明系统的图。
图2是反折射底架组件的透视图。
图3是反折射底架的透视图。
图4是移除了凸面镜的反折射底架组件的一部分的透视图。
图5是在反折射底架组件的图像传感器内使用的镜的俯视图。
图6是反折射底架组件的图像传感器的截面侧视图。
图7是捕捉全景的视图的反折射底架组件的俯视图。
图8是捕捉图7的全景的不同部分的视图的反折射底架部件的俯视图。
图8A是示出了遮挡角计算的图7的反折射底架组件的图示。
图9是示出图8的反折射底架组件的图像传感器的左视图、右视图和被遮挡视图的图表。
图10-12是根据本发明的替代实施例的反折射底架组件的俯视图。
图13是本发明系统的一实施例的操作流程图。
图14是捕捉反折射图像的凸面镜的仰视图。
图15是从图14的反折射图像变形的柱形图像的透视图。
图16是示出凸面镜的各参数的图14的凸面镜的仰视图。
图17是图15的柱形图像的展平视图。
图18-20是由三个图像传感器捕捉的柱形图像，并且示出可以为校准目的而在不同的图像间匹配的线索。
图21是示出图13的步骤208的进一步细节的流程图。
图22是示出图13的步骤212的进一步细节的流程图。
图23是来自不同图像传感器的柱形图像被分成左视图和右视图的视图。
图24和25是在从全景的不同部分接收到图像数据时区分瞳孔间视距的两个例子。
图26是左图像被合成为全景左图像且右图像被合成为全景右图像的视图。
图27是示出图13的步骤218的进一步细节的流程图。
图28是示出图27的步骤274的进一步细节的流程图。
图29是左图像或右图像的对要被合成的视图。
图30是图29的图像被合成为带有重叠区域的视图。
图31是示出图30的图像在重叠区域中以第一方向通道变形的视图。
图32是示出图30的图像在重叠区域中以第二方向通道变形的视图。
图33是可在其上实现本发明系统的各实施例的示例计算设备的框图。
具体实施方式
现在将参考附图1-33来描述本发明的技术的一般涉及用于生成全景立体图像的系统和方法的各实施例。在各实施例中，本发明系统包括硬件和软件组件。硬件组件包括计算设备以及在底架中彼此固定的三个或更多反折射图像传感器的组件。每个图像传感器生成全景的图像，诸如场景的360度视图。软件组件将反折射图像处理成全景的柱形图像，在空间上校准来自不同图像传感器的柱形图像并且在时间上将它们彼此同步，将柱形图像分割成用于左眼的图像和用于右眼的图像，然后将来自不同传感器的左眼图像以及来自不同传感器的右眼图像缝合在一起。结果是可以被显示给用户以便提供例如360度全景的3D 立体视图的全景左视图和右视图。
在各例子中，系统中所使用的图像可以是真实事件、人物、地点或事物的图像。仅作为一些非限制性的例子，图像可以是体育事件或音乐会的图像，其中用户能够从竞技场、 舞台或者图像收集设备所位于的任何地方来观看该事件。下面说明用于生成场景的立体全景图的硬件和软件组件。
图1-4示出用于捕捉全景立体图像的系统100的一个例子。系统100包括能够与计算系统110通信的反折射底架组件104。下面参照图33更详细地说明了计算系统110的实施例，但通常，计算系统110可以是一个或多个台式机、便携式计算机、服务器、多处理器系统、大型计算机、分布式计算环境或其他处理系统。反折射底架组件104可以经由物理连接或者无线地与计算系统110通信。在各实施例中，计算系统110可以是来自组件104的单独组件。在这样的实施例中，计算系统110可以直接连到组件104，或者计算系统110和组件104可以经由例如LAN或因特网这样的网络连接相连。在进一步的实施例中，计算系统可以作为反折射底架组件104的一部分集成，以形成单个组件。
在图1-4的示例实施例中，反折射底架组件104包括三个反折射图像传感器112、 114和116。每个反折射图像传感器可以在底架120中安装在一起以便将图像传感器保持为相对固定关系。图3是没有图像传感器112、114、116的底架120的视图。底架120可以包括各插孔，基本上是柱形的图像传感器112、114、116的每一个可以被容纳和固定在插孔中，例如通过一个或多个螺丝钉或其他扣件。一旦被固定，图像传感器112、114和116就相对于彼此保持基本上固定。在所示的实施例中，底架120被配置成容纳三个反折射图像传感器。如下面说明的，底架120可以被配置成容纳大于三个图像传感器。底架120例如可以安装在三脚架122上。
每个图像传感器112、114、116包括中心轴，每个中心轴在此称为传感器112、114、 116的光轴。传感器112、114、116固定在底架120内，使得光轴一起限定了等边三角形的顶点。在其他实施例中，各个传感器的轴可以形成具有其他配置的三角形。底架120可由金属、塑料或其他刚性材料形成。在包括多于三个图像传感器的实施例中，会相应地配置底架 120，以便将组件内的每一个图像传感器保持为彼此固定关系。
由于每一个反折射图像传感器112、114、116彼此相同，以下对一个反折射图像传感器的说明适用于阵列104中的每一个反折射图像传感器。如图1-2和4-6所示，每个反折射图像传感器可以包括相机124以及通过杆132和环133固定安装至相机124的凸面镜 130。镜130包括和杆132相邻的顶部130a和底部130b。杆132可以是关于反折射图像传感器的光轴同轴的，并且可以支撑镜，使得镜130b的底部距离相机约为7英寸，然而在其他实施例中也可以更大或更小。杆132可以是直径为四分之一英寸到二分之一英寸的圆形， 然而在其他实施例中，它也可以具有其他直径并且可以是其他截面形状。
镜130和杆132可以通过一环133相对于相机124而固定，环133可以固定到底架120的插孔。镜130和杆132可以通过各种其他固定方法来固定到底架120和/或相机 124。一种这样的方法在2008年7月15日公告的第7399095号美国专利中公开，该专利题为“Apparatus For Mount ing a Panoramic Mirror (用于安装全景镜的装置)”,该专利全体结合于此。构想了其他安装结构，用于以使安装结构在反折射图像传感器所捕捉的图像中的出现最小化的方式将镜安装到相机。相机124可以是用于捕捉图像并将图像数字化为像素数据的已知数字相机。在一个例子中，相机可以是具有IEEE-1394接口的IIDC数字相机。可使用其它类型的数字相机。
凸面镜130可以是关于光轴对称的，并且通常可用来捕捉来自360度全景的图像数据并将该图像数据向下引导至相机124。特别是，如图5和6所示，提供镜130的表面，使得镜130的各部分上入射的光线LR被引导至相机124内的透镜134上。透镜又将光线聚焦到图像传感设备138上，图像传感设备138可以例如是图6示意性地示出的CCD或CMOS 传感器。在下面描述的实施例中，每个反折射图像传感器112、114、116所捕捉的全景可以是360度全景。然而，图像传感器所产生的全景可以小于360度，诸如在90度和360度之间，然而在其他实施例中也可以小于90度。
在各实施例中，镜130的表面是关于图像传感器的光轴对称的。可以使用在与摄像机光学结合时真正等角的镜形状。在这一等角的镜/相机系统中，图像中的每个像素可以跨越相等的角度，而不考虑它离开反折射图像传感器112、114、116所创建的圆形图像中心的距离。由此，图像的径向变形是统一的。可以修改镜的形状，以便补偿在与镜结合时相机透镜增加的透视效应，从而提供改进的高分辨率全景图像。和凸面镜130的形状的一个例子有关的进一步细节在2006年6月6日公告的Singh等人的第7058239号美国专利中提出，该专利题为“System and Method for Panoramic Imaging(用于全景成像的系统和方法)”，该专利通过引用全部结合于此。下面提供了镜130的形状的一些细节。
图5和6示出等角镜130的例子的几何形状。所反射的光线LR被放大一个常数增益a，而不管沿着镜130的垂直剖面的位置。这些镜的通式在等式(I)中给出
权利要求
1.一种用于提供立体图像数据的系统(100)，包括三个或更多个图像传感器(112、114、116)，用于提供被处理成全景的立体视图的图像数据。
2.如权利要求I所述的用于提供立体图像数据的系统，其特征在于，还包括一计算设备，所述计算设备用于从所述三个或更多个图像传感器接收图像数据、并且将来自每个图像传感器的图像数据分成全景的左视图和右视图。
3.如权利要求I所述的用于提供立体图像数据的系统，其特征在于，所述计算设备还将来自每个图像传感器的左视图组合成全景的单个左视图、并且将来自每个图像传感器的右视图组合成全景的单个右视图。
4.如权利要求I所述的用于提供立体图像数据的系统，其特征在于，所述系统生成围绕360度全景的视频图像数据。
5.如权利要求4所述的用于提供立体图像数据的系统，其特征在于，所述360度全景的视频图像数据不包括所述三个或更多个图像传感器的图像数据。
6.一种用于提供立体图像数据的系统(100)，包括三个或更多个图像传感器(112、114、116)，用于捕捉全景的图像数据；以及处理器(110)，用于将来自所述三个或更多个图像传感器(112、114、116)的图像数据处理成不包括所述三个或更多个图像传感器(112、114、116)的图像的立体图像数据。
7.如权利要求6所述的用于提供立体图像数据的系统，其特征在于，每个图像传感器捕捉被处理成用于用户左眼的数据的全景的第一部分，其中，每个图像传感器捕捉被处理成用于用户右眼的数据的全景的第二部分。
8.如权利要求6所述的用于提供立体图像数据的系统，其特征在于，每个图像传感器捕捉全景的第三部分，所述第三部分被处理成未在向用户提供的立体图像中使用的数据。
9.如权利要求6所述的用于提供立体图像数据的系统，其特征在于，每个图像传感器包括用于提供反折射图像的相机和凸面镜。
10.一种提供立体图像数据的方法，包括(a)从全景的至少180度捕捉(步骤200)视频图像数据；以及(b)将在所述步骤(a)中捕捉的视频图像数据处理(步骤202、204、208、212、214、218) 成这样的立体图像数据，所述立体图像数据不包括用于在所述步骤(a)中 捕捉视频图像数据的任何设备的图像。
全文摘要
本发明涉及用于捕捉全景立体视频的系统。公开了用于生成全景立体图像的系统和方法。该系统包括具有在底架中彼此固定的三个或更多个反折射图像传感器的组件。每个图像传感器生成全景的反折射图像，该图像可以例如是场景的360度视图。软件组件将反折射图像处理成全景的三维立体视图。
文档编号H04N13/02GK102547357SQ20111044351
公开日2012年7月4日 申请日期2011年12月16日 优先权日2010年12月17日
发明者A·加登, B·沃特, H·扎尔加波, M·龙迪内利, 江胜明 申请人:微软公司