专利名称：360度立体视频的左/右图像生成的制作方法
技术领域：
本发明涉及图像处理，尤其涉及立体视频的图像生成。
背景技术：
人类视觉使用了各种线索来感知真实世界中的三维(3D)深度。这些线索之一是视网膜像差，其中瞳孔间距导致左眼和右眼接收到关于世界的略微不同的投影。立体成像尝试通过向每个眼睛呈现略微不同的图像来创建人为的3D深度感知。从不同的有利位置捕捉两个图像，所述不同的有利位置彼此隔开一个距离，该距离近似于人眼的瞳孔间距。假定图像被正确地同步且有利位置近似瞳孔间距，则大脑以创建图像中深度的幻象的方式来处理这些图像。常规的3D相机包括用于生成一个场景的两个视图的一对隔开的图像传感器。尽管适用于场景的正视图或场景的某一其他部分，但是常规的3D相机不能获得场景的全景 360度视图。这点的原因至少在于在围绕360度全景的某一视角，第一图像传感器会捕捉第二图像传感器的视图，反之亦然，导致了 360度视图内的遮挡。另一选项是旋转这对图像传感器以便在没有任何相机遮挡的情况下捕捉完全的360度视图，但该技术将不能正确地捕捉动态场景。
发明内容
这里公开了用于从三个或更多个图像传感器捕捉图像数据、以及用于将所捕捉的图像数据处理成从每个图像传感器拍摄的全景的左视图和从每个图像传感器全景拍摄的右视图的方法。在全景的立体表示中，左视图被合成并且被用作全景的左视角，右视图被合成并且被用作全景的右视角。在各实施例中，使用三个图像传感器来捕捉图像，然而在其他实施例中可能有更多的图像传感器。图像传感器包括用于捕捉全景的反折射图像的镜。一旦全景的反折射图像被每一个图像传感器捕捉，图像就被变形为柱形图像。此后，来自不同图像传感器的图像可以在空间上彼此校准。这可以通过标识对每一个不同图像公共的关键点(即线索)、然后使图像间的公共线索的垂直差异最小来完成。每个图像传感器生成关于全景的一部分的左视图和关于全景的一部分的右视图。 在对来自不同图像传感器的图像进行校准后，来自每一个图像传感器的左图像可以被分组在一起，来自每一个图像传感器的右图像可以被分组在一起。在一个例子中，本技术涉及一种用于为全景的立体视图生成左图像和右图像的方法，包括(a)用三个或更多个图像传感器来捕捉全景的图像；(b) —起校准来自三个或更多个图像传感器的图像以便在空间上对齐这些图像；以及(C)将在所述步骤(a)中捕捉的图像分割成关于立体视图的左视角的全景的左图像和关于立体视图的右视角的全景的右图像。在进一步的例子中，本技术涉及一种用于为全景的立体视图生成左图像和右图像的方法，包括(a)用三个或更多个图像传感器来捕捉全景的图像；(b)将在所述步骤(a) 中捕捉的图像分割成关于立体视图的左视角的全景的左图像和关于立体视图的右视角的全景的右图像；(C)将来自每个图像传感器的左图像一起分组成从左视角的全景的合成左视图；以及(d)将来自每个图像传感器的右图像一起分组成从右视角的全景的合成右视图。在另一个例子中，本技术涉及一种对处理器进行编程以便执行为全景的立体视图生成左图像和右图像的步骤的存储介质，所述方法包括(a)用三个图像传感器来捕捉全景的图像，三个图像传感器中的每个图像传感器捕捉以下内容i)用作立体图像中的左视角的第一视图，ii)用作立体图像中的右视角的第二视图，以及iii)立体图像中未使用的第三视图；(b) —起校准来自三个或更多图像传感器的图像以便在空间上对齐图像；(c)将在所述步骤(a)中捕捉的图像分割成关于立体视图的左视角的全景的左图像和关于立体视图的右视角的全景的右图像；(d)将来自每个图像传感器的左图像一起分组成从左视角的全景的合成左视图；以及(e)将来自每个图像传感器的右图像一起分组成从右视角的全景的合成右视图。提供本发明内容以便以简化的形式介绍将在以下具体实施方式
中进一步描述的一些概念。本发明内容不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
图1是包括反折射底架组件和计算系统的本发明系统的图。图2是反折射底架组件的透视图。图3是反折射底架的透视图。图4是移除了凸面镜的反折射底架组件的一部分的透视图。图5是在反折射底架组件的图像传感器内使用的镜的俯视图。图6是反折射底架组件的图像传感器的截面侧视图。图7是捕捉全景的视图的反折射底架组件的俯视图。图8是捕捉图7的全景的不同部分的视图的反折射底架部件的俯视图。图8A是示出了遮挡角计算的图7的反折射底架组件的图示。图9是示出图8的反折射底架组件的图像传感器的左视图、右视图和被遮挡视图的图表。图10-12是根据本发明的替代实施例的反折射底架组件的俯视图。图13是本发明系统的一实施例的操作流程图。图14是捕捉反折射图像的凸面镜的仰视图。图15是从图14的反折射图像变形的柱形图像的透视图。图16是示出凸面镜的各参数的图14的凸面镜的仰视图。图17是图15的柱形图像的展平视图。图18-20是由三个图像传感器捕捉的柱形图像，并且示出可以为校准目的而在不同的图像间匹配的线索。
图21是示出图13的步骤208的进一步细节的流程图。图22是示出图13的步骤212的进一步细节的流程图。图23是来自不同图像传感器的柱形图像被分成左视图和右视图的视图。图对和25是在从全景的不同部分接收到图像数据时区分瞳孔间视距的两个例子。图沈是左图像被合成为全景左图像且右图像被合成为全景右图像的视图。图27是示出图13的步骤218的进一步细节的流程图。图观是示出图27的步骤274的进一步细节的流程图。图四是左图像或右图像的对要被合成的视图。图30是图四的图像被合成为带有重叠区域的视图。图31是示出图30的图像在重叠区域中以第一方向通道变形的视图。图32是示出图30的图像在重叠区域中以第二方向通道变形的视图。图33是可在其上实现本发明系统的各实施例的示例计算设备的框图。
具体实施例方式现在将参考附图1-33来描述本发明的技术的一般涉及用于生成全景立体图像的系统和方法的各实施例。在各实施例中，本发明系统包括硬件和软件组件。硬件组件包括计算设备以及在底架中彼此固定的三个或更多反折射图像传感器的组件。每个图像传感器生成全景的图像，诸如场景的360度视图。软件组件将反折射图像处理成全景的柱形图像， 在空间上校准来自不同图像传感器的柱形图像并且在时间上将它们彼此同步，将柱形图像分割成用于左眼的图像和用于右眼的图像，然后将来自不同传感器的左眼图像以及来自不同传感器的右眼图像缝合在一起。结果是可以被显示给用户以便提供例如360度全景的3D 立体视图的全景左视图和右视图。在各例子中，系统中所使用的图像可以是真实事件、人物、地点或事物的图像。仅作为一些非限制性的例子，图像可以是体育事件或音乐会的图像，其中用户能够从竞技场、 舞台或者图像收集设备所位于的任何地方来观看该事件。下面说明用于生成场景的立体全景图的硬件和软件组件。图1-4示出用于捕捉全景立体图像的系统100的一个例子。系统100包括能够与计算系统110通信的反折射底架组件104。下面参照图33更详细地说明了计算系统110的实施例，但通常，计算系统110可以是一个或多个台式机、便携式计算机、服务器、多处理器系统、大型计算机、分布式计算环境或其他处理系统。反折射底架组件104可以经由物理连接或者无线地与计算系统110通信。在各实施例中，计算系统110可以是来自组件104的单独组件。在这样的实施例中，计算系统110可以直接连到组件104，或者计算系统110和组件104可以经由例如LAN或因特网这样的网络连接相连。在进一步的实施例中，计算系统可以作为反折射底架组件104的一部分集成，以形成单个组件。在图1-4的示例实施例中，反折射底架组件104包括三个反折射图像传感器112、 114和116。每个反折射图像传感器可以在底架120中安装在一起以便将图像传感器保持为相对固定关系。图3是没有图像传感器112、114、116的底架120的视图。底架120可以包括各插孔，基本上是柱形的图像传感器112、114、116的每一个可以被容纳和固定在插孔中，例如通过一个或多个螺丝钉或其他扣件。一旦被固定，图像传感器112、114和116就相对于彼此保持基本上固定。在所示的实施例中，底架120被配置成容纳三个反折射图像传感器。如下面说明的，底架120可以被配置成容纳大于三个图像传感器。底架120例如可以安装在三脚架122上。每个图像传感器112、114、116包括中心轴，每个中心轴在此称为传感器112、114、 116的光轴。传感器112、114、116固定在底架120内，使得光轴一起限定了等边三角形的顶点。在其他实施例中，各个传感器的轴可以形成具有其他配置的三角形。底架120可由金属、塑料或其他刚性材料形成。在包括多于三个图像传感器的实施例中，会相应地配置底架 120，以便将组件内的每一个图像传感器保持为彼此固定关系。由于每一个反折射图像传感器112、114、116彼此相同，以下对一个反折射图像传感器的说明适用于阵列104中的每一个反折射图像传感器。如图1-2和4-6所示，每个反折射图像传感器可以包括相机124以及通过杆132和环133固定安装至相机IM的凸面镜 130。镜130包括和杆132相邻的顶部130a和底部130b。杆132可以是关于反折射图像传感器的光轴同轴的，并且可以支撑镜，使得镜130b的底部距离相机约为7英寸，然而在其他实施例中也可以更大或更小。杆132可以是直径为四分之一英寸到二分之一英寸的圆形， 然而在其他实施例中，它也可以具有其他直径并且可以是其他截面形状。镜130和杆132可以通过一环133相对于相机IM而固定，环133可以固定到底架120的插孔。镜130和杆132可以通过各种其他固定方法来固定到底架120和/或相机 124。一种这样的方法在2008年7月15日公告的第7399095号美国专利中公开，该专利题为“Apparatus For Mounting a Panoramic Mirror (用于安装全景镜的装置)”，该专利全体结合于此。构想了其他安装结构，用于以使安装结构在反折射图像传感器所捕捉的图像中的出现最小化的方式将镜安装到相机。相机1 可以是用于捕捉图像并将图像数字化为像素数据的已知数字相机。在一个例子中，相机可以是具有IEEE-1394接口的IIDC数字相机。可使用其它类型的数字相机。凸面镜130可以是关于光轴对称的，并且通常可用来捕捉来自360度全景的图像数据并将该图像数据向下引导至相机124。特别是，如图5和6所示，提供镜130的表面，使得镜130的各部分上入射的光线LR被引导至相机124内的透镜134上。透镜又将光线聚焦到图像传感设备138上，图像传感设备138可以例如是图6示意性地示出的CCD或CMOS 传感器。在下面描述的实施例中，每个反折射图像传感器112、114、116所捕捉的全景可以是360度全景。然而，图像传感器所产生的全景可以小于360度，诸如在90度和360度之间，然而在其他实施例中也可以小于90度。在各实施例中，镜130的表面是关于图像传感器的光轴对称的。可以使用在与摄像机光学结合时真正等角的镜形状。在这一等角的镜/相机系统中，图像中的每个像素可以跨越相等的角度，而不考虑它离开反折射图像传感器112、114、116所创建的圆形图像中心的距离。由此，图像的径向变形是统一的。可以修改镜的形状，以便补偿在与镜结合时相机透镜增加的透视效应，从而提供改进的高分辨率全景图像。和凸面镜130的形状的一个例子有关的进一步细节在2006年6月6日公告的Singh等人的第7058239号美国专利中提出，该专利题为“System and Method for Panoramic Imaging(用于全景成像的系统和方法)”，该专利通过引用全部结合于此。下面提供了镜130的形状的一些细节。
图5和6示出等角镜130的例子的几何形状。所反射的光线LR被放大一个常数增益α，而不管沿着镜130的垂直剖面的位置。这些镜的通式在等式(1)中给出
权利要求
1.一种用于为全景的立体视图生成左图像和右图像的方法，包括(a)用三个或更多个图像传感器(112、114、116)捕捉(步骤200)全景的图像；(b)一起校准(步骤204)来自所述三个或更多图像传感器的图像以便在空间上对齐图像；以及(c)将在所述步骤(a)中捕捉的图像分割(步骤21 成关于立体视图的左视角的全景的左图像(174、176、178)以及关于立体视图的右视角的全景的右图像(180、182、184)。
2.如权利要求1所述的方法，其特征在于，捕捉图像的所述步骤(a)包括捕捉全景的反折射图像的步骤，所述方法还包括将反折射图像变形为柱形图像的步骤(d)。
3.如权利要求2所述的方法，其特征在于，用于捕捉反折射图像的反折射镜具有等角表面，所述等角表面允许将反折射图像变形为柱形图像的所述步骤(d)成为从反折射图像到柱形图像的线性映射。
4.如权利要求1所述的方法，其特征在于，一起校准来自所述三个或更多图像传感器的图像的所述步骤(b)包括以下步骤标识来自所述三个或更多图像传感器的图像中的线索、以及标识在不同图像间共享的相同线索。
5.如权利要求1所述的方法，其特征在于，将所捕捉的图像分割成左图像和右图像的所述步骤(c)包括以下步骤将每个图像传感器所捕捉的图像分割成关于全景第一部分的左图像、关于全景第二部分的右图像、以及关于全景的第三部分的未使用的视图。
6.如权利要求5所述的方法，其特征在于，所述第三部分的未使用的视图包括图像传感器中的至少一个图像传感器的图像。
7.一种用于为全景的立体视图生成左图像和右图像的方法，包括(a)用三个或更多个图像传感器捕捉(步骤200)全景的图像；(c)将在所述步骤(a)中捕捉的图像分割(步骤21 成关于立体视图的左视角的全景的左图像(174、176、178)以及关于立体视图的右视角的全景的右图像(180、182、184)；(c)将来自每个图像传感器的左图像一起分组(步骤218)成从左视角的全景的合成左视图(186)；以及(d)将来自每个图像传感器的右图像一起分组(步骤218)成从右视角的全景的合成右视图(188)。
8.如权利要求7所述的方法，其特征在于，所述步骤(a)包括以下步骤(e)用第一图像传感器捕捉全景的第一部分的视图以及捕捉全景的第二部分的视图， 所述全景的第一部分的视图用于所述第一部分的立体视图的左视角，所述全景的第二部分的视图用于所述第二部分的立体视图的右视角；(e)用第二图像传感器捕捉全景的第一部分的视图以及捕捉全景的第三部分的视图， 所述全景的第一部分的视图用于所述第一部分的立体视图的右视角，所述全景的第三部分的视图用于所述第三部分的立体视图的左视角；以及(f)用第三图像传感器捕捉全景的第三部分的视图以及捕捉全景的所述部分的视图， 所述全景的第三部分的视图用于所述第三部分的立体视图的右视角，所述全景的所述部分的视图用于所述第二部分的立体视图的左视角。
9.一种用于对处理器(620)编程以便执行为全景的立体视图生成左图像和右图像的各步骤的机器可读存储介质(630、641、655)，所述方法包括(a)用三个图像传感器(112、114、116)来捕捉(步骤200)全景的图像，三个图像传感器中的每个图像传感器捕捉以下内容i)要被用作立体图像中的左视角的第一视图， )要被用作立体图像中的右视角的第二视图，以及 iii)不在立体图像中使用的第三视图；(b)一起校准(步骤204)来自三个或更多图像传感器的图像以便在空间上对齐图像；(c)将在所述步骤(a)中捕捉的图像分割(步骤21 成关于立体视图的左视角的全景的左图像(174、176、178)以及关于立体视图的右视角的全景的右图像(180、182、184)；(d)将来自每个图像传感器的左图像一起分组(步骤218)成从左视角的全景的合成左视图(186)；以及(e)将来自每个图像传感器的右图像一起分组(步骤218)成从右视角的全景的合成右视图(188)。
10.如权利要求9所述的存储介质，其特征在于，所述合成左视图和合成右视图提供了全景的偏移了瞳孔间视距的相同视图。
全文摘要
本发明360度立体视频的左/右图像生成。公开了用于从三个或更多个图像传感器捕捉图像数据、以及用于将所捕捉的图像数据处理成从每个图像传感器拍摄的全景的左视图和从每个图像传感器的全景拍摄的右视图的方法。在立体视图中，左视图被合成并且被用作全景的左视角，右视图被合成并且被用作全景的右视角。
文档编号G03B37/00GK102547358SQ20111044427
公开日2012年7月4日 申请日期2011年12月16日 优先权日2010年12月17日
发明者A·加登, B·沃特, H·扎尔加波, M·龙迪内利, 江胜明 申请人:微软公司