专利名称：多视点视频拍摄系统和方法
多视点视频拍摄系统和方法
背景技术：
在过去的十年间，视频采集系统的功能和性能已显著变化。例如，这样的视频系统已经从标清视频拍摄发展到高清视频拍摄，从二维视频采集发展到三维视频拍摄和输出。具体地说，体育广播和视频拍摄方法需要大量工作人员、详细和繁琐的机械程序以及复杂的设备。而且，随着三维视频的需求增加，该任务变得更加有挑战性和昂贵。
本发明的特征和优势以及本发明的附加特征和优 势，将因结合下面附图给出的本发明具体实施例的详细描述而从下文中更清楚地理解，其中图I是根据本发明实施例的多视点视频拍摄系统的三维透视图。图2A是根据本发明实施例的在体育广播环境中的多视点视频拍摄系统的透视图。图2B是根据本发明实施例的在体育广播环境中的多视点视频拍摄系统的另一透视图。图3A和图3B是单镶嵌全景成像器构造的后视图和俯视图。图4A和图4B是根据本发明一个实施例的双目镶嵌全景成像器构造的后视图和俯视图。图5A和图5B是根据本发明一个实施例的双目镶嵌全景成像器构造的后视图和俯视图。图6A至图6C是根据本发明实施例的对相机单应性进行初始化的基线算法的图解。图7是根据本发明实施例的在多视点视频拍摄方法中执行的处理步骤的流程图。图8是根据本发明实施例的实施多视点视频拍摄的示例性系统的框图。命名和专用术语在整个下面的描述和权利要求中，使用某些术语来指代特定的系统组件。如本领域的技术人员将理解的，公司可以根据不同名称指代组件。该文档不意图区分名称上不同但是功能上无差别的组件。在下面的介绍和在权利要求中，术语“包括”、“包含”和“例如”是以无限制的方式使用的，因此应当被解释成指“包括但不限于…”。术语“联接”或“联结”意图指间接连接或直接连接。因此，如果第一组件联接到第二组件上，那么该连接可以通过直接电连接或者通过经由其它组件和连接的间接电连接，比如光电连接或无线电连接。而且，术语“系统”指两个或多个硬件组件和/或软件组件的集合，并且可以用来指电子设备或多个电子设备或者由电子设备构成的子系统。为了下面的介绍，术语“合成图像”意图指由两个或多个所采集或拍摄的图像构成的图像。而且，术语“镶嵌”意图指产生无缝式合成图像的过程。术语“源图像”意图指构成合成图像的图像。术语“成像器”或“传感器”意图指拍摄图像的相机系统组件。术语“单应性(homography)”意图指关联源图像视角的数学对象。在一个实施例中，这些单应性通过由源图像共享的约束来确定，并且用来无缝地合并这些源图像。
具体实施例方式下面的介绍针对多个实施例。虽然这些实施例中的一个或多个实施例可以是优选的，但是所公开的实施例不应当被解释成或以其它方式用做限制包括权利要求在内的公开内容的范围。此外，本领域的技术人员将明白，下面的描述具有广泛的应用，并且对任何实施例的介绍意在仅例证该实施例，而不意图宣告包括权利要求在内的公开内容的范围局限于该实施例。传统体育赛事电影摄制术需要在赛事场地周围分布的多个分离的摄影师团队。在每个位置，需要连续的取景动作和调焦动作来保持实时的和观众立即可得的视频可用于传输。使该过程便利所需的人员经常包括摄影师、调焦员和数字成像技师，来保持在使用数字 介质时可利用的大量变量的调整。更进一步地，更先进的影片拍摄方式可以包括用于数字同步的技师以及物理地移动相机以便拍摄体育赛事的不同视点的另一摄影师。因此，典型的体育广播可能牵涉由六个到八个摄影师组成的团队，因此参与者的数量和成本可能是巨大的。延伸标准视频覆盖范围至三维的措施使摄影师的负担增加多倍并且耗费其传输实时的和观众立即可得的产物的能力。除原始的调焦和取景美感问题以外，新的问题是三维视频在不导致观众不舒服或疲劳的情况下进行工作。也就是说，三维视频展现必须增加观众的体验，而不导致在延长的展现曝光期间引起的恶心或其它常常提到的刺激问题。这些副作用可能在视频的成像和展现不与观众的感觉期望完全一致时出现。因此，本发明的实施例提供在这种视频拍摄期间通过消除其操作所需的大部分人员数来降低手动控制的复杂度和负担的系统和方法，同时还提供更身临其境式的视觉体验机会。根据本发明的实施例提供被配置用于多视点图像的全景拍摄的相机系统。具体地说，实施例容许被配置成同时从多个视角获取场景的超高分辨率视图和全包含视图的视频拍摄系统，从而支持体育赛事和类似大录制格式事件的身临其境式观看。而且，当前实施例的相机构造提供多项优势。例如，系统的操作不受机械致动影响，除通过数字处理以外没有施加摇摄、倾斜、调焦、缩放等，使得所有取景和其它视频编辑决策可以在视频集成场所集中地进行。更进一步地，多个全景图像可以从与所寻求的效果需要的视点同样多的视点并且同时地获取。因此，实施例提供身临其境式的观看体验，在该身临其境式的观看体验中可以获得任意的观看长宽比(aspect ratio)，并且消除摄影师的大部分负担以及操作人员的数量降至最少。根据成像器的计算增强和构造，当前的实施例能够相对于传统体育视频拍摄方法提供经济优势和质量优势。现在更详细地参考附图，在附图中，类似的附图标记在全部附图中标示相应部件，图I是根据本发明实施例的多视点视频拍摄系统的三维透视图。这里示出的相机系统包括相机体或相机壳130，相机体或相机壳130用于包围多个多成像器组102、104、106、108和110。根据该示例性实施例，每个多成像器组102、104、106、108和110包括三个光学相机或传感器。例如，多成像器组102包括光学传感器103a、103b和103c，多成像器组104包括光学传感器105a、105b和105c，多成像器106包括光学传感器107a、107b和107c，多成像器组108包括光学传感器109a、109b和109c，并且多成像器组110包括光学传感器111a、Illb和111c。如将关于图2A详细地说明的，每个多成像器组102-110内的每个光学传感器被配置成从它们各自的视点拍摄各自的源图像。更进一步地，在同步视频拍摄中，上述多个传感器被配置成以十分高的结合分辨率工作，同时允许通过多个单独拍摄的集成将全景视图缝合在一起。根据一个实施例，多视点视频相机系统100针对从左至右的全景图像拍摄而定位。更具体地说，每个光学传感器103a、105a、107a、109a和Illa代表朝向基本相同视点或观看方向(例如向左)的对应相机。同时，光学传感器103b、105b、107b、109b和Illb代表朝向大致相同视点方向(例如中央)的对应相机。更进一步地，光学传感器103c、105c、107c、109c和Illc代表朝向近乎相同观看方向(例如向右)的对应相机。对于三维视频拍摄而言，沿水平相机行105、110和115放置的每个相机的投影中心应当共线。将参照图3A至图3C更详细地描述多成像器组中每个相机的观看方向、投影中心和线性度。图2A是根据本发明实施例的在体育广播环境中的多视点视频拍摄系统的透视图。在本实施例中，多视点相机系统用于篮球比赛的广播。这里示出的每个光学传感器202、 204和206被配置成具有变化的视点和关联的水平视区Hl—H3，以便拍摄各自的源图像并且提供整个篮球场205的合成全景图像。根据一个实施例，每个光学传感器202、204和206的视点和水平视区H1、H2和H3分别应当挨在一起，以便允许其中相机202-206与单个相机系统类似地工作(在光学上)的最佳全景成像。根据一个实施例，每个光学相机被配置用于极线构建，使得相机的传递特性(transitive character)允许在任一采集的图像上任意再采样。具体地说，示例性的成像器202、204和206可以放置成相隔大约12毫米，以便通过减小如图2A中示出的重叠区(即每个传感器具有限定的水平视区)处的成像器与成像器差异来使双成像的可能最低。可选地，成像器202、204和206还可以配置成和用来增加它们各自水平视区H1、H2和H3的重叠区。图2B是根据本发明实施例的在体育广播环境中的多视点视频拍摄系统的另一透视图。该特定实施例展示沙伊姆弗勒(Scheimpf lug)观察相机原理如何用于在活动环境(例如篮球比赛)下水平放置焦平面227。具体地说，根据一个实施例，多成像器系统的每个相机被配置成使它们的透镜向下倾斜一小角度。该倾斜215 (也称为沙伊姆弗勒倾斜)使场景中的焦平面倾斜，使得由成像器的图像平面210限定的平面和焦平面沿位于视频拍摄相机系统100下方的线相交,其中成像器的图像平面210跨越视锥(view frustum)(即从地板边缘220附近和篮板218的上边缘起)的下限和上限。对特定的镜头倾斜进行选择，使得生成的焦平面以某一仰角并且以满足系统的焦距要求的景深223经过比赛区/活动区(即篮球场)。而且，视频拍摄的格式不被限制到某一格式(例如4:3、16:9)，并且可以被限定成与观测中的活动的形状或格式匹配。图3A至图5C是根据本发明实施例的多视点视频拍摄系统内的光学相机的多种构造图解。图3A和图3B是单个镶嵌全景成像器组的后视图和俯视图。如图3A中所示，多成像器组303包括分别朝向视点方向310a、310b和310c的光学相机305a、305b和305c。也就是说，相机305a具有朝向左方向的观看方向310a，相机305b具有朝向中央方向的观看方向310b，并且相机305c具有朝向右方向的视点方向。当如图3B中那样从顶部角度观看时，每个相机镜头似乎具有关于它们的投影中心(由灰色圆圈表示)的接近公共的竖直轴线，在投影中心中相机305a重叠相机305b，相机305b重叠相机305c。而且，每个相机305a_305c被配置成具有方向偏离，以提供特定场景的恰好相邻的视野。图4A和图4B示出双目镶嵌全景成像器构造的后视图和俯视图。如图4A中所示，相机构造包括并排放置的两个多成像器组403和408，使得每个多成像器组包括对应的具有彼此侧向移位的观看方向的相机。更具体地说，多成像器组403包括与包括光学相机415a、415b和415c的多成像器组408侧向相邻放置的光学相机405a、405b和405c，使得对应相机405a和415a具有基本一致的向左观看方向410a，相机405b和415b具有大致对应的中央观看方向410b，并且相机405c和415c具有基本一致的向右观看方向410c。而且以及如图4B中所示，为了简单起见，这里将每个多成像器组403和408的每个相机透镜示出成具有关于它们的投影中心(由灰色圆圈表示)的接近公共的竖直轴线，在投影中心中，相机405a和415a重叠相机405b和415b，相机405b和415b重叠相机405c和415c。具体地说，联结每个对应相机的投影中心的线大致是平行的。例如，在本实施例中，联结对应相机405a-410a、405b-410b和405c_410c的线421、423和425分别大致彼此平行。 此外，每个多成像器组403和408的相机405a_405c和415a_415c被配置用于同时双目视频采集，从而能够进行全景三维视频拍摄和产生双目立体感的侧向差异图像。图5A和图5B示出多视线镶嵌全景成像器构造的后视图和俯视图。如图5A的示例性实施例中示出的，多视点相机系统包括四个多成像器组503、508、513和518。与图4A中示出的前一实施例类似，每个多成像器组是并排布置的或侧向相邻布置的，使得对应相机具有彼此侧向移位的观看方向。也就是说，多成像器组503、508、513和518的上面一排530的相机具有基本一致的向左视点方向510a，多成像器组503、508、513和518中的中央一排535的相机具有基本一致的中央视点方向510a，而多成像器组503、508、513和518的下面一排540的相机具有基本一致的向右视点方向510a。更进一步地，对应相机的投影中心(由灰色圆圈表示)是共线的。例如，上面一排530的相机的投影中心沿线521 (即共线点)放置，中央一排535的相机的投影中心沿线523放置，而下面一排540的相机的投影中心沿线525放置。如图5B的俯视示例性视图中示出的，每个多成像器组503-518中的每个相机可以被设置成具有关于它们的投影中心的接近公共的竖直轴线，使得上面的相机重叠中央的相机，中央的相机重叠下面的相机。然而，竖直构造仅仅是根据本发明一个实施例的结构简化，因为多成像器组503-518的每个成像器仅需要邻近，以便使来自变化的投影中心的双成像可能性最低。根据示例性实施例，多成像器组中的每个相机可以被配置成拍摄用于提供合成全景图像的源图像，而多个多成像器组可以用于提供全景图像的多个视点。因此，本发明的实施例提供为在镶嵌中接合使用(即拍摄全景)而放置的相机，而为从全异视点(即多视点或三维拍摄)拍摄多个这样的镶嵌而放置其它相机，以便产生多视觉侧向全异图像。图6A至图6C是根据本发明一个实施例的在初始化相机极线校正下的基线算法的图解。基线算法意图对在机械组件中通常不可获得这些成像器构造中的严格共线和严格平行的事实进行补偿，因此需要使产生的不精确最小的最接近方案。根据本实施例，基线算法从例如完全几何棋盘格校准开始。如图6A中示出的，线I与使至全部相机中心的正交距离最小而产生的相机中心匹配。这里，线I由三维点A和方向a表示，该线I可以被选为基线。接下来以及如图6B中示出的，使CO旋转，使得其X轴线与a对齐。为了使由旋转图像导致的扭曲最小，将参考相机CO的z轴正交地投射到平面P上，其用作新的z’轴，同时y’轴变成x’和z’的叉积。更进一步地,通过表示参考方向Rw= [X’ ；y’ ；z’],将坐标框架移动至W。然后，处理器计算每个相机关于W的姿势，使每个相机旋转，因此其光轴垂直于X’并且平行于z’，如图6C中示出的。在一个实施例中，该旋转过程被实现为单应性。因此，理想的多基线系统可以通过多成像器系统的相机在不移动它们的投影中心条件下近似。图7示出根据本发明实施例的在多视点视频拍摄方法中执行的处理步骤的流程图。在步骤702中，处理器从上面描述的多个多成像器组中接收多个源图像。在一个实施例中，使用至少两个多成像器组，以便提供全景三维视频拍摄。在步骤704中，处理器将来自每个多成像器组的源图像进行合并，以产生多个全景视图。如上面描述的，多成像器组中的每个传感器被配置成捕获来自全异视点的图像数据，因此能够通过图像处理器镶嵌合成的全景图像。根据示例性实施例，多视点系统包括至少两个多成像器，使得处理器可以根据所接收的源图像产生至少两个全景图像。然后在步骤706中，使用多个全景图像产生三维 图像。进一步地，在步骤708中，位于视频集成场所的远程操作员可以向图像处理器发送控制输入，以便编辑所产生的三维图像。例如，操作员可以选择改变由R2=[x’，y’，z’ ]规定的参考方向，或者选择特定的多成像器子集，或者数字地摇摄或缩放仅一部分全景视图等。然后在步骤710中，处理器根据所接收的控制输入调整并更新三维图像。图8是根据本发明实施例的实施多视点视频拍摄的示例性系统的框图。如该示例性实施例中示出的，系统800包括被配置成通过连接813向位于视频集成场所815的图像处理器806传输数据的多个多成像器，连接813可以是使用光纤或类似数据线缆的有线连接，或者是通过无线网络的无线连接。此外，视频集成场所815还包括显示单元810和计算机可读存储介质820。显示单元810代表被配置成向操作员显示图像的电子可视显示器，而存储介质820代表易失性存储器(例如随机存取存储器)、非易失性存储器(例如硬盘驱动器、只读存储器、光盘只读存储器、闪存等)或者二者的结合。更进一步地，存储介质820包括可由处理器806执行的以及在被执行时促使处理器806执行本发明中描述的一些功能或全部功能的软件825。当前实施例的多视点视频拍摄系统的特征是能够提供自动的视频拍摄，使得视频处理和编辑可以远程地发生。具体地说，高分辨率的视频拍摄允许远程数字帧选择和缩放。也就是说，不需要操作员现场的机械动作，因为全部数字处理可以集中地操纵。例如，位于远程视频集成场所815的中央操作员可以使用显示单元810来选择某些全景视图，以除去异常或敌对的伪像，从而保证更好的观众感受。本发明的实施例提供克服传统视频拍摄方法缺陷的全景多视点相机系统。更具体地说，本发明的多视点相机系统使利用对视频链工作的计算分析获得自动操作，以保证满足对三维观看的知觉限制，同时还提供因实时分析引起的特定相机设计，以保证有品质的视频拍摄。因此，从拍摄师那里去掉许多负担，因而能够以稳定的聚焦操作进行集中规划、策略选择和不费力的取景，而这均减少运营团队规模和获得较高质量产品。更进一步地，当前实施例的多视点视频拍摄系统的构造提供几项视频处理优势。例如，立体声基线可以适合于将观众的视角放置在场景中的任何深度(例如，可以呈现从篮球比赛的中间场地观看的三维场景)。而且，多视点视频可以用于范围分析和响应控制(即数字摇摄以跟随动作等)。另外，这种相机系统提供在观众喜欢的更多不可到达位置上放置规模缩小但性能增强的成像技术的可能性。通过与全景显示(包括立体声全景显示)结合，当前实施例的视频拍摄系统可以能够发展在身临其境式娱乐方面的新体验。
此外，尽管已经关于示例性实施例描述本发明，但是本领域技术人员将认识到多种修改是可能的。例如，虽然示例性实施例示出和描述篮球场和篮球比赛作为代表性体育广播，但本发明不局限于此。例如，当前实施例的多成像器视频拍摄系统可以用于足球、篮球、拳击、曲棍球、英式足球或类似体育赛事或大规模视频广播。而且，除在当前实施例中示出的三个传感器构造以外，根据本发明实施例的视频拍摄系统中的每个多成像器组可以包括两个、四个或任何其它数量的光学相机。类似地，多 成像器视频拍摄系统可以包括五个以上的多成像器组。因此，虽然已经关于示例性实施例描述本发明，但将理解，本发明旨在将所有改变和等同物涵盖在所附权利要求的范围内。
权利要求
1.一种多视点视频拍摄系统，该系统包括 用于容纳多个多成像器组的相机壳； 包括密切接近的多个光学相机的第一多成像器组，其中每个相机具有不同的视点方向并且被配置成产生源图像；以及 包括密切接近的多个光学相机的第二多成像器组，其中每个相机具有不同的视点方向并且被配置成产生源图像， 其中所述第一多成像器组和所述第二多成像器组包括面向大致相同视点方向的对应相机， 其中所述第一多成像器组是与所述第二多成像器组侧向邻近放置的，使得联结所述第一多成像器组和所述第二多成像器组中的对应相机的投影中心的线基本平行。
2.根据权利要求I所述的视频拍摄系统，进一步包括 图像处理器，被配置成合并所述第一多成像器组中的每个相机的所述源图像来产生第一全景视图，并且合并所述第二多成像器组中的每个相机的所述源图像来产生第二全景视图。
3.根据权利要求2所述的视频拍摄系统，其中所述图像处理器进一步被配置成根据所述第一全景视图和所述第二全景视图生成三维图像。
4.根据权利要求I所述的视频拍摄系统，其中所述第一多成像器组和所述第二多成像器组包括具有不同视点方向的至少三个光学相机。
5.根据权利要求4所述的视频拍摄系统，其中所述第一多成像器组和所述第二多成像器组均包括具有向左观看方向的第一相机、具有中央观看方向的第二相机以及具有向右观看方向的第三相机。
6.根据权利要求I所述的视频拍摄系统，进一步包括 至少一个附加的多成像器组，放置在所述相机壳内并且包括密切接近放置的多个光学相机，其中每个相机具有不同的视点方向。
7.根据权利要求6所述的视频拍摄系统，其中所述至少一个附加的多成像器组与所述第一多成像器组或所述第二多成像器组侧向邻近放置，使得所述至少一个附加的多成像器组中的每个相机的投影中心大致与所述第一多成像器组和所述第二多成像器组两者中的所述对应相机的投影中心共线。
8.一种计算机实施的多视点视频拍摄方法，该方法包括 通过处理器从包括多个光学相机的第一多成像器组和包括多个光学相机的第二多成像器组接收多个源图像； 通过所述处理器将所述第一多成像器组的所述源图像合并，以产生第一全景视图； 通过所述处理器将所述第二多成像器组的所述源图像合并，以产生第二全景视图；并且 通过所述处理器根据所述第一全景视图和所述第二全景视图生成三维图像。
9.根据权利要求8所述的方法，进一步包括 通过所述处理器根据从远程用户接收的控制输入，自动地调整所生成的三维图像。
10.根据权利要求8所述的方法，其中所述第一多成像器组和所述第二多成像器组包括面向大致相同观看方向的对应相机。
11.根据权利要求8所述的方法，其中所述第一多成像器组与所述第二多成像器组侧向邻近放置，使得联结所述第一多成像器组和所述第二多成像器组中的对应相机的投影中心的线大致平行。
12.根据权利要求11所述的方法，其中所述第一多成像器组和所述第二多成像器组均包括具有向左观看方向的第一相机、具有中央观看方向的第二相机以及具有向右观看方向的第三相机。
13.根据权利要求12所述的方法，其中与所述第一多成像器组或与所述第二多成像器组侧向邻近放置至少一个附加的多成像器组，使得所述至少一个附加的多成像器组中的每个相机的投影中心与所述第一多成像器组和所述第二多成像器组两者中的对应相机的投影中心大致共线。
14.一种用于多视点视频拍摄的存储有可执行指令的计算机可读存储介质，所述可执行指令在由处理器执行时导致所述处理器 从包括多个光学相机的第一多成像器组和包括多个光学相机的第二多成像器组接收多个源图像； 合并所述第一多成像器组的所述源图像，以产生第一全景视图； 合并所述第二多成像器组的所述源图像，以产生第二全景视图；以及 根据所述第一全景视图和所述第二全景视图生成三维图像。
15.根据权利要求14所述的计算机可读存储介质，其中所述可执行指令进一步导致所述处理器 根据从远程用户接收的控制输入自动地调整所生成的三维图像。
全文摘要
本发明的实施例公开用于多视点视频拍摄的系统和方法。根据一个实施例，该系统包括用于容纳第一多成像器组和第二多成像器组两者的相机壳，每个多成像器组包括具有不同视点方向并且被配置成产生源图像的多个光学相机。而且，第一多成像器组和第二多成像器组中的每个相机包括朝向大致相同视点方向的对应相机。第一多成像器组与第二多成像器组侧向邻近放置，使得连接第一多成像器组和第二多成像器组中的对应相机的投影中心的线大致平行。
文档编号H04N13/00GK102959964SQ201080066782
公开日2013年3月6日 申请日期2010年5月14日 优先权日2010年5月14日
发明者亨利·哈林·贝克, 小亨利·桑, 张良安 申请人:惠普发展公司，有限责任合伙企业