使用移动视差从2d图像创建3d感知的制作方法
【专利摘要】本文描述了接收场景的多个二维(2D)图像，使用2D图像确定与场景相关联的三维(3D)信息，以及确定相对于显示器的用户视场角的系统、装置和方法。随后，3D信息和用户视场角可用于在显示器上呈现生成的图像。如果用户相对于显示器移动，则可确定对应新用户视场角，并且使用3D信息和新用户视场角，可显示不同生成的图像。
【专利说明】使用移动视差从2D图像创建3D感知
【背景技术】
[0001]从用户的角度而言，移动视差观看技术提供3D场景的3D感知而不要求特殊观看装置，如立体显示装置、航空眼镜(shuttle glasses)、偏光眼镜及诸如此类。由于用户的体验相当于观看镜中的场景或通过窗户观看场景，因此，移动视差观看往往不会造成诸如眼疲劳等通常与使用特殊观看装置相关联的效应。迄今为止，移动视差效应一直只用于观看计算机图形生成的3D虚拟内容，但尚未用于观看摄像机捕捉的2D照片和/或视频内容。采用移动视差效应观看2D照片和视频涉及在图像捕捉期间和/或之后从现实生活场景提取3D信息。
【专利附图】
【附图说明】
[0002]本文中所述的材料在附图中以示例而非限制的方式示出。为确保示图的简明和清晰起见，图中所示元素不一定按比例画出。例如，为清晰起见，一些元素的尺寸相对其它元素可能显得过大。此外，在认为视当之处，标号已在图中重复以指示一致或类似的元素。在附图中:
图1和2是例视差观看系统的直观图；
图3示出示例视差观看过程；
图4是示例摄像机视点的直观图；以及 图5示出示例视差观看方案；
图6示出示例视差观看过程；
图7是不例系统的直观图；以及
图8示出全部根据本公开内容的至少一些实现布置的示例视差观看过程。
【具体实施方式】
[0003]现在参照附图描述一个或多个实施例或实现。虽然论述了特定的配置和布置，但应理解的是，这只是为了便于说明。相关领域技术人员将认识到，在不脱离描述的精神和范围的情况下，可采用其它配置和布置。相关领域技术人员将明白，本文中所述技术和/或布置也可在与本文中所述不同的多种其它系统和应用中采用。
[0004]虽然下面的描述陈述了可在诸如芯片上系统(SoC)体系结构等体系结构中显露的各种实现，但本文中所述技术和/或布置的实现不限于特定体系结构和/或计算系统，并且可由用于类似目的的任何体系结构和/或计算系统实现。例如，采用例如多个集成电路(IC)芯片和/或封装的各种体系结构和/或诸如机顶盒、智能电话等各种计算装置和/或消费者电子(CE)装置可实现本文中所述的技术和/或布置。此外，虽然以下描述可陈述诸如逻辑实现、系统组件的类型和相互关系、逻辑分割/集成选择等各种特定细节，但实践所述主题可无需此类特定细节。在其它情况下，诸如控制结构和完全软件指令序列等一些材料可未详细示出以免混合本文中公开的材料。
[0005]本文中公开的材料可以硬件、固件、软件或其任何组合的形式实现。本文中公开的材料也可实现为存储在机器可读媒体上的指令，其可由一个或多个处理器读取和执行。机器可读媒体可包括用于以机器(例如，计算装置)可读形式存储或传送信息的任何媒体和/或机制。例如，机器可读媒体可包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储媒体、光存储媒体、闪存装置、电、光、声或其它形式传播信号(例如，载波、红外信号、数字信号等)及其它。
[0006]说明书中对“ 一个实现”、“实现”、“示例实现”等的引用指所述实施例可包括特定特征、结构或特性，但每个实现可不一定包括特定特征、结构或特性。另外，此类词语不一定指同一实现。此外，在结合实某个实现描述某个特定特征、结构或特性时，应认为结合无论本文中是否明确描述的其它实现来达到此类特征、结构或特性是在本领域技术人员的认知之内。
[0007]图1根据本公开内容示出示例移动视差观看系统100。在各种实现中，系统100可包括诸如具视频能力的摄像机等提供二维(2D)视频图像形式的源图像107的成像装置102。在各种实现中，成像装置102可以是能够提供数字形式的2D视频图像107的任何类型的装置，如具视频能力的智能电话或诸如此类。源图像107可具有任何分辨率和/或长宽比。源图像107可在成像装置102本地存储，或者可通过网络104传送。网络104可以是任何类型的网络，并且可包括无线和/或有线网络技术的任何组合。例如，在非限制性示例中，网络104可包括与诸如因特网等宽域网(WAN)组合的一个或多个无线局域网(LAN)(例如，服务3D环境)。
[0008]如图1所示，在捕捉视频图像107时，摄像机102相对于场景105的水平移动可生成具有相对于场景105的各种定向或视角的捕捉的视频源图像107。在各种实现中，可采用任何方案相对于场景105水平移动摄像机102。例如，在视频模式中时，可手动(例如，用手)移动摄像机102以获得具有不同视角的源图像107。在其它实现中，摄像机102可自动获得带有不同视角的源图像107。例如，摄像机102可包含使用任何内部机械控制方案自动获得带有不同视角的源图像107的透镜/成像系统，以便用户只需按快门控制一次，并且无需手动移动摄像机以获得源图像107。
[0009]系统100也包括移动视差观看引擎106、数据库108和显示引擎110，这些组件全部以通信方式直接或经网络104相互耦合。在各种实现中，如下面将更详细解释的一样，视差观看引擎106可经网络104接收源图像107，并且可在那些图像上执行各种过程以获得3D信息，如与各种图像相关联的视角。视差观看引擎106可在数据库108中存储与源图像107相关联的3D信息。在各种实现中，如下面将更详细解释的一样，显示引擎110可直接或经网络104从成像装置102接收源图像107和相关联3D信息，并且可进行各种过程以提供取决于用户相对于显示器112的视场角的图像以便在显示器112上呈现。
[0010]图2根据本公开内容示出另一示例视差观看系统200。在各种实现中，系统200可包括提供场景105的相应2D源图像206和208到网络104的至少两个成像装置(例如，摄像机)202和204。在各种实现中，装置202和204可以是能够提供数字形式的2D图像到网络104的任何类型的装置，如智能电话或诸如此类。源图像206和208可具有任何分辨率和/或长宽比。在各种实现中，可使用已知技术标定装置202和204 (例如，参阅H Malm和A.Heyden所著“用于机器人视觉的简化内在摄像机标定和手眼协调”("SimplifiedIntrinsic Camera Calibration and Hand-Eye Coordination for Robot Vision, 〃Proceedings of the 2003 IEEE/RSJ Intl.Conference on Intelligent Robots andSystems (October, 2003))。
[0011]如图2所示，成像装置202和204相互间隔分开，并且具有相对于场景105的对应
定向或视角Oi和€b。因此，相应图像206和208可根据不同视角Θ!和f)?从不同角度捕捉
场景105。在各种实现中，在成像装置202与204之间的距离X或基线可取决于在成像装置202和204与场景105之间的深度或距离d。例如，在非限制性示例中，如果在成像装置202和204与场景105之间的深度d是大约2米，则如下面将更详细解释的一样，在成像装置202与204之间大约10厘米的基线可提供适合用于立体重构技术的带有场景105的不同角度的图像206和208。
[0012]在各种实现中，两个成像装置202和204可以是类似的装置。例如，在一些实现中，装置202和204可以类似高分辨率彩色摄像机。在仍有的其它实现中，装置202和204可以是类似彩色深度摄像机，如结构光摄像机或飞行时间摄像机。在仍有的各种实现中，两个成像装置202和204可以是不同的装置。例如，在一些实现中，装置202可以是高分辨率彩色摄像机，而装置204可以是例如配有鱼眼透镜的宽视野摄像机。
[0013]系统200也包括视差观看引擎106、数据库108和显示引擎110，这些组件全部以通信方式耦合到网络104，或者经网络104相互耦合。在各种实现中，如下面将进一步详细解释的一样，视差观看引擎106可经网络104接收源图像206和208，并且可在那些图像上执行诸如立体重构等各种过程以获得与场景105相关联的3D信息。视差观看引擎106可在数据库108中存储3D信息。在各种实现中，如下面将更详细解释的一样，显示引擎110可经网络104接收3D信息，并且可进行各种过程以提供取决于用户相对于显示器112的观看角度的场景105的合成图像。
[0014]虽然图1和2将引擎106和110及数据库108示为相互分开，但本公开内容不限于此类布置。例如，在一些实现中，引擎106和110和/或数据库108可由诸如服务器等单个装置或计算系统提供。此外，在一些实现中，例如，在系统100中，观看引擎106和摄像机102可包括在诸如智能电话等单个装置或计算系统中。此外，在仍有的其它实现中，系统可包括相互水平间隔分开的多个图像捕捉装置(例如摄像机单元)，而不是只包括两个成像装置202和204，以便可从多于两个视角同时捕捉场景105的多个图像。前面所述只是系统100和200的项目的多个示例布置，并且与本公开内容一致的许多其它布置或实现是可能的。
[0015]图3根据本公开内容的各种实现，示出示例视差观看过程300的流程图。过程300可包括如图3的一个或多个方框302、304、306、308、310、312和314所示的一个或多个操作、功能或动作。作为非限制性示例，本文中将参照图1的示例系统100描述过程300。
[0016]过程300可从方框302开始，在该方框，可接收多个源视频图像301。例如，参照系统100，方框302可涉及视差观看引擎106经网络104接收源图像107。在一些实现中，在方框302可从数据库108接收源图像。
[0017]随后，可在方框304确定源图像的视角。在各种实现中，方框304可涉及视差观看引擎106使用已知技术(例如，参阅M.Goesele等人所著“社区照片集的多视角立体，，("Mult1-View Stereo for Community Photo Collections, 〃 IEEE IlthInternational Conference on Computer Vision (2007))确定在方框 302 接收的每个图像的视角。例如，图4示出相对于场景105的中心点406和相关联中心轴407，源图像的几个摄像机视点402-405的简化示例图。如图400所示，方框304可包括确定视点402的视角408、视点403的视角410等等。在各种实现中，可将诸如视角408和410等轴407左侧的视角指定为负值视角，而可将诸如视点405的视角412等轴407右侧的视角指定为正值视角。
[0018]回到过程300的讨论，在方框304确定的视角可存储为与对应源图像相关联的元数据(方框306)。例如，在各种实现中，在方框304确定视角后，视差观看引擎106可通过在数据库108中存储视角元数据，使得数据库108中视角元数据与对应源图像相关联，进行方框 306。
[0019]在方框308，可确定用户视场角。在各种实现中，方框308可涉及诸如前置摄像机和相关联逻辑等与显示器相关联的机件确定相对于显示器的用户的角度，其中，显示器要用于向用户呈现场景105的图像。例如，图5示出包括系统100和200的显示器112的简化示例图500。显示器112包括可采用熟知技术检测用户脸部和/或头部并且由此确定用户的视场角€>_的前置摄像机502和相关联逻辑(未示出)。可将用户视场角确定为在如使用脸部/头部识别技术确定的用户的视点506相关联的用户的视线504与显示器112的中心轴508之间的角度差。在各种实现中，系统100的显示引擎110可进行方框308。此夕卜，可将中心轴508右侧的用户视场角指定为具有正值，而可将中心轴508左侧的角度指定为负值。
[0020]回到过程300的讨论，可确定具有最接近用户视场角的视角的最佳匹配源图像(方框310)。在各种实现中，方框308可涉及显示引擎110访问由方框306产生的视角元数据，并且比较对应视角和在方框308确定的用户视场角以确定最佳匹配源图像，最佳匹配源图像对应于在值上最接近用户视场角的图像视角。在进行方框310中，显示引擎110可访问在数据库108中存储的视角元数据。
[0021]在方框312，可显示最佳匹配源图像。例如，在方框310确定最佳匹配源图像后，显示引擎110可在显示器112上呈现该源图像。在进行方框312时，显示引擎110可从数据库108检索对应源图像。
[0022]在方框314，可做出有关用户视场角是否已更改的确定。例如，也参照图5，方框314可涉及确定用户已相对于显示器112移动，使得用户现在位于新的用户视点510。因此，过程300可返回到方框308，在该方框，可以类似于上述的方式确定新的用户视场角随后，可再次进行方框310和312以确定新的最佳匹配源图像，并且以类似于上述的方式显示该新的最佳匹配源图像。如果确定新的用户视点未充分更改，不足以产生新的最佳匹配源图像，则过程300可返回到方框312以继续显示当前最佳匹配源图像。这样，过程300可提供用户可控的3D感知或观看体验。
[0023]虽然如上所述方框308采用前置摄像机确定用户视场角，但本公开内容不限于用于确定用户视场角的特定方法。例如，可用于确定用户视场角的其它技术包括使用众所周知的鼠标、键盘和/或触摸屏用户控制技术。例如，可由于用户与触摸屏计算系统的交互而做出用户视场角确定。例如，用户视场角可通过用户在触摸屏上触摸特定位置指示。此外，用户触摸屏幕并随后在特定方向滑动其手指等可指示用户视场角的更改。
[0024]图6根据本公开内容的各种实现，示出示例视差观看过程600的流程图。过程600可包括如图6的一个或多个方框602、604、606、608、610、612和614所不的一个或多个操作、功能或动作。作为非限制性示例，本文中将参照图2的示例系统200描述过程600。
[0025]过程600可从方框602开始，在该方框，可接收至少一对源图像。例如，参照系统200，方框602可涉及视差观看引擎106经网络104接收第一和第二源图像206和208。在一些实现中，在方框602可从数据库108接收源图像。
[0026]如上在图2的讨论中所述，成像装置202和204可以是类似的装置，并且因此源图像206和208也可以是类似的。例如，在装置202和204是类似的高分辨率彩色摄像机的实现中，源图像206和208可以是具有类似数据格式、分辨率和长宽比的高分辨率彩色图像。在装置202和204是诸如结构光摄像机或飞行时间摄像机等类似彩色深度摄像机的仍有其它实现中，源图像206和208可以是具有类似数据格式(包括深度数据)、分辨率和长宽比的高分辨率彩色图像。
[0027]相反，在成像装置202和204不同的实现中，源图像206和208可同样地不同。例如，在装置202是高分辨率彩色摄像机，并且装置204是宽视野摄像机的实现中，源图像206可以是高分辨率彩色图像，而源图像208可以是更低分辨率宽视野的彩色图像。在此类实现中，图像206和208可具有类似长宽比但可捕捉场景105的不同部分或方面。例如，图像206可以是高分辨率彩色图像，提供场景105视野的中间的高分辨率视觉细节，而鱼眼图像208可提供场景105的更低分辨率外围视野。
[0028]在方框604，可分析源图像以获得场景105的3D信息。在源图像从类似的标定成像装置获得的各种实现中，方框604可包括使用熟知的立体重构技术(例如，参阅Seitz等人所著“多视点立体重构算法的比较和评估”(〃A Comparison and Evaluation ofMult1-View Stereo Reconstruction Algorithms, 〃 In Proc.1EEE Conf.0n ComputerVision and Pattern Recognition (2006)),提取场景105的3D信息并且估计诸如在源图像之间的旋转和平移等摄像机移动。在各种实现中，在方框604生成并且与在方框602收到的源图像相关联的3D信息可包括场景的3D坐标(例如，用于在场景的世界坐标系统中的场景特征点)及与两个源图像相关联的摄像机位姿信息。
[0029]在进行方框604中，两个源图像206和208的摄像机视角可用作最左和最右参考视角。在一些实现中，在例如源图像从彩色深度成像装置获得的情况下，源图像中的深度数据也可用于帮助从无纹理场景提取3D信息，或者在成像装置之间的基线大，足以排除场景的可靠立体重构的实现中使用。在方框606，3D信息可存储为与源图像相关联的元数据。例如，3D信息可存储为系统200的数据库108中的元数据。在各种实现中，过程600的方框602-606可由视差观看引擎106进行。
[0030]在方框608，可确定用户视场角。例如，方框608可以类似于本文中相对于过程300的方框308所述的方式进行。如前面相对于方框308所述，可使用在显示器112上的前置摄像机，或者响应用户对鼠标、键盘、触摸屏或诸如此类的操纵，确定用户视场角。
[0031]在方框610，可至少在一定程度上基于在方框604确定的3D信息和在方框608确定的用户视场角，合成图像。在各种实现中，方框610可包括使用已知技术投影3D信息以生成场景105的图像，图像具有对应于用户相对于显示器112的视场角的角度。随后，在方框612，可显示结果合成图像。例如，可在显示器112上渲染或呈现合成图像。
[0032]在方框614，可做出有关用户视场角是否已更改的确定。例如，再次参照图5，方框614可涉及确定用户已相对于显示器112移动，使得用户现在位于新的用户视点510。因此，过程600可返回到方框608，在该方框，可以类似于上述的方式确定新的用户视场角。随后，可以类似于上述方式再次进行方框610和612以合成具有对应于新用户视场角的角度的场景105的新图像。如果确定新用户视点未充分更改，则过程600可返回到方框612以继续显示当前合成图像。这样，过程600可提供用户可控的3D感知或观看体验。在各种实现中，过程600的方框608-614可由显示引擎110进行。
[0033]虽然如图3和6所示的示例过程300和600的实现可包括以所示顺序进行示出的所有方框，但本公开内容在此方面并无限制，并且在各种示例中，过程300和600的实现可包括只进行示出的所有方框的子集和/或以与所示不同的顺序进行。此外，过程300和/或600的部分可在不同时刻进行。例如，图3的方框302-306或图6的方框602-606可由视差观看引擎106进行，并且那些动作的结果存储在数据库108中。随后，在以后(例如，几天、几周或几月后)显示引擎110可进行图3的方框308-314或图6的方框608-614。
[0034]另外，可响应一个或多个计算机程序产品提供的指令，进行图3和6的一个或多个过程和/或方框。此类程序产品可包括提供指令的信号承载媒体，指令在由例如一个或多个处理器核执行时，可执行本文中所述功能性。计算机程序产品可能计算机可读媒体的任何形式提供。因此，例如，响应由计算机可读媒体输送到处理器的指令，包括一个或多个处理器核的处理器可进行图3和6所示一个或多个方框。
[0035]图7示出根据本公开内容的示例系统700。系统700可用于执行本文中讨论的一些或所有各种功能，并且可包括能够根据本公开内容的各种实现，实现视差观看的任何装置或装置的集合。例如，系统700可包括诸如台式、移动或平板计算机、智能电话、机顶盒等计算平台或装置的选择的组件，但本公开内容在此方面并无限制。在一些实现中，系统700可以是基于用于CE装置的Intel?体系结构(IA)的计算平台或SoC。本领域技术人员将容易领会，在不脱离本公开内容的范围的情况下，能够通过备选处理系统使用本文中所述的实现。
[0036]系统700包括具有一个或多个处理器核704的处理器702。处理器核704可以是至少在一定程度上能够执行软件和/或处理数据信号的任何类型的处理器逻辑。在各种示例中，处理器核704可包括CISC处理器核、RISC微处理器核、VLIff微处理器核和/或实现指令集的任何组合的任何数量的处理器核或诸如数字信号处理器或微控制器等任何其它处理器装置。
[0037]处理器702也包括可用于将例如由显示处理器708和/或图形处理器710收到的指令解码成控制信号和/或微码进入点的解码器706。虽然在系统700中示为与核704不同的组件，但本领域技术人员可认识到，一个或多个核704可实现解码器706、显示处理器708和/或图形处理器710。在一些实现中，处理器702可配置成进行本文中所述的任何过程，包括相对于图3和6所述的示例过程。此外，响应控制信号和/或微码进入点，解码器706、显示处理器708和/或图形处理器710可执行对应操作。
[0038]处理器核704、解码器706、显示处理器708和/或图形处理器710可以通信方式和/或可操作方式通过系统互连716相互耦合和/或与各种其它系统装置耦合，这些装置可包括但不限于例如存储器控制器714、音频控制器718和/或外设720。外设720例如可包括统一串行总线(USB)主机端口、外设组件互连(PCI)快速端口、串行外设互连(SPI)接口、扩展总线和/或其它外设。虽然图7将存储器控制器714示为通过互连716耦合到解码器706和处理器708与710，但在各种实现中，存储器控制器714可直接耦合到解码器706、显示处理器708和/或图形处理器710。
[0039]在一些实现中，系统700可经I/O总线(也未示出)与图7未示出的各种I/O装置进行通信。此类I/o装置可包括但不限于例如通用异步接收器/传送器(UART)装置、USB装置、I/O扩展接口或其它I/O装置。在各种实现中，系统700可表示用于进行移动、网络和/或无线通信的系统的至少一些部分。
[0040]系统700可还包括存储器712。存储器712可以是诸如动态随机存取存储器(DRAM)装置、静态随机存取存储器(SRAM)装置、闪存存储器装置或其它存储器装置等一个或多个离散存储器组件。虽然图7将存储器712示为在处理器702的外部，但在各种实现中，存储器712可以在处理器702的内部。存储器712可存储由数据信号表示的指令和/或数据，数据信号可由处理器702执行以进行本文中所述的任何过程，包括相对于图3和6所述的示例过程。在一些实现中，存储器712可包括系统存储器部分和显示存储器部分。
[0041]诸如示例系统100、200和/或700等本文中所述装置和/或系统表示根据本公开内容的许多可能装置配置、体系结构或系统的几种装置配置、体系结构或系统。与本公开内容一致的系统的许多变化是可能的，如示例系统100、200和/或700的变化。
[0042]图8根据本公开内容的各种实现，示出示例视差观看过程800的流程图。过程800可包括如图8的一个或多个方框802、804、806、808、810和812所示的一个或多个操作、功能或动作。
[0043]过程800可从方框812开始，在该方框，可如本文中所述接收场景的多个2D图像801。在方框804，可确定与场景相关联的3D信息。例如，参照过程300和600，方框804可包括如本文中所述分别进行方框304或604。随后，可如本文中所述将3D信息存储为元数据(方框806)，并且在方框808，也可如本文中所述，确定相对于显示器的用户视场角。在方框810，可至少在一定程度上使用与场景相关联的3D信息和用户视场角，生成图像。例如，参照过程300和600，方框810可包括如本文中所述分别进行方框310或610。在方框811，可显示生成的图像。最后，在方框812，可做出有关用户视场角是否已更改的确定。如果是，则可重复方框808和810;否则，过程800返回到方框811以继续显示当前生成的图像。这样，过程800可提供用户可控的3D感知或观看体验。
[0044]上述系统和如本文中所述由它们执行的处理可通过硬件、固件或软件或其任何组合实现。另外，本文中公开的任何一个或多个特征可通过硬件、软件、固件和其组合实现，包括离散和集成电路逻辑、专用集成电路(ASIC)逻辑和微控制器，并且可实现为域特定的集成电路封装的一部分或集成电路封装的组合。在本文使用时，术语软件指计算机程序产品，包括其中存储有计算机程序逻辑以促使计算机系统执行本文中公开的一个或多个特征和/或特征的组合的计算机可读媒体。
[0045]虽然本文中陈述的某些特征已参照各种实现进行了描述，但描述并无限制意义。因此，本公开内容有关领域的技术人员明白本文中所述实现例的各种修改及其它实现，这些均应视为在本公开内容的精神和范围内。
【权利要求】
1.一种计算机实现的方法，包括: 接收场景的多个二维(2D)图像； 响应所述多个2D图像，确定与所述场景相关联的三维(3D)信息； 确定相对于显示器的第一用户视场角；以及 响应至少所述3D信息和所述第一用户视场角，在所述显示器上呈现第一生成的图像。
2.如权利要求1所述的方法，还包括: 确定相对于所述显示器的第二用户视场角，其中所述第二用户视场角与所述第一用户视场角不同；以及 响应至少所述3D信息和所述第二用户视场角，在所述显示器上呈现第二生成的图像。
3.如权利要求1所述的方法，其中所述多个2D图像包括多个视频图像，以及其中确定与所述场景相关联的3D信息包括确定相对于所述场景用于所述多个视频图像的每个图像的视角。
4.如权利要求3所述的方法，其中在所述显示器上呈现所述第一生成的图像包括确定所述多个视频图像中具有最接近所述第一用户视场角的视角的视频图像。
5.如权利要求1所述的方法，还包括: 存储对应于所述3D信息的元数据。
6.如权利要求1所述的 方法，其中确定相对于所述显示器的所述第一用户视场角包括: 使用前置摄像机、鼠标、键盘或触摸屏用户控制至少之一确定用户相对于所述显示器的定向。
7.如权利要求1所述的方法，其中确定与所述场景相关联的3D信息包括响应所述多个2D图像，执行立体重构。
8.如权利要求7所述的方法，其中呈现所述第一生成的图像包括至少在一定程度上响应所述3D信息和所述第一用户视场角，合成所述生成的图像。
9.如权利要求7所述的方法，其中所述3D信息包括所述场景的3D坐标或与所述多个2D图像相关联的摄像机位姿信息至少之一。
10.如权利要求1所述的方法，其中所述多个2D图像包括由多个成像装置捕捉的图像。
11.如权利要求10所述的方法，其中所述多个成像装置包括彩色摄像机或彩色深度摄像机至少之一。
12.如权利要求10所述的方法，其中所述多个成像装置包括高分辨率彩色摄像机和宽视野彩色摄像机。
13.—种包括其中存储有指令的计算机程序产品的制品，所述指令如果被执行，则引发以下操作: 接收场景的多个二维(2D)图像； 响应所述多个2D图像，确定与所述场景相关联的三维(3D)信息； 确定相对于显示器的第一用户视场角；以及 响应至少所述3D信息和所述第一用户视场角，在所述显示器上呈现第一生成的图像。
14.如权利要求13所述的制品，所述计算机程序产品中存储有如果被执行则引发以下操作的其它指令:确定相对于所述显示器的第二用户视场角，其中所述第二用户视场角与所述第一用户视场角不同；以及 响应至少所述3D信息和所述第二用户视场角，在所述显示器上呈现第二生成的图像。
15.如权利要求13所述的制品，其中所述多个2D图像包括多个视频图像，以及其中确定与所述场景相关联的3D信息包括确定相对于所述场景用于所述多个视频图像的每个图像的视角。
16.如权利要求15所述的制品，其中在所述显示器上呈现所述第一生成的图像包括确定所述多个视频图像中具有最接近所述第一用户视场角的视角的视频图像。
17.如权利要求13所述的制品，所述计算机程序产品中存储有如果被执行则引发以下操作的其它指令: 存储对应于所述3D信息的元数据。
18.如权利要求13所述的制品，其中确定相对于所述显示器的所述第一用户视场角包括: 使用前置摄像机、鼠标、键盘或触摸屏用户控制至少之一确定用户相对于所述显示器的定向。
19.如权利要求13所述的制品，其中确定与所述场景相关联的3D信息包括响应所述多个2D图像，执行立体重构。
20.如权利要求19所述的制品，其中呈现所述第一生成的图像包括至少在一定程度上响应所述3D信息和所述第一用户视场角，合成所述生成的图像。`
21.如权利要求19所述的制品，其中所述3D信息包括所述场景的3D坐标或与所述多个2D图像相关联的摄像机位姿信息至少之一。
22.—种系统,包括: 处理器和耦合到所述处理器的存储器，其中所述存储器中的指令配置所述处理器执行以下操作: 接收场景的多个二维(2D)图像； 响应所述多个2D图像，确定与所述场景相关联的三维(3D)信息； 确定相对于显示器的第一用户视场角；以及 响应至少所述3D信息和所述第一用户视场角，在所述显示器上呈现第一生成的图像。
23.如权利要求22所述的系统，其中所述存储器中的指令还配置所述处理器执行以下操作: 确定相对于所述显示器的第二用户视场角，其中所述第二用户视场角与所述第一用户视场角不同；以及 响应至少所述3D信息和所述第二用户视场角，在所述显示器上呈现第二生成的图像。
24.如权利要求22所述的系统，其中所述多个2D图像包括多个视频图像，以及其中配置所述处理器确定与所述场景相关联的3D信息的指令包括配置所述处理器确定相对于所述场景用于所述多个视频图像的每个图像的视角的指令。
25.如权利要求24所述的系统，其中配置所述处理器在所述显示器上呈现所述第一生成的图像的指令包括配置所述处理器确定所述多个视频图像中具有最接近所述第一用户视场角的视角的视频图像的指令。
26.如权利要求22所述的系统，还包括: 前置摄像机、鼠标、键盘或触摸屏系统至少之一，以及其中配置所述处理器确定相对于所述显示器的所述第一用户视场角的指令包括配置所述处理器使用前置摄像机、鼠标、键盘或触摸屏用户控制确定用户相对于所述显示器的定向的指令。
27.如权利要求22所述的系统，其中配置所述处理器确定与所述场景相关联的3D信息的指令包括配置所述处理器响应所述多个2D图像执行立体重构的指令。
28.如权利要求27所述的系统，其中配置所述处理器呈现所述第一生成的图像的指令包括配置所述处理器至少在一定程度上响应所述3D信息和所述第一用户视场角来合成所述生成的图像的指令。
29.如权利要求27所述的系统，其中所述3D信息包括所述场景的3D坐标或与所述多个2D图像相关联的摄像机位姿信息至少之一。
30.如权利要求22所述的系统，还包括: 多个成像装置，包括彩色摄像机、彩色深度摄像机或宽视野摄像机中的至少两个摄像 机。
【文档编号】H04N13/00GK103765878SQ201180073419
【公开日】2014年4月30日 申请日期:2011年9月12日 优先权日:2011年9月12日
【发明者】W.孙, K.德帕斯夸亚 申请人:英特尔公司