用于自动3d图像创建的方法和系统的制作方法
【专利摘要】在本文中公开了涉及立体图像创建的方法、设备以及非瞬时计算机可读介质。相机在初始位置处捕捉初始图像。针对期望的立体效果确定从初始位置的目标位移，并且提供指定使相机从初始位置移动的方向的指令。在相机在运动中的同时计算从初始位置的估计位移。当估计位移对应于目标位移时，相机自动地捕捉候选图像。执行可接受性分析以确定候选图像是否具有可接受的图像质量和与初始图像的可接受相似性。如果候选图像通过可接受性分析，则基于初始和候选图像来创建立体图像。
【专利说明】用于自动3D图像创建的方法和系统
【技术领域】
[0001]本公开一般地涉及图像创建，并且更具体地涉及立体图像创建。
【背景技术】
[0002]为了创建立体3D图像，在两个不同位置处拍摄场景的两个图像。在常规方法中，所述两个不同位置对应于两个不同透镜的位置，所述两个不同透镜可以在同一相机上或在两个不同相机上。因此，传统上使用专业相机来拍摄3D图像，诸如具有两个不同透镜和两个不同图像传感器的相机。
[0003]随着能够显示3D图像的显示设备数目的增加，诸如电视、计算机监视器以及智能电话，存在对使得3D图像创建对于普通用户而言更加可访问的兴趣。然而，装配有两个透镜和两个图像传感器以用于3D图片拍摄的相机很可能基本上比具有单个透镜和单个图像传感器的常规相机更加昂贵。另外，许多用户可能犹豫仅仅为了 3D图像创建而购买新的相机。因此，需要提供使得用户能够使用单个透镜和单个图像传感器来创建3D图像的方法和系统。
【发明内容】
[0004]在第一方面，提供了一种用于立体图像创建的方法。该方法包括在初始位置处使用相机来捕捉初始图像。该方法还包括针对期望的立体效果确定从初始位置的目标位移。该方法另外包括提供指令，该指令指定将使相机从初始位置移动的方向。该方法还包括在相机在运动中的同时估计从初始位置的估计位移。该方法还包括响应于确定估计位移对应于目标位移，相机自动地捕捉候选图像。该方法还包括响应于捕捉到候选图像，自动地执行可接受性分析。可接受性分析包括分析候选图像以确定候选图像是否具有可接受的图像质量并将该候选图像与初始图像相比较以确定候选图像是否具有与初始图像的可接受相似性。此外，该方法包括响应于确定候选图像具有可接受的图像质量且具有与初始图像的可接受相似性，基于初始图像和候选图像自动地创建立体图像。
[0005]在第二方面，提供了一种设备。该设备包括图像传感器、用户接口以及控制器。该控制器被配置成:(a)当设备在初始位置处时，使用图像传感器来捕捉初始图像；(b)针对期望的立体效果而确定从初始位置的目标位移；(C)通过用户接口来提供指令，其中，该指令指定将使设备从初始位置移动的方向；(d)在设备在运动中的同时，估计设备从初始位置的位移；(e)响应于确定估计位移对应于目标位移，使用图像传感器来自动地捕捉候选图像；(f)响应于捕捉到候选图像，自动地执行可接受性分析，其包括分析候选图像以确定候选图像是否具有可接受的图像质量并将该候选图像与初始图像相比较以确定候选图像是否具有与初始图像的可接受相似性；以及(g)响应于确定候选图像具有可接受的图像质量且具有与初始图像的可接受相似性，基于初始图像和候选图像自动地创建立体图像。
[0006]在第三方面，提供了一种非瞬时计算机可读介质。该非瞬时计算机可读介质具有存储在其中的指令，在指令可被包括图像传感器和用户接口的计算设备执行以促使计算设备执行功能。该功能包括:(a)当计算设备处于初始位置时，使用图像传感器来捕捉初始图像；(b)针对期望的立体效果而确定从初始位置的目标位移；(c)通过用户接口来提供指令，其中，该指令指定将使计算设备从初始位置移动的方向；(d)在计算设备在运动中的同时，估计计算设备从初始位置的位移；(e)响应于确定估计位移对应于目标位移，使用图像传感器来自动地捕捉候选图像；(f)响应于捕捉到候选图像，自动地执行可接受性分析，其包括分析候选图像以确定候选图像是否具有可接受的图像质量并将该候选图像与初始图像相比较以确定候选图像是否具有与初始图像的可接受相似性；以及(g)响应于确定候选图像具有可接受的图像质量且具有与初始图像的可接受相似性，基于初始图像和候选图像自动地创建立体图像。
【专利附图】
【附图说明】
[0007]图1是根据示例性实施例的设备的示意图。
[0008]图2是根据示例性实施例的电话的前视图、侧视图和后视图。
[0009]图3A是根据示例性实施例的图像捕捉情形的透视图。
[0010]图3B是根据示例性实施例的图像捕捉情形的透视图。
[0011]图3C是根据示例性实施例的图像捕捉情形的透视图。
[0012]图4是根据示例性实施例的方法的流程图。
【具体实施方式】
[0013]在以下详细描述中，对构成其一部分的附图进行参考。在附图中，类似符号通常识别类似部件，除非上下文另外指示。在详细描述和附图中所描述的说明性实施例不意图是限制性的。在不脱离本文提出的主题的精神或范围的情况下，可利用其他实施例，并且可进行其他修改。将很容易理解的是可以多种不同配置来布置、替换、组合、分离以及设计如在本文中一般地描述和在附图中示出的本公开的各方面，在本文中设想了其中的全部。
[0014]1.概述
[0015]三维(3D)成像相对于空间的全部三个维度记录场景中的视觉信息。此类3D成像可用来例如提供深度错觉和/或提供对象或位置的全空间地图。标准二维(2D)成像技术能够例如通过利用前景/背景元素、场深、焦点深度以及2D摄影中的其他已知技术来在单个2D图像中提供类似的深度暗示。然而，3D图像在与仅2D成像相比时能够提供关于场景的空间内容的进一步观看真实性和更完整的数据。
[0016]可以用几种技术来记录3D图像。一个此类技术是立体视觉，其中，将每个具有场景的不同视角的至少两个不同2D图像组合以创建包括深度信息的3D图像。
[0017]虽然立体成像可以为观看者提供关于场景的深度信息，但其可能不一定提供场景和/或对象的‘真实’ 3D图像。也就是说，两个2D图像的组合通常不会提供足以构建场景和/或对象的完整3D图像的信息。在许多情况下，可更准确地将立体图像称为‘伪3D图像’。相应地，在本描述的上下文内，应将对‘3D图像’及其他类似术语的参考理解为对应于对‘伪3D立体图像’的参考。
[0018]可以以多种方式来获得用来形成组合3D图像的2D图像。例如，两个相机可以每个从不同位置捕捉单个图像，或者可以使用单个相机来捕捉第一和第二图像，每个图像来自不同位置。替选地，可以使用立体相机来使用至少两个图像传感器和相应光学件捕捉场景的图像。可以同时地或以连续方式捕捉2D图像。替选地，可以例如在延时情况下用帧之间的某个时间段来捕捉2D图像。
[0019]传统上，第一和第二图像捕捉位置之间的横向位移(在本领域中也称为基线)类似于人类的瞳距或者约65mm。从65mm基线生成的立体图像可看起来类似于人可能实际上在真实环境中所观看的。换言之，其对于观看立体图像的人而言可能感觉如同其实际上在被捕捉环境中一样。立体视觉的这种‘逼真’方法被称为‘正色立体’。
[0020]其他立体视觉技术提出了到最近对象的距离约1/30的基线以获得更有效的3D效果。例如，为了 100米远捕捉建筑物的3D效果,立体照片可选择?3.3米的基线(横向位移)。使用相对长基线的技术在本领域中称为‘超立体’。可以有其他基线并在本领域中使用。
[0021]实际上，基线距离和方向可至少取决于图像对象、场景/对象组成的尺寸和深度/距离特性以及可能需要记录的任何特定信息(例如要捕捉的图像对象的特定3D方位(aspect))。
[0022]一旦捕获了两个2D图像，则可以以多个不同方式将其组合以便创建立体3D图像。在一个示例、红色-青色立体照片中，第一 2D图像可以是带有红色色彩的黑白图像。第二2D图像可以类似地带有青色(蓝色)色彩。可以将带色彩的第以和第二图像相互覆盖并用红色-青色眼镜(3D眼镜)来观看。红色-青色眼镜上的滤光器促使眼镜佩戴者的一只眼睛看到基本上仅第一图像，而佩戴者的另一只眼睛能够看到基本上仅第二图像。以这种方式，立体3D图像可以由两个移位的2D图像形成，以模拟3D场景。
[0023]在另一示例中，可以通过向每个2D图像分配不同极化来将两个捕捉的2D图像组合成立体图像。在被显示时，观看者可以能够使用极化眼镜来观看伪3D立体图像。可以有用于将捕捉的2D图像组合以显示伪3D图像的其他格式。可以有用于观看每个伪3D图像格式的相应方法且其宽泛地改变。3D内容观看方法的示例包括红蓝(anachrome)(红色/青色)眼镜、液晶快门眼镜、线性/圆形极化眼镜以及自动立体视觉，其中，可在不需要其他头戴装置的情况下向观看者的每只眼睛呈现不同图像。
[0024]在本文中描述了一种方法、设备和可存储在非瞬时计算机可读介质中的一组功能。具体描述了用以使用多个2D图像来获取伪3D信息的自动方式。可使用相机来捕捉初始(第一)和候选(第二)2D图像，诸如可在类似于蜂窝电话或平板电脑设备之类的移动设备上找到。
[0025]当捕捉初始图像时，可进行关于期望立体效果所需的目标位移或基线的确定。用户可以响应于例如来自相机设备或其他相关联的设备的通知而将设备从初始位置移动对应于目标位移的距离。定位系统可提供关于相机的位置和/或移动的信息。可以在感测到相机已经移动规定距离和方向时或者替选地响应于用户交互而自动地捕捉候选图像。
[0026]在候选图像捕捉时，可以执行候选图像的可接受性分析以确定候选图像是否展示出充分的图像质量和与初始图像的相似性。此类图像质量分析可以涉及候选图像的各个方面，在可能评估标准的示例之中，诸如确定图像是否是模糊的(例如由于运动)、颗粒状的、未对焦、照明不良。可以分析候选图像相对于初始图像的相似性以便确定初始图像对象是否例如仍在候选图像中。可以有其他图像相似性标准。此外，可以评估候选图像以确定从该初始和候选图像的组合将得到充分的3D效果。如果候选图像未能拥有充分的图像质量和/或与初始图像的足够相似性，则可获取新的候选图像，或者可发起、请求或执行其他功倉泛。
[0027]如果候选图像具有充分的图像质量和与初始图像的相似性，则可将初始和候选图像组合以创建立体图像。
[0028]对于本领域的技术人员而言将显而易见的是存在用以使用相机或其他成像设备来实现此类方法和设备的许多方式。因此，以下示例性实施例不意图排除在本文中隐含地预期的任何此类替选实施方式和实施例。
[0029]2.用于自动3D图像创建的设备
[0030]图1是可包括多个不同部件和子系统的设备100的示意图。在示例性实施例中，设备100可以包括子系统，诸如图像捕捉系统102、定位系统104、显示器106和外围设备108以及电源110、控制器112、存储器114和用户接口 116。
[0031]图像捕捉系统102可包括诸如2D图像处理器118、图像传感器120、相机光学件122、2D/3D图像处理器124以及光度计125之类的部件。定位系统104可包括诸如全球定位系统(GPS)收发机126、陀螺仪128、加速度计130以及测距仪132之类的部件。显示器106可以包括显示面板134以及外围设备108可以包括无线通信接口 138、触控板140、麦克风142、扬声器144以及快门按钮146。
[0032]设备100可以表示静止相机、视频相机、蜂窝电话、web相机、平板电脑设备或在本领域中已知的任何其他图像捕捉设备。此外，设备100可以是可佩戴计算系统的一部分和/或集成到在本领域中已知的任何数目的计算设备中。可以将设备100安装到移动或固定平台。例如，可以将设备100安装到车辆，以求获得建筑物、道路以及其他现实世界对象的伪3D地图。
[0033]替选地，可以在3D机器视觉中使用设备100。例如，可以用机器人控制系统或在自主车辆中实现设备100的各种实施例以提供伪3D信息。
[0034]电源110可向设备100的各种部件提供电力且可以表示例如可再充电锂离子电池。可以有在本领域中已知的其他电源材料和类型。
[0035]可以由控制器112来控制设备100的许多功能。控制器112可包括一个或多个处理器(诸如微处理器)，其执行存储在非瞬时计算机可读介质、诸如存储器114中的指令。控制器112可以控制用户接口 116以调整图像和在显示面板134上显示的其他内容。控制器112还可以控制图像捕捉系统102和设备100的各种其他部件。控制器112还可表示可用于以分布式方式控制设备100的个体部件或子系统的多个计算设备。
[0036]除指令之外，存储器114可存储诸如先前捕捉的2D和3D图像之类的数据和关于用来实现某些3D效果的基线的信息。因此，存储器114可充当与3D图像和立体摄影有关的信息的数据库。此类信息可在立体照相图像创建和显示过程期间在各种点处被设备100和控制器112使用。
[0037]设备100可包括用于向设备100的用户提供信息或从其接收输入的用户接口 116。用户接口 116可以控制或启用可以在显示面板134上显示的交互式图像的内容和/或布局的控制。此外，用户接口 116可以在外围设备108的集合内包括一个或多个输入/输出设备，诸如触控板140、麦克风142以及扬声器144。控制器112可基于通过用户接口 116接收到的输入来控制设备100的功能。例如，控制器112可利用来自用户接口 116的用户输入来控制图像捕捉系统102应拍摄初始图像的时间。
[0038]图像捕捉系统102可以包括与可在数字相机中找到的那些类似的多个部件。具体地，图像捕捉系统112可包括被配置成向图像传感器120提供视场的各种相机光学件122。图像捕捉系统102还可以包括被配置成至少在各种格式之间操纵图像数据并创建2D和/或3D图像文件的各种其他处理器。这些可以包括2D图像处理器118和2D/3D图像处理器124。图像捕捉系统102还可以包括光度计126，其可以被配置成向控制器112提供环境光测量结果。该环境光测量可以用来设置可包括ISO、快门速度和孔径设置之类的曝光参数以便在捕捉初始和候选图像时使用。此外，用户接口 116可以作为响应对环境光测量作出反应。例如，如果环境光水平被确定为是低的，则用户接口 116可以请求用户、为用户提供指令或否则警告用户在图像捕捉期间保持相机稳定。
[0039]可以将定位系统104配置成向控制器112提供与设备100的当前位置和当前取向有关的数据。此位置和取向数据可帮助确定生成立体照相图像所需的横向位移或基线，并且还可用来确定设备100已经移位至正确候选图像位置的时间。
[0040]全球定位系统(GPS)收发机126可以是从GPS卫星获得时钟及其他信号的接收器，并且可被配置成向控制器112提供实时位置信息。陀螺仪128可以是微机电系统(MEMS)陀螺仪、光纤陀螺仪或在本领域中已知的另一类型的陀螺仪。陀螺仪128可被配置成向控制器112提供取向信息。定位系统104还可以包括被配置成向控制器112提供运动输入数据的加速度计130。加速度计130可以是在本领域中已知的已知加速度计类型的一个或任何组合，诸如压电、光学、电阻、电容、剪切模式、应变仪、表面声波、激光器、MEMS等。
[0041]可以在定位系统104中包括测距仪132。在某些示例性实施例中，可以使用测距仪132来确定到目标对象的距离。在此类实施例中，该距离信息可以用来确定用于相机光学件122的适当焦距，并且确定在特定场景的立体照相图像中实现充分3D效果所需的基线。例如，测距仪132可以使用例如超声波或红外照明器和检测器来生成场景的粗略深度图。该深度图可由自动聚焦例程创建，并且可包括关于场景的初步距离和尺寸数据，其可被控制器112结合存储器114来用来估计基线(或目标位移)和位移方向。测距仪132可以包括用于测距的任何已知装置，诸如LIDAR、RADAR、微波测距仪等。
[0042]可以使用多个不同技术在场景内识别上述目标对象。例如，用户可以将目标对象移动至图像捕捉系统的视场内的特定位置，类似于利用自动聚焦相机上的固定焦斑。在其他实施例中，可以经由触控板140由手动用户输入来选择目标对象。替选地，可以根据例如测距仪数据和/或初始图像的内容来自动地确定目标对象。
[0043]显示器106可以包括显示面板134。可以将显示器106配置成向设备100的用户提供各种图形。例如，显示器106可以充当用户接口 116的一部分以向用户显示图像、文本、菜单以及指令。
[0044]设备100可包括一组外围设备108，其可被配置成向和从设备100的用户提供输入和输出。在一个示例中，设备100可包括用于直接地或经由通信网络与一个或多个设备进行无线通信的无线通信接口 138。例如，无线通信接口 138可以使用诸如CDMA、EVD0、GSM/GPRS之类的3G蜂窝通信或诸如WiMAX或LTE之类的4G蜂窝通信。替选地，无线通信接口138可以例如使用WiFi与无线局域网(WLAN)进行通信。在某些实施例中，无线通信接口138可以例如使用红外链路、蓝牙或紫峰来直接地与设备进行通信。
[0045]快门按钮146可以被设备100的用户用来手动地捕捉初始图像。替选地，可以用机械手段来按下快门按钮146。在某些实施例中，设备100可不具有快门按钮146。例如，3D立体照相图像的捕捉可以是完全自动化的或者以另一方式发起，例如响应于经由麦克风142的语音命令、使用触控板140的触摸输入或经由无线通信接口 138与设备100通信的远程设备。
[0046]可将设备100的部件配置成以与在其相应子系统内或外面的其他部件互连的方式进行工作。例如，在示例性实施例中，设备100的用户可在设备100处于3D图像捕捉模式的同时按下快门按钮146。响应于该用户输入，测距仪132可以确定到相机光学件122的视场内的相关目标对象的范围。相机光学件122可以在目标对象上自动聚焦。光度计125可被控制器112控制以至少基于环境照明条件和相机光学件122和图像传感器120的各种特性、诸如孔径和ISO设置来设置正确的曝光。响应于设置正确曝光，图像传感器120可被控制器112控制以捕捉初始图像。可将来自图像传感器120的原始数据发送到2D图像处理器118以将原始图像文件转换成压缩图像格式，诸如联合图片专家组(JPEG)标准文件格式。可将初始图像JPEG发送到显示面板134以用于图像预览/显示。
[0047]在初始图像捕捉时，控制器12可确定基线距离和方向以使设备100移位来实现期望的立体效果。例如，可通过用户接口 116向用户呈现一组立体效果。为了从该组(其可包括正色立体、超立体和/或其他选项)中进行选择，用户可使用触控板140、麦克风142 (例如具有语音命令)和/或到设备100的任何其他输入形式来与设备100相交互。上述‘正色立体’效果可以提供场景的真实伪3D视图，诸如人如果实际上在被成像环境中可体验到的。‘超立体’效果可以提供远距离、诸如建筑物和景观的大型对象的小型化版本。可以将其他立体效果作为选项提供给设备100的用户。替选地，控制器112可以基于例如目标对象距离和尺寸而自动地选择特定立体效果。在其他实施例中，可将设备100配置成使用一个特定立体效果来捕捉图像。
[0048]每个立体效果要求初始和候选图像相对于可对应于特定基线距离和方向的目标对象而以一定的视角转换分离。可以将基线距离和方向的组合称为目标位移。控制器112可以使用存储器114来查找关于建议或先前使用的目标位移的特定信息并至少根据所选择的立体效果来确定用于特定成像情形的适当目标位移。可以手动地(例如由用户)或自动地使设备100移动至所确定的目标位移位置，例如如果设备被安装在可由设备100控制的机器人臂、平台或轨道上的话。
[0049]当设备100随着以目标位移移位而到达精确或适当位置时，可由图像捕捉系统102自动地或由用户手动地捕捉候选图像。作为响应，至少包括控制器112和存储器114的设备100的各种元件可以使用各种图像质量和图像相似性标准来分析候选图像。图像质量标准可以包括焦点、场深、曝光、对比度及其他因素。图像相似性标准可包括初始和候选图像的比较，例如以确定立体3D效果是否在可接受范围内和/或确定图像组成是否已显著地改变(例如目标对象是否在帧中)。在分析两个静止图像以便在立体图像的创建中使用的上下文内可以用其他图像质量和图像相似性标准。
[0050]如果在上述图像分析之后，候选图像符合图像质量和图像相似性标准，则可认为候选图像是可接受的候选图像。否则，可认为候选图像是不可接受的，并且可发生其他功能，诸如初始和/或候选图像的重新捕捉。
[0051]在可接受的候选图像捕捉时，2D/3D图像处理器124可以使用许多潜在图像处理技术来从多个2D图像形成3D图像。这些技术可至少取决于将如何显示3D图像。例如，2D/3D图像处理器124可以使用来自多个2D图像和测距仪132的信息以构建分层或深度映射的3D图像，以在“2D加深度”显示器上显示。可以将3D图像转换成各种图像文件格式且在本发明的上下文内以各种图像文件格式来使用，其可取决于最后如何观看图像。
[0052]此外，2D/3D图像处理器124可以以意图在标准2D显示器上或在被特别地配置成显示3D图像格式的显示器上显示的格式来创建3D图像。例如，可以从可使用2D显示来传送类似于3D效果的多个2D图像来创建立体照片图像转置或立体图。在本领域中已知多种3D图像格式用于显示伪3D图像，并且在本发明的范围内全部是可能的且在本文中被预期。
[0053]虽然图1将设备100的各种部件、即无线通信接口 138、控制器112、存储器114、图像传感器120、GPS收发机126以及用户接口 116示为被集成到设备100中，但可以将这些部件中的一个或多个与设备100分开地安装或关联。例如，可以与设备100分开地安装图像传感器120。因此，可以以可单独地或一起定位的设备元件的形式来提供设备100。可以以有线或无线方式将构成设备100的设备元件通信地耦合。
[0054]图2图示出电话200的前视图、侧视图和后视图，其可以是上文所述和图1中所示的设备100的一个实施例。电话200可以包括各种元件，诸如主体202、快门按钮204、扬声器/麦克风206、显示器208及其他按钮210。设备200还可以包括测距仪212、照明器214和相机216。
[0055]在本示例性实施例中，测距仪212可以是超声波测距仪或红外测距仪，但是可以有在本领域中已知的其他类型的测距仪。
[0056]照明器214可以表示红外发光二极管(LED)以帮助自动聚焦。替选地或另外地，照明器214可以用于在用相机216的图像捕捉期间提供直接照明。例如，照明器214可以提供场景的闪光或恒定照明。
[0057]在一个实施例中，相机216可以包括图像传感器和诸如透镜之类的相关联光学元件。相机216可以提供变焦能力或者可以具有固定焦距透镜。在其他实施例中，可以将可互换透镜与相机216 —起使用。
[0058]相机216可以具有可变机械孔径和/或相机216可以包括电子快门。可以将相机216配置成捕捉静止图像、视频图像或两者。
[0059]本领域的技术人员将理解的是存在可以用来捕捉2D图像以便创建3D立体图像的多种设备。上述示例性实施例不意图排除在本发明的上下文内可以合理地应用的任何其他此类示例的使用。
[0060]3.用于自动3D图像创建的方法
[0061]提供了一种用于自动地捕捉和创建3D图像的方法。可以使用图1和图2中所示和如上文所述的设备来执行该方法，然而可以使用其他配置。图4图示出示例性方法400中的步骤；然而，应理解的是在其他实施例中步骤可以不同的顺序出现，并且可添加或减少步骤。此外，参考图3A、3B和3C来具体地描述方法400。然而，在方法400的上下文内可以有其他示例性实施例。
[0062]方法步骤402包括选择3D捕捉模式。例如，用户可以在图像捕捉设备的用户接口中访问菜单以设置此类3D捕捉模式。替选地，用户可以转动刻度盘或按下按钮，其可对应于设置适当捕捉模式。图像捕捉设备可替选地或另外地响应于其他输入或触发而选择或进入3D捕捉模式。在其他实施例中，图像步骤设备可永久地保持在3D捕捉模式中，例如如果设备被配置成仅生成立体3D图像。
[0063]可以如图3A中所示地举例说明方法步骤402。在本示例性实施例中，电话302可包括快门按钮308、显示器310、扬声器/麦克风314以及相机(未示出)。电话302可在一杯咖啡306的局部环境中。响应于用户选择3D捕捉模式，电话302可显示文本叙述“已选择3D捕捉模式，准备好捕捉初始图像”。
[0064]在方法步骤404中，相机在初始位置304处捕捉初始图像。此步骤可通过用户按下快门按钮308或软键而手动地发起。替选地，除其他触发之外，可以自动地基于特定调度表、特定时间间隔、相机的特定位置/取向来执行该步骤。
[0065]在初始图像的捕捉之后，步骤406包括针对期望的立体效果来确定从初始位置304的适当目标位移316。该确定可以涉及从初始图像收集的各种数据，诸如潜在目标对象、到潜在目标对象的近似距离、潜在目标对象的近似尺寸(高度/宽度)等。目标位移316的确定可以另外或替选地基于立体照相的领域中已知以及如上文所述的各种惯例。替选地，可以将相机固定以针对所有情况提供单个目标位移316(例如用于正色立体图像的约65mm)。可以由相机、一般地电话302、设备100、与电话302通信的服务器网络或由某个其他类型的设备来执行步骤406。
[0066]可以将目标位移316定义成是与可以例如平行于图像传感器的平面的目标方向相关联的长度。在这种情况下，可以将相机向左或右移动，使得相机保持平行于原始视场。在其他实施例中，目标方向可以取决于各种因素，诸如目标对象的3D特性和用户的偏好。例如,咖啡306的杯子可具有应在创建的立体图像中显著的特征。咖啡杯的把手例如可能是用户感兴趣的。相应地，目标方向可以在特定方向上(诸如在杯把手的方向上平行角度)以更好地图示所创建的立体图像中的感兴趣元素。替选地，可以将默认方向用于目标方向。例如，目标方向可以相对于目标对象始终向右或向左。
[0067]另外，目标方向可以在除平行于图像传感器或视场的平面的那些之外的方向上。例如，目标方向可以包括朝向或远离目标对象的方向分量。
[0068]根据特定实施例，可以以各种方式来确定目标方向。例如，可将目标方向确定成默认方向(例如相对于目标对象向右)。在其他情况下，可以根据诸如初始图像组成之类的因素而自动地确定目标方向。例如，可以确定目标方向以求捕捉其中目标对象与在初始图像中相比更居于中心的候选图像。在各种其他实施例中，可以另外或替选地根据所选择的立体效果和/或其他用户偏好和选择来进行目标方向确定。
[0069]此外，可以将目标位移316视为对相机相对于目标对象的相对位置的改变。如此，目标对象和相机中的一者或两者可移动以便实现相对目标位移位置。换言之，如果目标对象在正确的方向上移动且到达相对目标位移位置，则相机不需要移动。例如，如果汽车相对于固定相机移动，固定相机可捕捉该汽车的立体图像。在此类示例性实施例中，可捕捉可包括静止或视频图像的多个图像，意图是识别用于创建立体图像的初始图像和候选图像。
[0070]在其他情况下，目标对象和相机两者都可以移动。例如，使用先前的移动汽车示例，相机底座另外可以移动，以求实现所确定的目标位移316。如果目标对象与相机之间的相对距离接近或满足目标位移316，则相机可以尝试自动地捕捉候选图像。可例如通过分析连续图像帧以确定是否已获得适当目标位移来完成目标对象相对于相机的相对位置的跟踪。在其他实施例中，可以使用测距仪132(和/或陀螺仪128、加速度计130和无线通信接口 138)来确定是否已获得目标对象和相机之间的适当相对距离和方向。
[0071]除相机与目标对象之间的位移的相对距离和方向外，可将相机旋转考虑在内。可以使用连续相机帧之间的轻微旋转变化来显示3D图像，并且因此可以在该方法的上下文中使用。
[0072]步骤408包括提供指定如何从初始位置移动相机的指令。该指令可以包括设备的显示器上的图形图像和/或文本和/或指示目标位移316的方向和距离的声音(例如，说出的指令、哔哔声或其他声音)。替选地，该指令可以仅仅是方向而不参考特定距离。该指令可以由相机、一般地电话302、设备100或由某个其他类型的设备提供。
[0073]还可以如图313中所示地描述方法步骤404和408。在本示例性实施例中，可以响应于用户按下快门按钮308而通过电话302来捕捉初始图像315。初始图像315可包括咖啡杯306。可以在显示器310中显示文本，诸如“已捕捉初始图像”。此外，可以执行方法步骤406以确定目标位移。在这种情况下，由于咖啡杯306在初始图像315的右侧，所以可以将目标方向确定为向右(以便将目标对象保持在视场内)。在本示例性实施例中，可以将目标位移316确定为三英寸。另外，方法步骤408可以在显示器310上显示文本来用户将相机移动目标位移316开始。例如，可以显示消息“将相机向右移动三英寸”。作为响应，用户可以开始将相机向右平移。
[0074]方法步骤410可以包括估计相机从初始相对位置的位移。可以由控制器112、相机、电话302、与电话302通信的服务器、设备100或由某个其他类型的设备来执行步骤410。此步骤还可以涉及目标对象与相机之间的相对距离的变化。此步骤可以动态地执行，可能使用来自定位系统104的元件，新位移估计可能每秒发生几次直至到达目标位移316为止。
[0075]在另一实施例中，控制器112可以包括运动检测引擎。该运动检测引擎可以尝试使用各种信号来确定设备已经移动多远。除其他可能之外，信号可以包括来自W1-Fi/蜂窝信号三角测量、倾斜/平移传感器、罗盘方向、GPS位置以及相机图像移动的信息。具体地，可以使用在本领域中已知且使用的运动矢量计算来检测相机图像移动。可以使用从倾斜/平移及其他类型的传感器到运动检测引擎的输入基于用于移动计算的已知算法来确定估计的相机位移。
[0076]另外或替选地，在某些实施例中，相机可以在相机和目标对象的相对位置改变的同时捕捉多个图像。基于这些图像，可以计算可与图像帧之间的相对位置变化相关的运动矢量。然后可以使用所计算的运动矢量来估计相机从初始位置的位移。
[0077]方法步骤412包括评估实际/估计的位移是否对应于所确定的目标位移316。如上所述，可以由控制器112来执行估计位移的评估，控制器112进而可从定位系统104接收运动和/或位置数据。
[0078]方法步骤414提供了一旦获得了目标位移316且相机在新位置320处，则控制相机自动地捕捉候选图像330。
[0079]然后，方法步骤416包括针对图像质量和与初始图像的相似性来分析候选图像300。如上所述，可以将多个不同标准用于评估候选图像330的图像质量。例如，可评估聚焦和曝光以确定候选图像330是否满足可接受的图像质量。可接受的图像质量可以基于本领域中已知的图像特性而合并多个图像质量度量，除其他特性之外，所述图像特性诸如聚焦、曝光、图像组成。例如，如果发现候选图像330的图像质量度量满足预定图像质量标准，则可将候选图像330确定为具有可接受的图像质量。
[0080]此外，方法步骤416包括图像相似性的评估以确定候选图像是否展示出与初始图像的可接受相似性。除其他可能性之外，与初始图像的可接受相似性还可以包括目标对象在初始和候选图像两者中的存在以及两个图像中的相似背景特征。如果在此类比较之后发现候选图像330满足预定图像相似性标准，则可以将候选图像330确定为具有与初始图像的可接受相似性。
[0081]在某些实施例中，可以基于初始图像和目标位移来创建预测图像。此外，可以将候选图像330与预测图像相比较作为图像相似性评估的一部分。例如，可基于初始图像来生成预测图像，其将由于设备移动至目标位移而引起的预测视角移位考虑在内。
[0082]可以由于各种因素而动态地调整可接受的图像质量和与初始图像的可接受相似性两者，所述因素诸如环境光水平(由于较长快门速度而引起的轻微运动模糊可以是可接受的)、场深(图像的大部分可能由于窄的焦深而未对焦)以及目标对象/背景运动(当跟踪移动目标对象时，背景在目标对象可保持在相对锐聚焦的同时看起来是运动模糊的)。可以由设备100、电话302、由与电话302通信的服务器或由某个其他类型的设备来执行步骤 416。
[0083]替选地，图像处理引擎可以使用标准图像质量度量来确定所捕捉的候选图像330的质量，并且还将候选图像330与先前捕捉的图像帧相比较。因此，图像处理引擎可以包括2D图像质量引擎和3D相似性引擎。
[0084]2D图像质量引擎可以基于本领域中的已知方法来评估图像质量。2D图像质量度量的某些示例包括模糊检测、相机信噪比以及边缘检测。
[0085]3D相似性引擎可以使用先前捕捉的图像帧(例如，初始图像、初始图像与候选图像之间的中间图像或参考图像)来确定候选图像330的可用性。例如，可以在先前捕捉的图像帧与候选图像330之间计算运动矢量。另外，在某些实施例中，运动矢量计算可以合并传感器数据或可以与相机移动相关的其他数据。在此类实施例中，可以将适当的图像变换应用于任何所考虑的图像(例如，以形成预测图像)以便在图像比较中使用。此外，所比较的图像之间的色彩可以是基本上类似的。因此，可以例如基于各图像的色彩直方图来计算相似性值。在另一实施例中，可以对初始图像执行2D至3D图像转换以确定用于针对候选图像330的比较的近似基础。
[0086]如果图像质量和/或图像相似性不足，则方法步骤422用于提供另一指令。该另一指令可以包括设备100的用户所需的动作，或者可以是由设备100响应于不足的图像质量和/或图像相似性而进行的自动响应。例如，进一步指令可以包括用于用户获取不同候选图像的消息。替选地，所述进一步指令可以要求用户获取新的初始图像。该进一步指令还可采取新初始图像和/或新候选图像的自动捕捉的形式。例如，在捕捉初始图像之后且随着设备100朝着目标位移位置移动，可以将图像捕捉系统102配置成获取一连串图像，可以将其中的每个图像评估为候选图像。随着分析各候选图像并发现其不足，所述进一步指令可以包括新候选图像的捕捉。所述一连串的图像捕捉(以及进一步指令)可在候选图像被认为可接受时停止。替选地，所述一连串的图像捕捉可通过将后续图像分配为初始图像而继续。
[0087]在一个实施例中，如果系统确定所捕捉的图像不具有足够高的质量，例如因为相机移动过快且使图像模糊，则系统可以通过音频、视觉和/或触觉振动而向用户指示其需要重新捕捉新的候选图像330。
[0088]如果如在方法步骤420中候选图像330具有可接受的图像质量和可接受的图像相似性两者，则基于初始图像和候选图像来创建立体图像。可以经由例如显示器324来向用户提供信息以确认已获取可接受的候选图像。例如，如图3C中所示，可以在显示器324上显示文本，叙述“已捕捉候选图像，处理3D图像...”。可以通过相机、图像捕捉系统102、设备100和/或服务器网络来创建立体图像。
[0089]可以以重现方式来执行上述方法，使得连续地或在特定时间期间生成3D图像。还可以使用可以诸如每秒120帧或以上的视频帧速率来捕捉图像的视频相机来实现该方法。在此类实施例中，视频相机可以连续地捕捉图像，可以将其中的每一个认为是‘初始图像’和/或‘候选图像’。例如，在示例性实施例中，视频相机可以捕捉视频帧A、B和C。在此类实施例中，可以将视频帧A认为‘初始图像’且可以将视频帧B评估为‘候选图像’。如果发现视频帧B是可接受的，则可以从视频帧A和B的组合来生成3D图像。随后，可以将视频帧B认为‘初始图像’且可以将视频帧C认为新的‘候选图像’。替选地，可以串行地或并行地将视频帧B和C认为用于视频帧A的候选图像。换言之，可以在相机正在朝着新位置320移动的同时考虑多个候选图像。可以有应用视频图像以创建3D立体图像的其他方式且其对于本领域的技术人员而言将是显而易见的。这些替选实施例每个都被考虑且应包括在所述发明的范围内。
[0090]虽然上述方法涉及立体视觉或将形成伪3D图像的两个2D图像的组合，但在本文中隐含地预期了类似方法，其可包括涉及超过两个2D图像的组合的方法。也称为多视点的此类方法可将来自不同位置和/或角度的多个图像组合。这可允许观看者在目标对象周围移动以从不同的3D角度看目标对象。这样，本领域的技术人员将理解可以以在本发明的上下文内创建多视点图像的方式将一连串的初始和候选图像组合。
[0091]4.具有用于自动3D图像创建的指令的非瞬时计算机可读介质
[0092]上文所述和图3A、3B、3C和4中所示的某些或所有功能可由计算设备响应于存储在非瞬时计算机可读介质中的指令的执行而执行。该非瞬时计算机可读介质可以是例如随机存取存储器(RAM)、只读存储器(ROM)、闪速存储器、高速缓冲存储器、一个或多个磁编码盘、一个或多个光编码盘或任何其他形式的非瞬时数据存储。非瞬时计算机可读介质还可以分布在多个数据存储元件之间，其可以相互远离地定位。执行存储指令的计算设备可以是诸如图1中所示的设备100之类的设备，并且该非瞬时计算机可读介质可对应于存储器114。替选地，执行存储指令的计算设备可以是另一计算设备，诸如服务器网络中的服务器。
[0093]非瞬时计算机可读介质(例如存储器114)可存储可由控制器112执行以执行各种功能的指令。例如，可命令控制器112控制图像捕捉系统102捕捉初始图像。还可命令控制器112确定针对适当的3D效果而移动相机的目标位移。其他指令可指引控制器112向用户提供各种消息，其可命令用户将相机移动所确定的目标位移以捕捉候选图像。还可命令控制器112捕捉候选图像。控制器112和存储器114还可相交互以确定初始和候选图像是否适合于立体3D图像创建。如果初始和候选图像不完全服从图像质量和图像相似性标准，则各种指令可以指引控制器112执行其他动作，诸如捕捉另一候选图像。最后，在可接受候选图像捕捉时，可命令控制器112创建立体3D图像。
[0094]结论
[0095]以上详细描述参考附图描述了公开的系统、设备以及方法的各种特征和功能。虽然在本文中已公开了各种方面和实施例，但其他方面和实施例对于本领域技术人员而言将是显而易见的。在本文中公开的各种方面和实施例是用于图示的目的且并不意图实现限制，由以下权利要求来指示其实际范围和精神。
【权利要求】
1.一种用于立体图像创建的方法，所述方法包括: 在初始位置处使用相机来捕捉初始图像； 针对期望的立体效果确定从所述初始位置的目标位移； 提供指定使相机从所述初始位置移动的方向的指令； 在相机在运动中的同时估计从所述初始位置的估计位移；响应于确定所述估计位移对应于所述目标位移，所述相机自动地捕捉候选图像；响应于捕捉所述候选图像，自动地执行可接受性分析，其中，所述可接受性分析包括分析所述候选图像以确定所述候选图像是否具有可接受的图像质量并将所述候选图像与所述初始图像相比较以确定所述候选图像是否具有与所述初始图像的可接受的相似性；以及响应于确定所述候选图像具有所述可接受的图像质量并且具有与所述初始图像的可接受的相似性，基于所述初始图像和所述候选图像自动地创建立体图像。
2.根据权利要求1所述的方法，进一步包括: 将所述立体图像存储为图像文件。
3.根据权利要求1所述的方法，进一步包括: 在移动电话上显示所述立体图像。
4.根据权利要求1所述的方法，进一步包括: 响应于确定所述候选图像缺少与所述初始图像的可接受相似性，提供进一步指令。
5.根据权利要求4所述的方法，其中，所述进一步指令包括使所述相机移回所述初始位置的指令。
6.根据权利要求1所述的方法，其中，将所述候选图像与所述初始图像相比较以确定所述候选图像是否具有与所述初始图像的可接受的相似性包括: 基于所述初始图像和所述目标位移来创建预测图像；以及 将所述候选图像与所述预测图像相比较。
7.根据权利要求1所述的方法，其中，估计从所述初始位置的估计位移包括: 从至少一个运动传感器获得至少一个传感器读数，其中，所述至少一个运动传感器包括陀螺仪。
8.根据权利要求1所述的方法，其中，估计从所述初始位置的估计位移包括: 从至少一个运动传感器获得至少一个传感器读数，其中，所述至少一个运动传感器包括加速度计。
9.根据权利要求1所述的方法，其中，估计从所述初始位置的估计位移包括: 所述相机在所述相机处于运动中的同时捕捉多个图像；以及 计算所述多个图像中的个体图像之间的运动矢量。
10.根据权利要求1所述的方法，其中，估计从所述初始位置的估计位移包括: 获得GPS位置。
11.根据权利要求1所述的方法，其中，估计从所述初始位置的估计位移包括: 使用无线三角测量来获得位置。
12.根据权利要求1所述的方法，其中，所述指令指定从所述初始位置移动所述相机的距离。
13.根据权利要求1所述的方法，进一步包括: 分析所述初始图像以确定所述初始图像是否具有可接受的图像质量。
14.一种设备，包括: 图像传感器； 用户接口 ；以及 控制器，其中，所述控制器被配置成: 当所述设备处于初始位置时，使用所述图像传感器来捕捉初始图像； 针对期望的立体效果确定从所述初始位置的目标位移； 通过所述用户接口来提供指令，其中，所述指令指定使所述设备从所述初始位置移动的方向； 在所述设备在运动中的同时，估计所述设备从所述初始位置的位移； 响应于确定所估计的位移对应于所述目标位移，使用所述图像传感器自动地捕捉候选图像； 响应于捕捉到所述候选图像，自动地执行可接受性分析，其中，所述可接受性分析包括分析所述候选图像以确定所述候选图像是否具有可接受的图像质量并将所述候选图像与所述初始图像相比较以确定所述候选图像是否具有与所述初始图像的可接受的相似性；以及 响应于确定所述候选图像具有可接受的图像质量并且具有与所述初始图像的可接受相似性，基于所述初始图像和所述候选图像自动地创建立体图像。
15.根据权利要求14所述的设备，进一步包括全球定位系统(GPS)收发机，并且其中，所述控制器至少基于GPS数据来估计所述设备的位移。
16.根据权利要求14所述的设备，进一步包括运动传感器，并且其中，所述控制器至少基于运动传感器数据来估计所述设备的位移。
17.根据权利要求14所述的设备，进一步包括测距仪，并且其中，所述控制器至少基于测距仪数据来估计所述设备的位移。
18.根据权利要求14所述的设备，进一步包括存储器，其中，所述控制器进一步被配置成将所述立体图像作为图像文件存储在所述存储器中。
19.根据权利要求14所述的设备，进一步包括显示器，其中，所述控制器进一步被配置成在所述显示器上显示所述立体图像。
20.根据权利要求14所述的设备，其中，所述控制器进一步被配置成响应于确定所述候选图像缺少可接受的图像质量而通过所述用户接口来提供进一步指令。
21.根据权利要求14所述的设备，其中，所述控制器进一步被配置成响应于确定所述候选图像缺少与所述初始图像的可接受的相似性而通过所述用户接口来提供进一步指令。
22.根据权利要求21所述的设备，其中，所述进一步指令包括使所述设备移回所述初始位置的指令。
23.根据权利要求14所述的设备，其中，将所述候选图像与所述初始图像相比较以确定所述候选图像是否具有与所述初始图像的可接受的相似性包括: 基于所述初始图像和所述目标位移来创建预测图像；以及 将所述候选图像与所述预测图像相比较。
24.根据权利要求14所述的设备，其中，所述指令指定从所述初始位置移动所述设备的距离。
25.一种非瞬时计算机可读介质，具有存储在其中的可由计算设备执行的指令，所述计算设备包括图像传感器和用户接口，以促使所述计算设备执行包括以下的功能: 当所述计算设备处于初始位置时，使用所述图像传感器来捕捉初始图像； 针对期望的立体效果确定从所述初始位置的目标位移； 通过所述用户接口来提供指令，其中，所述指令指定使所述计算设备从所述初始位置移动的方向； 在所述计算设备在运动中的同时，估计所述计算设备从所述初始位置的位移； 响应于确定所述估计位移对应于所述目标位移，使用所述图像传感器来自动地捕捉候选图像； 响应于捕捉到所述候选图像，自动地执行可接受性分析，其中，所述可接受性分析包括分析所述候选图像以确定所述候选图像是否具有可接受的图像质量并将所述候选图像与所述初始图像相比较以确定所述候选图像是否具有与所述初始图像的可接受的相似性；以及 响应于确定所述候选图像具有可接受的图像质量并且具有与所述初始图像的可接受相似性，基于所述初始图像和所述候选图像自动地创建立体图像。
26.根据权利要求25所述的非瞬时计算机可读介质，其中，所述计算设备执行进一步包括以下的功能: 响应于确定所述候选图像缺少可接受的图像质量，提供进一步指令。
27.根据权利要求25所述的非瞬时计算机可读介质，其中，所述计算设备执行进一步包括以下的功能: 响应于确定所述候选图像缺少与所述初始图像的可接受的相似性，提供进一步指令。
28.根据权利要求27所述的非瞬时计算机可读介质，其中，所述进一步指令包括使所述计算设备移回所述初始位置的指令。
29.根据权利要求25所述的非瞬时计算机可读介质，其中，将所述候选图像与所述初始图像相比较以确定所述候选图像是否具有与所述初始图像的可接受的相似性包括: 基于所述初始图像和所述目标位移来创建预测图像；以及 将所述候选图像与所述预测图像相比较。
30.根据权利要求25所述的非瞬时计算机可读介质，其中，所述指令指定从所述初始位置移动所述计算设备的距离。
【文档编号】H04N13/02GK104205828SQ201380018661
【公开日】2014年12月10日 申请日期:2013年1月28日 优先权日:2012年2月6日
【发明者】乔纳森·黄, 塞缪尔·克瓦伦, 彼得·布拉德肖 申请人:谷歌公司