专利名称：基于场景深度图的缩放、孔径和快门速度的自动设定的制作方法
技术领域：
本发明涉及成像领域。更具体地，本发明涉及利用深度图来设定成像设备上的參数。
背景技术：
深度图(DM)是与从相机传感器到场景中用于各个单个像素的相应点的距离相关的图。DM生成法可以是主动的或被动的，主动的DM生成法包括测距传感器(rangesensor)，测距传感器使用超声波或投射激光图案或者利用某种其他手段扫描场景来测量离相机的距离；被动的DM生成法诸如立体系统，其使用两个或更多个相机/镜头来获取场景的多个图像并且然后对他们进行匹配以便对场景中的点进行三角測量，或者是基于从若干图像计算深度的方法。
发明内容
深度图(DM)能被用于设定包括相机、便携式摄放像向机以及其他设备的成像设备上的參数。这些參数包括缩放设定、孔径设定和快门速度设定。在一方面中，在设备上实施的方法包括生成深度图和利用深度图来配置设备上的參数设定。深度图通过利用单镜头相机生成。深度图是如下生成的在具有第一模糊质量的第一图像信号在第一位置处通过镜头后在图像传感器处接收该第一图像信号，在具有第ニ模糊质量的一个或多个第二图像信号在第二位置处通过镜头后在图像传感器处接收此ー个或多个第二图像信号，利用第一模糊质量和第二模糊质量计算模糊差，并且从模糊差生成深度图。深度图通过利用如下至少ー个生成与设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似深度图的单镜头相机、水平移动的单镜头相机、用于获取具有不同模糊质量的多个图像的可移动镜头和图像传感器。配置參数设定包括配置缩放设定。配置參数设定包括配置孔径设定。配置參数设定包括配置快门速度设定。此方法还包括对场景进行分类以辅助配置參数设定，所述分类包括计算来自深度图的值的直方图，对直方图进行平滑以消除噪声，检测经平滑的直方图中的最左峰和最右峰，如果最左峰和最右峰对应于比风景阈值大的深度则场景被分类为风景，否则，如果在最左峰和最右峰之间没有发现局部最小值则场景被分类为其他，否则，通过选择最左峰和最右峰之间的局部最小值来确定前景/背景阈值，并且基于前景/背景阈值，像素被分类为前景或背景并且前景像素的边界框确定了在场景中是否有感兴趣的对象。參数设定为自动缩放调节，包括对场景分类，如果场景被分类为风景则递进地缩小场景并重新对深度图分类以保持风景类别，并达到最宽可用缩放设定为止，如果场景被分类为包含主要对象则自动在对象上放大直到场景的对象边界为止，执行孔径调节，执行快门速度调节并更新聚焦位置。所述设备选自包括个人计算机、膝上型计算机、计算机工作台、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄像机、可视电话、iPod 、视频播放器、DVD录播器、电视、家庭娱乐系统的群组。
在另一方面中，一种被编程在被配置用于在ー个或多个应用中利用深度图的设备的控制器中的系统，包括孔径设定模块，被配置用于设定设备的孔径大小；和快门速度设定模块，被配置用于设定设备的快门速度。深度图通过利用如下至少ー个生成与设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似深度图的单镜头相机、水平移动的单镜头相机、用于获取具有不同模糊质量的多个图像的可移动镜头和图像传感器。所述设备选自包括个人计算机、膝上型计算机、计算机工作台、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄像机、可视电话、iPod 、视频播放器、DVD录播器、电视、家庭娱乐系统的群组。在ー些实施例中，深度图通过利用单镜头相机生成。在另一方面中，一种设备包括存储器，用于存储应用，所述应用被配置用于生成深度图，利用深度图来配置设备上的參数设定；以及处理部件，处理部件耦合到存储器，所述处理部件被配置用于处理所述应用。深度图通过利用如下至少ー个生成与设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似深度图的单镜头相机、水平移动的单镜头相机、用于获取具有不同模糊质量的多个图像的可移动镜头和图像传感器。利用深度图配置參数设定包括配置缩放设定、配置孔径设定以及配置快门速度 设定中的至少ー个。所述应用还被配置用于对场景进行分类以辅助配置參数设定，所述分类包括包括计算来自深度图的值的直方图，对直方图进行平滑以消除噪声，检测经平滑的直方图中的最左峰和最右峰，如果最左峰和最右峰对应于比风景阈值大的深度则场景被分类为风景，否则，如果在最左峰和最右峰之间没有发现局部最小值则场景被分类为其他，否贝1J，通过选择最左峰和最右峰之间的局部最小值来确定前景/背景阈值，并且像素基于前景/背景阈值被分类为前景或背景并且前景像素的边界框确定了在场景中是否有感兴趣的对象。參数设定为自动缩放调节，包括对场景分类，如果场景被分类为风景则逐步缩小场景并重新对深度图分类以保持风景类别并达到最宽可用缩放设定，如果场景被分类为包含主要对象则自动在对象上放大直到场景的对象边界，执行孔径调节，执行快门速度调节并更新聚焦位置。所述设备选自包括个人计算机、膝上型计算机、计算机工作台、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄像机、可视电话、iPod 、视频播放器、DVD录播器、电视、家庭娱乐系统的群组。所述设备是数字静态相机。在另一方面中，ー种相机设备包括图像获取部件；存储器，用于存储应用，所述应用被配置用于生成深度图，利用深度图来配置设备上的參数设定以便利用图像获取部件来获取图像；以及处理部件，处理部件耦合到存储器，所述处理部件被配置用于处理所述应用。深度图通过利用如下至少ー个生成与设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似深度图的单镜头相机、水平移动的单镜头相机、用于获取具有不同模糊质量的多个图像的可移动镜头和图像传感器。所述应用还被配置用于对场景进行分类以帮助配置參数设定，所述分类包括包括计算来自深度图的值的直方图，对直方图进行平滑以消除噪声，检测经平滑的直方图中的最左峰和最右峰，如果最左峰和最右峰对应于比风景阈值大的深度则场景被分类为风景，否则，如果在最左峰和最右峰之间没有发现局部最小值则场景被分类为其他，否则，通过选择最左峰和最右峰之间的局部最小值来确定前景/背景阈值，并且像素基于前景/背景阈值被分类为前景或背景并且前景像素的边界框确定了在场景中是否有感兴趣的对象。參数设定为自动缩放调节，包括对场景分类，如果场景被分类为风景则逐步缩小场景并重新对深度图分类以保持风景类别并达到最宽可用缩放设定，如果场景被分类为包含主要对象则自动在对象上放大直到场景的对象边界，执行孔径调节，执行快门速度调节并更新聚焦位置。利用深度图配置參数设定包括配置缩放设定、配置孔径设定以及配置快门速度设定中的至少ー个。
图I图示出根据ー些实施例的相机和摄像机中的数字图像处理的第一阶段的框图；图2图示出根据ー些实施例的基于深度图的场景分类方法的流程图；
图3图示出根据ー些实施例的深度图的直方图和经平滑的直方图的曲线图；图4图示出根据ー些实施例的利用深度图生成感兴趣的对象的边界框的示例；图5图示出根据ー些实施例的利用孔径调节和快门速度调节来进行自动缩放设定的流程图；图6图示出根据ー些实施例的利用深度图进行缩放设定以对包含主要的感兴趣的对象的场景拍照的示例；图7图示出根据ー些实施例的利用深度图进行缩放设定以对包含风景的场景拍照的示例；图8图示出根据ー些实施例的自动孔径设定和快门速度调节的流程图；图9图示出根据ー些实施例的利用深度图进行孔径设定以对包含主要的感兴趣的对象的场景拍照的示例；图10图示出根据ー些实施例的利用深度图来设定设备參数的方法的流程图；图11图示出根据ー些实施例的被配置用于设定设备參数的示例性计算设备的框图。
具体实施例方式深度图(DM)能被用于包括相机、摄像机和其他设备的许多应用。生成DM有很多方式。生成DM的方法的一些示例包括与设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似DM自动聚焦的单镜头相机、水平移动的单镜头相机以及其他实现方式。确定DM的另ー种具体实现方式在名称为“METHOD OF AND APPRATUS FORGENERATING A DEPTH MAP UTILIZED IN AUT0F0CUSING”的美国专利申请No. 11/473，694 中被描述，该申请通过应用被结合于此，这种实现方式包括可移动镜头和图像传感器。深度信息通过使镜头移动一段短距离并获取具有不同模糊质量的多个图像并且然后利用所获取的信息计算DM来获得。另ー种实现方式包括利用捕获并生成多个被模糊的图像，如在名称为“METHOD OF AND APPRATUS FOR SIMULTANEOUSLY CARTURING AND GENERATING MULTIPLEBLURRED IMAGES”的美国专利申请No. 11/357,631中所描述，该申请通过应用被结合于此。不管DM是如何获得的，在此所描述的申请都能利用DM。用于生成精密深度图的ー种具体实现方式由名称为“METHOD AND APPRATUS FORGENERATING A DENSE DEPTH MAP USISNG AN ADAPTIVE JOINT BILATERAL FILTER” 的专利申请12/931，293描述，该申请通过引用被结合于此。这样的生成深度图的方法能被用于增强现有的粗糙深度图的空间和深度分辨率，现有的粗糙深度图一般可从最当前可获得的DM生成法来得到。图I图示出根据ー些实施例的相机和摄像机中的数字图像处理的第一阶段的框图。在步骤100中，相机參数设定能被配置。參数设定的示例包括但不限于缩放设定、孔径设定和快门速度设定。设定快门速度是自动缩放设定或孔径设定的间接副产物。相机參数设定能从DM的信息获益。基于DM执行场景分类图2图示出根据ー些实施例的基于深度图进行场景分类的方法的流程图。在步骤200，计算从O到最大距离的DM范围内的DM值的直方图。最大距离是深度图中的最大可测距离。此值依赖于用于获取或计算深度图的方法或设备。在步骤202，利用具有大方差的I-D高斯滤波器来平滑直方图。此步骤的目的是消除深度图直方图中的噪声(小变动)。此滤波器的实际方差根据用于获取或计算深度图的方法或设备来调节。作为示例，方差= 5被用于针对利用模糊差计算的约400，000像素的深度图的具有256个区间(bin)的直方图。任何利用模糊差计算深度图的方法都能使用，诸如在于2006年2月16日提交的名称为“METHOD OF AND APPRATUS FOR SIMULTANEOUSLY CAPTURING AND GENERATING MULTIPLEBLURRED IMAGES”的美国专利申请No. 11/357,631中描述的方法，该申请通过引用被全部结合于此。在步骤204，检测经平滑的DM的直方图中的最左峰和最右峰。直方图中的最左峰对应于前景区，而直方图中的最右峰对应于背景区。检测最左峰和最右峰能够通过分析经平滑的DM的直方图中的梯度来实现。在步骤206，如果经平滑的直方图的最左峰和最右峰二者都对应于比风景阈值(threshold landscape)大的深度,则在步骤S208场景被分类为风景并且场景分类结束。否则，处理继续寻找感兴趣的对象。在步骤210，通过阈值化来执行对感兴趣的对象的分段。在阈值化的一个示例中，在经平滑的直方图中的最左峰和最右峰之间找出局部最小值。如果没有局部最小值，则将场景分类为“其他”并且结束场景分类。如果若干局部最小值在最左峰和最右峰之间的全局最小值的某ー阈值内，则对应于最低深度的局部最小值(即最左的局部最小值)被选择。所选择的局部最小值对应于前景/背景深度阈值。如果没有找到局部最小值，则场景被分类为“其他”并且场景分类结束。阈值化通过将具有比阈值低的深度值分类为前景位置并且将具有比阈值大或等于阈值的深度值分类为背景位置来执行。图像中感兴趣的对象的边界框通过查找与前面步骤中计算的前景对应的深度的最小X、最小y、最大X、最大I的图像位置而被计算出。虽然描述了阈值化的ー个示例，但是其他实现方式也是可行的。在此描述一些实施例的深度图阈值化的另外的细节。在第一歩中，计算深度图的直方图H。例如，256个区间被使用。在第二步中，通过以ID高斯对直方图H进行卷积来计算经平滑的直方图(SH)。例如，用于256个区间的直方图的具有标准偏差为0.5的ID高斯被使用。SH = H|G。在第三步中，计算经平滑的直方图的一次导数(first derivative)。例如，使用某些差来计算该导数D(i) = [SH(i+l)-SH(i-l)]/2。在第四步中，通过找出一次导数的零值来计算经平滑的直方图的局部最小值和最大值。例如，L= {i, D(i) < tolerance_zero}，其中，tolerance_zero为O. 02*总像素/totle_bins(总区间)。在第五步中，计算 Leftmost_peak (最左峰)、Rightmost_peak (最右峰)和 threshold (阈值)。例如，Leftmost_peak = min{i, i，L}，Rightmost_peak = max{i, i，L}，threshold = {d, HS(d)=min {HS (i)}, Leftmost_peak3d# Rightmost_peak}。如果没有阈值满足上述条件，则场景不包含感兴趣的对象。如果多个阈值满足此条件，则最低阈值被选择并且场景被分类为包含感兴趣的对象的。图3图示出根据ー些实施例的深度图的直方图和经平滑的直方图的曲线图。在深度图的经平滑的直方图中，该 直方图的最左峰是前景区，并且最右峰是背景区。前景/背景深度阈值位于最左峰和最右峰之间的直方图的最小值处。图4图示出根据ー些实施例的利用深度图生成感兴趣的对象的边界框的示例。首先，示出了具有感兴趣的对象和背景的深度图。然后，检测到的感兴趣的对象被选择并且背景被移除。感兴趣的对象的边界框在检测到的感兴趣的对象的周围被生成。在此描述基于深度与阈值水平相比来对深度图中的像素分类的方法。F是ー组前景像素，并且B是ー组背景像素。F= {(x, y), DM (x, y) < threshold}B= {(x，y)，DM(x，y)ヨ threshold }感兴趣的对象的边界框由startxF、startyF、endxF、endyF来限定startxF = min {x, (x, y)，F}startyF = min {y, (x, y)，F}endxF = max {x, (x, y), F}endyF = max {y, (x, y)，F}如果startxF > minxF 并且 startyF > minyF 并且 endxF < maxxF 并且 endyF< maxyF,则场景包含感兴趣的对象。否则,场景不包含感兴趣的对象。自动缩放调节图5图示出根据ー些实施例的自动缩放调节的流程图。场景分类发生在步骤500中。然后，在步骤502中判断场景是否被分类为风景。如果场景被分类为风景，则可在步骤504中通过渐进的自动缩小来增强图像组分。因为缩小从外界向场景引入了新内容，所以缩小能够在渐进步骤中被执行，同时在每步后DM被重新分类，以便确保在缩小过程中保持场景被分类为风景。具体地，在步骤506中判断是否已达到可获得的最宽缩放设置。如果已经达到可获得的最宽缩放设置，则处理在步骤518中继续。然而，如果还未达到可获得的最宽缩放设置，则在步骤508中深度图被重新计算。在步骤510，在此发生基于深度图的场景分类。在步骤512，判断场景是否仍表示风景。如果场景仍表示风景，则处理在步骤504再继续缩小。如果场景不表示风景，则处理跳到步骤518中的孔径调节。如果在步骤514场景被分类为包含主要対象，则在步骤516中可通过自动将感兴趣的对象放大直到原始场景中感兴趣的对象的边界为止来增强图像组分。在此自动调节处理完成之后，在步骤518中孔径调节被执行并且在步骤520中快门速度调节被执行。孔径调节和快门速度调节被用于补偿某些类型的镜头的最宽可用孔径的改变。在这些调节之后，如果聚焦透镜位置已被计算出，则在步骤522聚焦位置能够被更新以便反映因缩放设定而引起的场的场景深度的改变，作为改变缩放设定的結果。图6中不出了对王要的感兴趣的对象的自动缩放调节。在图6中，使用DM确定出最近的对象和背景，然后，当对象是除了背景以外的唯一对象时，能够进行缩放，从而使得能够拍摄对象的特写(close-up)画面。图7中示出了对风景进行自动缩放调节的示例。对于当前缩放的画面，初始深度图被确定，但是随着处理进行縮小，最終的深度图被生成并且最終最小的画面按照如上所述被生成。自动孔径/快门速度调节图8图示出根据ー些实施例的自动孔径/快门速度调节的流程图。在步骤800中，发生基于深度图的场景分类。如果 在步骤802中场景被分类为表示风景，则在步骤804中能够通过自动将孔径设定为针对当前缩放位置的最窄可用设置来增强图像组分。得到的图像将具有经增强的场深度，适合于风景摄影。之后，处理跳到步骤810。如果在步骤806中场景被分类为包含主要対象，则在步骤808中能够通过将孔径设定为针对当前缩放位置的最宽可用设置来增强图像组分。得到的最终图像的浅的场深度将增强主要对象与其余场景之间的深度分隔。在步骤810，快门速度被调节。如果场景被分类为包含主要的感兴趣的对象，则为了对最终图像的保持相同的曝光水平，快门速度因此被増大。如果场景被分类为包含风景，则为了对最终图像的保持相同的曝光水平，快门速度因此被减小。在自动孔径/快门速度调节处理完成之后，如果聚焦透镜位置已被计算出，则在步骤812中该聚焦位置能够被更新以便反映因孔径设定而引起的场的场景深度的改变。图9图示出根据ー些实施例的利用深度图来进行孔径设定以拍摄包含主要的感兴趣的对象的场景的照片的示例。在图9中，使用DM确定出最近的对象和背景，然后当此对象是除背景以外的唯一对象时，能够发生孔径调节，从而使得能够拍摄对象的特写画面。图10图示出根据ー些实施例的利用DM设定相机參数的方法的流程图。在步骤1000中，DM被生成。如上所述，DM能够按照多种不同的方式来生成。在步骤1002中，DM被存储。在一些实施例中，DM被利用图像拷贝以便用于后续处理。在一些实施例中，DM不被存储并且步骤1002能被跳过。在步骤1004，DM被利用来设定诸如上述那些的相机參数。图11图示出根据ー些实施例的被配置为实施利用DM的应用的示例性计算设备1100的框图。计算设备1100能够被用于获取、存储、计算、传达和/或显示诸如图像和视频的信息。例如，计算设备1100能够获取和存储照片。利用DM的应用能够被用于配置计算设备1100以获取图像、在图像获取中配置计算设备1100或在图像被获取之后配置计算设备1100。一般而言，适用于实现计算设备1100的硬件结构包括网络接ロ 1102、存储器1104、处理器1106、( ー个或多个)I/O设备1108、总线1110和存储设备1112。处理器的选择不是紧要的，只要选择具有充分速度的合适处理器即可。存储器1104能够是现有技术中的任何传统的计算机存储器。存储设备1112能够包括硬驱动器、^如1^01^、0￥0、0￥0鼎、闪存卡或任何其他存储设备。计算设备1100能够包括一个或多个网络接ロ 1102。网络接ロ的示例包括连接到以太网或其他类型的LAN的网卡。(ー个或多个)I/O设备1108能够包括如下ー个或多个键盘、鼠标、监视器、显示器、打印机、调制解调器、触摸屏、按钮界面和其他设备。用于执行DM方法的(ー个或多个)DM參数设定模块1130可被存储在存储设备1112和存储器1104中并且如模块被通常处理那样被处理。在计算设备1100中可包括比图11中示出的部件更多或更少的部件。在一些实施例中，DM处理器或存储硬件1120被包括。虽然图11中的计算设备1100包括參数设定模块1130和用于DM參数设定模块的硬件1120，但是DM參数设定模块能够以硬件、固件、软件或它们的任何组合的形式被实现在计算设备上。在一些实施例中，(ー个或多个)DM參数设定模块包括另外的模块。在一些实施例中，(ー个或多个)DM參数设定模块包括配置用于设定缩放的缩放设定模块1132、被配置用于设定孔径大小的孔径设定模块1134和被配置用于设定快门速度的快门速度设定模块1136。
适当的计算设备的示例包括个人计算机、膝上型计算机、计算机工作台、服务器、主机计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄像机、可视电话、iPod 、视频播放器、DVD录播器、电视、家庭娱乐系统或任何其他合适的计算设备。在图像/视频被获取之前，DM能够被利用以设定包括但不限于缩放设定、孔径设定和快门速度设定的參数。在操作中，通过在图像/视频被获取之前适当地配置相机设定能够改善图像获取。基于场景深度图进行自动的缩放、孔径和快门速度设定的一些实施例I. ー种在设备上实现的方法，包括a.生成深度图；以及b.利用所述深度图来配置所述设备上的參数设定。2.根据权利要求I所述的方法，其中，所述深度图是利用单镜头相机生成的。3.根据权利要求2所述的方法，其中，所述深度图通过如下步骤生成a.在具有第一模糊质量的第一图像信号在第一位置处通过镜头之后，在图像传感器处接收所述第一图像信号；b.在具有第二模糊质量的一个或多个第二图像信号在第二位置处通过所述镜头之后，在所述图像传感器处接收所述ー个或多个第二图像信号；c.使用所述第一模糊质量和所述第二模糊质量来计算模糊差；以及d.从所述模糊差生成所述深度图。4.根据权利要求I所述的方法，其中，所述深度图通过使用如下装置中的至少ー种生成与所述设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似深度图的单镜头相机、水平移动的单镜头相机、用于获取具有不同模糊质量的多个图像的可移动镜头和图像传感器。5.根据权利要求I所述的方法，其中，配置所述參数设定包括配置缩放设定。6.根据权利要求I所述的方法，其中，配置所述參数设定包括配置孔径设定。7.根据权利要求I所述的方法，其中，配置所述參数设定包括配置快门速度设定。8.根据权利要求I所述的方法，还包括对场景进行分类以辅助配置所述參数设定，所述对场景进行分类包括a.计算来自所述深度图的值的直方图；b.对所述直方图进行平滑以消除噪声；c.检测经平滑的直方图中的最左峰和最右峰；d.如果所述最左峰和所述最右峰对应于比风景阈值大的深度，则所述场景被分类为风景；e.否则，如果在所述最左峰和所述最右峰之间没有找到局部最小值，则所述场景被分类为其他；以及f.否则,通过选择所述最左峰和所述最右峰之间的局部最小值来确定前景/背景阈值，并且基于所述前景/背景阈值，像素被分类为前景或背景并且前景像素的边界框确定在所述场景中是否有感兴趣的对象。9.根据权利要求I所述的方法，所述參数设定是自动缩放调节，包括a.对场景进行分类；b.如果所述场景被分类为风景，则递进地縮小所述场景并对所述深度图重新分类 以保持风景类别，并且达到最宽的可用缩放设定；c.如果所述场景被分类为包含主要对象，则自动在所述对象上放大，直到所述场景的对象边界为止；d.执行孔径调节；e.执行快门速度调节；以及f.更新聚焦位置。10.根据权利要求I所述的方法，其中，所述设备选自包括如下装置的群组个人计算机、膝上型计算机、计算机工作台、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄像机、可视电话、iPod 、视频播放器、DVD录播器、电视、家庭娱乐系统。11. 一种系统，所述系统被编程在被配置用于在ー个或多个应用中利用深度图的 设备的控制器中，所述系统包括a.孔径设定模块，所述孔径设定模块被配置为设定所述设备的孔径大小；以及b.快门速度设定模块，所述快门速度设定模块被配置为设定所述设备的快门速度。12.根据权利要求11所述的系统，其中，所述深度图通过使用如下装置中的至少ー种生成与所述设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似深度图的单镜头相机、水平移动的单镜头相机、用于获取具有不同模糊质量的多个图像的可移动镜头和图像传感器。
13.根据权利要求11所述的系统，其中，所述设备选自包括如下装置的群组个人计算机、膝上型计算机、计算机工作台、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄像机、可视电话、iPod 、视频播放器、DVD录播器、电视、家庭娱乐系统。14.根据权利要求11所述的系统，其中，所述深度图是利用单镜头相机生成的。15. —种设备，包括a.用于存储应用的存储器,所述应用被配置用于i.生成深度图；
ii.利用所述深度图来配置所述设备上的參数设定；以及b.耦合到所述存储器的处理部件，所述处理部件被配置用于处理所述应用。16.根据权利要求15所述的设备，其中，所述深度图通过使用如下装置中的至少ー种生成与所述设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似深度图的单镜头相机、水平移动的单镜头相机、用于获取具有不同模糊质量的多个图像的可移动镜头和图像传感器。17.根据权利要求15所述的设备，其中，利用所述深度图来配置所述參数设定包括配置缩放设定、配置孔径设定以及配置快门速度设定中的至少ー种。18.根据权利要求15所述的设备，其中，所述孔径进ー步被配置用于对场景进行分类以辅助配置所述參数设定，包括
a.计算来自所述深度图的值的直方图；b.对所述直方图进行平滑以消除噪声；c.检测经平滑的直方图中的最左峰和最右峰；d.如果所述最左峰和所述最右峰对应于比风景阈值大的深度，则所述场景被分类为风景；e.否则，如果在所述最左峰和所述最右峰之间没有找到局部最小值，则所述场景被分类为其他；以及f.否则，通过选择所述最左峰和所述最右峰之间的局部最小值来确定前景/背景阈值，并且基于所述前景/背景阈值，像素被分类为前景或背景并且前景像素的边界框确定在所述场景中是否有感兴趣的对象。19.根据权利要求15所述的设备，其中，所述參数设定是自动缩放调节，包括a.对场景进行分类；b.如果所述场景被分类为风景，则递进地縮小所述场景并对所述深度图重新分类以保持风景类别，并且达到最宽的可用缩放设定；c.如果所述场景被分类为包含主要对象，则自动在所述对象上放大，直到所述场景的对象边界为止；d.执行孔径调节；e.执行快门速度调节；以及f.更新聚焦位置。20.根据权利要求15所述的设备，其中，所述设备选自包括如下装置的群组个人计算机、膝上型计算机、计算机工作台、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄像机、可视电话、iPod 、视频播放器、DVD录播器、电视、家庭娱乐系统。21.根据权利要求15所述的设备，其中，所述设备是数字静态相机。22. —种相机设备，包括a.图像获取部件；b.用于存储应用的存储器,所述应用被配置用于i.生成深度图；ii.利用所述深度图来配置用于利用所述图像获取部件获取图像的所述设备上的參数设定；以及c.耦合到所述存储器的处理部件，所述处理部件被配置用于处理所述应用。23.根据权利要求22所述的相机设备，其中，所述深度图通过如下装置中的至少ー种生成与所述设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似深度图的单镜头相机、水平移动的单镜头相机、用于获取具有不同模糊质量的多个图像的可移动镜头和图像传感器。24.根据 权利要求22所述的相机设备，其中，利用所述深度图来配置所述參数设定包括配置缩放设定、配置孔径设定以及配置快门速度设定中的至少ー种。25.根据权利要求22所述的相机设备，其中，所述应用还被配置用于对场景进行分类以辅助配置所述參数设定，包括a.计算来自所述深度图的值的直方图；b.对所述直方图进行平滑以消除噪声；c.检测经平滑的直方图中的最左峰和最右峰；d.如果所述最左峰和所述最右峰对应于比风景阈值大的深度，则所述场景被分类为风景；e.否则，如果在所述最左峰和所述最右峰之间没有找到局部最小值，则所述场景被分类为其他；以及f.否则，通过选择所述最左峰和所述最右峰之间的局部最小值来确定前景/背景阈值，并且基于所述前景/背景阈值，像素被分类为前景或背景并且前景像素的边界框确定在所述场景中是否有感兴趣的对象。26.根据权利要求22所述的设备，其中，所述參数设定是自动缩放调节，包括a.对场景进行分类；b.如果所述场景被分类为风景，则递进地縮小所述场景并对所述深度图重新分类以保持风景类别，并且达到最宽的可用缩放设定；c.如果所述场景被分类为包含主要对象，则自动在所述对象上放大，直到所述场景的对象边界为止；d.执行孔径调节；e.执行快门速度调节；以及f.更新聚焦位置。为了助于理解本发明的结构和操作的原理，已经结合细节根据具体实施例描述了本发明。这里对于具体实施例及其细节的这样的引用不意在限制所附权利要求的范围。对于本领域技术人员来说，很明显可在不脱离由权利要求定义的精神和范围的情况下对被选择用以图示的实施例作出其他各种修改。
权利要求
1.ー种在设备上实现的方法，包括 a.生成深度图；以及 b.利用所述深度图来配置所述设备上的參数设定。
2.根据权利要求I所述的方法，其中，所述深度图是利用单镜头相机生成的。
3.根据权利要求2所述的方法，其中，所述深度图通过如下步骤生成 a.在具有第一模糊质量的第一图像信号在第一位置处通过镜头之后，在图像传感器处接收所述第一图像信号； b.在具有第二模糊质量的一个或多个第二图像信号在第二位置处通过所述镜头之后， 在所述图像传感器处接收所述ー个或多个第二图像信号； c.使用所述第一模糊质量和所述第二模糊质量来计算模糊差；以及 d.从所述模糊差生成所述深度图。
4.根据权利要求I所述的方法，其中，所述深度图通过使用如下装置中的至少ー种生成与所述设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似深度图的单镜头相机、水平移动的单镜头相机、用于获取具有不同模糊质量的多个图像的可移动镜头和图像传感器。
5.根据权利要求I所述的方法，其中，配置所述參数设定包括配置缩放设定。
6.根据权利要求I所述的方法，其中，配置所述參数设定包括配置孔径设定。
7.根据权利要求I所述的方法，其中，配置所述參数设定包括配置快门速度设定。
8.根据权利要求I所述的方法，还包括对场景进行分类以辅助配置所述參数设定，所述对场景进行分类包括 a.计算来自所述深度图的值的直方图； b.对所述直方图进行平滑以消除噪声； c.检测经平滑的直方图中的最左峰和最右峰； d.如果所述最左峰和所述最右峰对应于比风景阈值大的深度，则所述场景被分类为风旦牙ヽ； e.否则，如果在所述最左峰和所述最右峰之间没有找到局部最小值，则所述场景被分类为其他；以及 f.否则，通过选择所述最左峰和所述最右峰之间的局部最小值来确定前景/背景阈值，并且基于所述前景/背景阈值，像素被分类为前景或背景并且前景像素的边界框确定在所述场景中是否有感兴趣的对象。
9.根据权利要求I所述的方法，所述參数设定是自动缩放调节，包括 a.对场景进行分类； b.如果所述场景被分类为风景，则递进地缩小所述场景并对所述深度图重新分类以保持风景类别，并且达到最宽的可用缩放设定； c.如果所述场景被分类为包含主要对象，则自动在所述对象上放大，直到所述场景的对象边界为止； d.执行孔径调节； e.执行快门速度调节；以及 f.更新聚焦位置。
10.根据权利要求I所述的方法，其中，所述设备选自包括如下装置的群组个人计算机、膝上型计算机、计算机工作台、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄像机、可视电话、iPod 、视频播放器、DVD录播器、电视、家庭娱乐系统。
11.一种系统，所述系统被编程在被配置用于在ー个或多个应用中利用深度图的设备的控制器中，所述系统包括 a.孔径设定模块，所述孔径 设定模块被配置为设定所述设备的孔径大小；以及 b.快门速度设定模块，所述快门速度设定模块被配置为设定所述设备的快门速度。
12.根据权利要求11所述的系统，其中，所述深度图通过使用如下装置中的至少ー种生成与所述设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似深度图的单镜头相机、水平移动的单镜头相机、用于获取具有不同模糊质量的多个图像的可移动镜头和图像传感器。
13.根据权利要求11所述的系统，其中，所述设备选自包括如下装置的群组个人计算机、膝上型计算机、计算机工作台、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄像机、可视电话、iPod 、视频播放器、DVD录播器、电视、家庭娱乐系统。
14.根据权利要求11所述的系统，其中，所述深度图是利用单镜头相机生成的。
15.一种设备，包括 a.用于存储应用的存储器，所述应用被配置用干 i.生成深度图； .利用所述深度图来配置所述设备上的參数设定；以及 b.耦合到所述存储器的处理部件，所述处理部件被配置用于处理所述应用。
16.根据权利要求15所述的设备，其中，所述深度图通过使用如下装置中的至少ー种生成与所述设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似深度图的单镜头相机、水平移动的单镜头相机、用于获取具有不同模糊质量的多个图像的可移动镜头和图像传感器。
17.根据权利要求15所述的设备，其中，利用所述深度图来配置所述參数设定包括配置缩放设定、配置孔径设定以及配置快门速度设定中的至少ー种。
18.根据权利要求15所述的设备，其中，所述孔径进ー步被配置用于对场景进行分类以辅助配置所述參数设定，包括 a.计算来自所述深度图的值的直方图； b.对所述直方图进行平滑以消除噪声； c.检测经平滑的直方图中的最左峰和最右峰； d.如果所述最左峰和所述最右峰对应于比风景阈值大的深度，则所述场景被分类为风 e.否则，如果在所述最左峰和所述最右峰之间没有找到局部最小值，则所述场景被分类为其他；以及 f.否则，通过选择所述最左峰和所述最右峰之间的局部最小值来确定前景/背景阈值，并且基于所述前景/背景阈值，像素被分类为前景或背景并且前景像素的边界框确定在所述场景中是否有感兴趣的对象。
19.根据权利要求15所述的设备，其中，所述參数设定是自动缩放调节，包括 a.对场景进行分类； b.如果所述场景被分类为风景，则递进地缩小所述场景并对所述深度图重新分类以保持风景类别，并且达到最宽的可用缩放设定； c.如果所述场景被分类为包含主要对象，则自动在所述对象上放大，直到所述场景的对象边界为止； d.执行孔径调节； e.执行快门速度调节；以及 f.更新聚焦位置。
20.根据权利要求15所述的设备，其中，所述设备选自包括如下装置的群组个人计算机、膝上型计算机、计算机工作台、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄像机、可视电话、iPod 、视频播放器、DVD录播器、电视、家庭娱乐系统。
21.根据权利要求15所述的设备，其中，所述设备是数字静态相机。
22.—种相机设备,包括 a.图像获取部件； b.用于存储应用的存储器，所述应用被配置用干 i.生成深度图； .利用所述深度图来配置用于利用所述图像获取部件获取图像的所述设备上的參数设定；以及 c.耦合到所述存储器的处理部件，所述处理部件被配置用于处理所述应用。
23.根据权利要求22所述的相机设备，其中，所述深度图通过如下装置中的至少ー种生成与所述设备集成的测距传感器、双镜头立体相机、具有扫描聚焦区的单镜头相机、利用近似深度图的单镜头相机、水平移动的单镜头相机、用于获取具有不同模糊质量的多个图像的可移动镜头和图像传感器。
24.根据权利要求22所述的相机设备，其中，利用所述深度图来配置所述參数设定包括配置缩放设定、配置孔径设定以及配置快门速度设定中的至少ー种。
25.根据权利要求22所述的相机设备，其中，所述应用还被配置用于对场景进行分类以辅助配置所述參数设定，包括 a.计算来自所述深度图的值的直方图； b.对所述直方图进行平滑以消除噪声； c.检测经平滑的直方图中的最左峰和最右峰； d.如果所述最左峰和所述最右峰对应于比风景阈值大的深度，则所述场景被分类为风旦牙ヽ； e.否则，如果在所述最左峰和所述最右峰之间没有找到局部最小值，则所述场景被分类为其他；以及 f.否则，通过选择所述最左峰和所述最右峰之间的局部最小值来确定前景/背景阈值，并且基于所述前景/背景阈值，像素被分类为前景或背景并且前景像素的边界框确定在所述场景中是否有感兴趣的对象。
26.根据权利要求22所述的设备，其中，所述參数设定是自动缩放调节，包括 a.对场景进行分类； b.如果所述场景被分类为风景，则递进地缩小所述场景并对所述深度图重新分类以保持风景类别，并且达到最宽的可用缩放设定； c.如果所述场景被分类为包含主要对象，则自动在所述对象上放大，直到所述场景的对象边界为止； d.执行孔径调节； e.执行快门速度调节；以及 f.更新聚焦位置。
全文摘要
本发明提供了基于场景深度图的缩放、孔径和快门速度的自动设定。深度图(DM)能被用于涉及相机、摄像机以及其他设备的许多参数设定。设定成像设备上的参数包括缩放设定、孔径设定和快门速度设定。
文档编号H04N13/02GK102724399SQ20121003613
公开日2012年10月10日 申请日期2012年2月15日 优先权日2011年3月25日
发明者亚历山大·布莱斯托弗, 咖兹·阿力, 弗洛瑞娜·瑟瑞亚, 李俊杰 申请人:索尼公司