摄像机参数的上下文驱动调整的制作方法
【专利摘要】描述用于基于成像场景中的元素来调整摄像机的参数的系统和方法。可以基于感兴趣的对象是否出现在摄像机视野中来调整摄像机捕获图像的帧率而改进摄像机的功耗。可以基于对象与摄像机的距离来设置曝光时间而改进获取的摄像机数据的质量。
【专利说明】摄像机参数的上下文驱动调整
[0001] 相关申请的交叉参考 本申请主张享有在2012年7月31日提交的的美国专利申请13/563, 516的优先权，其 全部内容通过参照并入于此。
【背景技术】
[0002] 深度摄像机（cbpth camera)以交互式、高的帧率获取它们的环境的深度图像。深 度图像提供摄像机的视野内的对象与摄像机自身之间的距离的逐像素测量。深度摄像机 用来解决计算机视觉的一般领域中的许多问题。特别地，摄像机应用于HMI (人机接口）问 题，例如追踪人的运动及其手和手指的运动。此外，深度摄像机被部署为监视产业的部件， 例如，追踪人并且监测对禁止区域的访问。
[0003] 实际上，近年来，在用于与电子装置的用户交互的姿势（gesture )控制的应用中已 经作出重要改进。例如，由深度摄像机捕获的姿势可用来控制电视(用于家庭自动化)，或允 许与平板计算机、个人计算机和移动电话的用户接口。随着在这些摄像机中使用的核心技 术继续改进并且它们的成本下降，姿势控制将继续在协助与电子装置的人机交互中起到主 要作用。
【专利附图】
【附图说明】
[0004] 在图中图示用于基于场景内容来调整深度摄像机的参数的系统的示例。示例和图 是说明性的而不是限制性的。
[0005] 图1是图示根据一些实施例的通过手/手指的追踪的远程装置的控制的示意图。
[0006] 图2A和图2B示出根据一些实施例的可追踪的手势的示例的图形图示。
[0007] 图3是图示根据一些实施例的用来调整摄像机的参数的系统的示例部件的示意 图。
[0008] 图4是图示根据一些实施例的用来调整摄像机参数的系统的示例部件的示意图。
[0009] 图5是图示根据一些实施例的用于深度摄像机对象追踪的示例过程的流程图。
[0010] 图6是图示根据一些实施例的用于调整摄像机的参数的示例过程的流程图。
【具体实施方式】
[0011] 如同许多技术，可以通过调整摄像机的某些参数来最优化深度摄像机的性能。然 而，基于这些参数的最佳性能变化，并且取决于成像的场景中的元素。例如，由于深度摄像 机对HMI应用的适用性，自然将它们用作移动平台（例如，膝上型设备、平板计算机、和智能 电话)的姿势控制接口。由于移动平台的有限电力供应，系统功耗是关注重点。在这些情况 下，在由深度摄像机获取的深度数据的质量与摄像机的功耗之间有直接折衷。获取基于深 度摄像机的数据来追踪的对象的精确性与由这些装置消耗的功率之间的最佳平衡要求摄 像机的参数的仔细调整。
[0012] 本公开描述用于基于成像场景的内容设置摄像机的参数来改进数据的整体质量 和系统的性能的技术。在以上引入的示例中的功耗的情况下，如果在摄像机的视野中没有 对象，则可以大幅减小摄像机的帧率，这又减小摄像机的功耗。当感兴趣的对象出现在摄像 机的视野中时，可以恢复全摄像机帧率(要求准确并且稳健地追踪对象)。以此方式，基于场 景内容来调整摄像机的参数以改进整体系统性能。
[0013] 本公开特别地有关于其中摄像机用作主要输入捕获装置的实例。这些情况下的 目标是解释摄像机看到的场景，即，检测并且标识(如果有可能）对象、追踪这样的对象、可 能将模型应用于对象以便更准确地理解它们的位置和清晰度、并且解释这样的对象的运动 (当有关时)。在本公开的核心，解释场景并且使用算法来检测并且追踪感兴趣的对象的追 踪模块可以集成到系统并且用来调整摄像机的参数。
[0014] 现在将描述本发明的各种方面和示例。下文的描述提供具体细节用于透彻理解并 且允许这些示例的描述。然而，本领域的技术人员将理解可实践本发明而没有许多这些细 节。此外，可不详细示出或描述一些熟知的结构或功能，以便避免不必要地模糊有关的描 述。
[0015] 在以下呈现的描述中使用的术语旨在以其最广泛和合理的方式来解释，即使它是 结合技术的某些具体示例的详细描述来使用。以下甚至可强调某些术语；然而，旨在以任何 限制方式来解释的任何术语将在【具体实施方式】部分中公开地并且具体地定义。
[0016] 深度摄像机是捕获深度图像的摄像机。通常，深度摄像机以每秒多个帧(帧率）来 捕获一系列深度图像。每个深度图像可包含每个像素的深度数据，即，获取的深度图像中的 每个像素具有表示成像场景中的对象的关联部分与摄像机之间的距离的值。深度摄像机有 时被称作三维摄像机。
[0017] 深度摄像机可包含深度图像传感器、光透镜和照明源，以及其它部件。深度图像 传感器可依靠若干不同的传感器技术中的一个。在这些传感器技术之中有飞行时间（TOF) (包含扫描TOF或阵列T0F)、结构光、激光散斑图案技术、立体摄像机、有源立体传感器和阴 影恢复形状技术。这些技术中的大多数依靠提供它们自己的照明源的有源传感器系统。与 此不同，被动传感器系统(例如，立体摄像机）不提供它们自己的照明源，但反而取决于周围 环境光照。除了深度数据以外，深度摄像机还可生成彩色数据(类似于传统的彩色摄像机)， 并且可以结合深度数据来处理彩色数据。
[0018] 飞行时间传感器利用飞行时间原理以便计算深度图像。根据飞行时间原理，入射 光信号S与参考信号g (它是从对象反射的入射光信号）的相关性定义为：
【权利要求】
1. 一种方法，包括： 使用深度摄像机来获取一个或多个深度图像； 分析所述一个或多个深度图像的内容； 基于所述分析来自动地调整所述深度摄像机的一个或多个参数。
2. 如权利要求1所述的方法，其中所述一个或多个参数包含帧率。
3. 如权利要求2所述的方法，其中基于所述深度摄像机的可用的功率资源来另外调 整所述帧率。
4. 如权利要求1所述的方法，其中所述一个或多个参数包含积分时间，并且所述分析 包含感兴趣的对象与所述深度摄像机的距离。
5. 如权利要求4所述的方法，其中另外调整所述积分时间来将所述一个或多个深度 图像中的幅度像素值的函数维持在范围内。
6. 如权利要求1所述的方法，其中所述一个或多个参数包含所述深度摄像机的范围。
7. 如权利要求1所述的方法，还包括调整红、绿、蓝（RGB)摄像机的焦点和景深，其中 所述RGB摄像机调整是基于所述深度摄像机的所述一个或多个参数中的至少一些。
8. 如权利要求1所述的方法，还包括用户输入标识在所述分析中使用的对象用于调 整所述深度摄像机的所述一个或多个参数。
9. 如权利要求8所述的方法，其中所述一个或多个参数包含帧率，其中当所述对象离 开所述摄像机的视野时，所述帧率减少。
10. 如权利要求1所述的方法，其中所述深度摄像机使用具有照明源的有源传感器， 并且所述一个或多个参数包含所述照明源的功率电平，并且另外其中调整所述功率电平来 将所述一个或多个图像中的幅度像素值的函数维持在范围内。
11. 如权利要求1所述的方法，其中分析所述内容包括在所述一个或多个图像中检测 对象并且追踪所述对象。
12. 如权利要求11所述的方法，还包括基于所述对象的所述检测和追踪来在显示器 上渲染显示图像。
13. 如权利要求11所述的方法，还包括在所述一个或多个追踪的对象上执行姿势识 另IJ，其中所述渲染所述显示图像另外基于所述一个或多个追踪的对象的识别的姿势。
14. 一种系统，包括： 深度摄像机，配置为获取多个深度图像； 追踪模块，配置为在所述多个深度图像中检测并且追踪对象； 参数调整模块，配置为基于所述对象的所述检测和追踪来计算一个或多个深度摄像机 参数的调整并且将所述调整发送到所述深度摄像机。
15. 如权利要求14所述的系统，还包括显示器和应用软件模块，配置为基于所述对象 的所述检测和追踪来在所述显示器上渲染显示图像。
16. 如权利要求15所述的系统，还包括姿势识别模块，配置为确定姿势是否是由所述 对象执行，其中所述应用软件模块配置为另外基于所述姿势识别模块的所述确定来渲染所 述显示图像。
17. 如权利要求14所述的系统，其中所述一个或多个深度摄像机参数包含帧率。
18. 如权利要求17所述的系统，其中基于所述深度摄像机的可用的功率资源来另外 调整所述帧率。
19. 如权利要求14所述的系统，其中所述一个或多个深度摄像机参数包含基于所述 对象与所述深度摄像机的距离来调整的积分时间。
20. 如权利要求19所述的系统，其中另外调整所述积分时间来将所述一个或多个深 度图像中的幅度像素值的函数维持在范围内。
21. 如权利要求14所述的系统，其中所述一个或多个深度摄像机参数包含所述深度 摄像机的范围。
22. 如权利要求14所述的系统，其中所述深度摄像机使用具有照明源的有源传感器， 并且所述一个或多个参数包含所述照明源的功率电平，并且另外其中调整所述功率电平来 将所述一个或多个图像中的幅度像素值的函数维持在范围内。
23. -种系统，包括： 用于使用深度摄像机来获取一个或多个深度图像的装置； 用于在所述一个或多个深度图像中检测对象并且追踪所述对象的装置； 用于基于所述检测和追踪来调整所述深度摄像机的一个或多个参数的装置， 其中所述一个或多个参数包含所述深度摄像机的帧率、积分时间和范围。
【文档编号】H04N13/02GK104380729SQ201380033408
【公开日】2015年2月25日 申请日期:2013年7月31日 优先权日:2012年7月31日
【发明者】G.库特利洛夫, S.弗莱什曼 申请人:英特尔公司