使用多点深度感测系统信息来处理图像数据的制作方法

本技术涉及图像处理。在一些示例中，本技术的各方面涉及使用来自多点深度感测系统的信息来处理图像数据。

背景技术：

1、照相机可以被配置具有各种图像捕获和图像处理设置，以改变图像的外观。一些图像处理操作是在捕获照片之前或在捕获照片期间确定以及应用的，诸如自动聚焦、自动曝光和自动白平衡操作，以及其它。这些操作被配置为校正和/或改变图像的一个或多个区域(例如，以确保区域的内容不模糊、过度曝光或失焦)。操作可以由图像处理系统自动地执行或者响应于用户输入来执行。

技术实现思路

1、本文描述了用于使用来自多点深度感测系统的信息来处理图像数据(例如，使用自动聚焦、自动曝光、自动白平衡、自动缩放和/或其它操作)的系统和技术。根据至少一个示例，提供了一种处理图像数据的方法。该方法可以包括：确定与在使用至少一个照相机获得的图像中描绘的第一对象相对应的第一感兴趣区域，所述第一感兴趣区域是与跟多点深度感测系统相关联的多点网格的至少一个元素相关联的；确定针对所述第一对象的第一扩展感兴趣区域，所述第一扩展感兴趣区域是与包括所述多点网格的所述至少一个元素和一个或多个额外的元素的多个元素相关联的；以及基于与所述第一扩展感兴趣区域相关联的所述多个元素，来确定表示在所述至少一个照相机与在所述图像中描绘的所述第一对象之间的第一距离的代表性深度信息。

2、在另一示例中，提供了一种用于处理视频数据的装置。该装置可以包括至少一个存储器以及耦合到所述至少一个存储器的(例如，在电路中实现的)一个或多个处理器。所述一个或多个处理器被配置为：确定与在使用至少一个照相机获得的图像中描绘的第一对象相对应的第一感兴趣区域，所述第一感兴趣区域是与跟多点深度感测系统相关联的多点网格的至少一个元素相关联的；确定针对所述第一对象的第一扩展感兴趣区域，所述第一扩展感兴趣区域是与包括所述多点网格的所述至少一个元素和一个或多个额外的元素的多个元素相关联的；以及基于与所述第一扩展感兴趣区域相关联的所述多个元素，来确定表示在所述至少一个照相机与在所述图像中描绘的所述第一对象之间的第一距离的代表性深度信息。

3、在另一示例中，提供了一种非暂时性计算机可读介质，其具有存储在其上的指令，所述指令在由一个或多个处理器执行时使所述一个或多个处理器进行以下操作：确定与在使用至少一个照相机获得的图像中描绘的第一对象相对应的第一感兴趣区域，所述第一感兴趣区域是与跟多点深度感测系统相关联的多点网格的至少一个元素相关联的；确定针对所述第一对象的第一扩展感兴趣区域，所述第一扩展感兴趣区域是与包括所述多点网格的所述至少一个元素和一个或多个额外的元素的多个元素相关联的；以及基于与所述第一扩展感兴趣区域相关联的所述多个元素，来确定表示在所述至少一个照相机与在所述图像中描绘的所述第一对象之间的第一距离的代表性深度信息。

4、在另一示例中，提供了一种用于处理视频数据的装置。该装置包括：用于确定与在使用至少一个照相机获得的图像中描绘的第一对象相对应的第一感兴趣区域的单元，所述第一感兴趣区域是与跟多点深度感测系统相关联的多点网格的至少一个元素相关联的；用于确定针对所述第一对象的第一扩展感兴趣区域的单元，所述第一扩展感兴趣区域是与包括所述多点网格的所述至少一个元素和一个或多个额外的元素的多个元素相关联的；以及用于基于与所述第一扩展感兴趣区域相关联的所述多个元素，来确定表示在所述至少一个照相机与在所述图像中描绘的所述第一对象之间的第一距离的代表性深度信息的单元。

5、在一些方面中，上文描述的方法、装置和计算机可读介质可以包括：基于表示所述第一距离的代表性深度信息来处理所述图像，其中，处理所述图像包括：对所述图像的至少所述第一感兴趣区域执行自动曝光、自动聚焦、自动白平衡和自动缩放中的至少一者。

6、在一些方面中，为了确定针对所述第一对象的所述第一扩展感兴趣区域，上文描述的方法、装置和计算机可读介质可以包括：确定所述第一感兴趣区域的大小和所述第一感兴趣区域相对于在所述图像中的参考点的位置中的至少一者；以及基于所述第一感兴趣区域的所述大小和所述位置中的至少一者，来确定针对所述第一对象的所述第一扩展感兴趣区域。

7、在一些方面中，为了确定针对所述第一对象的所述第一扩展感兴趣区域，上文描述的方法、装置和计算机可读介质可以包括：基于所述第一感兴趣区域的所述大小来确定针对所述第一对象的所述第一扩展感兴趣区域。

8、在一些方面中，为了确定针对所述第一对象的所述第一扩展感兴趣区域，上文描述的方法、装置和计算机可读介质可以包括：基于所述第一感兴趣区域的所述位置来确定针对所述第一对象的所述第一扩展感兴趣区域。

9、在一些方面中，为了确定针对所述第一对象的所述第一扩展感兴趣区域，上文描述的方法、装置和计算机可读介质可以包括：基于所述第一感兴趣区域的所述大小和所述位置，来确定针对所述第一对象的所述第一扩展感兴趣区域。

10、在一些方面，为了确定针对所述第一对象的所述第一扩展感兴趣区域，上文描述的方法、装置和计算机可读介质可以包括：确定与所述多点网格的一个或多个额外的元素中的第一元素相关联的第一深度，所述第一元素邻接与所述第一感兴趣区域相关联的所述至少一个元素；确定在所述第一深度和与所述第一感兴趣区域相关联的所述至少一个元素的深度之间的差小于门限差；以及基于确定在所述第一深度与跟所述第一感兴趣区域相关联的所述至少一个元素的所述深度之间的所述差小于所述门限差，来将所述第一元素与所述第一扩展感兴趣区域进行关联。

11、在一些方面中，上文描述的方法、装置和计算机可读介质可以进一步基于所述第一深度的置信度大于置信度门限，来将所述第一元素与所述第一扩展感兴趣区域进行关联。

12、在一些方面，上文描述的方法、装置和计算机可读介质可以包括：确定与所述多点网格的所述一个或多个额外的元素中的第二元素相关联的第二深度，所述第二元素邻接所述一个或多个额外的元素中的所述第一元素；确定在所述第二深度与所述第一深度之间的差小于所述门限差；以及基于确定在所述第二深度与所述第一深度之间的所述差小于所述门限差，来将所述第二元素与所述第一扩展感兴趣区域进行关联。

13、在一些方面，上文描述的方法、装置和计算机可读介质可以包括：确定与所述多点网格的所述一个或多个额外的元素中的第二元素相关联的第二深度，所述第二元素邻接所述一个或多个额外的元素中的所述第一元素；确定在所述第二深度与所述第一深度之间的所述差大于所述门限差；以及基于确定在所述第二深度与所述第一深度之间的所述差大于所述门限差，来从所述第一扩展感兴趣区域中排除所述第二元素。

14、在一些方面中，为了确定表示所述第一距离的所述代表性深度信息，上文描述的方法、装置和计算机可读介质可以包括：基于与所述第一扩展感兴趣区域相关联的所述多个元素的深度值，来确定针对所述第一扩展感兴趣区域的代表性深度值。

15、在一些方面中，代表性深度值包括与第一扩展感兴趣区域相关联的多个元素的深度值的平均值。

16、在一些方面中，上文描述的方法、装置和计算机可读介质可以包括：基于所述第一感兴趣区域是针对所述图像确定的唯一感兴趣区域，基于表示所述第一距离的所述代表性深度信息来处理所述图像。

17、在一些方面中，为了基于表示所述第一距离的所述代表性深度信息来处理所述图像，上文描述的方法、装置和计算机可读介质可以包括对所述图像的至少所述第一感兴趣区域执行自动曝光、自动聚焦、自动白平衡和自动缩放中的至少一者。

18、在一些方面中，上文描述的方法、装置和计算机可读介质可以包括：确定与在所述图像中描绘的第二对象相对应的第二感兴趣区域，所述第二感兴趣区域是与跟所述多点深度感测系统相关联的所述多点网格的至少一个额外的元素相关联的；确定针对所述第二对象的第二扩展感兴趣区域，所述第二扩展感兴趣区域是与包括所述多点网格的所述至少一个额外的元素和第二一个或多个额外的元素的多个元素相关联的；以及基于与所述第二扩展感兴趣区域相关联的所述多个元素，来确定表示在所述至少一个照相机与在图像中描绘的所述第二对象之间的第二距离的代表性深度信息。

19、在一些方面中，上文描述的方法、装置和计算机可读介质可以包括：基于表示所述第一距离的代表性深度信息和表示所述第二距离的代表性深度信息来确定组合深度信息。

20、在一些方面中，为了确定所述组合深度信息，上文描述的方法、装置和计算机可读介质可以包括：确定表示所述第一距离的代表性深度信息和表示所述第二距离的代表性深度信息的加权平均值。

21、在一些方面中，上文描述的方法、装置和计算机可读介质可以包括：基于所述组合深度信息来处理所述图像。

22、在一些方面中，为了基于所述组合深度信息来处理所述图像，上文描述的方法、装置和计算机可读介质可以包括对所述图像的至少所述第一感兴趣区域执行自动曝光、自动聚焦、自动白平衡和自动缩放中的至少一者。

23、在一些方面中，多点深度感测系统包括发射机和接收机，发射机包括多个光源，接收机被配置为接收由多个光源发射的光的反射。在一些情况下，代表性深度信息是基于接收到的光的反射来确定的。

24、根据至少一个额外的示例，提供了一种处理图像数据的方法。该方法可以包括：确定与在使用至少一个照相机获得的图像中描绘的至少一个对象相对应的感兴趣区域，所述感兴趣区域是与跟多点深度感测系统相关联的多点网格的多个元素相关联的；基于与所述多个元素相关联的深度信息，来确定所述感兴趣区域是否包括多深度信息；以及基于所述感兴趣区域是否包括多深度信息，来确定表示在所述至少一个照相机与在图像中描绘的所述至少一个对象之间的距离的代表性深度信息。

25、在另一示例中，提供了一种用于处理视频数据的装置。该装置可以包括至少一个存储器以及耦合到所述至少一个存储器的(例如，在电路中实现的)一个或多个处理器。所述一个或多个处理器被配置为：确定与在使用至少一个照相机获得的图像中描绘的至少一个对象相对应的感兴趣区域，所述感兴趣区域是与跟多点深度感测系统相关联的多点网格的多个元素相关联的；基于与所述多个元素相关联的深度信息，来确定所述感兴趣区域是否包括多深度信息；以及基于所述感兴趣区域是否包括多深度信息，来确定表示在所述至少一个照相机与在图像中描绘的所述至少一个对象之间的距离的代表性深度信息。

26、在另一示例中，提供了一种非暂时性计算机可读介质，其具有存储在其上的指令，所述指令在由一个或多个处理器执行时使所述一个或多个处理器进行以下操作：确定与在使用至少一个照相机获得的图像中描绘的至少一个对象相对应的感兴趣区域，所述感兴趣区域是与跟多点深度感测系统相关联的多点网格的多个元素相关联的；基于与所述多个元素相关联的深度信息，来确定所述感兴趣区域是否包括多深度信息；以及基于所述感兴趣区域是否包括多深度信息，来确定表示在所述至少一个照相机与在图像中描绘的所述至少一个对象之间的距离的代表性深度信息。

27、在另一示例中，提供了一种用于处理视频数据的装置。该装置包括：用于确定与在使用至少一个照相机获得的图像中描绘的至少一个对象相对应的感兴趣区域的单元，所述感兴趣区域是与跟多点深度感测系统相关联的多点网格的多个元素相关联的；用于基于与所述多个元素相关联的深度信息，来确定所述感兴趣区域是否包括多深度信息的单元；以及用于基于所述感兴趣区域是否包括多深度信息，来确定表示在所述至少一个照相机与在图像中描绘的所述至少一个对象之间的距离的代表性深度信息的单元。

28、在一些方面中，上文描述的方法、装置和计算机可读媒体可以包括：根据与所述多个元素相关联的代表性深度信息对所述多个元素进行排序，其中，所述多个元素是从最小深度到最大深度来排序的。

29、在一些方面中，为了确定所述感兴趣区域是否包括所述多深度信息，上文描述的方法、装置和计算机可读介质可以包括：确定在所述多个元素的最小深度值与所述多个元素的最大深度值之间的差大于多深度门限；以及基于确定在所述最小深度值与所述最大深度值之间的所述差大于所述多深度门限，来确定感兴趣区域包括多深度信息。

30、在一些方面中，为了确定所述代表性深度信息，上文描述的方法、装置和计算机可读介质可以包括：选择第二最小深度值或第三最小深度值作为所述代表性深度信息。

31、在一些方面中，为了确定所述感兴趣区域是否包括所述多深度信息，上文描述的方法、装置和计算机可读介质可以包括：确定在所述多个元素的最小深度值与所述多个元素的最大深度值之间的差小于多深度门限；以及基于确定在所述最小深度值与所述最大深度值之间的所述差小于所述多深度门限，来确定感兴趣区域不包括多深度信息。

32、在一些方面中，为了确定所述代表性深度信息，上文描述的方法、装置和计算机可读介质可以包括：从所述多点网格的所述多个元素来确定与大多数元素相关联的深度值；以及选择所述深度值作为所述代表性深度信息。

33、在一些方面中，上文描述的方法、装置和计算机可读介质可以包括：基于表示所述距离的所述代表性深度信息来处理所述图像，其中，处理所述图像包括对所述图像的至少所述感兴趣区域执行自动曝光、自动聚焦、自动白平衡和自动缩放中的至少一者。

34、在一些方面中，多点深度感测系统包括发射机和接收机，发射机包括多个光源，接收机被配置为接收由多个光源发射的光的反射。在一些情况下，代表性深度信息是基于接收到的光的反射来确定的。

35、在一些方面中，上文描述的装置中的一个或多个装置是以下各者或以下各者的一部分：移动设备(例如，移动电话或所谓的“智能电话”或其它移动设备)、可穿戴设备、扩展现实设备(例如，虚拟现实(vr)设备、增强现实(ar)设备或混合现实(mr)设备)、个人计算机、膝上型计算机、服务器计算机、车辆(例如，车辆的计算设备)或其它设备。在一些方面中，一种装置包括用于捕获一个或多个图像的一个照相机或多个照相机。在一些方面中，所述装置还包括用于显示一个或多个图像、通知和/或其它可显示数据的显示器。在一些方面中，该装置可以包括一个或多个传感器，一个或多个传感器可以用于确定该装置的位置和/或姿态、该装置的状态和/或用于其它目的。

36、该
技术实现要素：
既不旨在标识所要求保护的主题的关键或必要特征，也不旨在单独用于确定所要求保护的主题的范围。应当通过参考本专利的整个说明书的适当部分、任何或全部附图以及每个权利要求来理解该主题。

37、参考以下说明书、权利要求和附图，前述内容连同其它特征和实施例将变得更加显而易见。