用于修改图像的照度的方法和装置与流程

文档序号:17281924发布日期:2019-04-03 01:11阅读:来源:国知局

技术特征:

1.一种用于修改图像的照度的方法,所述方法包括:

将所述图像划分为多个超像素单元区域;

针对所述多个超像素单元区域确定表面方位,其中表面方位基于与所述图像相关联的深度信息而针对所述多个超像素单元区域中的超像素单元区域被确定,其中所述深度信息是通过针对所述图像至少生成深度图和视差图之一的粗略估计而被生成的;

接收用于修改与所述图像相关联的照度的至少一个虚拟光源指示;以及

通过基于所述至少一个虚拟光源指示以及针对所述多个超像素单元区域所确定的表面方位中的对应于一个或多个超像素单元区域的表面方位修改与所述多个超像素单元区域中的所述一个或多个超像素单元区域相关联的亮度来修改与所述图像相关联的所述照度。

2.根据权利要求1所述的方法,其中通过以下步骤来确定针对所述超像素单元区域的所述表面方位:

基于与所述图像相关联的所述深度信息为对应于所述超像素单元区域的像素指定法向量,以及

对向所述像素指定的所述法向量求平均以生成平均法向量,其中所述平均法向量被确定为针对所述超像素单元区域的所述表面方位。

3.根据权利要求2所述的方法,进一步包括采用一个或多个滤镜来抵消在针对所述超像素单元区域确定所述表面方位期间生成的伪像。

4.根据权利要求1所述的方法,其中接收所述至少一个虚拟光源指示包括接收至少一个矢量,其中所述至少一个矢量中的矢量指示虚拟光源方向。

5.根据权利要求1所述的方法,其中接收所述至少一个虚拟光源指示包括接收至少一个虚拟光源位置,其中所述至少一个虚拟光源位置中的虚拟光源位置包括对应于虚拟光源的二维位置信息和三维位置信息之一。

6.根据权利要求5所述的方法,进一步包括:

根据所述至少一个虚拟光源位置计算至少一个矢量,其中所述至少一个矢量中的矢量指示虚拟光源方向。

7.根据权利要求4或6所述的方法,其中修改与所述一个或多个超像素单元区域相关联的亮度包括执行以下步骤之一:

在对应的表面方位面向由所述矢量表示的所述虚拟光源方向的情况下,提高所述一个或多个超像素单元区域中的超像素单元区域内包括的像素的亮度;以及

在对应的表面方位面向不同于由所述矢量表示的所述虚拟光源方向的方向的情况下,降低所述一个或多个超像素单元区域中的超像素单元区域内包括的像素的亮度。

8.根据权利要求7所述的方法,其中所述一个或多个超像素单元区域内包括的像素中的像素的个体亮度与当前像素亮度成比例地被修改。

9.根据权利要求8所述的方法,其中对所述像素的所述个体亮度的修改进一步基于所述像素的原始颜色、与所述像素相关联的深度信息、以及与对应于所述至少一个虚拟光源指示的一个或多个虚拟光源相关联的至少一个预定因素被执行,所述至少一个预定因素包括与所述一个或多个虚拟光源中的每个虚拟光源相关联的颜色以及与所述每个虚拟光源相关联的功率因数。

10.根据权利要求9所述的方法,进一步包括基于与所述一个或多个虚拟光源中的所述每个虚拟光源相关联的所述颜色来修改与所述多个超像素单元区域中的一个或多个超像素单元区域相关联的颜色。

11.根据权利要求1所述的方法,其中所述一个或多个超像素单元区域对应于基于与所述图像相关联的所述深度信息所识别的图像前景区和图像背景区之一。

12.根据权利要求9所述的方法,其中修改与所述图像相关联的所述照度包括沿由所述矢量表示的所述虚拟光源方向执行与所述一个或多个超像素单元区域相关联的所述亮度的逐渐衰减和突然衰减之一。

13.根据权利要求1所述的方法,其中修改与所述一个或多个超像素单元区域相关联的所述亮度包括执行从所述一个或多个超像素单元区域中的个体超像素单元区域去除亮度和增加亮度之一。

14.根据权利要求1所述的方法,进一步包括:

识别所述图像中的多个非重叠分区,所述多个非重叠分区中的每个非重叠分区与基本上相同的颜色相关联并且包括所述多个超像素单元区域中的至少一个超像素单元区域,其中所述多个非重叠分区与比包括所述多个超像素单元区域中的其余超像素单元区域的分区更高的亮度水平相关联;

针对所述多个非重叠分区计算分区表面方位,其中所述分区表面方位中的分区表面方位对应于针对所述多个非重叠分区中的非重叠分区所计算的表面方位;以及

通过计算所述分区表面方位的加权平均来确定对应于照亮所述图像的主光源的光源方向,其中对应于所述分区表面方位的所述加权平均的方向被确定为所述光源方向。

15.根据权利要求14所述的方法,其中通过将与所述多个非重叠分区中的对应的非重叠分区内所包括的所述至少一个超像素单元区域相对应的表面方位求平均来计算出所述分区表面方位中的分区表面方位。

16.根据权利要求15所述的方法,进一步包括:

针对所述多个非重叠分区计算深度估计和亮度估计,其中所述深度估计中的深度估计和所述亮度估计中的亮度估计针对所述每个非重叠分区被计算;以及

向所述分区表面方位指定权重,其中基于针对所述多个非重叠分区中的相对应的非重叠分区所计算的所述深度估计中的深度估计和所述亮度估计中的亮度估计而向所述分区表面方位中的分区表面方位指定权重,其中基于所指定的权重计算所述分区表面方位的所述加权平均。

17.根据权利要求16所述的方法,其中针对所述每个非重叠分区的所述深度估计对应于所述每个非重叠分区内所包括的所述至少一个超像素单元区域的平均深度,并且其中针对所述每个非重叠分区的所述亮度估计对应于与所述每个非重叠分区内所包括的所述至少一个超像素单元区域中最明亮的超像素单元区域相关联的亮度。

18.根据权利要求1所述的方法,其中所述图像是立体图像对中的一个图像。

19.根据权利要求1所述的方法,进一步包括在修改与所述图像相关联的所述照度之后显示所述图像。

20.一种用于修改图像的照度的装置,所述装置包括:

用于将所述图像划分为多个超像素单元区域的部件;

用于针对所述多个超像素单元区域确定表面方位的部件,其中表面方位基于与所述图像相关联的深度信息而针对所述多个超像素单元区域中的超像素单元区域被确定,其中所述深度信息是通过针对所述图像至少生成深度图和视差图之一的粗略估计而被生成的;

用于接收用于修改与所述图像相关联的照度的至少一个虚拟光源指示的部件;以及

用于通过基于所述至少一个虚拟光源指示以及针对所述多个超像素单元区域所确定的表面方位中的对应于一个或多个超像素单元区域的表面方位修改与所述多个超像素单元区域中的所述一个或多个超像素单元区域相关联的亮度来修改与所述图像相关联的所述照度的部件。

21.根据权利要求20所述的装置,其中为了确定针对所述超像素单元区域的所述表面方位,所述装置进一步包括:

用于基于与所述图像相关联的所述深度信息为对应于所述超像素单元区域的像素指定法向量的部件,以及

用于对向所述像素指定的所述法向量求平均以生成平均法向量的部件,其中所述平均法向量被确定为针对所述超像素单元区域的所述表面方位。

22.根据权利要求21所述的装置,其中所述装置进一步包括:

用于采用一个或多个滤镜来抵消在针对所述超像素单元区域确定所述表面方位期间生成的伪像的部件。

23.根据权利要求20所述的装置,其中接收所述至少一个虚拟光源指示包括接收至少一个矢量,其中所述至少一个矢量中的矢量指示虚拟光源方向。

24.根据权利要求20所述的装置,其中接收所述至少一个虚拟光源指示包括接收至少一个虚拟光源位置,其中所述至少一个虚拟光源位置中的虚拟光源位置包括对应于虚拟光源的二维位置信息和三维位置信息之一。

25.根据权利要求24所述的装置,其中所述装置进一步包括:

用于根据所述至少一个虚拟光源位置计算至少一个矢量的部件,其中所述至少一个矢量中的矢量指示虚拟光源方向。

26.根据权利要求23或25所述的装置,其中为了修改与所述一个或多个超像素单元区域相关联的亮度,所述装置进一步包括:

用于在对应的表面方位面向由所述矢量表示的所述虚拟光源方向的情况下提高所述一个或多个超像素单元区域中的超像素单元区域内包括的像素的亮度的部件;以及

用于在对应的表面方位面向不同于由所述矢量表示的所述虚拟光源方向的方向的情况下降低所述一个或多个超像素单元区域中的超像素单元区域内包括的像素的亮度的部件。

27.根据权利要求26所述的装置,其中所述一个或多个超像素单元区域内包括的像素中的像素的个体亮度与当前像素亮度成比例地被修改。

28.根据权利要求27所述的装置,其中对所述像素的所述个体亮度的修改进一步基于所述像素的原始颜色、与所述像素相关联的深度信息、以及与对应于所述至少一个虚拟光源指示的一个或多个虚拟光源相关联的至少一个预定因素被执行,所述至少一个预定因素包括与所述一个或多个虚拟光源中的每个虚拟光源相关联的颜色以及与所述每个虚拟光源相关联的功率因数。

29.根据权利要求28所述的装置,其中所述装置进一步包括:

用于基于与所述一个或多个虚拟光源中的所述每个虚拟光源相关联的所述颜色来修改与所述多个超像素单元区域中的一个或多个超像素单元区域相关联的颜色的部件。

30.根据权利要求20所述的装置,其中所述一个或多个超像素单元区域对应于基于与所述图像相关联的所述深度信息所识别的图像前景区和图像背景区之一。

31.根据权利要求28所述的装置,其中所述装置进一步包括:

用于沿由所述矢量表示的所述虚拟光源方向执行与所述一个或多个超像素单元区域相关联的所述亮度的逐渐衰减和突然衰减之一以便修改与所述图像相关联的所述照度的部件。

32.根据权利要求20所述的装置,其中修改与所述一个或多个超像素单元区域相关联的所述亮度包括执行从所述一个或多个超像素单元区域中的个体超像素单元区域去除亮度和增加亮度之一。

33.根据权利要求20所述的装置,其中所述装置进一步包括:

用于识别所述图像中的多个非重叠分区的部件,所述多个非重叠分区中的每个非重叠分区与基本上相同的颜色相关联并且包括所述多个超像素单元区域中的至少一个超像素单元区域,其中所述多个非重叠分区与比包括所述多个超像素单元区域中的其余超像素单元区域的分区更高的亮度水平相关联;

用于针对所述多个非重叠分区计算分区表面方位的部件,其中所述分区表面方位中的分区表面方位对应于针对所述多个非重叠分区中的非重叠分区所计算的表面方位;以及

用于通过计算所述分区表面方位的加权平均来确定对应于照亮所述图像的主光源的光源方向的部件,其中对应于所述分区表面方位的所述加权平均的方向被确定为所述光源方向。

34.根据权利要求33所述的装置,其中通过将与所述多个非重叠分区中的对应的非重叠分区内所包括的所述至少一个超像素单元区域相对应的表面方位求平均来计算出所述分区表面方位中的分区表面方位。

35.根据权利要求34所述的装置,其中所述装置进一步包括:

用于针对所述多个非重叠分区计算深度估计和亮度估计的部件,其中所述深度估计中的深度估计和所述亮度估计中的亮度估计针对所述每个非重叠分区被计算;以及

用于向所述分区表面方位指定权重的部件,其中基于针对所述多个非重叠分区中的相对应的非重叠分区所计算的所述深度估计中的深度估计和所述亮度估计中的亮度估计而向所述分区表面方位中的分区表面方位指定权重,其中基于所指定的权重计算所述分区表面方位的所述加权平均。

36.根据权利要求35所述的装置,其中针对所述每个非重叠分区的所述深度估计对应于所述每个非重叠分区内所包括的所述至少一个超像素单元区域的平均深度,并且其中针对所述每个非重叠分区的所述亮度估计对应于与所述每个非重叠分区内所包括的所述至少一个超像素单元区域中最明亮的超像素单元区域相关联的亮度。

37.根据权利要求20所述的装置,其中所述图像是立体图像对中的一个图像。

38.根据权利要求20所述的装置,其中所述装置进一步包括:

用于在修改与所述图像相关联的所述照度之后显示所述图像的部件。

39.根据权利要求20所述的装置,其中所述装置进一步包括电子设备,所述电子设备包括:

用于促成用户通过使用显示器控制所述电子设备的至少一个功能并且进一步对用户输入作出响应的部件;以及

用于显示所述电子设备的用户接口的至少一部分并且促使所述用户对所述电子设备的至少一个功能进行控制的部件。

40.根据权利要求39所述的装置,其中所述电子设备包括立体相机。

41.根据权利要求39或40所述的装置,其中所述电子设备包括移动电话。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1