本发明涉及图像处理领域，特别涉及一种背景虚化方法、背景虚化装置、电子装置、非易失性计算机可读存储介质和计算机设备。
背景技术
在进行图像处理时，若不能确定背景区域或者确定的背景区域不够准确，会导致背景虚化的图像的视觉效果不佳。
技术实现要素：
本发明的实施例提供了一种空气检测模组的背景虚化方法、背景虚化装置、电子装置、非易失性计算机可读存储介质和计算机设备。
本发明实施方式的背景虚化方法，可以用于电子装置，所述电子装置包括可见光摄像头和深度摄像头，所述可见光摄像头的视场范围与所述深度摄像头的视场范围部分重叠，所述可见光摄像头用于采集可见光图像，所述深度摄像头用于采集深度图像，所述可见光图像包括与所述深度图像重合的重合区域和与所述深度图像不重合的非重合区域，所述背景虚化方法包括：
判断所述可见光图像中是否存在同时处于所述重合区域和所述非重合区域的物体；
在所述可见光图像中存在同时处于所述重合区域和所述非重合区域的物体时，根据所述深度图像获取处于所述重合区域的所述物体的深度信息作为第一深度信息；
根据所述第一深度信息获取处于所述非重合区域的所述物体的深度信息作为第二深度信息；
根据所述第一深度信息和所述第二深度信息获取所述物体的综合深度信息；
根据所述可见光图像中的主体的深度信息和所述综合深度信息获取所述物体的虚化程度；和
根据所述虚化程度虚化所述物体。
本发明实施方式的背景虚化装置，可以用于电子装置，所述电子装置包括可见光摄像头和深度摄像头，所述可见光摄像头的视场范围与所述深度摄像头的视场范围部分重叠，所述可见光摄像头用于采集可见光图像，所述深度摄像头用于采集深度图像，所述可见光图像包括与所述深度图像重合的重合区域和与所述深度图像不重合的非重合区域，所述背景虚化装置包括判断模块、第一获取模块、第二获取模块、第三获取模块、第四获取模块和虚化模块。所述判断模块用于判断所述可见光图像中是否存在同时处于所述重合区域和所述非重合区域的物体。所述第一获取模块用于在所述可见光图像中存在同时处于所述重合区域和所述非重合区域的物体时，根据所述深度图像获取处于所述重合区域的所述物体的深度信息作为第一深度信息。所述第二获取模块用于根据所述第一深度信息获取处于所述非重合区域的所述物体的深度信息作为第二深度信息。所述第三获取模块用于根据所述第一深度信息和所述第二深度信息获取所述物体的综合深度信息。所述第四获取模块用于根据所述可见光图像中的主体的深度信息和所述综合深度信息获取所述物体的虚化程度。所述虚化模块用于根据所述虚化程度虚化所述物体。
本发明实施方式的电子装置包括可见光摄像头和深度摄像头，所述可见光摄像头的视场范围与所述深度摄像头的视场范围部分重叠，所述可见光摄像头用于采集可见光图像，所述深度摄像头用于采集深度图像，所述可见光图像包括与所述深度图像重合的重合区域和与所述深度图像不重合的非重合区域，所述电子装置还包括处理器，所述处理器用于判断所述可见光图像中是否存在同时处于所述重合区域和所述非重合区域的物体、在所述可见光图像中存在同时处于所述重合区域和所述非重合区域的物体时根据所述深度图像获取处于所述重合区域的所述物体的深度信息作为第一深度信息、根据所述第一深度信息获取处于所述非重合区域的所述物体的深度信息作为第二深度信息、根据所述第一深度信息和所述第二深度信息获取所述物体的综合深度信息、根据所述可见光图像中的主体的深度信息和所述综合深度信息获取所述物体的虚化程度、及根据所述虚化程度虚化所述物体。
本发明实施方式的一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行上述背景虚化方法。
本发明实施方式的计算机设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行上述背景虚化方法。
本发明实施方式的背景虚化方法、背景虚化装置、电子装置、非易失性计算机可读存储介质和计算机设备根据物体在深度图像对应的深度信息获取物体不处于深度图像中的部分的深度信息，从而准确地获取整个物体的深度信息，进而能够根据物体的深度信息和主体的深度信息进行准确地虚化。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明某些实施方式的背景虚化方法的流程示意图。
图2是本发明某些实施方式的电子装置的平面示意图。
图3是本发明某些实施方式的背景虚化装置的示意图。
图4是本发明某些实施方式的电子装置的平面示意图。
图5是本发明某些实施方式的背景虚化方法的流程示意图。
图6是本发明某些实施方式的背景虚化装置的判断模块的示意图。
图7和图8是本发明某些实施方式的背景虚化方法的流程示意图。
图9是本发明某些实施方式的背景虚化装置的第二获取模块的示意图。
图10是本发明某些实施方式的第二深度信息获取的场景示意图。
图11是本发明某些实施方式的背景虚化方法的流程示意图。
图12是本发明某些实施方式的背景虚化装置的第二获取模块的示意图。
图13是本发明某些实施方式的第二深度信息获取的场景示意图。
图14是本发明某些实施方式的背景虚化方法的流程示意图。
图15是本发明某些实施方式的背景虚化装置的第四获取模块的示意图。
图16是本发明某些实施方式的背景虚化方法的流程示意图。
图17是本发明某些实施方式的背景虚化装置的第四获取模块的示意图。
图18是本发明某些实施方式的计算机可读存储介质的示意图。
图19是本发明某些实施方式的计算机设备的示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通信；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
请参阅图1和图2，本发明实施方式的背景虚化方法可以用于电子装置1000。电子装置1000包括可见光摄像头200和深度摄像头300，可见光摄像头200的视场范围与深度摄像头300的视场范围部分重叠。可见光摄像头200用于采集可见光图像，深度摄像头300用于采集深度图像，可见光图像包括与深度图像重合的重合区域和与深度图像不重合的非重合区域。背景虚化方法包括：
012：判断可见光图像中是否存在同时处于重合区域和非重合区域的物体；
014：在可见光图像中存在同时处于重合区域和非重合区域的物体时，根据深度图像获取处于重合区域的物体的深度信息作为第一深度信息；
016：根据第一深度信息获取处于非重合区域的物体的深度信息作为第二深度信息；
018：根据第一深度信息和第二深度信息获取物体的综合深度信息；
022：根据可见光图像中的主体的深度信息和综合深度信息获取物体的虚化程度；和
024：根据虚化程度虚化物体。
请参阅图2和图3，本发明实施方式的背景虚化装置100可以用于电子装置1000。电子装置1000包括可见光摄像头200和深度摄像头300，可见光摄像头200的视场范围与深度摄像头300的视场范围部分重叠。可见光摄像头200用于采集可见光图像，深度摄像头300用于采集深度图像，可见光图像包括与深度图像重合的重合区域和与深度图像不重合的非重合区域。背景虚化装置100包括判断模块12、第一获取模块14、第二获取模块16、第三获取模块18、第四获取模块22和虚化模块24。判断模块12用于判断可见光图像中是否存在同时处于重合区域和非重合区域的物体。第一获取模块14用于在可见光图像中存在同时处于重合区域和非重合区域的物体时，根据深度图像获取处于重合区域的物体的深度信息作为第一深度信息。第二获取模块16用于根据第一深度信息获取处于非重合区域的物体的深度信息作为第二深度信息。第三获取模块18用于根据第一深度信息和第二深度信息获取物体的综合深度信息。第四获取模块22用于根据可见光图像中的主体的深度信息和综合深度信息获取物体的虚化程度。虚化模块24用于根据虚化程度虚化物体。
请参阅图4，本发明实施方式的电子装置1000包括可见光摄像头200和深度摄像头300，可见光摄像头200的视场范围与深度摄像头300的视场范围部分重叠。可见光摄像头200用于采集可见光图像，深度摄像头300用于采集深度图像，可见光图像包括与深度图像重合的重合区域和与深度图像不重合的非重合区域。电子装置1000还包括处理器400，处理器400用于判断可见光图像中是否存在同时处于重合区域和非重合区域的物体、在可见光图像中存在同时处于重合区域和非重合区域的物体时根据深度图像获取处于重合区域的物体的深度信息作为第一深度信息、根据第一深度信息获取处于非重合区域的物体的深度信息作为第二深度信息、根据第一深度信息和第二深度信息获取物体的综合深度信息、根据可见光图像中的主体的深度信息和综合深度信息获取物体的虚化程度、及根据虚化程度虚化物体。
也即是说，本发明实施方式的背景虚化方法可以由本发明实施方式的背景虚化装置100实现，其中，步骤012可以由判断模块12实现，步骤014可以由第一获取模块14实现，步骤016可以由第二获取模块16实现，步骤018可以由第三获取模块18实现，步骤022可以由第四获取模块22实现，步骤024可以由虚化模块24实现。当然，本发明实施方式的背景虚化方法也可以由本发明实施方式的电子装置1000实现，其中，步骤012、步骤014、步骤016、步骤018、步骤022、步骤024均可以由处理器400实现。
本发明实施方式的背景虚化方法、背景虚化装置100和电子装置1000根据物体在深度图像对应的深度信息获取物体不处于深度图像中的部分的深度信息，从而准确地获取整个物体的深度信息，进而能够根据物体的深度信息和主体的深度信息进行准确地虚化。
电子装置1000可以是相机、手机、平板电脑、手提电脑、游戏机、头显设备、门禁系统、柜员机等，在此不作限制。
可见光摄像头200可以是指用于接收可见光而形成可见光图像的摄像头。深度摄像头300可以是指用于形成深度图像的摄像头，其中，深度图像可以表征被摄物的深度信息。深度摄像头300可以包括结构光摄像头或飞行时间(timeofflight，tof)摄像头，对应地，电子装置1000还包括结构光投射器或tof投射器。
可见光摄像头200的视场范围与深度摄像头300的视场范围部分重叠，因此可见光摄像头200采集的可见光图像与深度摄像头300采集的深度图像部分重合。由于可见光图像的重合区域与深度图像重合，因此可以获得重合区域中的被摄物的深度信息，而可见光图像的非重合区域与深度图像不重合，因此非重合区域中的被摄物并不具备深度信息。当一个物体同时处于重合区域和非重合区域时，该物体处于重合区域的部分具备深度信息(即第一深度信息)，该物体处于非重合区域的部分不具备深度信息，由于同一物体的深度是连续变化的，因此可以通过处于重合区域的部分的深度信息确定处于非重合区域的部分的深度信息(即第二深度信息)，从而更加准确地确定整个物体的深度信息以作为综合深度信息，进而可以根据该综合深度信息和主体的深度信息确定物体的虚化程度并根据虚化程度虚化物体。综合深度信息相较于第一深度信息可以更加全面地体现该物体的深度信息。
在某些实施方式中，主体可以通过用户选择确定或者通过图像处理确定，其中，通过图像处理确定主体例如可以为：通过图像处理确定处于可见光图像中的中心位置的被摄物作为主体。
在某些实施方式中，主体处于重合区域中，主体的深度信息可以根据重合区域对应的深度图像获得。在其他实施方式中，主体同时处于重合区域和非重合区域中，主体的深度信息可以通过本发明实施方式的背景虚化方法获得。
请参阅图5，在某些实施方式中，步骤012包括：
0122：提取可见光图像中所有被摄物的轮廓线；
0124：根据可见光摄像头200的视场范围与深度摄像头300的视场范围的重叠关系获取重叠曲线；
0126：判断重叠曲线是否穿过轮廓线；和
0128：在重叠曲线穿过轮廓线时获取对应的被摄物以作为同时处于重合区域和非重合区域的物体。
请参阅图6，在某些实施方式中，判断模块12包括提取单元122、第一获取单元124、判断单元126和第二获取单元128。提取单元122用于提取可见光图像中所有被摄物的轮廓线。第一获取单元124用于根据可见光摄像头200的视场范围与深度摄像头300的视场范围的重叠关系获取重叠曲线。判断单元126用于判断重叠曲线是否穿过轮廓线。第二获取单元128用于在重叠曲线穿过轮廓线时获取对应的被摄物以作为同时处于重合区域和非重合区域的物体。
请再次参阅图4，在某些实施方式中，处理器400用于提取可见光图像中所有被摄物的轮廓线、根据可见光摄像头200的视场范围与深度摄像头300的视场范围的重叠关系获取重叠曲线、判断重叠曲线是否穿过轮廓线、及在重叠曲线穿过轮廓线时获取对应的被摄物以作为同时处于重合区域和非重合区域的物体。
也即是说，步骤0122可以由提取单元122实现，步骤0124可以由第一获取单元124实现，步骤0126可以由判断单元126实现，步骤0128可以由第二获取单元128实现。当然，步骤0122、步骤0124、步骤0126、步骤0128也可以由处理器400实现。
如此，可以通过被摄物的轮廓线、可见光摄像头200的视场范围与深度摄像头300的视场范围的重叠关系确定同时处于重合区域和非重合区域的物体。
具体地，被摄物的轮廓线可以通过sobel算子、prewitt算子、canny算子等算法检测获得。根据可见光摄像头200的视场范围、深度摄像头300的视场范围及可见光摄像头200和深度摄像头300的位置关系可以确定可见光摄像头200的视场范围与深度摄像头300的视场范围的重叠关系，根据该重叠关系可以确定可见光图像的重合区域和非重合区域，其中，分隔重合区域和非重合区域的曲线可称作重叠曲线，判断该重叠曲线是否穿过被摄物的轮廓线，在该重叠曲线穿过该被摄物的轮廓线时，说明该被摄物是同时处于重合区域和非重合区域的物体。
在某些实施方式中，可以通过提取可见光图像中所有被摄物的轮廓线以确定每个被摄物在可见光图像中的对应区域，并判断每个被摄物的对应区域是否部分具有深度信息且部分没有深度信息，若是，则判断该被摄物是同时处于重合区域和非重合区域的物体。
请参阅图7，在某些实施方式中，步骤014包括：
0142：根据可见光图像与深度图像的对应关系获取深度图像与重合区域的物体对应的深度数据作为第一深度信息。
请再次参阅图3，在某些实施方式中，第一获取模块14用于根据可见光图像与深度图像的对应关系获取深度图像与重合区域的物体对应的深度数据作为第一深度信息。
请再次参阅图4，在某些实施方式中，处理器400用于根据可见光图像与深度图像的对应关系获取深度图像与重合区域的物体对应的深度数据作为第一深度信息。
也即是说，步骤0142可以由第一获取模块14或处理器400实现。
如此，可以通过深度图像快速地确定物体处于重合区域的部分的深度信息。
具体地，由于重合区域与深度图像重合，因此可以根据可见光图像与深度图像的对应关系确定物体在深度图像的对应位置，提取深度图像的该对应位置的深度数据即可作为物体的第一深度信息。
请参阅图8，在某些实施方式中，步骤016包括：
0161：根据第一深度信息获取物体的深度变化趋势；和
0163：根据第一深度信息和深度变化趋势获取第二深度信息。
请参阅图9，在某些实施方式中，第二获取模块16包括第三获取单元161和第四获取单元163。第三获取单元161用于根据第一深度信息获取物体的深度变化趋势。第四获取单元163用于根据第一深度信息和深度变化趋势获取第二深度信息。
请再次参阅图4，在某些实施方式中，处理器400用于根据第一深度信息获取物体的深度变化趋势、及根据第一深度信息和深度变化趋势获取第二深度信息。
也即是说，步骤0161可以由第三获取单元161实现，步骤0163可以由第四获取单元163实现。当然，步骤0161和步骤0163也可以由处理器400实现。
如此，可以根据第一深度信息获取物体的深度变化趋势，从而准确地确定第二深度信息。
具体地，根据物体在重合区域的第一深度信息的变化可以确定物体的深度变化趋势，根据第一深度信息和该深度变化趋势可以预估物体在非重合区域的深度信息以作为第二深度信息。
请结合图10，其中曲线l1的左侧为重合区域，右侧为非重合区域，物体2000的一部分位于重合区域，另一部分位于非重合区域。以获取物体2000的一个表面2001的综合深度信息为例，在重合区域内，该表面2001的第一深度信息为曲线s1所示，由该曲线s1可知，该表面2001在不同的横向位置中，第一深度信息按照一定的深度变化趋势变化，例如按照一定的斜率变化。
而该表面2001为连续的表面，该表面2001在非重合区域的第二深度信息的变化很可能依旧按照上述的变化趋势变化，因此，可以按照上述的变化趋势和第一深度信息获取该表面2001在非重合区域的第二深度信息，也就是如图10中代表表面2001的第二深度信息的曲线s2所示。
当然，图10仅作为示例性说明，其中第一深度信息的变化趋势针对不同的物体可能有所不同。
请参阅图11，在某些实施方式中，步骤016包括：
0165：依据颜色将处于非重合区域的物体划分为多个第一子区域；
0167：查找处于重合区域的物体中与第一子区域颜色相同的第二子区域；和
0169：获取第二子区域的第一深度信息作为第一子区域的第二深度信息。
请参阅图12，在某些实施方式中，第二获取模块16包括第一划分单元165、查找单元167和第五获取单元169。第一划分单元165用于依据颜色将处于非重合区域的物体划分为多个第一子区域。查找单元167用于查找处于重合区域的物体中与第一子区域颜色相同的第二子区域。第五获取单元169用于获取第二子区域的第一深度信息作为第一子区域的第二深度信息。
请再次参阅图4，在某些实施方式中，处理器400用于依据颜色将处于非重合区域的物体划分为多个第一子区域、查找处于重合区域的物体中与第一子区域颜色相同的第二子区域、及获取第二子区域的第一深度信息作为第一子区域的第二深度信息。
也即是说，步骤0165可以由第一划分单元165实现，步骤0167可以由查找单元167实现，步骤0169可以由第五获取单元169实现。当然，步骤0165、步骤0167、步骤0169也可以由处理器400实现。
如此，可以根据物体的颜色快速地确定第二深度信息。
具体地，请结合图13，其中曲线l2的左侧为重合区域，右侧为非重合区域，人物3000的一部分位于重合区域，另一部分位于非重合区域。在本发明实施例中，依据颜色可将非重合区域的该人物3000划分为多个第一子区域，其中区域a1和a2为其中的两个第一子区域，在划分时，可将非重合区域中该人物的颜色相同的像素归入同一个第一子区域中，可以理解，每个第一子区域可能是连续的区域，也可以是由多个间隔的区域组成的区域。
在重合区域中，通过查找该人物3000的可见光图像，可以得到与第一子区域a1的颜色相同的第二子区域b1，与第一子区域a2的颜色相同的第二子区域b2。同时，由于重合区域内该人物3000的第一深度信息通过深度图像可以得到，也就是第二子区域b1和b2的深度信息均为已知，且同一个人物中颜色相同的区域的不同区域的深度有较大的可能是相同的，例如第一子区域a1和第二子区域b1同为该人物3000的脸颊，第一子区域a2和第二子区域b2同为该人物3000的手臂。
因此，可以认为第一子区域a1具有与第二子区域b1相同的深度信息，第一子区域a2具有与第二子区域b2相同的深度信息，也就是可以将第二子区域b1的第一深度信息作为第一子区域a1的第二深度信息，可以将第二子区域b2的第一深度信息作为第一子区域a2的第二深度信息。进一步地，只要能在重合区域的该人物3000的可见光图像中查到到与第一子区域颜色相同的第二子区域，则可以获取完整的该人物3000在非重合区域的第二深度信息。
当然，不同的物体可以分别利用上述步骤0165、0167和0169得到较完整地深度信息，例如如图13所示，获取人物3000的综合深度信息的同时，还可以采用上述的方式获取灯4000的综合深度信息。
在获得第一深度信息和第二深度信息之后，可以简单地将第一深度信息和第二深度信息组合以作为物体的综合深度信息，即利用第一深度信息和第二深度信息来表示整个物体的深度信息。
请参阅图14，在某些实施方式中，主体的深度信息包括多个深度值，综合深度信息包括多个深度值，步骤022包括：
0221：获取主体的多个深度值的平均值或中值作为主体的主体深度；
0222：获取综合深度信息的多个深度值的平均值或中值作为物体的物体深度；
0223：计算物体深度和主体深度的深度差；和
0224：根据深度差获取虚化程度，深度差与虚化程度呈正相关。
请参阅图15，在某些实施方式中，主体的深度信息包括多个深度值，综合深度信息包括多个深度值，第四获取模块22包括第六获取单元221、第七获取单元222、第一计算单元223和第八获取单元224。第六获取单元221用于获取主体的多个深度值的平均值或中值作为主体的主体深度。第七获取单元222用于获取综合深度信息的多个深度值的平均值或中值作为物体的物体深度。第一计算单元223用于计算物体深度和主体深度的深度差。第八获取单元224用于根据深度差获取虚化程度，深度差与虚化程度呈正相关。
请再次参阅图4，在某些实施方式中，主体的深度信息包括多个深度值，综合深度信息包括多个深度值，处理器400用于获取主体的多个深度值的平均值或中值作为主体的主体深度、获取综合深度信息的多个深度值的平均值或中值作为物体的物体深度、计算物体深度和主体深度的深度差、及根据深度差获取虚化程度，深度差与虚化程度呈正相关。
也即是说，步骤0221可以由第六获取单元221实现，步骤0222可以由第七获取单元222实现，步骤0223可以由第一计算单元223实现，步骤0224可以由第八获取单元224实现。当然，步骤0221、步骤0222、步骤0223、步骤0224也可以由处理器400实现。
如此，可以确定物体的深度并根据物体的深度和主体的深度确定虚化程度。
具体地，由于主体的深度信息包括多个深度值，因此可以将主体的多个深度值的平均值或中值作为主体的主体深度，同样地，由于综合深度信息包括多个深度值，因此可以将综合深度信息的多个深度值的平均值或中值作为整个物体的物体深度。计算物体深度和主体深度的深度差，根据该深度差即可获取物体的虚化程度，在物体深度大于主体深度时，深度差为物体深度减去主体深度，在物体深度小于主体深度时，深度差为主体深度减去物体深度。
请参阅图16，在某些实施方式中，主体的深度信息包括多个深度值，综合深度信息包括多个深度值，步骤022包括：
0225：获取主体的多个深度值的平均值或中值作为主体的主体深度；
0226：将物体划分成多个分析区域；
0227：获取每个分析区域的多个深度值的平均值或中值作为分析区域的区域深度；
0228：计算区域深度和主体深度的深度差；和
0229：根据深度差获取对应的分析区域的虚化程度，深度差与虚化程度呈正相关。
请参阅图17，在某些实施方式中，主体的深度信息包括多个深度值，综合深度信息包括多个深度值，第四获取模块22包括第九获取单元225、第二划分单元226、第十获取单元227、第二计算单元228和第十一获取单元229。第九获取单元225用于获取主体的多个深度值的平均值或中值作为主体的主体深度。第二划分单元226用于将物体划分成多个分析区域。第十获取单元227用于获取每个分析区域的多个深度值的平均值或中值作为分析区域的区域深度。第二计算单元228用于计算区域深度和主体深度的深度差。第十一获取单元229用于根据深度差获取对应的分析区域的虚化程度，深度差与虚化程度呈正相关。
请再次参阅图4，在某些实施方式中，主体的深度信息包括多个深度值，综合深度信息包括多个深度值，处理器400用于获取主体的多个深度值的平均值或中值作为主体的主体深度、将物体划分成多个分析区域、获取每个分析区域的多个深度值的平均值或中值作为分析区域的区域深度、计算区域深度和主体深度的深度差、及根据深度差获取对应的分析区域的虚化程度，深度差与虚化程度呈正相关。
也即是说，步骤0225可以由第九获取单元225实现，步骤0226可以由第二划分单元226实现，步骤0227可以由第十获取单元227实现，步骤0228可以由第二计算单元228实现，步骤0229可以由第十一获取单元229实现。当然，步骤0225、步骤0226、步骤0227、步骤0228、步骤0229也可以由处理器400实现。
如此，可以确定物体的各个分析区域的深度并根据区域深度和主体的深度确定虚化程度。
具体地，由于主体的深度信息包括多个深度值，因此可以将主体的多个深度值的平均值或中值作为主体的主体深度。而物体的深度跨度可能比较大，若对物体采用相同的虚化程度，则虚化效果可能不佳，因此可以将物体划分成多个分析区域，由于分析区域包括多个深度值，因此可以将分析区域的多个深度值的平均值或中值作为分析区域的区域深度。计算各个区域的区域深度和主体深度的深度差，根据该深度差即可获取各个区域的虚化程度，在区域深度大于主体深度时，深度差为区域深度减去主体深度，在区域深度小于主体深度时，深度差为主体深度减去区域深度。
深度差与虚化程度呈正相关。可以理解为，在深度差小于第一深度阈值时，虚化程度可以为0，即不对区域进行虚化处理，在深度差大于第一深度阈值且小于第二深度阈值时，虚化程度可以为第一虚化程度，在深度差大于第二深度阈值且小于第三深度阈值时，虚化程度可以为第二虚化程度，在深度差大于第三深度阈值且小于第四深度阈值时，虚化程度可以为第三虚化程度，依次类推。其中，第四深度阈值>第三深度阈值>第二深度阈值>第一深度阈值>0，第三虚化程度>第二虚化程度>第一虚化程度>0。以上深度阈值和虚化程度均可以预先设置或根据用户输入确定。
根据虚化程度虚化物体，可以采用高斯模糊进行虚化处理，具体地，可以根据虚化程度确定虚化处理的高斯核，再根据高斯核虚化物体。其中，高斯核可视作权重矩阵，采用不同的权重进行高斯模糊处理，即可获得不同的虚化效果，即实现不同的虚化程度。权重矩阵与高斯核函数的方差有关，方差越大，表示高斯核函数的径向作用范围越宽，平滑效果越好即模糊程度越高。计算每个像素的高斯模糊值时，将所要计算的像素作为中心像素，并采用权重矩阵对中心像素周边的像素点的像素值进行加权计算最终得到所要计算的像素的高斯模糊值。
请再次参阅图2，在某些实施方式中，电子装置1000包括可见光摄像头200和深度摄像头300，可见光摄像头200的视场范围与深度摄像头300的视场范围部分重叠。可见光摄像头200用于采集可见光图像，深度摄像头300用于采集深度图像，可见光图像包括与深度图像重合的重合区域和与深度图像不重合的非重合区域。电子装置1000还包括上述任意一种实施方式的背景虚化装置100。
请参阅图18，本发明实施例还提供了一种计算机可读存储介质5000。计算机可读存储介质5000用于存储一个或多个计算机可执行指令，计算机可读存储介质5000可以是一个或多个。当计算机可执行指令被一个或多个处理器520执行时，使得处理器520执行上述任意一种实施方式的背景虚化方法。
例如，当计算机可执行指令被处理器520执行时，处理器520执行以下步骤所述的背景虚化方法：
012：判断可见光图像中是否存在同时处于重合区域和非重合区域的物体；
014：在可见光图像中存在同时处于重合区域和非重合区域的物体时，根据深度图像获取处于重合区域的物体的深度信息作为第一深度信息；
016：根据第一深度信息获取处于非重合区域的物体的深度信息作为第二深度信息；
018：根据第一深度信息和第二深度信息获取物体的综合深度信息；
022：根据可见光图像中的主体的深度信息和综合深度信息获取物体的虚化程度；和
024：根据虚化程度虚化物体。
又例如，当计算机可执行指令被处理器520执行时，处理器520执行以下步骤所述的背景虚化方法：
0122：提取可见光图像中所有被摄物的轮廓线；
0124：根据可见光摄像头200的视场范围与深度摄像头300的视场范围的重叠关系获取重叠曲线；
0126：判断重叠曲线是否穿过轮廓线；和
0128：在重叠曲线穿过轮廓线时获取对应的被摄物以作为同时处于重合区域和非重合区域的物体。
请参阅图19，本发明实施方式提供一种计算机设备1000。计算机设备1000可以是手机、平板电脑、智能手表、智能手环、智能穿戴设备等，在本发明实施例中，以计算机设备1000是手机为例进行说明，可以理解，计算机设备1000的具体形式并不限于手机。计算机设备1000包括可见光摄像头200、深度摄像头300、处理器400、结构光投射器500、红外补光灯600和存储器700。在如图19的所示的实施例中，深度摄像头300的具体形式为红外摄像头310，处理器400包括微处理器410和应用处理器(applicationprocessor，ap)420。
目标物体的可见光图像可以由可见光摄像头200采集，可见光摄像头200可通过集成电路(inter-integratedcircuit,i2c)总线800、移动产业处理器接口(mobileindustryprocessorinterface，mipi)210与应用处理器420连接。应用处理器420可用于使能可见光摄像头200、关闭可见光摄像头200或重置可见光摄像头200。可见光摄像头200可用于采集彩色图像，应用处理器420通过移动产业处理器接口210从可见光摄像头200中获取彩色图像，并将该彩色图像存入非可信执行环境(richexecutionenvironment，ree)421中。
目标物体的红外图像可以由红外光摄像头21采集，红外光摄像头21可以与应用处理器420连接，应用处理器420可用于控制红外光摄像头21的电源启闭、关闭(pwdn)红外光摄像头21或重置(reset)红外光摄像头21；同时，红外光摄像头21还可以与微处理器410连接，微处理器410与红外光摄像头21可以通过集成电路总线800连接，微处理器410可以给红外光摄像头21提供采集红外图像的时钟信号，红外光摄像头21采集的红外图像可以通过移动产业处理器接口411传输到微处理器410中。红外补光灯600可用于向外发射红外光，红外光被用户反射后被红外光摄像头21接收，红外补光灯600与应用处理器420可以通过集成电路总线800连接，应用处理器420可用于使能红外补光灯600，红外补光灯600还可以与微处理器410连接，具体地，红外补光灯600可以连接在微处理器410的脉冲宽度调制接口(pulsewidthmodulation，pwm)412上。
结构光投射器500可向目标物体投射激光。结构光投射器500可以与应用处理器420连接，应用处理器420可用于使能结构光投射器500并通过集成电路总线800连接；结构光投射器500还可以与微处理器410连接，具体地，结构光投射器500可以连接在微处理器410的脉冲宽度调制接口412上。
微处理器410可以是处理芯片，微处理器410与应用处理器420连接，具体地，应用处理器420可用于重置微处理器410、唤醒(wake)微处理器410、纠错(debug)微处理器410等，微处理器410可通过移动产业处理器接口411与应用处理器420连接，具体地，微处理器410通过移动产业处理器接口411与应用处理器420的可信执行环境(trustedexecutionenvironment，tee)422连接，以将微处理器410中的数据直接传输到可信执行环境422中存储。其中，可信执行环境422中的代码和内存区域都是受访问控制单元控制的，不能被非可信执行环境421中的程序所访问，可信执行环境422和非可信执行环境421均可以形成在应用处理器420中。
微处理器410可以通过接收红外光摄像头21采集的红外图像以获取红外图像，微处理器410可将该红外图像通过移动产业处理器接口411传输至可信执行环境422中，从微处理器410中输出的红外图像不会进入到应用处理器420的非可信执行环境421中，而使得该红外图像不会被其他程序获取，提高计算机设备1000的信息安全性。存储在可信执行环境422中的红外图像可作为红外模板。
微处理器410控制结构光投射器500向目标物体投射激光后，还可以控制红外光摄像头21采集由目标物体调制后的激光图案，微处理器410再通过移动产业处理器接口411获取该激光图案。微处理器410处理该激光图案以得利深度图像，具体地，微处理器410中可以存储有结构光投射器500投射的激光的标定信息，微处理器410通过处理激光图案与该标定信息得到目标物体不同位置的深度信息并形成深度图像。得到深度图像后，再通过移动产业处理器接口411传输至可信执行环境422中。存储在可信执行环境422中的深度图像可作为深度模板。
计算机设备1000中，将获取得到的红外模板和深度模板均存储在可信执行环境422中，在可信执行环境422中的验证模板不易被篡改和盗用，计算机设备1000内的信息的安全性较高。
存储器700与微处理器410和应用处理器420均连接。存储器700中储存有计算机可读指令710，计算机可读指令710被处理器400执行时，处理器400执行上述任一实施方式的背景虚化方法。具体地，可以是微处理器410执行步骤012、014、016、018、022、024、0122、0124、0126、0128、0142、0161、0163、0165、0167、0169、0221、0222、0223、0224、0225、0226、0227、0228和0229；可以是应用处理器420执行步骤012、014、016、018、022、024、0122、0124、0126、0128、0142、0161、0163、0165、0167、0169、0221、0222、0223、0224、0225、0226、0227、0228和0229；也可以是微处理器410执行步骤012、014、016、018、022、024、0122、0124、0126、0128、0142、0161、0163、0165、0167、0169、0221、0222、0223、0224、0225、0226、0227、0228和0229中的至少一个步骤，且应用处理器420执行步骤012、014、016、018、022、024、0122、0124、0126、0128、0142、0161、0163、0165、0167、0169、0221、0222、0223、0224、0225、0226、0227、0228和0229中剩余的步骤。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于执行特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的执行，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于执行逻辑功能的可执行指令的定序列表，可以具体执行在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来执行。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来执行。例如，如果用硬件来执行，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来执行：具有用于对数据信号执行逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
本技术领域的普通技术人员可以理解执行上述实施方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式执行，也可以采用软件功能模块的形式执行。所述集成的模块如果以软件功能模块的形式执行并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。