图像处理方法、装置、电子设备及存储介质与流程

1.本公开涉及计算机视觉技术领域，尤其涉及一种图像处理方法、装置、电子设备、存储介质及计算机程序产品。


背景技术：

2.目前，随着摄影技术的发展，人们除了拍摄2d照片外，还可以拍摄3d照片，与2d照片相比，3d照片可以体现物体的深度，从而提供了更多的真实感，但是，在一些拍摄场景中，想要拍摄的对象可能被其他物体所遮挡，或者由于视差导致无法看到该对象的完整图像，因此需要对拍摄的图片进行后期处理，比如补全图片被遮挡的部分等。然而现有技术中的图像补全方法，如基于深度学习的扭曲校正技术等，容易在两个物体的深度断层区域引入扭曲、形变和撕裂等人工痕迹，导致图像的补全结果不理想。


技术实现要素：

3.本公开提供一种图像处理方法、装置、电子设备、存储介质及计算机程序产品，以至少解决相关技术中的图像补全方法容易在两个物体的深度断层区域引入扭曲、形变和撕裂等人工痕迹的问题。本公开的技术方案如下：
4.根据本公开实施例的第一方面，提供一种图像处理方法，包括：
5.获取待处理图像对应的深度图，从所述深度图中确定出前景对象的第一边缘和背景对象的第二边缘；
6.在所述深度图中对所述第一边缘的第一方向和所述第二边缘的第二方向分别进行第一泛洪处理，得到所述第一边缘泛洪后形成的前景区域和所述第二边缘泛洪后形成的已知背景区域，并基于所述前景区域确定遮挡区域；其中，所述遮挡区域表示被所述前景区域遮挡的背景区域；所述第一方向与所述第二方向相反；
7.在所述深度图中通过所述已知背景区域对所述遮挡区域进行深度信息补全和rgb信息补全处理，得到所述遮挡区域对应的补全背景图像。
8.在一示例性实施例中，所述从所述深度图中确定出前景对象的第一边缘和背景对象的第二边缘，包括：
9.获取所述深度图中各像素点之间的连通关系，基于所述连通关系确定各像素点的连通像素点数目；其中，连通的两个像素点之间的深度差值在预设范围内；
10.从所述深度图中确定出目标像素点；所述目标像素点对应的连通像素点数目小于数目阈值；
11.基于所述目标像素点的深度值，将所述目标像素点划分为第一边缘的像素点或第二边缘的像素点，基于划分后的目标像素点得到所述第一边缘和所述第二边缘。
12.在一示例性实施例中，所述对所述第一边缘的第一方向和所述第二边缘的第二方向分别进行第一泛洪处理，包括：
13.确定所述第一边缘趋向前景对象中心点的方向为第一方向，确定所述第二边缘背
向所述前景对象中心点的方向为第二方向；
14.基于所述深度图中各像素点之间的连通关系，对所述第一边缘的所述第一方向和所述第二边缘的所述第二方向分别进行第一泛洪处理。
15.在一示例性实施例中，所述待处理图像中至少包括第一对象、第二对象和第三对象，其中，所述第一对象为所述第二对象的前景对象，所述第二对象为所述第三对象的前景对象；所述通过所述已知背景区域对所述遮挡区域进行深度信息补全和rgb信息补全处理，得到所述遮挡区域对应的补全背景图像，包括：
16.获取所述第一对象的第一边缘与所述第二对象的第二边缘，作为第一对深度边缘，基于所述第一对深度边缘，得到所述第二对象的已知背景区域和被所述第一对象遮挡的遮挡区域；
17.获取所述第二对象的第一边缘与所述第三对象的第二边缘，作为第二对深度边缘，基于所述第二对深度边缘，得到所述第三对象的已知背景区域和被所述第二对象遮挡的遮挡区域；
18.若确定所述第一对象对所述第二对深度边缘不存在边缘遮挡，通过所述第二对象的已知背景区域，对所述第二对象被所述第一对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到所述第二对象对应的补全背景图像；
19.通过所述第三对象的已知背景区域，对所述第三对象被所述第二对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到所述第三对象对应的补全背景图像。
20.在一示例性实施例中，所述通过所述已知背景区域对所述遮挡区域进行深度信息补全和rgb信息补全处理，得到所述遮挡区域对应的补全背景图像，还包括：
21.获取所述第一对象的第一边缘与所述第三对象的第二边缘，作为第三对深度边缘，基于所述第二对深度边缘和所述第三对深度边缘，得到所述第三对象的已知背景区域、所述第三对象被所述第一对象遮挡的遮挡区域和所述第三对象被所述第二对象遮挡的遮挡区域；
22.若确定所述第一对象对所述第二对深度边缘遮挡了部分，对所述第二对深度边缘中的被遮挡边缘进行边缘补全，得到补全的第二对深度边缘；
23.通过所述第二对象的已知背景区域，对所述第二对象被所述第一对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到所述第二对象对应的补全背景图像；以及，通过所述第三对象的已知背景区域，对所述第三对象被所述第一对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到所述第三对象对应的初始补全图像；
24.通过所述第三对象对应的初始补全图像，对所述第三对象被所述第二对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到所述第三对象对应的补全背景图像。
25.在一示例性实施例中，所述通过所述第三对象的已知背景区域，对所述第三对象被所述第一对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到所述第三对象对应的初始补全图像，包括：
26.通过所述第三对象的已知背景区域，对所述第三对象被所述第一对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到所述第三对象被所述第一对象遮挡的遮挡区域的局部补全图像；
27.基于所述局部补全图像中以及所述第三对象的已知背景区域中像素点之间的连
通关系，对所述补全的第二对深度边缘中第二边缘的第二方向进行第二泛洪处理，得到所述第三对象的初始补全图像。
28.在一示例性实施例中，所述方法还包括：
29.当检测到所述第二对深度边缘不连续时，确定所述第一对象对所述第二对深度边缘存在遮挡。
30.在一示例性实施例中，在所述深度图中对所述第一边缘的第一方向和所述第二边缘的第二方向分别进行第一泛洪处理之前，还包括：
31.从所述深度图中的背景对象的像素点中，确定出待滤波像素点；
32.获取与所述背景对象对应的采样窗口，基于所述采样窗口对所述待滤波像素点进行中值滤波处理，得到滤波后的深度图；
33.所述在所述深度图中对所述第一边缘的第一方向和所述第二边缘的第二方向分别进行第一泛洪处理，包括：
34.在所述滤波后的深度图中，对所述第一边缘的第一方向和所述第二边缘的第二方向分别进行第一泛洪处理。
35.在一示例性实施例中，所述从所述深度图中的背景对象的像素点中确定出待滤波像素点，包括：
36.从所述深度图中的背景对象的像素点中确定出深度值小于深度阈值的候选像素点；
37.确定所述候选像素点在所述深度图中所处的范围和所述候选像素点的梯度幅值；所述梯度幅值表示所述候选像素点在预设梯度方向上与相邻像素点之间的深度差值；
38.根据所述候选像素点所处的范围和所述候选像素点的梯度幅值，从所述候选像素点中确定出待滤波像素点。
39.在一示例性实施例中，所述预设梯度方向为多个，所述根据所述候选像素点所处的范围和所述候选像素点的梯度幅值，从所述候选像素点中确定出待滤波像素点，包括：
40.若所述候选像素点处于第一范围，则当所述候选像素点在任一梯度方向上的梯度幅值大于第一阈值时，判定所述候选像素点为待滤波像素点；所述第一范围表示处于所述深度图的背景对象中且处于所述背景对象的第二边缘外的范围；
41.若所述候选像素点处于第二范围，则当所述候选像素点在任一梯度方向上的梯度幅值大于第二阈值时，判定所述候选像素点为待滤波像素点；其中，所述第一阈值大于所述第二阈值，所述第二范围表示处于所述深度图的背景对象中且处于所述背景对象的第二边缘内的范围。
42.在一示例性实施例中，在得到所述遮挡区域对应的补全背景图像之后，还包括：
43.根据所述已知背景图像以及所述补全背景图像，得到所述待处理图像各个图层的深度信息和rgb信息；
44.根据各所述图层的深度信息和rgb信息，得到所述待处理图像对应的重建的三维网格信息；
45.基于设定的新视角和所述三维网格信息，构建所述待处理图像的新视角图像。
46.根据本公开实施例的第二方面，提供一种图像处理装置，包括：
47.确定单元，被配置为执行获取待处理图像对应的深度图，从所述深度图中确定出
前景对象的第一边缘和背景对象的第二边缘；
48.泛洪单元，被配置为执行在所述深度图中对所述第一边缘的第一方向和所述第二边缘的第二方向分别进行第一泛洪处理，得到所述第一边缘泛洪后形成的前景区域和所述第二边缘泛洪后形成的已知背景区域，并基于所述前景区域确定遮挡区域；其中，所述遮挡区域表示被所述前景区域遮挡的背景区域；所述第一方向与所述第二方向相反；
49.补全单元，被配置为执行在所述深度图中通过所述已知背景区域对所述遮挡区域进行深度信息补全和rgb信息补全处理，得到所述遮挡区域对应的补全背景图像。
50.在一示例性实施例中，所述确定单元，还被配置为执行获取所述深度图中各像素点之间的连通关系，基于所述连通关系确定各像素点的连通像素点数目；其中，连通的两个像素点之间的深度差值在预设范围内；从所述深度图中确定出目标像素点；所述目标像素点对应的连通像素点数目小于数目阈值；基于所述目标像素点的深度值，将所述目标像素点划分为第一边缘的像素点或第二边缘的像素点，基于划分后的目标像素点得到所述第一边缘和所述第二边缘。
51.在一示例性实施例中，所述泛洪单元，还被配置为执行确定所述第一边缘趋向前景对象中心点的方向为第一方向，确定所述第二边缘背向所述前景对象中心点的方向为第二方向；基于所述深度图中各像素点之间的连通关系，对所述第一边缘的所述第一方向和所述第二边缘的所述第二方向分别进行第一泛洪处理。
52.在一示例性实施例中，所述待处理图像中至少包括第一对象、第二对象和第三对象，其中，所述第一对象为所述第二对象的前景对象，所述第二对象为所述第三对象的前景对象；所述补全单元，还被配置为执行获取所述第一对象的第一边缘与所述第二对象的第二边缘，作为第一对深度边缘，基于所述第一对深度边缘，得到所述第二对象的已知背景区域和被所述第一对象遮挡的遮挡区域；获取所述第二对象的第一边缘与所述第三对象的第二边缘，作为第二对深度边缘，基于所述第二对深度边缘，得到所述第三对象的已知背景区域和被所述第二对象遮挡的遮挡区域；若确定所述第一对象对所述第二对深度边缘不存在边缘遮挡，通过所述第二对象的已知背景区域，对所述第二对象被所述第一对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到所述第二对象对应的补全背景图像；通过所述第三对象的已知背景区域，对所述第三对象被所述第二对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到所述第三对象对应的补全背景图像。
53.在一示例性实施例中，所述补全单元，还被配置为执行获取所述第一对象的第一边缘与所述第三对象的第二边缘，作为第三对深度边缘，基于所述第二对深度边缘和所述第三对深度边缘，得到所述第三对象的已知背景区域、所述第三对象被所述第一对象遮挡的遮挡区域和所述第三对象被所述第二对象遮挡的遮挡区域；若确定所述第一对象对所述第二对深度边缘遮挡了部分，对所述第二对深度边缘中的被遮挡边缘进行边缘补全，得到补全的第二对深度边缘；通过所述第二对象的已知背景区域，对所述第二对象被所述第一对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到所述第二对象对应的补全背景图像；以及，通过所述第三对象的已知背景区域，对所述第三对象被所述第一对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到所述第三对象对应的初始补全图像；通过所述第三对象对应的初始补全图像，对所述第三对象被所述第二对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到所述第三对象对应的补全背景图像。
54.在一示例性实施例中，所述补全单元，还被配置为执行通过所述第三对象的已知背景区域，对所述第三对象被所述第一对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到所述第三对象被所述第一对象遮挡的遮挡区域的局部补全图像；基于所述局部补全图像中以及所述第三对象的已知背景区域中像素点之间的连通关系，对所述补全的第二对深度边缘中第二边缘的第二方向进行第二泛洪处理，得到所述第三对象的初始补全图像。
55.在一示例性实施例中，所述装置还包括检测单元，被配置为执行当检测到所述第二对深度边缘不连续时，确定所述第一对象对所述第二对深度边缘存在遮挡。
56.在一示例性实施例中，所述装置还包括滤波单元，被配置为执行从所述深度图中的背景对象的像素点中，确定出待滤波像素点；获取与所述背景对象对应的采样窗口，基于所述采样窗口对所述待滤波像素点进行中值滤波处理，得到滤波后的深度图；
57.所述泛洪单元，还被配置为执行在所述滤波后的深度图中，对所述第一边缘的第一方向和所述第二边缘的第二方向分别进行第一泛洪处理。
58.在一示例性实施例中，所述滤波单元，还被配置为执行从所述深度图中的背景对象的像素点中确定出深度值小于深度阈值的候选像素点；确定所述候选像素点在所述深度图中所处的范围和所述候选像素点的梯度幅值；所述梯度幅值表示所述候选像素点在预设梯度方向上与相邻像素点之间的深度差值；根据所述候选像素点所处的范围和所述候选像素点的梯度幅值，从所述候选像素点中确定出待滤波像素点。
59.在一示例性实施例中，所述预设梯度方向为多个，所述滤波单元，还被配置为执行若所述候选像素点处于第一范围，则当所述候选像素点在任一梯度方向上的梯度幅值大于第一阈值时，判定所述候选像素点为待滤波像素点；所述第一范围表示处于所述深度图的背景对象中且处于所述背景对象的第二边缘外的范围；若所述候选像素点处于第二范围，则当所述候选像素点在任一梯度方向上的梯度幅值大于第二阈值时，判定所述候选像素点为待滤波像素点；其中，所述第一阈值大于所述第二阈值，所述第二范围表示处于所述深度图的背景对象中且处于所述背景对象的第二边缘内的范围。
60.在一示例性实施例中，所述装置还包括新视角图像构建单元，被配置为执行根据所述已知背景图像以及所述补全背景图像，得到所述待处理图像各个图层的深度信息和rgb信息；根据各所述图层的深度信息和rgb信息，得到所述待处理图像对应的重建的三维网格信息；基于设定的新视角和所述三维网格信息，构建所述待处理图像的新视角图像。
61.根据本公开实施例的第三方面，提供一种电子设备，包括：
62.处理器；
63.用于存储所述处理器可执行指令的存储器；
64.其中，所述处理器被配置为执行所述指令，以实现如上任一项所述的方法。
65.根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如上任一项所述的方法。
66.根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如上任一项所述的方法。
67.本公开的实施例提供的技术方案至少带来以下有益效果：
68.该方法在获取待处理图像对应的深度图后，将深度图中的前景对象和背景对象通过第一边缘和第二边缘分隔开，然后分别对第一边缘和第二边缘进行第一泛洪处理，得到第一边缘泛洪后形成的前景区域和所述第二边缘泛洪后形成的已知背景区域，并基于所述前景区域确定遮挡区域，最后通过已知背景区域对所述遮挡区域进行深度信息补全和rgb信息补全处理，得到所述遮挡区域对应的补全背景图像。这种通过断开前景对象和背景对象交界处的像素点，形成第一边缘和第二边缘，分别对第一边缘和第二边缘进行泛洪处理，再进行补全的方法可以更准确地对区分前景对象和背景对象的深度断层区域的像素点，从而可准确地对断层区域附近的像素点进行深度信息补全和rgb信息补全，得到更为清晰、合理的补全结果。
69.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
70.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
71.图1是根据一示例性实施例示出的一种图像处理方法的流程示意图。
72.图2是根据一示例性实施例示出的一种图像泛洪过程的示意图。
73.图3是根据一示例性实施例示出的深度边缘在图像上的可视化效果和经过3次滤波后的深度图的示意图。
74.图4是根据一示例性实施例示出的新视角图像的示意图。
75.图5是根据一示例性实施例示出的图像处理方法的完整流程示意图。
76.图6是根据另一示例性实施例示出的定向补全结果的示意图。
77.图7是根据一示例性实施例示出的一种图像处理装置的结构框图。
78.图8是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
79.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
80.需要说明的是，以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
81.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。还需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
82.在一示例性实施例中，如图1所示，提供了一种图像处理方法，本实施例以该方法
应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本实施例中，该方法包括以下步骤：
83.在步骤s110中，获取待处理图像对应的深度图，从深度图中确定出前景对象的第一边缘和背景对象的第二边缘。
84.其中，深度图表示将从图像采集器到场景中各点的距离(深度)作为像素值的图像，深度图直接反映了景物可见表面的几何形状。
85.其中，第一边缘和第二边缘可以理解为对前景对象和背景对象交界处形成的深度边缘处的轮廓像素断开后得到的两个边缘，第一边缘上的像素点与第二边缘上的像素点的深度值存在较大落差，也就是说这两个边缘上的像素点不在同一平面上。例如，在图2中，海面与人体之间形成的人体的轮廓区域为深度断层区域，在该断层区域，更靠近人体方向的像素点构成第一边缘，更靠近海面的像素点构成第二边缘。
86.其中，前景和背景是一个相对的概念，前景对象可理解为图像中较靠近图像采集器(或称摄像头)的对象，表现一定的空间关系或人物关系。背景位于前景对象之后，为远离摄像机的景物。例如，参考图2，图2中的人体相对于海面或天空为前景对象，海面或天空相对于人体为背景对象，而海面相对于天空则为前景对象。
87.具体实现中，可通过训练完成的深度估计网络对待处理图像进行深度估计，得到待处理图像对应的深度图。其中，深度估计网络可采用深度卷积网络作为特征提取器，网络进行多次池化以降低分辨率，再通过反卷积层、上采样层、多尺度网络结构和跳连接等模块以预测高分辨率的深度图。在得到深度图后，确定深度图中深度值的变化大于阈值的位置，及前景对象和背景对象交界处的位置，将该位置处连接的像素断开，形成前景对象的第一边缘和背景对象的第二边缘。
88.在步骤s120中，在深度图中对第一边缘的第一方向和第二边缘的第二方向分别进行第一泛洪处理，得到第一边缘泛洪后形成的前景区域和第二边缘泛洪后形成的已知背景区域，并基于前景区域确定遮挡区域；其中，遮挡区域表示被前景区域遮挡的背景区域，第一方向与第二方向相反。
89.其中，第一方向可表示第一边缘趋向前景对象中心点的方向，第二方向可表示第二边缘背向前景对象中心点的方向。
90.其中，泛洪可表示将图像中相连通的像素点连接在一起的过程。
91.其中，遮挡区域表示被前景区域遮挡的背景区域。例如，参考图2，为一个实施例中基于检测到的第一边缘和第二边缘，对图像进行泛洪处理的示意图，图2中从左至右，依次为泛洪处理0次、50次、100次、150次和200次的示意图，在图2中，海面被人体遮挡的区域200b可表示遮挡区域，天空被海面遮挡的区域202b也可表示遮挡区域。
92.具体实现中，在得到深度图后，可先基于深度图中各个像素点的深度值，确定各个像素点之间的连通关系，以便于基于该连通关系对第一边缘的第一方向和第二边缘的第二方向分别进行第一泛洪处理，得到第一边缘泛洪后形成的前景区域和第二边缘泛洪后形成
的已知背景区域，基于前景区域确定遮挡区域。
93.更具体地，由于背景对象相对于前景对象距摄像头更远，因此深度值更大，故第一泛洪处理后深度值更大的区域为已知背景区域，深度值较小的区域为前景区域。例如，在图2中，对于人体和海面来说，趋向人体中心点方向即在人体轮廓内泛洪形成的区域200b为人体的前景区域，而背向人体中心点方向即在人体轮廓外泛洪形成的区域200a为海面的已知背景区域。对于天空和海面来说，趋向海面中心点方向即天空和海面的交界线下侧泛洪形成的区域202b为天空的前景区域，背向海面中心点方向即天空和海面的交界线上侧泛洪形成的区域202a为天空的已知背景区域。
94.进一步地，在得到第一边缘泛洪后形成的前景区域和第二边缘泛洪后形成的已知背景区域后，还可进行一致性检验，即检验前景区域中是否存在被判定为已知背景区域的像素点，已知背景区域中是否存在被判定为前景区域的像素点，并在出现这种情况时，进行校正。
95.在步骤s130中，在深度图中通过已知背景区域对遮挡区域进行深度信息补全和rgb信息补全处理，得到遮挡区域对应的补全背景图像。
96.其中，图像补全为一种根据图像自身或图像库信息来补全待修复图像的缺失区域，使得修复后的图像看起来较为自然的技术。
97.其中，rgb表示光学三原色，r代表red(红色)，g代表green(绿色)，b代表blue(蓝色)。
98.具体实现中，当待处理图像中只包括一个前景对象和一个背景对象时，可直接通过已知背景区域对遮挡区域进行深度信息补全和rgb信息补全处理。当待处理图像中至少包括第一对象、第二对象和第三对象时，对遮挡区域的补全可分为两种情况，一种为第一对象未遮挡第二对象和第三对象形成的深度边缘，此时，通过第二对象和第三对象各自的已知背景区域对各自的遮挡区域进行深度信息补全和rgb信息补全处理。另一种为第一对象遮挡了第二对象和第三对象形成的深度边缘，此时，需要先对被遮挡的边缘进行补全，再根据补全的边缘和已知背景区域对遮挡区域进行深度信息补全和rgb信息补全，得到遮挡区域对应的补全背景图像。
99.上述图像处理方法中，在获取待处理图像对应的深度图后，将深度图中的前景对象和背景对象通过第一边缘和第二边缘分隔开，然后分别对第一边缘和第二边缘进行第一泛洪处理，得到第一边缘泛洪后形成的前景区域和所述第二边缘泛洪后形成的已知背景区域，并基于所述前景区域确定遮挡区域，最后通过已知背景区域对所述遮挡区域进行深度信息补全和rgb信息补全处理，得到所述遮挡区域对应的补全背景图像。这种通过断开前景对象和背景对象交界处的像素点，形成第一边缘和第二边缘，分别对第一边缘和第二边缘进行泛洪处理，再进行补全的方法可以更准确地对区分前景对象和背景对象的深度断层区域的像素点，从而可准确地对断层区域附近的像素点进行深度信息补全和rgb信息补全，得到更为清晰、合理的补全结果。
100.在一示例性实施例中，上述步骤s110具体可以通过下述方式确定：获取深度图中各像素点之间的连通关系，基于连通关系确定各像素点的连通像素点数目；其中，连通的两个像素点之间的深度差值在预设范围内；从深度图中确定出目标像素点；目标像素点对应的连通像素点数目小于数目阈值；基于目标像素点的深度值，将目标像素点划分为第一边
缘的像素点或第二边缘的像素点，基于划分后的目标像素点得到第一边缘和第二边缘。
101.其中，连通像素点数目表示与像素点具有连通关系的像素点的数目。
102.具体实现中，第一边缘和第二边缘是深度值发生断层所产生的两个边缘，因此，第一边缘和第二边缘上的像素点与至少一个相邻的像素点之间的深度差值大于或等于差值阈值，即第一边缘和第二边缘上的像素点与至少一个相邻的像素点之间不具有连通关系，因此，可根据各个像素点的连通像素点数目来确定前景对象的第一边缘和背景对象的第二边缘。
103.更具体地，先根据深度图中各像素点之间的连通关系，确定各像素点的连通像素点数目，从各像素点中确定中连通像素点数目小于数目阈值的像素点，作为目标像素点，基于目标像素点的深度值，将深度值较大的目标像素点划分为背景对象的第二边缘的像素点，将深度值较小的目标像素点划分为前景对象的第一边缘的像素点，由此根据划分后的目标像素点，得到第一边缘和第二边缘。其中，数目阈值可以为4，即连通像素点数目小于4的像素点构成的边界线，可作为第一边缘或第二边缘的像素点。
104.本实施例中，通过深度图中各像素点的连通像素点数目，确定目标像素点，基于目标像素点的深度值，断开前景对象和背景对象交界处的像素点，得到第一边缘和第二边缘，可以保证所确定的第一边缘和第二边缘的准确性，以便于后续基于第一边缘和第二边缘得到准确的遮挡区域和前景区域。
105.在一示例性实施例中，步骤s120中，对第一边缘的第一方向和第二边缘的第二方向分别进行第一泛洪处理，包括：确定第一边缘趋向前景对象中心点的方向为第一方向，确定第二边缘背向前景对象中心点的方向为第二方向；基于深度图中各像素点之间的连通关系，对第一边缘的第一方向和第二边缘的第二方向分别进行第一泛洪处理。
106.具体实现中，在泛洪处理前，还需要确定深度图中各个像素点的深度值，基于深度值确定各个像素点之间的连通关系，具体为深度差值小于差值阈值时，判定两个像素点连通，反之不连通，进一步基于该连通关系进行泛洪处理。由于第一边缘为前景对象的边缘，因此，第一边缘的泛洪方向应为趋向前景对象中心点的方向，泛洪形成的为前景对象的前景区域，而第二边缘为背景对象的边缘，因此，第二边缘的泛洪方向应为背向前景对象中心点的方向，泛洪形成的区域为背景对象的已知背景区域。
107.本实施例中，基于深度图中各像素点之间的连通关系，对第一边缘的趋向前景对象中心点的方向和第二边缘的背向前景对象中心点的方向分别进行第一泛洪处理，以便于根据泛洪结果确定出准确的已知背景区域和遮挡区域，从而根据已知背景区域对遮挡区域进行图像补全。
108.在一示例性实施例中，待处理图像中至少包括第一对象、第二对象和第三对象，其中，第一对象为所述第二对象的前景对象，第二对象为第三对象的前景对象；上述步骤s130中，通过已知背景区域对遮挡区域进行深度信息补全和rgb信息补全处理，得到遮挡区域对应的补全背景图像，包括有两种情形，其中，第一种情形为：
109.步骤s130a，获取第一对象的第一边缘与第二对象的第二边缘，作为第一对深度边缘，基于第一对深度边缘，得到第二对象的已知背景区域和被第一对象遮挡的遮挡区域；获取第二对象的第一边缘与第三对象的第二边缘，作为第二对深度边缘，基于第二对深度边缘，得到第三对象的已知背景区域和被第二对象遮挡的遮挡区域；若确定第一对象对第二
对深度边缘不存在边缘遮挡，通过第二对象的已知背景区域，对第二对象被第一对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到第二对象对应的补全背景图像；通过第三对象的已知背景区域，对第三对象被第二对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到第三对象对应的补全背景图像。
110.举例说明，参考图2，将人体作为第一对象，海面作为第二对象，天空作为第三对象；将人体的第一边缘与海面的第二边缘，作为第一对深度边缘，基于第一对深度边缘得到海面的已知背景区域200a和海面被人体遮挡的遮挡区域200b；将海面的第一边缘与天空的第二边缘作为第二对深度边缘，基于第二对深度边缘得到天空的已知背景区域202a和天空被海面遮挡的遮挡区域202b。当人体未遮挡海面与天空的第二对深度边缘时，可根据海面的已知背景区域200a对海面被人体遮挡的遮挡区域200b进行深度信息补全和rgb信息补全，得到海面对应的补全背景图像。根据天空的已知背景区域202a对天空被海面遮挡的遮挡区域202b进行深度信息补全和rgb信息补全，得到天空对应的补全背景图像。
111.本实施例中，在待处理图像中存在至少三个对象，且第一对象对第二对深度边缘不存在边缘遮挡时，分别通过第二对象的已知背景区域对第二对象的遮挡区域进行深度信息补全和rgb信息补全，通过第三对象的已知背景区域对第三对象的遮挡区域进行深度信息补全和rgb信息补全，实现分区域的定向补全遮挡区域，以保证得到清晰、合理的补全结果。
112.在一示例性实施例中，上述步骤s130中，通过已知背景区域对遮挡区域进行深度信息补全和rgb信息补全处理，得到遮挡区域对应的补全背景图像的第二种情形为：
113.步骤s130b，获取第一对象的第一边缘与第三对象的第二边缘，作为第三对深度边缘，基于第二对深度边缘和第三对深度边缘，得到第三对象的已知背景区域、第三对象被第一对象遮挡的遮挡区域和第三对象被第二对象遮挡的遮挡区域；若确定第一对象对第二对深度边缘遮挡了部分，对第二对深度边缘中的被遮挡边缘进行边缘补全，得到补全的第二对深度边缘；通过第二对象的已知背景区域，对第二对象被第一对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到第二对象对应的补全背景图像；以及，通过第三对象的已知背景区域，对第三对象被第一对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到第三对象对应的初始补全图像；通过第三对象对应的初始补全图像，对第三对象被第二对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到第三对象对应的补全背景图像。
114.具体实现中，仍以图2为例，当天空与海面形成的第一对深度边缘被遮挡了部分边缘时，如图中区域20所示，除了人体与海面形成的第一对深度边缘，天空与海面形成的第二对深度边缘外，人体头部区域的第一边缘与天空的第二边缘还形成有第三对深度边缘，天空的遮挡区域除了被海面遮挡的遮挡区域外，还包括被人体遮挡的遮挡区域。在这种情况下进行图像补全时，需先对天空与海面形成的第二对深度边缘中的被人体头部遮挡的边缘进行边缘补全，得到补全的第二对深度边缘。然后通过海面的已知背景区域200a，对海面被人体遮挡的区域进行深度信息补全和rgb信息补全，得到海面的补全背景图像，以及，通过天空的已知背景区域，对天空被人体遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到天空对应的初始补全图像，再通过天空对应的初始补全图像，对天空被海面遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到天空对应的补全背景图像。
115.进一步地，在一示例性实施例中，在第二种情形中，通过第三对象的已知背景区域，对第三对象被第一对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到第三对象对应的初始补全图像，包括：通过第三对象的已知背景区域，对第三对象被第一对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到第三对象被第一对象遮挡的遮挡区域的局部补全图像；基于局部补全图像中以及第三对象的已知背景区域中像素点之间的连通关系，对补全的第二对深度边缘中第二边缘的第二方向进行第二泛洪处理，得到第三对象的初始补全图像。
116.具体地，通过天空的已知背景区域，对天空被人体遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到天空对应的初始补全图像的实现过程包括：先通过天空的已知背景区域，对天空被人体遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到天空被人体遮挡的遮挡区域的局部补全图像，基于局部补全图像以及天空的已知背景区域中像素点的连通关系，对补全的第二对深度边缘中天空的第二边缘的背向海面的第二方向进行第二泛洪处理，将泛洪后形成的区域对应的图像作为天空的初始补全图像。
117.本实施例中，在待处理图像中存在至少三个对象，且第一对象对第二对深度边缘遮挡了部分时，通过先后进行边缘补全、深度信息补全和rgb信息补全，解决遮挡边缘的补全问题，并对补全边缘进行二次泛洪、深度信息和rgb信息补全，得到多层补全结果，保证空间网格分层的合理性。
118.在一示例性实施例中，上述方法还包括：当检测到第二对深度边缘不连续时，确定第一对象对第二对深度边缘存在遮挡。
119.本实施例中，通过检测第二对深度边缘的连续性，根据检测结果确定第一对象是否遮挡了第二对深度边缘，从而可根据检测结果执行对应的补全方法。
120.在一示例性实施例中，在步骤s120中，在深度图中对第一边缘的第一方向和第二边缘的第二方向分别进行第一泛洪处理之前，还包括：
121.步骤s10，从深度图中的背景对象的像素点中，确定出待滤波像素点；
122.步骤s11，获取与背景对象对应的采样窗口，基于采样窗口对待滤波像素点进行中值滤波处理，得到滤波后的深度图；
123.步骤s120，在深度图中对第一边缘的第一方向和第二边缘的第二方向分别进行第一泛洪处理，包括：在滤波后的深度图中对第一边缘的第一方向和第二边缘的第二方向分别进行第一泛洪处理。
124.其中，中值滤波是一种非线性平滑技术，用于将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。
125.其中，采样窗口可以理解为待滤波像素点的邻域窗口，不同的背景对象可设置不同大小的采样窗口，采样窗口可依据背景对象的特征设置，例如，对于如海面、天空等范围较大的背景对象，可设置较大的采样窗口，对于如树木、垃圾筒等范围较小的背景对象，可设置较小的采样窗口。
126.具体实现中，为了检测到较为明显的边缘，在对深度图进行第一泛洪处理前，还可对深度图进行滤波处理，具体地，本实施例采用中值滤波方法对深度图进行滤波处理，以有效保持深度图中的边缘信息，但是由于中值滤波需要对每个kernel(核)内部进行排序，消耗的时间较多，因此，本公开采用改进的稀疏的中值滤波方法对深度图进行处理。
127.更具体地，可先从深度图中确定出无需进行滤波的对象所在的保护区域，将保护区域掩码处理，从保护区域外，即背景对象的像素点中确定出待滤波像素点，即处于保护区域内的像素点不进行滤波，然后根据背景对象的特征，确定对应的采样窗口，按照该采样窗口的大小，采用中值滤波方法对从深度图中确定出的待滤波像素点进行滤波处理，从而实现对深度图中深度边缘的细化处理，得到精细程度更高的深度图，即滤波后的深度图，进一步地，对具有更精细深度边缘的滤波后的深度图中的第一边缘的第一方向和第二边缘的第二方向分别进行第一泛洪处理。
128.例如，参考图3，示出了深度边缘在图像上的可视化效果和经过3次滤波后的深度图的示意图，图3中第一行图像为深度边缘在图像上的可视化效果，第二行图像为与第一行图像对应的深度图，从左至右分别为第一次滤波后的深度图、第二次滤波后的深度图和第三次滤波后的深度图。通过滤波处理，深度边缘可被细化到2个像素宽度，具有更高的精细程度。
129.本实施例中，在对第一边缘的第一方向和第二边缘的第二方向分别进行第一泛洪处理之前，先对深度图进行滤波处理，可以得到的精细程度更高、边缘信息更准确的深度图，并且通过将保护区域掩码处理，这种带掩码的稀疏中值滤波方法，可以减少时间的消耗。
130.进一步地，在一示例性实施例中，上述步骤s10中从深度图中的背景对象的像素点中，确定出待滤波像素点，可以通过下述方式实现：
131.步骤s10a，从深度图中的背景对象的像素点中，确定出深度值小于深度阈值的候选像素点；
132.步骤s10b，确定候选像素点在深度图中所处的范围和候选像素点的梯度幅值；梯度幅值表示候选像素点在预设梯度方向上与相邻像素点之间的深度差值；
133.步骤s10c，根据候选像素点所处的范围和候选像素点的梯度幅值，从候选像素点中确定出待滤波像素点。
134.其中，预设梯度方向可以为上、下、左、右等方向。
135.具体实现中，为了减少时间的消耗，在确定待滤波像素点前，可先根据深度图中各个像素点的深度值，对深度图中的背景对象的像素点进行初步筛选，从中筛选出处于背景对象中，且深度值小于深度阈值的像素点，作为候选像素点。可以理解的是，深度值大于深度阈值说明距离摄像头较远，因此，可不进行滤波，即远侧区域不进行滤波，只对深度值小于深度阈值的近侧区域进行滤波，以提高滤波的效率。由于滤波的目的是为了得到更精细的深度边缘，因此，在得到候选像素点后，还可基于深度边缘区域将候选像素点划分为在深度边缘区域内的候选像素点，和不在深度边缘区域内的候选像素点。根据候选像素点所处的范围以及候选像素点在预设梯度方向上的梯度幅值，确定候选像素点是否为待滤波像素点。
136.本实施例中，通过先从深度图中筛选出深度值小于深度阈值的候选像素点，然后根据候选像素点所处的范围和梯度幅值，从候选像素点中确定出待滤波像素点，实现针对性对对深度图的滤波处理，无需对深度图所有像素点进行滤波处理，从而可以提高对深度图进行滤波的效率，减少时间的消耗。
137.更进一步地，在一示例性实施例中，预设梯度方向为多个，在上述步骤s10c中，根
据候选像素点所处的范围和候选像素点的梯度幅值，从候选像素点中确定出待滤波像素点，具体包括：若候选像素点处于第一范围，则当候选像素点在任一梯度方向上的梯度幅值大于第一阈值时，判定候选像素点为待滤波像素点；第一范围表示处于深度图的背景对象中且处于背景对象的第二边缘区域外的范围；若候选像素点处于第二范围，则当候选像素点在任一梯度方向上的梯度幅值大于第二阈值时，判定候选像素点为待滤波像素点；其中，第一阈值大于第二阈值，第二范围表示处于深度图的背景对象中且处于背景对象的第二边缘内的范围。
138.可以理解的是，由于第一范围为处于背景对象的第二边缘外的范围，不确定是否存在其他深度边缘，因此，可采用数值较大的第一阈值进行待滤波像素点的确定，以确定是否存在其他深度边缘从而提取其他深度边缘，进行滤波。而第二范围为处于背景对象的第二边缘区域内的范围，已经确定存在深度边缘，因此可采用数值较小的第二阈值进行待滤波像素点的确定，以提高置信度。
139.具体实现中，可以预设上、下、左、右4个方向，对各个候选像素点进行梯度幅值的计算，当候选像素点在任一个梯度方向上的梯度幅值大于阈值时，则判定该候选像素点为待滤波像素点。更具体地，候选像素点所处的范围不同，对应的待滤波像素点的方法也不同，具体包括以下情形：
①
若候选像素点处于深度图的背景对象中且处于背景对象的第二边缘外的第一范围，则当候选像素点在任一梯度方向上的梯度幅值大于第一阈值时，判定候选像素点为待滤波像素点；
②
若候选像素点处于深度图的背景对象中且处于背景对象的第二边缘内的第二范围，则当候选像素点在任一梯度方向上的梯度幅值大于第二阈值时，判定候选像素点为待滤波像素点。在确定出待滤波像素点后，将待滤波像素点所在的区域标记为需要滤波的边缘区域，进行中值滤波。
140.本实施例中，通过自适应的选择滤波区域和保护区域，同时通过为不同的范围设置相应的阈值，通过这种双阈值方法提升深度边缘的连续性和准确性。
141.在一示例性实施例中，在步骤s130得到遮挡区域对应的补全背景图像之后，还包括：根据已知背景图像以及补全背景图像，得到待处理图像各个图层的深度信息和rgb信息；根据各图层的深度信息和rgb信息，得到待处理图像对应的重建的三维网格信息；基于设定的新视角和三维网格信息，构建待处理图像的新视角图像。
142.其中，新视角表示与待处理图像的原始拍摄视角不同的视角。
143.具体实现中，在得到各个遮挡区域对应的补全背景图像后，由于每个背景对象的第二边缘对应的补全背景图像都处于空间中不同的深度距离上，因此，需要将补全背景图像的深度信息和rgb信息加入待处理图像的图结构中，形成多个图层的深度和rgb信息的图结构，根据像素点在图结构中的连通关系，将同一图层的像素点连接起来，生成点云、面片和纹理坐标信息等，进行三维网格重建，得到待处理图像的场景完整的三维网格信息。进一步地，可根据设定的新视角对待处理图像场景的三维网格进行渲染，得到与设定的新视角对应的新视角图像。也可根据预设的相机轨迹，对待处理图像场景的三维网格进行渲染，得到一系列大幅度的新视角图像，进一步将各个视角的新视角图像合成为视频，由此得到具有空间感的3维图像运镜效果，此外在得到新视角图像后，还可以进一步进行人脸深度重建、深度融合以及加入空间3d粒子特效等处理。
144.例如，参考图4，为不同视角的新视角图像的示意图，图4中的第一幅图为原图，第
2、第3、第4幅图分别为基于原图生成的左下视图、右上视图和中间视图。
145.本实施例中，在得到遮挡区域对应的清晰、合理的补全背景图像后，根据补全背景图像得到各个图层的深度信息和rgb信息，进而得到待处理图像完整的三维网格信息，从而可实现大幅度的新视角图像的构建，克服传统方法只能通过小幅度的位姿变换生成新视角的缺陷。
146.本公开通过深度边缘提取和泛洪算法找到遮挡区域，采用定向的图像补全方法对遮挡区域的边缘、深度信息和rgb信息进行补全，得到补全后的3d场景网格，并渲染出新视角图像，此外，该方法也可以结合人像分割和人脸重建增强人体立体感，实现更逼真的3d效果。
147.在一示例性实施例中，为了便于本领域技术人员理解本公开实施例，以下将结合附图的具体示例进行说明，参考图5，为一个应用实例中图像处理方法的完整流程示意图，主流程可分为三部分：深度估计模型优化、深度图后处理技术和图像补全算法优化，总体流程如下：
148.步骤s510，通过深度估计网络模型预测待处理图像对应的深度图。
149.其中，深度估计网络采用深度卷积网络作为特征提取器，网络进行多次池化以降低分辨率，再通过反卷积层、上采样层、多尺度网络结构和跳连接等模块预测高分辨率的深度图，并从数据优化、网络结构改进和损失函数设计方面达到较高的精确度，并采用预测分割、offset等辅助分支进行优化，以得到预测精度较高的深度图。
150.步骤s520，对深度图进行稀疏中值滤波得到明显的第一边缘和第二边缘，具体步骤为：
151.(1)根据预设深度阈值，将深度图中的像素点分为深度值小于深度阈值的像素点和深度值大于深度阈值的像素点，其中，深度值大于深度阈值的像素点不进行滤波，即远侧的像素点不进行滤波和边缘提取。
152.(2)对深度值小于深度阈值的像素点，在上、下、左、右4个方向进行梯度幅值的计算。
153.(3)根据输入的第二边缘区域对应的第二边缘掩码和保护区域(即前景对象所在的区域)对应的保护掩码，对深度值小于深度阈值的区域，执行双阈值边缘提取算法：
154.a)在保护掩码内，不进行边缘提取和滤波；
155.b)在保护掩码外且在第二边缘掩码外，当任一方向的梯度幅值大于第一阈值th时，标记对应的区域记为待滤波的边缘区域，否则，记为非边缘区域；
156.c)在保护掩码外的第二边缘掩码中，当任一方向的梯度幅值大于第二阈值th2时，标记对应的区域记为待滤波的边缘区域，否则，记为非边缘区域。其中，th》th2。
157.(4)对于kernel(核)内部标记为待滤波的边缘区域，进行中值滤波。
158.通过以上步骤，可将深度边缘细化到2个像素宽度，精细程度较高，如图4所示，为经过3次滤波后的图像和深度图的结果，边缘逐渐细化。
159.步骤s530，对第一边缘的第一方向和第二边缘的第二方向分别进行泛洪，得到遮挡区域掩码和已知背景区域掩码，具体步骤包括：
160.(1)根据像素点的坐标位置和深度，构成一个3维节点，加入图结构。
161.(2)根据预设的差值阈值，判断各个节点之间是否连通。具体为若两个节点之间的
深度差值小于差值阈值，则判定连通，否则不连通。
162.(3)通过连通域分析结果，对第一边缘的第一方向和第二边缘的第二方向分别进行第一泛洪处理，得到第一边缘泛洪后形成的前景区域和第二边缘泛洪后形成的已知背景区域，基于前景区域确定遮挡区域，并对泛洪结果进行一致性检验。
163.步骤s540，通过已知背景区域对遮挡区域先后进行边缘补全、深度补全和rgb补全。具体包括：
164.(1)不存在边缘遮挡的情况，对各遮挡区域分区域进行定向补全，每次补全都根据已知背景区域和遮挡区域进行bbox提取，在bbox区域内，通过已知背景区域向遮挡区域进行定向扩散，得到清晰、合理的补全结果。
165.(2)对于存在边缘遮挡的情况(两条边缘相交)，先对遮挡的边缘进行补全，得到补全边缘后记录补全的近侧区域和远侧区域，以便后续执行第二泛洪以及深度信息和rgb信息的补全。在进行深度信息补全和rgb信息补全后，将补全结果融合到已知背景图像中。
166.通过以上步骤，可以得到合理、清晰的补全rgb图像，对于每条边缘对应的补全背景图像，都处在空间中不同的深度距离上，因此，需要将补全结果加入图结构中，形成多层深度和rgb图像的图结构，并根据连接关系将同一图层的节点连接起来。
167.参考图6，为定向补全结果的示意图，图中从左至右依次为纹理掩码图、补全掩码图、纹理rgb图、补全背景图像和补全深度图。
168.步骤s550，根据补全背景图像和待处理图像，进行三维网络信息重建。
169.步骤s560，根据用户预设的相机轨迹，对三维网格进行渲染，即可得到相应的运镜效果，得到新视角图像。
170.本实施例提出的图像处理方法，具有以下有益效果：
171.(1)通过带掩码的稀疏中值滤波提升精细的深度边缘，自适应的选择待滤波区域和保护区域，同时通过双阈值提升深度边缘的连续性和准确性。
172.(2)通过图结构上的连通域分析提取深度边缘，并进行一致性检查，保持边缘的连续性和准确性，并通过泛洪得到遮挡区域和已知背景区域，保证遮挡区域和已知背景区域的合理性。
173.(3)通过分区域定向补全，向遮挡的补全区域进行定向扩散，保证得到清晰、合理的补全结果。
174.(4)通过边缘补全、深度补全和rgb图像补全解决遮挡边缘的补全问题，并对补全边缘进行二次泛洪、深度和rgb图像补全，得到多层补全结果，保证空间mesh分层的合理性。
175.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
176.可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见，每个实施例重点说明的是与其他实施例的不同之处，相关之处参见其他方法实施例
的说明即可。
177.基于同样的发明构思，本公开实施例还提供了一种用于实现上述所涉及的图像处理方法的图像处理装置。
178.图7是根据一示例性实施例示出的一种图像处理装置的结构框图。参照图7，该装置包括：确定单元710、泛洪单元720和补全单元730，其中，
179.确定单元710，被配置为执行获取待处理图像对应的深度图，从深度图中确定出前景对象的第一边缘和背景对象的第二边缘；
180.泛洪单元720，被配置为执行在深度图中对第一边缘的第一方向和第二边缘的第二方向分别进行第一泛洪处理，得到第一边缘泛洪后形成的前景区域和第二边缘泛洪后形成的已知背景区域，并基于前景区域确定遮挡区域；其中，遮挡区域表示被前景区域遮挡的背景区域；第一方向与第二方向相反；
181.补全单元730，被配置为执行在深度图中通过已知背景区域对遮挡区域进行深度信息补全和rgb信息补全处理，得到遮挡区域对应的补全背景图像。
182.在一示例性实施例中，确定单元710，还被配置为执行获取深度图中各像素点之间的连通关系，基于连通关系确定各像素点的连通像素点数目；其中，连通的两个像素点之间的深度差值在预设范围内；从深度图中确定出目标像素点；目标像素点对应的连通像素点数目小于数目阈值；基于目标像素点的深度值，将目标像素点划分为第一边缘的像素点或第二边缘的像素点，基于划分后的目标像素点得到第一边缘和第二边缘。
183.在一示例性实施例中，泛洪单元720，还被配置为执行确定第一边缘趋向前景对象中心点的方向为第一方向，确定第二边缘背向前景对象中心点的方向为第二方向；基于深度图中各像素点之间的连通关系，对第一边缘的第一方向和第二边缘的第二方向分别进行第一泛洪处理。
184.在一示例性实施例中，待处理图像中至少包括第一对象、第二对象和第三对象，其中，第一对象为第二对象的前景对象，第二对象为第三对象的前景对象；补全单元730，还被配置为执行获取第一对象的第一边缘与第二对象的第二边缘，作为第一对深度边缘，基于第一对深度边缘，得到第二对象的已知背景区域和被第一对象遮挡的遮挡区域；获取第二对象的第一边缘与第三对象的第二边缘，作为第二对深度边缘，基于第二对深度边缘，得到第三对象的已知背景区域和被第二对象遮挡的遮挡区域；若确定第一对象对第二对深度边缘不存在边缘遮挡，通过第二对象的已知背景区域，对第二对象被第一对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到第二对象对应的补全背景图像；通过第三对象的已知背景区域，对第三对象被第二对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到第三对象对应的补全背景图像。
185.在一示例性实施例中，补全单元730，还被配置为执行获取第一对象的第一边缘与第三对象的第二边缘，作为第三对深度边缘，基于第二对深度边缘和第三对深度边缘，得到第三对象的已知背景区域、第三对象被第一对象遮挡的遮挡区域和第三对象被第二对象遮挡的遮挡区域；若确定第一对象对第二对深度边缘遮挡了部分，对第二对深度边缘中的被遮挡边缘进行边缘补全，得到补全的第二对深度边缘；通过第二对象的已知背景区域，对第二对象被第一对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到第二对象对应的补全背景图像；以及，通过第三对象的已知背景区域，对第三对象被第一对象遮挡的遮挡
区域进行深度信息补全和rgb信息补全，得到第三对象对应的初始补全图像；通过第三对象对应的初始补全图像，对第三对象被第二对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到第三对象对应的补全背景图像。
186.在一示例性实施例中，补全单元730，还被配置为执行通过第三对象的已知背景区域，对第三对象被第一对象遮挡的遮挡区域进行深度信息补全和rgb信息补全，得到第三对象被第一对象遮挡的遮挡区域的局部补全图像；基于局部补全图像中以及第三对象的已知背景区域中像素点之间的连通关系，对补全的第二对深度边缘中第二边缘的第二方向进行第二泛洪处理，得到第三对象的初始补全图像。
187.在一示例性实施例中，装置还包括检测单元，被配置为执行当检测到第二对深度边缘不连续时，确定第一对象对第二对深度边缘存在遮挡。
188.在一示例性实施例中，装置还包括滤波单元，被配置为执行从深度图中的背景对象的像素点中，确定出待滤波像素点；获取与背景对象对应的采样窗口，基于采样窗口对待滤波像素点进行中值滤波处理，得到滤波后的深度图；
189.泛洪单元720，还被配置为执行在滤波后的深度图中，对第一边缘的第一方向和第二边缘的第二方向分别进行第一泛洪处理。
190.在一示例性实施例中，滤波单元，还被配置为执行从深度图中的背景对象的像素点中确定出深度值小于深度阈值的候选像素点；确定候选像素点在深度图中所处的范围和候选像素点的梯度幅值；梯度幅值表示候选像素点在预设梯度方向上与相邻像素点之间的深度差值；根据候选像素点所处的范围和候选像素点的梯度幅值，从候选像素点中确定出待滤波像素点。
191.在一示例性实施例中，预设梯度方向为多个，滤波单元，还被配置为执行若候选像素点处于第一范围，则当候选像素点在任一梯度方向上的梯度幅值大于第一阈值时，判定候选像素点为待滤波像素点；第一范围表示处于深度图的背景对象中且处于背景对象的第二边缘外的范围；若候选像素点处于第二范围，则当候选像素点在任一梯度方向上的梯度幅值大于第二阈值时，判定候选像素点为待滤波像素点；其中，第一阈值大于第二阈值，第二范围表示处于深度图的背景对象中且处于背景对象的第二边缘内的范围。
192.在一示例性实施例中，装置还包括新视角图像构建单元，被配置为执行根据已知背景图像以及补全背景图像，得到待处理图像各个图层的深度信息和rgb信息；根据各图层的深度信息和rgb信息，得到待处理图像对应的重建的三维网格信息；基于设定的新视角和三维网格信息，构建待处理图像的新视角图像。
193.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
194.图8是根据一示例性实施例示出的一种用于实现图像处理方法的电子设备800的框图。例如，电子设备800可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
195.参照图8，电子设备800可以包括以下一个或多个组件：处理组件802、存储器804、电源组件806、多媒体组件808、音频组件810、输入/输出(i/o)的接口812、传感器组件814以及通信组件816。
196.处理组件802通常控制电子设备800的整体操作，诸如与显示、电话呼叫、数据通
信、相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
197.存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)、电可擦除可编程只读存储器(eeprom)、可擦除可编程只读存储器(eprom)、可编程只读存储器(prom)、只读存储器(rom)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。
198.电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
199.多媒体组件808包括在所述电子设备800和用户之间的提供输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是固定的光学透镜系统或具有焦距和光学变焦能力。
200.音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括麦克风(mic)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括扬声器，用于输出音频信号。
201.i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
202.传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800组件的位置改变，用户与电子设备800接触的存在或不存在，设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
203.通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如wifi，运营商网络(如2g、3g、4g或5g)，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通
信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
204.在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
205.在一示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述方法。例如，计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
206.在一示例性实施例中，还提供了一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备800的处理器820执行以完成上述方法。
207.需要说明的，上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
208.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
209.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。