一种深度图人像边缘优化方法及处理装置与流程

本发明涉及视觉及图像处理技术领域，尤其涉及一种深度图人像边缘优化方法及处理装置。

背景技术：

随着科学技术的发展，目前双摄算法已基本成为智能手机的标配之一，很多智能手机厂商都纷纷推出自己的人像背景虚化效果，以期望在手机上获得与单反相机近似的背景虚化效果，提升人像拍摄的美学效果。但是，因受到双摄摄像头成像效果不一致、运动模糊、光噪声等影响，获取到深度图像中，人像深度图中的人像边缘往往是不完整的，人像边缘的深度信息准确性比较低，并不能很好的贴近人像的真实边界，直接使用这种深度图直接对背景进行虚化，会造成人像边缘有锯齿、部分人像被虚化，部分背景未虚化等问题，在某些场景下的虚化效果不理想，这为用户的使用带来了不便。

技术实现要素：

本发明提出的一种深度图人像边缘优化方法及处理装置，以优化人像深度图人像边缘，使得人像的边缘更完整。

根据本发明的第一方面，提出一种深度图人像边缘优化处理装置，包括：

深度图像采集模块，置信度估计模块，深度学习模块，人像特征训练模块，以及边缘优化模块；

所述深度图像采集模块获取人像的深度图与原图；

所述置信度估计模块将所述深度图像转化为包括前景、背景、未知的三元图；

所述深度学习模块结合原图对所述三元图进行估计与修正，得到修正后的三元图；

所述人像特征训练模块根据所述修正后的三元图以及原图，对原图上前景、背景上的点进行分类训练，获得分类模型；以及

所述边缘优化模块根据所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测和深度填充，得到优化后的人像深度图像。

根据本发明的第二方面，提供一种深度图人像边缘优化方法，包括步骤：

深度图像采集模块获取人像的深度图与原图，将深度图以及原图传输给置信度估计模块；

所述置信度估计模块将深度图像转化为包括前景、背景、未知的三元图，并将所述原图与所述三元图传输到深度学习模块中；

所述深度学习模块对所述三元图进行估计与修正，得到修正后的三元图，然后将所述修正后的三元图与原图传输给人像特征训练模块；

所述人像特征训练模块根据所述修正后的三元图以及原图，对原图上前景、背景上的点进行分类训练获得分类模型，使分类模型可以准确的估计前景与背景点；以及

所述边缘优化模块获取所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测和深度填充，得到优化后的人像深度图像。

本发明实施例中，可以快速准确的对人像深度图边缘进行优化，提高人像深度图的边缘深度信息的准确性，能更好的逼近人像的真实边界。

另外，根据本发明的一个实施例，所述边缘优化模块根据所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测包括：将所述未知区域准确的分为前景与背景。

另外，根据本发明的一个实施例，所述深度图像采集模块利用包括双摄模组或rgbd摄像头获取到人像的深度图与原图。可见，本发明可以应用于成像效果不一致、运动模糊、光噪声的摄像头中，从而具有更好的应用范围。

另外，根据本发明的一个实施例，所述置信度估计模块将深度图像转化为包括前景、背景、未知的三元图，并将所述原图与所述三元图传输到深度学习模块中的步骤包括：

定义深度图d的宽度为w，高度为h，统计深度图中心部分宽度为2*p*w，高度为2*p*h的区域的平均深度d，p的取值范围在0.1到0.9之间；x，y表示图的坐标位置，即第x行第y列

；

以d+th为阈值将深度图二值化得到二值化图h，其中th为设定的经验值，th取值范围在10cm到60cm之间，建立三元图s1，将二值化图h上为0的点在三元图标记为255，将二值化图h为1的点标记为0

；

将三元图s1进行边缘检测得到边缘图b，将三元图s1上距离边缘小于sp的点标记为127，并认为是未知区域，得到过渡图s2，其中sp为设定的经验值，sp取值范围在图像宽度的1/30至1/15之间；

将过渡图s2与原图叠加为4通道图送入所述深度学习模块中，从而在所述深度学习模块中得到修正后的三元图s3。

另外，根据本发明的一个实施例，所述人像特征训练模块根据所述修正后的三元图以及原图，对原图上前景、背景上的点进行分类训练获得分类模型包括：

a、对原图，使用网络进行前向处理，得到预测结果s4，在修正后的三元图s3不等于127的点与预测结果s4中对应的点之间计算欧氏距离损失，得到损失值loss，然后求损失值loss的均值lossave

b、定义学习率为lr，对网络进行反向传播，逐层的更新参数，

定义：，w1为网络中的一个参数，

求解出lossave对w1的偏导数

，

则w1更新后的结果w1-new为

c、重复a与b，直到得到的lossave达到稳定，波动小于设定阈值，则保存此时的参数，作为训练好的分类模型。

另外，根据本发明的一个实施例，所述边缘优化模块获取所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测和深度填充，得到优化后的人像深度图像包括：

使用获取到的分类模型对修正后的三元图s3与原图的叠加图进行前背景预测，得到预测结果s；

利用预测结果s对深度图d进行优化，得到优化后的深度图dnew

其中dnear为预测结果s上等于0的点集中距离点（x,y）最近的点的深度。

附图说明

图1为本发明实施例中深度图人像边缘优化处理装置的示意图；

图2为本发明实施例中深度图人像边缘优化方法的流程示意图；

图3为本发明实施例中深度图人像边缘优化方法的示意图一；

图4为本发明实施例中深度图人像边缘优化方法的示意图二。

具体实施方式

下面将结合示意图对本发明的深度图人像边缘优化方法及处理装置进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明，而仍然实现本发明的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。

实施例1

本发明实施例1提供了一种深度图人像边缘优化处理装置。下面对本实施例的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。本实施例的示意图可参考图1，包括：

深度图像采集模块，置信度估计模块，深度学习模块，人像特征训练模块，以及边缘优化模块；

所述深度图像采集模块获取人像的深度图与原图；

所述置信度估计模块将所述深度图像转化为包括前景、背景、未知的三元图；

所述深度学习模块结合原图对所述三元图进行估计与修正，得到修正后的三元图；

所述人像特征训练模块根据所述修正后的三元图以及原图，对原图上前景、背景上的点进行分类训练，获得分类模型；以及

所述边缘优化模块根据所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测和深度填充，得到优化后的人像深度图像。

由此，本发明实施例对人像深度图人像边缘的优化的实现提供了结构上的保证。

实施例2

本发明实施例2提供了一种深度图人像边缘优化处理装置。下面对本实施例的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。本实施例中，具体包括：

所述深度图像采集模块可以是包括双摄模组或rgbd摄像头。或者，其他任何类型的摄像模组。

所述置信度估计模块可以是与所述深度图像采集模块和所述深度学习模块相连接并交互，能够将深度图像转化为包括前景、背景、未知的三元图，并将所述原图与所述三元图传输到深度学习模块中。

所述置信度估计模块至少具有如下特征：

能够对深度图d进行定义，例如包括宽度w，高度h，统计深度图中心部分宽度为2*p*w，高度为2*p*h的区域的平均深度d，p的取值范围在0.1到0.9之间，例如0.2、0.3、0.4、0.5、0.6、0.7、0.8等；x，y表示图的坐标位置，即第x行第y列

可以将深度图二值化得到二值化图h，在二值化过程中，能够根据经验值设置阈值d+th，其中th为设定的经验值，th取值范围在10cm到60cm之间，例如，15cm、20cm、25cm、30cm、35cm、40cm、45cm、50cm、55cm等，并建立三元图s1，同时，将二值化图h上的点进行标记，例如二值化图h上为0的点在三元图标记为255，二值化图h为1的点标记为0

可以对三元图s1进行边缘检测得到边缘图b，同时对三元图s1上距离边缘小于设定值sp的点进行标记，例如可以标记为127，并判定是未知区域，得到过渡图s2，其中sp为设定的经验值，sp取值范围在图像宽度的1/30至1/15之间，例如1/16、1/17、1/18、1/19、1/20、1/21、1/22、1/23、1/24、1/25、1/26、1/27、1/28、1/29等；

在获得上述内容后，能够将过渡图s2与原图i叠加为4通道图送入所述深度学习模块中，得到修正后的三元图s3。

所述深度学习模块可以是预先训练好的深度学习网络。所述深度学习模块在得到修正后的三元图s3后，将所述修正后的三元图与原图传输给人像特征训练模块。

所述人像特征训练模块可以根据所述修正后的三元图以及原图，对原图上前景、背景上的点进行分类训练获得分类模型，使分类模型可以准确的估计前景与背景点。所述人像特征训练模块至少包括如下特征：

a、可以对原图i使用网络进行前向处理，得到预测结果s4，并在修正后的三元图s3不等于127的点与预测结果s4中对应的点之间计算欧氏损失（euclideanloss），得到损失值loss，然后求损失值loss的均值lossave；

b、可以定义学习率lr，对网络进行反向传播，逐层的更新参数，

例如定义：，w1为网络中的一个参数，

求解lossave对w1的偏导数

，

则w1更新后的结果w1-new为

，

c、重复a与b，直到得到的lossave达到稳定，波动小于设定阈值，则保存此时的参数，作为训练好的分类模型。

所述边缘优化模块与所述人像特征训练模块连接并交互，从而可以获取所述分类模型，并对所述修正后的三元图上的未知区域内的点进行预测和深度填充，得到优化后的人像深度图像。所述边缘优化模块至少具有如下特征：

能够使用获取到的分类模型对修正后的三元图s3与原图的叠加图进行前背景预测，得到预测结果s。

可以利用预测结果s对深度图d进行优化，得到优化后的深度图dnew

，

其中dnear为预测结果s上等于0的点集中距离点（x,y）最近的点的深度。

进一步的，上述处理装置可以采用单独的供电模块，或者外接电源。

实施例3

本发明实施例3提供了一种深度图人像边缘优化方法。下面对本实施例的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。本实施例的示意图可参考图2，包括：

步骤s11，深度图像采集模块获取人像的深度图与原图，将深度图以及原图传输给置信度估计模块；

步骤s12，所述置信度估计模块将深度图像转化为包括前景、背景、未知的三元图，并将所述原图与所述三元图传输到深度学习模块中；

步骤s13，所述深度学习模块对所述三元图进行估计与修正，得到修正后的三元图，然后将所述修正后的三元图与原图传输给人像特征训练模块；

步骤s14，所述人像特征训练模块根据所述修正后的三元图以及原图，对原图上前景、背景上的点进行分类训练获得分类模型，使分类模型可以准确的估计前景与背景点；以及

步骤s15，所述边缘优化模块获取所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测和深度填充，得到优化后的人像深度图像。

本实施例的方法，能够快速准确的对人像深度图边缘进行优化，提高人像深度图的边缘深度信息的准确性，能更好的逼近人像的真实边界。

实施例4

本发明实施例4提供了一种深度图人像边缘优化方法，并且可以是在实施例3的基础上进一步优化，其中，相同或相似的部分省略其描述。下面对本实施例的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。本实施例的示意图可参考图2-4，包括：

对于步骤s11，深度图像采集模块获取人像的深度图与原图，将深度图以及原图传输给置信度估计模块。可以是，所述深度图像采集模块利用双摄模组或rgbd摄像头获取到人像的深度图与原图。

对于步骤s12，所述置信度估计模块将深度图像转化为包括前景、背景、未知的三元图，并将所述原图与所述三元图传输到深度学习模块中的步骤包括：

（3.1）定义深度图d的宽度为w，高度为h，统计深度图中心部分宽度为2*p*w，高度为2*p*h的区域的平均深度d，p的取值范围在0.1到0.9之间，例如0.2、0.3、0.4、0.5、0.6、0.7、0.8等；x，y表示图的坐标位置，即第x行第y列

（3.2）以d+th为阈值将深度图二值化得到二值化图h，其中th为设定的经验值，th取值范围在10cm到60cm之间，例如，15cm、20cm、25cm、30cm、35cm、40cm、45cm、50cm、55cm等，建立三元图s1，将二值化图h上为0的点在三元图标记为255，将二值化图h为1的点标记为0

（3.3）将三元图s1进行边缘检测得到边缘图b，将三元图s1上距离边缘小于设定值sp的点标记为127，并认为是未知区域，得到过渡图s2，其中sp为设定的经验值，sp取值范围在图像宽度的1/30至1/15之间，例如1/16、1/17、1/18、1/19、1/20、1/21、1/22、1/23、1/24、1/25、1/26、1/27、1/28、1/29等；

，

（3.4）将过渡图s2与原图i叠加为4通道图送入所述深度学习模块中，从而在所述深度学习模块中得到修正后的三元图s3。

其中，图3示意性的表示了一种深度学习过程，可以理解的是，本领域技术人员可以采取现有技术中任何常见的深度学习方法来完成本步骤。

具体在图3中，conv+bn+relu表示对图像连续进行卷积处理，数据标准化处理和激活处理；sub-pixelconv表示对图像进行子像素卷积处理；maxpooling表示对图像进行局部最大池化处理；resblock表示对图像进行一个残差块特征提取处理，即对图像进行卷积，数据标准化，激活，再卷积，再数据标准化，然后与输入图逐像素求差值作为输出；globalconv表示全局卷积。

对于步骤s14，所述人像特征训练模块根据所述修正后的三元图以及原图，对原图上前景、背景上的点进行分类训练获得分类模型，使分类模型可以准确的估计前景与背景点。可参考图4，具体包括：

a、对原图i，使用网络进行前向处理，得到预测结果s4，在修正后的三元图s3不等于127的点与预测结果s4中对应的点之间计算欧氏损失（euclideanloss），得到损失值loss，然后求损失值loss的均值lossave

b、定义学习率为lr，对网络进行反向传播，逐层的更新参数，

定义：，w1为网络中的一个参数，

求解出lossave对w1的偏导数

，

则w1更新后的结果w1-new为

，

c重复a与b，直到得到的lossave达到稳定，波动小于设定阈值，则保存此时的参数，作为训练好的分类模型。

对于步骤s15，所述边缘优化模块获取所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测和深度填充，得到优化后的人像深度图像。具体包括：

（5.1）使用获取到的分类模型对修正后的三元图s3与原图的叠加图进行前背景预测，得到预测结果s；

（5.2）利用预测结果s对深度图d进行优化，得到优化后的深度图dnew

其中dnear为预测结果s上等于0的点集中距离点（x,y）最近的点的深度。

图4中还示例了可能涉及到的具体算法，其中resblock表示对图像进行一个残差块特征提取处理，即对图像进行卷积，数据标准化，激活，再卷积，再数据标准化，然后与输入图逐像素求差值作为输出；convlstmcell表示对图像进行空间深度学习，是一种改进的全连接处理方式，使得网络可以通过输入的多维特征图分析出各像素点的局部空间特性。

上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。