一种利用RGB图和深度图更换背景的方法与流程

本发明涉及图像处理领域，具体地，涉及一种利用rgb图和深度图更换背景的方法。

背景技术：

1、在工作和生活的很多场景中，都需要对图像中提取目标对象，并替换图片图像，比如证件照、宣传照等。而在很多应用场景中，需要对视频进行连续的处理，比如主播、电视节目、视频广告等，通过对背景的替换，可以大大降低相应的制作成本，并节省准备工作所需要的时间和工作量。

2、在现有技术中，通过对rgb图像进行判断来识别前景与背景，从而实现目标对象的提取。

3、某说明书实施例公开了一种人脸识别方法、装置以及电子设备，所述方法包括：获取待识别人脸图像；根据所述待识别人脸图像，获得分别用于表示各通道的像素点通道值扩散速度的多个第一图像；基于所述多个第一图像，确定用于表示所述待识别人脸图像的灰量扩散速度的第二图像；根据所述第二图像，识别所述待识别人脸图像。识别过程中，可以利用预设的深度学习模型根据该灰量扩散速度图像识别待识别人脸图像是否为活体。

4、某发明提出一种图像识别方法、装置、计算机设备和存储介质，其中，方法包括：获取待识别的图像，采用训练后的第一卷积神经网络模型，对待识别图像进行图像识别，以确定待识别的图像中所展示的对象，其中，第一卷积神经网络模型包括用于提取图像全局特征的第一路卷积神经网络和用于提取图像局部特征的第二路卷积神经网络。通过训练后的第一卷积神经网络模型，对待识别图像进行识别。

5、现有技术中的方案得到的图像识别效果差，尤其对于边缘及目标识别效果差。部分现有技术采用大量的计算以提高识别精度，但造成数据的处理量大大增加，难以实时处理大量数据，更无法实时处理视频。

技术实现思路

1、为此，本发明通过对rgb图像进行目标对象识别，并通过深度图对其进行快速优化，在获得高精度的目标对象的同时，还可以快速响应，对算力要求低，可以对视频进行实时处理。

2、第一方面，本发明提供一种利用rgb图和深度图更换背景的方法，其特征在于，包括如下步骤：

3、s1：获取同一场景的rgb图和深度图；其中，所述rgb图和所述深度图拍摄角度相近；

4、s2：通过所述rgb图识别目标对象；

5、s3：建立所述rgb图与替换图片的像素级对应关系；

6、s4：根据所述深度图对所述目标对象的边缘进行优化，得到精确目标对象；

7、s5：将所述精确目标对象置于所述替换图片中，以得到更换背景后的图像。

8、可选地，所述的一种利用rgb图和深度图更换背景的方法，其特征在于，所述步骤s2包括：

9、s201:分别通过r通道、g通道和b通道识别目标对象，获得三个目标对象区域；

10、s202:对三个所述目标对象区域在所述rgb图上相加，得到目标对象。

11、可选地，所述的一种利用rgb图和深度图更换背景的方法，其特征在于，所述步骤s4包括：

12、s401:沿所述目标对象的轮廓线向两侧拓展一定像素值，得到边缘区域；所述边缘区域既包括所述目标对象的信息，又包括所述背景的信息；

13、s402:确定所述深度图中与所述边缘区域对应的深度区域；

14、s403：在所述深度区域中，从所述目标对象向所述背景的方向计算深度变化速率，当深度变化速率达到或超过预设值时，将该像素确定为边界；

15、s404：根据所述深度区域中所述边界，确定所述rgb图像中对应的像素并标记为边界；

16、s405:将所述rgb图和所述深度图中边界内的图像区域进行裁剪，得到所述rgb图和所述深度图中的精确目标对象。

17、可选地，所述的一种利用rgb图和深度图更换背景的方法，其特征在于，所述步骤s5包括：

18、s501:将所述替换图片与所述rgb图像对齐；

19、s502:将所述精确目标对象提取；

20、s503:将对齐后的所述替换图片替换掉所述rgb图和所述深度图中的背景信息；

21、s504：将所述精确目标对象置于所述替换图片上方的图层。

22、可选地，所述的一种利用rgb图和深度图更换背景的方法，其特征在于，所述步骤s5包括：

23、s501:将所述替换图片与所述rgb图像对齐；

24、s502:将所述精确目标对象提取；

25、s505：将所述精确目标对象和所述替换图片根据深度信息进行重组。

26、可选地，所述的一种利用rgb图和深度图更换背景的方法，其特征在于，在步骤s505中，如果所述精确目标对象和所述替换图片在三维空间中存在重叠，则将所述替换图片中的重叠内容向远离目标对象的方向进行挤压。

27、可选地，所述的一种利用rgb图和深度图更换背景的方法，其特征在于，在步骤s505中，如果所述替换图片中存在区域影响因素，则为所述精确目标对象增加响应特征；所述区域影响因素是指在三维空间中能够影响其他物体的因素。

28、第二方面，本发明提供了一种利用rgb图和深度图更换视频背景的方法，其特征在于，对视频中的每一帧执行上述的方法。

29、第三方面，本发明提供了一种利用rgb图和深度图更换背景的设备，其特征在于，包括：

30、处理器；

31、存储器，其中存储有所述处理器的可执行指令；

32、其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述利用rgb图和深度图更换背景的方法的步骤。

33、第四方面，本发明提供了一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现上述任意一项所述利用rgb图和深度图更换背景的方法的步骤。

34、与现有技术相比，本发明具有如下的有益效果：

35、本发明以rgb图像进行特征提取，可以利用现有技术中的各种成熟算法模型，可以与各种软件方便对接，提高系统的便利性。本发明可以利用现有rgb摄像头采集图像，无需全套rgb图和深度图，可以最大程度地节省成本，有利于本发明的应用推广。

36、本发明利用深度数据对目标对象进行优化，从而减小了对目标对象识别的精度要求，降低算法要求，提高了运算速度，提升了数据处理能力，从而适应于对视频的实时处理。

37、本发明通过深度数据对rgb图像进行优化，提升了数据识别的准确性，尤其对于边缘的识别效果大大提升，即通过对二维平面数据增加三维信息，使得准度性提升明显，实现了二维数据无法实现的效果，并且对于目标对象的信息更加明显。

技术特征：

1.一种利用rgb图和深度图更换背景的方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种利用rgb图和深度图更换背景的方法，其特征在于，所述步骤s2包括：

3.根据权利要求1所述的一种利用rgb图和深度图更换背景的方法，其特征在于，所述步骤s4包括：

4.根据权利要求1所述的一种利用rgb图和深度图更换背景的方法，其特征在于，所述步骤s5包括：

5.根据权利要求1所述的一种利用rgb图和深度图更换背景的方法，其特征在于，所述步骤s5包括：

6.根据权利要求5所述的一种利用rgb图和深度图更换背景的方法，其特征在于，在步骤s505中，如果所述精确目标对象和所述替换图片在三维空间中存在重叠，则将所述替换图片中的重叠内容向远离目标对象的方向进行挤压。

7.根据权利要求5所述的一种利用rgb图和深度图更换背景的方法，其特征在于，在步骤s505中，如果所述替换图片中存在区域影响因素，则为所述精确目标对象增加响应特征；所述区域影响因素是指在三维空间中能够影响其他物体的因素。

8.一种利用rgb图和深度图更换视频背景的方法，其特征在于，对视频中的每一帧执行权利要求1-7中任一项所述的方法。

9.一种利用rgb图和深度图更换背景的设备，其特征在于，包括：

10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至7中任意一项所述利用rgb图和深度图更换背景的方法的步骤。

技术总结
一种利用RGB图和深度图更换背景的方法，其特征在于，包括如下步骤：S1：获取同一场景的RGB图和深度图；S2：通过所述RGB图识别目标对象；S3：建立所述RGB图与替换图片的像素级对应关系；S4：根据所述深度图对所述目标对象的边缘进行优化，得到精确目标对象；S5：将所述精确目标对象置于所述替换图片中，以得到更换背景后的图像。本发明在获得高精度的目标对象的同时，还可以快速响应，对算力要求低，可以对视频进行实时处理。

技术研发人员：胡涛,邵小飞,朱力,吕方璐,汪博
受保护的技术使用者：深圳市光鉴科技有限公司
技术研发日：
技术公布日：2024/1/15