一种基于深度相机和Lidar的绿幕抠像方法与流程

本发明属于图像处理技术领域，特别是涉及一种基于深度相机和lidar的绿幕抠像方法。

背景技术：

得益于大规模集成电路的高速发展，摄像头的像素级别越来越高，对于高清视频的处理需求在不断增长。早期的人物的抠像技术效率低下，已经无法在高分辨率的视频流中保持良好的实时性。并且只有在简单特定背景下，才能够达到较好的抠像效果。对于复杂背景，大多数抠像算法需要在多次人机交互的情况下才能够得到令人满意的结果，计算复杂度高，在很大程度上限制了抠像算法的实际应用。当然，当前流行的深度学习算法，可得到较好的抠图效果，但是依赖gpu，使用成本昂贵。

抠像技术在信息时代普遍应用到各行各业，在商城图片展示、视频剪辑、电影制作、直播平台、虚拟现实、增强现实等众多科技产业中扮演重要的角色；现有技术中对于包括人物抠像在内的各种抠像，主要采用grabcut算法即图割算法，该算法是基于mrf(markovrandomfield马尔可夫随机场)能量最小化框架兴起的一个研究热点，该理论结合多种理论知识进行全局最优求解。grabcut算法是对图割算法的改进与发展，是目前图割理论应用于图像分割领域的成熟运用的代表之一。对该算法的改进也有很多，如构建颜色、纹理等信息模型来优化能量函数，增加预处理和迭代步骤以提高效率等，这些方法虽然提高了目标提取结果的精度，但计算量非常庞大，处理大型图片处理速度更加缓慢，大部分算法需要依靠价格昂贵的显卡支持。

技术实现要素：

本发明的目的在于提供一种基于深度相机和lidar的绿幕抠像方法，通过ndsm数据点生产dsm深度影像，对影像进行处理，采用基于阈值分割的二值化并剔除小面积粒子，得到图像区域，最后使用边界检测算法将原始边界提取出来，得到最终的图像边界并进行抠图，解决了现有的抠像耗时长、成本高、算法复杂度高问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种基于深度相机和lidar的绿幕抠像方法，包括如下步骤：

步骤s1：深度相机采用绿幕图像，用滤波后得到ndsm数据点来生成dsm深度影像；

步骤s2：对dsm深度影像进行处理；

步骤s3：使用canny算子进行边界检测提取图形初始边界；

步骤s4：检测出初始边界的角点；

步骤s5：根据角点进行边界的最小二乘拟合，得到规则的图形边界；

步骤s6：使用最小二乘拟合图形边界，将图像抠出。

优选地，所述步骤s1中，将原始的li-dar点云和滤波后得到ndsm数据点，将ndsm数据点云数据内插成规则格网，然后按照灰度值与高程值比例的原则，得到每个像素的灰度值，根据灰度值情况生成dsm深度影像。

优选地，所述插成规则格网具体采用最邻近点插值法进行插值，将距格网点最近点的高程值作为格网点的高程值，从而生成规则格网dsm；然后搜索所有格网点，得到高程的最大值zmax和最小值zmin；利用下方公式，计算出每个格网点在256灰度图上的；

式中，pixel(i)表示该点的灰度值，zi表示格网中该点的高程值。

优选地，所述dsm深度影像的处理流程包括：

滤波平滑处理，采用中值滤波处理方法，用于在剔除噪声点的同时减弱图像边界的模糊程度；

形态学图像处理，依次对图像进行腐蚀、膨胀，用于将图像中不均匀的灰度值剔除；

图像二值化，对图像进行阈值分割并二值化处理，并剔除二值化图像中的小面积区域来剔除；

剔除小面积粒子，根据最小采集图像的面积作为判断标准，设定面积阈值，将小于阈值的区域剔除掉。

优选地，所述步骤s4中，初始边界角点的检测采用harris角点检测，若图像是规则形状的图像，则检测出四个拐点处的角点，则完成角点的构建；若图像是不规则图像，则设置多个角点。

优选地，所述步骤s6中，角点将初始边界分段并标号，记录线段的总段数以及每条线段上的点号；若相邻两直线段的夹角接近90°，则将两线段按垂直处理；若相邻两直线段的夹角接近180°，则将这两条线段进行合并，并标记线段上的点号；采用最小二乘法对各线段分别进行直线拟合。

优选地，所述线段的拟合方程如下：

yi＝aixi+bi；

式中，i为不同的线段，ai、bi为方程系数。

本发明具有以下有益效果：

本发明通过ndsm数据点生产dsm深度影像，对影像进行处理，采用基于阈值分割的二值化并剔除小面积粒子，得到图像区域，最后使用边界检测算法将原始边界提取出来，并检测其角点，利用最小二乘法进行拟合，得到最终的图像边界并进行抠图，提高了抠像效率、降低了成本。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种基于深度相机和lidar的绿幕抠像方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1所示，本发明为一种基于深度相机和lidar的绿幕抠像方法，包括如下步骤：

步骤s1：深度相机采用绿幕图像，用滤波后得到ndsm数据点来生成dsm深度影像；

步骤s2：对dsm深度影像进行处理；

步骤s3：使用canny算子进行边界检测提取图形初始边界；

步骤s4：检测出初始边界的角点；

步骤s5：根据角点进行边界的最小二乘拟合，得到规则的图形边界；

步骤s6：使用最小二乘拟合图形边界，将图像抠出。

其中，步骤s1中，将原始的li-dar点云和滤波后得到ndsm数据点，将ndsm数据点云数据内插成规则格网，然后按照灰度值与高程值比例的原则，得到每个像素的灰度值，根据灰度值情况生成dsm深度影像。

其中，插成规则格网具体采用最邻近点插值法进行插值，将距格网点最近点的高程值作为格网点的高程值，从而生成规则格网dsm；然后搜索所有格网点，得到高程的最大值zmax和最小值zmin；利用下方公式，计算出每个格网点在256灰度图上的；

式中，pixel(i)表示该点的灰度值，zi表示格网中该点的高程值；公式pixel(i)能够计算出每个格网在256灰度图上的灰度值，将格网三维点坐标中的x、y坐标转化为dsm深度影像的横、纵坐标，一个坐标点与一个像素点相对应，便生成了与dsm规则格网大小相投的dsm深度影像。

其中，dsm深度影像的处理流程包括：

滤波平滑处理，采用中值滤波处理方法，用于在剔除噪声点的同时减弱图像边界的模糊程度；由于机载lidar点云数据本身存在一些噪声点，ndsm数据主要含有多种地物信息，需要进行图像处理。

形态学图像处理，依次对图像进行腐蚀、膨胀，用于将图像中不均匀的灰度值剔除；这一步的目的主要是提出植被点，由于植被点的高程值是散乱的，在图像中显示为灰度值不连续的点簇，因此对图像进行腐蚀和膨胀，可以实现图像中不俊园灰度值的剔除，从而将大部分植被剔除。

图像二值化，对图像进行阈值分割并二值化处理，并剔除二值化图像中的小面积区域来剔除，目的是剔除面积相对较小的地物；

剔除小面积粒子，根据最小采集图像的面积作为判断标准，设定面积阈值，将小于阈值的区域剔除掉。

其中，步骤s4中，初始边界角点的检测采用harris角点检测，若图像是规则形状的图像，则检测出四个拐点处的角点，则完成角点的构建；若图像是不规则图像，则设置多个角点，利用最小二乘拟合方法将边界规则化，便能得到较为规则的建筑物边界。

其中，步骤s6中，角点将初始边界分段并标号，记录线段的总段数以及每条线段上的点号；若相邻两直线段的夹角接近90°，则将两线段按垂直处理；若相邻两直线段的夹角接近180°，则将这两条线段进行合并，并标记线段上的点号；采用最小二乘法对各线段分别进行直线拟合。

通过ndsm数据点生产dsm深度影像，对影像进行处理，采用基于阈值分割的二值化并剔除小面积粒子，得到图像区域，最后使用边界检测算法将原始边界提取出来，并检测其角点，利用最小二乘法进行拟合，得到最终的图像边界并进行抠图，提高了抠像效率、降低了成本。

其中，线段的拟合方程如下：

yi＝aixi+bi；

式中，i为不同的线段，ai、bi为方程系数。

值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。