一种对Kinect植株彩色和深度检测图像的修复方法
【专利摘要】本发明公开了一种对Kinect植株彩色和深度检测图像的修复方法，获取植株彩色图像和深度图像；对彩色图像进行处理：首先对彩色图像进行RGB颜色分割，然后采用K?means聚类算法处理，分割出植株目标，最后进行图像形态学修复；对齐彩色图像和深度图像；对深度图像中存在的空洞数据采用近邻回归算法进行缺失数据的修复：检测待修复可疑像素点，选取邻域像素点中参考像素点，计算参考像素点相关属性值，修复可疑像素点深度数据；植株深度数据提取，并进行深度数据的二次近邻回归算法修复。本发明能够精确识别植株的图像和深度数据，对深度图像的空洞修复效果明显，有效提高Kinect植株检测匹配图像的质量。
【专利说明】
一种对K i nect植株彩色和深度检测图像的修复方法
技术领域
[0001] 本发明涉及一种对深度图像数据的修复方法，尤其涉及一种对Kinect植株彩色和 深度检测图像的修复方法。
【背景技术】
[0002] 近年来，微软公司发布的Kinect深度传感器在各行各业引起广泛的应用研究，国 内外学者利用Kinect能够获取彩色图像和深度图像的特点，逐步将其应用在农业信息领 域，包括植株的检测及生长模型的构建、果实的识别采摘、动物养殖状态识别等。但是由于 Kinect在深度图像的采集过程中，受到环境光线、物体材质以及传感器自身软硬件的影响， 获取的深度图像会出现数据的缺失，导致目标物体的信息准确度下降，从而影响后续图像 信息的提取及应用。
[0003] 目前，对Kinect彩色和深度图像的修复方法主要可分为:基于深度图像时间域的 修复方法，利用Kinect连续的多帧彩色图像和深度图像，获取目标物体的像素点变化，对深 度图像的数据进行修复，该类方法能够实现对深度图像的空洞实时填充，但是获得的物体 目标边缘特征质量较低，且对单帧图像无法修复;基于深度空间域的修复方法，利用深度图 像中的领域像素点深度值的相关性，以及深度图像与彩色图像的相关性，对深度数据进行 修复，适用于单帧图像的数据修复，但其数据修复的准确性低于时间域的修复方法，且算法 的复杂度较高。
【发明内容】
[0004] 为解决现有技术的不足，本发明的目的在于提供一种对Kinect植株彩色和深度检 测图像的修复方法，能够提高单帧图像空间域修复方法数据修复的准确性。
[0005] 本发明采用如下的技术方案：
[0006] -种对Kinect植株彩色和深度检测图像的修复方法，该方法包括以下步骤：
[0007] 步骤1，获取植株彩色图像和深度图像；
[0008] 步骤2,对彩色图像进行处理：
[0009] 1)RGB颜色分割；
[001 0] 2)K-means聚类算法处理，分割出植株目标；
[0011] 3)图像形态学修复；
[0012]步骤3,对齐彩色图像和深度图像；
[0013] 步骤4,对深度图像中存在的空洞数据采用近邻回归算法进行缺失数据的修复：
[0014] 1)检测待修复可疑像素点；
[0015] 2)选取邻域像素点中参考像素点；
[0016] 3)计算参考像素点相关属性值；
[0017] 4)修复可疑像素点深度数据；
[0018]步骤5,植株深度数据提取，并进行深度数据的二次近邻回归算法修复。
[0019] 前述的一种对Kinect植株彩色和深度检测图像的修复方法，其特征在于，所述步 骤1，获取植株彩色图像和深度图像的方法包括:使用Kinect传感器同时获取植株彩色图像 和深度图像，并将彩色图像数据和深度图像数据保存于PC机中。
[0020] 前述的一种对Kinect植株彩色和深度检测图像的修复方法，其特征在于，所述步 骤2,对彩色图像进行RGB颜色分割和K-means聚类算法处理，分割出植株目标，并进行图像 形态学修复，方法包括：
[0021]对获取的彩色图像基于RGB颜色空间进行预分割，彩色图像分为R、G、B三色通道， 分割规则为:彩色图像像素点的绿色分量G均大于红色分量R和蓝色分量B，则判定为植株目 标区域，反之，则为非植株区域。
[0022] 对预分割后的彩色图像进行K-means聚类算法处理，K-means聚类算法步骤如下：
[0023] 1)确定聚类数k，并在数据中任意选取k个初始聚类中心；
[0024] 2)计算图像中所有像素点到聚类中心的距离，并根据距离最小原则将像素点归类 于所属类别中；
[0025] 3)根据各类的特点，利用均值法迭代更新各类的中心值至迭代结束。
[0026] 对聚类后获取的植株彩色图像进行形态学修复，包括:膨胀和腐蚀处理、移除小对 象、图像区域填充等。
[0027]前述的一种对Kinect植株彩色和深度检测图像的修复方法，其特征在于，所述步 骤4,对深度图像中存在的空洞数据采用近邻回归算法进行缺失数据的修复，方法步骤包 括：
[0028] 1)检测待修复可疑像素点:遍历步骤3中对齐后的彩色图像和深度图像的像素点， 若像素点在彩色图像中标记为植株部分，在匹配图像中深度信息为〇,则将该像素点标记为 可疑像素点A，特征向量为牝( Xl，&)，深度值为Da ;
[0029] 2)选取邻域像素点中参考像素点：在深度图像中，以可疑像素点A为中心点，对其 周围mXm维邻域中m2-l个像素点进行判别，判别每个像素点是否为可疑像素点或深度值为 〇的无效像素点，将有效的非可疑像素点标记参考像素点B r，特征向量为Brij(Xri，Xrj)，其中r =1，2，…，m 2-l，深度值为DBr;
[0030] 3)计算参考像素点相关属性值：以欧氏距离dr的比例代表参考像素点与可疑像素 点的相关性即权重系数叫= 1)，表示为
[0032] 其中，欧氏距离dr表示为
[0033] dr=sqrt[ (xri-Xi)2+(xrj-Xij)2]
[0034] 式中，xri为第r个点的第i维坐标，切第r个点的第j维坐标，两点之间的欧氏距离dr 越小，权重系数越大，其相似度越高。
[0035] 4)修复可疑像素点深度数据：以近邻的有效像素点深度信息计算可疑像素点深度 值Da，表不为 m2-l
[0036] 〇A= ^ ((〇rDBy) r=l
[0037] 即
[0039] 将计算所得的可疑像素点的深度值填充至深度图像对应位置，完成对深度图像缺 失数据的修复填充。
[0040] 前述的一种对Kinect植株彩色和深度检测图像的修复方法，其特征在于，所述步 骤5，植株深度数据提取，并进行深度数据的二次近邻回归算法修复，方法步骤包括：
[0041] 将修复后的深度数据填充至匹配的彩色图像中，去除深度图像中的非植株区域数 据，获取的填充图进行深度数据的二次近邻回归算法修复，修正错误的回归数据，近邻回归 算法方法步骤与步骤4相同。
[0042]本发明的有益效果为：
[0043] 1)本发明的一种对Kinect植株彩色和深度检测图像的修复方法，利用彩色图像的 RGB颜色空间特征、K-means聚类算法和形态学修复进行植株目标的彩色图像的分割处理， 相对于传统的颜色空间分割或聚类分割的方法，本发明算法能够有效降低分割误差，特别 是在Kinect传感器彩色摄像头受光线影响、背景干扰所拍摄的场景部分颜色失真的情况 下，能够更精确的分割出植株的彩色图像特征。
[0044] 2)本发明的一种对Kinect植株彩色和深度检测图像的修复方法，采用近邻回归算 法对获取的深度图像缺失的空洞数据进行修复填充，即通过对齐后的彩色图像和深度图像 的像素点标记出可疑像素点A，在深度图像中，以可疑像素点A为中心点，对其周围mXm维邻 域中m2-l个像素点进行判别，标记参考像素点Br，以欧氏距离dr的比例代表参考像素点与 可疑像素点的相关性即权重系数卿卿=1)，表示为
[0046] 欧氏距离dr表示为:dr = Sqrt[(Xri-Xl)2+(切-叫) 2];以近邻的有效像素点深度信 息计算可疑像素点深度值Da，表示为 W? - l
[0047] ：Ba = ^ {carDBr) r=l
[0048] 即：
[0050] 3)将计算所得的可疑像素点的深度值填充至深度图像对应位置，完成对深度图像 缺失数据的修复填充。经过近邻算法处理后，深度数据中植株区域缺失数据已被修复，以对 齐的彩色分割图像为植株目标区域参照标准，能够实现对修复的深度图像数据分割，去除 背景及干扰物，保留植株目标区域的深度数据。本发明填充的数据与其真实数据相近，可靠 性高。
[0051] 4)本发明的一种对Kinect植株彩色和深度检测图像的修复方法，同时利用彩色图 像对深度图像的边缘进行二次近邻回归算法去除错误的深度数据，由于植株枝叶边缘区域 受背景数据的影响，与枝叶信息不匹配的现象，本发明算法将深度距离信息相差较大的像 素点判别为可疑像素点，对其进行近邻回归深度距离的二次修复，能够减少不匹配数据，提 高植株枝叶深度信息的精确度和准确性，所获取的植株深度图像其深度距离的层次性更 强。
【附图说明】
[0052]图1是本发明一种对Kinect植株彩色和深度检测图像的修复方法的流程图；
[0053]图2是本发明对彩色图像进行RGB颜色分割和K-means聚类算法处理的效果图；（a) 原始彩色图像;（b)原始深度图像；
[0054]图3是本发明对深度图像进行近邻回归算法的深度数据修复效果图；（a)RGB分割 效果;（b)本发明分割效果；
[0055]图4是本发明一种对Kinect植株彩色和深度检测图像的修复方法的修复效果图； (a)原始深度图像;（b)修复后的深度图像。
【具体实施方式】
[0056]以下结合附图和具体实施例对本发明作具体的介绍。
[0057]参照图1所示，本发明提供的一种对Kinect植株彩色和深度检测图像的修复方法， 通过Kinect同时获取植株目标空间的单帧彩色图像和深度图像，对其进行相应的图像和数 据处理，再采用近邻回归算法对深度数据进行初次修复和匹配图像的二次修复，获取植株 目标的精确深度数据，其具体步骤如下：
[0058]步骤1，获取植株彩色图像和深度图像；
[0059] 步骤2,对彩色图像进行处理：
[0060] 1)RGB颜色分割；
[0061 ] 2)K-means聚类算法处理，分割出植株目标；
[0062] 3)图像形态学修复；
[0063]步骤3,对齐彩色图像和深度图像；
[0064]步骤4,对深度图像中存在的空洞数据采用近邻回归算法进行缺失数据的修复： [0065] 1)检测待修复可疑像素点；
[0066] 2)选取邻域像素点中参考像素点；
[0067] 3)计算参考像素点相关属性值；
[0068] 4)修复可疑像素点深度数据；
[0069] 步骤5，植株深度数据提取，并进行深度数据的二次近邻回归算法修复。
[0070] 参照修复效果图所示，对本发明提供的一种对Kinect植株彩色和深度检测图像的 修复方法的进行具体实施例的详解：
[0071] 步骤1，获取植株彩色图像和深度图像的方法，使用Kinect传感器同时获取植株彩 色图像和深度图像，彩色摄像头所获取的彩色图像像素为480x 640,红外摄像头所获取的 深度图像像素为480x 640,并将彩色图像数据和深度图像数据保存于PC机中，原始彩色图 像如图2(a)所示，原始深度图像如图2(b)所示。
[0072] 步骤2,对彩色图像进行RGB颜色分割和K-means聚类算法处理，分割出植株目标， 并进行图像形态学修复，方法包括：
[0073]对获取的彩色图像基于RGB颜色空间进行预分割，彩色图像分为R、G、B三色通道， 分割规则为:彩色图像像素点的绿色分量G均大于红色分量R和蓝色分量B，即计算绿色通道 数据值G与其他两个颜色通道数据值的差值，如果差值G-R和G-B均大于0,则判定该像素点 为绿色植株区域，像素值保持不变，否则判定为背景区域，像素值置为0。
[0074] RGB分割效果如图3(a)所示，但由于Kinect彩色摄像头受光线的影响和背景干扰， 所拍摄的场景部分颜色失真，分割后的图像存在干扰物图像，在实际农业应用场景中，特别 是温室大棚环境，均会出现这种情况，因此需要对图像进行处理。
[0075] 对预分割后的彩色图像进行K-means聚类算法处理，其中K-means聚类算法步骤如 下：
[0076] 1)确定聚类数k，并在数据中任意选取k个初始聚类中心，本实施例中，根据RGB颜 色空间预分割的图像效果，只需识别出绿色植株的区域，故设置K-means聚类数k = 2;
[0077] 2)计算图像中所有像素点到聚类中心的距离，并根据距离最小原则将像素点归类 于所属类别中；
[0078] 3)根据各类的特点，利用均值法迭代更新各类的中心值至迭代结束。
[0079] 对聚类后获取的植株彩色图像进行形态学修复，包括:膨胀和腐蚀处理、移除小对 象、图像区域填充等。本实施例中，RGB颜色分割和K-means聚类算法处理后的图像，采取形 态学中的移除小图像算法去除部分小的背景图像，同时采用膨胀修复算法修复孔洞的缺 失。
[0080] 处理后的图像效果如图3(b)所示，为清晰显示图像的目标区域，对分割后的聚类 图像提取植株部分，将图像转换为二值图像显示，其中背景为黑色区域，植株为白色区域， 由图中可以看出，所获取Kinect原始彩色图像分割后的植株目标区域信息清晰、轮廓明显。
[0081] 步骤3,对齐彩色图像和深度图像，以深度图像为基准，将彩色图像与深度图像像 素对齐。
[0082] 步骤4,对深度图像中存在的空洞数据采用近邻回归算法进行缺失数据的修复，方 法步骤包括：
[0083] 1)检测待修复可疑像素点:遍历步骤3中对齐后的彩色图像和深度图像的像素点， 若像素点在彩色图像中标记为植株部分，在匹配图像中深度信息为〇,则将该像素点标记为 可疑像素点A，特征向量为牝( Xl，&)，深度值为Da ;
[0084] 2)选取邻域像素点中参考像素点：在深度图像中，以可疑像素点A为中心点，对其 周围mXm维邻域中m 2-l个像素点进行判别，判别每个像素点是否为可疑像素点或深度值为 〇的无效像素点，将有效的非可疑像素点标记参考像素点Br，特征向量为B rij(Xri，Xrj)，其中 r = 1，2，…，m2-l，深度值为DBr，本实施例中经多次重复实验，选取11 X 11维邻域中120个像 素点作为修复参考点效果最好；
[0085] 3)计算参考像素点相关属性值：以欧氏距离dr的比例代表参考像素点与可疑像素 点的相关性即权重系数叫（sgr1叫= 1)，表示为
[0087] 其中，欧氏距离dr表示为
[0088] dr=sqrt[ (xri-Xi)2+(xrj-Xij)2]
[0089] 式中，Xri为第r个点的第i维坐标，Xrj第r个点的第j维坐标，两点之间的欧氏距离d r 越小，权重系数越大，其相似度越高。
[0090] 4)修复可疑像素点深度数据：以近邻的有效像素点深度信息计算可疑像素点深度 值Da，表不为
[0091 ] Ba = ^ ^>rDsr) r=l
[0092]即
[0094] 将计算所得的可疑像素点的深度值填充至深度图像对应位置，完成对深度图像缺 失数据的修复填充。
[0095] 步骤5，植株深度数据提取，并进行深度数据的二次近邻回归算法修复，方法步骤 包括：
[0096] 将修复后的深度数据填充至匹配的彩色图像中，去除深度图像中的非植株区域数 据，获取的填充图进行深度数据的二次近邻回归算法修复，修正错误的回归数据，近邻回归 算法方法步骤与步骤4相同。
[0097] 两次近邻修复后的深度效果图如图4所示，图4(a)为原始深度图像，图4(b)为修复 后的深度图像，从原始彩色图像、深度图像和植株深度识别图像对比可以看出，本发明算法 对植株目标区域的深度距离修复效果明显。综合彩色图像分割误差、近邻回归算法效果和 最终分割图像分析结果可见，采用本发明提出的方法实现Kinect单帧图像植株目标深度识 另IJ，植株轮廓清晰，深度数据修复准确度高，可以满足Kinect传感器在农业静态取景环境下 植株检测邻域的作业要求。
[0098] 在本说明书的描述中，参考术语"一个实施例"、"一些实施例"、"示意性实施例"、 "示例"、"具体示例"、或"一些示例"等的描述意指结合该实施例或示例描述的具体特征、结 构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的 示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特 点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0099]尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解:在不 脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本 发明的范围由权利要求及其等同物限定。
【主权项】
1. 一种对Kinect植株彩色和深度检测图像的修复方法，其特征在于，该方法包括:步骤 1，获取植株彩色图像和深度图像;步骤2,对彩色图像进行处理，首先对彩色图像进行RGB颜 色分割，然后采用K-means聚类算法处理，分割出植株目标，最后进行图像形态学修复;步骤 3,对齐彩色图像和深度图像;步骤4,对深度图像中存在的空洞数据采用近邻回归算法进行 缺失数据的修复:检测待修复可疑像素点，选取邻域像素点中参考像素点，计算参考像素点 相关属性值，修复可疑像素点深度数据;步骤5,植株深度数据提取，并进行深度数据的二次 近邻回归算法修复。2. 根据权利要求1所述的一种对Kinect植株彩色和深度检测图像的修复方法，其特征 在于，所述步骤1，获取植株彩色图像和深度图像的方法包括:使用Kinect传感器同时获取 植株彩色图像和深度图像，并将彩色图像数据和深度图像数据保存于PC机中。3. 根据权利要求1所述的一种对Kinect植株彩色和深度检测图像的修复方法，其特征 在于，所述步骤2的具体过程为： 对获取的彩色图像基于RGB颜色空间进行预分割，彩色图像分为R、G、B三色通道，分割 规则为:彩色图像像素点的绿色分量G均大于红色分量R和蓝色分量B，则判定为植株目标区 域，反之，则为非植株区域;对预分割后的彩色图像进行K-means聚类算法处理，确定聚类数 k，并在数据中任意选取k个初始聚类中心;计算图像中所有像素点到聚类中心的距离，并根 据距离最小原则将像素点归类于所属类别中；根据各类的特点，利用均值法迭代更新各类 的中心值至迭代结束;对聚类后获取的植株彩色图像进行形态学修复，包括膨胀和腐蚀处 理、移除小对象、图像区域填充。4. 根据权利要求1所述的一种对Kinect植株彩色和深度检测图像的修复方法，其特征 在于，所述步骤4的具体过程为： 1) 检测待修复可疑像素点：遍历步骤3中对齐后的彩色图像和深度图像的像素点，若像 素点在彩色图像中标记为植株部分，在匹配图像中深度信息为0,则将该像素点标记为可疑 像素点A，特征向量为Ai j (Xi，Xj )，深度值为Da ; 2) 选取邻域像素点中参考像素点：在深度图像中，以可疑像素点A为中心点，对其周围m Xm维邻域中m2-l个像素点进行判别，判别每个像素点是否为可疑像素点或深度值为0的无 效像素点，将有效的非可疑像素点标记参考像素点B r，特征向量为Brij(Xri，Xrj)，其中r=l， 2，…，m 2-l，深度值为Dbi·; 3) 计算参考像素点相关属性值：以欧氏距离dr的比例代表参考像素点与可疑像素点的 相关性即权重系数表示为其中，欧氏距离dr表示为 dr = sqrt [ (Xri-Xi )2+( Xrj-Xij)2] 式中，Xn为第r个点的第i维坐标，Xr!r个点的第j维坐标，两点之间的欧氏距离dr越 小，权重系数越大，其相似度越高。 4) 修复可疑像素点深度数据：以近邻的有效像素点深度信息计算可疑像素点深度值Da， 表示为 即：将计算所得的可疑像素点的深度值填充至深度图像对应位置，完成对深度图像缺失数 据的修复填充。5.根据权利要求1所述的一种对Kinect植株彩色和深度检测图像的修复方法，其特征 在于，所述步骤5的具体过程为:将修复后的深度数据填充至匹配的彩色图像中，去除深度 图像中的非植株区域数据，获取的填充图进行深度数据的二次近邻回归算法修复，修正错 误的回归数据，近邻回归算法方法步骤与步骤4相同。
【文档编号】G06T7/40GK105894503SQ201610191968
【公开日】2016年8月24日
【申请日】2016年3月30日
【发明人】沈跃, 徐慧, 刘慧 , 李宁
【申请人】江苏大学