一种基于多视角立体视觉的植株三维重建系统的制作方法

本发明涉及计算机视觉中虚拟现实技术领域，具体是一种基于多视角立体视觉的植株三维重建系统。

背景技术：

随着计算机技术的日益提高，虚拟现实技术迎来了较大的发展，成为计算机领域一大研究热点。目前在医学、军事航天、农业等领域，虚拟现实都有着重要的应用前景。特别值得一提的是，虚拟农业己经成为我国农业发展的一个重要趋势。虚拟农业不但可以将农业作物数字化，而且还能够为科研者提供方便的交互性操作与观察等，对于推动农业发展有着巨大的作用。

其中三维重建是虚拟现实技术中的主要技术，目前国内外对植株三维重建的方式主要分为两类：一类是通过传感器直接获取叶片的三维点云，此类方法能够获得高精度的植株点云，但存在所需仪器设备复杂昂贵、数据量大、重建效率低、使用中受环境(如光)限制等问题；另一类为基于多视角立体视觉的方式进行植株的重建，因其所需设备简单，能够快速有效地建立三维模型，人机交互少等特点已经成为了计算机视觉和计算机图形学领域研究的热点。

技术实现要素：

本发明要解决的技术问题是提供一种基于多视角立体视觉的植株三维重建系统，能够为用户提供方便的交互性操作与观察，对于推动农业发展有着巨大的作用。

本发明的技术方案为：

一种基于多视角立体视觉的植株三维重建系统，包括有顺次连接的植株点云获取模块和点云处理模块，所述的植株点云获取模块包括有依次连接的图像序列的选择与加载模块、相机参数获取模块、稀疏点云数据获取模块、稠密点云数据获取模块，所述的点云处理模块包括有依次连接的稠密点云去噪平滑模块、点云三角网格化重构模块、点云网格空洞填补模块；所述的图像序列的选择与加载模块用于用户选择自己拍摄的植株多视角环绕图像序列，并进行上传加载；所述的相机参数获取模块采用运动恢复结构算法通过对加载的图像序列进行匹配，获得拍照相机的参数；所述的稀疏点云数据获取模块通过拍照相机的参数以及图像序列的匹配结果，显示出稀疏的三维点云数据；所述的稠密点云数据获取模块是采用散列图像聚簇算法和基于贴片模型的密集匹配算法获取植株的三维稠密点云数据；所述的稠密点云去噪平滑模块将点云数据中的噪声分为大尺度离群噪声点和小尺度内部高频噪声点两种类型，采用密度聚类和双边滤波方法进行分别进行去噪和平滑处理；所述的点云三角网格化重构模块将去噪平滑后的点云数据，采用delauny三角化方法进行网格化重构；所述的点云网格空洞填补模块通过对网格空洞进行检测，判断出出现空洞的位置，再将相应预测的采样点添加到空洞中进行空洞的填补。

所述的散列图像聚簇算法是通过运动恢复结构获得的图像进行聚簇分类，减少数据量，提高密集匹配效率。

所述的基于贴片模型的密集匹配算法是将聚簇后的图像簇通过匹配、膨胀、过滤进行密集匹配，获得最终的稠密点云数据。

所述的稠密点云去噪平滑模块包括有大尺度离群噪声点去除模块和高频内部噪声平滑模块；所述的大尺度离群噪声点去除模块对于在点云数据中存在的距离目标点云比较远的离散点或点云簇大尺度噪声点，采用基于密度聚类的dbscan算法进行去噪处理，通过选择合适的聚类参数，达到理想的去噪效果；所述的高频内部噪声平滑模块是采用双边滤波方法对小尺度噪声进行平滑处理，在滤波的同时保持点云数据的边缘特征。

本发明的优点：

本发明的植株点云获取模块通过植株的图像序列，采用多视角立体视觉的方式获取植株的三维点云数据，再通过点云处理模块对获取的稠密点云数据进行去噪平滑、点云三角网格化重构和点云网格化空洞填补处理。通过本发明的这些处理过程后，最终将三维重建的植株模型展示出来。用户可以对展示的植株三维模型进行旋转，查看，测量，获得相应的植株的生长发育状况，可进行对植株的定量分析以及后期的相应操作。

附图说明

图1是本发明的结构示意图。

图2是本发明稠密点云去噪平滑模块的工作流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

见图1，一种基于多视角立体视觉的植株三维重建系统，包括有顺次连接的植株点云获取模块和点云处理模块，植株点云获取模块包括有依次连接的图像序列的选择与加载模块、相机参数获取模块、稀疏点云数据获取模块、稠密点云数据获取模块，点云处理模块包括有依次连接的稠密点云去噪平滑模块、点云三角网格化重构模块、点云网格空洞填补模块；图像序列的选择与加载模块用于用户选择自己拍摄的植株多视角环绕图像序列，并进行上传加载；相机参数获取模块采用运动恢复结构算法通过对加载的图像序列进行匹配，获得拍照相机的参数；稀疏点云数据获取模块通过拍照相机的参数以及图像序列的匹配结果，显示出稀疏的三维点云数据；稠密点云数据获取模块是采用散列图像聚簇算法和基于贴片模型的密集匹配算法获取植株的三维稠密点云数据；稠密点云去噪平滑模块将点云数据中的噪声分为大尺度离群噪声点和小尺度内部高频噪声点两种类型，采用密度聚类和双边滤波方法进行分别进行去噪和平滑处理；点云三角网格化重构模块将去噪平滑后的点云数据，采用delauny三角化方法进行网格化重构；点云网格空洞填补模块通过对网格空洞进行检测，判断出出现空洞的位置，再将相应预测的采样点添加到空洞中进行空洞的填补。

其中，散列图像聚簇算法（cmvs）是通过运动恢复结构获得的图像进行聚簇分类，减少数据量，提高密集匹配效率；基于贴片模型的密集匹配算法（pmvs）是将聚簇后的图像簇通过匹配、膨胀、过滤进行密集匹配，获得最终的稠密点云数据。

见图2，稠密点云去噪平滑模块包括有大尺度离群噪声点去除模块和高频内部噪声平滑模块；大尺度离群噪声点去除模块对于在点云数据中存在的距离目标点云比较远的离散点或点云簇大尺度噪声点，采用基于密度聚类的dbscan算法进行去噪处理，通过选择合适的聚类参数，达到理想的去噪效果；高频内部噪声平滑模块是采用双边滤波方法对小尺度噪声进行平滑处理，在滤波的同时保持点云数据的边缘特征。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：

技术总结
本发明公开了一种基于多视角立体视觉的植株三维重建系统，其包括有顺次连接的植株点云获取模块和点云处理模块，植株点云获取模块包括有依次连接的图像序列的选择与加载模块、相机参数获取模块、稀疏点云数据获取模块、稠密点云数据获取模块，点云处理模块包括有依次连接的稠密点云去噪平滑模块、点云三角网格化重构模块、点云网格空洞填补模块。本发明的植株点云获取模块通过植株的图像序列，采用多视角立体视觉的方式获取植株的三维点云数据，再通过点云处理模块对获取的稠密点云数据进行去噪平滑、点云三角网格化重构和点云网格化空洞填补处理，最终将三维重建的植株模型展示出来。

技术研发人员：宋时德;李淼;张健;陈雷;高会议
受保护的技术使用者：无锡中科智能农业发展有限责任公司;中国科学院合肥物质科学研究院
技术研发日：2017.04.25
技术公布日：2017.09.01