一种绿色植被的三维重建模型优化方法及装置与流程

本发明涉及三维场景重构技术领域，尤其涉及到一种绿色植被的三维重建模型优化方法、绿色植被的三维重建模型优化装置、三维重建装置和计算机可读存储介质。

背景技术：

基于视觉的三维重建技术，是指利用数字摄像机作为图像传感器，综合运用图像处理、视觉计算等技术进行非接触三维测量，通过计算机程序获取物体的三维信息。很多相关的工程技术研究要对三维环境或者物体进行相关的分析运算，以便更直观的获取有用的数字信息，从而指导相关的工程计算。因此，三维场景重构正被越来越多地应用于工业、灾难救援、移动机器人自主导航、服务系统、增强现实等领域。目前，常通过双目立体匹配将采集到的双目图像转换为深度图像或者直接通过kinect摄像机等相机直接采集深度图像，再根据深度图像构建三维模型的方式实现三维场景重构。但是不管是采集双目图像转换为深度图像后进行三维场景重构，还是直接采集深度图像后进行三维场景重构，构建的三维模型的精度均严重依赖采集的图像有无噪声点，当采集的图像中存在噪声点时，三维点云配准中的特征匹配过程就可能产生误匹配点，从而导致获得的匹配点集不准确，最后算出的转换矩阵有所偏差，三维重建模型的误差较大。

技术实现要素：

因此，本发明要解决的技术问题在于解决现有技术中的三维重建系统对采集到的图像有无噪声点的依赖性较大，容易出现转换矩阵偏差，三维重建模型偏差较大的问题。

为此，根据第一方面，本发明提供了一种绿色植被的三维重建模型优化方法，包括如下步骤：获取绿色植被至少两个视角的局部图像；计算各个局部图像中像素点的rank变换值；根据rank变换值对各个局部图像中的像素点进行匹配，并构建绿色植被中像素点的rank变换窗口；计算绿色植被中像素点的rank变换值；根据绿色植被中像素点的rank变换值计算绿色植被的三维重建误差；基于三维重建误差对三维重建模型进行优化。

可选地，根据绿色植被中像素点的rank变换值计算绿色植被的三维重建误差，包括如下步骤：根据绿色植被中像素点的rank变换值以及拍摄局部图像的摄像机的内部参数和外部参数计算摄像机的参数向量；根据参数向量将绿色植被中被测量的三维图像点转换为摄像机坐标系下的点；计算转换结果与三维图像点在局部图像中对应的点之间的位置误差；误差即为绿色植被的三维重建误差。

可选地，三维重建误差的计算公式为：

其中，

其中，rij是指三维重建误差，χ(i)是指局部图像i中的点集，y′srtu是指n幅局部图像，h′sd是指n幅局部图像的像素点，mij是指绿色植被中被测量的三维图像点，uij是指三维重建模型中的图像点，x'是指转换的摄像机坐标系下的点，x是指绿色植被坐标系下的点，是指各个局部图像所对应的相机投影矩阵θ'po的均方差，θi是指各个局部图像间的匹配关系，f(rij)是指绿色植被坐标系坐标的初值，φfghj是指摄像机的参数向量，f是指摄像机的焦距，r'weej是指绿色植被中像素点的rank变换值，θui1,θui2,θui3是指摄像机的旋转参数，ti1,ti2,ti3是指摄像机的平移参数，i'hjkk是指绿色植被坐标系与局部图像坐标系之间的映射关系。

可选地，获取绿色植被至少两个视角的局部图像，包括如下步骤：获取绿色植被至少两个视角的rgb局部图像；使用加权灰度法对rgb局部图像进行灰度处理，得到局部图像。

可选地，绿色植被中像素点的rank变换窗口的构建公式为：

其中，

其中，r'awss是指以局部图像中像素点p＝(i,j)为中心的rank变换窗口灰度值矩阵，ssdii是绿色植被中像素点的rank变换窗口内某一像素点灰度值造成的干扰，p'sdpp是指对各个局部图像中的像素点进行匹配时基准点与匹配点间的视差，t″dfpp是指匹配代价最小的最优视差值，r(i,j)是指局部图像中像素点p＝(i,j)的rank变换值，sgn(f1,f2)是指符号函数，(f1,f2)是指两个灰度值变量，f(i,j)是指局部图像各像素点和邻域像素点的灰度值，ξ和λ分别以像素点p＝(i,j)为中心的rank变换窗口的行、列位移，e″sdjj是指局部图像。

根据第二方面，本发明提供了一种绿色植被的三维重建模型优化装置，包括：局部图像获取模块，用于获取绿色植被至少两个视角的局部图像；第一rank变换值计算模块，用于计算各个局部图像中像素点的rank变换值；rank变换窗口构建模块，用于根据rank变换值对各个局部图像中的像素点进行匹配，并构建绿色植被中像素点的rank变换窗口；第二rank变换值计算模块，用于计算绿色植被中像素点的rank变换值；三维重建误差计算模块，用于根据绿色植被中像素点的rank变换值计算绿色植被的三维重建误差；模型优化模块，用于基于三维重建误差对三维重建模型进行优化。

可选地，三维重建误差计算模块包括：参数向量计算单元，用于根据绿色植被中像素点的rank变换值以及拍摄局部图像的摄像机的内部参数和外部参数计算摄像机的参数向量；坐标点转换单元，用于根据参数向量将绿色植被中被测量的三维图像点转换为摄像机坐标系下的点；误差计算单元，用于计算转换结果与三维图像点在局部图像中对应的点之间的位置误差；误差即为绿色植被的三维重建误差。

可选地，局部图像获取模块包括：rgb局部图像获取单元，用于获取绿色植被至少两个视角的rgb局部图像；图像处理单元，用于使用加权灰度法对rgb局部图像进行灰度处理，得到局部图像。

根据第三方面，本发明提供了一种三维重建系统，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行上述第一方面的全部或部分方法。

根据第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述第一方面的全部或部分方法的步骤。

本发明实施例提供的技术方案，具有如下优点：

1、本发明提供的绿色植被的三维重建模型优化方法，包括如下步骤：获取绿色植被至少两个视角的局部图像；计算各个局部图像中像素点的rank变换值；根据rank变换值对各个局部图像中的像素点进行匹配，并构建绿色植被中像素点的rank变换窗口；计算绿色植被中像素点的rank变换值；根据绿色植被中像素点的rank变换值计算绿色植被的三维重建误差；基于三维重建误差对三维重建模型进行优化。通过计算绿色植被局部图像中各个像素点的rank变换值，再以局部图像中各个像素点的rank变换值代替其灰度值作为匹配基元对各个局部图像中的像素点进行匹配，能够减小图像中的噪点对匹配精度的影响，而通过根据各个局部图像中的像素点匹配结果构建绿色植被的rank变换窗口，并根据绿色植被中像素点的rank变换值计算绿色植被的三维重建误差，优化三维重建模型，能够消除构建的三维重建模型的误差，提高三维重建模型的构建精度。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为实施例1提供的一种绿色植被的三维重建模型优化方法的方法流程图；

图2为图1中步骤s500的具体方法流程图；

图3为实施例2提供的一种绿色植被的三维重建模型优化装置的结构示意图；

图4为实施例3提供的一种三维重建系统的硬件结构示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

实施例1

本实施例提供了一种绿色植被的三维重建模型优化方法，如图1所示。需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。该流程包括如下步骤：

步骤s100，获取绿色植被至少两个视角的局部图像。

在具体实施例中，步骤s100包括如下步骤：

步骤s101，获取绿色植被至少两个视角的rgb局部图像。

步骤s102，使用加权灰度法对rgb局部图像进行灰度处理，得到局部图像。在实施例中，加权灰度法的具体计算公式为：

f(i,j)＝0.30r(i,j)+0.59g(i,j)+0.11b(i,j)，

其中，f(i,j)是指图像在第i行，第j列处像素点的灰度值，r(i,j)、g(i,j)、b(i,j)分别为该点的红、绿、蓝颜色分量。

步骤s200，计算各个局部图像中像素点的rank变换值。

在本实施例中，使用以下公式计算进行局部图像中像素点的rank变换值的计算：

其中，r(i,j)是指局部图像中像素点p＝(i,j)的rank变换值，sgn(f1,f2)是指符号函数，(f1,f2)是指两个灰度值变量，f(i,j)是指局部图像各像素点和邻域像素点的灰度值，ξ和λ分别以像素点p＝(i,j)为中心的rank变换窗口的行、列位移，e″sdjj是指局部图像。

步骤s300，根据rank变换值对各个局部图像中的像素点进行匹配，并构建绿色植被中像素点的rank变换窗口。

在本实施例中，使用以下公式构建绿色植被中像素点的rank变换窗口：

其中，r′awss是指以局部图像中像素点p＝(i,j)为中心的rank变换窗口灰度值矩阵，ssdii是绿色植被中像素点的rank变换窗口内某一像素点灰度值造成的干扰，p′sdpp是指对各个局部图像中的像素点进行匹配时基准点与匹配点间的视差，t″dfpp是指匹配代价最小的最优视差值，r(i,j)是指局部图像中像素点p＝(i,j)的rank变换值。

步骤s400，计算绿色植被中像素点的rank变换值。在本实施例中，通过统计绿色植被中像素点的rank变换窗口内灰度值低于中心点灰度值的像素点数目计算绿色植被中像素点的rank变换值，具体地，使用以下公式统计窗口内灰度值低于中心点灰度值的像素点数目：

其中，是指绿色植被中像素点的rank变换窗口中像素点的数量，是指各个像素点与中心点的差异度，p'aswe是指匹配代价函数，l′sdgh是指绿色植被中像素点的rank变换窗口，e′sejj是指绿色植被中像素点的rank变换窗口内像素点在各个局部图像的rank变换值。

步骤s500，根据绿色植被中像素点的rank变换值计算绿色植被的三维重建误差。

在具体实施例中，如图2所示，步骤s500包括如下步骤：

步骤s501，根据绿色植被中像素点的rank变换值以及拍摄局部图像的摄像机的内部参数和外部参数计算摄像机的参数向量。在本实施例中，使用以下公式得到摄像机的内部参数和外部参数计算摄像机的参数向量：

其中，φfghj是指摄像机的参数向量，f是指摄像机的焦距，θ'po是指各个局部图像所对应的相机投影矩阵，r′weej是指绿色植被中像素点的rank变换值，θui1,θui2,θui3是指摄像机的旋转参数，ti1,ti2,ti3是指摄像机的平移参数，i′hjkk是指绿色植被坐标系与局部图像坐标系之间的映射关系。

步骤s502，根据参数向量将绿色植被中被测量的三维图像点转换为摄像机坐标系下的点。在本实施例中，使用以下公式将绿色植被中被测量的三维图像点转换为摄像机坐标系下的点：

其中，x′是指转换的摄像机坐标系下的点，x是指绿色植被坐标系下的点，是指各个局部图像所对应的相机投影矩阵θ'po的均方差，θi是指各个局部图像间的匹配关系，f(rij)是指绿色植被坐标系坐标的初值，φfghj是指摄像机的参数向量。

步骤s503，计算转换结果与三维图像点在局部图像中对应的点之间的位置误差。在本实施例中，该位置误差即为绿色植被的三维重建误差。

在本实施例中，通过以下公式计算转换结果与三维图像点在局部图像中对应的点之间的位置误差：

其中，rij是指三维重建误差，χ(i)是指局部图像i中的点集，y′srtu是指n幅局部图像，h′sd是指n幅局部图像的像素点，mij是指绿色植被中被测量的三维图像点，uij是指三维重建模型中的图像点，x'是指转换的摄像机坐标系下的点。

步骤s600，基于三维重建误差对三维重建模型进行优化。

本实施例提供的绿色植被的三维重建模型优化方法，通过计算绿色植被局部图像中各个像素点的rank变换值，再以局部图像中各个像素点的rank变换值代替其灰度值作为匹配基元对各个局部图像中的像素点进行匹配，能够减小图像中的噪点对匹配精度的影响，而通过根据各个局部图像中的像素点匹配结果构建绿色植被的rank变换窗口，并根据绿色植被中像素点的rank变换值计算绿色植被的三维重建误差，优化三维重建模型，能够消除构建的三维重建模型的误差，提高三维重建模型的构建精度。

实施例2

在本实施例中提供了一种绿色植被的三维重建模型优化装置，该装置用于实现上述实施例1及其优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种绿色植被的三维重建模型优化装置，如图3所示，包括：局部图像获取模块100，第一rank变换值计算模块200，rank变换窗口构建模块300，第二rank变换值计算模块400，三维重建误差计算模块500和模型优化模块600。

其中，局部图像获取模块100用于获取绿色植被至少两个视角的局部图像；第一rank变换值计算模块200用于计算各个局部图像中像素点的rank变换值；rank变换窗口构建模块300用于根据rank变换值对各个局部图像中的像素点进行匹配，并构建绿色植被中像素点的rank变换窗口；第二rank变换值计算模块400用于计算绿色植被中像素点的rank变换值；三维重建误差计算模块500用于根据绿色植被中像素点的rank变换值计算绿色植被的三维重建误差；模型优化模块600用于基于三维重建误差对三维重建模型进行优化。

在可选的实施例中，三维重建误差计算模块500包括：参数向量计算单元，坐标点转换单元和误差计算单元。

其中，参数向量计算单元用于根据绿色植被中像素点的rank变换值以及拍摄局部图像的摄像机的内部参数和外部参数计算摄像机的参数向量；坐标点转换单元用于根据参数向量将绿色植被中被测量的三维图像点转换为摄像机坐标系下的点；误差计算单元用于计算转换结果与三维图像点在局部图像中对应的点之间的位置误差；误差即为绿色植被的三维重建误差。

在可选的实施例中，局部图像获取模块包括：rgb局部图像获取单元和图像处理单元，其中，rgb局部图像获取单元用于获取绿色植被至少两个视角的rgb局部图像；图像处理单元用于使用加权灰度法对rgb局部图像进行灰度处理，得到局部图像。

实施例3

本发明实施例提供了一种三维重建系统，如图4所示，该三维重建系统可以包括：至少一个处理器401，例如cpu(centralprocessingunit，中央处理器)，至少一个通信接口403，存储器404，至少一个通信总线402。其中，通信总线402用于实现这些组件之间的连接通信。其中，通信接口403可以包括显示屏(display)、键盘(keyboard)，可选通信接口403还可以包括标准的有线接口、无线接口。存储器404可以是高速ram存储器(randomaccessmemory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器404可选的还可以是至少一个位于远离前述处理器401的存储装置。其中存储器404中存储应用程序，且处理器401调用存储器404中存储的程序代码，以用于执行实施例1任一方法步骤，即用于执行以下操作：

获取绿色植被至少两个视角的局部图像；计算各个局部图像中像素点的rank变换值；根据rank变换值对各个局部图像中的像素点进行匹配，并构建绿色植被中像素点的rank变换窗口；计算绿色植被中像素点的rank变换值；根据绿色植被中像素点的rank变换值计算绿色植被的三维重建误差；基于三维重建误差对三维重建模型进行优化。

本发明实施例中，处理器401调用存储器404中的程序代码，还用于执行以下操作：根据绿色植被中像素点的rank变换值以及拍摄局部图像的摄像机的内部参数和外部参数计算摄像机的参数向量；根据参数向量将绿色植被中被测量的三维图像点转换为摄像机坐标系下的点；计算转换结果与三维图像点在局部图像中对应的点之间的位置误差；误差即为绿色植被的三维重建误差。

本发明实施例中，处理器401调用存储器404中的程序代码，还用于执行以下操作：获取绿色植被至少两个视角的rgb局部图像；使用加权灰度法对rgb局部图像进行灰度处理，得到局部图像。

其中，通信总线402可以是外设部件互连标准(peripheralcomponentinterconnect，简称pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，简称eisa)总线等。通信总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器404可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-accessmemory，缩写：ram)；存储器也可以包括非易失性存储器(英文：non-volatilememory)，例如快闪存储器(英文：flashmemory)，硬盘(英文：harddiskdrive，缩写：hdd)或固态硬盘(英文：solid-statedrive，缩写：ssd)；存储器404还可以包括上述种类的存储器的组合。

其中，处理器401可以是中央处理器(英文：centralprocessingunit，缩写：cpu)，网络处理器(英文：networkprocessor，缩写：np)或者cpu和np的组合。

其中，处理器401还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specificintegratedcircuit，缩写：asic)，可编程逻辑器件(英文：programmablelogicdevice，缩写：pld)或其组合。上述pld可以是复杂可编程逻辑器件(英文：complexprogrammablelogicdevice，缩写：cpld)，现场可编程逻辑门阵列(英文：field-programmablegatearray，缩写：fpga)，通用阵列逻辑(英文：genericarraylogic,缩写：gal)或其任意组合。

实施例4

本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行实施例1的任一方法步骤。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)、随机存储记忆体(randomaccessmemory，ram)、快闪存储器(flashmemory)、硬盘(harddiskdrive，缩写：hdd)或固态硬盘(solid-statedrive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。