一种立体腹腔镜三维模型重建方法和装置与流程

本申请涉及图像处理，尤其涉及一种立体腹腔镜三维模型重建方法和装置。

背景技术：

在腹腔镜外科手术导航中，实时获取腹腔镜图像下器官表面的三维信息(三维点云或表面模型)是一个关键的步骤。该步骤的输出结果将用于与器官的术前表面模型进行配准，计算术中物理空间与术前图像空间之间的空间变换信息，是决定腹腔镜手术导航系统成功与否以及影响导航精度的重要过程。为获取更高精度的器官表面的三维点云信息或面模型，一种解决方案是借助手持式三维表面采集设备。但这种方案需要引入昂贵的采集硬件设备，而且对于腹腔镜外科手术导航的操作流程也会产生影响。所以通过现有导航设备，从立体腹腔镜所采集的左右图像重建三维表面信息的方法更加经济、直接。

现有的立体腹腔镜三维点云重建技术是计算机视觉中的经典方法的延伸或移植。首先通过双目相机的立体标定步骤获取双目相机的内外参数；然后采集左右相机的二维彩色图像；再通过立体匹配算法寻找左右图像的匹配特征点；最后将所匹配的特征点通过三角化、结合左右相机的内外参数反投影至相机的三维空间，获得最终的三维点云。

经典计算机视觉三维点云重建技术的一个关键步骤是匹配左右图像的关键特征点，这对于低纹理、重复纹理、透明、镜面反射的区域而言，难以匹配到关键特征点，在上述场景下所重建的三维点云极其稀疏，无法重建出对象的拓扑结构信息，特别是镜面反射(高亮)的情况，由于腹腔镜上有光源的存在以及器官表面的平滑特性，通常会在器官表面形成高亮区域，导致现有的三维点云重建方案难以得到密集点云信息；另一方面，腹腔镜成像区域有限，在某个立体腹腔镜的姿态下，只能对对象的局部表面区域重建三维点云，较难满足实际的使用需求。

技术实现要素：

本申请提供一种立体腹腔镜三维模型重建方法和装置。

根据本申请的第一方面，本申请提供一种立体腹腔镜三维模型重建方法，包括：

左右相机采集物体的二维彩色图像，同时记录立体腹腔镜上光学跟踪工具的空间姿态信息；

基于所述二维彩色图像求得稀疏的关键特征点，以所述稀疏的关键特征点为种子点，遍历迭代得到密集点云；

根据所述密集点云生成左右图像的视差图；

根据所述当前姿态信息和手眼校准变换矩阵将所述视差图反投影至相机坐标系统下的三维密集点云，再将所述三维密集点云变换至光学定位系统的坐标空间中，得到三维密集点云信息；

根据所述三维密集点云信息重建得到物体的表面模型。

上述方法，所述以所述稀疏的关键特征点为种子点，遍历迭代得到密集点云，具体包括：

以所述稀疏的关键特征点为种子点，设置一个固定尺寸的邻域搜索空间；

计算每个种子点在所述邻域搜索空间内的测度是否满足预设的阈值，如果是，则把该邻域内的点加入匹配关键点的队列，否则，迭代计算下一个种子点。

上述方法，所述根据所述当前姿态信息和手眼校准变换矩阵将所述视差图反投影至相机坐标系统下的三维点云，再将该所述三维密集点云变换至光学定位系统的坐标空间中，具体通过以下公式实现：

POINTStracker＝^trackerThand*^handTeye*POINTScamera

其中，POINTStracker为光学定位系统中的点，^trackerThand为立体腹腔镜上光学跟踪工具的空间姿态矩阵，^handTeye为手眼校准矩阵，POINTScamera为相机坐标系统中的点。

上述方法，所述根据所述三维密集点云信息重建得到物体的表面模型后，还包括：

对重建后的三维密集点云进行后处理，排除重建结果中的异常点云数据；

根据排除异常点云数据后的数据重建出物体的表面模型。

根据本申请的第二方面，本申请提供一种立体腹腔镜三维点云重建装置，，包括：

图像采集模块，用于使用左右相机采集物体的二维彩色图像，同时记录立体腹腔镜上光学跟踪工具的空间姿态信息；

密集点云生成模块，用于基于所述二维彩色图像求得稀疏的关键特征点，以所述稀疏的关键特征点为种子点，遍历迭代得到密集点云；

空间转换模块，用于根据所述密集点云生成左右图像的视差图，根据所述当前姿态信息和手眼校准变换矩阵将所述视差图反投影至相机坐标系统下的三维密集点云，再将所述三维密集点云变换至光学定位系统的坐标空间中，得到三维密集点云信息；

重建模块，用于根据所述三维密集点云信息重建得到物体的表面模型。

上述装置，所述密集点云生成模块，还用于以所述稀疏的关键特征点为种子点，设置一个固定尺寸的邻域搜索空间；计算每个种子点在所述邻域搜索空间内的测度是否满足预设的阈值，如果是，则把该邻域内的点加入匹配关键点的队列，否则，迭代计算下一个种子点。

上述装置，所述空间转换模块具体通过以下公式实现空间转换：

POINTStracker＝^trackerThand*^handTeye*POINTScamera

其中，POINTStracker为光学定位系统中的点，^trackerThand为立体腹腔镜上光学跟踪工具的空间姿态矩阵，^handTeye为手眼校准矩阵，POINTScamera为相机坐标系统中的点。

上述装置，还包括后处理模块，用于对重建后的三维密集点云进行后处理，排除重建结果中的异常点云数据；根据排除异常点云数据后的数据重建出物体的表面模型。

根据本申请的第三方面，本申请提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现上述方法。

由于采用了以上技术方案，使本申请具备的有益效果在于：

在本申请的具体实施方式中，由于包括根据二维彩色图像求得稀疏的关键特征点，以稀疏的关键特征点为种子点，遍历迭代得到密集点云，本申请利用从疏到密的策略，使得重建的三维点云和表面模型更加符合对象的真实拓扑结构，且无需三维表面模型扫描设备即可重建出三维密集点云数据和面模型，而且充分利用现有外科手术导航中的光学定位系统，无需引入其他硬件设备，不会对现有腹腔镜导航的工作流程产生影响，更加经济、直接。

附图说明

图1为本申请的方法在一种实施方式中的流程图；

图2为本申请立体腹腔镜三维点云场景布置示意图；

图3为本申请的立体腹腔镜在某一状态下三维点云重建结果示意图；

图4为根据本申请的方法形成的完整的对象表面的三维密集点云；

图5为根据本申请的方法处理后得到的三维点云和重建结果；

图6为本申请的装置在一种实施方式中的功能模块示意图。

具体实施方式

下面通过具体实施方式结合附图对本申请作进一步详细说明。

本申请在实际的腹腔镜导航系统或腹腔镜导航训练系统中，结合已有的硬件设备，直接从立体腹腔镜所采集的左右图像，重建出器官表面完整的三维密集点云数据和面模型，对于导航技术的成功实施和导航精度的提高有着关键的作用。本申请可基于计算机视觉领域一些经典的立体匹配方法，先得到左右图像匹配的稀疏关键点，再以这些稀疏关键点为种子点，通过增长策略得到密集的匹配关键点，生成视差图，通过在立体腹腔镜上固定一个光学定位系统的跟踪工具，将视差图反投影的三维点云变换至定位系统的坐标空间中，移动立体腹腔镜重复以上步骤，生成三维的密集点云数据和表面模型。

实施例一：

如图1所示，本申请的立体腹腔镜三维模型重建方法，其一种实施方式，包括以下步骤：

步骤102：左右相机采集物体的二维彩色图像，同时记录立体腹腔镜上光学跟踪工具的空间姿态信息。

步骤104：基于所述二维彩色图像求得稀疏的关键特征点，以稀疏的关键特征点为种子点，遍历迭代得到密集点云。

以所述稀疏的关键特征点为种子点，遍历迭代得到密集点云，具体可以包括：

以稀疏的关键特征点为种子点，设置一个固定尺寸的邻域搜索空间；

计算每个种子点在邻域搜索空间内的测度是否满足预设的阈值，如果是，则把该邻域内的点加入匹配关键点的队列，否则，迭代计算下一个种子点。

步骤106：根据密集点云生成左右图像的视差图，根据当前姿态信息和手眼校准变换矩阵将视差图反投影至相机坐标系统下的三维密集点云，再将三维密集点云变换至光学定位系统的坐标空间中，得到三维密集点云信息。

其中，根据所述当前姿态信息和手眼校准变换矩阵将视差图反投影至相机坐标系统下的三维密集点云，再将该三维密集点云变换至光学定位系统的坐标空间中，具体通过以下公式实现：

POINTStracker＝^trackerThand*^handTeye*POINTScamera

其中，POINTStracker为光学定位系统中的点，^trackerThand为立体腹腔镜上光学跟踪工具的空间姿态矩阵，^handTeye为手眼校准矩阵，POINTScamera为相机坐标系统中的点。

步骤108：根据三维密集点云信息重建得到物体的表面模型。

在一种实施方式中，本申请的立体腹腔镜三维模型重建方法，在步骤108后，还可以包括以下步骤：

步骤110：对重建后的三维密集点云进行后处理，排除重建结果中的异常点云数据，根据排除异常点云数据后的数据重建出物体的表面模型。

在一种实施方式中,本申请基于左右相机采集的彩色图像，利用计算机视觉领域的立体匹配算法先求得稀疏的关键特征点；然后以这些稀疏的关键特征点为种子点，采用区域增长的思想，求得左右图像上的种子点邻域内的匹配区域，扩展左右图像匹配的关键特征点；再以这个扩展后的左右图像匹配的关键特征点为基础，生成视差图；通过在立体腹腔镜上固定一个光学定位系统的跟踪工具，将视差图反投影得到的三维点云变换至光学定位系统的坐标空间中；移动立体腹腔镜对器官或其他对象的不同区域进行腹腔镜彩色图像成像，重复以上步骤，重建出器官或对象完整的三维密集点云信息；再采用RANdom SAmple Consensus(RANSAC，随机抽样一致性算法)对重建结果作后处理，采用泊松表面重建算法得到对象的表面模型。

实施例二：

实施例二为本申请的立体腹腔镜三维模型重建方法的一种具体应用例，包括以下步骤：

步骤202：场景准备。

立体腹腔镜三维点云场景如图2所示，其中，11为光学定位系统，12为光学定位系统的跟踪工具，13为立体腹腔镜，14为双目相机，21为器官表面，22为腹壁，其准备工作包括：在立体腹腔镜上固定光学定位系统的跟踪工具；保证需要三维点云重建的对象在光学定位系统的可视范围内。

通过引入手术导航中普遍使用的光学定位系统，在立体腹腔镜上固定光学定位系统的跟踪工具，通过这个跟踪工具可以将立体相机坐标空间中的三维点云变换至光学定位系统坐标空间，这一步操作是保证重建完整的对象表面三维点云的最关键步骤。

通过在立体腹腔镜上固定光学定位系统的跟踪工具，能够将立体腹腔镜相机坐标系下的三维点云变换至光学定位系统的坐标空间中，相比于传统的三维点云重建方法，本申请方法能够重建出对象表面完整的三维点云和表面模型。

步骤204：相机标定和手眼校准。

立体相机标定主要的目的是获取左右相机的内外参数，包括相机的焦距、畸变参数、左右相机之间的旋转、平移参数等。可以基于棋盘格校准法，如OpenCV、MATLAB等工具包完成这个过程。这些参数将会用于相机图像的二维信息到三维信息的重建过程中。

手眼校准的目的是获取双目相机坐标系到立体腹腔镜上的光学定位工具局部坐标系之间的空间变换，即为了求得图2中的^handTeye变换矩阵，通过公式1：POINTStracker＝^trackerThand*^handTeye*POINTScamera，可以把相机坐标系下的三维点云变换至光学定位系统的坐标系下。

步骤206：立体腹腔镜采集彩色二维图像。

保证腹腔镜上固定的跟踪工具能被光学定位系统所见，采集立体腹腔镜左右相机在某个状态下的二维彩色图像，同时记录该状态下跟踪工具在光学定位系统下的空间姿态信息。

步骤208：立体匹配。

基于计算机视觉领域的立体匹配方法得到左右图像匹配的稀疏关键点；然后以这些稀疏关键点为种子点，设置一个固定尺寸的邻域搜索空间，计算每个种子点的邻域空间内的Zero-based Normalized Cross Correlation(ZNCC,零均值归一化互相关)的测度是否满足预设的阈值，如果是，则把该邻域内的点加入匹配关键点的队列，否则，迭代计算下一个种子点。立体匹配方法可以是金字塔匹配算法或是其他算法。

对左右图像进行匹配的时候，先采用任何计算机视觉中立体匹配算法得到稀疏的匹配关键点，再引入区域增长的思想，遍历得到密集的匹配关键点，这一步是重建三维密集点云的核心步骤。

步骤210：生成视差图。

根据上一步的立体匹配结果，生成左右图像的视差图。

步骤212：生成三维点云。

结合相机标定的内外参数和上一步所计算的视差图，计算相机坐标系下的三维点云。再根据手眼校准变换矩阵^handTeye将相机坐标系下的三维点云变换至光学定位系统坐标系下，即通过公式1：

POINTStracker＝^trackerThand*^handTeye*POINTScamera

调整立体腹腔镜的位置，重复步骤206～步骤212，直到重建出整个对象的三维表面点云。

步骤214：三维点云后处理。

对重建后的三维密集点云进行后处理，可以采用RANdom SAmple Consensus(RANSAC，随机抽样一致性算法)或是其他算法，排除重建结果中的异常点云数据；再采用泊松表面重建算法或其他重建算法重建出对象的表面模型。

步骤216：结束。

至此，通过借助腹腔镜手术导航现有的光学定位系统，本申请的立体腹腔镜三维点云重建方法即完成了对待重建表面的密集点云的重建过程。

例如，使用本申请的方法对于离体猪肝表面的三维点云重建时，具体可以包括以下步骤：

1.根据步骤202，先放置好光学定位系统、在立体腹腔镜上固定光学定位系统的跟踪工具，确保离体猪肝在光学定位系统的可视范围内。

2.根据步骤204，采用OpenCV或者MATLAB等工具包，对立体相机进行标定和手眼校准，获得相机的内外参数以及手眼校准矩阵。

3.根据步骤206-步骤212，手持立体腹腔镜，对离体猪肝表面采集左右相机的二维彩色图像，同时记录下立体腹腔镜上光学跟踪工具的当前姿态信息(这个姿态信息可通过光学定位系统读取)，然后重建该状态相机坐标系下的三维点云，程序自动根据相机的内外参数和手眼校准矩阵，将该状态相机坐标系下的三维点云变换至光学定位系统坐标系下如图3所示，其中图3(a)为左右相机对离体猪肝采集的二维彩色图像，图3(b)为某一状态下重建的肝脏某一局部区域三维密集点云。

手持立体腹腔镜对对象表面不同的局部区域进行二维彩色图像的采集，每一块重建所得的三维点云通过腹腔镜上跟踪工具的姿态信息，再拼接成完整的表面区域，这个步骤可以解决因立体腹腔镜的光照和对象表面平滑的特性所造成的镜面反射而无法匹配关键特征点的问题。

通过手持立体腹腔镜对对象的不同局部区域进行数据采集，可以解决因镜面反射(高亮)而无法匹配关键特征点的问题，表明本发明方法是具有更加鲁棒的特性；

4.调整立体腹腔镜的成像区域，重复上一步骤，即可重建得到完整的对象表面的三维密集点云数据，如图4所示，其中图4(a)为左右相机对离体猪肝采集的二维彩色图像，图4(b)为拼接后的离体肝脏表面的三维密集点云。程序自动进行后处理和表面重建，重建结果如图5所示，其中图5(a)为RANSAC处理后的三维点云，图5(b)为泊松表面重建结果。

采用随机抽样一致性算法对所重建的三维密集点云进行后处理，排除重建结果中的异常数据；再根据后处理的三维点云数据，采用泊松表面重建方法重建出对象的表面模型。

实施例三：

如图3所示，本申请的立体腹腔镜三维模型重建装置，其一种实施方式，包括图像采集模块、密集点云生成模块、空间转换模块和重建模块。

其中，图像采集模块，用于使用左右相机采集物体的二维彩色图像，同时记录立体腹腔镜上光学跟踪工具的空间姿态信息。

密集点云生成模块，用于基于二维彩色图像求得稀疏的关键特征点，以稀疏的关键特征点为种子点，遍历迭代得到密集点云。

空间转换模块，用于根据密集点云生成左右图像的视差图，根据当前姿态信息和手眼校准变换矩阵将视差图反投影至相机坐标系统下的三维密集点云，再将三维密集点云变换至光学定位系统的坐标空间中，得到三维密集点云信息。

重建模块，用于根据三维密集点云信息重建得到物体的表面模型。

在一种实施方式中，本申请的密集点云生成模块，还可以用于以稀疏的关键特征点为种子点，设置一个固定尺寸的邻域搜索空间；计算每个种子点在所述邻域搜索空间内的测度是否满足预设的阈值，如果是，则把该邻域内的点加入匹配关键点的队列，否则，迭代计算下一个种子点。该预设的阈值可以根据经验进行设定。

本申请的空间转换模块，具体通过以下公式实现空间转换：

POINTStracker＝^trackerThand*^handTeye*POINTScamera

其中，POINTStracker为光学定位系统中的点，^trackerThand为立体腹腔镜上光学跟踪工具的空间姿态矩阵，^handTeye为手眼校准矩阵，POINTScamera为相机坐标系统中的点。

在一种实施方式中，本申请的立体腹腔镜三维点云重建装置，还可以包括后处理模块。后处理模块可用于对重建后的三维密集点云进行后处理，排除重建结果中的异常点云数据；并根据排除异常点云数据后的数据重建出物体的表面模型。

实施例四：

本申请还提供一种计算机可读存储介质，包括程序，程序能够被处理器执行以实现实施例一和实施例二的方法。

以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干简单推演或替换。