一种基于双目视觉与机器人的乳腺超声扫描方法及系统

本发明涉及乳腺超声扫描设备领域，具体涉及一种基于双目与机器人的乳腺超声扫描方法及系统。

背景技术：

乳腺癌作为最常见的癌症之一，发病率逐年增高且趋于年轻化。提早发现并及时治疗，能够有效降低乳腺癌患者的死亡率，并提高癌症患者的生活质量。乳腺癌的超声扫描是检测乳腺癌的最常用手段，传统的乳腺超声扫描主要依赖医生对患者各个部位手动进行检查操作。然而因为医生资源紧缺及医生操作经验不足等原因，面对日益增多的患者数量，手术效率及检测结果的准确性无法得到保证。

针对以上问题，现有技术提出了传统机械装置辅助超声扫描的方法，但是这种扫描方法的智能化与自动化程度不足，因此临床实用性较差。

技术实现要素：

为了在一定程度上解决上述问题，本发明提出了一种基于双目与机器人的乳腺超声扫描方法，利用双目视觉技术及机器人操纵超声探头进行扫描，能够准确且高效地完成乳腺超声扫描操作，减轻医生的工作负担。

为达到上述目的，本发明的技术方案是这样实现的。

一种基于双目视觉与机器人的乳腺超声扫描方法，其特征在于，包括：

获取图像信息；

对获取的乳腺图像信息进行三维点云重构，并对乳腺点云数据进行优化；

提取所述的超声扫描路径，并优化所得扫描路径；

根据所得超声扫描路径，机器人完成乳腺超声扫描。

优选地，所述的获取图像信息，包括：

对所述的双目视觉系统进行棋盘格标定，得到相机的内、外参数与畸变系数，并校正双目相机的畸变系数，获取标定数据。

优选地，所述的对获取的乳腺图像信息进行三维点云重构，并对乳腺点云数据进行优化，包括：

所述的三维点云数据的重构，需要使用遵循以下步骤完成：使用census变换法完成匹配代价计算、使用基于sgm的路径聚合算法完成代价聚合、使用wta算法进行视差计算、使用像素点坐标信息完成三维点云数据重构；

所述的三维点云数据的优化，主要包含以下两方面：使用kd-tree空间索引算法进行点云去噪，然后利用均匀采样算法完成点云下采样。

优选地，所述提取所述的超声扫描路径之前，包括：

超声扫描路径的提取应当满足以下五个要求：

超声扫描路径的水平面投影应是封闭环；

超声扫描路径不可在乳腺内部；

超声扫描路径的路径点云应不多于五十个；

超声扫描路径应处于乳腺水平高度的中部；

超声扫描路径信息建立于双目视觉设备坐标系之下。

优选地，所述提取所述的超声扫描路径，包括：

所述超声扫描路径的提取，应当按照以下步骤完成：

计算乳腺三维点云模型中各点云的坐标信息；

计算坐标信息中的z轴中值数；

提取出z轴中值数所在坐标信息；

生成所述坐标信息的点云法向量信息；

根据乳腺轮廓及精度需求，确定不多于五十个的点云数量，以此生成超声扫描路径。

优选地，所述超声扫描路径，包括：

所述超声扫描路径，主要包含两个方面的信息：超声扫描路径上路径点的三维空间坐标信息和法向量信息，其中，三维空间坐标信息用于确定超声扫描时超声探头的位置，而法向量信息则用于确定超声扫描时超声探头的朝向。

优选地，所述优化所得扫描路径，包括：

基于所述扫描路径中的三维空间坐标信息，使用nurbs曲线算法完成超声扫描路径的插补优化，通过控制插补点数量平滑超声扫描路径。

优选地，所述机器人完成乳腺超声扫描，包括：

根据所述的超声扫描路径信息，机器人完成乳腺超声扫描的步骤如下：

将超声扫描路径信息，从双目视觉设备坐标系转移到机器人基坐标系下；

结合所述超声扫描路径信息与机器人逆运动学理论，求解机器人各关节的运动信息；

基于所述机器人各关节的运动信息，更新上位机中的运动控制指令；

上位机发送运动控制指令给控制器，由控制器驱动机器人完成超声扫描动作。

一种基于双目视觉与机器人的乳腺超声扫描系统，其特征在于，包括：

上位机，用于对乳腺三维点云模型重建及点云数据处理，提取出超声扫描路径，然后对超声扫描路径进行nurbs曲线优化，规划机器人的运动路径，并结合所得信息及控制程序，发送运动控制指令给控制器；

控制器，用于控制机器人按照所得扫描路径完成乳腺超声检查操作；

机器人，用于操纵安装在机器人末端的超声探头；

超声扫描系统，所述系统由超声探头和超声成像仪组成，超声探头用于发射和接收反射回来的超声波信号，超声成像仪用于将探头接收到的超声波信号转换成图像信息；

双目相机，用于获取患者乳腺图像信息；

超声检查病床，用于超声检查过程中支撑患者身体。

本发明提供的一种基于双目视觉与机器人的乳腺超声扫描方法及系统，通过获取图像信息；对获取的乳腺图像信息进行三维点云重构，并对乳腺点云数据进行优化；提取所述的超声扫描路径，并优化所得扫描路径；根据所得超声扫描路径，机器人完成乳腺超声扫描。通过本发明，利用双目视觉技术及机器人操纵超声探头进行扫描，能够准确且高效地完成乳腺超声扫描操作，减轻医生的工作负担。

附图说明

为了易于说明，本发明由下述的具体实施及附图作以详细描述。

图1是本发明的基于双目视觉与机器人的乳腺超声检查方法原理流程图。

图2是本发明的三维点云数据处理模块示意图。

图3是本发明的提取超声扫描路径方法流程图。

图4是本发明的基于双目视觉与机器人的乳腺超声检查系统构造图。

图5是本发明的机器人完成乳腺超声扫描步骤流程图。

具体实施方式

为使本技术领域的人员更好地理解本发明实施例的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本发明保护的范围。

如图1所示，是基于双目视觉与机器人的乳腺超声检查方法原理流程图，具体包括：

步骤s101，获取图像信息；

步骤s102，对获取的乳腺图像信息进行三维点云重构，并对乳腺点云数据进行优化；

步骤s103，提取所述的超声扫描路径，并优化所得扫描路径；

步骤s104，根据所得超声扫描路径，机器人完成乳腺超声扫描。

本发明实施例中，在步骤s101之前，对双目视觉系统进行棋盘格标定，标定后得到相机的内、外参数与畸变系数，对所得双目相机405畸变系数进行校正，获取标定数据信息。

在进行步骤s101时，所述获取的图像信息为病人乳腺的带有深度信息的图像。

步骤s102，重构并优化三维点云的目的，在于将病人乳腺的图像信息转换为三维点云信息，通过三维点云信息的分布位置及分布密度来描述病人乳腺的状态。

步骤s103，对于机器人403而言，所述三维点云信息是运动目标点，但是完整连续的运动需要通过完整连续的运动轨迹规划来完成，因此需要基于所述三维点云信息完成所述超声扫描路径的提取。

进一步地，所述超声扫描路径被提取后，基于所述超声扫描路径中的三维空间坐标信息，使用nurbs曲线算法完成所述超声扫描路径的插补优化，通过控制插补点数量平滑所述超声扫描路径。

在进行步骤s104过程中，机器人403完成超声扫描的过程是全自动的，但是医生可以通过上位机401与其进行智能交互，随时中断其一切运动。

优选地，在图1所示的基于双目视觉与机器人的乳腺超声检查方法原理的基础上，如图2所示，是本发明的三维点云数据处理模块示意图，具体包括：

步骤s201，使用census变换法完成匹配代价计算；

步骤s202，使用基于sgm的路径聚合算法完成代价聚合；

步骤s203，使用wta算法进行视差计算；

步骤s204，使用像素点坐标信息完成三维点云数据重构;

步骤s205，使用kd-tree空间索引算法进行点云去噪。

步骤s206，利用均匀采样算法完成点云下采样。

本发明实施例中，步骤s201所述的使用census变换法完成匹配代价计算过程中，先确定所述图像信息的像素点搜索范围，建立存储匹配代价值得三维矩阵，并对左、右图像中的相似点进行比较，从而获取匹配代价值。

具体地，对于所述图像信息，将中心像素点p和其对应的领域范围内的像素点q的灰度值进行比较，若判断灰度值中邻域像素点数据大于中心像素点数据，则判定标志为0，反之为1。根据所述判定标志，构建census序列异或值，通过对比所述census序列异或值得出所述左右图像信息相似点的hamming值，值越大，则两点相似度越低，反之亦然。

步骤s202所述的使用基于sgm的路径聚合算法完成代价聚合，是用代价聚合对代价匹配后的值进行滤波处理，以此反映出所述匹配代价值与图像像素之间的联系，并减少信号噪声对匹配代价结果的影响。

具体地，sgm算法是通过一维路径聚合方法转换求解出二维最优问题，利用路径聚合求解出代价值，通过对所求代价值求和得到总路径代价值。其中，路径聚合时选取的路径数目和聚合方式不同时，聚合效果也会随之改变。

步骤s203中，所述的使用wta算法进行视差计算的目的是，对所述图像信息进行左右图像一致性判定。

步骤s204，通过结合左、右目图像的空间投影位置信息与一致性判定结果，提取所述图像的像素点三维坐标信息，重构出乳腺三维点云。

步骤s205所述的使用kd-tree空间索引算法进行点云去噪，即对所述三维点云中的任意一点，再使用k邻域搜索方法，并设定的邻域点平均距离为k，对所述任意一点的k邻域内完成点云噪声去除：

步骤s206中，使用均匀采样算法完成所述三维点云的下采样，可以适当减少三维点云的数量，减少数据处理量，提高所述基于双目视觉与机器人的乳腺超声检查系统的实时性。

优选地，在图1所示的基于双目视觉与机器人的乳腺超声检查方法原理的基础上，如图3所示，是本发明的三维点云数据处理模块示意图，具体包括：

步骤s301计算乳腺三维点云模型中各点云的坐标信息；

步骤s302，计算坐标信息中的z轴中值数；

步骤s303，提取出z轴中值数所在坐标信息；

步骤s304生成所述坐标信息的点云法向量信息；

步骤s305根据乳腺轮廓及精度需求，确定不多于五十个的点云数量，以此生成超声扫描路径。

本发明实施例中，步骤s302，所述z轴方向为乳腺底部中心指向乳腺顶部中心的方向，z轴方向的中值所在水平面为扫描路径所在水平面，其中，通过使用所述坐标信息中z轴极大值与z轴极小值相加求均值的方式，可以求得z轴中值。

步骤s303，依据所述z轴中值，所述乳腺三维点云模型的坐标信息中，提取出具有所述z轴中值数的所有三维坐标信息。

步骤s304，选择基于局部表面数据拟合的方法，计算步骤s303中所述三维坐标信息的法向量。

具体地，对于任一所求三维坐标信息邻近的k个点进行平面拟合，即可转换为使用最小二乘法拟合平面估计三维坐标信息的法向量。其中，k值由个人自动选取，一般为20到50之间。

步骤s305中，乳腺轮廓越完整、数据精度越高，所述基于双目视觉与机器人的乳腺超声检查系统的实时性就越差，为了平衡两者之间的关系，一般选取不多于五十个的点云数据，然后通过相邻点云数据之间直接连接的方式，生产超声扫描路径。

如图4所示，是本发明的超声探头语音控制系统模块示意图，具体包括：

上位机401，用于对乳腺三维点云模型重建及点云数据处理，提取出超声扫描路径，然后对超声扫描路径进行nurbs曲线优化，规划机器人的运动路径，并结合所得信息及控制程序，发送运动控制指令给控制器；

控制器402，用于控制机器人按照所得扫描路径完成乳腺超声检查操作；

机器人403，用于操纵安装在机器人末端的超声探头；

超声扫描系统404，所述系统由超声探头4041和超声成像仪4042组成，超声探头用于发射和接收反射回来的超声波信号，超声成像仪用于将探头接收到的超声波信号转换成图像信息；

双目相机405，用于获取患者乳腺图像信息；

超声检查病床406，用于超声检查过程中支撑患者身体。

在本发明实施例中，双目相机405获取患者乳腺图像信息，并将数据传输给上位机401。上位机401与控制器402连接，将规划路径信息和运动控制指令发送到控制器；控制器402与机器人403相连，驱动机器人403完成超声扫描动作；机器人403末端连接超声探头4041，操纵探头对待测部位进行扫描。超声探头4041采集到的图像信息在超声成像仪4042上显示出来。

其中，双目相机就是本发明中提到的双目视觉系统。

如图5所示，是本发明的机器人完成乳腺超声扫描步骤流程图，具体包括：

步骤s501，将超声扫描路径信息，从双目视觉设备坐标系转移到机器人基坐标系下；

步骤s502，结合所述超声扫描路径信息与机器人逆运动学理论，求解机器人各关节的运动信息；

步骤s503，基于所述机器人各关节的运动信息，更新上位机中的运动控制指令；

步骤s504，上位机发送运动控制指令给控制器，由控制器驱动机器人完成超声扫描动作。

本发明实施例中，步骤s501中，通过对乳腺超声检查机器人进行手眼标定建立双目相机405与机器人403的坐标系信息联系，将所需路径点转换成适应机器人403的基坐标系的运动点位。

在步骤s502中，对乳腺超声检查机器人进行逆运动学，可以通过所述超声扫描路径信息，逆向求解出所述机器人403在每一超声扫描路径点中对应的关节运动信息；

步骤s503，机器人403按运动路径进行扫描的过程，是迭代的过程，每一次的检查过程机器人403会从中得出更优的运动方式，不断的进行自我优化，并将优化后的运动信号，传送给上位机401，更新上位机401中的运动控制命令。

步骤s504，上位机403将相关控制指令传递给控制器402，主要是通过以太网实现的。

具体地，在本发明实施例中，控制器402接收上位机401传来的运动控制命令后，驱动机器人403操纵超声探头进行扫描，扫描过程中，机器人403可以实现多方位、多角度的移动。因为系统中的机器人403每个关节都是相对独立的，可以根据对于机器人403不同位姿的需求进行实时调整。此外，机器人403具有有离线自动模式、示教模式、在线编程模式等多种控制模式。

进一步地，机器人403末端装有力反馈装置，与控制器402进行实时的信息交互，当机器人403运动路径偏离设定的超声扫描路径而与其他设备或患者碰撞时，会收到紧急制动信号，使机器人停止运动。

综上所述，通过本发明所提供的一种基于双目视觉与机器人的乳腺超声扫描方法及系统，医生可以结合双目视觉技术和机器人完成乳腺的超声扫描，操作过程简单、方便和稳定，医生无需经过大量的培训即可完成相应的操作，减轻了医生的工作压力，降低了医院的人力资源压力，而且超声扫描过程高效、扫描精度有保障。

以上内容是结合具体地实施方式对本发明所作的进一步详细说明，不应认定本发明的具体实施只局限于以上说明。对于本技术领域的技术人员而言，在不脱离本发明构思的前提下，所作出的若干不具有创造性劳动的变形或替换，均应视为由本发明所提交的权利要求确定的保护范围之内。