一种基于单目相机的手术机器人全自动实时配准方法

本发明涉及医疗设备，具体涉及一种基于单目相机的医疗手术机器人全自动实时配准方法。

背景技术：

1、脑血管病等神经外科疾病以及肝脏、肺等恶性肿瘤具有极高致死率、致残率，极大威胁世界人民的生命健康。近年来，随着科技不断进步与发展、医理工多学科交叉融合、新一代诊疗技术设备持续创新，医疗手术机器人凭借微创、精准、高效等优势已在神外、内科、骨科等多领域进入临床并取得显著治疗效果。其中，数字化、智能化术中导航是保障机器人精准高效完成手术的关键所在，因此获得极大关注与持续深入的探索创新。

2、空间配准是完成高精度手术导航的基础，当前临床常用配准方式在患者头部等部位固定安装注册标志物，患者接受ct扫描，术前术中医生均基于手术经验定位并匹配标志点，通过配准算法完成空间注册。然而，人工注册过程繁琐且耗时、极易引入主观误差，造成空间配准效率低下、精度不足。

3、此外，自动实时空间配准对进一步提高手术机器人动态环境适应性、提升其自主手术能力具有重要意义。一些科研机构基于红外深度相机或彩色双目相机，构建术中导航系统，实现具有较高实时性的自动配准方法。然而，红外深度相机性能受限，双目标定引入更多偏差，且双目视野受限，当前自动实时配准方法精度难以满足手术要求，距离实际临床仍有很大距离。

4、由此可见，如何实现一种高精度、高实时性的全自动配准方法，仍是本领域技术人员亟需解决的关键难题。

技术实现思路

1、有鉴于此，本发明提供一种基于单目相机的手术机器人全自动实时配准方法，设计术前影像、术中相机下标志球自动识别定位算法，通过2d kd-tree构建几何特征，结合优化方法完成2d-3d对应关系估计与单目深度恢复，实现全自动高精度的快速配准，为手术机器人术中导航、实时跟踪奠定基础。

2、第一方面，本发明提供了一种用于单目配准的定制化标志球，包括：

3、具体地，所述定制化标志球为标准球形，所述标志球下方连接有柱状细杆，所述柱状细杆固定于标志球基座上。

4、具体地，所述标志球采用与人体骨质、软组织物理性质差异大的尼龙材料制成，所述标志球外表为深色，所述柱状细杆与标志球基座外表为浅色。

5、第二方面，本发明提供一种基于单目相机的手术机器人全自动实时配准方法，包括步骤如下：

6、s1：通过电子计算机断层扫描设备采集患者术区影像，利用聚类方法自动提取标志球影像坐标系下三维空间坐标；

7、s2：单目光学相机实时采集患者术区画面，通过目标分割方法自动识别分割标志球，获得其二维像素坐标；

8、s3：基于2d kd-tree分别构建标志球在所述影像坐标系、像素坐标系下拓扑图，形成有序点集序列，利用所述拓扑图几何特征，完成像素坐标系-影像坐标系下标志球2d-3d对应关系估计；

9、s4：利用所述标志球2d-3d对应关系，及单目相机内参与标志球三维几何关系，恢复所有标志球深度信息，确定相机坐标系下标志球三维空间坐标；

10、s5：针对影像坐标系、相机坐标系下标志球三维坐标，综合两坐标系下标志球对应关系，解算影像坐标系到相机坐标系的位姿变换矩阵，以完成术中基于单目相机的单次配准；

11、s6：返回s2，重复上述步骤，直到完成手术导航过程。

12、具体地，所述步骤s3对应关系优化过程中，基于经验设置合理损失阈值，满足阈值条件即推出迭代，并将上次优化合理结果作为下次优化迭代初值，以保证优化过程的快速拟合。

13、具体地，所述步骤s4深度恢复过程中，基于经验设置合理损失阈值，满足阈值条件即推出迭代，并上次优化合理的深度距离结果直接作为下次优化初值，以确保迭代过程的快速拟合。

14、第三方面，本发明提供了一种服务器，所述服务器主要包括处理器、存储器以及存储在存储器上，并能在所述处理器上运行第二方面所述的单目全自动实时配准方法。

15、第四方面，本发明提供了一种非瞬时性的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，能够实现第二方面所述的单目全自动实时配准方法的步骤。

16、经由上述技术方案可知，与现有技术相比，本发明的有益效果包括：

17、本发明提供的单目全自动实时配准方法，尤其在配合手术机器人使用时，(1)无需医生基于光学测量系统，术前、术中手动选择标志点，大大提高标志点检测效率与精度；(2)无需先验标志点信息以及人工对齐标志点，简化空间配准流程，实现配准全流程自动化；(3)基于单目相机完成配准全过程，降低成本，且避免引入双目带来的标定误差、视野受限等问题，提高配准性能；(4)提出的2d-3d对应估计、深度恢复方法，在解决2d-3d同类配准问题上具有广泛参考价值；(5)本发明提供的单目全自动实时配准方法，对进一步提高手术机器人术中导航能力，提升机器人自主手术操作水平，均具有重要研究与实际意义。

技术特征：

1.一种基于单目相机的手术机器人全自动实时配准方法，其特征在于：应用于神经外科、内科、骨科等领域的手术机器人，包括一种定制化标志球与基于单目的全自动实时配准方法，包括以下步骤：

2.根据权利要求1所述的单目全自动实时配准方法，其特征在于：所述标志球(301)为标准球形，由柱状细杆(302)固定于标志球基座(303)上；所述标志球(301)由与人体骨质、组织物理性质差异较大的尼龙材料制成，所述标志球(301)为深色，所述柱状细杆(302)与标志球基座(303)为浅色。

3.根据权利要求1所述的单目全自动实时配准方法，其特征在于：所述聚类方法自动提取标志球在影像坐标系下的三维空间坐标，方法包括：

4.根据权利要求1所述的单目全自动实时配准方法，其特征在于：所述目标分割方法自动确定标志球在图像画面中的二维坐标，方法包括：

5.根据权利要求1所述的单目全自动实时配准方法，其特征在于：所述像素坐标系-影像坐标系下标志球2d-3d的对应关系估计，方法包括：

6.根据权利要求1所述的单目全自动实时配准方法，其特征在于：所述术中标志球相机坐标系下的深度恢复，方法包括：

7.根据权利要求1所述的单目全自动实时配准方法，其特征在于：所述影像坐标系与相机坐标系下的空间配准，方法包括：

8.根据权利要求5所述的单目全自动实时配准方法，其特征在于：所述投影法向量、归一化参数优化过程中，基于经验设定合理损失阈值，满足阈值条件即退出迭代，并将上次优化合理结果作为下次优化初值，以确保优化过程的快速拟合。

9.根据权利要求6所述的单目全自动实时配准方法，其特征在于：所述标志球深度距离优化过程中，基于经验设定合理损失阈值，满足阈值条件即退出迭代，并将上次优化合理结果作为下次优化初值，以确保迭代过程的快速拟合。

10.一种服务器，其特征在于，所述服务器包括存储器、处理器和存储在所述存储器上，并在所述处理器上运行权利1-9任一项所述的应用于单目相机全自动实时配准方法。

11.一种非瞬时性计算机可读存储介质，所述存储介质上储存计算机程序，所述程序被处理器执行时，实现权利1-9任一项所述的应用于单目相机全自动实时配准步骤。

技术总结
本发明涉及医疗设备技术领域的一种基于单目相机的手术机器人全自动实时配准方法，公开一种基于单目相机的手术机器人全自动实时配准方法。所述方法包括：通过阈值分割与聚类方法自动检测影像坐标系下标志球三维坐标；利用单目相机实时采集术区画面，基于目标分割算法提取像素坐标系下标志球二维坐标；采用2D KD‑Tree构建影像、像素坐标系下标志球拓扑图，形成有序点集序列，构建向量特征集，基于优化方法完成2D‑3D的对应关系估计；结合标志球三维几何特征，恢复标志球深度信息；最终解算影像坐标系到相机坐标系位姿转换矩阵，完成单次空间配准。本发明仅通过单个彩色相机即可全自动完成空间配准，且配准精度高、实时性好，对进一步提高手术机器人术中导航能力、提升其自主操作水平具有重要意义。

技术研发人员：陈殿生,陈凯,孟偲
受保护的技术使用者：北京航空航天大学
技术研发日：
技术公布日：2024/1/15