用于骨科手术的光学三维扫描设备及测量骨骼表面的方法与流程

本申请涉及医疗设备技术领域，具体涉及一种用于骨科手术的光学三维扫描设备、在骨科手术中利用光学三维扫描设备对骨骼表面进行测量的方法、骨科手术中的图像注册方法、手术机器人系统、电子设备以及非瞬时性计算机可读存储介质。

背景技术：

智能化手术设备是推动微创手术发展和普及的核心装备，医疗机器人作为前沿技术重点研究内容，是先进科技融合的产物。骨科手术机器人是医疗机器人的细分领域，可实现更加个性化的手术方案设计和模拟，提供超越人手极限的手术定位精度，从而极大地方便了医生的操作，有效降低并发症风险，提升手术质量，缩短术后康复周期，并从总体上降低医疗费用。

基于骨科手术机器人系统进行辅助定位、导向，从而完成骨科手术，一直以来都不断朝着精准化、微创化发展。在手术进行过程中，患者术前拍摄的患处医学影像(如ct等)与患者坐标系进行注册的精度非常重要，该环节是基于骨科手术机器人系统的骨科手术的基础和重要环节，其精度直接影响了整台手术的精度。当前基于骨科手术机器人系统的手术中，多采用手持探针的接触式采样方式来采集、测量骨表面的位置信息并与患者的术前图像进行注册。

在现有技术中，接触式的骨表面信息采集、测量方法使用的探针都带有光学标志点定位工具，当操作人员手持探针的针尖部位刮取患者骨骼表面时，配合骨科手术机器人系统中的光学定位器，即可获得针尖位置接触到的骨骼表面的三维坐标信息。当探针针尖划过的骨骼表面范围足够大时，即可测量出患者在术中暴露出的整个骨骼表面的形状、位置等信息。此后，可将探针采集到的全部骨骼表面数据信息与患者术前拍摄的患处医学影像进行注册，为后续基于骨科手术机器人系统的手术做好准备。

然而，在骨科手术中，使用带光学定位工具的探针刮取骨骼表面的传统方法存在以下问题和缺陷。

首先，接触式探针由于其工作原理，在术前需要对其进行严格消毒，从而增加了操作流程步骤，导致手术准备过程繁琐、低效。而且，接触式的探针采集获取骨骼表面的信息时，需要使用探针刮过整个患者患处的骨骼表面，由于探针针尖较尖锐，与骨骼表面接触时接触面积很小，因此，刮取患处骨骼表面时效率较低、操作持续时间较长。

其次，探针接触式的采集方式存在对患者的潜在伤害。而且，探针作为手术耗材，增加了医患的手术成本。

再次，由于探针采集骨骼表面各点的空间三维位置坐标是通过与骨科手术机器人系统中的光学定位器配合来获取的，因此定位精度相对不高。

此外，由于接触式探针刮取骨骼表面需要人为操作且操作耗时较长，不同操作者在操作过程中，使用探针接触骨骼表面的力度、刮取骨骼表面时的采集密度等方面均存在个体性差异，以上不确定因素均会对下一步与患者术前拍摄的医学影像注册的精度造成影响。

技术实现要素：

为了解决现有技术中出现的上述问题，本申请提供了一种用于骨科手术的光学三维扫描设备、在骨科手术中利用光学三维扫描设备对骨骼表面进行测量的方法、骨科手术中的图像注册方法、手术机器人系统、电子设备以及非瞬时性计算机可读存储介质。

根据本申请的一个方面，提供了一种用于骨科手术的光学三维扫描设备，用于在骨科手术中对骨骼表面进行测量，所述设备包括：

投影机，用于向骨骼表面投影预设图案；

工业相机，用于拍摄投影有所述预设图案的骨骼表面的图像；以及

控制器，与所述投影机和所述工业相机通信，并在控制所述投影机向骨骼表面投影所述预设图案的同时，控制所述工业相机拍摄投影有所述预设图案的骨骼表面的图像。

根据本申请的另一方面，提供了一种在骨科手术中利用光学三维扫描设备对骨骼表面进行测量的方法，所述光学三维扫描设备包括投影机和工业相机，所述方法包括：

控制所述投影机向骨骼表面投影预设图案；

控制所述工业相机拍摄投影有所述预设图案的骨骼表面的图像；以及

对所述图像进行处理，以生成所述骨骼表面的点云数据。

根据本申请的另一方面，提供了一种骨科手术中的图像注册方法，用于将术中获取的骨骼表面的图像与术前拍摄的骨骼表面的医学影像进行注册，所述方法包括：

在术前获取骨骼表面的术前医学影像；

利用如上所述的测量方法，在术中获取骨骼表面的术中点云数据；以及

将术中获取的骨骼表面的术中点云数据和/或彩色点云数据与术前获取的骨骼表面的术前医学影像进行注册。

根据本申请的另一方面，提供了一种手术机器人系统，包括如上所述的光学三维扫描设备。

根据本申请的另一方面，提供了一种电子设备，包括：

处理器；以及

存储器，存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述的方法。

根据本申请的另一方面，提供了一种非瞬时性计算机可读存储介质，其上存储有计算机可读指令，当所述指令被处理器执行时，使得所述处理器执行如上所述的方法。

与现有技术中采用接触式探针刮取骨骼表面进行信息采集的方式相比，采用本申请的光学三维扫描设备，提供了一种完全不同的骨骼表面信息采集方式。在本申请的实施方式中，光学三维扫描设备是非接触式的信息采集方式。由于对骨骼表面信息的采集是非接触式的，因此该设备不会与患者患处发生接触，从而既避免了对患者潜在伤害的可能，又免去了术前消毒步骤，提高了手术准备过程的效率。而且，本申请的信息采集过程不需要不断刮取骨骼的整个表面，而仅需通过拍摄即可获取骨骼表面所有点的信息，大大提高了效率，节省了手术时间。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本申请一个实施方式用于骨科手术的光学三维扫描设备的示意性框图。

图2示出了根据本申请一个实施例的一组具有不同频率的黑白数字光栅图案的示例。

图3示出了根据本申请一个实施方式安装于光学三维扫描设备的框架上的光学定位工具的示意图。

图4示出了根据本申请一个实施方式在骨科手术中利用光学三维扫描设备对骨骼表面进行测量的方法的流程图。

图5示出了根据本申请另一实施方式在骨科手术中利用光学三维扫描设备对骨骼表面进行测量的方法的流程图。

图6示出了根据本申请另一实施方式在骨科手术中利用光学三维扫描设备对骨骼表面进行测量的方法的流程图。

图7示出了根据本申请另一实施方式在骨科手术中利用光学三维扫描设备对骨骼表面进行测量的方法的流程图。

图8示出了根据本申请一个实施方式骨科手术中的图像注册方法的流程图。

图9示出了根据本申请一个实施方式在术前获取骨骼表面的术前医学影像的流程图。

图10示出了根据本申请一个实施方式将术中获取的骨骼表面的术中点云数据与术前获取的骨骼表面的术前医学影像进行注册的流程图。

图11示出了根据本申请另一实施方式将术中获取的骨骼表面的术中点云数据与术前获取的骨骼表面的术前医学影像进行注册的流程图。

图12示出了适于用来实现本申请实施例的服务器的计算机系统的结构示意图。

具体实施方式

为了更好地理解本申请的技术方案及优点，下面结合附图和具体实施例对本申请的内容做进一步详细说明。但此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。此外，以下所描述的本申请的各实施方式中所涉及到的技术特征除彼此构成冲突的情况外均可以组合使用，从而构成本申请范围内的其他实施方式。

下文中描述的内容提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开内容，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。

图1示出了根据本申请一个实施方式用于骨科手术的光学三维扫描设备的示意性框图。如图1所示，光学三维扫描设备100用于在骨科手术中对骨骼表面进行测量，从而获取手术对象(患者)的术中骨骼表面信息，以用于后续与患处骨骼表面的术前医学影像(例如，三维ct影像)的图像注册。

光学三维扫描设备100可包括投影机110、工业相机120、控制器130，控制器130分别与投影机110和工业相机120通信连接，并控制投影机110和工业相机120。投影机110可在控制器130的控制下向骨骼表面投影预设图案，同时工业相机120可在控制器130的控制下拍摄投影有该预设图案的骨骼表面的图像。在实际操作中，控制器130在控制投影机110向骨骼表面投影预设图案的同时，控制工业相机120开始工作，以拍摄投影有该预设图案的骨骼表面的图像。为了设备的小型化，控制器130可以是嵌入式控制单元，该嵌入式控制单元例如为外观尺寸类似信用卡卡片大小的计算机，其具有计算机所具备的功能，其硬件包含诸如x86架构的cpu、内存、存储器、各类i/o接口(例如usb、网口、hdmi、串口等)等，该嵌入式控制单元可控制投影机110和工业相机120工作，并对扫描过程中产生的数据进行处理计算。

在对患者的患处进行骨科手术期间，为了获取术中患者坐标系下患处的骨骼表面信息并与术前的医学图像进行注册，可使用本申请的非接触式光学三维扫描设备来进行采集、测量。在基于骨科手术机器人系统的骨科手术进行过程中，可将该光学三维扫描设备固定在骨科手术机器人的机械臂末端，确保光学三维扫描设备在空间中的位置固定无晃动。移动骨科手术机器人的机械臂位置，将光学三维扫描设备置于患者患处附近，例如距离患者患处骨骼表面约20厘米左右的上方位置，使光学三维扫描设备对准患者患处的骨骼表面，启动光学三维扫描设备，实现对患处骨骼表面的扫描、测量。

在该光学三维扫描设备中，投影机在控制器的控制下向骨骼表面投影预设图案，与此同时，控制器控制工业相机对该骨骼表面进行拍摄，从而能够获取投影有预设图案的骨骼表面的图像。利用该图像，可获知骨骼表面各点的术中空间坐标信息，以用于后续与患处骨骼表面的术前医学影像(例如，三维ct影像)的图像注册。在本申请中，采用了工业相机，它相较于普通相机具有较高的图像稳定性、高传输能力和高抗干扰能力，从而有利于提高所获取的图像质量、精度和传输速度，并有利于提高后续的图像注册精度和效率。

与现有技术中采用接触式探针刮取骨骼表面进行信息采集的方式相比，采用本申请的光学三维扫描设备，提供了一种完全不同的骨骼表面信息采集方式。在本申请的实施方式中，光学三维扫描设备是非接触式的信息采集方式。由于对骨骼表面信息的采集是非接触式的，因此该设备不会与患者患处发生接触，从而既避免了对患者潜在伤害的可能，又免去了术前消毒步骤，提高了手术准备过程的效率。而且，本申请的信息采集过程不需要不断刮取骨骼的整个表面，而仅需通过拍摄即可获取骨骼表面所有点的信息，大大提高了效率，节省了手术时间。

根据本申请一个实施方式，上述预设图案可预先设置于控制器130中。当控制器130控制投影机110进行投影时，可将该预设图案发送至投影机110，以用于投影。对于预设图案，其可包括一组具有不同频率的黑白数字光栅图案。

图2示出了根据本申请一个实施例的一组具有不同频率的黑白数字光栅图案的示例。如图2所示，在该组预设图案中，包含了多个黑白数字光栅图案，所谓不同频率的光栅图案是指，在尺寸相同的光栅图案中，黑白光栅条纹的数量不同，也就是说，由于不同的光栅图案中黑白光栅条纹的宽度不同，因此在同一维度上出现的频率不同。例如，1cm出现1个黑白光栅条纹和1cm出现5个黑白光栅条纹，即具有不同的出现频率。由此，控制器130可将该组具有不同频率的黑白数字光栅图案发送至投影机110，以用于向骨骼表面投影。当投影机110分别将该组具有不同频率的黑白数字光栅图案投影至骨骼表面时，工业相机120拍摄这些投影有黑白数字光栅图案的骨骼表面的图像。

根据本申请一个实施方式，控制器130可通过工业相机120拍摄的、投影有黑白数字光栅图案的骨骼表面的图像，计算得到骨骼表面上各点的三维坐标，并生成骨骼表面的点云数据。通过拍摄例如图2所示的一组数字光栅图案，可基于结构光三维扫描技术，叠加计算被测物体表面各点的三维坐标。采用工业相机拍摄数字光栅图像，具有高速率、高分辨率、高精度的特点。因此，可通过投影机110投影在骨骼表面的多张黑白数字光栅图案，再由工业相机120捕捉拍摄到投影有各黑白数字光栅图案的骨骼表面的多幅图像，控制器130可通过这些图像进行叠加计算，得到骨骼表面上各点的三维坐标，确定了各点的三维坐标，即可将其组合生成骨骼表面的点云数据。

根据本申请一个实施方式，投影机110可以是彩色投影机，工业相机120可以是黑白工业相机，而除了一组具有不同频率的黑白数字光栅图案之外，上述预设图案还可包括一组至少三种颜色的纯色图案。

由此，除了利用上述一组具有不同频率的黑白数字光栅图案得到骨骼表面的点云数据之外，还可利用该组至少三种颜色的纯色图案，通过计算得到点云数据中各点的色彩信息，从而获得彩色点云数据。

具体地，在本实施例中，由于投影机110是彩色投影机，因此控制器130可将一组至少三种颜色的纯色图案发送至投影机110，以用于向骨骼表面投影。当投影机110分别将该组至少三种颜色的纯色图案投影至骨骼表面时，控制器130还可控制工业相机120拍摄这些投影有纯色图案的骨骼表面的图像。而由于工业相机120是黑白工业相机，因此，可利用该黑白工业相机通过预设的算法来最终获得合成出的彩色图像，其原理是：人眼能够看见彩色的物体本质上是由于物体能反射该颜色的光进入人眼，而所有的色彩都可以由红绿蓝三原色来进行描述。光学三维扫描设备100中的黑白工业相机120只能捕获灰度图像，当使用红绿蓝三种纯色光投影到被测物体表面时，工业相机120捕获到不同颜色光线照射到物体表面并反射回的光线，由此可以得到3张灰度不同的灰度图像。以上选择红绿蓝光是因为这三种颜色的光是三原色，利用这三种颜色可以描述任意颜色。计算机中一幅彩色图像通常用有3个颜色通道即红(r)绿(g)蓝(b)通道，也就是说图像上的每一个带颜色的像素点均由3个通道的数据构成。灰度图像只有一个颜色通道，通过投影纯色得到的灰度图像直接叠加就可以构建成具有三个通道的彩色图像。

因此，根据黑白工业相机120所捕获图像的不同灰度，可识别出任意颜色，并通过预设的算法从灰度图像中获知各个点的色彩信息。

基于此，由于预设图案中除了包含一组具有不同频率的黑白数字光栅图案之外，还包含一组至少三种颜色的纯色图案，因此控制器130除了可通过工业相机120拍摄的、投影有黑白数字光栅图案的骨骼表面的图像，计算得到骨骼表面上各点的三维坐标，并生成骨骼表面的点云数据之外，控制器130还可通过工业相机120拍摄的、投影有纯色图案的骨骼表面的图像，计算得到骨骼表面上各点的色彩信息。随后，控制器130可利用该色彩信息将骨骼表面的点云数据转换为彩色点云数据。

空间中的三维坐标点可以通过工业相机120的内外参数映射回工业相机120捕获的二维图像中的某一像素位置，由于已通过三张灰度图像生成了彩色图像，而点云数据的每一个三维坐标点都可以在彩色图像中找到所对应的色彩信息。由此，通过点云数据中各点与彩色图像像素间的一一对应关系，可以使骨骼表面的点云数据各点都携带上颜色信息，从而使得由非接触式的光学三维扫描设备100测量出的骨骼表面不仅包含了位置坐标信息，还包含了色彩信息，即通过光学三维扫描设备100获取到骨骼表面的彩色点云数据。包含了色彩信息的点云数据可以更充分地反应出骨骼表面的真实情况，以便于操作人员的手术规划等操作。

至于纯色图案的颜色选择，除了上述红绿蓝三原色之外，还可选择任意其他至少三种颜色作为纯色图案，只要所选择的颜色可以组合成任意颜色即可。例如，可选择黄、品红、青这三种颜色作为纯色图案，其原理基本与红绿蓝三原色一致，这是因为黄、品红、青是红绿蓝三原色的任意两种颜色所叠加产生的颜色。此外，投影机110投影出的色彩也可以是由红绿蓝三个灯泡根据不同的光强产生的颜色，当投影黄、品红、青颜色时，需要红绿蓝三个灯泡中的两个同时工作，这样投射出的光强更强，工业相机120能捕获到的反射光也更强，更利于后期色彩的合成。

如上所述，当投影红绿蓝光时可将通过投影红绿蓝光纯色图案得到的灰度图像直接叠加，而当投影黄、品红、青时，则需要进行一定的运算后再叠加。由于：

黄＝红+绿；

品红＝红+蓝；

青＝蓝+绿。

由于计算机中图像的每一个像素各个通道的灰度值最大为255，最小为0，因此在彩色图像中：

红色通道图像＝255–青色投影捕获的图像；

绿色通道图像＝255–品红色投影捕获的图像；

蓝色通道图像＝255–黄色投影捕获的图像。

在本实施方式中采用黑白工业相机，而未采用彩色工业相机的原因是黑白工业相机对于捕获光栅图像后进行图像处理、生成点云数据更有利。

图3示出了根据本申请一个实施方式安装于光学三维扫描设备的框架上的光学定位工具的示意图。如图3所示，光学三维扫描设备100还可包括框架140和光学定位工具150。框架140可根据骨科手术的实际需要设计成任何适当的结构和形状，以利于投影机110的投影、工业相机120的拍摄以及操作人员和其他设备的手术操作。投影机110、工业相机120和控制器130(图3中未示出)均可安装在框架140内。如图3所示，光学定位工具150可安装在框架140的一个侧面上或者顶面或底面上，以便于被骨科手术机器人系统中的光学定位跟踪器(图中未示出)观测并跟踪到当前位置信息。

由于光学三维扫描设备100的控制器130计算得到的骨骼表面上各点的三维坐标以及骨骼表面的点云数据，都是在光学三维扫描设备100自身坐标系下的数据，例如，光学三维扫描设备100采集到的点云所在的坐标系的原点位于光学三维扫描设备100的投影机110镜头的光心位置，因此所扫描到的点云数据各点的空间三维坐标并不是手术进行过程中真实在患者坐标系下的空间三维坐标。因此，需要将光学三维扫描设备100生成的点云数据通过刚体变换，把所有点云坐标转换到术中患者坐标系下。

在光学三维扫描设备100中设置的光学定位工具150(例如，安装在框架140上)可被骨科手术机器人系统中的光学定位跟踪器识别并跟踪。由于在术前光学定位工具150位于光学三维扫描设备100的具体位置是已知的，光学定位工具150与光学三维扫描设备100中其他各部分之间的位置关系也是已知的，同时在术中，患者患处附近会固定另一光学定位工具，因此可以通过上述光学定位跟踪器分别获得患者坐标系与光学三维扫描设备100坐标系相对于该光学定位跟踪器自身坐标系的空间刚体变换矩阵，从而可以进一步计算出光学三维扫描设备100坐标系到患者坐标系的刚体变换矩阵rt。对于由光学三维扫描设备100测量、采集的点云数据中的每一个点的坐标，均可通过变换矩阵rt将其转换到患者坐标系下。由此，即可获得术中在患者坐标系下，患者患处骨骼表面的点云数据。

在现有的利用接触式探针对骨骼表面进行测量的方法，需要使用探针工具分两次对患者的骨骼表面进行接触式的点云拾取，第一次是拾取患处骨骼的点(>＝3)，第二次是使用探针工具来刮骨面，获取一定患处骨骼表面积内的点云数据，而这两次测量获取到的点云数据需要分别进行两次坐标变换，而且由于接触式探针获取骨骼表面点云信息持续时间长，可能存在光学定位跟踪器给出的变换矩阵rt在前后接触的过程中产生一定的误差，使得变换矩阵rt不稳定，一定程度上影响了坐标变换的准确性。而在本申请中采用了非接触式的光学三维扫描设备对骨骼表面信息进行采集，极大地缩短了采集患处骨骼表面点云数据的时间，在很短时间内，光学定位跟踪器获得的变换矩阵rt相对稳定，误差更小，并且扫描采集到的大量点云均使用同一个变换矩阵rt进行坐标变换，一定程度上进一步提升了系统整体的误差精度，使得骨骼表面点云信息在患者坐标系下也更为精确，为后续步骤打下了良好的基础。

根据本申请一个实施方式，光学定位工具150可以是安装在框架140上的多个反光球，这些反光球用于反射骨科手术机器人系统中的光学定位跟踪器发出的红外光，从而使得光学定位跟踪器能够识别并跟踪到光学定位工具150的当前位置信息。

根据本申请一个实施方式，控制器130与骨科手术机器人系统中的上位机(图中未示出)通信，并向上位机发送骨骼表面的点云数据或彩色点云数据。由此，操作人员可在上位机上利用患者患处骨骼表面的点云数据进行手术规划并控制手术机器人系统执行手术。

图4示出了根据本申请一个实施方式在骨科手术中利用光学三维扫描设备对骨骼表面进行测量的方法的流程图。如图4所示，该方法200可包括步骤s210、s220、s230。在步骤s210中，控制投影机向骨骼表面投影预设图案。在步骤s220中，控制工业相机拍摄投影有预设图案的骨骼表面的图像。在步骤s230中，对图像进行处理，以生成骨骼表面的点云数据。

参照上述针对光学三维扫描设备100的详细描述，可利用投影机向骨骼表面投影预设图案，与此同时，利用工业相机对该骨骼表面进行拍摄，从而能够获取投影有预设图案的骨骼表面的图像。利用该图像，可获知骨骼表面各点的术中空间坐标信息，以用于后续与患处骨骼表面的术前医学影像(例如，三维ct影像)的图像注册。

图5示出了根据本申请另一实施方式在骨科手术中利用光学三维扫描设备对骨骼表面进行测量的方法的流程图。如图5所示，除了步骤s210至s230之外，该方法200还可包括步骤s240和s250。为了简要起见，以下将仅描述图5所示的实施方式与图4的不同之处，并将略去其相同之处的详细描述。

如上所述，光学三维扫描设备100还可包括光学定位工具150，以用于设备自身定位。此外，在手术对象(即，患者)上可固定有另一光学定位工具。在步骤s240中，识别光学三维扫描设备100的光学定位工具150和固定在手术对象上的光学定位工具的空间位置。随后，在步骤s250中，利用光学定位工具150和固定在手术对象上的光学定位工具的空间位置，将骨骼表面的点云数据转换为患者的坐标系中的点云数据。由此，可将光学三维扫描设备100获取到的点云数据变换到患者坐标系中，以便于后续步骤。

根据本申请一个实施方式，上述预设图案可包括一组具有不同频率的黑白数字光栅图案。此时，步骤s230可包括以下子步骤：

通过工业相机拍摄的、投影有黑白数字光栅图案的骨骼表面的图像，计算得到骨骼表面上各点的三维坐标，并生成骨骼表面的点云数据。

如上所述，利用预设图案中的一组具有不同频率的黑白数字光栅图案，可通过工业相机拍摄投影在骨骼表面的投影有该组具有不同频率的黑白数字光栅图案，并通过计算得到骨骼表面的点云数据。

进一步地，在方法200中使用的投影机可以是彩色投影机，工业相机可以是黑白工业相机，并且除了一组具有不同频率的黑白数字光栅图案之外，上述预设图案还可包括一组至少三种颜色的纯色图案。此时，除了上述子步骤之外，步骤s230还可包括以下子步骤：

通过工业相机拍摄的、投影有纯色图案的骨骼表面的图像，计算得到骨骼表面上各点的色彩信息；以及

利用色彩信息将骨骼表面的点云数据转换为彩色点云数据。

如上所述，除了预设图案中的一组具有不同频率的黑白数字光栅图案之外，还可利用预设图案中的一组至少三种颜色的纯色图案，可通过工业相机拍摄投影在骨骼表面的投影有该组至少三种颜色的纯色图案，并通过计算得到骨骼表面上各点的色彩信息，从而将点云数据转换为彩色点云数据。

图6示出了根据本申请另一实施方式在骨科手术中利用光学三维扫描设备对骨骼表面进行测量的方法的流程图。如图6所示，除了步骤s210至s230之外，该方法200还可包括步骤s260。为了简要起见，以下将仅描述图6所示的实施方式与图4的不同之处，并将略去其相同之处的详细描述。

在步骤s260中，向骨科手术机器人系统中的上位机发送骨骼表面的点云数据或彩色点云数据。由此，操作人员可在上位机上利用患者患处骨骼表面的点云数据进行手术规划并控制手术机器人系统执行手术。

图7示出了根据本申请另一实施方式在骨科手术中利用光学三维扫描设备对骨骼表面进行测量的方法的流程图。如图7所示，除了步骤s210、s220、s230、s260之外，该方法200还可包括步骤s270。为了简要起见，以下将仅描述图7所示的实施方式与图6的不同之处，并将略去其相同之处的详细描述。

在步骤s270中，去除骨骼表面的点云数据或彩色点云数据中的噪声数据。由于利用光学三维扫描设备所获取的骨骼表面的点云数据中，除了骨骼表面各点的数据，还会包含患者患处其他组织上各点的数据。此时，操作人员可在上位机上手动或自动地将骨骼表面的点云数据保留，而将其余部分的点云数据当作噪声去除。而上位机可以自动地识别噪声数据，或响应于操作人员的指令，去除噪声数据。特别有利的是，如果利用光学三维扫描设备所获取的骨骼表面的点云数据是彩色点云数据，将更加便于操作人员人工识别或上位机自动识别点云数据中术语骨骼表面的部分，从而予以保留，并去除其余部分的噪声数据。

图8示出了根据本申请一个实施方式骨科手术中的图像注册方法的流程图。该方法用于将术中获取的骨骼表面的图像与术前拍摄的骨骼表面的医学影像进行注册。如图8所示，该方法300可包括步骤s310、s320、s330。

在步骤s310中，在术前获取骨骼表面的术前医学影像。术前医学影像的获取方式将在下文中进行详细描述。在步骤s320中，利用上述方法200，在术中获取骨骼表面的术中点云数据。随后，在步骤s330中，将术中获取的骨骼表面的术中点云数据与术前获取的骨骼表面的术前医学影像进行注册。由此，可实现术中获取的骨骼表面的图像与术前拍摄的骨骼表面的医学影像的注册。

图9示出了根据本申请一个实施方式在术前获取骨骼表面的术前医学影像的流程图。如图9所示，上述步骤s310可包括子步骤s311至s313。

在子步骤s311中，利用医学影像扫描仪，对人体患处进行扫描。该医学影像扫描仪可以是例如三维ct，在进行手术之前，需要对患者的患处部位拍摄ct影像，通过对ct影像进行分割、裁剪，仅保留手术需要处理的骨骼部位。

在子步骤s312中，根据扫描得到的医学影像，获取骨骼表面的等值面数据。由于诸如ct影像的术前医学影像中每个像素的ct值是局部组织或者器官密度的计量单位，反映了不同组织的密度信息，且理论上骨骼表面的密度趋向于某一固定ct数值，因此可以通过诸如marchingcubes的三维等值面提取算法，获得ct图中患者的患处骨骼表面的等值面数据。

在子步骤s313中，对等值面数据进行采样，得到骨骼表面的术前点云数据。通常情况下，采用诸如marchingcubes的三维等值面提取算法提取出的骨骼表面的等值面数据是三角面片形式的骨骼表面信息，还需要对这些三角面片信息进行采样来获取点云数据，即获取点云形式的术前患者患处部位骨骼表面信息。由此，可对患者患处的术前骨骼表面医学影像处理完毕，以用于后续的图像注册。

图10示出了根据本申请一个实施方式将术中获取的骨骼表面的术中点云数据与术前获取的骨骼表面的术前医学影像进行注册的流程图。如图10所示，上述步骤s330可包括子步骤s331至s333。

在实际的注册操作中，可将术前患者患处骨骼表面的点云数据(即，术前医学影像)作为固定点云，将术中患者患处骨骼表面的点云数据(即，术中点云数据)作为浮动点云，通过在空间中对浮动点云进行空间刚体变换，实现两者之间的注册，且使注册误差尽量小。在子步骤s331中，在术前医学影像和术中点云数据中选取对应点对。在浮动点云与固定点云中选取若干个对应点对，对应点对的个数应大于等于3。同一组对应点对需要选自于两组点云数据对应患者患处骨骼表面的同一位置。在进行对应点对的选择时，算法所需的最少点对的数量是3，但是没有上限要求。根据本申请的一个实施例，可选取4组对应点对，这样既能保证粗略注册阶段的准确性，又避免了选取过多对应点对时操作的复杂性。在选择某一组对应点对时，只要保证这一组点对分别在浮动点云和固定点云上处于大致相同的位置亦可，不一定要求所有点对都能保持对齐，粗略注册阶段只是进行初始粗略的对齐，即多个点对的综合误差最小即可。

在子步骤s332中，利用所选取的对应点对，将术中点云数据与术前医学影像进行粗略注册。注册过程可分为两个阶段：(1)粗略注册阶段、(2)精细注册阶段。粗略注册阶段主要是将浮动点云与固定点云进行空间中的粗略、大致对齐；精细注册阶段则是在粗略注册阶段的基础上，再进行两点云之间的精细对齐，使注册精度误差降到最低。在子步骤s332的粗略注册阶段中，根据对应点对选取的特性，浮动点云上选取的对应点与固定点云上选取的对应点具有大致相同的形状位置关系，根据若干对应点对可以计算出一个初始的空间刚体变换矩阵rt1，从而实现浮动点云与固定点云之间的粗略注册。上述变换矩阵rt1是通过人为的选取浮动点云与固定点云的对应点对来计算的，由于是人工在浮动点云与固定点云上选取的“人看来相同位置”的对应点，而实际上这些点对会存在一定位置上的偏差，因此在进行了坐标变换后这些对应点对有可能并不是完全一致或者重合，因此在粗略注册阶段计算出来的变换矩阵rt1只是保证了对应点对之间的距离最为接近。

在子步骤s333中，基于粗略注册的结果，利用预设的迭代算法，将术中点云数据与术前医学影像进行精细注册。在粗略注册阶段完成后，为了进一步提高整体注册精度，降低误差，需要进行精细注册。不同于粗略注册阶段仅针对从浮动点云与固定点云中选取的对应点对进行计算处理，精细注册阶段需要考虑点云数据中的所有点，其得到的空间刚体变换矩阵rt2是在粗略注册阶段的基础上利用预设的迭代算法(例如，迭代最近点(iterativeclosestpoint，icp)算法)不断计算迭代优化得到的，使最终注册误差最小。使用icp算法的前提是固定点云与浮动点云已经过了粗略注册阶段，使得两点云在空间中距离基本对齐。icp算法能够使不同的坐标下的点云数据合并到同一个坐标系统中，首先是找到一个可用的变换，配准操作实际是要找到从一个坐标系到另一坐标系的一个刚性变换。icp算法本质上是基于最小二乘法的最优配准方法。该算法重复进行选择对应关系点对，计算最优刚体变换，直到满足正确配准的收敛精度要求。icp算法的目的是要找到待配准点云数据与参考云数据之间的旋转参数r和平移参数t，使得两点数据之间满足某种度量准则下的最优匹配。

图11示出了根据本申请另一实施方式将术中获取的骨骼表面的术中点云数据与术前获取的骨骼表面的术前医学影像进行注册的流程图。如图11所示，除了子步骤s331至s333之外，该步骤s330还可包括子步骤s334。为了简要起见，以下将仅描述图11所示的实施方式与图10的不同之处，并将略去其相同之处的详细描述。

在子步骤s334中，将粗略注册得到的第一变换矩阵与精细注册得到的第二变换矩阵相叠加，得到最终注册变换矩阵。完成精细注册之后，将粗略注册产生的变换矩阵rt1与精细注册产生的变换矩阵rt2进行叠加，产生一个新的变换矩阵rt3。即，rt3＝rt2*rt1。通过变换矩阵rt3即可实现术中患者患处骨骼表面图像与术前患者患处ct影像的注册。完成整体非接触式的表面测量以及与术前患者影像的注册工作。

根据本申请的一个方面，提供了一种手术机器人系统，其包括如上所述的光学三维扫描设备100。

根据本申请的另一方面，提供了一种电子设备，其包括处理器和存储器，该存储器存储有计算机程序，当该计算机程序被该处理器执行时，使得该处理器执行如上所述的方法200或300。

根据本申请的另一方面，提供了一种非瞬时性计算机可读存储介质，其上存储有计算机可读指令，当该指令被处理器执行时，使得该处理器执行如上所述的方法200或300。

下面参考图12，其示出了适于用来实现本申请实施例的服务器的计算机系统400的结构示意图。图12示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图12所示，计算机系统400包括中央处理单元(cpu)401，其可以根据存储在只读存储器(rom)402中的程序或者从存储部分408加载到随机访问存储器(ram)403中的程序而执行各种适当的动作和处理。在ram403中，还存储有系统400操作所需的各种程序和数据。cpu401、rom402以及ram403通过总线404彼此相连。输入/输出(i/o)接口405也连接至总线404。

以下部件连接至i/o接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至i/o接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(cpu)401执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如”c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置执行如上所述的方法。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明仅用于帮助理解本申请的方法及其核心思想。同时，本领域技术人员依据本申请的思想，基于本申请的具体实施方式及应用范围上做出的改变或变形之处，都属于本申请保护的范围。综上所述，本说明书内容不应理解为对本申请的限制。