骨科手术中的影像处理方法、系统、电子设备及存储介质与流程

1.本技术涉及医疗设备领域，尤其涉及一种骨科手术中的影像处理方法、系统、电子设备及存储介质。


背景技术：

2.随着科技的发展，骨科手术中常采用一些混合现实设备来辅助骨科手术的进行，以便于医生更好的确定病灶处以及手术点。
3.而现有的混合现实设备在初始配准时产生的误差会叠加在系统的总误差中，容易导致混合现实设备的虚拟影像与实际物体存在较大偏差，从而降低了混合现实眼镜在骨科手术中的准确性，增加安全隐患。


技术实现要素：

4.本发明要解决的技术问题是为了克服现有技术中混合现实设备的虚拟影像与实际物体存在较大偏差，导致骨科手术中的准确性较差，安全性均较低的缺陷，提供一种骨科手术中的影像处理方法、系统、电子设备及存储介质。
5.本发明是通过下述技术方案来解决上述技术问题：
6.一种骨科手术中的影像处理方法，将若干安装有定位靶球的设定部件固设于患者病灶处的目标骨骼上，所述影像处理方法包括：
7.获取患者的所述病灶处的目标骨骼对应的骨骼虚拟影像；
8.基于所述定位靶球获取每个所述设定部件的目标坐标信息；
9.基于所述目标坐标信息获取所述设定部件对应的第一虚拟影像；
10.获取患者病灶处的所述目标骨骼与所述设定部件对应的现实影像；
11.基于所述现实影像获取每个所述设定部件与所述目标骨骼之间的实际相对位置信息；
12.基于所述实际相对位置信息调整所述第一虚拟影像与所述骨骼虚拟影像之间的相对位置。
13.较佳地，所述影像处理方法还包括：
14.预先设置不同的所述设定部件对应的编号信息；
15.所述基于所述实际相对位置信息调整所述第一虚拟影像与所述骨骼虚拟影像之间的相对位置，包括：
16.基于所述实际相对位置信息，根据所述编号信息依次对所述第一虚拟影像中的每个设定部件的位置进行调整，直至所述第一虚拟影像与所述骨骼虚拟影像之间的相对位置达到所述实际相对位置信息对应的实际相对位置；或，
17.基于所述实际相对位置信息，随机对所述第一虚拟影像中的任意一个设定部件的位置进行调整，并遍历完成所有设定部件的位置的调整，直至所述第一虚拟影像与所述骨骼虚拟影像之间的相对位置达到所述实际相对位置信息对应的实际相对位置。
18.较佳地，其特征在于，所述基于所述实际相对位置信息，根据所述编号信息依次对所述第一虚拟影像中的每个设定部件的位置进行调整，包括：
19.任意选择一个所述设定部件作为参考调整点；
20.获取在所述现实影像中所述参考调整点与所述目标骨骼之间的第一相对位置信息；
21.基于所述第一相对位置信息，调整所述参考调整点在所述第一虚拟影像中与所述骨骼虚拟影像之间的相对位置，直至所述参考调整点的相对位置达到所述第一相对位置信息对应的第一相对位置；
22.基于所述参考调整点确定调整范围；
23.在所述调整范围内调整所述第一虚拟影像中剩余的所有所述设定部件在与所述骨骼虚拟影像之间的相对位置，直至所有所述设定部件的相对位置达到所述实际相对位置信息对应的实际相对位置。
24.较佳地，所述基于所述参考调整点确定调整范围，包括：
25.以所述参考调整点为球心，选取所述参考调整点与剩余的所有所述设定部件中的任意一个所述设定部件之间的距离为球形半径，以形成球形；
26.获取所述球形与所述骨骼虚拟影像的骨骼表面形成的割线范围，并基于所述割线范围得到所述调整范围。
27.较佳地，所述基于所述定位靶球获取每个所述设定部件的目标坐标信息，包括：
28.获取所述定位靶球的光学坐标信息；
29.根据所述光学坐标信息计算得到每个所述定位靶球对应的所述设定部件的所述目标坐标信息。
30.较佳地，所述基于所述实际相对位置信息调整所述第一虚拟影像与所述骨骼虚拟影像之间的相对位置，之后还包括：
31.将所述第一虚拟影像与所述骨骼虚拟影像进行组合处理，以得到组合后的目标虚拟影像。
32.较佳地，所述将所述第一虚拟影像与所述骨骼虚拟影像进行组合处理，以得到组合后的目标虚拟影像，之后还包括：
33.将所述目标虚拟影像发送至混合现实显示设备以进行显示。
34.较佳地，所述获取患者病灶处的所述目标骨骼对应的骨骼虚拟影像，包括：
35.获取所述目标骨骼对应的骨骼模型图像；
36.基于混合现实显示设备将所述骨骼模型图像转换为所述骨骼虚拟影像；
37.和/或，
38.基于所述目标坐标信息获取所述设定部件对应的第一虚拟影像，包括：
39.采用混合现实显示设备根据所述目标坐标信息获取所述设定部件对应所述的第一虚拟影像。
40.较佳地，所述获取患者病灶处的所述目标骨骼与所述设定部件对应的现实影像，包括：
41.采用现实影像设备获取多个方向维度的若干张初始现实影像；
42.基于若干张初始现实影像获取所述目标骨骼对应的目标现实影像。
43.一种骨科手术中的影像处理系统，将若干安装有定位靶球的设定部件固设于患者病灶处的目标骨骼上，所述影像处理系统包括：光学定位设备、混合现实显示设备、现实影像设备以及数据处理服务器；
44.所述混合现实显示设备，用于获取患者的所述目标骨骼对应的骨骼虚拟影像；
45.所述光学定位设备，用于基于所述定位靶球获取每个所述设定部件的目标坐标信息；
46.所述混合现实显示设备与所述光学定位设备通信连接，用于基于所述目标坐标信息获取所述设定部件对应的第一虚拟影像；
47.所述现实影像设备，用于获取患者的所述目标骨骼与所述设定部件对应的现实影像；
48.所述数据处理服务器与所述现实影像设备通信连接，用于基于所述现实影像获取每个所述设定部件与所述目标骨骼之间的实际相对位置信息；
49.所述数据处理服务器还与所述混合现实显示设备通信连接，用于基于所述实际相对位置信息调整所述第一虚拟影像与所述骨骼虚拟影像之间的相对位置。
50.较佳地，所述数据处理服务器包括：
51.设定部件编号模块，用于预先设置不同的所述设定部件对应的编号信息；
52.顺序影像调整模块，用于基于所述实际相对位置信息，根据所述编号信息依次对所述第一虚拟影像中的每个设定部件的位置进行调整，直至所述第一虚拟影像与所述骨骼虚拟影像之间的相对位置达到所述实际相对位置信息对应的实际相对位置；或，
53.随机影像调整模块，用于基于所述实际相对位置信息，随机对所述第一虚拟影像中的任意一个设定部件的位置进行调整，并遍历完成所有设定部件的位置的调整，直至所述第一虚拟影像与所述骨骼虚拟影像之间的相对位置达到所述实际相对位置信息对应的实际相对位置。
54.较佳地，所述顺序影像调整模块包括：
55.参考调整点确定单元，用于任意选择一个所述设定部件作为参考调整点；
56.第一相对位置获取单元，用于获取在所述现实影像中所述参考调整点与所述目标骨骼之间的第一相对位置信息；
57.第一相对位置调整单元，用于基于所述第一相对位置信息，调整所述参考调整点在所述第一虚拟影像中与所述骨骼虚拟影像之间的相对位置，直至所述参考调整点的相对位置达到所述第一相对位置信息对应的第一相对位置；
58.调整范围确定单元，用于基于所述参考调整点确定调整范围；
59.实际相对位置调整单元，用于在所述调整范围内调整所述第一虚拟影像中剩余的所有所述设定部件在所述第一虚拟影像中与所述骨骼虚拟影像之间的相对位置，直至所有所述设定部件的相对位置达到所述实际相对位置信息对应的实际相对位置。
60.较佳地，所述调整范围确定单元还用于：
61.以所述参考调整点为球心，选取所述参考调整点与剩余的所有所述设定部件中的任意一个所述设定部件之间的距离为球形半径，以形成球形；
62.获取所述球形与所述目标骨骼的表面形成的割线范围，并基于所述割线范围得到所述调整范围。
63.较佳地，所述光学定位设备包括通信连接的光学定位器和光学定位数据处理器；
64.所述光学定位器，用于获取所述定位靶球的光学坐标信息；
65.所述光学定位数据处理器，用于根据所述光学坐标信息进行计算以得到每个所述设定部件的目标坐标信息。
66.较佳地，所述数据处理服务器还用于：
67.将所述第一虚拟影像与所述骨骼虚拟影像进行组合处理，以得到组合后的目标虚拟影像。
68.较佳地，所述混合现实显示设备还用于接收所述目标虚拟影像以进行显示。
69.较佳地，所述混合现实显示设备还包括：
70.图像获取模块，用于获取所述目标骨骼对应的骨骼模型图像；
71.图像转换模块，用于将所述骨骼模型图像转换为所述骨骼虚拟影像；
72.和/或，
73.所述混合现实显示设备还用于将所述目标坐标信息转换为所述设定部件对应的第一虚拟影像。
74.较佳地，所述现实影像设备包括：
75.现实影像获取模块，用于获取多个方向维度的若干张初始现实影像；
76.现实影像转换模块，用于基于若干张初始现实影像获取所述目标骨骼与所述设定部件对应的目标现实影像。
77.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述所述的骨科手术中的影像处理方法。
78.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的骨科手术中的影像处理方法。
79.本发明的积极进步效果在于：基于光学定位设备的影像处理方法能够满足骨科手术中对设定部件引导精度和实时性的要求，提高混合现实显示设备中虚拟影像的准确度。本发明通过安装有定位靶球的设定部件与现实影像设备相结合以实现影像配准进，一步提升了本发明的准确度。同时无需术中大型高成本的影像设备降低了医院的手术成本，减少了手术过程中患者和医生的辐射剂量，有效地提高手术操作中的安全性。
附图说明
80.图1为本发明一示例性实施例提供的一种骨骼手术中的影像处理方法的流程示意图；
81.图2为本发明一示例性实施例提供的一种骨骼手术中的影像处理系统的结构示意图；
82.图3为本发明一示例性实施例提供的一种骨骼手术中的影像处理系统的模块示意图；
83.图4为本发明一示例性实施例提供的一种电子设备。
具体实施方式
84.下面通过一示例性实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
85.本发明一示例性实施例提供一种骨科手术中的影像处理方法，所述影像处理方法需要提前将若干安装有定位靶球的设定部件固设与患者病灶处的目标骨骼上。所述设定部件可以为骨科手术中能用于固定的任一手术用刚性部件。
86.在本技术中以克氏针作为设定部件的一实施方式，但并不仅限于此，可根据骨科手术类型进行配置。克氏针可以经皮插入病患的病灶处，克氏针的一端与病灶处的目标骨骼相抵。由于克氏针与目标骨骼的接触点不需要特殊或过高的要求，因此使用克氏针作为设定部件对医生的操作要求相对简单，且克氏针给病患造成的创伤相当小。
87.参见图1，影像处理方法包括以下步骤：
88.步骤s101、获取患者病灶处的所述目标骨骼对应的骨骼虚拟影像。
89.在一个实施例中，所述骨骼虚拟影像可以由术前影像设备进行采集，采集后的骨骼虚拟影像发送至混合现实显示设备进行骨骼虚拟影像的显示。所述混合现实显示设备中可以将目标骨骼对应的骨骼虚拟影像显示在医生的视野中，但此时还没有与真实患者的骨骼重合。
90.在一个实施例中，混合现实显示设备包括：混合现实显示眼镜。
91.在一个实施例中，步骤s101具体包括：
92.步骤s1011、获取所述目标骨骼对应的骨骼模型图像。
93.其中，所述骨骼模型图像由术前影像设备进行采集，并将采集到的骨骼模型影像发送至混合现实显示设备，所述术前影像设备包括但不限于ct(电子计算机断层扫描)设备。
94.步骤s1012、基于混合现实显示设备将所述骨骼模型图像转换为所述骨骼虚拟影像。
95.其中，所述混合现实显示设备将获取到的骨骼模型图像进行转换。一般来说术前影像设备采集到的骨骼模型图像大多为二维的或单面的模型图像，因此混合现实显示设备需要将骨骼模型图像进行合成处理，以形成一个三维的或立体的骨骼虚拟影像。
96.步骤s102、基于所述定位靶球获取每个所述设定部件的目标坐标信息。
97.在一个实施例中，步骤s102具体包括：
98.s1021、获取所述定位靶球的光学坐标信息。
99.其中，可以根据光学定位设备采集定位靶球的光学坐标信息。
100.s1022、根据所述光学坐标信息计算得到每个所述定位靶球对应的所述设定部件的所述目标坐标信息。
101.其中，由于所述定位靶球与设定部件为刚性连接，因此光学定位设备可以根据采集到的定位靶球的光学坐标信息进行相关计算以得到所述设定部件的目标坐标信息。所述目标坐标信息可以反映设定部件与目标骨骼之间的位置关系。
102.步骤s103、基于所述目标坐标信息获取所述设定部件对应的第一虚拟影像。
103.在一个实施例中，步骤s103可以采用混合现实显示设备根据所述目标坐标信息获取所述设定部件对应的所述第一虚拟影像；
104.混合现实显示设备中有混合现实导引程序，混合现实导引程序在获取到设定部件的目标坐标信息之后，可以根据目标坐标信息在虚拟骨骼影像的对应位置形成设定部件的第一虚拟影像。
105.第一虚拟影像与骨骼虚拟影像之间的位置关系依存于设定部件与目标骨骼之间的位置关系，因此通过定位靶球计算得到的目标坐标信息可以获得一个位置相对准确的第一虚拟影像，减少了后续调整的工作量，提高了影像处理的效率。
106.步骤s104、获取患者病灶处的所述目标骨骼与所述设定部件对应的现实影像；
107.其中，在生成了设定部件的第一虚拟影像之后，仍需要对第一虚拟影像与骨骼虚拟影像之间的位置关系进行进一步配准，以使得虚拟影像更精准，而实现配准需要反映目标骨骼与设定部件之间真实位置关系的现实影像作为参照。
108.在一个实施例中，步骤s104具体包括：
109.步骤s1041、采用现实影像设备获取多个方向维度的若干张初始现实影像。
110.其中，所述现实影像设备为手术过程中可以使用的手术影像设备，具体地，所述现实影像设备可以包括但不限于c型臂x光机、o型臂x光机等。例如，可以根据c型臂x光机获取正交方向的现实影像。
111.步骤s1042、基于若干张初始现实影像获取所述目标骨骼与所述设定部件对应的目标现实影像。
112.其中，根据多个方向维度的若干张现实影像合成一个能够详细反映所述目标骨骼与所述设定部件准确位置关系的目标现实影像，所述目标现实图像可以为显示在显示器中的三维图像，也可以为投射在ar显示设备中的ar图像，在现实情况中可以不仅限于以上两种。
113.步骤s105、基于所述现实影像获取每个所述设定部件与所述目标骨骼之间的实际相对位置信息。
114.在一个实施例中，每个所述设定部件与所述目标骨骼之间的实际相对位置信息可以通过数据处理服务器对所述现实影像的解析以获取，也可以通过医生对所述现实影像的解读来获取实际相对位置信息。
115.步骤s106、基于所述实际相对位置信息调整所述第一虚拟影像与所述骨骼虚拟影像之间的相对位置。
116.在一个实施例中，步骤s106包括以下两种不同的实施方式，在实际情况中可以选取其中任一实施方式：
117.第一种实施方式是预先设置不同的所述设定部件对应的编号信息，基于所述实际相对位置信息，根据所述编号信息依次对所述第一虚拟影像中的每个设定部件的位置进行调整，直至所述第一虚拟影像与所述骨骼虚拟影像之间的相对位置达到所述实际相对位置信息对应的实际相对位置。
118.在一个实施例中，第一种实施方式具体包括：
119.步骤s1061、任意选择一个所述设定部件作为参考调整点。
120.步骤s1062、获取在所述现实影像中所述参考调整点与所述目标骨骼之间的第一相对位置信息。
121.其中，所述参考调整点与所述目标骨骼之间的第一相对位置信息可以通过数据处
理服务器对所述现实影像的解析以获取，也可以通过医生对所述现实影像的解读来获取第一相对位置信息。
122.步骤s1063、基于所述第一相对位置信息，调整所述参考调整点在所述第一虚拟影像中与所述骨骼虚拟影像之间的相对位置，直至所述参考调整点的相对位置达到所述第一相对位置信息对应的第一相对位置。
123.其中，在调整所述参考调整点在所述第一虚拟影像中与所述虚拟骨骼影像之间的相对位置时，由于在现实情况中设定部件的一端始终吸附于患者病灶处的目标骨骼的骨骼表面，因此，第一虚拟影像中所述参考调整点在调整过程中也应当吸附于所述虚拟骨骼影像的表面，使调整更符合实际情况，减少误差，便于后续的调整过程。
124.步骤s1064、基于所述参考调整点确定调整范围；
125.在一个实施例中，步骤s1064具体包括：
126.以所述参考调整点为球心，选取所述参考调整点与剩余的所有所述设定部件中的任意一个所述设定部件之间的距离为球形半径，以形成球形；
127.获取所述球形与所述骨骼虚拟影像的骨骼表面形成的割线范围，并基于所述割线范围得到所述调整范围。
128.其中，由于所有设定部件之间的相对位置已经确定，因此当所述参考调整点位置确定后，即可根据所述参考调整点与所述设定部件之间的位置信息确定其他各设定部件的调整范围。在本实施例中是以参考调整点为球心，以参考调整点与设定部件的距离为半径作球形，球形与骨骼虚拟影像的骨骼表面形成的割线范围来确定设定部件的调整范围，可以极大的减少调整的工作量，实现更高效更快速的对所述第一虚拟影像中的设定部件与所述骨骼虚拟影像之间的位置信息进行调整。在现实情况中可以不仅局限于这一实施方式，可以根据获取到的设定部件之间的不同的相对位置信息来进行调整，例如各设定部件之间的相对距离，相对角度等等。
129.步骤s1065、在所述调整范围内调整所述第一虚拟影像中剩余的所有所述设定部件与所述骨骼虚拟影像之间的相对位置，直至所有所述设定部件的相对位置达到所述实际相对位置信息对应的实际相对位置。
130.在一个实施例中，以设定部件为三个的情况对本实施例进行进一步说明，但设定部件的数量并不局限于三个。将编号为1的设定部件设为参考调整点，基于现实影像中参考调整点与目标骨骼的第一相对位置信息调整所述参考调整点在第一虚拟影像中与所述骨骼虚拟影像之间的相对位置。
131.当参考调整点，即编号为1的设定部件的位置确定后，即可根据编号为2的设定部件与参考调整点之间的距离确定编号为2的设定部件的调整范围：以参考调整点为球心，以编号为2的设定部件与参考调整点之间的距离为半径做球形，所述球形与所述骨骼虚拟影像的骨骼表面的割线范围为编号为2的设定部件的调整范围。
132.在进行编号为3的设定部件的位置调整时，同样以参考调整点为球心，以编号为3的设定部件与参考调整点之间的距离为半径做球形来确定调整范围。但与此同时，由于编号为3的设定部件与编号为2的设定部件的相对位置固定，因此，编号为3的设定部件的调整范围同时也要满足与编号为2的设定部件之间的相对位置固定，此时更进一步的缩小了编号为2和编号为3的设定部件之间的调整范围，提高影像配准的准确率和效率。
133.最后根据获取的编号为2的设定部件和编号为3的设定部件调整范围分别调整所述第一虚拟影像中编号为2的设定部件及编号为3的设定部件与所述虚拟骨骼影像之间的相对位置，直至所有设定部件的相对位置达到所述实际相对位置信息对应的实际相对位置。
134.在一个实施例中，为了应对现实影像设备不够精准、参考调整点在调整过程中出现偏差等情况导致第一虚拟影像中设定部件与虚拟骨骼影像的相对位置出现偏差，医生可以根据实际情况对第一虚拟影像与虚拟骨骼影像的位置关系进行微调。
135.第二种实施方式是基于所述实际相对位置信息，随机对所述第一虚拟影像中的任意一个设定部件的位置进行调整，并遍历完成所有设定部件的位置的调整，直至所述第一虚拟影像与所述骨骼虚拟影像之间的相对位置达到所述实际相对位置信息对应的实际相对位置。
136.在一个实施例中，影像处理方法还包括以下步骤：
137.将所述第一虚拟影像与所述骨骼虚拟影像进行组合处理，以得到组合后的目标虚拟影像。
138.其中，在完成对第一虚拟影像中设定部件与骨骼虚拟影像的相对位置调整后，数据处理服务器将第一虚拟影像与骨骼虚拟影像进行组合处理，以形成位置关系固定的目标虚拟影像，减少和避免在混合现实显示设备中的移动导致的影像发生位置偏离，减少误差，避免干扰手术进程。
139.将所述目标虚拟影像发送至混合现实显示设备以进行显示。
140.其中，数据处理服务器将所述目标虚拟影像发送至混合现实显示设备以在设备中以进行显示。所述混合现实显示设备将组合后的目标虚拟影像呈现在医生的视野中，由于设定部件与目标骨骼之间的位置固定，因此医生通过将目标虚拟影像中的设定部件与现实世界的设定部件在视野中进行重合，目标虚拟影像中的骨骼虚拟影像的位置即标志现实世界中目标骨骼的位置。医生通过混合现实显示设备即可确定手术位置，使得手术过程变得可视化，提高了医生的手术效率。同时，减少设定部件不断的配准过程对患者的伤害，提高手术安全性。
141.本发明一示例性实施例还提供一种骨科手术中的影像处理系统，所述影像处理系统需要提前将若干安装有定位把球的设定部件固设与患者病灶处的目标骨骼上。所述设定部件可以为骨科手术中能用于固定的任一手术用刚性部件。
142.在本技术中以克氏针作为设定部件的一实施方式，但并不仅限于此，可根据骨科手术类型进行配置。克氏针可以经皮插入病患的病灶处，克氏针的一端与病灶处的目标骨骼相抵。由于克氏针与目标骨骼的接触点不需要特殊或过高的要求，因此使用克氏针作为设定部件对医生的操作要求相对简单，且克氏针给病患造成的创伤相当小。
143.影像处理系统包括：光学定位设备21、混合现实显示设备23、现实影像设备24以及数据处理服务器22。其中，图2示出所述影像处理系统的结构以及系统中各设备之间的数据传输关系。
144.参见图3，所述影像处理系统包括：
145.混合现实显示设备23，用于获取患者的所述目标骨骼对应的骨骼虚拟影像。
146.其中，所述骨骼虚拟影像可以由术前影像设备进行采集，采集后的骨骼虚拟影像
发送至混合现实显示设备23进行骨骼虚拟影像的显示。所述混合现实显示设备23中可以将目标骨骼对应的骨骼虚拟影像显示在医生的视野中，但此时还没有与真实患者的骨骼重合。
147.在一个实施例中，混合现实显示设备23包括但不限于：混合现实显示眼镜。
148.在一个实施例中，混合现实显示设备23具体包括以下模块：
149.图像获取模块，用于获取所述目标骨骼对应的骨骼模型图像。
150.其中，所述骨骼模型图像由术前影像设备进行采集，并将采集到的骨骼模型影像发送至混合现实显示设备23，所述术前影像设备包括但不限于ct设备。
151.图像转换模块，用于将所述骨骼模型图像转换为所述骨骼虚拟影像。
152.其中，所述混合现实显示设备23将获取到的骨骼模型图像进行转换。一般来说术前影像设备采集到的骨骼模型图像大多为二维的或单面的模型图像，因此混合现实显示设备23需要将骨骼模型图像进行合成处理，以形成一个三维的或立体的骨骼虚拟影像。
153.光学定位设备21，用于基于所述定位靶球获取每个所述设定部件的目标坐标信息。
154.在一个实施例中，光学定位设备21具体包括通信连接的光学定位器和光学定位数据处理器。
155.光学定位器，用于获取所述定位靶球的光学坐标信息。
156.其中，可以根据光学定位设备21采集定位靶球的光学坐标信息。
157.光学定位数据处理器，用于根据所述光学坐标信息进行计算以得到每个所述设定部件的目标坐标信息。
158.其中，由于所述定位靶球与设定部件为刚性连接，因此光学定位设备21可以根据采集到的定位靶球的光学坐标信息进行相关计算以得到所述设定部件的目标坐标信息。所述目标坐标信息可以反映设定部件与目标骨骼之间的位置关系。
159.所述混合现实显示设备23与所述光学定位设备21通信连接，用于基于所述目标坐标信息获取所述设定部件对应的第一虚拟影像。
160.在一个实施例中，所述混合现实显示设备23用于将所述目标坐标信息转换为所述设定部件对应的第一虚拟影像。
161.所述混合现实显示设备23中有混合现实导引程序，混合现实导引程序在获取到设定部件的目标坐标信息之后，可以根据目标坐标信息在虚拟骨骼影像的对应位置形成设定部件的第一虚拟影像。
162.第一虚拟影像与骨骼虚拟影像之间的位置关系依存于设定部件与目标骨骼之间的位置关系，因此通过定位靶球计算得到的目标坐标信息可以获得一个位置相对准确的第一虚拟影像，减少了后续调整的工作量，提高了影像处理的效率。
163.现实影像设备24，用于获取患者的目标骨骼与所述设定部件对应的现实影像。
164.其中，在生成了设定部件的第一虚拟影像之后，仍需要对第一虚拟影像与骨骼虚拟影像之间的位置关系进行进一步配准，以使得虚拟影像更精准，而实现配准需要反映目标骨骼与设定部件之间真实位置关系的现实影像作为参照。
165.在一个实施例中，所述现实影像设备24具体包括以下模块：
166.现实影像获取模块，用于获取多个方向维度的若干张初始现实影像。
167.其中，所述现实影像设备24为手术过程中可以使用的手术影像设备，具体地，所述现实影像设备24可以包括但不限于c型臂x光机、o型臂x光机等。例如，可以根据c型臂x光机获取正交方向的现实影像。
168.现实影像转换模块，用于基于若干张初始现实影像获取所述目标骨骼与所述设定部件对应的目标现实影像。
169.其中，根据多个方向维度的若干张现实影像合成一个能够详细反映所述目标骨骼与所述设定部件准确位置关系的目标现实影像，所述目标现实图像可以为显示在显示器中的三维图像，也可以为投射在ar显示设备中的ar图像，在现实情况中可以不仅限于以上两种。
170.数据处理服务器22与现实影像设备24通信连接，用于基于所述现实影像获取每个所述设定部件与所述目标骨骼之间的实际相对位置信息。
171.在一个实施例中，每个所述设定部件与所述目标骨骼之间的实际相对位置信息可以通过数据处理服务器22对所述现实影像的解析以获取，也可以通过医生对所述现实影像的解读来获取实际相对位置信息。
172.所述数据处理服务器22还与所述混合现实显示设备23通信连接，用于基于所述实际相对位置信息调整所述第一虚拟影像与所述骨骼虚拟影像之间的相对位置。
173.在一个实施例中，数据处理服务器22包括以下两种不同类型，在实际情况中可以选取任一种类型的数据处理服务器22：
174.第一种类型的数据处理服务器22具体包括以下模块：
175.设定部件编号模块，用于预先设置不同的所述设定部件对应的编号信息。
176.顺序影像调整模块，用于基于所述实际相对位置信息，根据所述编号信息依次对所述第一虚拟影像中的每个设定部件的位置进行调整，直至所述第一虚拟影像与所述骨骼虚拟影像之间的相对位置达到所述实际相对位置信息对应的实际相对位置。
177.在一个实施例中，顺序影像调整模块具体包括以下单元：
178.参考调整点确定单元，用于任意选择一个所述设定部件作为参考调整点。
179.第一相对位置获取单元，用于获取在所述现实影像中所述参考调整点与所述目标骨骼之间的第一相对位置信息。
180.其中，所述参考调整点与所述目标骨骼之间的第一相对位置信息可以通过数据处理服务器22对所述现实影像的解析以获取，也可以通过医生对所述现实影像的解读来获取第一相对位置信息。
181.第一相对位置调整单元，用于基于所述第一相对位置信息，调整所述参考调整点在所述第一虚拟影像中与所述骨骼虚拟影像之间的相对位置，直至所述参考调整点的相对位置达到所述第一相对位置信息对应的第一相对位置。
182.其中，在调整所述参考调整点在所述第一虚拟影像中与所述虚拟骨骼影像之间的相对位置时，由于在现实情况中设定部件的一端始终吸附于患者病灶处的目标骨骼的骨骼表面，因此，第一虚拟影像中所述参考调整点在调整过程中也应当吸附于所述虚拟骨骼影像的表面，使调整更符合实际情况，减少误差，便于后续的调整过程。
183.调整范围确定单元，用于基于所述参考调整点确定调整范围。
184.在一个实施例中，调整范围确定单元还用于：
185.以所述参考调整点为球心，选取所述参考调整点与剩余的所有所述设定部件中的任意一个所述设定部件之间的距离为球形半径，以形成球形；
186.获取所述球形与所述骨骼虚拟影像的骨骼表面形成的割线范围，并基于所述割线范围得到所述调整范围。
187.其中，由于所有设定部件之间的相对位置已经确定，因此当所述参考调整点位置确定后，即可根据所述参考调整点与所述设定部件之间的位置信息确定其他各设定部件的调整范围。在本实施例中是以参考调整点为球心，以参考调整点与设定部件的距离为半径作球形，球形与骨骼虚拟影像的骨骼表面形成的割线范围来确定设定部件的调整范围，可以极大的减少调整的工作量，实现更高效更快速的对所述第一虚拟影像中的设定部件与所述骨骼虚拟影像之间的位置信息进行调整。在现实情况中可以不仅局限于这一实施方式，可以根据获取到的设定部件之间的不同的相对位置信息来进行调整，例如各设定部件之间的相对距离，相对角度等等。
188.实际相对位置调整单元，用于在所述调整范围内调整所述第一虚拟影像中剩余的所有所述设定部件在所述第一虚拟影像中与所述骨骼虚拟影像之间的相对位置，直至所有所述设定部件的相对位置达到所述实际相对位置信息对应的实际相对位置。
189.在一个实施例中，以设定部件为三个的情况对本实施例进行进一步说明，但设定部件的数量并不局限于三个。将编号为1的设定部件设为参考调整点，基于现实影像中参考调整点与目标骨骼的第一相对位置信息调整所述参考调整点在第一虚拟影像中与所述骨骼虚拟影像之间的相对位置。
190.当参考调整点，即编号为1的设定部件的位置确定后，即可根据编号为2的设定部件与参考调整点之间的距离确定编号为2的设定部件的调整范围：以参考调整点为球心，以编号为2的设定部件与参考调整点之间的距离为半径做球形，所述球形与所述骨骼虚拟影像的骨骼表面的割线范围为编号为2的设定部件的调整范围。
191.在进行编号为3的设定部件的位置调整时，同样以参考调整点为球心，以编号为3的设定部件与参考调整点之间的距离为半径做球形来确定调整范围。但与此同时，由于编号为3的设定部件与编号为2的设定部件的相对位置固定，因此，编号为3的设定部件的调整范围同时也要满足与编号为2的设定部件之间的相对位置固定，此时更进一步的缩小了编号为2和编号为3的设定部件之间的调整范围，提高影像配准的准确率和效率。
192.最后根据获取的编号为2的设定部件和编号为3的设定部件调整范围分别调整所述第一虚拟影像中编号为2的设定部件及编号为3的设定部件与所述虚拟骨骼影像之间的相对位置，直至所有设定部件的相对位置达到所述实际相对位置信息对应的实际相对位置。
193.在一个实施例中，为了应对现实影像设备24不够精准、参考调整点在调整过程中出现偏差等情况导致第一虚拟影像中设定部件与虚拟骨骼影像的相对位置出现偏差，医生可以根据实际情况对第一虚拟影像与虚拟骨骼影像的位置关系进行微调。
194.第二种类型的数据处理服务器22具体包括以下模块：
195.随机影像调整模块，用于基于所述实际相对位置信息，随机对所述第一虚拟影像中的任意一个设定部件的位置进行调整，并遍历完成所有设定部件的位置的调整，直至所述第一虚拟影像与所述骨骼虚拟影像之间的相对位置达到所述实际相对位置信息对应的
实际相对位置。
196.在一个实施例中，所述数据处理服务器22还用于：将所述第一虚拟影像与所述骨骼虚拟影像进行组合处理，以得到组合后的目标虚拟影像。
197.其中，在完成对第一虚拟影像中设定部件与骨骼虚拟影像的相对位置调整后，数据处理服务器22将第一虚拟影像与骨骼虚拟影像进行组合处理，以形成位置关系固定的目标虚拟影像，减少和避免在混合现实显示设备23中的移动导致的影像发生位置偏离，减少误差，避免干扰手术进程。
198.在一个实施例中，所述混合现实显示设备23还用于接收所述目标虚拟影像以进行显示。
199.其中，数据处理服务器22将所述目标虚拟影像发送至混合现实显示设备23以在设备中以进行显示。所述混合现实显示设备23将组合后的目标虚拟影像呈现在医生的视野中，由于设定部件与目标骨骼之间的位置固定，因此医生通过将目标虚拟影像中的设定部件与现实世界的设定部件在视野中进行重合，目标虚拟影像中的骨骼虚拟影像的位置即标志现实世界中目标骨骼的位置。医生通过混合现实显示设备即可确定手术位置，使得手术过程变得可视化，提高了医生的手术效率。同时，减少设定部件不断的配准过程对患者的伤害，提高手术安全性。
200.下面通过一个具体的实施例对本发明的影像处理方案进行进一步说明：
201.提供一种基于光学定位设备的混合现实显示设备的骨科手术中的影像处理方法，所述骨科手术为椎弓根置钉微创手术，旨在提高混合现实显示设备辅助椎弓根置钉微创手术的配准精度和操作方便性。
202.本发明实施例的影像处理系统中所述的混合现实显示设备为头戴式hololens(一种混合现实显示眼镜)，所述光学定位设备为ndi(一种光学定位设备)，所述数据处理服务器为混合现实导引程序、还包括编号分别为1、2、3且安装有ndi光学定位靶球的克氏针。
203.所述ndi光学定位设备包括：ndi光学定位器和光学定位数据处理器，它们之间通过网线进行数据通讯，实现将ndi光学定位器捕捉到的ndi光学定位靶球坐标数据实时传递到光学定位数据处理器中，由于包括克氏针在内的器械都是与光学定位靶球刚性连接的，因此光学定位数据处理器根据靶球的坐标进行相关的计算，就可以得到包括克氏针在内的器械的实时坐标位置。
204.载入前期由ct等术前影像设备所采集的病患处的脊柱影像，并显示在医生的混合现实眼镜的视野中的功能。此时，该脊柱虚拟影像只是显示在医生视野中，并没有和真实患者的脊柱重合。所述脊柱虚拟影像即本发明中的骨骼虚拟影像。
205.手术时，医生依次将编号为1、2、3的3个克氏针经皮插入病患处，直到克氏针的前端抵住患者的脊柱骨骼。由于克氏针与患者脊柱骨骼的接触点没有特殊的要求，因此该步骤对医生的操作要求相对简单，不需要精准操作，且克氏针对患者的创伤非常小。
206.ndi光学定位器捕捉到克氏针上面的光学定位靶球，并通过光学定位数据处理器计算得到了3根克氏针的坐标位置，将这3杆克氏针的坐标发送给混合现实眼镜。
207.混合现实眼镜接收到克氏针的坐标后，实现根据坐标位置，在根据3根克氏针的相对坐标位置显示出3根克氏针虚拟影像。所述克氏针虚拟影像即本发明中所述的第一虚拟影像。此时，克氏针的虚拟影像之间的相对位置关系来源于高精度的光学定位设备，因此与
已经插入病患体内的克氏针的相对位置关系一致。
208.医生通过手术室中的移动式c型臂x光机对病患处进行正交两个方向的成像，医生根据影像就可以得知三根克氏针与病患骨骼之间的位置关系，特别是克氏针与病患骨骼表面接触点的位置。其中所属c型臂x光机即本发明中所述的现实影像设备。
209.医生根据所获取的克氏针与病患骨骼之前的位置关系，在混合现实置钉导引程序中调整病患脊柱骨骼虚拟影像与3根克氏针的虚拟影像之间的位置，直到实现病患脊柱骨骼虚拟影像与3根克氏针的虚拟影像之间的位置关系与c型臂x光机所呈现的位置关系一致。
210.所述调整病患脊柱骨骼虚拟影像与3根克氏针虚拟影像之间的位置功能，在调整过程中，3根克氏针虚拟影像之间的位置始终保持不变。且在程序中开发有辅助调整方法，包括吸附、预测位置、微调等。
211.所述的吸附功能，其方法为，在调整编号为1的克氏针位置时，该克氏针的端点p1始终吸附在病患脊柱骨骼虚拟影像的表面。符合真实的克氏针前端抵住真实病患的骨骼的现实状态，并且方便医生将该接触点调整到c型臂x光机所成像的位置。
212.所示的预测位置功能，当编号为1的克氏针端点p1位置确定后，由于编号为1和编号为2的克氏针相对位置固定，因此，编号为2的克氏针的端点p2可移动的范围，相当于以编号为1的克氏针端点位置为球心，以编号1和编号为2的克氏针端点距离为半径(|p2-p1|)所形成的球形，并且要符合与吸附功能，因此为该球形与骨骼表面相交所形成的割线范围内。在此范围内移动，极大的减小了医生调整的工作量。
213.所述的微调功能，在进行编号为3的克氏针时，根据3个克氏针端点p3之间固定的位置关系，且满足吸附条件的情况下，只有一个点符合编号为3的克氏针端点的位置，但是为了避免过约束、虚拟ct影像不是特别精确、以及前面两根克氏针的定位不符合要求等问题，微调功能可以满足医生根据实际需求对脊柱骨骼虚拟影像与3根克氏针虚拟影像之间的位置进行微调，而不受其他的约束。
214.完成上述操作后，病患脊柱骨骼虚拟影像与3根克氏针虚拟影像之间的位置就已经确定。混合现实置钉导引程序将病患脊柱骨骼虚拟影像与3根克氏针虚拟影像形成位置固定的组合体。之后，根据光学定位设备所捕捉到的3根克氏针的实际坐标位置，将组合体的虚拟影像移动到该实际坐标位置，此时就可是实现病患脊柱骨骼虚拟影像与病患脊柱骨骼相重合，以最终完成影像的配准。
215.医生可以根据配准后的脊柱虚拟影像得知真实的皮肤下的脊柱骨骼的位置，以进一步进行相关的手术操作，极大程度保障了手术操作的精准性和安全性。
216.本发明一示例性实施例提供一种电子设备，参见图4，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明实施例中的骨科手术中的影像处理方法。图4显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
217.电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
218.总线33包括数据总线、地址总线和控制总线。
219.存储器32可以包括易失性存储器，例如随机存取存储器(ram)321和/或高速缓存存储器322，还可以进一步包括只读存储器(rom)323。
220.存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
221.处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例中的骨科手术中的影像处理方法。
222.电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(i/o)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器26通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
223.应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
224.本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例中骨科手术中的影像处理方法。
225.其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
226.在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现本发明实施例中的骨科手术中的影像处理方法。
227.其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
228.虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。