一种全髋关节裸眼三维虚拟置换方法

1.本发明属自由立体显示技术领域，具体涉及一种全髋关节裸眼三维虚拟置换方法。


背景技术：

2.全髋关节置换是将包含股骨和髋臼两部分的人工假体，利用骨水泥和螺丝钉固定在正常的骨质上，以取代病变的关节，从而重建患者髋关节的正常功能。人体的髋关节生物力学结构复杂，并且具有形态结构的个体差异性。如果人工假体不严格符合个体需要，可能会导致髋关节置换术后发生二次骨折甚至二次低能量受力后假体远端骨折，给患者术后康复带来很大的难度。所以，全髋关节置换通常需要进行术前规划，使医生根据患者关节与假体的空间结构和位置关系，判断植入物是否完全合适。作为术前规划的一种方式，虚拟置换利用髋关节和假体的三维数字模型在计算机环境中进行适配，相较于使用实体模型的传统方式，能够节省医疗成本和提高操作的便捷性。
3.目前，部分医疗机构在髋关节虚拟置换中采用由断层图像构建三维髋关节模型的可视化方法，但仍然使用传统的平面显示器来呈现建模结果。二维视图无法同时展示骨骼和假体的多视角空间信息，并且难以根据观察者位置对三维模型进行直观的调整，故对医生的立体想象能力要求较高，无法满足实际的辅助医疗需求。为此，医学影像显示领域逐渐引入了基于人眼双目视差原理的“伪”三维显示和基于光线空间叠加原理的“真”三维显示等立体显示技术。伪三维显示主要包括助视式和光栅式两种：助视式显示需要医生佩戴辅助设备，不适用于临床观摩、远程会诊、医疗教学等多人同时观看的场合，并且三维图像需要大脑合成，长久观看容易导致视觉疲劳；光栅式显示的观察视点数量少，而且画面的分辨率和亮度均受到限制。真三维显示主要包括体显示、全息显示和集成成像三种：体显示技术的显示空间受限于真空保护罩，无法显示物体的纹理和遮挡关系；全息显示技术对光源和周围环境要求严格，其成像质量受空间光调制器性能参数制约；集成成像技术基于昆虫复眼的视觉特性，其原理和结构都相对简单，能够提供具有全彩色和准连续视点的裸眼立体画面，是三维显示技术发展的终极目标。另一方面，在操控髋关节三维模型的过程中，传统的鼠标控制和触摸屏控制均会受制于器械点控范围，不适用于无菌的应用环境。
4.因此，本方法结合集成成像和手势交互两种技术来实现全髋关节裸眼三维虚拟置换，通过更直观的立体影像和更逼真的感官冲击，并通过手势控制达到远距离、高精确度交互的目的，实现选用假体与髋关节周边组织之间以及股骨假体和髋臼假体之间的精准匹配，助力三维成像技术与虚拟现实技术在医疗领域的应用普及和精准医疗水平的提质升级。


技术实现要素：

5.本发明的目的在于提供一种基于集成成像与手势交互的全髋关节裸眼三维虚拟置换方法，该方法使用vtk(visualization toolkit)、optix和leap motion作为工具。vtk
是一个开源的三维计算机图像处理和可视化软件系统。optix是一种基于nvidia cuda通用计算架构的高性能光线追踪应用程序框架，能够对光线投射过程进行大幅加速，做到虚拟视点图像和二维合成图的快速绘制。leap motion是专为手势而设计的体感控制器，支持高帧率的手势识别与交互。本发明结合上述工具的优势，通过三维重建、模型分割、模型配准、裸眼三维显示和手势交互等操作，允许医生裸眼观测髋关节的逼真三维影像，并利用隔空手势任意调整髋关节模型与假体模型的观看角度、尺寸与位置关系，更直观地将患者髋关节与不同型号的人工假体进行适配，使医生直接对假体植入后的运动状态进行分析和评估，完成植入物与髋关节局部解剖结构的虚实结合，实现可靠的全髋关节置换术前规划，以解决上述背景技术中提出的问题。
6.本发明的一种全髋关节裸眼三维虚拟置换方法，包括下列步骤：
7.1.1建立全髋关节裸眼三维显示系统：全髋关节裸眼三维显示系统由处理器(1)、立体显示屏(2)和leap motion体感控制器(6)组成，立体显示屏(2)和leap motion体感控制器(6) 均与处理器(1)连接；处理器(1)配置有三维计算机图像处理及可视化软件系统vtk和高性能光线追踪应用程序框架optix；立体显示屏(2)采用视点数量为奇数n、分辨率为w
×
h的柱透镜光栅立体显示屏；
8.1.2利用集成成像技术显示髋关节的裸眼三维影像(5)，包括下列步骤：
9.1.2.1将髋关节ct图像序列输入处理器(1)；
10.1.2.2利用处理器(1)中vtk的体绘制方法，重建髋关节三维模型；
11.1.2.3利用处理器(1)中optix的虚拟相机阵列和实时光线投射渲染器，为髋关节三维模型拍摄虚拟视点图像阵列，其中虚拟相机阵列中的虚拟相机数量与虚拟视点图像阵列中的虚拟视点图像数量均为n，每幅虚拟视点图像的分辨率均为w
×
h；
12.1.2.4利用虚拟视点图像阵列，生成二维合成图(4)并在立体显示屏(2)上全屏显示，二维合成图(4)发出的光线穿过立体显示屏(2)内部的柱透镜光栅(3)后，形成髋关节的裸眼三维影像(5)，实现髋关节集成成像；
13.1.3虚拟置换髋臼与股骨头区域，包括下列步骤：
14.1.3.1利用处理器(1)中vtk的三维可视化界面，通过手动方式对髋关节三维模型进行髋臼与股骨头分割；
15.1.3.2将髋臼假体三维模型输入处理器(1)，利用vtk的三维可视化界面，通过手动方式置换髋关节三维模型的髋臼区域，执行步骤1.2.3、步骤1.2.4，更新髋关节的裸眼三维影像(5)；
16.1.3.3将股骨头假体三维模型输入处理器(1)，利用vtk的三维可视化界面，通过手动方式置换髋关节三维模型的股骨头区域，执行步骤1.2.3、步骤1.2.4，更新髋关节的裸眼三维影像(5)；
17.1.4手势交互(7)控制立体显示屏(2)显示的髋关节裸眼三维影像(5)，立体显示屏(2)显示每一帧画面包括下列步骤：
18.1.4.1手掌运动，其运动方式包括：手掌收放、手掌旋转、拇指运动、食指运动；
19.1.4.2利用leap motion体感控制器(6)，判断手势类型：如果手掌收放，则执行步骤 1.4.3；如果手掌旋转，则执行步骤1.4.4；如果拇指运动，则执行步骤1.4.5；如果食指运动，则执行步骤1.4.6；
20.1.4.3改变optix的虚拟相机阵列拍摄距离，执行步骤1.2.3、步骤1.2.4，缩放髋关节的整体裸眼三维影像(5)；其中如果手掌收紧，则缩小虚拟相机阵列的拍摄距离，拍摄距离的缩小幅度与手掌的收紧程度成正比；如果手掌放开，则增大虚拟相机阵列的拍摄距离，拍摄距离的增大幅度与手掌的放开程度成正比；
21.1.4.4绕髋关节三维模型的中心旋转optix的虚拟相机阵列，执行步骤1.2.3、步骤1.2.4，旋转髋关节的整体裸眼三维影像(5)；其中虚拟相机阵列的旋转方向与手掌的旋转方向相同，虚拟相机阵列的旋转角度与手掌的旋转角度成正比；
22.1.4.5绕髋关节三维模型的髋臼中心旋转髋臼区域，执行步骤1.2.3、步骤1.2.4，旋转髋关节的裸眼三维影像(5)中的髋臼部分；其中髋臼区域的旋转方向与拇指的运动方向相同，髋臼区域的旋转角度与拇指的运动距离成正比；
23.1.4.6绕髋关节三维模型的股骨头中心旋转股骨头区域，执行步骤1.2.3、步骤1.2.4，旋转髋关节的裸眼三维影像(5)中的股骨头部分；其中股骨头区域的旋转方向与食指的运动方向相同，股骨头区域的旋转角度与食指的运动距离成正比。
24.与现有技术相比，本发明的有益效果在于：本发明提出的全髋关节裸眼三维虚拟置换方法针对人体髋关节结构复杂、平面显示屏观测不直观以及传统操控手段受限等问题，通过结合医学图像处理、计算机图形学、集成成像、虚实融合等多种技术，借助具有精准几何结构、全彩色、立体纵深感和准连续视点的三维影像，为患者选择最合适的内植物，同时利用隔空手势交互突破传统交互模式的屏障，实现无需助视设备并且不会产生视疲劳的交互式全髋关节置换真三维术前规划，为手术具体实施方案提供可靠的辅助参考，大幅提高关节置换的效率和准确性，从而显著提升患者的术后康复质量。
附图说明
25.图1为全髋关节裸眼三维虚拟置换方法的流程图；
26.图2为全髋关节裸眼三维虚拟置换系统的示意图，
27.其中：1.处理器2.立体显示屏3.柱透镜光栅4.二维合成图5.裸眼三维影像 6.leap motion体感控制器7.手势交互。
具体实施方式
28.下面结合附图描述本发明。
29.本发明的一种全髋关节裸眼三维虚拟置换方法，如图1所示，包括下列步骤：
30.1.建立全髋关节裸眼三维显示系统，如图2所示：全髋关节裸眼三维显示系统由处理器(1)、立体显示屏(2)和leap motion体感控制器(6)组成，立体显示屏(2)和leap motion 体感控制器(6)均与处理器(1)连接；处理器(1)配置有三维计算机图像处理及可视化软件系统 vtk和高性能光线追踪应用程序框架optix；立体显示屏(2)采用视点数量为奇数n、分辨率为w
×
h的柱透镜光栅立体显示屏；
31.2.利用集成成像技术显示髋关节的裸眼三维影像(5)，包括下列步骤：
32.2.1将髋关节ct图像序列输入处理器(1)；
33.2.2利用处理器(1)中vtk的体绘制方法，重建髋关节三维模型；
34.2.3利用处理器(1)中optix的虚拟相机阵列和实时光线投射渲染器，为髋关节三
维模型拍摄虚拟视点图像阵列，其中虚拟相机阵列中的虚拟相机数量与虚拟视点图像阵列中的虚拟视点图像数量均为n，每幅虚拟视点图像的分辨率均为w
×
h；
35.2.4利用虚拟视点图像阵列，生成二维合成图(4)并在立体显示屏(2)上全屏显示，二维合成图(4)发出的光线穿过立体显示屏(2)内部的柱透镜光栅(3)后，形成髋关节的裸眼三维影像(5)，实现髋关节集成成像；计算二维合成图(4)的每个像素值包括下列步骤：
36.2.4.1分别获取该像素值所属的像素点(x,y)在r、g、b三个通道上对应的视点序号： j
r
＝m
r
(x,y)、j
g
＝m
g
(x,y)、j
b
＝m
b
(x,y)；其中m
r
、m
g
、m
b
分别为二维合成图(4)的r、g、b三个通道的像素
‑
视点对应矩阵；
37.2.4.2对于每个通道和对应的视点序号j，利用第j个虚拟相机和其像素点(x,y)处的光线投射，得到该通道在此点处的像素值；
38.3.虚拟置换髋臼与股骨头区域，包括下列步骤：
39.3.1利用处理器(1)中vtk的三维可视化界面，通过手动方式对髋关节三维模型进行髋臼与股骨头分割；
40.3.2将髋臼假体三维模型输入处理器(1)，利用vtk的三维可视化界面，通过手动方式置换髋关节三维模型的髋臼区域，执行步骤2.3、步骤2.4，更新髋关节的裸眼三维影像(5)；
41.3.3将股骨头假体三维模型输入处理器(1)，利用vtk的三维可视化界面，通过手动方式置换髋关节三维模型的股骨头区域，执行步骤2.3、步骤2.4，更新髋关节的裸眼三维影像(5)；
42.4.手势交互(7)控制立体显示屏(2)显示的髋关节裸眼三维影像(5)，立体显示屏(2)显示每一帧画面包括下列步骤：
43.4.1手掌运动，其运动方式包括：手掌收放、手掌旋转、拇指运动、食指运动；
44.4.2利用leap motion体感控制器(6)，判断手势类型：如果手掌收放，则执行步骤4.3；如果手掌旋转，则执行步骤4.4；如果拇指运动，则执行步骤4.5；如果食指运动，则执行步骤4.6；
45.4.3改变optix的虚拟相机阵列拍摄距离，执行步骤2.3、步骤2.4，缩放髋关节的整体裸眼三维影像(5)；其中如果手掌收紧，则缩小虚拟相机阵列的拍摄距离，拍摄距离的缩小幅度与手掌的收紧程度成正比；如果手掌放开，则增大虚拟相机阵列的拍摄距离，拍摄距离的增大幅度与手掌的放开程度成正比；
46.4.4绕髋关节三维模型的中心旋转optix的虚拟相机阵列，执行步骤2.3、步骤2.4，旋转髋关节的整体裸眼三维影像(5)；其中虚拟相机阵列的旋转方向与手掌的旋转方向相同，虚拟相机阵列的旋转角度与手掌的旋转角度成正比；
47.4.5绕髋关节三维模型的髋臼中心旋转髋臼区域，执行步骤2.3、步骤2.4，旋转髋关节的裸眼三维影像(5)中的髋臼部分；其中髋臼区域的旋转方向与拇指的运动方向相同，髋臼区域的旋转角度与拇指的运动距离成正比；
48.4.6绕髋关节三维模型的股骨头中心旋转股骨头区域，执行步骤2.3、步骤2.4，旋转髋关节的裸眼三维影像(5)中的股骨头部分；其中股骨头区域的旋转方向与食指的运动方向相同，股骨头区域的旋转角度与食指的运动距离成正比。