基于平板电脑的手术导航和增强现实系统的制作方法
【专利摘要】本发明属医疗器械领域，涉及手术导航和增强现实技术，具体涉及基于平板电脑的手术导航和增强现实技术，适用于各类神经外科手术导航和现实增强。本发明采用置有用于红外跟踪的参考架，屏幕不低于800×600的分辨率，支持多点触控及手写输入，支持Wi-Fi无线连接方式，不低于8小时电力续航时间的平板电脑与改进的手术导航系统excelim-04或者更高版本的导航仪构成。平板电脑与导航仪通过Wi-Fi无线连接实时通信，将导航仪的数据发送到平板电脑上，同时将平板电脑拍摄的实时手术视频图像进行虚拟图像和实时真实图像叠加并显示在平板电脑的屏幕，实现了实时手术图像和术前扫描的CT或者MRI数据的完全融合，提高了手术效率和精确度，可广泛应用于各类神经外科的手术导航。
【专利说明】基于平板电脑的手术导航和增强现实系统
【技术领域】
[0001]本发明属医疗器械领域，涉及手术导航和增强现实技术，具体涉及基于平板电脑的手术导航和增强现实系统，适用于各类神经外科手术导航和现实增强。
【背景技术】
[0002]手术导航技术起源于临床神经外科，通常是在术前采集到病人的CT或者MRI图像，并将其转存到图像工作站中，形成导航参考图像。当术中带有示踪器的手术器械作用于病人时，空间定位仪跟踪到手术器械在病人坐标中的位置，将其转换到图像坐标系中，与导航参考图像叠加在一起，就如同实时透视一样，因此这种方式也称为“虚拟透视”。术中，医生借助于导航系统可以看到手术器械在病人体内的位置，从而能够正确指导医生在选定的部位上进行手术操作。现有的手术导航系统为手术操作提供了一定的便利，但是医生为了实时观察手术器械相对于病人的位置，视线需要在病人手术部位和导航仪之间来回切换，从而不利于医生集中于病人身体进行手术的过程。另外，目前导航系统所显示的内容都是虚拟的病人图像和手术器械，不能实现将实时手术中的病人联系起来。
[0003]基于移动平台的手术设备可以将术前的数据和实时手术中的病人同时置于医生的视线之中，使得医生操作更方便。目前由德国BrainLab公司研制的，基于平板电脑iPod可移动的医疗设备在股骨头置换手术中得到应用，但由于它仅针对此类手术设计的，因此应用面较窄，另外，该设备不能够真正实现病人图像和术前数据的完全融合。
【发明内容】
[0004]本发明的目的是提供一种操作方便，手术安全，能够实现实时手术中的病人图像和术前数据的完全融合的基于平板电脑的手术导航和增强现实系统。
[0005]本发明手术导航和增强现实系统是这样实现的，采用置有用于红外跟踪的参考架，屏幕不低于800X600的分辨率，支持多点触控及手写输入，支持W1-Fi无线连接方式，不低于8小时的电力续航时间的平板电脑和改进的手术导航系统excelim-04或者由主计算机、红外定位仪及相关周边设备组成的更高版本的导航仪构成。
[0006]本发明中，主计算机借助红外定位仪和参考架进行光学跟踪来保证虚拟空间和实际空间的配准。
[0007]本发明中，导航仪与平板电脑通过W1-Fi无线连接实时通信，将导航仪的数据发送到平板电脑上，同时对平板电脑拍摄的实时手术视频图像进行虚拟图像和实时手术图像叠加并显示在平板电脑的屏幕上。
[0008]本发明中，根据图像提取特征点，建立特征点之间的匹配关系，根据图像上对应的特征点分别为Ui (Xi, Yi), Ui' (Xi' , y/ ),则有关系= O，或表示为V1F = O,其中:
[0009]F = [F11, F12, F13, F21, F22, F23, F31, F32, F33]，
[0010]V= [X" Xi, x/ Yi, Xi; ζ ,Ji' Xi, Yi; Yi, Yi; ζ , Xi ζ , Yi ζ , ζ 2],
[0011]由此通过至少7个匹配点关系即可求得基础矩阵F ;再利用对极几何原理得到图像分别的投影矩阵P和P’，P = [I I O]，计算e’以满足对极限制eTF = O,得到场景的三维重建Hiineu(u，PU)2+eu(u’，P’ U)2，再利用红外定位仪获取场景在平板电脑参考架中的变换关系T?，参考架坐标到平板电脑显示屏的变换关系Tm = Τ?*Ρ'。
[0012]本发明中，所述平板电脑自带的摄像头将术前拍摄的病人图像用以场景的三维重建。
[0013]本发明中，手术过程中拍摄病人的实时视频，并且由红外定位仪实时跟踪手术探针的空间位置，根据Tm计算出探针在视频图像上的位置，并且将病人的术前数据图像叠加在视频中病人的相应位置上，实现医学增强现实效果。
[0014]本发明具有下述优点:
[0015]1、平板电脑设备与导航仪通过W1-Fi无线网络建立连接，实现实时通信进行数据传输和显示。从而实现移动的、灵活便利的导航操作。
[0016]2、医生在手术过程中，以平板电脑为媒介，能够同时看到病人的手术部位和该部位的术前扫描的CT或者MRI图像，给医生以直观的“透视”到病人身体内部的感觉。同时根据手术操作过程中病人体位的变化，能够进行实时跟踪和配准。
[0017]3.本发明手术导航和增强现实系统与原有的手术导航系统相比，使用更加方便，不需要手术中的视线切换，并且因为虚拟和真实图像的叠加提供更直观的信息，提高了手术效率和精确度，与现有的移动平台的医疗设备相比，实现了实时的病人手术图像和术前数据的完全融合，可广泛应用于各类神经外科的导航手术，适用面更宽。
[0018]为了便于理解，以 下将通过具体的附图和实施例对本发明的基于平板电脑的手术导航和增强现实系统进行详细地描述。需要特别指出的是，具体实例和附图仅是为了说明，显然本领域的普通技术人员可以根据本文说明，在本发明的范围内对本发明做出各种各样的修正和改变，这些修正和改变也纳入本发明的范围内。
【专利附图】
【附图说明】
[0019]图1是本发明涉及的对极几何原理图。
[0020]图2是本发明系统中的的空间关系不意图。
[0021]图3是本发明手术导航和增强现实系统实施示意图。
【具体实施方式】
[0022]实施例1
[0023]采用置有用于红外跟踪的参考架，屏幕不低于800X600的分辨率，支持多点触控及手写输入，支持W1-Fi无线连接方式，不低于8小时的电力续航时间的平板电脑和改进的手术导航系统excelim-04或者由主计算机、红外定位仪及相关周边设备组成的更高版本的导航仪构成本发明的手术导航和增强现实系统。用于手术过程中实现医学增强现实效
果O
[0024]主计算机借助红外定位仪和参考架进行光学跟踪来保证虚拟空间和实际空间的配准。其中，跟踪采用奇异值分解法来实现虚拟现实空间与实时手术病人空间的配准。
[0025]奇异值分解法(SVD)
[0026]存在三维点集{mi}，{di}，而且两个点集点之间的对应关系已知，其中i =1，……，N，N为点集中点的个数。
[0027]配准的目标是寻找{mi}，{di}两个点集之间的一种转换关系:
[0028]di=Rmi+T
[0029]其中R为[3X3]旋转矩阵，T为[3X1]平移矩阵。
[0030]使用最小二乘法拟合,通过最小化
【权利要求】
1.基于平板电脑的手术导航和增强现实系统，其特征在于:采用置有用于红外跟踪的参考架，屏幕不低于800X600的分辨率，支持多点触控及手写输入，支持W1-Fi无线连接方式，不低于8小时电力续航时间的平板电脑与改进的手术导航系统excelim-04或者由主计算机、红外定位仪及相关周边设备组成的更高版本的导航仪构成。
2.根据权利要求1所述的手术导航和增强现实系统，其特征在于:导航仪与平板电脑通过W1-Fi无线连接实时通信，将导航仪的数据发送到平板电脑上，同时对平板电脑拍摄的实时手术视频图像进行虚拟图像和实时手术图像叠加并显示在平板电脑的屏幕上。
3.根据权利要求1所述的手术导航和增强现实系统，其特征在于:根据图像提取特征点，建立特征点之间的匹配关系，根据图像上对应的特征点分别为UiOyi),Ui' (Xi' ,Y1,)，则有关系",7O/,.= O，或表示为V1F = O,其中:
F = [Fn，F12, F13, F21, F22, F23, F31, F32, F33],
V= [x/ Xi, x/ Yi, x/ ,Ji' Xi, Yi; n' ζ , Xi ζ , Yi ζ , ζ 2], 由此通过至少7个匹配点关系即可求得基础矩阵F ;再利用对极几何原理得到图像分别的投影矩阵P和P’，P = [I I O]，计算e’以满足对极限制eTF = O,得到场景的三维重建Hiineu(u，PU)2+eu(u’，P’ U)2，再利用红外定位仪获取场景在平板电脑参考架中的变换关系TM，参考架坐标到平板电脑显示屏的变换关系I；。= T?*P’ ；手术过程中拍摄病人的实时视频，并且由红外定位仪实时跟踪手术探针的空间位置，根据Ttc计算出探针在视频图像上的位置，并且将病人的术前数据图像叠加在视频中病人的相应位置上，实现医学增强现实效果O
4.根据权利要求3所述的基于平板电脑的手术导航和增强现实系统，其特征在于:所述平板电脑自带的摄 像头将术前拍摄的病人图像用以场景的三维重建。
【文档编号】A61B19/00GK103445863SQ201210180342
【公开日】2013年12月18日 申请日期:2012年6月2日 优先权日:2012年6月2日
【发明者】宋志坚, 姚德民, 王满宁, 李舫, 邓薇薇 申请人:复旦大学