TMS头动检测方法

tms头动检测方法
技术领域
1.本发明涉及医用图像处理技术领域，尤其涉及tms头动检测方法。


背景技术：

2.tms是transcranial magnetic stimulation的缩写，即经颅磁刺激技术，该技术是一种利用脉冲磁场作用于中枢神经系统(主要是大脑)，改变皮层神经细胞的膜电位，使之产生感应电流，影响脑内代谢和神经电活动，从而引起一系列生理生化反应的磁刺激技术。
3.现有技术基于tms进行头部配准大多为静态配准，无法实现在计算机中动态进行配准，即使能够进行动态配准，也需要较大的场地和大型的动态捕捉装置才能完成，成本昂贵。


技术实现要素：

4.本发明旨在提供一种检测病患在进行tms调控时头动情况的方法。
5.为达到上述目的，本发明是采用以下技术方案实现的：
6.tms头动检测方法，包括以下步骤：
7.步骤s1：扫描获得病患的磁共振图像，通过深度相机获得病患的头部深度图及其rgb平面图，使用mtcnn算法获取rgb平面图上第一个抓取到的病患的人脸特征像素点的二维坐标，所述人脸特征像素点包括左眼、右眼、鼻子、左嘴角及右嘴角所对应的5个点位；
8.步骤s2：通过病患的头部深度图及其rgb平面图所对应的关系得到人脸特征像素点对应的三维坐标；
9.步骤s3：使用marching cubes面绘制算法结合vtk工具包实现步骤s1中所获得的磁共振图像的三维重建，得到重建三维图像；
10.步骤s4：获取所述重建三维图像的视角为正前方的二维截图，再使用mtcnn算法获取所述二维截图的人脸特征像素点的二维坐标；
11.步骤s5：根据vtk坐标系转换关系算得步骤s4中所得的人脸特征像素点在vtk世界坐标系中的三维坐标；
12.步骤s6：将步骤s2与步骤s5所得到的两组三维坐标通过landmark经典算法仿射配准，使病患所在的物理坐标与vtk世界坐标系统一，从而在计算机中实时模拟显示真实物理世界中患者的头动情况。
13.优选的，所述步骤s1包括以下步骤：
14.步骤s101：对输入的rgb平面图的每一帧图像进行多尺度变换，制作成不同尺度的图像金字塔；
15.步骤s102：将金字塔图像输入p-net卷积神经网络，获得候选窗体和边界回归向量。同时，候选窗体根据边界框进行校准。然后利用非极大值抑制去除重叠窗体，输出得到人脸图像。
16.步骤s103：将p-net网络输出得到的人脸图像输入r-net卷积神经网络，利用边界框向量微调候选窗体，最后还是利用非极大值抑制算法去除重叠窗体，输出得到人脸图像。此时的到的人脸检测框更加精准；
17.步骤s104：将r-net网络输出得到的人脸图像输入o-net卷积神经网络，对人脸检测框坐标进行进一步的细化，该网络比r-net多一层卷积层，功能与r-net类似，只是在去除重叠候选窗口的同时标定5个人脸关键点位置。
18.优选的，在步骤s2中，在所述头部深度图中检索步骤s1中所得人脸特征像素点，获取其所对应的像素值，并将所述像素值作为所对应的人脸特征像素点的深度值，从而得到步骤s1中所得人脸特征像素点对应的三维坐标。
19.优选的，所述步骤s3的marching cubes面绘制算法包括以下步骤：
20.步骤s301：将步骤s1中扫描得到的磁共振图像分层读入内存；
21.步骤s302：扫描两层数据，逐个构造体素，每个体素中的8个角点取自相邻的两层；
22.步骤s303：将体素每个角点的函数值与根据病患情况所给定的等值面值c做比较，根据比较结果，构造该体素的状态表；
23.步骤s304：根据状态表，得出将与等值面有交点的边界体素；
24.步骤s305：通过线性插值方法计算出体素棱边与等值面的交点；
25.步骤s306：利用中心差分方法，求出体素各角点处的法向量，再通过线性插值方法，求出三角面片各顶点处的法向；
26.步骤s307：根据各三角面片上各顶点的坐标及法向量绘制等值面图像，从而获得磁共振图像的重建三维图像。
27.优选的，所述步骤s5包括以下步骤：
28.步骤s501：算取步骤s4中所获人脸特征像素点坐标值距离步骤s4中所获二维截图最中心像素的中心值的比率r；
29.步骤s502：根据比率r能分别求出重建三维图像的人脸特征像素点在vtk三维视图中的view坐标系的坐标值；
30.步骤s503：根据view坐标系的值可以分别求出重建三维图像的人脸特征像素点在vtk三维视图中的display坐标系的坐标值；
31.步骤s504：用vtk面片拾取的方式模拟一条起点是人脸特征像素点的display坐标点且与显示屏垂直的向量，算取第一个相交于所述向量的的体素坐标点，从而分别获得步骤s4中所得的人脸特征像素点在vtk世界坐标系中的三维坐标。
32.优选的，所述步骤s6包括以下步骤：
33.步骤s601：将经过步骤s1及步骤s2后所得到的人脸特征像素点设为源点集；
34.步骤s602：将经过步骤s3、步骤s4及步骤s5后所得的重建三维图像的人脸特征像素点设为目标点集；
35.步骤s603：算得包括平移、旋转和放缩变换的原始配准矩阵，使得前述两个点集在配准后的平均距离最小；
36.步骤s604：将所述目标点集乘上所述原始配准矩阵，完成第一次配准；
37.步骤s605：将在每一帧所获取的rgb平面图都按步骤s1及步骤s2操作，获取每帧rgb平面图对应的人脸特征像素点的三维坐标；
38.步骤s606：将每帧rgb平面图的人脸特征像素点的三维坐标与步骤s2中所获得的三维坐标再次用landmark算法进行配准，获取每帧rgb平面图对应的二次配准矩阵；
39.步骤s607：将二次配准矩阵后乘所述原始配准矩阵，得到除第一帧图像外的每帧图像的真实配准矩阵，在vtk中将除第一帧图像外的目标点集乘上原始配准矩阵，从而在计算机中实时模拟显示真实物理世界中患者的头动情况。
40.本发明具有以下有益效果：
41.本发明利用tms装置及深度相机，结合深度神经网络及算法，以相对低廉的成本在计算机中较高精度地实时模拟患者在现实世界中的头动情况，为针对头部的医学实验以及治疗技术开发提供便利条件。
附图说明
42.图1为本发明输出结果截图a；
43.图2为本发明输出结果截图b。
具体实施方式
44.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。
45.tms头动检测方法，包括以下步骤：
46.步骤s1：扫描获得病患的磁共振图像，通过深度相机获得病患的头部深度图及其rgb平面图，使用mtcnn算法获取rgb平面图上第一个抓取到的病患的人脸特征像素点的二维坐标，所述人脸特征像素点包括左眼、右眼、鼻子、左嘴角及右嘴角所对应的5个点位。需要注意的是，一张图片上可能有多张人脸，按从图片左上到右下的顺序遍历像素，步骤s1中只抓取第一张识别到的人脸。
47.具体地，所述步骤s1包括以下步骤：
48.步骤s101：对输入的rgb平面图的每一帧图像进行多尺度变换，制作成不同尺度的图像金字塔。
49.步骤s102：将金字塔图像输入p-net卷积神经网络，获得候选窗体和边界回归向量。所述p-net卷积神经网络，即proposal network。
50.同时，候选窗体根据边界框进行校准。然后利用非极大值抑制去除重叠窗体，输出得到人脸图像。
51.步骤s103：将p-net网络输出得到的人脸图像输入r-net(refine network)卷积神经网络，利用边界框向量微调候选窗体，最后还是利用非极大值抑制算法去除重叠窗体，输出得到人脸图像。此时的到的人脸检测框更加精准。所述r-net卷积神经网络，即refine network。
52.步骤s104：将r-net网络输出得到的人脸图像输入o-net(output network)卷积神经网络，对人脸检测框坐标进行进一步的细化，该网络比r-net多一层卷积层，功能与r-net类似，只是在去除重叠候选窗口的同时标定5个人脸关键点位置。所述o-net卷积神经网络，即output network。
53.步骤s2：通过病患的头部深度图及其rgb平面图所对应的关系得到人脸特征像素
点对应的三维坐标。
54.在步骤s2中，在所述头部深度图中检索步骤s1中所得人脸特征像素点，获取其所对应的像素值，并将所述像素值作为所对应的人脸特征像素点的深度值，从而得到步骤s1中所得人脸特征像素点对应的三维坐标。其中，检索人脸特征像素点，获取其对应的像素值是图像处理领域的常规技术手段。
55.步骤s3：使用marching cubes面绘制算法结合vtk工具包实现步骤s1中所获得的磁共振图像的三维重建，得到重建三维图像。
56.具体地，所述步骤s3的marching cubes面绘制算法包括以下步骤：
57.步骤s301：将步骤s1中扫描得到的磁共振图像分层读入内存；
58.步骤s302：扫描两层数据，逐个构造体素，每个体素中的8个角点取自相邻的两层；
59.步骤s303：将体素每个角点的函数值与根据病患情况所给定的等值面值c做比较，根据比较结果，构造该体素的状态表；
60.步骤s304：根据状态表，得出将与等值面有交点的边界体素；
61.步骤s305：通过线性插值方法计算出体素棱边与等值面的交点；
62.步骤s306：利用中心差分方法，求出体素各角点处的法向量，再通过线性插值方法，求出三角面片各顶点处的法向；
63.步骤s307：根据各三角面片上各顶点的坐标及法向量绘制等值面图像，从而获得磁共振图像的重建三维图像。
64.在步骤s303中，等值面的c值，是根据不同病人的具体情况而给定的。在该步骤中调用代码的时候，会向该步骤所应用的marching cubes面绘制算法传输参数，该参数即是等值面的c值。根据不同的需求c值可以定义的不同，并且根据不同品牌的扫描仪器生成的磁共振图像所需的c值也是不同的，所以c值需要根据具体的病人给出的图像而定。
65.步骤s4：获取所述重建三维图像的视角为正前方的二维截图，再使用mtcnn算法获取所述二维截图的人脸特征像素点的二维坐标。
66.步骤s5：根据vtk坐标系转换关系算得步骤s4中所得的人脸特征像素点在vtk世界坐标系中的三维坐标。
67.具体地，所述步骤s5包括以下步骤：
68.步骤s501：算取步骤s4中所获人脸特征像素点坐标值距离步骤s4中所获二维截图最中心像素的中心值的比率r；
69.步骤s502：根据比率r能分别求出重建三维图像的人脸特征像素点在vtk三维视图中的view坐标系的坐标值；
70.步骤s503：根据view坐标系的值可以分别求出重建三维图像的人脸特征像素点在vtk三维视图中的display坐标系的坐标值；
71.步骤s504：用vtk面片拾取的方式模拟一条起点是人脸特征像素点的display坐标点且与显示屏垂直的向量，算取第一个相交于所述向量的的体素坐标点，从而分别获得步骤s4中所得的人脸特征像素点在vtk世界坐标系中的三维坐标。
72.步骤s6：将步骤s2与步骤s5所得到的两组三维坐标通过landmark经典算法仿射配准，使病患所在的物理坐标与vtk世界坐标系统一，从而在计算机中实时模拟显示真实物理世界中患者的头动情况。
73.具体地，所述步骤s6包括以下步骤：
74.步骤s601：将经过步骤s1及步骤s2后所得到的人脸特征像素点设为源点集；
75.步骤s602：将经过步骤s3、步骤s4及步骤s5后所得的重建三维图像的人脸特征像素点设为目标点集；
76.步骤s603：算得包括平移、旋转和放缩变换的原始配准矩阵，使得前述两个点集在配准后的平均距离最小；
77.步骤s604：将所述目标点集乘上所述原始配准矩阵，完成第一次配准；
78.步骤s605：将在每一帧所获取的rgb平面图都按步骤s1及步骤s2操作，获取每帧rgb平面图对应的人脸特征像素点的三维坐标；
79.步骤s606：将每帧rgb平面图的人脸特征像素点的三维坐标与步骤s2中所获得的三维坐标再次用landmark算法进行配准，获取每帧rgb平面图对应的二次配准矩阵；
80.步骤s607：将二次配准矩阵后乘所述原始配准矩阵，得到除第一帧图像外的每帧图像的真实配准矩阵，在vtk中将除第一帧图像外的目标点集乘上原始配准矩阵，从而在计算机中实时模拟显示真实物理世界中患者的头动情况。
81.如图1、2为计算机中显示的截图，操作人员通过本发明实现了在计算机中实时模拟显示真实物理世界中患者的头动情况。
82.当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。