一种光学导航方法与流程

1.本发明涉及导航定位技术领域，更具体地，涉及一种光学导航方法。


背景技术：

2.随着社会的快速发展，生活和工作节奏加快，现代人的生活压力增大，“抑郁”、“焦虑”等精神类疾病的词语时常出现在生活中，精神类疾病的发病率也日益增高。
3.1985年，barker等将通电的刺激线圈放置在被试者头部上方，对大脑皮层运动区进行磁场刺激，观察到被试者的手部肌肉产生抽动，并将小指外展肌的运动皮质诱发的电位(motor evoked potentials，meps)通过表面电极记录下来，这种形式即经颅磁刺激(transcranial magnetic stimulation， tms)。1987年，amassian等通过实验证明刺激线圈的放置方向对tms针对大脑皮层的刺激效果有影响；1993年，hoflide等将经颅磁刺激应用于抑郁症的治疗，实验证明tms对抑郁症有一定的治疗效果；2005年， edwards等利用实验证明低强度的重复经颅磁刺激能够引起大脑皮层神经元的兴奋性；2007年，joo e y等研究发现，长时间、低频重复经颅磁刺激对癫痫的症状有减轻效果；2015年，ku y等利用单脉冲经颅磁刺激对大脑感觉皮层和侧后顶叶皮质进行刺激，发现这种刺激形式对大脑的认知功能有干预作用。
4.伴随着医学成像技术和医学图像处理技术的迅速发展，基于影像引导的手术系统应运而生，借助于医学图像的三维重建模型，医生能够直观、精确的分析器官或组织的结构及其周围组织。影像引导手术系统使用患者的术中图像和相关病变及周围组织的三维模型来实时指导临床程序的实施。在手术操作过程中，影像引导软件可以准确地显示患者的组织解剖结构和病变周围的三维空间的细节。影像引导是利用医学成像技术扫描头部影像，对获取的医学头部图像进行分割、三维重建等，建立包含脑组织的头部三维模型，在重建的大脑三维模型上规划刺激靶点，再利用图像配准技术将大脑三维模型上的靶点映射到术中患者头部，从而指导医生定位靶点。
5.近年来，随着人工智能发展和人脸匹配技术的成熟，在导航中也逐渐开始引入点云匹配算法。使用光学导航定位系统能够实现经颅磁刺激治疗过程中的可视化操作，在一定程度上提高刺激线圈定位的准确性，然而在点云匹配技术中，在进行配准时需要进行特征提取，特征提取时会出现法线方向不一致的情况，法线方向不一致会导致特征匹配不准确，从而造成配准失败的问题。


技术实现要素：

6.有鉴于此，本发明提供了一种光学导航方法，在特征提取之前先统一人脸点云数据和mri点云数据的法线方向，使得在进行配准前不需要手动调整法线方向，可以避免由于法线方向不一致而造成配准失败的问题，还可以增加配准的速度和准确率，减少人工误差。
7.本技术有如下技术方案：
8.本技术提供一种光学导航方法，包括：
9.获取mri点云数据；
10.获取所述mri点云数据中每个点q的正向法线，得到带法线的mri 点云数据；
11.利用点云相机获取人脸点云数据；
12.获取所述人脸点云数据中每个点m的正向法线，得到带法线的人脸点云数据；
13.对所述带法线的mri点云数据进行特征提取，得到mri点云特征；
14.对所述带法线的人脸点云数据进行特征提取，得到人脸点云特征；
15.对所述mri点云特征和所述人脸点云特征进行配准，得到配准矩阵。
16.可选地，其中：
17.获取所述mri点云数据中每个点q的正向法线，具体为：
18.在ras坐标系上选取第一预定点p；获取所述mri点云数据中每个点q的切平面法线v；根据向量与对应点q的切平面法线v的夹角α，确定点q的正向法线。
19.可选地，其中：
20.所述第一预定点p到x轴和z轴所在平面的垂直距离大于预设距离，与y轴的夹角小于预设角度。
21.可选地，其中：
22.获取所述人脸点云数据中每个点m的正向法线，具体为：
23.在点云相机坐标系上选取第二预定点n；获取所述人脸点云数据中每个点m的切平面法线w；根据向量与对应点m的切平面法线w的夹角β，确定点m的正向法线。
24.可选地，其中：
25.所述第二预定点n为点云相机坐标系的原点n(0、0、0)。
26.可选地，其中：
27.所述获取mri点云数据，具体为：
28.获取mri数据，并将所述mri数据转换为mri点云数据。
29.可选地，其中：
30.所述利用点云相机获取人脸点云数据，具体为：
31.利用点云相机获取环境点云数据和环境rgb数据，通过人脸检测算法在环境rgb数据中提取人脸数据；
32.将环境点云数据配准到rgb坐标系内，并根据所述人脸数据去除非人脸点云数据，得到人脸点云数据。
33.可选地，其中：
34.所述mri点云特征和所述人脸点云特征包括fpfh特征或pfh特征。
35.可选地，其中：
36.所述对所述mri点云特征和所述人脸点云特征进行配准，具体为：
37.利用ransac算法，将所述mri点云特征和所述人脸点云特征进行配准。
38.与现有技术相比，本发明提供的一种光学导航方法，至少实现了如下的有益效果：
39.(1)本技术提供的光学导航方法，在特征提取之前先统一人脸点云数据和mri点云数据的法线方向，使得在进行配准前不需要手动调整法线方向，可以避免由于法线方向不一致而造成配准失败的问题，还可以增加配准的速度和准确率，减少人工误差。
40.(2)本技术提供的光学导航方法，将人脸点云数据和mri点云数据进行配准，不需要固定患者和点云相机的位置，不仅可以扩大适用人群的范围，而且有利于降低操作难度，增加易用性。
41.当然，实施本发明的任一产品必不特定需要同时达到以上所述的所有技术效果。
42.通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
43.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
44.图1所示为本技术实施例所提供的光学导航方法的一种流程图；
45.图2所示为本技术实施例所提供的获取mri点云数据中每个点q的正向法线的一种流程图；
46.图3所示为本技术实施例所提供的ras坐标系的一种结构示意图；
47.图4所示为本技术实施例所提供的获取人脸点云数据中每个点m的正向法线的一种流程图；
48.图5所示为本技术实施例所提供的获取人脸点云数据的一种流程图；
49.图6所示为本技术实施例所提供的光学导航方法的另一种流程图；
50.图7所示为本技术实施例所提供的光学导航方法的又一种流程图。
具体实施方式
51.如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”一词在此包含任何直接及间接的电性耦接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表所述第一装置可直接电性耦接于所述第二装置，或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本技术的较佳实施方式，然所述描述乃以说明本技术的一般原则为目的，并非用以限定本技术的范围。本技术的保护范围当视所附权利要求所界定者为准。
52.近年来，随着人工智能发展和人脸匹配技术的成熟，在导航中也逐渐开始引入点云匹配算法。使用光学导航定位系统能够实现经颅磁刺激治疗过程中的可视化操作，在一定程度上提高刺激线圈定位的准确性，然而在点云匹配技术中，在进行配准时需要进行特征提取，特征提取时会出现法线方向不一致的情况，法线方向不一致会导致特征匹配不准确，从而造成配准失败的问题。
53.有鉴于此，本发明提供了一种光学导航方法，在特征提取之前先统一人脸点云数据和mri点云数据的法线方向，使得在进行配准前不需要手动调整法线方向，可以避免由于法线方向不一致而造成配准失败的问题，还可以增加配准的速度和准确率，减少人工误差。
54.以下结合附图和具体实施例进行详细说明。
55.图1所示为本技术实施例所提供的光学导航方法的一种流程图，请参考图1，本实施例所提供的光学导航方法，包括：
56.步骤1：获取mri(magnetic resonance imaging，磁共振成像)点云数据；
57.步骤2：获取mri点云数据中每个点q的正向法线，得到带法线的 mri点云数据；
58.步骤3：利用点云相机获取人脸点云数据；
59.步骤4：获取人脸点云数据中每个点m的正向法线，得到带法线的人脸点云数据；
60.步骤5：对带法线的mri点云数据进行特征提取，得到mri点云特征；
61.步骤6；对带法线的人脸点云数据进行特征提取，得到人脸点云特征；
62.步骤7：对mri点云特征和人脸点云特征进行配准，得到配准矩阵。
63.具体地，请参考图1，本技术实施例所提供的光学导航方法，首先通过步骤1获取mri数据，然后将mri数据转换为mri点云数据，其中， mri数据指的是磁共振成像，点云数据指的是获取物体表面各个采样点的空间坐标后，得到的点的集合。需要说明的是，在实际工作中，如果mri 点云数据的数据量太大，会影响计算速度，从而影响效率，因此，可以根据实际需要进行降采样处理，在不影响精度的基础上提高效率。
64.得到mri点云数据后，由于每个点的法线方向有正向和反向两个方向，为了后续特征提取的准确性，对每个点的法线进行调整，确保各个点的法线方向一致，如在步骤2中获取mri点云数据中每个点q的正向法线，即可得到带法线的mri点云数据。此处的正向法线例如可以为朝向正脸外侧的方向，当然，朝向正脸外向的方向作为正向法线的方向，仅是一种示意性说明，并不作为对本技术的限制，在实际应用中，也可以将朝向正脸内侧的方向作为正向法线。
65.得到带法线的mri点云数据后，在步骤3中利用点云相机获取人脸点云数据，并与mri点云数据类似，通过步骤4获取人脸点云数据中每个点的正向法线，以使各个点的法线方向一致。需要说明的是，在实际应用中，并不是必须按照步骤1、步骤2、步骤3、步骤4的顺序执行，也可以是先获取人脸点云数据，然后再获取mri点云数据，也即，先执行步骤3和步骤4，然后再执行步骤1和步骤2，或者也可以人脸点云数据和mri点云数据同时执行，具体可以根据实际需要设置，本技术对此不作具体限定。
66.得到带法线的人脸点云数据和mri点云数据之后，在步骤5和步骤6 中分别进行特征提取，由于kdtree(k-demension tree，kd树)算法的查找效率很高，因此，进行特征提取时，可以采用kdtree算法进行加速，kdtree是一种分割k维数据空间的数据结构，可以应用于多维空间关键数据的近邻查找和近似最近邻查找。关于kdtree算法的具体构建，可以参照现有的kdtree算法，此处不再进行赘述。需要说明的是，图1仅是为了示意性说明通过步骤5和步骤6进行特征提取，并不代表步骤5步骤6 的执行顺序。
67.通过步骤5和步骤6得到mri点云特征和人脸点云特征后，在步骤7 中对mri点云特征和人脸点云特征进行配准，得到mri点云特征和人脸点云特征之间的转换关系，也即配准矩阵。在对mri点云特征和人脸点云特征进行配准时，可以利用ransac(random sample consensus，随机抽样一致)算法首先进行粗匹配，此处的粗匹配指的是在两幅点云之间的变换完全未知的情况下进行较为粗糙的配准。
68.需要说明的是，为了能够得到mri点云和人脸点云之间的更精确的变换，在完成粗
匹配后，还可以进一步利用icp(iterative closest point，最近点迭代)算法进行精确匹配，精确匹配指的是给定一个初始变换，例如以粗匹配的结果作为精配准的变换初值，进一步优化得到更精确的变换。在实际使用过程中，可以根据需要进行精匹配或不进行精匹配，本技术对此不进行限定。
69.本技术实施例所提供的光学导航方法，在特征提取之前先统一人脸点云数据和mri点云数据的法线方向，使得在进行配准前不需要手动调整法线方向，可以避免由于法线方向不一致而造成配准失败的问题，还可以增加配准的速度和准确率，减少人工误差。此外，本技术将人脸点云数据和 mri点云数据进行配准，不需要固定患者和点云相机的位置，不仅可以扩大适用人群的范围，而且有利于降低操作难度，增加易用性。
70.可选地，图2所示为本技术实施例所提供的获取mri点云数据中每个点q的正向法线的一种流程图，图3所示为本技术实施例所提供的ras 坐标系的一种结构示意图，请参考图1-图3，步骤2中，获取mri点云数据中每个点q的正向法线，具体为：步骤21：在ras坐标系上选取第一预定点p；步骤22：获取mri点云数据中每个点q的切平面法线v；步骤 23：根据向量与对应点q的切平面法线v的夹角α，确定点q的正向法线。
71.具体地，请参考图1-图3，获取mri点云数据中每个点q的正向法线时，可以引用解剖学坐标体系ras(right、anterior、superior，右、前、上)坐标系，其中，ras坐标系是以头部的几何中心为原点，原点指向右手边的轴为x轴，原点指向正脸前方的轴为y轴，原点指向头顶的轴为z 轴。在步骤22中，根据切平面算法计算mri点云数据中每个点q的切平面法线v，由于切平面的法线v具有正反两个方向，为了后续特征提取的准确性，对每个点的法线进行调整，确保各个点的法线方向一致。
72.在调整每个点的法线方向时，可以通过步骤21在ras坐标系上选取第一预定点p，然后在步骤23中根据向量与对应点q的切平面法线v 的夹角α大小，确定点q的正向法线。例如，若将朝向正脸外向的方向作为正向，则当α≤90
°
时，将q点的切平面法线v作为点q的正向法线；当α》90
°
时，将q点的切平面法线v取反后作为点q的正向法线。而将朝向正脸内侧的方向作为正向时，正向法线的调整方法与朝向正脸外向的方向作为正向时相反，当α≤90
°
时，将q点的切平面法线v取反后作为点q的正向法线；当α》90
°
时，将q点的切平面法线v作为点q的正向法线。确保得到的mri点云数据中每个点q的法相方向一致，从而可以避免由于法线方向不一致而造成配准失败的问题，有利于提高配准的准确率。
73.需要说明的是，引用ras坐标系作为坐标轴，仅是在本实施例中的一种实施方式，并不作为对本技术的限定，在其他实施例中，也可以选用其他坐标系，但当选用其他坐标系时，需要先转换在ras坐标系下，然后再进行法线调整。此外，图2仅是为了示意性说明调整法线方向的方法，并不代表各个步骤的执行顺序，例如，步骤21和步骤22的执行顺序可以交换。
74.可选地，请参考图3，第一预定点p到x轴和z轴所在平面的垂直距离大于预设距离，与y轴的夹角θ小于预设角度。
75.具体地，由于ras坐标系的原点位于头部的几何中心，原点与人脸表面具有一定的距离，假设为预设距离，在选取第一预定点p时，为了确保该点位于人脸前方，需要使第一预定点p的y坐标大于该预设距离，也即，第一预定点p到ras坐标系中xz平面的垂直距离大于
预设距离，从而确保该第一预定点p在y轴方向上位于人脸外。通常情况下，原点到人脸的距离不会小于200mm，所以，第一预定点p的y轴坐标例如可以为200。当然，第一预定点p的y轴坐标为200仅为一种示例性说明，在实际使用中，第一预定点p的y轴坐标可以根据实际需要进行设置，本技术不进行具体限定。
76.此外，选取第一预定点p时，需要确保mri点云数据与该点组成的向量为正向，因此，除了考虑y轴坐标外，还要考虑该点的x轴坐标和z轴坐标。当第一预定点p位于人脸正前方时，mri点云数据与该点组成的向量为正向，因此，本实施例中设置与y轴的夹角θ小于预设角度，此处， o表示ras坐标系的原点，预设角度例如可以为30度，当然，预设角度为30度仅仅是一种示意性说明，在实际应用中，预设角度可以根据实际需要具体设置，本技术对此不进行具体限定。例如，当第一预定点p的坐标为(0，200，0)时，第一坐标点p位于y轴上，此时，与y轴的夹角为0，第一预定点p位于人脸正前方。
77.可选地，图4所示为本技术实施例所提供的获取人脸点云数据中每个点m的正向法线的一种流程图，请参考图1和图4，步骤4中，获取人脸点云数据中每个点m的正向法线，具体为：步骤41：在点云相机坐标系上选取第二预定点n；步骤42：获取人脸点云数据中每个点m的切平面法线 w；步骤43：根据向量与对应点m的切平面法线w的夹角β，确定点 m的正向法线。
78.具体地，请参考图1和图4，获取人脸点云数据中每个点m的正向法线时，以点云相机坐标系作为坐标轴，根据切平面算法计算人脸点云数据中每个点m的切平面法线w，由于切平面的法线w具有正反两个方向，为了后续特征提取的准确性，对每个点的法线进行调整，确保各个点的法线方向一致。
79.在调整每个点的法线方向时，可以在点云相机坐标系上选取第二预定点n，根据向量与对应点m的切平面法线w的夹角β大小，确定点m 的正向法线。例如，若将朝向正脸外向的方向作为正向，则当α≤90
°
时，将m点的切平面法线w作为点m的正向法线；当α》90
°
时，将m点的切平面法线w取反后作为点m的正向法线。而将朝向正脸内侧的方向作为正向时，正向法线的调整方法与朝向正脸外向的方向作为正向时相反，当α≤90
°
时，将m点的切平面法线w取反后作为点m的正向法线；当α》90
°
时，将m点的切平面法线w作为点m的正向法线。确保得到的人脸点云数据中每个点m的法相方向一致，从而可以避免由于法线方向不一致而造成配准失败的问题，有利于提高配准的准确率。
80.需要说明的是，图4仅是为了示意性说明调整法线方向的方法，并不代表各个步骤的执行顺序，例如，步骤21和步骤22的执行顺序可以交换。
81.可选地，第二预定点n为点云相机坐标系的原点n(0、0、0)。具体地，选取第二与定点n时，需要确保人脸点云数据与该点组成的向量为正向。而当第二预定点n位于人脸正前方时，人脸点云数据与该点组成的向量为正向，因此，本实施例中选取人脸正前方的点云相机的原点(0，0，0) 作为第二预定点n。当然，以点云相机的原点作为第二预定点n，仅仅是一种示意性说明，在实际应用中，第二预定点n还可以为其他，本技术对此不进行具体限定。
82.可选地，请参考图1，步骤1中，获取mri点云数据，具体为：获取 mri数据，并将mri数据转换为mri点云数据。具体地，请参考图1，要获取mri点云数据，首先要获取mri数据，mri数据指的是磁共振成像，然后将mri数据转换为mri点云数据，点云数据指的是rgbd图
像，即在rgb(red、green、blue，红、绿、蓝)图像的基础上增加了一个表示像素点深度通道的图像。将mri数据转换为mri点云数据，通过对mri点云数据和人脸点云数据进行配准，从而不需要固定患者和点云相机的位置，不仅可以扩大适用人群的范围，而且有利于降低操作难度，增加易用性。
83.可选地，图5所示为本技术实施例所提供的获取人脸点云数据的一种流程图，请参考图1和图5，步骤3中，利用点云相机获取人脸点云数据，具体为：步骤31：利用点云相机获取环境点云数据和环境rgb数据，通过人脸检测算法在环境rgb数据中提取人脸数据；步骤32：将环境点云数据配准到rgb坐标系内，并根据人脸数据去除非人脸点云数据，得到人脸点云数据。
84.具体地，请参考图1和图5，环境rgb数据中包含人脸特征信息和人脸周围的非人脸特征信息，在获取人脸点云数据时，首先在步骤31中利用点云相机获取环境点云数据和环境rgb数据，并通过人脸检测算法在环境 rgb数据中提取人脸数据。同样的，环境点云数据包含人脸点云数据和非人脸点云数据，在步骤32中将环境点云数据配准到rgb坐标系内，并利用步骤31中得到的人脸数据去除环境点云数据中人脸区域外的信息，剩下的即为人脸点云数据。由于去除了与人脸无关的信息，因此，可以提高后续点云匹配算法的效率和鲁棒性。
85.需要说明的是，得到人脸点云数据之后，需要配准到点云相机坐标系下，在进行配准时，如果点云相机坐标系和rgb坐标系不一致，则先将 rgb数据转到点云相机坐标系下，然后再处理点云。或者，也可以将点云数据转到rgb坐标系下，处理完后再转到点云相机坐标系下。
86.可选地，mri点云特征和人脸点云特征包括fpfh特征或pfh特征。具体地，点特征的描述子一般是基于点坐标、法向量、曲率来描述某个点周围的几何特征，用点特征描述子不能提供特征之间的关系，减少了全局特征信息。因此，本实施例中通过pfh(point feature histogram，点特征直方图)进行特征描述，pfh通过参数化查询点和紧邻点之间的空间差异，形成了一个多维直方图对点的近邻进行几何描述，直方图提供的信息对于点云具有平移旋转不变性，对采样密度和噪声点具有稳健性。pfh是基于点与其邻近之间的关系以及它们的估计法线，也即是它考虑估计法线之间的相互关系，来描述几何特征。
87.当然，除了采用fph描述几何特征外，还可以采用fpfh(fast pointfeature histograms，快速点特征直方图)来描述几何特征，fpfh是pfh公式的简单化，pfh是计算邻域点所有组合的特征元素，而fpfh只计算查询点和近邻点之间的特征元素，fpfh保留了pfh的大部分判别能力，但其计算复杂度相对于pfh降低。
88.可选地，图6所示为本技术实施例所提供的光学导航方法的另一种流程图，请参考图6，步骤7中，对mri点云特征和人脸点云特征进行配准，具体为：利用ransac算法，将mri点云特征和人脸点云特征进行配准。
89.具体地，请参考图6，在对mri点云特征和人脸点云特征进行配准时，采用ransac算法进行粗配准，ransac算法是从一组含有“外点”(outliers) 的数据中正确估计数学模型参数的迭代算法。“外点”一般指数据中的噪声，比如说匹配中的误匹配和估计曲线中的离群点。ransac算法是一种不确定算法，它只能在一种概率下产生结果，并且这个概率会随着迭代次数的增加而加大。
90.在实际使用中，如果对配准精度要求较高，则在得到ransac算法的配准结果后，还可以进一步进行精配准。图7所示为本技术实施例所提供的光学导航方法的又一种流程图，请参考图7，本实施例中在步骤71中，利用ransac算法，将mri点云特征和人脸点云特征进行配准，得到粗匹配数据。在粗配准后，在步骤72中，利用icp算法进一步进行精配准， icp算法是基于数据配准法，利用点到点、点到线或点到面的最近距离搜索法，从而解决基于自由形态曲面的一种算法。ransac算法和icp算法的具体算法流程可参考现有算法，此处不再进行赘述。
91.通过以上各实施例可知，本技术存在的有益效果是：
92.(1)本技术提供的光学导航方法，在特征提取之前先统一人脸点云数据和mri点云数据的法线方向，使得在进行配准前不需要手动调整法线方向，可以避免由于法线方向不一致而造成配准失败的问题，还可以增加配准的速度和准确率，减少人工误差。
93.(2)本技术提供的光学导航方法，将人脸点云数据和mri点云数据进行配准，不需要固定患者和点云相机的位置，不仅可以扩大适用人群的范围，而且有利于降低操作难度，增加易用性。
94.上述说明示出并描述了本技术的若干优选实施例，但如前所述，应当理解本技术并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本技术的精神和范围，则都应在本技术所附权利要求的保护范围内。