对末端执行器的前馈连续定位控制的制作方法

1.本公开内容总体上涉及对在介入流程(例如，微创手术、视频辅助的胸部手术、血管流程、管腔内流程、畸形矫正流程)中使用的介入设备(例如，介入设备的末端执行器)的部分的定位控制。本公开内容能够特别涉及在对在介入流程中使用的介入设备的这样的部分的定位控制中结合预测模型。


背景技术：

2.连续(或非连续)控制——将所述设备部分(例如，末端执行器)定位在某个工作空间内——是在常规的刚性连杆机器人中最常尝试的控制形式之一。通过利用机器人的分立刚性连杆结构，能够在结构化应用(例如，制造)中根据需要实现对介入设备(例如，末端执行器)的所述部分的精确定位。然而，由于人体器官的软组织具有可变形、脆弱的性质以及患者的安全，在临床环境中使用刚性连杆机器人的需求较少。
3.更具体地，受生物学启发的机器人可以产生类似于蛇、大象和章鱼的运动，这在操纵柔软的解剖对象方面会非常有效。尽管如此，鉴于针对期望的自由度的连续体(或准连续体)结构的复杂性难以通过数学建模或者难以提供足够的致动器输入以实现一致的控制，因此，在临床环境中对机器人结构的有效控制(并且特别是有效的连续控制)被证明是极其困难实现的。
4.例如，一种用于对由连续体机器人支持的末端执行器的连续定位控制的方法涉及对连续体机器人的配置进行建模和控制，其中，静态模型(其被公式化为一组非线性微分方程)试图考虑连续体机器人由于弯曲、扭转和伸长而引起的枪变形。然而，数学建模的准确度容易受到机器人的环境条件(例如，温度和湿度)的变化的影响，这会影响机器人部件的机械性能，并且容易受到任何制造误差或各种工作负载的影响。
5.再举个例子，另一种用于对由机器人支持的末端执行器进行定位控制的方法是通过将一组可允许的运动和一组可允许的力投射到与操纵者控制相对应的关节空间中来操纵机器人。例如，在将机器人插入到鼻腔中之后，控制器会调整机器人的每个节段的位置，以增大测量到的广义力与每个端盘上的预期的广义力之间的差异。然而，增加机器人的自由度以使其更具机动性具有使机器人运动学复杂化的不利影响。在连续控制连续体机器人的情况下，这可能特别成问题。
6.此外，即使实现了对由机器人支持的末端执行器的有效定位控制，对机器人系统的不正确的校准或使用或机械部件的普遍磨损也会对机器人结构的运动学的预测准确度产生负面影响。同样，在连续控制连续体机器人(或连续体机器人结构)的情况下，这可能特别成问题。


技术实现要素：

7.被设计用于对介入设备(例如，末端执行器)的部分进行定位控制的已知技术提供的益处有限。因此，仍然需要改进的用于提供对介入设备的这些部分进行有效定位控制的
技术。为此，本公开内容教导了前馈定位控制、反馈定位控制和数据收集。该控制优选是连续执行的。
8.为此，本发明提出了根据权利要求1至12中的任一项所述的用于介入设备的定位控制器作为第一实施例，该介入设备包括成像设备。
9.作为第二实施例和第三实施例，本发明提出了根据权利要求13所述的编码有指令的非瞬态(或瞬态)机器可读存储介质以及根据权利要求14所述的能由用于介入设备的定位控制器执行的定位方法。
10.前馈(优选连续)定位控制。本公开内容还教导了一种预测模型方法，该预测模型方法用于基于利用介入设备的运动学进行配置的(任选地在这些运动学上进行训练的)预测模型对由介入设备支持的设备部分(例如，末端执行器)的手动导航定位或自动导航定位的前馈(优选连续)定位控制。
11.本公开内容的用于设备部分(例如，末端执行器)的前馈(优选连续)定位控制的一个其他实施例是一种(连续)定位控制器，这种(连续)定位控制器包括正向预测模型和/或控制(任选逆向)预测模型，该正向预测模型是利用预测末端执行器的导航姿态的介入设备的(任选正向)运动学进行配置的(任选地在介入设备的这些正向运动学上进行训练)，并且/或者该控制(任选逆向)预测模型是利用预测介入设备的定位运动的介入设备的运动学进行配置的(任选地在预测介入设备的定位运动的介入设备的逆向运动学上进行训练)。
12.出于本公开内容的描述和目的，术语“导航姿态”广义地涵盖在介入流程期间介入设备的所述部分(例如，介入设备的末端执行器)在经由介入设备被导航到空间位置时的姿态，并且术语“定位运动”广义地涵盖在介入流程期间用于将该设备部分导航到空间位置的介入设备的任何移动。
13.在操作中，连续定位控制器将正向预测模型应用于介入设备的命令定位运动，以呈现末端执行器的预测导航姿态并基于所述设备部分的预测导航姿态来生成关于由介入设备将所述设备部分定位到目标姿态的信息的定位数据。
14.替代地，在前地或同时地，(优选连续)定位控制器将逆向预测模型应用于介入设备的所述部分(例如，末端执行器)的目标姿态以呈现介入设备的预测定位运动，并基于介入设备的预测定位运动来生成控制由介入设备将所述设备部分定位到目标姿态的(连续)定位命令。
15.反馈(优选连续)定位控制。本公开内容还教导了一种预测模型方法，该预测模型方法用于基于以下成像预测模型来对与介入设备的部分(例如，介入设备的末端执行器)相关联的或被附接到介入设备的部分(例如，介入设备的末端执行器)的成像设备的手动导航定位或(半)自动导航定位的反馈(优先连续)定位控制：该成像预测模型利用(任选地与图像数据相关的)介入设备的运动学被配置为接收来自所述成像设备的成像数据作为对成像设备(或被连杆到成像设备的介入设备的部分——例如，末端执行器)到目标姿态的手动导航定位或自动导航定位的反馈。
16.本公开内容的用于对成像设备(或被连杆到成像设备的介入设备的部分——例如，末端执行器)的反馈(优选连续)控制定位的一个实施例是一种连续定位控制器，这种连续定位控制器包括成像预测模型，该成像预测模型在由末端执行器进行的相对成像与预测末端执行器的导航姿态的介入设备的正向运动学的相关性上进行训练。(连续)定位控制器
还可以包括控制预测模型，该控制预测模型是利用预测介入设备的校正定位运动的介入设备的运动学进行配置的。任选地，该控制预测模型在介入设备的逆向运动学上进行训练或者已经被训练过，以输出对校正定位运动的所述预测。
17.出于本公开内容的描述和目的，术语“相对成像”广义地涵盖由末端执行器在相对于介入流程的参考图像的给定姿态下生成介入流程的图像。
18.在操作中，在设备部分(例如，末端执行器)被导航到目标姿态之后，(优选)连续定位控制器将成像预测模型应用于由末端执行器生成的成像数据以呈现设备部分(例如，末端执行器)的预测导航姿态，将控制(或特别是逆向)预测模型应用于根据末端执行器的目标姿态和末端执行器的预测导航姿态之间的差异方面导出的误差定位数据以呈现介入设备的预测校正定位运动，并且基于介入设备的预测校正定位运动来生成控制由介入设备将成像设备(40)或介入设备中与成像设备相关联的部分(例如，末端执行器)校正定位到目标姿态的连续定位命令。
19.训练数据收集。另外，为了经由对环境差异(例如，患者之间的解剖学差异，例如，患者体型、心脏位置等)不变的预测模型促进对介入设备的部分(例如，末端执行器)的手动导航定位或自动导航定位的(任选连续)定位控制，本公开内容还教导了(任选训练)数据收集技术，其前提是经由预定义的数据点图案和对介入设备的空间定位的记录和在每个数据采集点处的所述介入设备部分的姿态来对所述介入设备部分进行导航定位，从而为预测模型收集(训练)数据以推断介入设备的正向运动学或逆向运动学。
20.本公开内容的用于为预测模型收集(任选训练)数据的一个实施例是一种用于介入设备的(任选训练)数据收集系统，该介入设备包括介入设备的所述部分(例如，末端执行器)和适于提供位置和/或取向和/或形状信息的传感器，传感器(332)的至少部分被(任选地以固定形状)附着到所述介入设备部分。这样的传感器可以包括从成像系统(例如，x射线系统、mri系统)、电磁跟踪传感器、换能器传感器和/或由光纤提供的/在光纤中的光学形状感测可见的标记。
21.该实施例的一个特定实施例是用于介入设备的(任选训练)数据收集系统，该介入设备包括介入设备的部分(例如，末端执行器)和光学形状传感器，其中，光学形状传感器的节段被(任选地以固定形状)附着到末端执行器。
22.(训练)数据收集系统可以使用机器人控制器、数据采集控制器、定位确定模块(或上面提到的特定实施例中的形状感测控制器)和数据存储控制器。
23.在操作中，数据采集控制器可以命令机器人控制器根据预定义的数据点图案来控制介入设备的(一个或多个)运动变量，并且定位确定模块(或形状感测控制器)被配置为基于从传感器接收到的位置和/或取向和/或形状信息来确定位置信息，以便输出在预定义的数据点图案的每个数据点处的介入设备部分的所述部分的姿态的估计结果和/或介入设备的定位运动的估计结果。因此，为了所述估计的目的，任选地基于配置定位确定模块的运动学或介入设备行为来检索或导出或提取或接收所述确定的位置信息。在特定实施例中，定位确定模块可以根据所述位置和/或取向和/或形状信息来导出或接收导出的形状数据以确定所述估计结果。如果该定位确定模块是形状感测控制器(如在上面提到的特定实施例中那样)，则该定位确定模块控制光学形状传感器的形状感测，包括对在预定义的数据点图案的每个数据点处的末端执行器的姿态的估计和对在预定义的数据点图案的每个数据点
处的介入设备的定位运动的估计。
24.所述“根据所述位置和/或取向和/或形状信息来导出形状数据”可以根据从由“传感器”提供的数据导出形状的已知技术来实施。举个例子，由传感器跟踪的位置可以很好地指示承载这些传感器的介入设备的节段的大体形状，并且算法(或多或少是根据传感器之间的距离和介入设备沿着该节段的可能形状而开发的)可以被开发以导出或重建该形状。这种定位的动态跟踪也可以给出关于变形的取向的指示。传感器还可以提供应变信息(例如，瑞利或布拉格光栅传感器)，其能够指示介入设备的局部定位和取向，根据该局部定位和取向能够导出和重建形状(也是已知技术)。
25.介入设备部分(例如，末端执行器)的姿态的估计结果是根据被(任选地以固定形状)附着到末端执行器的传感器的至少部分来导出的。
26.机器人控制器自始至终可以根据预定义的数据点图案来控制介入设备的(一个或多个)运动变量，数据存储控制器可以接收来自形状感测控制器的针对每个数据点的末端执行器的估计姿态的通信信息，可以接收来自定位确定模块(或形状感测控制器)的针对每个数据点的介入设备的估计定位运动的通信信息，并且可以接收来自机器人控制器的针对每个数据点的介入设备的至少一个运动变量的通信信息。
27.响应于该通信信息，数据存储控制器可以存储根据在每个数据点处的末端执行器的估计姿态、在每个数据点处的介入设备的估计空间定位和在每个数据点处的介入设备的(一个或多个)运动变量导出的针对介入设备的时间数据序列。该时间数据序列可以充当针对任何类型的机器学习模型(特别是针对本公开内容的预测模型)的训练数据。
28.另外，数据采集控制器可以进一步命令机器人控制器根据额外的(一个或多个)预定义的数据点图案来控制介入设备的(一个或多个)运动变量，由此数据存储控制器生成针对任何类型的机器学习模型(特别是针对本公开内容的预测模型)的额外的时间数据序列。
29.而且，为了本公开内容的描述和权利要求：
30.(1)包括但不限于“末端执行器”、“运动学”、“位置”、“定位”、“姿态”、“实现姿态”、“运动”和“导航”的本领域的术语被解读为是在本公开内容的领域中已知的和在本公开内容中示例性描述的；
31.(2)末端执行器的示例包括但不限于如在本公开内容的领域中已知的和在下文中设想到的术中成像设备、介入工具/手术器械和手术缝合线；
32.(3)术语“术中成像设备”广义地涵盖如在本公开内容的领域中已知的和在下文中设想到的用于说明解剖对象/区域的所有成像设备。术中成像设备的示例包括但不限于经食道超声心动描记换能器(例如，x7
‑
2t换能器，飞利浦)、腹腔镜超声换能器(例如，l10
‑
4lap换能器，飞利浦)、光学相机和感测设备(例如，组织光谱感测传感器、ecg电极、用于电生理映射的探头)；
33.(4)介入工具/手术器械的示例包括但不限于如在本公开内容的领域中已知的和在下文中设想到的手术刀、烧灼器、消融设备、针、镊子、克氏针和相关联的驱动器、内窥镜、锥子、螺丝刀、截骨刀、凿子、锥棒、刮匙、夹子、钳子、骨膜和j形针；
34.(5)术语“介入设备”广义地涵盖如在本公开内容的领域中已知的和在下文中设想到的用于在应用期间支持对末端执行器的定位的所有设备。介入设备的示例包括但不限于连续体柔性机器人、柔性介入镜和导丝；
35.(6)柔性机器人的示例包括但不限于如在本公开内容的领域中已知的和在下文中设想到的超冗余机器人(例如，多个分立连杆、蛇形连杆或同心管)、(例如线缆致动的)连续骨干部分机器人、系索驱动机器人、凝胶状柔软机器人和流体填充管致动机器人；
36.(7)柔性介入镜的示例包括但不限于如在本公开内容的领域中已知的和在下文中设想到的经食道超声心动描记(tee)探头的内窥镜、心内超声心动描记(ice)探头的内窥镜、腹腔镜和支气管镜；
37.(8)术语“预测模型”广义地涵盖如在本公开内容的领域中已知的和在下文中设想到的预测涉及如在本公开内容中示例性描述的对根据本公开内容的介入设备的部分(例如，末端执行器)的(任选)连续定位控制的导航变量的所有类型的模型。任选地，这些预测模型可以利用运动学被配置为基于定位数据集来输出这种预测结果。任选地，预测模型在介入设备的运动学上进行训练或者已经被训练过。预测模型的示例包括但不限于人工神经网络(例如，前馈卷积神经网络、循环神经网络、长短期记忆网络、自动编码器网络、生成对抗网络和许多其他深度学习神经网络)；
38.(9)术语“控制器”广义地涵盖如在本公开内容的领域中理解的和在本公开内容中示例性描述的用于如在本公开内容中示例性描述的控制本公开内容的各种发明原理的应用的主电路板或集成电路的所有结构配置。控制器的结构配置可以包括但不限于(一个或多个)处理器、(一个或多个)计算机可用/计算机可读存储介质、操作系统、(一个或多个)应用程序模块、(一个或多个)外围设备控制器、(一个或多个)插槽和(一个或多个)端口、控制指令。控制器可以容纳在工作站内或者以通信方式连接到工作站；
39.(10)术语“应用程序模块”广义地涵盖包含在控制器内或者能由控制器访问的应用程序，控制器包括电子电路(例如，电子部件和/或硬件)和/或用于执行特定应用程序的可执行程序(例如，在(一个或多个)非瞬态(瞬态)计算机可读介质和/或固件上存储的可执行软件)；并且
40.(11)术语“信号”、“数据”和“命令”广义地涵盖如在本公开内容的领域中理解的和在本公开内容中示例性描述的用于如在本公开内容中后续描述的传输支持应用本公开内容的各种发明原理的信息和/或指令的所有形式的可检测的物理量或脉冲(例如，电压、电流或磁场强度)。本公开内容的各个部件的信号/数据/命令通信可以涉及如在本公开内容的领域中已知的任何通信方法，包括但不限于通过任何类型的有线或无线数据链路进行的信号/数据/命令传输/接收和对上传到计算机可用/计算机可读存储介质的信号/数据/命令的读取。
41.通过结合附图阅读本公开内容的各个实施例的以下详细描述，本公开内容的前述实施例和其他实施例以及本公开内容的各种结构和优点将变得更加明显。详细描述和附图仅是对本公开内容的说明而非限制，本公开内容的范围由权利要求及其等同方案来限定。
附图说明
42.图1图示了如在本公开内容的领域中已知的包括末端执行器的介入设备的示例性实施例。
43.图2a图示了根据本公开内容的各个方面的连续位置控制器的示例性实施例。
44.图2b图示了根据本公开内容的各个方面的连续定位状态机的示例性实施例。
45.图3a图示了如在本公开内容的领域中已知的经食道超声心动描记(tee)探头的示例性实施例。
46.图3b图示了如在本公开内容的领域中已知的经食道超声心动描记(tee)探头的手柄的示例性实施例。
47.图3c
‑
3f图示了如在本公开内容的领域中已知的图2a的tee探头的示例性运动。
48.图3g图示了如在本公开内容的领域中已知的机器人操纵的经胸超声心动描记(tte)探头的示例性实施例。
49.图3h图示了如在本公开内容的领域中已知的光学形状感测的连续体机器人的示例性实施例。
50.图4a
‑
4e图示了本公开内容的正向预测模型和正向预测方法的第一示例性实施例。
51.图5a
‑
5e图示了本公开内容的逆向预测模型和逆向预测方法的第一示例性实施例。
52.图6a
‑
6e图示了本公开内容的正向预测模型和正向预测方法的第二示例性实施例。
53.图7a
‑
7e图示了本公开内容的逆向预测模型和逆向预测方法的第二示例性实施例。
54.图8a
‑
8e图示了本公开内容的正向预测模型和正向预测方法的第三示例性实施例。
55.图9a
‑
9f图示了本公开内容的正向预测模型和正向预测方法的第四示例性实施例。
56.图11a
‑
11e示出了本公开内容的图像预测模型和图像预测方法的第一示例性实施例。
57.图12a
‑
12e图示了本公开内容的正向预测模型和正向预测方法的第二示例性实施例。
58.图13a
‑
13d图示了本公开内容的闭环姿态控制。
59.图14a
‑
14d图示了本公开内容的闭环向量速度控制。
60.图15
‑
图18图示了本公开内容的训练数据收集系统和方法。
61.图19图示了本公开内容的连续定位控制器的示例性实施例。
具体实施方式
62.本公开内容适用于要求对末端执行器进行连续位置控制的各种各样的应用。这样的应用的示例包括但不限于微创流程(例如，内窥镜肝切除术、坏死切除术、前列腺切除术等)、视频辅助的胸部手术(例如，肺叶切除术等)、微血管流程(例如经由导管、护套、部署系统等)、微型医学诊断流程(例如，经由内窥镜或支气管镜进行的管腔内流程)、畸形矫正流程(例如，经由克氏针、螺丝刀等)和非医学应用。
63.本公开内容通过以下操作改善了在这样的应用期间对末端执行器的连续位置控制：提供对末端执行器的姿态的预测和对可以用于控制和/或证实对末端执行器的手动导航定位或自动导航定位的介入设备的运动的定位。
64.为了促进对本公开内容的理解，下面对图1的描述教导了如在本公开内容的领域中已知的包括末端执行器的介入设备的示例性实施例。根据图1的描述，本公开内容的领域的普通技术人员将意识到如何应用本公开内容来制作和使用如在本公开内容的领域中已知的和在下文设想到的包括末端执行器的介入设备的额外实施例。
65.参考图1，在实践中，介入设备30支持如从末端执行器40延伸的箭头所代表的在应用期间对末端执行器40的手动导航定位或自动导航定位。介入设备30的示例包括但不限于连续体柔性机器人、柔性介入镜和导丝，并且末端执行器40的示例包括但不限于术中成像设备、介入工具/手术器械和手术缝合线。
66.在操作中，(一个或多个)导航命令31、(一个或多个)致动信号32和/或(一个或多个)导航力33被传送到介入设备30/施加到介入设备30上，由此介入设备30根据(一个或多个)导航命令31、(一个或多个)致动信号32和/或(一个或多个)导航力33进行平移、旋转和/或枢转，从而将末端执行器40导航到目标姿态(即，应用空间中的位置和取向)。
67.例如，图3a和图3b示出了经食道超声心动描记(tee)探头130作为具有成像末端执行器140的介入设备30的实施例，成像末端执行器140能被插入通过患者p的嘴巴而进入到食道中以捕获患者p的心脏的图像，并且从业人员(未示出)或机器人控制器100(图2b)操作tee探头130的手柄132以将tee探头130在患者p内重新定位，从而将成像末端执行器140导航到目标姿态。
68.更具体地，tee探头130包括柔性细长构件131、手柄132和成像末端执行器140。柔性细长构件131在尺寸和/或形状方面在结构上被布置为和/或以其他方式被配置为被定位在患者的身体管腔(例如，食道)内。成像末端执行器140被安装在构件131的远端处并且包括一个或多个超声换能器元件，由此成像末端执行器140被配置为朝向患者p的解剖结构(例如，心脏)发射超声能量。超声能量被患者的脉管系统和/或组织结构反射，由此成像末端执行器140中的超声换能器元件接收所反射的超声回波信号。在一些实施例中，tee探头130可以包括内部的或集成的处理部件，其能够在本地处理超声回波信号以生成表示正被成像的患者p的解剖结构的图像信号。在实践中，(一个或多个)超声换能器元件可以被布置为提供患者p的解剖结构的二维(2d)图像或三维(3d)图像。如本文更详细地描述的，由tee探头130采集的图像取决于成像末端执行器140的插入深度、旋转和/或倾斜。
69.手柄132与构件131的近端相耦合。手柄132包括用于将成像末端执行器140导航到目标姿态的控制元件。如图所示，手柄132包括旋钮133和134以及开关135。旋钮133使构件131和成像末端执行器140沿着患者p(例如，心脏)的前后平面弯曲。旋钮134使构件131和成像末端执行器140沿着患者p的左右平面弯曲。开关135控制在成像末端执行器140处执行的波束形成(例如调整成像平面的角度)。
70.在手动导航实施例中，从业人员根据需要手动拨动旋钮133和134和/或手动打开和/或关闭开关135以将成像末端执行器140导航到目标姿态。从业人员可以接收由成像末端执行器140生成的图像的显示，从而施加导航力33(图1)以控制手柄132上的旋钮133和134和/或开关135。
71.在自动导航实施例中，机器人系统(未示出)可以包括被配置为拨动旋钮133和134和/或打开和/或关闭开关135的电气部件和/或机械部件(例如，电动机、滚轮和齿轮)，由此机器人控制器100可以接收来自导航控制器(未示出)或输入设备(未示出)的运动控制命令
31(图1)，从而控制手柄132上的旋钮133和134和/或开关135。替代地，机器人控制器100可以被配置为经由致动信号32(图1)基于由机器人控制器100实施的引导方法来直接操纵tee探头130。
72.tee探头130能在各种自由度下进行操控。图3c
‑
3f图示了用于操控tee探头130的各种机制。
73.图3c是图示tee探头130可以如箭头131b所示被手动推进到患者的食道中或者如箭头131c所示从患者的食道中被撤回的示意图。tee探头130能够分别如箭头139a和139b所示相对于tee探头130的纵向轴线131a手动或自动地向左(例如，逆时针)旋转或者向右(例如，顺时针)旋转。构件131的旋转能够由被表示为γ的参数来描述。
74.图3d是图示例如通过对手柄132上的开关135的手动或机器人控制而使tee探头130如箭头136a和136b所示以电子方式从0度旋转到180度(例如用于波束形成)的示意图。成像平面的旋转能够由被表示为ω的参数来描述。
75.图3e是图示例如通过手动或机器人拨动手柄132上的旋钮134而使tee探头130如箭头137a和137b所示沿着例如相对于患者的心脏的前后平面弯曲的示意图。沿着前后平面的弯曲能够由被表示α的参数来描述。
76.图3f是图示例如通过手动或机器人拨动手柄132上的旋钮133而使tee探头130如箭头138a和138b所示沿着例如相对于患者的心脏的左右平面弯曲的示意图。沿着左右平面的弯曲能够由被表示为β的参数来描述。
77.通过介入设备30(图1)的示例性实施例的另外的示例，图3g示出了被配置为从患者p的身体外部捕获患者p的解剖结构的超声图像的经胸超声心动描记(tte)探头240以及被示为用于手动或机器人处理tte探头240以将tte探头240重新定位到目标姿态(即，tte探头240相对于患者p的定位和/或取向)的机器人230。更具体地，机器人230包括被耦合到多个关节232的多个连杆231，所述多个关节232被配置为保持tte探头240并且在患者p的(例如围绕用于对心脏成像的胸部区的)外表面上操控tte探头240。
78.在手动导航实施例中，从业人员将导航力33(图1)手动施加到(一个或多个)连杆231上，从而平移、旋转和/或枢转机器人230的(一个或多个)连杆231以将成像tte探头240导航到目标姿态。从业人员可以接收由tte探头240生成的图像的显示以用作控制机器人230的连杆231的基础。
79.在自动导航实施例中，机器人系统(未示出)包括被配置为控制引导机器人230的连杆231的电气部件和/或机械部件(例如，电动机、滚轮和齿轮)，由此机器人控制器101接收来自导航控制器(未示出)或输入设备(未示出)的以笛卡尔速度参数或关节速度参数的形式的运动控制命令32(图1)，从而控制引导机器人230的连杆231。替代地，机器人控制器101可以被配置为经由致动信号32(图1)基于由机器人控制器101实施的引导方法来直接操纵tte探头240。
80.通过介入设备30(图1a)的示例性实施例的另外的示例，图3h示出了被嵌入或附接到具有末端执行器340的连续体机器人331的形状感测导丝332。形状感测导丝232结合了在本公开内容的领域中已知的光学形状感测(oss)技术。更具体地，形状感测控制器103使用沿着导丝332的多芯光纤333的光以用于在手术期间进行的设备定位和导航。所涉及的原理利用了使用特征瑞利反向散射或受控光栅图案(例如，光纤布拉格光栅)在光纤中进行的分
布式应变测量。在实践中，当机器人控制器102或从业人员(未示出)在患者p内导航连续体机器人331以将末端执行器340定位在目标姿态时，形状感测控制器103经由形状感测导丝332来采集连续体机器人331的配准形状。
81.为了进一步促进对本公开内容的理解，下面对图2a和图2b的描述分别教导了本公开内容的连续位置控制器和本公开内容的连续定位状态机的示例性实施例。根据图2a和图2b的描述，本公开内容的领域的普通技术人员将意识到如何应用本公开内容来制作和使用本公开内容的连续位置控制器和本公开内容的连续定位状态机的额外实施例。
82.另外，tee探头130(图3a)、机器人230/tte探头240(图3g)和连续体机器人331(图3h)在本文中被用作包括末端执行器40(图1)的介入设备30的非限制性示例，以支持对本公开内容的连续位置控制器的各个实施例的描述。尽管如此，本公开内容的领域的普通技术人员将意识到如何将本公开内容应用于包括末端执行器40的介入设备30的各种各样的额外实施例。
83.参考图1、图2a和图2b，本公开内容的包括末端执行器40和连续定位控制器50的介入设备30表示连续定位状态机90。
84.特别地，如图2b所示，连续定位状态机90的状态s92包括根据特定应用(例如，微创流程、视频辅助的胸部手术、微血管流程、微型医学诊断流程或畸形矫正流程)对包括末端执行器40的介入设备30的导航。在实践中，应用可以涉及末端执行器40到目标姿态的手动导航定位或自动导航定位，由此应用结合了成像引导(例如，图像分割、图像配准、路径规划等)、介入设备跟踪(例如，电磁、光学或形状感测)和/或用于将末端执行器40定位到目标姿态的任何其他导航技术。
85.连续定位状态机90的状态s92的执行引起导航数据34的生成和辅助数据35的任选生成。通常，在实践中，导航数据34将以(一个或多个)导航命令31、(一个或多个)致动信号32和/或(一个或多个)导航力33的形式被传送到介入设备30/被施加到介入设备30上，并且辅助数据35将是介入设备30和/或末端执行器40的(一幅或多幅)图像、介入设备30的操作特性(例如，形状、应变、扭曲、温度等)和末端执行器40的操作特性(例如，姿态、力等)的形式。
86.响应于此，连续定位状态机90的状态s94包括由对介入工具30和末端执行器40进行导航的连续位置控制器50根据状态s92进行的连续定位控制。为此，连续位置控制器50使用本公开内容的正向预测模型60、本公开内容的逆向预测模型70和/或本公开内容的成像预测模型80。
87.在实践中，如将在本公开内容中进一步解释的，正向预测模型60可以是适合用于在正在实施的特定类型的应用中使用的特定类型的介入设备30的用于将介入设备30的定位运动回归到末端执行器40的导航姿态的任何类型的机器学习模型或等效物(例如，神经网络)，由此正向预测模型60在预测末端执行器40的导航姿态的介入设备30的正向运动学上进行训练。
88.在操作中，正向预测模型60输入与对介入设备30的手动导航或自动导航相关联的导航数据34(和辅助数据35，如果被传送的话)，从而预测与介入设备30的导航相对应的末端执行器40的导航姿态并基于末端执行器40的预测导航姿态来输出关于由介入设备30将末端执行器40定位到目标姿态的信息的连续定位数据51。连续定位数据51可以在状态s92
中被用作控制操作以确定准确度和/或执行对介入设备30的手动导航或自动导航的重新校准以将末端执行器40定位到目标姿态。
89.在实践中，如将在本公开内容中进一步解释的，逆向预测模型70可以是适合用于在正在实施的特定类型的应用中使用的特定类型的介入设备30的用于将末端执行器40的目标姿态回归到介入设备30的定位运动的任何类型的机器学习模型或等效物(例如，神经网络)，由此逆向预测模型60在预测介入设备30的定位运动的介入设备30的逆向运动学上进行训练。
90.在操作中，逆向预测模型70输入与末端执行器40的目标姿态相关联的导航数据34(和辅助数据35，如果被传送的话)，从而预测介入设备30的定位运动以用于将末端执行器40定位到目标姿态，并且逆向预测模型70基于介入设备30的预测定位运动来输出用于由介入设备30将末端执行器40定位到目标姿态的连续定位命令52。连续定位命令52可以在状态s92中被用作控制操作以执行对介入设备30的手动导航或自动导航以将末端执行器40定位到目标姿态。
91.在实践中，如将在本公开内容中进一步解释的，成像预测模型80可以是适合用于在正在实施的特定类型的应用中使用的特定类型的末端执行器40的用于将由末端执行器40进行的相对成像回归到末端执行器40的导航姿态的任何类型的机器学习模型或等效物(例如，神经网络或尺度不变的特征变换网络，由此逆向预测模型60在由末端执行器40进行的相对成像与预测末端执行器40的导航姿态的介入设备30的正向运动学的相关性上进行训练。
92.在操作中，成像预测模型60输入以由处于一种或多种姿态的末端执行器40生成的图像的形式的辅助数据35，从而预测末端执行器40的导航姿态作为关于由介入设备30将末端执行器40校正定位到目标姿态的信息的反馈数据。在状态s94的闭环中使用反馈数据来生成末端执行器40的目标姿态与末端执行器40的预测导航姿态之间的差异，由此逆向预测模型70可以输入该差异以预测介入设备30的校正定位运动以将末端执行器30重新定位到目标姿态。
93.在实践中，连续定位控制器50的实施例可以使用正向预测模型60、逆向预测模型70和/或成像预测模型80。
94.例如，连续定位控制器50的实施例可以仅使用正向预测模型60来促进显示对介入设备30的手动导航或自动导航的准确度以将末端执行器40定位到目标姿态。
95.更特别地，提供用户接口以显示末端执行器40到目标姿态的尝试导航的图像和通过正向预测模型60得到的末端执行器40的预测导航姿态的图像。向用户示出预测的置信比。为了评价预测不确定性，如在本公开内容的领域中已知的，在随机启用dropout的情况下执行正向预测模型60的多次前馈迭代。
96.再举个例子，连续定位控制器50的实施例可以仅使用逆向预测模型70来命令对介入设备30的手动导航或自动导航以将末端执行器40定位到目标姿态。
97.再举个例子，连续定位控制器50的实施例可以仅使用成像预测模型80来提供给出以下操作的信息的反馈数据，由介入设备30将末端执行器40校正定位到目标姿态。
98.再举个例子，连续定位控制器50的实施例可以使用正向预测模型60和逆向预测模型70，从而命令对介入设备30的手动导航或自动导航以将末端执行器40定位到目标姿态并
显示对介入设备30的手动导航或自动导航以将末端执行器40定位到目标姿态的准确度。
99.再举个例子，连续定位控制器50的实施例可以使用逆向预测模型70和成像预测模型80，从而命令对介入设备30手动导航或自动导航以将末端执行器40定位到目标姿态并提供给出以下操作的信息的反馈数据：由介入设备30将末端执行器40校正定位到目标姿态。
100.为了进一步促进对本公开内容的理解，下面对图4
‑
14的说明教导了本公开内容的正向预测模型、逆向预测模型和成像预测模型的示例性实施例。根据图4
‑
14的描述，本公开内容的领域的普通技术人员将意识到如何应用本公开内容来制作和使用本公开内容的正向预测模型、逆向预测模型和成像预测模型的额外实施例。
101.图4a
‑
4e图示了本公开内容的正向预测模型60a的训练和应用，该正向预测模型60a在预测末端执行器40(图1)的导航姿态的介入设备30(图1)的正向运动学上进行训练，从而在介入流程期间促进将正向预测模型60a应用于介入设备30的命令定位运动以呈现末端执行器40的预测导航姿态，由此连续定位控制器50(图1)可以基于末端执行器40的预测导航姿态来生成关于由介入设备30将末端执行器40定位到目标姿态的信息的连续定位数据51。
102.更特别地，参考图4a，正向预测模型60a的训练阶段涉及训练控制器(未示出)被配置为如在本公开内容的图16
‑
18的后续描述中示例性教导的那样解读真实情况训练数据集d。数据集d由包含由2元组d
i
＝(t
i
，q
i
)表示的i个数据点的n个序列w组成。该2元组由末端执行器姿态(t∈se(3))62a和在从t开始到t+j的顺序时间点处采集的j个相继关节变量的序列(q∈(q
t
，q
t+1
…
q
t+j
))61a组成。条目q
t
表示由机器人控制器(未示出)控制的所有关节变量。
103.在实践中，训练数据集d是专家数据的集合，其合理覆盖了介入设备30的不同导航。为此，用于学习的多样化数据集训练数据集d应当包括各种类型的机器人之间的制造差异、性能特性、硬件部件的磨损以及其他系统相关因素和系统不相关因素(例如，机器人操作所处的环境的温度或湿度)。
104.参考图4b，正向预测模型60a的应用阶段涉及连续定位控制器50使用前馈预测模型60a执行深度学习类型算法以将介入设备30的命令位置运动回归到末端执行器40的导航姿态。正向预测模型60a被配置为在给定介入设备30的j个相继关节变量61b(例如，如图3b所示的参数α、β)的序列q的情况下推断末端执行器40的姿态
105.在如图4e所示的一个实施例中，正向预测模型60a使用神经网络库160a，该神经网络库160a包括输入层、隐藏层和输出层，这些层是从一个或多个完全连接层(fcl)163a、一个或多个卷积层(cnl)164a、一个或多个循环层(rcl)165a以及一个或多个长期短记忆(lstm)层166a的组合中导出的。
106.在实践中，这些层的组合被配置为实施关节变量q到姿态的回归。
107.在用于实施关节变量q到姿态的回归的一个实施例中，神经网络库160a包括一组n个数量的完全连接层163a。
108.在用于实施关节变量q到姿态的回归的第二实施例中，神经网络库160a包括一组n个卷积层164a，然后是一组m个完全连接层163a或一组w个循环层165a或一组w个长期短记忆层166a。
109.在用于实施关节变量q到姿态的回归的第三实施例中，神经网络库160a包括一组n个卷积层164a，然后是一组m个完全连接层163a与一组w个循环层165a或一组w个长期短记忆层166a的组合。
110.在实践中，完全连接层163a可以包括k个神经元，其中，n、m、w、k可以是任意正整数，并且值可以根据实施例而变化。例如，n可以是大约8，m可以是大约2，w可以是大约2，并且k能够是大约1000。而且，卷积层164a可以实施非线性变换，其可以是操作(例如，批量归一化、修正线性单元(relu)、池化、dropout和/或卷积)的复合函数，并且卷积层164a还可以包括被配置为提取修正特征图的非线性函数(例如包括修正非线性relu操作)。
111.另外，在实践中，层163a或164a中的一个充当用于输入关节变量q的序列161a的输入层，由此关节变量q的序列的大小可以≥1，并且层163a、165a和166a中的一个可以充当用于输出末端执行器40在笛卡尔空间中的姿态162a(例如，末端执行器40在笛卡尔空间中的平移和旋转)的输出层。末端执行器40在笛卡尔空间中的输出姿态可以被表示为刚体的位置和取向的向量参数化和/或非向量参数化。更特别地，参数化可以是欧拉角、四元数、矩阵、指数映射和/或表示旋转和/或平移的角度轴线(例如包括平移的方向和幅值)的形式。
112.而且，在实践中，输出层可以是非线性完全连接层163a，其逐渐缩小神经网络库160a的最后一个卷积层164a的高维输出，以产生一组输出变量。
113.在训练中，通过将(在给定输入序列q的情况下)正向预测模型推断的输出与来自一批训练数据集d的真实情况末端执行器姿态t
i
(其可以是从数据存储器(未示出)中系统性选择或者随机选择的)进行比较来持续更新正向预测模型60a的训练权重。更特别地，可以利用预定义值或任意值来初始化滤波器的系数。滤波器的系数经由正向传播被应用于这批训练数据集d，并且经由反向传播得到调整以使任何输出误差最小化。
114.在应用中，正向预测模型60a在给定j个相继关节变量62a的序列q的情况下推断末端执行器40的姿态
115.仍然参考图4e，根据任务的复杂性，正向预测模型60a的示例性实施例的神经架构具有独特数量的层，其是在被定义为在给定j个相继关节变量61a的序列q的情况下预测末端执行器40的姿态的输出层169a中指定的。用于训练这种神经架构的损失函数可以被定义为平移分量与旋转分量之间的欧几里得距离之和，例如，
116.参考图4c和图4d，示例性介入流程90a的阶段s92a使用tee探头130(图3a)和机器人控制器100(图3b)，并且包括机器人控制器100接收tee探头130的位置作为关节变量并向tee探头130的手柄132(图3a)发送移动信号。通过使用电动旋钮，手柄132拉紧/松弛tee探头130的系索，这将引起末端执行器140(图3c
‑
3f)到目标姿态的运动。在实践中，作为关节变量的tee探头130的位置可以由用户或外部跟踪设备或引导系统来指示。
117.流程90a的阶段s94a涉及机器人控制器100、正向预测模型50a和显示控制器104。机器人控制器100存储相继关节变量61a的序列(q)并将其传送到预测末端执行器140的导航姿态的正向预测模型60a。连续定位控制器50a生成根据正向预测模型60a的多次前馈
迭代的不确定性导出的预测的置信比，正向预测模型60a的这种多次前馈迭代是如在本公开内容的领域中已知的那样在随机启用dropout的情况下执行的。正向预测模型50a将包括末端执行器140的预测导航姿态的连续定位数据51a和置信比传送到显示控制器104，显示控制器104继而控制对末端执行器140的导航姿态的图像105a、末端执行器140的导航姿态的图像106a和针对将末端执行器140引导到目标姿态的引导目的的置信比的显示。
118.图5a
‑
5e图示了本公开内容的逆向预测模型70a的训练和应用，该逆向预测模型70a在预测介入设备30的定位运动的介入设备30(图1)的逆向运动学上进行训练，从而在介入流程期间促进将逆向预测模型70a应用于末端执行器40的目标姿态(t)71a以呈现介入设备30的关节变量运动(q)72
t
，由此连续定位控制器50(图1)可以基于介入设备40的预测定位运动来生成控制由介入设备30将末端执行器40重新定位到目标姿态的连续定位命令。
119.更特别地，参考图5a，逆向预测模型70a的训练阶段涉及训练控制器(未示出)被配置为如在图17
‑
18的描述中示例性教导的那样解读真实情况训练数据集d。数据集d由包含由2元组d
i
＝(t
i
，q
i
)表示的i个数据点的n个序列w组成。该2元组由末端执行器姿态(t∈se(3))71a和在从t开始到t+j的顺序时间点处采集的j个相继关节变量的序列(q∈(q
t
，q
t+1
…
q
t+j
))72a组成。条目q
t
表示由机器人控制器(未示出)控制的所有关节变量。变量j也可以等于1，这意味着将训练预测模型来推断单个一组关节变量。
120.在实践中，训练数据集d是专家数据的集合，其合理覆盖了介入设备30的不同导航。为此，用于学习的多样化数据集训练数据集d应当包括各种类型的机器人之间的机械差异、硬件部件的磨损以及其他系统相关因素。
121.参考图5b，逆向预测模型70a的应用阶段涉及连续定位控制器50使用逆向预测模型70a执行深度学习类型算法以进行运动回归。逆向预测模型70a被配置为推断j个相继关节变量72
t
(例如，如图3b所示的参数α、β)的序列以达到末端执行器40的姿态(t∈se(3))71t。
122.在如图5e所示的一个实施例中，逆向预测模型70a使用神经网络库170a，该神经网络库170a包括输入层、隐藏层和输出层，这些层是从一个或多个完全连接层(fcl)173a、一个或多个卷积层(cnl)174a、一个或多个循环层(rcl)175a以及一个或多个长期短记忆(lstm)层176a的组合中导出的。
123.在实践中，这些层的组合被配置为实施姿态t到关节变量的回归。
124.在用于实施姿态t到关节变量的回归的一个实施例中，神经网络库170a包括一组n个数量的完全连接层173a。
125.在用于实施姿态t到关节变量的回归的第二实施例中，神经网络库170a包括一组n个卷积层174a，然后是一组m个完全连接层173a或一组w个循环层175a或一组w个长期短记忆层176a。
126.在用于实施姿态t到关节变量的回归的第三实施例中，神经网络库170a包括一组n个卷积层174a，然后是一组m个完全连接层173a与一组w个循环层175a或一组w个长期短记忆层176a的组合。
127.在实践中，完全连接层173a可以包括k个神经元，其中，n、m、w、k可以是任意正整
数，并且值可以根据实施例而变化。例如，n可以是大约8，m可以是大约2，w可以是大约2，并且k能够是大约1000。而且，卷积层174a可以实施非线性变换，其可以是操作(例如，批量归一化、修正线性单元(relu)、池化、dropout和/或卷积)的复合函数，并且卷积层174a还可以包括被配置为提取修正特征图的非线性函数(例如包括修正非线性relu操作)。
128.另外，在实践中，层173a或174a中的一个充当用于输入末端执行器40在笛卡尔空间中的姿态171a(例如，末端执行器40在笛卡尔空间中的平移和旋转)的输入层，并且层173a、175a和176a中的一个可以充当用于输出关节变量q的序列172a的输出层，由此关节变量q的序列的大小可以≥1。末端执行器40在笛卡尔空间中的输入姿态可以被表示为刚体的位置和取向的向量参数化和/或非向量参数化。更特别地，参数化可以是欧拉角、四元数、矩阵、指数映射和/或表示旋转和/或平移的角度轴线(例如包括平移的方向和幅值)的形式。
129.而且，在实践中，输出层可以是非线性完全连接层173a，其逐渐缩小神经网络库170a的最后一个卷积层174a的高维输出，以产生一组输出变量。
130.在训练中，通过将(在给定真实情况末端执行器姿态t作为输入的情况下)来自逆向预测模型的输出与来自一批训练数据集d的真实情况序列q
i
(其可以是从数据存储器(未示出)中系统性选择或者随机选择的)进行比较来持续更新逆向预测模型70a的训练权重。更特别地，可以利用预定义值或任意值来初始化滤波器的系数。滤波器的系数经由正向传播被应用于这批训练数据集d，并且经由反向传播得到调整以使任何输出误差最小化。
131.在应用中，逆向预测模型70a推断j个相继关节变量72a(例如，如图3b所示的参数α、β)的序列以达到末端执行器40的所提供的姿态(t∈se(3))71b。
132.仍然参考图5e，根据任务的复杂性，如图所示的逆向预测模型70a的示例性实施例的神经架构具有独特数量的层，其是在被定义为预测j个相继关节变量72b(例如，如图3b所示的参数α、β)的序列以达到末端执行器40的姿态(t∈se(3))71b的输出层179a中指定的。均方误差(mse)可以用作损失函数。
133.参考图5c和图5d，示例性介入流程90b的阶段s92b使用tee探头130(图3a)和导航控制器103，并且包括导航控制器103确定末端执行器140的目标姿态并将目标姿态71a发送到逆向预测模型70a。在实践中，导航控制器130可以实施本公开内容的领域中已知的任何已知的引导算法。
134.流程90b的阶段s94a涉及逆向预测模型70a和机器人控制器100。逆向预测模型70a推断j个相继关节变量72a(例如，如图3b所示的参数α、β)的序列以达到末端执行器40的姿态(t∈se(3))71a，并且连续定位控制器50b与命令控制器104通信以基于介入设备40的预测定位运动来控制经由末端执行器40的介入设备30将末端执行器50定位到目标姿态。
135.图6a
‑
6e图示了本公开内容的正向预测模型60b的训练和应用，该正向预测模型60b在预测末端执行器40(图1)的导航姿态的介入设备30(图1)的正向运动学上进行训练，从而在介入流程期间促进将正向预测模型60a应用于介入设备30的关节速度的命令n向量以呈现末端执行器40的预测的线速度和/或角速度，由此连续定位控制器50(图1)可以基于末端执行器40的预测的线速度和/或角速度来生成关于由介入设备30将末端执行器40重新定位到目标姿态的信息的连续定位数据51。
136.更特别地，参考图6a，正向预测模型60b的训练阶段涉及训练控制器(未示出)被配置为如在图16
‑
18中示例性教导的那样解读真实情况训练数据集d。数据集d由包含由2元组18中示例性教导的那样解读真实情况训练数据集d。数据集d由包含由2元组表示的i个数据点的n个序列w组成。该2元组由j个相继关节速度的命令序列61b和末端执行器的线速度和/或角速度组成。条目表示由机器人控制器(未示出)控制的所有关节变量。序列也可以只包含一个条目。
137.在实践中，训练数据集d是专家数据的集合，其合理覆盖了介入设备30的不同导航。为此，用于学习的多样化数据集训练数据集d应当包括各种类型的机器人之间的机械差异、硬件部件的磨损以及其他系统相关因素。
138.参考图6b，正向预测模型60b的应用阶段涉及连续定位控制器50使用前馈预测模型60b执行深度学习类型算法以进行末端执行器运动回归。正向预测模型60b被配置为在给定介入设备30的关节速度61b的n向量的情况下推断末端执行器40的线速度和/或角速度62b。
139.在如图6e所示的一个实施例中，正向预测模型60b使用神经网络库160b，该神经网络库160b包括输入层、隐藏层和输出层，这些层是从一个或多个完全连接层(fcl)163b、一个或多个卷积层(cnl)164b、一个或多个循环层(rcl)165b以及一个或多个长期短记忆(lstm)层166b的组合中导出的。
140.在实践中，这些层的组合被配置为实施介入设备30的关节速度到末端执行器40的线速度和/或角速度的回归。
141.在用于实施介入设备30的关节速度到末端执行器40的线速度和/或角速度的回归的一个实施例中，神经网络库160b包括一组n个数量的完全连接层163b。
142.在用于实施介入设备30的关节速度到末端执行器40的线速度和/或角速度的回归的第二实施例中，神经网络库160b包括一组n个卷积层164b，然后是一组m个完全连接层163b或一组w个循环层165b或一组w个长期短记忆层166b。
143.在用于实施介入设备30的关节速度到末端执行器40的线速度和/或角速度的回归的第三实施例中，神经网络库160b包括一组n个卷积层164b，然后是一组m个完全连接层163b与一组w个循环层165b或一组w个长期短记忆层166b的组合。
144.在实践中，完全连接层163b可以包括k个神经元，其中，n、m、w、k可以是任意正整数，并且值可以根据实施例而变化。例如，n可以是大约8，m可以是大约2，w可以是大约2，并且k能够是大约1000。而且，卷积层164b可以实施非线性变换，其可以是操作(例如，批量归一化、修正线性单元(relu)、池化、dropout和/或卷积)的复合函数，并且卷积层164b还可以包括被配置为提取修正特征图的非线性函数(例如包括修正非线性relu操作)。
145.另外，在实践中，层163b或164b中的一个充当用于输入j个相继关节速度的序列的输入层，由此j个相继关节速度的序列的大小可以≥1，并且层163b、165b和166b中的一个可以充当输出层，该输出层用于利用线性或非线性激活函数输出根据最后一个完全连接层(例如，6个单元，针对线速度有3个单元，并且针对角速度有3个单元)回归的末端执行器的线速度和角
速度
146.在训练中，通过将(在给定关节速度的序列的情况下)经由正向速度预测模型得到的预测的线速度和角速度与来自一批训练数据集d的线速度和/或角速度62b(其可以是从数据存储器(未示出)中系统性选择或者随机选择的)进行比较来持续更新正向预测模型60b的训练权重。更特别地，可以利用预定义值或任意值来初始化滤波器的系数。滤波器的系数经由正向传播被应用于这批训练数据集d，并且经由反向传播得到调整以使任何输出误差最小化。
147.在应用中，正向预测模型60b在给定介入设备30的关节速度61b的序列的情况下推断末端执行器40的线速度和/或角速度62b。
148.仍然参考图6e，神经架构由输入、先前描述的神经网络库和输出组成。输入是关节速度的序列，并且输出是可以根据具有6个单元的完全连接层回归的线速度和角速度。损失函数可以是如下列出的mse：函数可以是如下列出的mse：
149.参考图6c和图6d，示例性介入流程90c的阶段s92c使用机器人230(图3a)、tte探头240(图3a)和机器人控制器101(图3g)，并且包括机器人控制器101接收tte探头240的位置作为介入设备30的关节速度61b的n向量并将介入设备30的关节速度61b的n向量发送到机器人230。在实践中，作为介入设备30的关节速度61b的n向量的tte探头240的位置可以由用户或外部跟踪设备或引导系统来指示。
150.流程90c的阶段s94c涉及机器人控制器101、正向预测模型50a和显示控制器104。机器人控制器101存储介入设备30的关节速度61b的n向量并将其传送到预测tte探头240的线速度和/或角速度62b的正向预测模型60b。连续定位控制器50c生成根据正向预测模型60b的多次前馈迭代的不确定性导出的预测的置信比，正向预测模型60b的这种多次前馈迭代是如在本公开内容的领域中已知的那样在随机启用dropout的情况下执行的。正向预测模型60b将连续定位数据51b传送到显示控制器104，连续定位数据51b包括根据tte探头240的预测的线速度和/或角速度62b导出的tte探头240的预测导航姿态并且还包括置信比，显示控制器104继而控制对tte探头240的导航姿态的图像105a、tte探头240的导航姿态的图像106a和用于将末端执行器240引导到目标姿态的引导目的的置信比的显示。
151.图7a
‑
7e图示了本公开内容的逆向预测模型70b的训练和应用，逆向预测模型70b在预测介入设备30的定位运动的介入设备30(图1)的逆向运动学上进行训练，从而在介入流程期间促进将逆向预测模型70b应用于末端执行器40的目标姿态以呈现介入设备30的预测定位运动，由此连续定位控制器50(图1)可以基于介入设备40的预测定位运动来生成控制由介入设备30将末端执行器40重新定位到目标姿态的连续定位命令。
152.更特别地，参考图7a，逆向预测模型70b的训练阶段涉及训练控制器(未示出)被配置为如在图17
‑
18的描述中示例性教导的那样解读真实情况训练数据集d。数据集d由包含由2元组表示的i个数据点的n个序列w组成。该2元组由末端执行器的线速
度和/或角速度和在从t开始到t+j的顺序时间点处采集的相继关节变量的序列组成。条目表示由机器人控制器(未示出)控制的所有关节变量。
153.在实践中，训练数据集d是专家数据的集合，其合理覆盖了介入设备30的不同导航。为此，用于学习的多样化数据集训练数据集d应当包括各种类型的机器人之间的机械差异、硬件部件的磨损以及其他系统相关因素。
154.参考图7b，逆向预测模型70b的应用阶段涉及连续定位控制器50使用逆向预测模型70b执行深度学习类型算法以进行关节速度回归。逆向预测模型70b被配置为在给定末端执行器40的线速度和/或角速度62b的情况下推断介入设备30的关节速度61b的n向量。
155.在如图7e所示的一个实施例中，逆向预测模型70b使用神经网络库170b，该神经网络库170b包括输入层、隐藏层和输出层，这些层是从一个或多个完全连接层(fcl)173b、一个或多个卷积层(cnl)174b、一个或多个循环层(rcl)175b以及一个或多个长期短记忆(lstm)层176b的组合中导出的。
156.在实践中，这些层的组合被配置为实施末端执行器40的线速度和/或角速度到介入设备30的关节速度的回归。
157.在用于实施末端执行器40的线速度和/或角速度到介入设备30的关节速度的回归的一个实施例中，神经网络库170b包括一组n个数量的完全连接层173b。
158.在用于实施末端执行器40的线速度和/或角速度到介入设备30的关节速度的回归的第二实施例中，神经网络库170b包括一组n个卷积层174b，然后是一组m个完全连接层173b或一组w个循环层175b或一组w个长期短记忆层176b。
159.在用于实施末端执行器40的线速度和/或角速度到介入设备30的关节速度的回归的第三实施例中，神经网络库170b包括一组n个卷积层174b，然后是一组m个完全连接层173b与一组w个循环层175b或一组w个长期短记忆层176b的组合。
160.在实践中，完全连接层173b可以包括k个神经元，其中，n、m、w、k可以是任意正整数，并且值可以根据实施例而变化。例如，n可以是大约8，m可以是大约2，w可以是大约2，并且k能够是大约1000。而且，卷积层174b可以实施非线性变换，其可以是操作(例如，批量归一化、修正线性单元(relu)、池化、dropout和/或卷积)的复合函数，并且卷积层174b还可以包括被配置为提取修正特征图的非线性函数(例如包括修正非线性relu操作)。
161.另外，在实践中，层173b或174b中的一个充当用于输入角速度和线速度的输入层，并且层173b、175b和176b中的一个可以充当输出层，该输出层用于输出作为来自lstm层176b的输出而提供的j个相继关节速度的序列替代地，单个关节速度可以根据由m个单元组成的完全连接层173b来回归，每个单元用于由机器人控制器控制的机器人中的每一个连接。完全连接层173b可以具有线性或非线性激活函数。
162.在训练中，通过将(在给定输入处的线速度和角速度的情况下)关节速度的预测序列与来自一批训练数据集d的关节速度的真实情况序列(其可以是从数据存储器(未示出)中系统性选择或者随机选择的)进行比较来持续更新逆向预测模型70b的训练
权重。更特别地，可以利用预定义值或任意值来初始化滤波器的系数。滤波器的系数经由正向传播被应用于这批训练数据集d，并且经由反向传播得到调整以使任何输出误差最小化。
163.在应用中，逆向预测模型70b在给定末端执行器40的线速度和/或角速度62b的情况下推断介入设备30的关节速度61b的n向量。
164.仍然参考图7e，逆向速度模型的示例性实施例的神经架构由输入、神经网络库和输出组成。输入是角速度和线速度并且输出是作为来自lstm层的输出而提供的关节速度的序列替代地，单个关节速度可以根据由m个单元组成的完全连接层来回归，每个单元用于由机器人控制器控制的机器人中的每一个连接。完全连接层可以具有线性或非线性激活函数。
165.参考图7c和图7d，示例性介入流程90d的阶段s92d使用tte探头240(图3g)和导航控制器103，并且包括导航控制器103确定tte探头240到目标姿态的线速度和/或角速度62b并将线速度和/或角速度62b发送到逆向预测模型70b。在实践中，导航控制器130可以实施本公开内容的领域中已知的任何已知的引导算法。
166.流程90d的阶段s94d涉及逆向预测模型70b和机器人控制器101。逆向预测模型70b在给定线速度和/或角速度62b的情况下推断介入设备30的关节速度61b的n向量，并且连续定位控制器50c将连续定位命令52b传送到机器人控制器101，从而基于介入设备40的预测定位运动来控制经由机器人230(图3g)将tte探头240定位到目标姿态。
167.在实践中，正向预测模型60a(图4a)、逆向预测模型70a(图5a)、正向预测模型60b(图64a)和逆向预测模型70b(图7a)可以使用额外的辅助信息，例如，解剖结构的图像(例如，超声图像、内窥镜图像或x射线图像)、在末端执行器处测量的力以及机器人的形状。根据应用，还可以包括其他输入，包括来自光谱组织感测设备的信息、ecg信号或eeg信号、组织电导率或其他生理信号。例如，如果连续体状机器人在人类心脏内部操作，则在超声图像中可用的特征以及电生理信号可以改善末端执行器相对于解剖结构的定位，因此提高了引导准确度。
168.参考图8a和图8b，正向预测模型60c除了被示为在介入设备的正向运动学上进行训练之外，还被示为在关节变量61a的序列q和末端执行器姿态t 62a上进行训练，除此之外，正向预测模型60c还被示为在介入设备的形状35a、图像35b和力35c上进行训练。因此，在应用中，正向预测模型60c将能够根据关节变量61a的序列q以及介入设备的形状35a、图像35b和力35c来预测末端执行器的导航姿态。
169.本领域普通技术人员将知道如何将介入设备的形状35a、图像35b和力35c以及任何其他额外辅助信息应用于逆向预测模型70a、正向预测模型60b和逆向预测模型70b。
170.图9a
‑
9e图示了本公开内容的正向预测模型60d的训练和应用，该正向预测模型60d在预测末端执行器40(图1)的导航姿态以及机器人的形状的介入设备30(图1)的正向运动学上进行训练，从而在介入流程期间促进将正向预测模型60d应用于具有嵌入式oss技术的介入设备30的相继形状的序列以呈现末端执行器40的预测导航姿态以及形状，由此连续定位控制器50(图1)可以基于末端执行器40的预测导航姿态来生成关于由介入设备30将末端执行器40重新定位到目标姿态的信息的连续定位数据51c。
171.更特别地，参考图9a，在训练阶段中，训练控制器(未示出)被配置为如在图16
‑
18
的描述中示例性教导的那样解读真实情况训练数据集d。该数据集由包含由2元组d
i
＝(h
i
，h
i+1
)表示的i个数据点的n个序列w组成。该2元组由k个相继形状61d的序列(h
i
∈(h
t
,h
t+1
…
h
t+k
)组成，其中，h∈(p1…
p
m
)是一组m个向量p
m
，其描述嵌入在介入设备30中的oss传感器(例如，形状感测导丝)在3d欧几里德空间中的位置和辅助形状参数(例如，应变、曲率和扭曲)这两者。该2元组还由包含未来时间点h
t+k+1
的k个相继形状62b的序列h
i+1
∈(h
t+1
，h
t+2
…
h
t+k+1
)组成，其中，h∈(p1…
p
m
)是一组m个向量p
m
，其描述oss介入设备30在3d欧几里德空间中的位置辅助形状参数(例如，应变、曲率和扭曲)这两者。
172.在实践中，训练数据集d是专家数据的集合，其合理覆盖了oss介入设备30的不同导航。为此，用于学习的多样化数据集训练数据集d应当包括具有不同曲率、运动幅值的解剖结构、各种类型的机器人之间的机械差异、硬件部件的磨损以及其他系统相关因素(例如，环境的温度和湿度)。
173.参考图9b，正向预测模型60d的应用阶段涉及连续定位控制器50d使用正向预测模型60d执行深度学习类型算法，其中，循环层在合理覆盖不同情况的专家数据上进行训练。用于学习的多样化数据集包括各种工作条件(温度、纤维弯曲等)、设备的不同操作运动以及硬件(纤维、询问器等)的差异。
174.在如图9e所示的一个实施例中，正向预测模型60d使用顺序地包括输入层163a、序列到序列模型263a、输出层262a和提取层264的神经架构。该神经架构是具有循环层的深度卷积神经网络，该循环层被配置为推断由k个形状组成的未来序列因此使用预测序列中的最后一个形状来估计在未来时间点处oss介入设备30的位置。
175.在训练中，通过将(在给定输入序列h
i
的情况下由模型预测的)未来形状的序列与来自训练数据集d的真实情况未来序列h
i+1
(其可以是从数据存储器(未示出)中系统性选择或者随机选择的)进行比较来持续更新正向预测模型60d的训练权重。更特别地，可以利用预定义值或任意值来初始化滤波器的系数。滤波器的系数经由正向传播被应用于这批训练数据集d，并且经由反向传播得到调整以使任何输出误差最小化。
176.在应用中，正向预测模型60d推断由k个形状组成的未来序列因此使用预测序列中的最后一个形状来估计在未来时间点处oss介入设备30的位置。
177.在如图9f所示的替代实施例中，正向预测模型60d使用多对一模型263b来代替序列到序列模型263a，由此最后一层将是最后的形状
178.参考图9c和图9d，示例性介入流程90e的阶段s92e使用oss导丝332(图3f)和形状感测控制器103(图3f)，并且包括形状感测控制器103在末端执行器340到目标姿态的导航期间测量和存储oss导丝332的形状。
179.流程90e的阶段s94e涉及形状感测控制器103、正向预测模型50d和显示控制器104。形状感测控制器103将k个相继形状的序列61d传送到正向预测模型60e，从而推断接下来的形状序列其中，最后一个形状是oss导丝332的预测位置。显示控制器104控制对oss导丝332的感测位置图像105a的显示，以用于将末端执行器340引导到目标姿态的引导目的。
180.参考图11a和图11b，本公开内容的成像预测模型80a在合理覆盖不同情况的专家数据上进行训练。在给定超声图像81a的情况下，该神经网络80a推断该图像81a相对于参考解剖结构的相对位置82a。结果，如本文将进一步描述的，可以计算末端执行器在解剖结构(例如，心脏)中的先前姿态与末端执行器在解剖结构(例如，心脏)中的当前姿态之间的运动。
181.图11a示出了成像预测模型80a的分批训练。在训练期间，网络使用来自真实情况数据集的2元组持续更新成像预测模型80a的权重，该真实情况数据集由超声图像和该图像相对于参考解剖结构的相对位置组成。
182.图11b示出了在给定图像81a的情况下使用成像预测模型80a进行的实时推断，该成像预测模型80a预测末端执行器n相对于参考解剖结构(例如，参考超声图像)的相对姿态82a。
183.在训练阶段中，数据采集控制器(未示出)被配置为接收和解读来自机器人和末端执行器(例如，超声设备)的信息并通过数据采集控制器(未示出)将数据以由以下规范定义的格式存储在数据存储介质(未示出)上：训练数据集d由通过2元组d
i
＝(u
i
，t
i
)表示的i个数据点组成。该2元组由在相对于参考位置的某个位置t∈se(3)82a处采集的超声图像u
i 81a组成。
184.训练控制器被配置为解读被保存在数据存储介质上的训练数据集d。该数据集d由通过2元组d
i
＝(u
i
,t
i
)表示的i个数据点组成。该2元组由以下各项组成：解剖结构的超声图像u
i 81a和采集超声图像u
i
时末端执行器的当前姿态与某个任意选取的参考位置之间的相对运动t
i 82a。
185.在如图11e所示的一个实施例中，图像预测模型80a使用神经网络库180a，该神经网络库180a包括输入层、隐藏层和输出层，这些层是从一个或多个完全连接层(fcl)183a、一个或多个卷积层(cnl)184a、一个或多个循环层(rcl)185a以及一个或多个长期短记忆(lstm)层186a的组合中导出的。
186.在实践中，这些层的组合被配置为实施图像u
c
到参考图像的相对定位并进而实现姿态
187.在用于实施图像u
c
到参考图像的相对定位并进而实现姿态的一个实施例中，神经网络库180a包括一组n个数量的完全连接层183a。
188.在用于实施图像u
c
到参考图像的相对定位并进而实现姿态的第二实施例中，神经网络库180a包括一组n个卷积层184a，然后是一组m个完全连接层183a或一组w个循环层185a或一组w个长期短记忆层186a。
189.在用于实施图像u
c
到参考图像的相对定位并进而实现姿态的第三实施例中，神经网络库180a包括一组n个卷积层184a，然后是一组m个完全连接层183a与一组w个循环层185a或一组w个长期短记忆层186a的组合。
190.在实践中，完全连接层183a可以包括k个神经元，其中，n、m、w、k可以是任意正整数，并且值可以根据实施例而变化。例如，n可以是大约8，m可以是大约2，w可以是大约2，并且k能够是大约1000。而且，卷积层184a可以实施非线性变换，其可以是操作(例如，批量归一化、修正线性单元(relu)、池化、dropout和/或卷积)的复合函数，并且卷积层184a还可以
包括被配置为提取修正特征图的非线性函数(例如包括修正非线性relu操作)。
191.另外，在实践中，层183a或184a中的一个充当用于输入图像u
c
的输入层，并且层183a、185a和186a中的一个可以充当用于输出末端执行器40在笛卡尔空间中的姿态182a(例如，末端执行器40在笛卡尔空间中的平移和旋转)的输出层。末端执行器40在笛卡尔空间中的输出姿态可以被表示为刚体的位置和取向的向量参数化和/或非向量参数化。更特别地，参数化可以是欧拉角、四元数、矩阵、指数映射和/或表示旋转和/或平移的角度轴线(例如包括平移的方向和幅值)的形式。
192.而且，在实践中，输出层可以是非线性完全连接层183a，其逐渐缩小神经网络库180a的最后一个卷积层184a的高维输出，以产生一组输出变量。
193.在训练中，通过将(在给定超声图像161c并将其作为输入的情况下)使用图像预测模型得到的末端执行器相对于某个参考解剖结构的预测相对运动与来自一批训练数据集d的真实情况相对运动t(其可以是从数据存储器(未示出)中系统性选择或者随机选择的)进行比较来持续更新图像预测模型80a的训练权重，可以系统地或随机地从数据存储器(未示出)中选择。更特别地，可以利用预定义值或任意值来初始化滤波器的系数。滤波器的系数经由正向传播被应用于这批训练数据集d，并且经由反向传播得到调整以使任何输出误差最小化。
194.参考图12a和图12b，本公开内容的成像预测模型80ba在合理覆盖不同情况的专家数据上进行训练。在给定超声图像81a的情况下，该神经网络80ba推断该图像81a相对于参考解剖结构的相对位置82a。结果，如本文将进一步描述的，可以计算末端执行器在解剖结构(例如，心脏)中的先前姿态与末端执行器在解剖结构(例如，心脏)中的当前姿态之间的运动。
195.图12a示出了成像预测模型80ba的分批训练。在训练期间，网络使用来自真实情况数据集的2元组持续更新成像预测模型80ba的权重，该真实情况数据集由超声图像和该图像相对于参考解剖结构的相对位置组成。
196.图12b示出了在给定图像81a的情况下使用成像预测模型80ba进行的实时推断，该成像预测模型80ba预测末端执行器相对于参考解剖结构(例如，参考超声图像)的线速度和角速度83a。
197.在训练阶段中，数据采集控制器(未示出)被配置为接收和解读来自机器人和末端执行器(例如，超声设备)的信息并通过数据采集控制器(未示出)将数据以由以下规范定义的格式存储在数据存储介质(未示出)上：训练数据集d由通过2元组d
i
＝(u
i
，v
i
)表示的i个数据点组成。该2元组由在相对于经由末端执行器的线速度和角速度的向量83a得到的参考位置的某个位置t∈se(3)82a处采集的超声图像u
i 81a组成。
198.训练控制器被配置为解读被保存在数据存储介质上的训练数据集d。该数据集d由通过2元组d
i
＝(u
i
,v
i
)表示的i个数据点组成。该2元组由以下各项组成：解剖结构的超声图像u
i 81a和采集超声图像u
i
时末端执行器的线速度和角速度与某个任意选取的参考位置的相对n向量83a。
199.在如图12e所示的一个实施例中，图像预测模型80b使用神经网络库180b，该神经网络库180b包括输入层、隐藏层和输出层，这些层是从一个或多个完全连接层(fcl)183b、一个或多个卷积层(cnl)184b、一个或多个循环层(rcl)185b以及一个或多个长期短记忆
(lstm)层186b的组合中导出的。
200.在实践中，这些层的组合被配置为实施图像u
c
到参考图像的相对定位并进而导出末端执行器40的线速度和/或角速度。
201.在用于实施图像u
c
到参考图像的相对定位并进而导出末端执行器40的线速度和/或角速度的一个实施例中，神经网络库180b包括一组n个数量的完全连接层183b。
202.在用于实施图像u
c
到参考图像的相对定位并进而导出末端执行器40的线速度和/或角速度的第二实施例中，神经网络库180b包括一组n个卷积层184b，然后是一组m个完全连接层183b或一组w个循环层185b或一组w个长期短记忆层186b。
203.在用于实施图像u
c
到参考图像的相对定位并进而导出末端执行器40的线速度和/或角速度的第三实施例中，神经网络库180b包括一组n个卷积层184b，然后是一组m个完全连接层183b与一组w个循环层185b或一组w个长期短记忆层186b的组合。
204.在实践中，完全连接层183b可以包括k个神经元，其中，n、m、w、k可以是任意正整数，并且值可以根据实施例而变化。例如，n可以是大约8，m可以是大约2，w可以是大约2，并且k能够是大约1000。而且，卷积层184b可以实施非线性变换，其可以是操作(例如，批量归一化、修正线性单元(relu)、池化、dropout和/或卷积)的复合函数，并且卷积层184b还可以包括被配置为提取修正特征图的非线性函数(例如包括修正非线性relu操作)。
205.另外，在实践中，层183b或184b中的一个充当用于输入图像u
c
的输入层，并且层183b、185b和186b中的一个可以充当输出层，该输出层用于利用线性或非线性激活函数输出根据最后一个完全连接层(例如，6个单元，针对线速度有3个单元，并且针对角速度有3个单元)回归的末端执行器的线速度和角速度
206.在训练中，通过将(在给定超声图像161c作为输入的情况下)末端执行器相对于某个参考解剖结构的预测的线速度和角速度与来自一批训练数据集d的描述到某个参考解剖结构的运动的真实情况的末端执行器的线速度和角速度(其可以是从数据存储器(未示出)中系统性选择或者随机选择的)进行比较来持续更新图像预测模型80b的训练权重。更特别地，可以利用预定义值或任意值来初始化滤波器的系数。滤波器的系数经由正向传播被应用于这批训练数据集d，并且经由反向传播得到调整以使任何输出误差最小化。
207.参考图13a和图13b，连续定位控制器50f使用逆向预测模型70a、图像预测模型80a、减法器53和控制律54a来执行如由流程图190a所表示的本公开内容的闭环连续位置控制方法。
208.在一个tee探头实施例中，流程190a的阶段s192a包括将tee探头手柄132(图3a)插入到如在本公开内容的领域中已知的机器人控制器100(图3b)中以控制手柄132的拨动以及tee探头130的旋转。tee换能器140(图3a)通过食道被插入到身体中并被定位在感兴趣解剖结构(例如，心脏)附近(例如被定位在如图13c所示的食道中段位置处)。超声图像参数是在tee换能器140的这个目标姿态下定义的。
209.流程190a的阶段s194a包括图像预测模型90处理当前超声图像81a(我们将其称为先前超声图像u
f
)以预测该图像平面相对于参考解剖结构的相对位置超声医师使用超声图像来观察解剖结构并决定换能器需要从其当前位置产生的移动t
d
。替代地，可以从以下各项提供需要的换能器的运动：外部跟踪设备、用户接口、被配准到超声图像的其他成
像模态(例如，使用echonavigator(飞利浦)被配准到3d tee图像的x射线图像)。
210.基于t
d
，逆向预测模型70a预测将机器人移动到期望位置所要求的关节变量72a。机器人控制器100接收关节变量72a并相应地移动tee探头130。
211.流程190a的阶段s196a包括超声换能器到达采集超声图像u
c
时的另一位置。图像预测模型90g使用对当前超声图像u
c
的处理来预测两个当前图像平面相对于参考解剖结构的相对位置结果，在解剖结构(例如，心脏)中的先前位置和当前位置之间的运动能够被计算如下：被计算如下：
212.在第二tee探头实施例中，如图13d所示，可以利用通过被配准到超声图像的外部成像模态生成的图像201上的路径选择来确定期望位置t
d
(例如，通过使用本领域中已知的方法(飞利浦echonavigator)，能够将x射线图像以及锥形束ct图像配准到超声图像)。
213.参考图14a和图14b，连续定位控制器50g使用逆向预测模型70b、图像预测模型80b、减法器53和控制律54b来执行如由流程图190b所表示的本公开内容的闭环连续位置控制方法。
214.在一个tee探头实施例中，流程190b的阶段s192b包括将tee探头手柄142(图3a)插入到如在本公开内容的领域中已知的机器人控制器100(图3b)中以控制手柄142的拨动以及tee探头140的旋转。tee换能器140(图3a)通过食道被插入到身体中并被定位在感兴趣解剖结构(例如，心脏)附近(例如被定位在如图14c所示的食道中段位置处)。超声图像参数是在tee换能器140的这个目标姿态下定义的。
215.流程190b的阶段s194b包括用户希望例如通过选择在超声图像203中从点a到点b的路径或图像平面a与b之间的变换来在图像空间中移动换能器。在该实施例中，使用
末端执行器
j
图像
雅可比204将由图像上的路径定义的第一线速度和第一角速度202变换到末端执行器坐标系，
末端执行器
j
图像
雅可比204是通过使用在本公开内容的领域中已知的方法知晓末端执行器与图像坐标系之间的空间关系来计算的。
216.基于v
d
，逆向预测模型70b(图7b)预测将机器人移动到期望位置所要求的关节速度72b。机器人控制器100接收关节速度72b并相应地移动tee探头130。
217.流程190a的阶段s196b包括超声换能器到达采集超声图像的u
c
时的另一位置。图像预测模型80b处理当前超声图像u
c 81a以预测末端执行器在点a与点b之间的速度向量83a。图像预测模型80b估计末端执行器的笛卡尔速度与关节空间中的速度之间的函数，即，神经网络在给定由末端执行器71c的线速度和角速度组成的6向量的情况下对操纵器雅可比进行建模，以预测关节速度的n向量72c。
218.如在本公开内容的领域的技术人员所理解的，对解剖结构(例如，心脏)的图像之间的空间关系进行建模的神经网络要求特定于给定器官的大型训练数据集。
219.在替代实施例中，直接从图像中提取特征以验证换能器的位置。在如图14c所示的这个实施例中，用户选择图像205上的对象，例如，心尖壁，系统将经由特征提取206在该对象周围提取某些显著特征。首先使用在本公开内容的领域中已知的方法(例如，canny边缘检测器、形态学操作等)检测这些特征(其可以包括对象的边缘、形状和大小)，其次使用在本公开内容的领域中已知的尺度不变特征变换(sift)跟踪这些特征。最后，系统定义所选
择的对象与视场中心之间的路径，该路径指示在图像上的所需运动。通过使用sift跟踪显著特征，连续位置控制器50g(图14a)能够在闭环控制内校正来自网络的预测。
220.更特别的是连续体状机器人的基于速度的控制系统。一旦用户选择了图像上的某个对象(例如，心尖壁(参见超声图像上的红点))，就会识别出图像上的期望运动。由视场中心与所选择的对象之间的路径来定义运动，能够使用雅可比204将该运动变换为末端执行器空间中的线速度和角速度。然后将该笛卡尔速度发送到神经网络，该神经网络将推断关节速度。将比照由持续跟踪的对象和视场中心所定义的路径来迭代验证实现的位置。
221.在实践中，图13和图14的闭合控制回路可以使用其他模态进行闭合，例如，光学形状感测(oss)、电磁跟踪或使用例如飞利浦echonavigator被配准到超声图像的x射线图像。
222.而且，在实践中，神经网络的预测准确度会受到柔性内窥镜的配置的影响。因此，首先使用例如神经网络g或飞利浦heartmodel(其将隐含地定义可能的配置之一)来定义换能器相对于心脏的位置。其次根据检测到的配置将一组特定的网络权重加载到模型中，从而提高预测准确度。
223.能够使用类似的方法将用户引导到能够提供最优图像和引导的位置。
224.此外，机器/深度学习中最困难的问题之一是能够以正确的格式访问大数据以训练预测模型。更特别地，收集和构建训练集和验证集非常耗时且昂贵，因为它要求特定领域的知识。例如，为了训练预测模型来准确区分良性乳腺肿瘤与恶性乳腺肿瘤，这样的训练需要由放射科专家标注的数千幅超声图像并将其变换成训练算法能够理解的数值表示。另外，图像数据集可能是不准确的、损坏的或带有噪声标记的，所有这些因素都会导致检测不准确，并且采集大型医学数据集可能引发道德和隐私问题以及许多其他问题。
225.参考图15，本公开内容的训练数据收集系统使用形状感测控制器103，该形状感测控制器103提供针对光学形状感测纤维332上的每个点的3d位置向量233，该光学形状感测纤维332被安装到机器人的内窥镜131和系索驱动的操纵器231。光纤332的远端部分被嵌入在塑料壳体中，该塑料壳体将光纤刚性连接到末端执行器并在形状内引入一定的曲率。
226.例如，图16a和图16b示出了被嵌入在塑料壳体350中的光学形状感测纤维332的远端332d，该塑料壳体350被刚性附接到如图16c和图16d所示的操纵器231的超声换能器232。塑料壳体350对形状施加了一定的曲率，由此使得能够使用在本公开内容的领域中已知的模板匹配算法来估计末端执行器姿态(例如，如图17所示的数据采集序列370，其中，在每个轴上的α和β对应于图15所示的tee手柄132上的旋钮位置)。
227.返回参考图16，通常，通过检测这种图案，能够使用本领域已知的方法来估计末端执行器的姿态t∈se(3)。机器人控制器100向机器人发送运动命令，机器人控制负责拉紧或松弛系索的致动旋钮。通过改变系索的状态，末端执行器的位置发生变化，如图3d和图3e所示。数据存储控制器190接收分别来自形状感测控制器和机器人控制器的光纤的形状h∈(p1…
p
n
)、末端执行器的姿态t以及运动命令(即，关节位置)q
t
。数据作为3元组被存储在存储设备上并稍后用于训练本公开内容的深度卷积神经网络。
228.更特别地，形状感测导丝332被嵌入或附接到连续体机器人，形状感测导丝332使用本领域已知的光学形状感测(oss)技术。oss在手术介入期间使用沿着多芯光纤的光进行设备定位和导航。所涉及的原理利用了使用特征瑞利反向散射或受控光栅图案在光纤中进行的分布式应变测量。
229.形状感测控制器103被配置为采集形状感测导丝322的形状，估计被刚性附接到塑料壳体350的末端执行器的姿态t∈se(3)，塑料壳体350在导丝中施加一定曲率，如前所述。用于估计姿态t的方法基于明确定义的曲率以及在本公开内容的领域中已知的模板匹配算法。
230.数据采集控制器191被配置为根据预定义的采集图案(例如，螺旋、径向或方形运动等)生成电机命令序列并将移动命令发送到机器人控制器100。
231.机器人控制器100被配置为接收机器人位置并向机器人发送移动信号。使用电动旋钮机器人将拉紧/松弛系索，这将引起末端执行器的运动。机器人控制器还被配置为接收和解读来自数据采集控制器191的信息并基于来自数据采集控制器191的信息来改变机器人位置。
232.数据存储控制器190被配置为接收和解读来自机器人控制器100和形状感测控制器103的信息并将数据以由以下规范定义的格式存储在数据存储介质(未示出)上：
233.第一规范是采集针对由数据采集控制器191预定义的所有配置的训练数据集d。数据集d由一组n个序列w组成：d＝{w1,w2,
…
,w
n
}，每个序列w
n
由i个数据点d
i
组成：w
n
＝{d1，d2,
…
,d
i
}；并且来自序列的每个数据点d
i
都由3元组来定义：d
i
＝(t
i
，h
i
，q
i
)。
234.该3元组由末端执行器姿态t∈se(3)、k个相继形状的序列(例如，h∈(h
t
，h
t+1
…
h
t+k
))组成，其中，h∈(p1…
p
m
)是一组m个向量p
m
，其描述形状感测导丝在3d欧几里得空间中的位置、辅助形状参数(例如，应变、曲率和扭曲)，以及在从t开始到t+j的顺序时间点处采集的j个相继关节变量的序列(q∈(q
t
，q
t+1
…
q
t+j
))。例如，条目q
t
可以是在时间点t处采集的控制旋钮上的角度α、β。
235.参考图19，本公开内容的训练数据收集方法360由图15的训练数据收集系统来执行。
236.参考图15和图19，方法360的阶段s362包括由机器人控制器100使用例如限位开关或接近度传感器将将机器人移动到原点位置。形状感测导丝232的远端部分被插入在被提供在塑料壳体350中的凹口353中。该凹口353将对形状施加一定的曲率。
237.壳体350被刚性附接到连续体状机器人的末端执行器。
238.通过在方法360的阶段s364期间使用在本公开内容的领域中已知的模板匹配算法，形状感测控制器103现在能够估计末端执行器的姿态t∈se(3)。优选地，末端执行器的坐标系由该模板来定义，然而，也能够使用额外的校准矩阵。当机器人系统仍然处于原点位置时，采集末端执行器在oss坐标系中的姿态。在实验期间采集的每个后续姿态都是相对于该初始位置估计的。
239.数据采集控制器191根据预定义的采集图案(例如，图18的图案370)来生成运动序列(即，关节变量集合)。数据采集控制器191将运动序列迭代发送到机器人控制器100，机器人控制器100根据所生成的关节变量来移动机器人。
240.方法300的阶段s366包括数据存储控制器190在每个时间点处采集和存储数据元组d
i
＝(t
i
，h
i
，q
i
)。重要的是，由于h
i
和q
i
是顺序的，因此先前的时间点都由数据存储控制器190保存在存储器中。
241.为了促进进一步理解本公开内容的各种发明，下面对图19的说明教导了本公开内容的连续定位控制器的示例性实施例。根据该描述，本领域普通技术人员将理解如何应用
本公开内容的各个方面来制作和使用本公开内容的连续定位控制器的额外实施例。
242.参考图19，连续定位控制器400包括经由一条或多条系统总线406互连的一个或多个处理器401、存储器402、用户接口403、网络接口404和存储装置405。
243.每个处理器401可以是如在本公开内容的领域中已知的或在下文中设想到的能够执行在存储器402或存储装置中存储的指令或者以其他方式处理数据的任何硬件设备。在非限制性示例中，(一个或多个)处理器401可以包括微处理器、现场可编程门阵列(fpga)、专用集成电路(asic)或其他类似设备。
244.存储器402可以包括各种存储器，例如，如在本公开内容的领域中已知的或在下文中设想到的非瞬态存储器和/或静态存储器，包括但不限于l1、l2或l3高速缓冲存储器或系统存储器。在非限制性示例中，存储器402可以包括静态随机存取存储器(sram)、动态ram(dram)、闪存存储器、只读存储器(rom)或其他类似的存储器设备。
245.用户接口403可以包括如在本公开内容的领域中已知的或在下文中设想到的用于实现与诸如管理员之类的用户的通信的一个或多个设备。在非限制性示例中，用户接口可以包括可以经由网络接口404被呈现给远程终端的命令行接口或图形用户接口。
246.网络接口404可以包括如在本公开内容的领域中已知的或在下文中设想到的用于实现与其他硬件设备的通信的一个或多个设备。在非限制性示例中，网络接口404可以包括被配置为根据以太网协议进行通信的网络接口卡(nic)。另外，网络接口404可以根据tcp/ip协议来实施用于通信的tcp/ip栈。针对网络接口404的各种替代或额外的硬件或配置将是显而易见的。
247.存储装置405可以包括如在本公开内容的领域中已知的或在下文中设想到的一个或多个机器可读存储介质，包括但不限于只读存储器(rom)、随机存取存储器(ram)、磁盘存储介质、光学存储介质、闪存设备或类似的存储介质。在各种非限制性实施例中，存储装置405可以存储用于由(一个或多个)处理器401执行的指令或者(一个或多个)处理器401可以对其进行操作的数据。例如，存储装置405可以存储用于控制硬件的各种基本操作的基本操作系统。存储装置405还以可执行软件/固件的形式存储应用程序模块，以用于实施如在本公开内容中先前描述的控制器400a的各种功能，包括但不限于如在本公开内容中先前描述的(一个或多个)正向预测模型60、(一个或多个)逆向预测模型70和(一个或多个)成像预测模型80。
248.在实践中，控制器400可以被安装在x射线成像系统500、介入系统501(例如，介入机器人系统)或与x射线成像系统500和/或介入系统501通信的独立工作站502(例如，客户端工作站或像平板电脑这样的移动设备)内。替代地，控制器400的部件可以被分布在x射线成像系统500、介入系统501和/或独立工作站502之中。
249.而且，在实践中，包括形状感测控制器、数据存储控制器和数据采集控制器的本公开内容的额外控制器也可以各自包括如图19中所布置的经由一条或多条系统总线互连的一个或多个处理器、存储器、用户接口、网络接口和存储装置，由此存储装置包含如在本文中先前描述的该控制器的适用的应用程序模块。替代地，本公开内容的两个或更多个控制器可以被集成为单个控制器，其中，存储装置包含如在本文中先前描述的两个或更多个控制器的适用的应用程序模块。
250.参考图1
‑
19，本公开内容的领域的普通技术人员将意识到本公开内容的许多益
处。
251.另外，如本领域普通技术人员鉴于本文中提供的教导将意识到的，本公开内容/说明书中描述的和/或在附图中描绘的结构、元件、部件等均可以被实施在硬件与软件的各种组合中，并提供可以被组合在单个元件或多个元件中的功能。例如，能够通过使用专用硬件以及能够运行与用于附加功能的适当的软件相关联的软件的硬件来提供在附图中示出/图示/描绘的各种结构、元件、部件等的功能。当由处理器提供时，所述功能能够由单个专用处理器、由单个共享处理器或由多个个体处理器(它们中的一些能够被共享和/或多路复用)来提供。此外，对术语“处理器”或“控制器”的明确使用不应被解释为专指能够运行软件的硬件，并且能够隐含地包括而不限于数字信号处理器(“dsp”)硬件、存储器(例如，用于储存软件的只读存储器(“rom”)、随机存取存储器(“ram”)、非易失性储存器等)，以及实质上能够(和/或可配置为)执行和/或控制过程的任意单元和/或机器(包括硬件、软件、固件、它们的组合等)。
252.此外，本文中记载本发明的原理、各方面和实施例以及其特定示例的所有陈述，旨在涵盖其结构和功能上的等效物。额外地，这样的等效物旨在包括当前已知的等效物以及未来发展的等效物(即，能够执行相同或基本上相似的功能的所发展的任何元件而无论其结构如何)。因此，例如，鉴于本文中提供的教导，本领域普通技术人员应意识到，本文中呈现的任何框图能够表示实施本发明的原理的图示性系统部件和/或电路的概念视图。类似地，鉴于本文中提供的教导，本领域普通技术人员应意识到，任意流程图表、流程图等均能够表示各种过程，所述各种过程基本上能被表示在计算机可读储存媒介中，并由具有处理能力的计算机、处理器或其他设备如此运行，而无论是否明确示出这样的计算机或处理器。
253.已经描述了本公开内容的各种各样的发明的优选和示例性实施例(这些实施例旨在进行说明而非限制)，应当注意，按照本文中提供的教导(包括附图)，本领域技术人员能够做出修改和变型。因此，应当理解，能够在本公开内容的优选和示例性实施例中/对本公开内容的优选和示例性实施例做出在本文中公开的实施例的范围之内的改变。
254.此外，应预想到，包括和/或实施根据本公开内容的设备/系统的对应的和/或有关的系统或例如可以在设备中使用/实施的对应的和/或有关的系统也被预想到并且被认为在本公开内容的范围之内。而且，用于制造和/或使用根据本公开内容的设备和/或系统的对应的和/或有关的方法也被预想到并且被认为在本公开内容的范围之内。