穿刺导航系统、方法、设备与存储介质以及穿刺装置与流程

1.本公开的实施例涉及一种穿刺导航系统、方法、设备与存储介质以及穿刺装置。


背景技术：

2.癌症是危害人类健康的主要疾病。对于传统的癌症治疗方法和新近发展起来的以微创消融为特征的热消融疗法，以及粒子植入等消融疗法，由于受适应症、禁忌症、治疗副作用、热效应等因素的限制，使得其临床应用受到一定的局限性。
3.近年来，随着脉冲生物电学的不断发展，电场脉冲以其非热、微创的生物医学效用受到广泛关注，并逐渐应用于肿瘤的临床治疗。微创疗法往往需要通过穿刺针到达人体内的目标组织区域进行治疗，然而穿刺针通常需要在超声或其他医学影像设备的引导下，配合穿刺模板进行定位，从而到达至预期目标位置。
4.目前，临床上普遍采用穿刺设备与超声探头制成一体的形式，在操作中通过超声图像的引导下进行肿瘤的定位穿刺，但由于超声成像的区域是有限的，并且是一个二维平面，因此只有当穿刺针沿着超声成像平面进入超声成像区域之后才能在超声图像中观察到穿刺设备，无法实时显示穿刺针与肿瘤之间的位置关系，从而导致操作者(例如医生)无法通过观察三维图像中穿刺针与肿瘤部位的相对位置关系，对患者进行精确的穿刺。因此，当前急需一种能够实时显示穿刺针与肿瘤之间的位置关系的导航系统。


技术实现要素：

5.本公开至少一实施例提供了一种用于穿刺装置的穿刺导航系统，所述穿刺装置包括基座、穿刺针、超声探头和具有至少一个穿刺控制件的穿刺控制部，所述穿刺导航系统包括定位模块、超声图像获取模块、穿刺规划模块、坐标系转换模块、第一运动路径确定模块、第二运动路径确定模块和导航处理模块。定位模块配置为基于所述基座对所述穿刺针进行定位，确定所述穿刺针在空间坐标系内的第一三维坐标信息，所述空间坐标系是基于所述基座建立的坐标系。超声图像获取模块配置为获取所述超声探头采集的目标组织的一组超声图像，以确定所述一组超声图像对应的三维超声图像。穿刺规划模块配置为基于所述三维超声图像进行用于所述穿刺针的穿刺规划，以确定穿刺规划信息，其中，所述穿刺规划信息包括所述穿刺针的进针点位置、所述穿刺针的进针方向和所述穿刺针的目标穿刺点位置。坐标系转换模块配置为建立所述超声图像的图像坐标系与所述空间坐标系之间的转换关系，使得基于所述转换关系确定所述第一三维坐标信息在所述图像坐标系内的实时图像位置，以实时地在所述图像坐标系中可视化所述穿刺针与所述目标穿刺点位置之间的相对位置。第一运动路径确定模块配置为在所述图像坐标系中，基于所述穿刺针与所述目标穿刺点位置之间的相对位置确定所述穿刺针的第一运动路径。第二运动路径确定模块配置为基于所述图像坐标系内的所述第一运动路径确定与所述穿刺针具有一预定位置关系的穿刺导向件在所述空间坐标系内的第二运动路径。导航处理模块配置为在所述空间坐标系中，基于所述第二运动路径，通过所述至少一个穿刺控制件进行所述穿刺针的导航。
6.例如，在本公开至少一实施例提供的一种穿刺导航系统中，所述导航处理模块包括：控制件运动轨迹确定单元，配置为基于所述穿刺装置和所述第二运动路径确定所述至少一个穿刺控制件中的每个的运动轨迹；驱动装置，与所述至少一个穿刺控制件驱动连接且配置为驱动所述至少一个穿刺控制件中的每个沿对应的运动轨迹进行运动，以导航所述穿刺针。
7.例如，在本公开至少一实施例提供的一种穿刺导航系统中，所述穿刺针的所述第一三维坐标信息包括所述穿刺针的针尖在所述空间坐标系内的三维坐标信息，所述穿刺针的所述第一运动路径包括所述穿刺针的针尖的第一运动路径。
8.例如，在本公开至少一实施例提供的一种穿刺导航系统中，所述至少一个穿刺控制件包括穿刺定位臂组和穿刺深度控制挡板，所述穿刺定位臂组设置在所述基座上，且所述穿刺定位臂组配置为对所述穿刺针进行穿刺定位，所述穿刺深度控制挡板包括所述穿刺导向件；所述穿刺导向件为供所述穿刺针通过的非闭合定位孔，所述第二运动路径确定模块包括：第一确定单元，配置为基于所述穿刺针在所述图像坐标系内的穿刺针图像规格和所述第一运动路径确定所述非闭合定位孔在所述图像坐标系内的第三运动路径；第二确定单元，配置为基于所述转换关系和所述图像坐标系中的所述第三运动路径确定所述非闭合定位孔在所述空间坐标系内的所述第二运动路径。
9.例如，在本公开至少一实施例提供的一种穿刺导航系统中，所述定位模块配置为根据所述非闭合定位孔在所述空间坐标系内的三维坐标信息和所述穿刺针在所述空间坐标系内的穿刺针实际物理规格确定所述穿刺针的所述第一三维坐标信息。
10.例如，本公开至少一实施例提供的一种穿刺导航系统还包括显示模块，其中，所述显示模块配置为实时地可视化以下的至少一种：所述超声图像、所述三维超声图像、所述穿刺针的针尖、所述穿刺针的针尖与所述目标穿刺点位置之间的相对位置、所述穿刺针的第一运动路径。
11.例如，本公开至少一实施例提供的一种穿刺导航系统还包括校正模块，其中，所述校正模块包括：比较单元，配置为比较所述穿刺规划信息的所述进针方向和所述显示模块实时可视化的所述第一运动路径的当前方向，确定所述进针方向与所述当前方向之间的偏差值；校正控制单元，配置为：响应于所述偏差值大于等于预设角度偏差，基于所述偏差值更新所述穿刺针的第一运动路径以更新所述第二运动路径，使得所述导航处理模块基于更新后的第二运动路径，通过所述至少一个穿刺控制件进行所述穿刺针的导航，直至所述进针方向与所述当前方向之间的偏差值小于所述预设角度偏差。
12.例如，在本公开至少一实施例提供的一种穿刺导航系统中，所述定位模块还配置为对所述超声探头进行定位，确定所述超声探头在所述空间坐标系内的第二三维坐标信息。
13.例如，在本公开至少一实施例提供的一种穿刺导航系统中，所述基座的中心作为所述空间坐标系的原点或所述基座上与所述至少一个穿刺控制件中对应的穿刺控制件进行连接的位置处作为所述空间坐标系的原点，使得所述定位模块基于所述穿刺针与所述基座之间的位置关系确定所述穿刺针的所述第一三维坐标信息，以及基于所述超声探头与所述基座之间的位置关系确定所述超声探头的所述第二三维坐标信息。
14.例如，在本公开至少一实施例提供的一种穿刺导航系统中，所述坐标系转换模块
包括：坐标系转换单元，配置为基于所述超声图像和所述超声探头的第二三维坐标信息将所述超声图像的图像坐标系转换至所述空间坐标系，以建立所述图像坐标系与所述空间坐标系之间的所述转换关系。
15.例如，在本公开至少一实施例提供的一种穿刺导航系统中，所述坐标系转换单元包括：形态学图像处理单元，配置为对所述超声图像进行形态学图像处理以确定目标图像区域；像素统计单元，配置为基于所述目标图像区域获取像素统计分布；转换处理单元，配置为基于所述像素统计分布图以及预先确定的所述超声探头的直径，确定所述超声探头的直径与所述超声探头的直径所占用的像素间距个数之间的转换比率；转换建立单元，配置为基于所述转换比率和所述第二三维坐标信息，将所述图像坐标系转换至所述空间坐标系。
16.例如，在本公开至少一实施例提供的一种穿刺导航系统中，所述形态学图像处理单元包括：二值化子单元，配置为对所述超声图像进行二值化以获取第一处理图像；标签化处理子单元，配置为通过对所述第一处理图像进行区域连通与标记得到多个标识连通区域以获取第二处理图像，从所述多个标识连通区域中获取所述目标图像区域，从而获取第三处理图像，其中，所述目标图像区域包括所述多个标识连通区域中的区域最大和次大的两个目标标识连通区域。
17.例如，在本公开至少一实施例提供的一种穿刺导航系统中，所述转换处理单元包括：界定处理子单元，配置为基于所述像素统计分布获取所述两个目标标识连通区域的横断面与矢断面的分界线以及所述分界线对应的像素坐标；圆心获取子单元，配置为基于所述分界线确定所述第三处理图像上所述两个目标标识连通区域彼此靠近端围成的半圆区域的圆心，其中，所述半圆区域与所述标识连通区域不同色；像素与物理距离转换子单元，配置为确定所述超声探头的直径，以及基于所述圆心确定所述直径所占用的像素间距个数，并基于所述直径所占用的像素间距个数确定所述转换比率。
18.例如，在本公开至少一实施例提供的一种穿刺导航系统中，所述转换建立单元包括：第一建立子单元，配置为基于所述圆心、所述转换比率和所述分界线对应的像素坐标确定相互垂直的横轴和纵轴；第二建立子单元，配置为将所述超声探头的深度作为竖轴，并基于所述一组超声图像和所述第二三维坐标信息，将所述图像坐标系转换至所述空间坐标系。
19.本公开至少一实施例还提供了一种用于穿刺装置的穿刺导航方法，所述穿刺装置包括基座、穿刺针、超声探头和具有至少一个穿刺控制件的穿刺控制部。所述穿刺导航方法包括：建立空间坐标系，所述空间坐标系是基于所述基座建立的坐标系；基于所述基座确定所述穿刺针在所述空间坐标系内的第一三维坐标信息；获取所述超声探头采集的目标组织的一组超声图像，以确定所述一组超声图像对应的三维超声图像；基于所述三维超声图像进行用于所述穿刺针的穿刺规划，以确定穿刺规划信息，其中，所述穿刺规划信息包括所述穿刺针的进针点位置、所述穿刺针的进针方向和所述穿刺针的目标穿刺点位置；建立所述超声图像的图像坐标系与所述空间坐标系之间的转换关系，使得基于所述转换关系确定所述第一三维坐标信息在所述图像坐标系内的实时图像位置，以实时地在所述图像坐标系中可视化所述穿刺针与所述目标穿刺点位置之间的相对位置；在所述图像坐标系中，基于所述穿刺针与所述目标穿刺点位置之间的相对位置确定所述穿刺针的第一运动路径；基于所
述图像坐标系内的所述第一运动路径确定与所述穿刺针具有一预定位置关系的穿刺导向件在所述空间坐标系内的第二运动路径；在所述空间坐标系中，基于所述第二运动路径，通过所述至少一个穿刺控制件进行所述穿刺针的导航。
20.例如，在本公开至少一实施例提供的一种穿刺导航方法中，在所述空间坐标系中，基于所述第二运动路径，通过所述至少一个穿刺控制件进行所述穿刺针的导航，包括：基于所述穿刺装置和所述第二运动路径确定所述至少一个穿刺控制件中的每个的运动轨迹；驱动所述至少一个穿刺控制件中的每个沿对应的运动轨迹进行运动，以导航所述穿刺针。
21.例如，在本公开至少一实施例提供的一种穿刺导航方法中，所述穿刺针的所述第一三维坐标信息包括所述穿刺针的针尖在所述空间坐标系内的三维坐标信息，所述穿刺针的所述第一运动路径包括所述穿刺针的针尖的第一运动路径。
22.例如，在本公开至少一实施例提供的一种穿刺导航方法中，所述至少一个穿刺控制件包括穿刺定位臂组和穿刺深度控制挡板，所述穿刺定位臂组设置在所述基座上，且所述穿刺定位臂组配置为对所述穿刺针进行穿刺定位，响应于所述穿刺深度控制挡板包括所述穿刺导向件且所述穿刺导向件为供所述穿刺针通过的所述非闭合定位孔，基于所述图像坐标系内的所述第一运动路径确定与所述穿刺针具有一预定位置关系的穿刺导向件在所述空间坐标系内的第二运动路径，包括：基于所述穿刺针在所述图像坐标系内的穿刺针图像规格和所述第一运动路径确定所述非闭合定位孔在所述图像坐标系内的第三运动路径；基于所述转换关系和所述图像坐标系中的所述第三运动路径确定所述非闭合定位孔在所述空间坐标系内的所述第二运动路径。
23.例如，在本公开至少一实施例提供的一种穿刺导航方法中，基于所述基座确定所述穿刺针在所述空间坐标系内的第一三维坐标信息，包括；根据所述非闭合定位孔在所述空间坐标系内的三维坐标信息和所述穿刺针在所述空间坐标系内的穿刺针实际物理规格确定所述穿刺针的所述第一三维坐标信息，使得所述第一三维坐标信息包括所述穿刺针在所述空间坐标系内的三维坐标信息。
24.例如，本公开至少一实施例提供的一种穿刺导航方法还包括：实时地可视化以下的至少一种：所述超声图像、所述三维超声图像、所述穿刺针的针尖、所述穿刺针的针尖与所述目标穿刺点位置之间的相对位置、所述穿刺针的第一运动路径。
25.例如，本公开至少一实施例提供的一种穿刺导航方法还包括：比较所述穿刺规划信息的所述进针方向和实时可视化的所述第一运动路径的当前方向，确定所述进针方向与所述当前方向之间的偏差值；响应于所述偏差值大于等于预设角度偏差，基于所述偏差值更新所述穿刺针的第一运动路径以更新所述第二运动路径，使得基于更新后的第二运动路径，通过所述至少一个穿刺控制件进行所述穿刺针的导航，直至所述进针方向与所述当前方向之间的偏差值小于所述预设角度偏差。
26.例如，本公开至少一实施例提供的一种穿刺导航方法还包括：基于所述基座确定所述超声探头在所述空间坐标系内的第二三维坐标信息。
27.例如，在本公开至少一实施例提供的一种穿刺导航方法中，建立所述超声图像的图像坐标系与所述空间坐标系之间的转换关系，包括：基于所述超声图像和所述超声探头的第二三维坐标信息将所述超声图像的图像坐标系转换至所述空间坐标系，以建立所述图像坐标系与所述空间坐标系之间的所述转换关系。
28.例如，在本公开至少一实施例提供的一种穿刺导航方法中，基于所述超声图像和所述超声探头的第二三维坐标信息将所述超声图像的图像坐标系转换至所述空间坐标系，包括：对所述超声图像进行形态学图像处理，确定目标图像区域；基于所述目标图像区域，获取像素统计分布；基于所述像素统计分布图以及预先确定的所述超声探头的直径，确定所述超声探头的直径与所述超声探头的直径所占用的像素间距个数之间的转换比率；基于所述转换比率和所述第二三维坐标信息，将所述图像坐标系转换至所述空间坐标系。
29.例如，在本公开至少一实施例提供的一种穿刺导航方法中，对所述超声图像进行形态学图像处理，确定目标图像区域，包括：对所述超声图像进行二值化，获取第一处理图像；对所述第一处理图像进行区域连通与标记得到多个标识连通区域以获取第二处理图像，从所述多个标识连通区域中确定所述目标图像区域，从而获取第三处理图像，其中，所述目标图像区域包括所述多个标识连通区域中的区域最大和次大的两个目标标识连通区域。
30.例如，在本公开至少一实施例提供的一种穿刺导航方法中，基于所述像素统计分布图以及预先确定的所述超声探头的直径，确定所述直径与所述直径所占用的像素间距个数之间的转换比率，包括：基于所述像素统计分布获取所述两个目标标识连通区域的横断面与矢断面的分界线以及所述分界线对应的像素坐标；基于所述分界线确定所述第三处理图像上所述两个目标标识连通区域彼此靠近端围成的半圆区域的圆心，其中，所述半圆区域与所述标识连通区域不同色；确定所述超声探头的直径，以及基于所述圆心确定所述直径所占用的像素间距个数，并基于所述直径所占用的像素间距个数确定所述转换比率。
31.例如，在本公开至少一实施例提供的一种穿刺导航方法中，基于所述转换比率和所述第二三维坐标信息，将所述图像坐标系转换至所述空间坐标系，包括：基于所述圆心、所述转换比率和所述分界线对应的像素坐标确定相互垂直的横轴和纵轴；将所述超声探头的深度作为竖轴，并基于所述一组超声图像对应的第三处理图像和所述第二三维坐标信息，将所述图像坐标系转换至所述空间坐标系。
32.例如，在本公开至少一实施例提供的一种穿刺导航方法中，对所述第一处理图像进行区域连通与标记得到多个标识连通区域以获取第二处理图像，从所述多个标识连通区域中确定所述目标图像区域，从而获取第三处理图像，包括：基于所述第二处理图像，去除所述第二处理图像在纵向上相对的第一侧和第二侧的标识连通区域；在所述多个标识连通区域中选取出区域最大和次大的两个目标标识连通区域；舍弃所述多个标识连通区域中的像素和小于预设值的标识连通区域，获取所述第三处理图像。
33.例如，在本公开至少一实施例提供的一种穿刺导航方法中，所述像素统计分布包括所述第三处理图像的纵向的像素和的分布。
34.例如，在本公开至少一实施例提供的一种穿刺导航方法中，基于所述像素统计分布获取所述两个目标标识连通区域的横断面与矢断面的分界线以及所述分界线对应的像素坐标，包括：将所述像素统计分布中的极值点对应的像素坐标的横向直线作为所述分界线；基于所述分界线获取所述两个目标标识连通区域的边界，确定所述两个目标标识连通区域中的至少一个的边界的像素坐标。
35.例如，在本公开至少一实施例提供的一种穿刺导航方法中，基于所述分界线确定所述第三处理图像上所述两个目标标识连通区域彼此靠近端围成的半圆区域的圆心，包
括：基于所述分界线，确定所述分界线或平行于所述分界线的直线经过所述半圆区域而与所述目标标识连通区域相交的四个交点；获取所述四个交点中的中间的两个目标交点；基于所述两个目标交点获取所述半圆区域的所述圆心。
36.本公开至少一实施例提供了一种电子设备，包括：处理器和存储器，其中，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如上文任一项所述的穿刺导航方法。
37.本公开至少一实施例提供了一种计算机可读存储介质，其中，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现如上述任一示例中所述的穿刺导航方法。
38.本公开至少一实施例又提供了一种穿刺装置，包括：基座，配置为基于其建立空间坐标系；穿刺针，其中，所述穿刺针在所述空间坐标系内的位置信息为第一三维坐标信息；穿刺控制部，包括至少一个穿刺控制件，其中，所述至少一个穿刺控制件包括穿刺定位臂组和穿刺深度控制挡板，所述穿刺定位臂组设置在所述基座上，且所述穿刺定位臂组配置为对所述穿刺针进行穿刺定位，所述穿刺深度控制挡板具有供所述穿刺针通过的非闭合定位孔；超声探头，配置为采集目标组织的一组超声图像以确定所述一组超声图像对应的三维超声图像，使得基于所述三维超声图像进行用于所述穿刺针的穿刺规划以确定穿刺规划信息以及使得通过建立所述超声图像的图像坐标系与所述空间坐标系之间的转换关系以基于所述转换关系确定所述第一三维坐标信息在所述图像坐标系内的实时图像位置，以实时地在所述图像坐标系中可视化所述穿刺针与所述目标穿刺点位置之间的相对位置，所述穿刺规划信息包括所述穿刺针的进针点位置、所述穿刺针的进针方向和所述穿刺针的目标穿刺点位置；其中，在所述图像坐标系中，基于所述穿刺针与所述目标穿刺点位置之间的相对位置确定所述穿刺针的第一运动路径，基于所述图像坐标系内的所述第一运动路径确定与所述穿刺针具有一预定位置关系的穿刺导向件在所述空间坐标系内的第二运动路径，在所述空间坐标系中，基于所述穿刺导向件的所述第二运动路径，通过所述至少一个穿刺控制件进行所述穿刺针的导航。
39.例如，在本公开至少一实施例提供的一种穿刺装置中，所述超声探头可移动地设置在所述基座上，所述超声探头在所述空间坐标系内的位置信息为第二三维坐标信息，使得基于所述超声图像和所述第二三维坐标信息将所述超声图像的图像坐标系转换至所述空间坐标系，以建立所述图像坐标系与所述空间坐标系之间的所述转换关系。
附图说明
40.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1a-图1b本公开一些实施例提供的穿刺装置的结构示意图；
42.图2为本公开一些实施例提供的穿刺装置的穿刺装置的局部结构示意图；
43.图3为本公开一些实施例提供的穿刺导航方法的流程图；
44.图4为本公开一些实施例提供的图3中步骤s8的流程图；
45.图5为本公开一些实施例提供的图3中步骤s7的流程图；
46.图6为本公开一些实施例提供的超声图像的原始图像的示意图；
47.图7为本公开一些实施例提供的非闭合定位孔在空间坐标系内的第二运动路径的原理示意图；
48.图8为本公开一些实施例提供的图像坐标系转至空间坐标系的流程图；
49.图9为本公开一些实施例提供的图8中步骤s51的流程图；
50.图10为本公开一些实施例提供的第二处理图像的示意图；
51.图11为本公开一些实施例提供的第三处理图像的示意图；
52.图12为本公开一些实施例提供的图9中步骤s512的流程图；
53.图13为本公开一些实施例提供的像素统计分布的示意图；
54.图14为本公开一些实施例提供的图8中步骤s53的流程图；
55.图15为本公开一些实施例提供的图14中步骤s532的流程图；
56.图16为本公开一些实施例提供的第三处理图像的示意图；
57.图17为本公开一些实施例提供的获取弧度的轮廓点集合的示意图；
58.图18为本公开一些实施例提供的图8中步骤s54的流程图；
59.图19a为本公开的一些实施例提供的二维的超声图像的横断面示意图；
60.图19b为本公开的一些实施例提供的图19a中二维的超声图像对应的三维超声图像的示意图；
61.图20为本公开一些实施例提供的穿刺导航系统的模块组成示意图；
62.图21为本公开一些实施例提供的导航处理模块的组成示意图；
63.图22为本公开一些实施例提供的第二运动路径确定模块的组成示意图；
64.图23为本公开一些实施例提供的坐标系转换单元的组成示意图；
65.图24为本公开另一些实施例提供的坐标系转换单元的组成示意图；
66.图25为本公开一些实施例提供的校正模块的组成示意图；
67.图26为本公开一些实施例提供的一种电子设备的框图。
具体实施方式
68.下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
69.除非另有定义，本公开实施例使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非本公开实施例明确地这样定义。
70.本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件
或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
71.本公开中的目标组织是指器官或器官的一部分，例如，前列腺、肝脏、胰腺、心脏等，而病灶则位于目标组织内。
72.穿刺活检是骨与软组织肿瘤获取组织病理诊断的主要方法，例如对目标组织进行穿刺活检之后，可以获得病灶区域。然而目前一些导航系统都是借助于双目视觉定位装置，通过在穿刺针和超声探头上设置可进行光学定位的光学标记件，将穿刺针与肿瘤的三维位置关系进行实时显示。但是若采用这种方式，不仅需要双目视觉定位装置，还需要在穿刺针和超声探头上设置光学标记件，这样不仅费用较高，而且还使得超声探头和穿刺针的结构更加复杂，给操作者的操作带来极大的不便。
73.本公开至少一实施例提供了一种用于穿刺装置的穿刺导航系统，穿刺装置包括基座、穿刺针、超声探头和具有至少一个穿刺控制件的穿刺控制部。穿刺导航系统包括定位模块、超声图像获取模块、穿刺规划模块、坐标系转换模块、第一运动路径确定模块、第二运动路径确定模块和导航处理模块。定位模块配置为基于基座对穿刺针进行定位，确定穿刺针在空间坐标系内的第一三维坐标信息，空间坐标系是基于基座建立的坐标系。超声图像获取模块配置为获取超声探头采集的目标组织的一组超声图像，以确定一组超声图像对应的三维超声图像。穿刺规划模块配置为基于三维超声图像进行用于穿刺针的穿刺规划，以确定穿刺规划信息，其中，穿刺规划信息包括穿刺针的进针点位置、穿刺针的进针方向和穿刺针的目标穿刺点位置。坐标系转换模块配置为建立超声图像的图像坐标系与空间坐标系之间的转换关系，使得基于转换关系确定第一三维坐标信息在图像坐标系内的实时图像位置，以实时地在图像坐标系中可视化穿刺针与目标穿刺点位置之间的相对位置。第一运动路径确定模块配置为在图像坐标系中，基于穿刺针与目标穿刺点位置之间的相对位置确定穿刺针的第一运动路径。第二运动路径确定模块配置为基于图像坐标系内的第一运动路径确定与穿刺针具有一预定位置关系的穿刺导向件在空间坐标系内的第二运动路径。导航处理模块配置为在空间坐标系中，基于第二运动路径，通过至少一个穿刺控制件进行穿刺针的导航。之后基于第二运动路径进行穿刺针的导航，对目标组织进行穿刺活检之后，可以获得病灶区域。
74.本公开至少一实施例还提供了一种对应于上述穿刺导航系统的穿刺导航方法，穿刺导航方法包括：建立空间坐标系，空间坐标系是基于基座建立的坐标系；基于基座确定穿刺针在空间坐标系内的第一三维坐标信息；获取超声探头采集的目标组织的一组超声图像，以确定一组超声图像对应的三维超声图像；基于三维超声图像进行用于穿刺针的穿刺规划，以确定穿刺规划信息，其中，穿刺规划信息包括穿刺针的进针点位置、穿刺针的进针方向和穿刺针的目标穿刺点位置；建立超声图像的图像坐标系与空间坐标系之间的转换关系，使得基于转换关系确定第一三维坐标信息在图像坐标系内的实时图像位置，以实时地在图像坐标系中可视化穿刺针与目标穿刺点位置之间的相对位置；在图像坐标系中，基于穿刺针与目标穿刺点位置之间的相对位置确定穿刺针的第一运动路径；基于图像坐标系内的第一运动路径确定与穿刺针具有一预定位置关系的穿刺导向件在空间坐标系内的第二运动路径；在空间坐标系中，基于第二运动路径，通过至少一个穿刺控制件进行穿刺针的导航。
75.本公开的实施例的穿刺导航系统或方法适用于各种具有穿刺主体与超声探头的穿刺装置的导航，在不采用双目视觉定位装置，也不在穿刺针和超声探头上设置光学标记件的情况下，可以实现实时获取并可视化穿刺针与目标穿刺点之间的位置关系，从而能够节省成本，也能降低超声和穿刺针结构的复杂度，便于操作者操作。
76.下面结合附图对本公开的实施例及其示例进行详细说明。
77.图1a-图1b为本公开一些实施例提供的穿刺装置的结构示意图。图2为本公开一些实施例提供的穿刺装置的局部结构示意图。
78.本公开至少一实施例提供的穿刺装置包括基座、穿刺针、超声探头和穿刺控制部。为了本公开的说明清楚且简明，下文以图1a、图1b和图2示意的穿刺装置为例进行说明，但是本公开的导航系统和导航方法对适用的穿刺装置的结构或构造等并不作限制。
79.例如，如图1a和图1b所示，穿刺装置1000可包括超声组件1100、穿刺针1200和穿刺控制部，通过超声组件1100获取超声图像，以便于指导穿刺针1200在穿刺控制部的控制作用下进行穿刺定位并穿刺到预定深度，以实现对穿刺针1200的导航，从而实现对目标组织的穿刺活检。
80.在一些示例中，穿刺控制部可包括至少一个穿刺控制件，例如，穿刺控制部可包括一个穿刺控制件、两个穿刺控制件或更多个穿刺控制件等。例如，当穿刺控制部包括两个以上的穿刺控制件时，穿刺控制件彼此之间可具有联动关系，以便更灵活地对穿刺针1200进行导航。当然，本公开的实施例不仅限于此，穿刺控制件彼此之间也可以不具有联动关系，只要能够实现对穿刺针1200的导航即可，本公开的实施例对此不作限制。
81.在一些示例中，穿刺控制部的至少一个穿刺控制件中的每个被配置为与驱动机构连接并由驱动机构直接驱动运动，以实现对穿刺针1200的导航。
82.本公开的实施例对穿刺控制部的穿刺控制件和穿刺针1200之间的连接或相对位置关系不作限制，例如穿刺控制件可以与穿刺针1200连接，也可以不连接，例如穿刺针1200可以位于穿刺控制件之上，也可以不位于穿刺控制件之上，具体可以根据实际情况进行自由调整，只要能够实现穿刺针1200的穿刺定位和穿刺深度控制即可，本公开的实施例不再穷举和赘述。
83.在一些示例中，如图1a、图1b和图2所示，穿刺装置1000还可包括穿刺导向释放机构1300和穿刺定位臂组1600。
84.例如，穿刺导向释放机构1300包括穿刺针导向支臂1310和位于穿刺针导向支臂1310侧部的开合瓣1320，开合瓣1320闭合时具有供穿刺针1200通过的过孔1330。穿刺针导向支臂1310包括导向器械盒1360，开合瓣1320设置在导向器械盒1360上。穿刺定位臂组1600被配置为响应于控制信号将穿刺针导向支臂1310移动至穿刺位置。穿刺导向释放机构1300还可包括穿刺深度控制挡板1340，穿刺深度控制挡板1340例如通过滑槽等滑动机构沿穿刺针导向支臂1310的轴向滑动设置在穿刺针导向支臂1310侧部，穿刺深度控制挡板1340上具有供穿刺针1200通过的非闭合定位孔1350。穿刺深度控制挡板1340设置在开合瓣1320的后方，穿刺深度控制挡板1340的非闭合定位孔1350与开合瓣1320闭合形成的过孔1330相对。
85.在一些示例中，穿刺装置1000还可包括穿刺板1400。穿刺板1400可以使得穿刺针1200在体外固定，通过在体外固定穿刺针1200，提高了针体的稳定性，进而可以提高手术质
量。
86.例如，超声组件1100包括超声探头和探头控制组件，探头控制组件被配置为控制超声探头的探测位置及探测方向，从而使得超声探头获取超声图像。
87.在一些示例中，通过超声探头获取超声图像，并基于超声图像，控制穿刺定位臂组1600进行穿刺定位，将穿刺针导向支臂1310移动至穿刺位置，而且还控制穿刺深度控制挡板1340滑动到相应位置。此时，开合瓣1320闭合形成过孔1330，将穿刺针1200与穿刺深度控制挡板1340的非闭合定位孔1350的侧壁贴合并从过孔1330中穿出，经由穿刺板1400，插入到目标穿刺点。
88.在一些示例中，由于穿刺深度控制挡板1340的非闭合定位孔1350和穿刺针的针尖之间的相对位置固定，例如穿刺针的针尖的目标穿刺点位置减去穿刺针1200的穿刺针实际物理规格可得到非闭合定位孔1350需要到达的目标终点位置，因此，本公开一些实施例通过将非闭合定位孔1350从起始位置移带动到终点位置并将穿刺针1200与穿刺深度控制挡板1340的非闭合定位孔1350的侧壁贴合并从过孔1330中穿出，沿着导向器械盒1360的方向进行穿刺，从而可使穿刺针1200的针尖插入到目标穿刺点。
89.在一些示例中，穿刺控制部的至少一个穿刺控制件包括穿刺定位臂组1600和穿刺深度控制挡板1340。
90.例如，穿刺定位臂组1600与对应的驱动机构连接，使得穿刺定位臂组1600被驱动机构驱动，从而带动穿刺针导向支臂1310移动至穿刺位置。例如，穿刺深度控制挡板1340与对应的驱动机构连接，使得穿刺深度控制挡板1340被控制滑动到相应位置。
91.在一些示例中，穿刺定位臂组1600可以为连杆机构，此时穿刺定位臂组1600的一部分(记为第一部分)可与驱动机构连接而被直接驱动运动，且穿刺定位臂组1600的另一部分(记为第二部分)不由驱动机构直接驱动连接而由穿刺定位臂组1600的第一部分的运动被带动运动。如此，穿刺控制部的穿刺控制件包括穿刺定位臂组1600的第一部分。当然，此仅仅为示例性的，并不为本公开的限制，可以根据穿刺装置的具体结构形式的穿刺定位臂组1600的结构而定，此处不再赘述。
92.在一些示例中，穿刺装置1000还可包括基座1500，用于支撑穿刺装置主体。穿刺定位臂组1600设置在基座1500上。超声组件1100设置在基座1500上。例如，超声探头可移动地设置在基座1500上。例如，穿刺定位臂组1600的固定端活动连接在基座1500上。
93.在一些示例中，超声组件1100的探头控制组件包括超声进给平台1110和超声回转平台(未图示)，超声进给平台1110可以使得超声探头沿该超声探头的轴向移动，超声回转平台可以使得超声探头沿该超声探头的轴线转动，由此可控制超声探头的深度和角度。
94.在一些示例中，穿刺控制部的至少一个穿刺控制件为三个穿刺控制件，这三个穿刺控制件中的两个穿刺控制件为穿刺定位臂组1600中的两个穿刺控制件(例如记为第一穿刺控制件和第二穿刺控制件)且第三个穿刺控制件即为穿刺深度控制挡板1340。例如，这三个穿刺控制件中的第一穿刺控制件和第二穿刺控制件分别为：通过一个转轴与基座1500进行活动连接的一个穿刺定位臂，以及基于该转轴可转动的另一个传动杆。此仅仅为示例性的，并不为本公开的限制，有关穿刺定位臂组1600中具有的穿刺控制件的个数和构造等可以根据实际情况进行自由调整，由于此不为本公开需要描述的重点，此处不再赘述。
95.需要说明的是，为了本公开的说明清楚且简明，本文主要以图1a、图1b和图2示意
的穿刺装置为例进行说明，但是本公开的导航系统和导航方法对适用的穿刺装置的结构或构造等并不作限制，其还可适用于其他结构或构造设计的具有基座、穿刺针、穿刺控制部和超声探头的穿刺装置。还需要说明的是，鉴于穿刺装置的具体结构并不为本公开需要描述的重点内容，在此不做赘述。
96.图3为本公开一些实施例提供的穿刺导航方法的流程图。
97.例如，如图3所示，本公开至少一实施例提供的用于穿刺装置的穿刺导航方法包括步骤s1至步骤s6。
98.步骤s1、建立空间坐标系，其中，该空间坐标系可以是基于基座1500建立的，例如基于基座1500建立的世界坐标系。
99.步骤s2、基于基座1500确定穿刺针1200在空间坐标系内的第一三维坐标信息。
100.步骤s3、获取超声探头采集的目标组织的一组超声图像，以确定这一组超声图像对应的三维超声图像。
101.步骤s4、基于三维超声图像进行用于穿刺针1200的穿刺规划，以确定穿刺规划信息，其中，穿刺规划信息包括穿刺针1200的进针点位置、穿刺针1200的进针方向和穿刺针1200的目标穿刺点位置。
102.步骤s5、建立超声图像的图像坐标系与空间坐标系之间的转换关系，以使得基于图像坐标系与空间坐标系之间的转换关系确定第一三维坐标信息在图像坐标系内的实时图像位置，以实时地在图像坐标系中可视化穿刺针1200与目标穿刺点位置之间的相对位置。
103.步骤s6、在图像坐标系中，基于穿刺针1200与目标穿刺点位置之间的相对位置确定穿刺针1200的第一运动路径。
104.步骤s7、基于图像坐标系内的第一运动路径确定与穿刺针1200具有一预定位置关系的穿刺导向件(例如穿刺导向为穿刺深度控制挡板1340的非闭合定位孔1350，具体可见下文)在空间坐标系内的第二运动路径。
105.步骤s8、在空间坐标系中，基于穿刺导向件的第二运动路径，通过至少一个穿刺控制件进行穿刺针1200的导航。
106.本公开的实施例的穿刺导航方法在不采用双目视觉定位装置，也不在穿刺针和超声探头上设置光学标记件的情况下，可以实时获取穿刺针与目标穿刺点之间的相对位置关系，从而能够节省成本，也能降低超声和穿刺针结构的复杂度，便于操作者操作。
107.本公开的实施例通过将穿刺针从空间坐标系转换至图像坐标系，使得能将穿刺针与目标穿刺点之间的相对位置进行可视化，直观地向用于展示，而且本公开的实施例通过直观展示来对穿刺导航进行自动补偿，有利于提升穿刺导航的精准度，实现更精准治疗。
108.本公开的实施例基于坐标系转换和图像穿刺规划，能够巧妙地实现穿刺针的导航，易于达到预期效果，操作简便，避免额外成本的增加。
109.图4为本公开一些实施例提供的图3中步骤s8的流程图。
110.例如，如图4所示，步骤s8包括步骤s81至步骤s82。
111.步骤s81、基于穿刺装置1000和第二运动路径确定穿刺控制部的至少一个穿刺控制件中的每个的运动轨迹。
112.步骤s82、驱动穿刺控制部的至少一个穿刺控制件中的每个沿对应的运动轨迹进
行运动，以导航穿刺针1200。
113.本公开的实施例的穿刺导航方法根据穿刺针与目标穿刺点之间的相对位置来确定所选择的穿刺导向件对应的第二运动路径，从而确定穿刺装置中需要运动的各个部件的运动轨迹以实现穿刺导航，这样可使适用的穿刺装置的范围更广，操作简便，成本低。
114.例如，为了表述清楚与方便，将步骤s1中的穿刺装置1000的基座1500上的其中一点的坐标信息记为(0,0,0)，步骤s2中的第一三维坐标信息记为(x1,y1,z1)。
115.在一些示例中，穿刺针1200的第一三维坐标信息(x1,y1,z1)包括穿刺针1200的针尖在空间坐标系内的三维坐标信息。由此，穿刺针1200的第一运动路径包括穿刺针1200的针尖的第一运动路径。本公开的实施例利用穿刺针的针尖来定位穿刺针的三维坐标信息，由于穿刺针的针尖的位置容易获取，使得穿刺针的三维坐标信息也易于获取，从而有利于穿刺针的导航的实现。
116.在一些示例中，穿刺针的第一三维坐标信息在图像坐标系内的实时图像位置可视为一个起始位置，目标穿刺点位置可视为一个对应起始位置的目标终点位置，从而可以根据起始位置和目标终点位置在图像坐标系内确定穿刺针在起始位置和目标终点位置之间的运动路径规划。
117.在一些示例中，步骤s2可以在步骤s3之前执行，也可以在步骤s3之后执行，步骤s2和步骤s3也可以同时执行，本公开的实施例对两者执行的先后顺序不作限制。
118.现根据图5-图18来对本公开实施例中的穿刺导向件为非闭合定位孔1350的情况下的穿刺导航方法进行非限制性说明。
119.图5为本公开一些实施例提供的图3中步骤s7的流程图
120.例如，如图5所示，响应于穿刺导向件为非闭合定位孔1350，步骤s7包括步骤s71至步骤s72。
121.步骤s71、基于穿刺针1200在图像坐标系内的穿刺针图像规格和第一运动路径确定非闭合定位孔1350在图像坐标系内的第三运动路径。
122.步骤s72、基于图像坐标系与空间坐标系之间的转换关系和图像坐标系中的第三运动路径确定非闭合定位孔1350在空间坐标系内的第二运动路径。
123.本公开的实施例可以根据穿刺装置中作为确定量的非闭合定位孔来确定用于指导穿刺针进行导航的运动路径，导航求解简单方便，适用范围广泛，有利于穿刺针的导航的实现。
124.在一些示例中，对于步骤s7，穿刺导向件可以是穿刺深度控制挡板1340的非闭合定位孔1350，但是本公开的实施例的穿刺导向件不仅限于此，例如其还可以是穿刺针导向支臂1310或者过孔1330或者穿刺导向释放机构1300上其他用于穿刺导向的合适位置，只要是与穿刺针1200具有一个确定的相对位置关系的合理位置即可，这里不再赘述。为了本文的清楚与简洁，下文主要以穿刺导向件为穿刺深度控制挡板1340的非闭合定位孔1350为例进行说明。
125.在一些示例中，穿刺导航方法的步骤s2包括以下过程或步骤：根据非闭合定位孔1350在空间坐标系内的三维坐标信息和穿刺针1200在空间坐标系内的针规格(即穿刺针实际物理规格)确定穿刺针1200的第一三维坐标信息，使得第一三维坐标信息包括穿刺针1200在空间坐标系内的三维坐标信息。例如，穿刺针1200在空间坐标系内的针规格可记为
穿刺针实际物理规格。
126.在一些示例中，穿刺针1200的穿刺针实际物理规格包括针的裸露长度，穿刺针实际物理规格可以表示穿刺针1200在空间坐标系下的实际物理尺寸。穿刺针图像规格表示穿刺针1200在图像坐标系下的图像尺寸，该图像尺寸是基于穿刺针的穿刺针实际物理规格映射到图像坐标系得到的一种规格，例如穿刺针的穿刺针实际物理规格按照图像分辨率向图像坐标系进行映射，以确定出穿刺针图像规格。
127.本公开的实施例可以根据穿刺装置中作为确定量的非闭合定位孔来确定穿刺针的三维坐标信息，使得穿刺针的三维坐标信息精确并易于获取，从而有利于穿刺针的导航的实现，适用范围广泛。
128.在一些示例中，穿刺导航方法还包括以下过程或步骤：实时地可视化以下的至少一种：超声图像、三维超声图像、穿刺针1200的针尖、穿刺针1200的针尖与目标穿刺点位置之间的相对位置、穿刺针1200的第一运动路径。
129.本公开的实施例能够将超声有关图像以及穿刺针与目标穿刺点之间的相对位置等进行可视化，直观地向用于实时展示，能够方便、准确地实时监测穿刺针的导航情况，对穿刺导航具有一定的指导作用。
130.图6为本公开一些实施例提供的超声图像的原始图像的示意图。
131.例如，在步骤s3中，获取的一组超声图像包括多张超声图像。例如，如图6所示，每张超声图像均为二维的图像。例如，超声图像包括待分割的病灶区域。
132.在一些示例中，在步骤s3中，本公开的实施例根据所采集前列腺的尖部和底部位置信息，控制超声探头从尖部到底部以固定采集间距进行运动，并截取每个间距的前列腺图像，完成二维的超声图像的采集任务。
133.在一些示例中，在步骤s3中，本公开的实施例通过将获取的二维的超声图像进行前列腺外轮廓勾画(例如包括病灶轮廓与外轮廓)，然后基于图像坐标系进行三维重建，得到三维超声图像。
134.例如，在步骤s4中，目标穿刺点位置是指需要穿刺到达的目标穿刺位置，其可以根据目标组织的病灶区域的具体情况而定。例如，在步骤s5中，实时图像位置是指穿刺针1200的第一三维坐标信息通过图像坐标系与空间坐标系之间的转换关系对应到图像坐标系中的实时位置。
135.为了本文的清楚、简洁，本文主要是以用于前列腺的穿刺装置和前列腺超声图像为例进行说明，例如图6所示为前列腺超声图像，但是本公开对适用的穿刺部位并不作限制，还可适用于其他需要实现穿刺的导航的应用场景，本公开对此不做赘述。
136.例如，在步骤s61中，第二运动路径是矢量路径，例如非闭合定位孔1350在空间坐标系内的第二运动路径表示非闭合定位孔1350在穿刺控制部夹持下运动到在规划下需要运动到达的目标空间位置而形成的动作的空间特征，例如非闭合定位孔1350的第二运动路径中的每个点包括位置和姿态等信息。
137.图7为本公开一些实施例提供的非闭合定位孔在空间坐标系内的第二运动路径的原理示意图。
138.例如，如图7所示，黑色实心的圆点o1表示穿刺深度控制挡板1340的非闭合定位孔1350在空间坐标系下的起始位置，即第二运动路径的起始位置；非实心的圆点o2表示穿刺
深度控制挡板1340的非闭合定位孔1350在空间坐标系下的目标终点位置，即第二运动路径的目标终点位置。从圆点o1运动到圆点o2之间的运动路径为非闭合定位孔1350在空间坐标系下的第二运动路径，其可以是直线，也可以是曲线，具体可以视实际情况而定。因此，在非闭合定位孔1350从圆点o1运动到圆点o2之后，将穿刺针1200与穿刺深度控制挡板1340的非闭合定位孔1350的侧壁贴合并从过孔1330中穿出，经由穿刺板1400，使得穿刺针1200的针尖插入到空间坐标系下的目标穿刺点。
139.在一些示例中，本公开的实施例可以将基座1500的中心作为空间坐标系的原点(0,0,0)，此时，可将基座1500的水平方向作为空间坐标系的横轴、将基座1500的竖直方向作为空间坐标系的竖轴、将与超声组件1100的前进方向作为空间坐标系的纵轴，以此来建立空间坐标系。又例如，可以将基座1500上的与穿刺控制件进行连接的位置处作为空间坐标系的原点(0,0,0)，此时空间坐标系的横轴、竖轴、以及纵轴的方向可以与前一示例类似，在此不再赘述。当然，此仅仅为示例性的，并不为本公开的限制，只要是基座1500任一合理的点均可，这里不再赘述。
140.在一些示例中，穿刺定位臂组1600的固定端活动连接在基座1500上，基座1500上与穿刺定位臂组1600活动连接的位置记为基座连接处，如此，穿刺定位臂组1600(例如穿刺定位臂组1600可以为连杆机构)的运动都可基于基座1500的基座连接处进行计算，由于在基座1500上选定用于作为空间坐标系的原点与基座连接处的位置相对固定，则基于基座1500建立的空间坐标系与穿刺定位臂组1600之间的位置相对固定，因此，穿刺定位臂组1600的运动也可基于空间坐标系进行计算。例如，将基座1500上的基座连接处作为原点建立空间坐标系，如此，空间坐标系的原点可与穿刺定位臂组1600与基座1500活动连接的位置基座连接处重合，这样有利于简化穿刺控制件的运动轨迹的计算。
141.在一些示例中，本公开的实施例通过机器人运动学原理实现基于穿刺装置的具体结构和非闭合定位孔1350的第二运动路径来反解每个穿刺控制件的运动轨迹(具体可见下文)，这样可适用于任何结构组成的穿刺装置，普适性强。
142.例如，在步骤s82中，穿刺装置1000的每个穿刺控制件分别连接一套驱动机构以使穿刺控制件沿着对应的运动轨迹进行运动。这样可使导航系统的驱动机制复杂度较低，操作简单方便。例如，驱动机构是由驱动器、直流电机和减速器主要构成，此仅仅为示例性的，并不为本公开的限制，只要能驱动对应穿刺控制件运动即可，这里不再赘述。
143.在一些示例中，本公开的实施例的穿刺控制件是指穿刺装置中的与驱动机构连接并被直接驱动的部件，对于穿刺装置中不由驱动机构直接驱动的部件，在反解至少一个穿刺控制件中的每个的运动轨迹的算法中已将耦合关系解耦，从而可以直接获取每个穿刺控制件的运动轨迹。需要说明的是，由于本公开的实施例对适用的穿刺装置的结构不作限制，本公开的实施例中的与驱动机构相连而被直接驱动运动的穿刺控制件和不与驱动机构连接而直接驱动运动的其他部件的具体划分可以根据实际情况进行自由调整，这里不再赘述。
144.在一些示例中，穿刺导航方法还包括以下步骤或过程：基于基座1500对超声探头进行定位，确定超声探头在空间坐标系内的第二三维坐标信息。这样方便获取图像坐标系与空间坐标系之间的转换关系，从而确定在空间坐标系下穿刺针与目标穿刺点之间的相对位置。例如，为了描述的清楚与方便，可将第二三维坐标信息记为(x2,y2,z2)，其体现超声
探头和基座1500之间的实际物理位置关系。
145.在一些示例中，超声探头为较小尺寸的类圆柱结构，超声探头的第二三维坐标信息包括超声探头的中心在空间坐标系内的三维坐标信息。此仅仅为示例性的，并不为本公开的限制。
146.例如，在步骤s5中，建立超声图像的图像坐标系与空间坐标系之间的转换关系包括以下步骤或过程：基于超声图像和超声探头的第二三维坐标信息(x2,y2,z2)将超声图像的图像坐标系转换至空间坐标系，以建立图像坐标系与空间坐标系之间的转换关系。
147.本公开的实施例通过坐标系转换实现了图像坐标系与空间坐标系之间的转换，使得在不采用双目视觉定位装置，也不在穿刺针和超声探头上设置光学标记件的情况下，能够简单、有效地在图像坐标系下实时确定穿刺针(例如穿刺针的针尖)与目标穿刺点位置之间的相对位置关系并进行可视化，从而实现穿刺针的导航，操作简便，可避免额外成本的增加。
148.例如，对于步骤s5，其在图像坐标系与空间坐标系之间的转换关系建立之后，可使空间坐标系中确定的第一三维坐标信息在已建立图像坐标系与空间坐标系之间的转换关系的基础上，实时地得到图像坐标系中对应的实时图像位置。
149.图8为本公开一些实施例提供的图像坐标系转至空间坐标系的流程图。
150.例如，如图8所示，在一些示例中，对于基于超声图像和超声探头的第二三维坐标信息将超声图像的图像坐标系转换至空间坐标系，以建立图像坐标系与空间坐标系之间的转换关系，包括步骤s51至步骤s54。
151.步骤s51、对超声图像进行形态学图像处理，确定目标图像区域。
152.步骤s52、基于目标图像区域，获取像素统计分布。
153.步骤s53、基于像素统计分布图以及预先确定的超声探头的直径，确定超声探头的直径与超声探头的直径所占用的像素间距个数之间的转换比率。
154.步骤s54、基于转换比率和第二三维坐标信息，将图像坐标系转换至空间坐标系。
155.本公开的实施例通过将图像特征提取和实际物理距离的信息结合来实现图像坐标系与空间坐标系的转换，操作难度较低，解算的复杂度低且准确度高，简单有效，具有很好的应用前景。
156.在一些示例中，本公开的实施例基于图像坐标系与空间坐标系之间的转换关系既可以实现图像坐标系向空间坐标系转换，也可以实现空间坐标系向图像坐标系转换。
157.图9为本公开一些实施例提供的图8中步骤s51的流程图。
158.例如，如图9所示，步骤s51包括步骤s511和步骤s512。
159.步骤s511、对超声图像进行二值化，获取第一处理图像。
160.步骤s512、对第一处理图像进行区域连通与标记得到多个标识连通区域以获取第二处理图像，从多个标识连通区域中确定目标图像区域，从而获取第三处理图像。例如，目标图像区域包括多个标识连通区域中的区域最大和次大的两个目标标识连通区域。
161.本公开的实施例通过二值图像分析的连通区域标记来获取图像的各块区域的几何参数，简单方便，适用范围广泛。
162.图10为本公开一些实施例提供的第二处理图像的示意图。图11为本公开一些实施例提供的第三处理图像的示意图。
163.在一些示例中，第一处理图像是超声图像的原始图像(例如图6所示的超声图像的原始图像)经过二值化处理之后得到的初始的二值图像。第二处理图像和第三处理图像是初始的二值图像经过标签化处理之后得到的处理后的二值图像。
164.在一些示例中，图6所示的超声图像的原始图像经过二值化和区域连通与标记处理之后可得到图10所示的第二处理图像，并且图10所示的第二处理图像在完成标识连通区域的选取和舍弃之后可得到图11所示的第三处理图像。
165.在一些示例中，区域连通与标记作为整个标签化处理的一部分，选取出目标标识连通区域和舍弃较小的标识连通区域的处理也属于整个标签化处理的一部分。
166.例如，图像的灰阶值的范围为0-255，黑色为0，白色为255，因此二值化处理时可将大于等于120的取1且小于120的取0，从而得到初始的二值图像。当然，此仅仅为示例性的，并不为本公开的限制。
167.在一些示例中，图10中的多个标识连通区域包括区域a1、区域a2和区域a3及其它区域，目标图像区域包括区域a1和区域a2。
168.在一些示例中，图11中的区域a1和区域a2是所有的标识连通区域中最大的两个区域(其中一个记为区域最大，另外一个记为区域次大)，区域a1和区域a2的区域大小可以相同或不同，其可视实际情况而定。
169.例如，在步骤s512中，在对第一处理图像进行区域连通与标记的过程中：将标签化取1的连接在一起形成连通区域。例如在区域连通与标记的过程中，可以采用4邻接连通，也可以采用8邻接连通，从而确定出多个连通区域。在确定的多个连通区域中，可以确定出最大和/或次大的连通区域。同时还可对每个连通区域进行标号，从而得到对应的标识连通区域，例如，将第一个连通区域均标记为1，将第二个连通区域均标记为2，将第三个连通区域均标记为3等。当然，此仅仅为示例性的，并不为本公开的限制。
170.图12为本公开一些实施例提供的图9中步骤s512的流程图。
171.例如，如图12所示，步骤s512包括步骤s5121至步骤s5123。
172.步骤s5121、基于第二处理图像，去除第二处理图像在纵向上相对的第一侧和第二侧的标识连通区域。
173.步骤s5122、在多个标识连通区域中选取出区域最大和次大的两个目标标识连通区域。
174.步骤s5123、舍弃多个标识连通区域中的像素和小于预设值的标识连通区域，获取第三处理图像。
175.本公开的实施例通过对连通区域进行选择和舍弃来获取基本仅保留有最大的两个目标图像区域的处理图像，不仅能够简化后续处理过程，还能提高坐标系转换的准确率和效率。
176.例如，在步骤s5121中，基于超声图像的位置确定第二处理图像上侧的标号为连通区域5，则将所有标号为5的连通区域进行去除，即将所有标号为5的连通区域的值修改为0。当然，此仅仅为示例性的，并不为本公开的限制。
177.例如，在步骤s5121中，第二处理图像的纵向为图9-图10的图纸方向的上下方向，第二处理图像的纵向上的第一侧和第二侧分别为上侧和下侧。需要说明的是，本公开的实施例出现的“纵向”、“上”、“下”等方位均是为了说明书的描述的方便与简晰，这并不为实际
方位的限制。
178.例如，在步骤s5123中，预设值可设为1000左右，这样可以舍弃多个标识连通区域中的较小的连通区域。此仅仅为示例性的，并不为本公开的限制，可以根据实际情况自由调整，在此不再赘述。
179.图13为本公开一些实施例提供的像素统计分布的示意图。
180.例如，在步骤s52中，像素统计分布包括第三处理图像上的纵向(例如记为y)的像素和的分布。第三处理图像上的纵向方向如同第二处理图像的纵向方向，可参照上文描述，这里不做赘述。
181.例如，如图13所示，像素统计分布是统计第三处理图像的纵向方向上，每行的像素不为0的个数。在图13的示例中，像素统计分布图的横坐标(x轴)为像素值，即为y的数值，像素统计分布图的纵坐标(y轴)为像素个数和，即二值化后1的个数。
182.例如，在图13的示例中，针对横坐标为100，其对应的纵坐标的个数为m，即表示y方向上像素值为100所对应的那一行有m个1。当然，此仅仅为示例性的，并不为本公开的限制。
183.图14为本公开一些实施例提供的图8中步骤s53的流程图。
184.例如，如图14所示，步骤s53包括步骤s531至步骤s533。
185.步骤s531、基于像素统计分布获取两个目标标识连通区域的横断面与矢断面的分界线以及分界线对应的像素坐标。
186.步骤s532、基于分界线确定第三处理图像上两个目标标识连通区域彼此靠近端围成的半圆区域的圆心，其中，半圆区域与标识连通区域不同色。
187.步骤s533、确定超声探头的直径，以及基于圆心确定超声探头的直径所占用的像素间距个数，并基于超声探头的直径所占用的像素间距个数确定转换比率。
188.例如，在图11示例中，区域a2为横断面区域，区域a1是矢断面区域。
189.例如，在一些示例中，步骤s531包括以下步骤或过程：将像素统计分布中的极值点对应的像素坐标的横向直线作为分界线；以及，基于分界线获取两个目标标识连通区域的边界，确定两个目标标识连通区域中的至少一个的边界的像素坐标。
190.例如，对于步骤s531，在一些示例中，图13中位于400-500像素区间中(即x轴坐标值为400-500的区间)存在一个极值点p1，该极值点p1所对应的像素坐标的相应的横向直线(即沿图13中的左右方向的水平线)为横断面与矢断面的分界线。
191.又例如，如果存在多条分界线，则可将两个目标标识连通区域中的上部区域(例如区域a2)的最下面的边界线作为分界线。
192.例如，在步骤s531中，在确定出分界线后，对两个目标标识连通区域进行计算边界，并基于边界，重新确定区域边界(例如上部的横断面区域)的像素坐标，从而获取分界线对应的像素坐标。
193.例如，对于步骤s532中的半圆区域，可参照图11所示的黑色的半圆区域c1，其是横断面区域和矢断面区域靠近端所形成的半圆区域，该半圆区域的半圆轮廓状是上部的横断面区域的下端部分。为了本文的清楚且简洁，在图11中用虚线方框示意出该半圆区域c1。在图11的示例中，第三处理图像的半圆区域与标识连通区域不同色，例如图11所示的的半圆区域的图像颜色为黑色，标识连通区域的图像颜色区别于黑色。
194.例如，在步骤s533中，超声探头的直径等于半圆区域的直径，如此，通过基于圆心
确定半圆区域的直径对应所占用的像素间距个数即可确定超声探头的直径所占用的像素间距个数。
195.图15为本公开一些实施例提供的图14中步骤s532的流程图。图16为本公开一些实施例提供的第三处理图像的示意图，图16与图11为本公开的实施例具有相同特征的附图，在图16中添加与图11不同的标记，以利于本文描述和附图的清楚示意。
196.例如，如图15所示，步骤s532包括步骤s5321至步骤s5323。
197.步骤s5321、基于分界线，确定分界线或平行于分界线的直线经过半圆区域而与目标标识连通区域的相交的四个交点。
198.步骤s5322、获取四个交点中的中间的两个目标交点。
199.步骤s5323、基于两个目标交点获取半圆区域的圆心。
200.例如，在步骤s5321中，在确定出分界线之后，基于该分界线确定出分界线与通过半圆区域而与上部的横断面区域所相交的四个交点，例如极值点所对应的像素坐标的相应的横向直线与上部的横断面区域相交出的四个交点，这四个交点中的中间的两个交点也是分界线与黑色半圆区域c1相交的两个点。
201.例如，在步骤s5321中，为了避免出现分界线上不存在与横断面区域相交的交点，在确定出分界线之后还可按照基于历史数据确定的经验值(例如5-10个像素)将分界线在图像坐标系中往上移动，从而确定出计算出移动后的分界线(即平行于分界线的直线)与图中的上部的横断面区域所相交的四个交点。此仅仅为示例性的，并不为本公开的限制。
202.例如，在图16的示例中，两个目标交点分别为中间的a点和b点，其也是分界线与黑色半圆区域c1相交的两个点。为了下文表述方便，将四个交点中的中间的两个目标交点分别记为a点和b点。
203.图17为本公开一些实施例提供的获取弧度的轮廓点集合的示意图。
204.例如，在步骤s5323中，基于两个目标交点获取半圆区域的圆心包括以下步骤或过程：首先以四个交点中的中间的两个目标交点a、b点为端点，确定一个线段，并对该线段进行等分，确定出多个等分点；然后将多个等分点向上移动，确定各个等分点在向上移动的过程中所碰到的连通区域，从而确定出多条等分线与超声图像的半圆区域相交的多个点，例如参见图17中的虚线框示意出的多个点(可记为轮廓点)；之后再基于该多个轮廓点和a、b两个点拟合圆并确定圆心o。
205.在另外一些实施例中，在步骤s5323中，基于两个目标交点获取半圆区域的圆心还可包括以下步骤或过程：以a、b点为两个端点，确定一个线段，并取该线段的中点c，然后基于a、b和c这三个点，可以确定出一个圆，并确定该圆的圆心o。
206.例如，在步骤s533中，在确定出圆心o之后，将上述步骤s5323中确定出的圆的直径记为直径d(即图像坐标系上的直径d，也即半圆区域对应的直径)，并统计该圆的直径d上所占用的像素间距个数n，从而可以计算出直径d与像素间距个数n之间的比率r，r＝d/n，比率r也可称之为转换比率。
207.例如，在步骤s533中，将超声探头在空间坐标系的直径记为直径d，由于超声探头的直径d与半圆区域的直径d相同，且超声探头的直径d预先确定并已知，因此圆的直径d已知(例如为20mm)，而且直径d所占用的像素个数通过统计可得知(例如占用81个像素)，因此可以确定直径d所占用的像素间距(例如占用80个像素间距，即n＝80)，从而可以基于直径d
所占用的像素间距来确定转换比率r，例如r＝20mm/80个像素间距。如此可以确定出一个像素间距所占用的物理距离的多少，从而能够实现将图像坐标系转换至空间坐标系。
208.图18为本公开一些实施例提供的图8中步骤s54的流程图。
209.例如，如图18所示，步骤s54包括步骤s541和步骤s542。
210.步骤s541、基于圆心、转换比率和分界线对应的像素坐标确定相互垂直的横轴和纵轴。
211.步骤s542、将超声探头的深度作为竖轴，并基于一组超声图像对应的第三处理图像和第二三维坐标信息，将图像坐标系转换至空间坐标系。
212.例如，在步骤s541中，以圆心o为坐标系原点，基于转换比率r和基于边界重新确定的区域边界(例如上部横断面区域)的像素坐标，确定相互垂直的横轴(例如记为x1轴)和纵轴(例如记为y1轴)。
213.例如，在步骤s541中，本公开的实施例基于一张超声图像对应的第三处理图像实现对应的横轴和纵轴的建立，以形成初始的二维坐标系x1-o-y1，如此基于每张超声图像均可形成对应的一个初始的二维坐标系x1-o-y1。
214.例如，在步骤s542中，由于超声探头可由机械臂组件带动进行前进或后退的运动，则本公开的实施例将获取的超声探头的深度作为竖轴(例如记为z1轴)。基于每张超声图像均可形成对应的一个二维坐标系x1-o-y1，在获知超声探头的深度作为竖轴时，不同超声图像对应的二维坐标系x1-o-y1的零点之间的空间间距即对应于超声探头的相应深度，如此基于采集的一组超声图像可以确定出与横轴、纵轴分别相垂直的竖轴。
215.因此，本公开的实施例在获知超声探头和基座之间的位置关系(即第二三维坐标信息)的情况下，可实现将图像坐标系转换至空间坐标系内，从而建立好图像坐标系与空间坐标系之间的转换关系，确定穿刺针针尖与目标穿刺点之间的实际物理位置关系。
216.下面通过几个示例或实施例对本公开的实施例提供的坐标系转换和运动学计算方法进行非限制性的说明。
217.在一些示例中，本公开的实施例可将基于基座1500建立的空间坐标系记为空间坐标系{0}，将穿刺针导向支臂1310末端处的穿刺深度控制挡板1340的非闭合定位孔1350的坐标系记为坐标系{1}，以及将基于超声探头建立的超声探头坐标系记为图像坐标系{2}。坐标系{1}与空间坐标系{0}之间的相对位置关系固定，图像坐标系{2}与空间坐标系{0}之间的相对位置关系固定
218.由此，如上所述，通过控制超声进给平台1110的移动可使超声探头沿该超声探头的轴向移动，通过超声回转平台可以使得超声探头沿该超声探头的轴线转动(例如顺时针或逆时针)，由此可控制超声探头的深度和角度。
219.在一些示例中，本公开的实施例通过将获取的二维的超声图像进行前列腺外轮廓勾画，然后基于图像坐标系{2}进行三维重建，得到三维超声图像。
220.图19a为本公开的一些实施例提供的二维的超声图像的横断面示意图，图19b为本公开的一些实施例提供的图19a中二维的超声图像对应的三维超声图像的示意图。
221.例如，图19a所示为二维的超声图像的横断面，横断面的中间框出的部分为前列腺外轮廓勾画结果。例如，图19b所示为一个通过三维重建得到的三维超声图像的结果。当然，此仅仅为示例性的，并不为本公开的限制。
222.在一些示例中，本公开的实施例通过在三维超声图像上进行穿刺规划，例如规划目标穿刺点位置，由此确定目标穿刺点在图像坐标系{2}中的位置。
223.在一些示例中，基于穿刺装置1000的穿刺控制部的具体结构特征可以确定刺深度控制挡板1340的非闭合定位孔1350的坐标系{1}相对于空间坐标系{0}的位置与姿态矩阵(简称位姿矩阵)。
224.在一些示例中，本公开的实施例基于穿刺装置1000并根据机器人运动学原理建立机器人的关节坐标系，例如建立的机器人的关节坐标系包括基于穿刺定位臂组1600中的部件的关节坐标系等，其可以根据穿刺装置1000的具体结构或构造进行自由调整，本公开对适用的穿刺装置的结构或构造设计不做限制。鉴于穿刺装置的具体结构并不为本公开需要描述的重点内容，本文不做赘述。下文主要是以一个机器人构型示例进行非限制性的说明。
225.例如，根据建立的坐标系关系和机器人正运动学公式可以得到非闭合定位孔1350的坐标系{1}相对于空间坐标系{0}的位姿矩阵10t，其位姿矩阵公式示例如下：
[0226][0227]
其中，a1表示穿刺定位臂组1600中的第一部件的关节轴与穿刺定位臂组1600中的第二部件的关节轴的公垂线长度；a2表示穿刺定位臂组1600中的第二部件的关节轴与穿刺定位臂组1600中的第三部件的关节轴的公垂线长度；a3表示穿刺定位臂组1600中的第三部件的关节轴与穿刺定位臂组1600中的第四部件的关节轴的公垂线长度；d4表示穿刺定位臂组1600中的第三部件的关节轴与穿刺定位臂组1600中的第四部件的关节轴的连杆偏距；d5表示穿刺定位臂组1600中的第三部件的关节轴与穿刺深度控制挡板1340的关节轴的连杆偏距；θi表示部件的关节角度；ci＝cos(θi)，si＝sin(θi)，i＝1,2,3,4；s123＝sin(θ1+θ2+θ3)；c123＝cos(θ1+θ2+θ3)；s12＝sin(θ1+θ2)。
[0228]
示例地，穿刺定位臂组1600中的第一部件、第二部件、第三部件、第四部件可以分别为设置为连杆机构的穿刺定位臂组1600中的各个关节，例如穿刺定位臂组1600中的第一部件、第二部件、第三部件和第四部件可以分别为穿刺定位臂组1600中的穿刺定位臂基关节(例如用于将基座1500和第一穿刺控制件进行活动连接的一个转轴)、穿刺定位臂肘关节(例如穿刺定位臂组1600中的一个转轴)、穿刺定位被动姿态关节(例如穿刺定位臂组1600中的一个转轴)和穿刺定位臂俯仰关节(例如穿刺针导向支臂1310上设置的旋转关节)。当然，此仅仅为示例性的，以便于本领域技术人员更好地理解本公开的技术方案，但是这并不为本公开的限制，本公开的实施例位姿矩阵可以根据穿刺装置的具体结构进行自由调整，而且穿刺装置的具体结构可参见相关技术，在此不再赘述。
[0229]
示例地，a1＝120mm；a2＝100mm；a3＝122mm；d4＝66.5mm；d5＝25mm。当然，此仅仅为示例性的，并不为本公开的限制。
[0230]
在一些示例中，本公开的实施例可以基于非闭合定位孔1350的坐标系{1}与穿刺针1200在空间坐标系内的穿刺针实际物理规格确定穿刺针(例如穿刺针的针尖)在空间坐标系{0}中的实时位姿矩阵，由此，本公开的实施例可以根据非闭合定位孔1350在空间坐标系内的三维坐标信息和穿刺针1200在空间坐标系内的穿刺针实际物理规格确定穿刺针
1200的针尖的第一三维坐标信息。为了便于描述，将刺针1200的针尖的第一三维坐标信息记为针尖位置坐标{3}。
[0231]
对此，针尖位置坐标{3}相对于非闭合定位孔1350的坐标系{1}的位姿矩阵可以根据穿刺针1200的针规格(即穿刺针实际物理规格)给出，例如针尖位置坐标{3}相对于非闭合定位孔1350的坐标系{1}的位姿矩阵如下：
[0232][0233]
其中，穿刺针1200的穿刺针实际物理规格包括针的裸露长度，例如l为在空间坐标系内的针的裸露长度。
[0234]
由此，本公开的实施例结合非闭合定位孔1350的坐标系{1}相对于空间坐标系{0}的位姿矩阵以及针尖位置坐标{3}相对于非闭合定位孔1350的坐标系{1}的位姿矩阵可以确定穿刺针1200的针尖在空间坐标系{0}中的实时位姿矩阵如下所示：
[0235][0236]
据此，本公开的实施例在穿刺导向件为穿刺针1200的针尖的情况下，可以根据非闭合定位孔1350在空间坐标系内的三维坐标信息和穿刺针1200在空间坐标系内的穿刺针实际物理规格确定穿刺针1200的第一三维坐标信息。
[0237]
在一些示例中，本公开的实施例将图像坐标系{2}相对于空间坐标系{0}固定的位姿矩阵记为(例如超声探头上的图像坐标系转换到超声探头上的空间坐标系)，由此针尖在空间坐标系{0}下的位姿矩阵转换到图像坐标系{2}下的位姿矩阵为如下：
[0238][0239]
在一些示例中，将图像坐标系{2}相对于空间坐标系{0}固定的位姿矩阵公式示例如下：
[0240][0241]
其中，space[0]表示x方向上每个像素间距所占用的物理距离(例如在超声标定中获得)，例如实际的超声探头的直径为20mm，其在图像上占80个像素间距，则space[0]＝20mm/80个像素间距；space[1]表示y方向上每个像素间距所占用的物理距离，例如space[0]＝space[1]；space[2]表示z方向上每个像素间距所占用的物理距离(超声采集多张超声图像的物理间距)，例如通过超声采集十张超声图像，实际采集距离是9mm，而10张超声图像在z方向有9个像素间距，则space[2]＝9mm/9个像素间距；offset[0]表示图像坐标原点的x方向的物理偏移量，例如已知该原点在图像上的图像偏移量x pixel，则物理偏移量是
x*space[0]；offset[1]表示图像坐标原点的y方向的物理偏移量，例如已知该原点在图像上的图像偏移量ypixel，则物理偏移量是y*space[1]；offset[2]表示图像坐标原点的z方向的物理偏移量，例如已知该原点在图像上的图像偏移量z pixel，则物理偏移量是z*space[2]。
[0242]
由此可得，图像坐标系到空间坐标系之间的转换公式，如下：
[0243][0244]
由此，本公开的实施例可以将任意一个三维图像坐标(pixel[0]，pixel[1]，pixel[2])带入上述图像坐标系与空间坐标系之间的转换关系可以得到基于超声探头中心为原点建立的坐标系的物理坐标(py[0]，py[1]，py[2])，从而实现图像坐标系到空间坐标系之间的转换。当然，此仅仅为示例性的，并不为本公开的限制。
[0245]
之后，经过对上述转换公式进行变换，可得空间坐标系到图像坐标系之间的转换关系，如下：
[0246][0247]
由此，本公开的实施例可以将基于超声探头中心为原点建立的坐标系的物理坐标(py[0]，py[1]，py[2])带入上述空间坐标系与图像坐标系之间的转换关系，可以得到任意一个三维图像坐标(pixel[0]，pixel[1]，pixel[2])，从而可以实现空间坐标系到图像坐标系之间的转换。当然，此仅仅为示例性的，并不为本公开的限制。
[0248]
在一些示例中，本公开的实施例可将转换后的位姿信息显示到图像坐标系中，从而在可视化界面中实时显示穿刺针的针尖与目标穿刺点之间的相对位置关系。因此，本公开的实施例根据图像坐标系下的针尖与目标穿刺点的相对位置关系可以在图像坐标系下规划针尖到目标穿刺点之间的空间上的运动路径(即上述的第一运动路径)，再通过转换将针尖的第一运动路径转化为非闭合定位孔1350的运动路径(即上述的第三运动路径)，并将该第三运动路径转换到基于空间坐标系下的第二运动路径，然后进行运动学逆解，得到每个穿刺控制件的运动轨迹，以实现穿刺针1200的导航。例如，在控制过程中，穿刺针的针尖可以实时地在图像中显示。
[0249]
例如，在图像坐标系中的三维超声图像中，可以获知穿刺针的针尖与目标穿刺点之间的相对位置关系。由此，本公开的实施例可以规划穿刺针的针尖从当前位置到达目标穿刺点的运动路径(即第一运动路径)，该第一运动路径为图像坐标系下的针尖的运动轨迹且该运动轨迹上的每个点的位姿矩阵可以记为
[0250]
在一些示例中，在穿刺针1200的穿刺针实际物理规格确定的情况下，穿刺针的长度确定，而且由上文可知针尖位置坐标{3}相对于非闭合定位孔1350的坐标系{1}的位姿矩
阵由此可以根据转换可以确定非闭合定位孔1350在图像坐标系下的运动路径(即上述的第三运动路径)，该第三运动路径上的每个点的计算公式为：其中，k为图像分辨率。该第三运动路径是在图像坐标系{2}下非闭合定位孔1350的运动轨迹。
[0251]
在一些示例中，基于上述非闭合定位孔1350在图像坐标系下的第三运动路径，本公开的实施例通过转换来确定基于空间坐标系{0}对应的运动路径(即上述的第二运动路径)，该第二运动路径上的每个点的计算公式为：该第二运动路径是在空间坐标系{0}下非闭合定位孔1350的运动轨迹。
[0252]
由上可知，本公开一些实施例基于得到非闭合定位孔1350的坐标系{1}相对于空间坐标系{0}的第二运动路径能够获知第二运动路径上每个点的位姿矩阵为因此，本公开的实施例可以根据机器人运动学原理来实现基于穿刺装置的具体结构和非闭合定位孔1350的第二运动路径反解每个穿刺控制件的运动轨迹。
[0253]
例如，机器人运动学计算方法的一个示例如下：设置非闭合定位孔1350相对于空间坐标系{0}的位姿矩阵为：
[0254][0255]
其中，rij为旋转矩阵的参数；i＝1,2,3，j＝1,2,3；p
x
,py,pz分别为位置矢量的参数。
[0256]
例如，穿刺定位臂组1600的正运动学公式示例如下：
[0257][0258]
其中，公式(1)的位姿矩阵已知，公式(1)与公式(2)相等，因此可以计算出公式(2)中每个部件对应的角度值。由此，得到的结果如下：
[0259]
θ1＝atan2(p
y-a3,p
x
+d4)-atan2(k2,k1)
[0260]
θ2＝atan2(s2,c2)
[0261]
θ3＝-θ
1-θ2+90
°
+x
[0262]
θ4＝atan2(-r31,-r32)
[0263]
其中，θ1+θ2+θ3＝x，k1＝a1+a2
·
c2，k2＝a2
·
s2。
[0264]
据前所述，本公开的实施例可以将空间坐标系{0}下的非闭合定位孔的运动轨迹转化为穿刺定位臂组1600中每个关节部件的运动轨迹，从而确定穿刺控制部的每个穿刺控制件的运动轨迹，从而实现穿刺针的导航。
[0265]
在一些示例中，穿刺导航方法还包括以下过程或步骤：比较穿刺规划信息的进针方向和实时可视化的第一运动路径的当前方向，以确定进针方向与当前方向之间的偏差
值；以及响应于偏差值大于等于预设角度偏差，基于偏差值更新穿刺针1200的第一运动路径以更新第二运动路径，使得基于更新后的第二运动路径，通过至少一个穿刺控制件进行穿刺针1200的导航，直至穿刺规划信息的进针方向与当前方向之间的偏差值小于预设角度偏差。
[0266]
本公开的实施例通过实时地直观展示穿刺针的理论进针方向和穿刺针的实时运动方向来对穿刺导航进行自动补偿，有利于提升穿刺导航的精准度，实现更精准治疗。
[0267]
在一些示例中，当本公开的实施例的非闭合定位孔1350到达目标终点位置，同时实际的超声探头会移动到所选针号的深度(横断面位置)和角度(矢断面位置)，然后在实时超声影像下将所选号针的位置标记出来。当超声探头和穿刺定位臂组1600均运动到位之后，开始执行穿刺操作。例如，在实时的超声图像下，自动进针机构会将穿刺针1200插入到前列腺中，并且在穿刺过程中，将穿刺针1200每次插入5mm(例如插入深度不限于5mm，其可根据实际情况进行设定)，自动检查实时超声图像下穿刺针1200与目标穿刺点之间是否在同一直线上。例如，在横断面上显示，如果期望的进针方向与实际的当前穿刺针的方向之间存在偏差值(角度偏差)且该偏差值大于等于预设角度偏差(预设角度偏差大于等于零)，则可以将该偏差值反馈给一个控制器(例如下文所述的校正控制单元)，控制器据此进行位置姿态的补偿，以更新第二运动路径，使得基于更新后的第二运动路径进行穿刺针1200的导航，直至期望的进针方向与当前方向之间的偏差值符合条件，然后再将穿刺针插入5mm，循环执行插入5mm然后进行检查的方式，直到穿刺针的针尖到达目标穿刺点，从而完成穿刺针的穿刺。当然，此仅仅为示例性的，并不为本公开的限制。
[0268]
图20为本公开一些实施例提供的穿刺导航系统的模块组成示意图。
[0269]
例如，如图21所示，本公开至少一实施例提供的用于穿刺装置1000的穿刺导航系统2000包括定位模块2100、超声图像获取模块2200、穿刺规划模块2300、坐标系转换模块2400、第一运动路径确定模块2500、第二运动路径确定模块2600和导航处理模块2700。
[0270]
定位模块2100配置为基于基座1500对穿刺针1200进行定位，确定穿刺针1200在空间坐标系的第一三维坐标信息，空间坐标系是可以基于基座1500建立的坐标系。本公开的空间坐标系是指客观三维空间的绝对坐标系，也可称世界坐标系，空间坐标系是以基座1500上的一点为原点建立的三维坐标系。
[0271]
超声图像获取模块2200配置为获取超声探头实时采集的目标组织的一组超声图像，以确定这一组超声图像对应的三维超声图像。
[0272]
穿刺规划模块2300配置为基于三维超声图像进行用于穿刺针1200的穿刺规划，以确定穿刺规划信息，穿刺规划信息包括穿刺针1200的进针点位置、穿刺针1200的进针方向和穿刺针1200的目标穿刺点位置。
[0273]
坐标系转换模块2400配置为建立超声图像的图像坐标系与空间坐标系之间的转换关系，使得基于图像坐标系与空间坐标系之间的转换关系确定第一三维坐标信息在图像坐标系内的实时图像位置，以实时地在图像坐标系中可视化穿刺针1200与目标穿刺点位置之间的相对位置。例如，超声图像的图像坐标系也可称之为图像像素坐标系。
[0274]
第一运动路径确定模块2500配置为在图像坐标系中，基于穿刺针1200与目标穿刺点位置之间的相对位置确定穿刺针1200的第一运动路径。
[0275]
第二运动路径确定模块2600配置为基于图像坐标系内的第一运动路径确定与穿
刺针1200具有一预定位置关系的穿刺导向件在空间坐标系内的第二运动路径。
[0276]
导航处理模块2700配置为在空间坐标系中，基于穿刺导向件的第二运动路径，通过穿刺控制部的至少一个穿刺控制件进行穿刺针1200的导航。
[0277]
本公开上述实施例的穿刺导航系统在不采用双目视觉定位装置，也不在穿刺针和超声探头上设置光学标记件的情况下，可以实时获取穿刺针与目标穿刺点之间的相对位置关系，从而能够节省成本，也能降低超声和穿刺针结构的复杂度，便于操作者操作。本公开的实施例通过将穿刺针从空间坐标系转换至图像坐标系，使得能将穿刺针与目标穿刺点之间的相对位置进行可视化，直观地向用于展示，而且本公开的实施例通过直观展示来对穿刺导航进行自动补偿，有利于提升穿刺导航的精准度，实现更精准治疗。
[0278]
图21为本公开一些实施例提供的导航处理模块的组成示意图。
[0279]
例如，如图21所示，导航处理模块2700包括控制件运动轨迹确定单元2710和驱动装置2720。控制件运动轨迹确定单元2710配置为基于穿刺装置1000和第二运动路径确定每个穿刺控制件的运动轨迹。驱动装置2720与每个穿刺控制件驱动连接且配置为驱动穿刺控制件沿对应的运动轨迹进行运动，以导航穿刺针1200。
[0280]
图22为本公开一些实施例提供的第二运动路径确定模块的组成示意图。
[0281]
在一些示例中，穿刺导向件为非闭合定位孔1350。由此，第二运动路径确定模块2600包括第一确定单元2610和第二确定单元2620，如图22所示。第一确定单元2610配置为基于穿刺针1200在图像坐标系内的穿刺针图像规格和第一运动路径确定非闭合定位孔1350在图像坐标系内的第三运动路径。第二确定单元2620配置为基于图像坐标系与空间坐标系之间的转换关系和图像坐标系中的第三运动路径确定非闭合定位孔1350在空间坐标系内的第二运动路径。
[0282]
例如，对于图22的示例，定位模块2100配置为根据非闭合定位孔1350在空间坐标系内的三维坐标信息和穿刺针1200在空间坐标系内的穿刺针实际物理规格确定穿刺针1200的第一三维坐标信息。
[0283]
在一些示例中，对于图22的示例，穿刺针1200的第一三维坐标信息包括穿刺针1200的针尖在空间坐标系内的三维坐标信息。此仅仅为示例性的，并不为本公开的限制。
[0284]
在一些示例中，定位模块2100还配置为对超声探头进行定位，获取超声探头在空间坐标系内的第二三维坐标信息。
[0285]
在一些示例中，超声探头为较小尺寸的类圆柱结构，超声探头的第二三维坐标信息包括超声探头的中心在空间坐标系内的三维坐标信息。此仅仅为示例性的，并不为本公开的限制。
[0286]
在一些示例中，驱动装置2720包括多套驱动机构，每套驱动机构分别与对应的穿刺控制件进行驱动连接，以使穿刺控制件沿着对应的第二轨迹进行运动。
[0287]
在一些示例中，基座1500的中心可以作为空间坐标系的原点(0,0,0)，使得基于穿刺针1200与基座1500之间的位置关系(例如穿刺针1200的针尖与基座1500之间的位置关系)确定穿刺针1200的第一三维坐标信息，以及基于超声探头与基座1500之间的位置关系确定超声探头的第二三维坐标信息。此时，可将基座1500的水平方向作为空间坐标系的横轴、将基座1500的竖直方向作为空间坐标系的竖轴、将与超声组件1100的前进方向作为空间坐标系的纵轴，以此来建立空间坐标系。此仅仅为示例性的，并不为本公开的限制。
[0288]
本公开的实施例基于穿刺装置的基座建立空间坐标系并基于穿刺针1200与基座1500以及超声探头与基座1500之间的位置关系，能够方便、准确地确定穿刺针和超声探头在空间坐标系中的位置，从而有利于坐标系的转换以实现穿刺针的导航。
[0289]
需要说明的是，本公开一些实施例不仅限于上述的基于基座建立空间坐标系，也能以其他位置为原点来建立空间坐标系，例如，还可将基座上的与穿刺控制件进行连接的位置处作为空间坐标系的原点，本公开的实施例对此不作限制，可以根据实际情况进行设置，此处不再穷举和赘述。
[0290]
例如，穿刺导航系统2000还包括显示模块(未图示)，显示模块配置为实时地可视化以下的至少一种：超声图像(例如图6所示的实时的原始超声图像)、三维超声图像、穿刺针的针尖、穿刺针的针尖与目标穿刺点位置之间的相对位置、穿刺针的第一运动路径。
[0291]
如此，本公开的实施例能够方便、准确地实时监测穿刺针的导航情况，对穿刺导航具有一定的指导作用。例如，本公开的实施例还能够将穿刺针与目标穿刺点之间的相对位置进行可视化，直观地向用于展示，而且本公开的实施例通过直观展示可以实现对穿刺导航的自动补偿，有利于提升穿刺导航的精准度，实现更精准治疗。
[0292]
在一些示例中，本公开可通过实时超声来辅助导航，验证上述通过获取所规划的的穿刺针的运动轨迹是否准确，这样可使导航结果准确以满足预期要求。在另一些示例中，本公开可通过实时超声与mr的结合来辅助导航，以验证上述通过获取所规划的的穿刺针的运动轨迹是否准确。这样可使导航结果准确以满足预期要求。
[0293]
图23为本公开一些实施例提供的坐标系转换单元的组成示意图。
[0294]
在一些示例中，如图23所示，坐标系转换模块2400包括坐标系转换单元2410，坐标系转换单元2410配置为基于超声图像和超声探头的第二三维坐标信息将超声图像的图像坐标系转换至空间坐标系，以建立图像坐标系与空间坐标系之间的转换关系。
[0295]
例如，如图23所示，坐标系转换单元2410包括形态学图像处理单元2411、像素统计单元2412、转换处理单元2413和转换建立单元2414。形态学图像处理单元2411配置为对超声图像进行形态学图像处理以确定目标图像区域。像素统计单元2412配置为基于目标图像区域获取像素统计分布。转换处理单元2413配置为基于像素统计分布图以及预先确定的超声探头的直径(超声探头在空间坐标系的直径)，确定超声探头的直径与超声探头的直径所占用的像素间距个数之间的转换比率。转换建立单元2414配置为基于转换比率和第二三维坐标信息，将图像坐标系转换至空间坐标系，建立图像坐标系与空间坐标系之间的转换关系。
[0296]
图24为本公开另一些实施例提供的坐标系转换单元的组成示意图。
[0297]
例如，如图24所示，坐标系转换单元2410的形态学图像处理单元2411包括二值化子单元2411a和标签化处理子单元2411b。二值化子单元2411a配置为对超声图像进行二值化以获取第一处理图像。标签化处理子单元2411b配置为通过对第一处理图像进行区域连通与标记得到多个标识连通区域以获取第二处理图像，从多个标识连通区域中确定目标图像区域，从而获取第三处理图像。例如，目标图像区域包括多个标识连通区域中的区域最大和次大的两个目标标识连通区域。
[0298]
在一些示例中，第一处理图像是超声图像的原始图像经过二值化处理之后得到的初始的二值图像。第二处理图像和第三处理图像是初始的二值图像经过标签化处理之后得
到的处理后的二值图像。
[0299]
例如，如图24所示，坐标系转换单元2410的转换处理单元2413包括界定处理子单元2413a、圆心获取子单元2413b和像素与物理距离转换子单元2413c。界定处理子单元2413a配置为基于像素统计分布获取两个目标标识连通区域的横断面与矢断面的分界线以及分界线对应的像素坐标。圆心子获取单元2413b配置为基于分界线确定第三处理图像上两个目标标识连通区域彼此靠近端围成的半圆区域的圆心，其中，半圆区域与标识连通区域不同色。像素与物理距离转换子单元2413c配置为确定超声探头的直径，以及基于圆心确定直径所占用的像素间距个数，并基于直径所占用的像素间距个数确定转换比率。
[0300]
例如，如图24所示，转换建立单元2414包括第一建立子单元2414a和第二建立子单元2414b。第一建立子单元2414a配置为基于圆心、转换比率和分界线对应的像素坐标确定相互垂直的横轴和纵轴。第二建立子单元2414b配置为将超声探头的深度作为竖轴，并基于一组超声图像和第二三维坐标信息，将图像坐标系转换至空间坐标系。
[0301]
图25为本公开一些实施例提供的校正模块的组成示意图。
[0302]
例如，如图20和图25所示，穿刺导航系统2000还可以包括校正模块2800，校正模块2800包括比较单元2810和校正控制单元2820。比较单元2810配置为比较穿刺规划信息的进针方向和实时可视化的第一运动路径的当前方向，确定进针方向与当前方向之间的偏差值。校正控制单元2820配置为：响应于偏差值大于等于预设角度偏差，基于偏差值更新穿刺针的第一运动路径以更新第二运动路径，使得导航处理模块2700基于更新后的第二运动路径，通过至少一个穿刺控制件进行穿刺针1200的导航，直至进针方向与当前方向之间的偏差值小于预设角度偏差。
[0303]
需要注意的是，在本公开的实施例中，穿刺导航系统2000可以包括更多或更少的模块，并且各个模块之间的连接关系不受限制，可以根据实际需求而定。各个模块的具体构成方式不受限制。还需要说明的是，本公开一些实施例的穿刺导航系统的具体组成、功能和技术效果可参考上文关于穿刺导航方法的描述，本公开为了说明书描述的简洁，未在文中一一赘述。
[0304]
以上实施例中的各个模块可被分别配置为执行特定功能的软件、硬件、固件或上述项的任意组合。例如，这些模块可对应于专用的集成电路，也可对应于纯粹的软件代码，还可对应于软件与硬件相结合的模块。
[0305]
需要说明的是，尽管以上在描述穿刺导航系统时将其划分为用于分别执行相应处理的模块，然而，本领域技术人员清楚的是，各模块执行的处理也可以在穿刺导航系统不进行任何具体模块划分或者各模块之间并无明确划界的情况下执行。
[0306]
本公开至少一实施例还提供了一种穿刺装置，该穿刺装置包括基座(例如基座1500)、穿刺针(例如穿刺针1200)、穿刺控制部和超声探头。基座配置为基于其建立空间坐标系。穿刺针在空间坐标系内的位置信息为第一三维坐标信息。穿刺控制部包括至少一个穿刺控制件。该至少一个穿刺控制件包括穿刺定位臂组(例如穿刺定位臂组1600)和穿刺深度控制挡板(例如穿刺深度控制挡板1340)。穿刺定位臂组设置在基座上且穿刺定位臂组配置为对穿刺针进行穿刺定位，穿刺深度控制挡具有供穿刺针通过的非闭合定位孔。超声探头配置为采集目标组织的一组超声图像，以确定这一组超声图像对应的三维超声图像，使得基于三维超声图像进行用于穿刺针的穿刺规划以确定穿刺规划信息以及使得通过建立
超声图像的图像坐标系与空间坐标系之间的转换关系以基于该转换关系确定第一三维坐标信息在图像坐标系内的实时图像位置，以实时地在图像坐标系中可视化穿刺针与目标穿刺点位置之间的相对位置，其中，穿刺规划信息包括穿刺针的进针点位置、穿刺针的进针方向和穿刺针的目标穿刺点位置。在图像坐标系中，基于穿刺针与目标穿刺点位置之间的相对位置确定穿刺针的第一运动路径；基于图像坐标系内的第一运动路径确定与穿刺针具有一预定位置关系的穿刺导向件在空间坐标系内的第二运动路径；在空间坐标系中，基于第二运动路径，通过至少一个穿刺控制件进行穿刺针的导航。
[0307]
在一些示例中，对于上述的穿刺装置，超声探头可移动地设置在基座上，超声探头在空间坐标系内的位置信息为第二三维坐标信息，使得基于超声图像和第二三维坐标信息将超声图像的图像坐标系转换至空间坐标系，以建立图像坐标系与空间坐标系之间的转换关系。
[0308]
需要说明的是，本公开的实施例的穿刺装置的功能和技术效果等可参考上文关于穿刺导航方法和系统的描述，此处不再赘述。
[0309]
图26为本公开至少一实施例提供的一种电子设备的结构示意图，该电子设备3000包括处理器3100和存储器3200，其中，存储器3200上存储有计算机程序，计算机程序被处理器3100执行时，实现本公开至少一些实施例的穿刺导航方法。
[0310]
本公开实施例中的电子设备可以包括但不限于诸如笔记本电脑、平板电脑等等的移动终端以及诸如台式计算机等等的固定终端。图23示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0311]
例如，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在该计算机程序被处处理器执行时，执行本公开实施例的穿刺导航方法。
[0312]
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
[0313]
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未
装配入该电子设备中。
[0314]
需要说明的是，本公开的实施例中，电子设备3000的具体功能和技术效果可以参考上文中关于穿刺导航方法的描述，此处不再赘述。
[0315]
有以下几点需要说明：
[0316]
(1)本公开实施例附图只涉及到本公开实施例涉及到的结构，其他结构可参考通常设计。
[0317]
(2)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
[0318]
以上，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，本公开的保护范围应以权利要求的保护范围为准。