皮肤区域的配准方法及相关产品与流程

文档序号:33629558发布日期:2023-03-28 22:23阅读:31来源:国知局
皮肤区域的配准方法及相关产品与流程

1.本技术涉及医疗影像处理技术领域,尤其涉及一种皮肤区域的配准方法及相关产品。


背景技术:

2.近年来,电子计算机断层扫描(computed tomography,ct)图像越来越多的应用在医学领域,其中就包括基于二维ct图像规划穿刺路径。具体的,基于二维ct图像重建得到三维ct图像,进而可通过三维ct图像规划穿刺路径。
3.但二维ct图像通常是在穿刺手术前对目标人物进行拍摄得到的,而目标人物在手术前的体位与目标人物在手术中的体位不同,进而在基于二维ct图像得到的三维ct图像的情况下,三维ct图像中的皮肤区域的位姿的准确度低。


技术实现要素:

4.本技术提供一种皮肤区域的配准方法及相关产品。
5.第一方面,提供了一种皮肤区域的配准方法,该配准方法包括:获取目标人物的三维超声点云和所述目标人物的第一三维ct图像,所述三维超声点云包括与所述目标人物的皮肤区域对应的第一像素区域,所述第一三维ct图像包括与所述皮肤区域对应的第二像素区域;从所述第二像素区域中确定距离所述第一像素区域中的第一像素最近的第二像素;获取所述第一三维ct图像的第一转换关系,所述第一转换关系用于对所述第一三维ct图像中的像素的位姿进行转换;根据所述第一转换关系对所述第一三维ct图像进行转换,得到第二三维ct图像,所述第二三维ct图像包括与所述第二像素对应的第三像素;在所述第一像素与所述第三像素的距离小于或等于第一阈值的情况下,确定所述第二三维ct图像已与所述三维超声点云对齐。
6.结合本技术任一实施方式,所述三维超声点云还包括所述目标人物的目标器官;所述获取所述目标人物的第一三维ct图像,包括:获取所述目标人物的第三三维ct图像和第二转换关系;所述第三三维ct图像包括所述目标器官以及与所述皮肤区域对应的像素区域;在通过所述第二转换关系对所述第三三维ct图像中的所述目标器官进行转换的情况下,所述第三三维ct图像中的所述目标器官与所述三维超声点云中的所述目标器官对齐;根据所述第二转换关系对所述第三三维ct图像进行转换,得到所述第一三维ct图像。
7.结合本技术任一实施方式,所述皮肤区域包括第一探测点和第二探测点,所述第一探测点和所述第二探测点为所述皮肤区域内的离散点;
所述获取所述目标人物的三维超声点云,包括:获取所述第一探测点的一个或一个以上的第一超声位置和所述第二探测点的一个或一个以上的第二超声位置,所述一个或一个以上的第一超声位置为超声探头探测所述第一探测点所确定的位置,所述一个或一个以上的第二超声位置为超声探头探测所述第二探测点所确定的位置;根据所述一个或一个以上的第一超声位置和所述一个或一个以上的第二超声位置,得到所述三维超声点云。
8.结合本技术任一实施方式,所述根据所述一个或一个以上的第一超声位置和所述一个或一个以上的第二超声位置,得到所述三维超声点云,包括:获取第三转换关系,所述第三转换关系为所述超声探头探测到的位置与世界坐标系下的位置的转换关系;根据所述第三转换关系对所述一个或一个以上的第一超声位置进行转换,得到所述第一探测点在所述世界坐标系下的一个或一个以上的第一三维位置;根据所述第三转换关系对所述一个或一个以上的第二超声位置进行转换,得到所述第二探测点在所述世界坐标系下的一个或一个以上的第二三维位置;根据所述一个或一个以上的第一三维位置和所述一个或一个以上的第二三维位置,得到所述三维超声点云。
9.结合本技术任一实施方式,在所述第一超声位置的数量为两个或两个以上的情况下,两个或两个以上的所述第一超声位置包括第三超声位置和第四超声位置,所述第三超声位置的时间戳与所述第四超声位置的时间戳不同;所述根据所述一个或一个以上的第一超声位置,得到所述第一探测点在所述世界坐标系下的一个或一个以上的第一三维位置,包括:根据所述两个或两个以上的所述第一超声位置,得到所述第一探测点的两个或两个以上的第三三维位置,所述两个或两个以上的第三三维位置包括第四三维位置和第五三维位置,所述第四三维位置与所述第三超声位置对应,所述第五三维位置与所述第四超声位置对应;在所述第四三维位置与所述第五三维位置的位置差大于或等于第二阈值的情况下,将所述第四三维位置从所述两个或两个以上的第三三维位置中去除,得到所述一个或一个以上的第一三维位置。
10.结合本技术任一实施方式,所述将所述第四三维位置从所述两个或两个以上的第三三维位置中去除,得到所述一个或一个以上的第一三维位置,包括:将所述第四三维位置从所述两个或两个以上的第三三维位置中去除,得到所述一个或一个以上的第六三维位置;对所述一个或一个以上的第六三维位置进行增强处理,得到所述一个或一个以上的第一三维位置。
11.结合本技术任一实施方式,在得到第二三维ct图像后,所述方法还包括:将所述三维超声点云与所述第二三维ct图像叠加显示。
12.第二方面,提供了一种皮肤区域的配准装置,该配准装置包括:获取单元,用于获取目标人物的三维超声点云和所述目标人物的第一三维ct图
像,所述三维超声点云包括与所述目标人物的皮肤区域对应的第一像素区域,所述第一三维ct图像包括与所述皮肤区域对应的第二像素区域;确定单元,用于从所述第二像素区域中确定距离所述第一像素区域中的第一像素最近的第二像素;所述获取单元,还用于获取所述第一三维ct图像的第一转换关系,所述第一转换关系用于对所述第一三维ct图像中的像素的位姿进行转换;第一处理单元,用于根据所述第一转换关系对所述第一三维ct图像进行转换,得到第二三维ct图像,所述第二三维ct图像包括与所述第二像素对应的第三像素;第二处理单元,用于在所述第一像素与所述第三像素的距离小于或等于第一阈值的情况下,确定所述第二三维ct图像已与所述三维超声点云对齐。
13.结合本技术任一实施方式,所述三维超声点云还包括所述目标人物的目标器官;所述获取单元具体用于:获取所述目标人物的第三三维ct图像和第二转换关系;所述第三三维ct图像包括所述目标器官以及与所述皮肤区域对应的像素区域;在通过所述第二转换关系对所述第三三维ct图像中的所述目标器官进行转换的情况下,所述第三三维ct图像中的所述目标器官与所述三维超声点云中的所述目标器官对齐;根据所述第二转换关系对所述第三三维ct图像进行转换,得到所述第一三维ct图像。
14.结合本技术任一实施方式,所述皮肤区域包括第一探测点和第二探测点,所述第一探测点和所述第二探测点为所述皮肤区域内的离散点;所述获取单元,具体用于:获取所述第一探测点的一个或一个以上的第一超声位置和所述第二探测点的一个或一个以上的第二超声位置,所述一个或一个以上的第一超声位置为超声探头探测所述第一探测点所确定的位置,所述一个或一个以上的第二超声位置为超声探头探测所述第二探测点所确定的位置;根据所述一个或一个以上的第一超声位置和所述一个或一个以上的第二超声位置,得到所述三维超声点云。
15.结合本技术任一实施方式,所述获取单元,具体用于:获取第三转换关系,所述第三转换关系为所述超声探头探测到的位置与世界坐标系下的位置的转换关系;根据所述第三转换关系对所述一个或一个以上的第一超声位置进行转换,得到所述第一探测点在所述世界坐标系下的一个或一个以上的第一三维位置;根据所述第三转换关系对所述一个或一个以上的第二超声位置进行转换,得到所述第二探测点在所述世界坐标系下的一个或一个以上的第二三维位置;根据所述一个或一个以上的第一三维位置和所述一个或一个以上的第二三维位置,得到所述三维超声点云。
16.结合本技术任一实施方式,在所述第一超声位置的数量为两个或两个以上的情况下,两个或两个以上的所述第一超声位置包括第三超声位置和第四超声位置,所述第三超声位置的时间戳与所述第四超声位置的时间戳不同;
所述获取单元,具体用于:根据所述两个或两个以上的所述第一超声位置,得到所述第一探测点的两个或两个以上的第三三维位置,所述两个或两个以上的第三三维位置包括第四三维位置和第五三维位置,所述第四三维位置与所述第三超声位置对应,所述第五三维位置与所述第四超声位置对应;在所述第四三维位置与所述第五三维位置的位置差大于或等于第二阈值的情况下,将所述第四三维位置从所述两个或两个以上的第三三维位置中去除,得到所述一个或一个以上的第一三维位置。
17.结合本技术任一实施方式,所述获取单元,具体用于:将所述第四三维位置从所述两个或两个以上的第三三维位置中去除,得到所述一个或一个以上的第六三维位置;对所述一个或一个以上的第六三维位置进行增强处理,得到所述一个或一个以上的第一三维位置。
18.结合本技术任一实施方式,所述配准装置,还包括:显示单元,用于将所述三维超声点云与所述第二三维ct图像叠加显示。
19.第三方面,提供了一种电子设备,其特征在于,包括:处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
20.第四方面,提供了另一种电子设备,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
21.第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。
22.第六方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或指令,在所述计算机程序或指令在计算机上运行的情况下,使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法。
23.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本技术。
24.本技术实施例中,配准装置获取目标人物的三维超声点云和目标人物的第一三维ct图像,其中,三维超声点云包括与目标人物的皮肤区域对应的第一像素区域,第一三维ct图像包括与皮肤区域对应的第二像素区域。从第二像素区域中确定距离第一像素区域中的第一像素最近的第二像素。然后获取第一三维ct图像的第一转换关系,其中,第一转换关系用于对第一三维ct图像中的像素的位姿进行转换。根据第一转换关系对第一三维ct图像进行转换,得到第二三维ct图像,其中,第二三维ct图像包括与第二像素对应的第三像素。在第一像素与第三像素的距离小于或等于第一阈值的情况下,确定第二三维ct图像已与三维超声点云对齐。而由于三维超声点云是根据目标人物在手术过程中的位姿得到的,三维超
声点云的皮肤区域的位姿的准确度高,即三维超声点云中的皮肤区域的位姿的准确度高,因此配准装置通过将第二三维ct图像与三维超声点云对齐,可提高第二三维ct图像中的皮肤区域的位姿的准确度。
附图说明
25.为了更清楚地说明本技术实施例或背景技术中的技术方案,下面将对本技术实施例或背景技术中所需要使用的附图进行说明。
26.此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本技术的实施例,并与说明书一起用于说明本技术的技术方案。
27.图1为本技术实施例提供的一种皮肤区域的配准方法的流程示意图;图2为本技术实施例提供的将三维超声点云与第二三维ct图像叠加显示的效果示意图;图3为本技术实施例提供的一种肾部三维ct图像的示意图;图4为本技术实施例提供的另一种肾部三维ct图像的示意图;图5为本技术实施例提供的另一种肾部三维ct图像的示意图;图6为本技术实施例提供的一种相关人员使用超声探头对假人进行扫描的演练场景的示意图;图7为本技术实施例提供的一种在肾部三维ct图像中显示超声探头的扫描区域的示意图;图8为本技术实施例提供的一种肾部的三维超声图像与肾部三维ct图像配准后的效果示意图;图9为本技术实施例提供的一种从肾部三维ct图像中的皮肤区域和骨骼的示意图;图10为本技术实施例提供的一种皮肤区域的配准装置的结构示意图;图11为本技术实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
28.为了使本技术领域的人员更好地理解本技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
29.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
30.在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和
隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
31.本技术实施例的执行主体为皮肤区域的配准装置,其中,配准装置可以是任意一种可执行本技术方法实施例所公开的技术方案的电子设备。可选的,配准装置可以是以下中的一种:计算机、服务器。
32.应理解,本技术方法实施例还可以通过处理器执行计算机程序代码的方式实现。下面结合本技术实施例中的附图对本技术实施例进行描述。请参阅图1,图1是本技术实施例提供的一种皮肤区域的配准方法的流程示意图。
33.101、获取目标人物的三维超声点云和上述目标人物的第一三维ct图像。
34.本技术实施例中,目标人物可以是人。三维超声点云为基于超声图像构建的三维点云,三维超声点云包括与目标人物的皮肤区域对应的第一像素区域,第一三维ct图像包括与皮肤区域对应的第二像素区域,即第一像素区域和第二像素区域均表征目标人物的皮肤区域。可选的,目标人物的皮肤区域为目标人物的背部的皮肤区域。
35.在一种获取目标人物的三维超声点云的实现方式中,配准装置获取二维超声图像和第四转换关系,其中,第四转换关系为二维超声图像的像素坐标系与世界坐标系的转换关系,即根据第四转换关系可确定二维超声图像中的任意一个像素在世界坐标系下的坐标。例如,二维超声图像包括像素a,真实世界下与像素a对应的物点为物点b,那么根据第四转换关系和像素a在二维超声图像的像素坐标系下的位置,可确定物点b在世界坐标系下的坐标。配准装置根据第四转换关系对二维超声图像中的像素的位置进行转换,得到三维超声点云。
36.在另一种获取三维超声点云的实现方式中,配准装置接收用户通过输入组件输入的三维超声点云,其中,输入组件包括:鼠标、键盘、触控屏、触控板、音频输入器。
37.在又一种获取三维超声点云的实现方式中,配准装置通过接收终端发送的三维超声点云获取三维超声点云,其中,终端包括:手机、电脑、平板电脑、智能可穿戴设备。
38.在一种获取目标人物的第一三维ct图像的实现方式中,配准装置获取二维ct图像,通过对二维ct图像进行三维重建,得到第一三维ct图像。
39.在另一种获取第一三维ct图像的实现方式中,配准装置接收用户通过输入组件输入的第一三维ct图像。
40.在又一种获取第一三维ct图像的实现方式中,配准装置通过接收终端发送的第一三维ct图像获取第一三维ct图像。
41.应理解,本技术实施例中,配准装置执行获取三维超声点云的步骤和执行获取第一三维ct图像的步骤可以分开执行,也可以同时执行,本技术对此不作限定。
42.102、从上述第二像素区域中确定距离上述第一像素区域中的第一像素最近的第二像素。
43.本技术实施例中,第一像素为第一像素区域内的任意一个像素,第二像素为二像素区域内的距离第一像素最近的像素。例如,第一像素区域包括像素a和像素b,第二像素区域包括像素c和像素d。若像素c和像素d中距离像素a最近的像素为像素c,距离像素b最近的像素为像素d,那么在像素a为第一像素的情况下,像素c为第二像素,在像素b为第一像素的情况下,像素d为第二像素。
44.可选的,配准装置针对第一像素区域内的每个像素,均从第二像素区域内确定一
个距离最近的像素。
45.103、获取第一三维ct图像的第一转换关系。
46.本技术实施例中,第一转换关系为三维超声点云与第一三维ct图像的配准关系,即通过第一转换关系对第一三维ct图像进行转换,可转换第一三维ct图像中的像素的位姿,具体而言,可转换第二像素区域内的像素的位姿。
47.在一种获取第一转换关系的实现方式中,配准装置接收用户通过输入组件输入的第一转换关系。
48.在又一种获取待处理图像的实现方式中,配准装置通过接收终端发送的第一转换关系。
49.104、根据上述第一转换关系对上述第一三维ct图像进行转换,得到第二三维ct图像。
50.本技术实施例中,第二三维ct图像包括与上述第二像素对应的第三像素,即配准装置在根据第一转换关系对第一三维ct图像进行转换得到第二三维ct图像的过程中,根据第一转换关系转换第二像素的位姿得到第三像素。
51.105、在上述第一像素与上述第三像素的距离小于或等于第一阈值的情况下,确定上述第二三维ct图像已与上述三维超声点云对齐。
52.第一像素与第三像素的距离小,说明第二三维ct图像与第一三维ct图像的对齐度高,即第二三维ct图像内的皮肤区域与第一三维ct图像内的皮肤区域的对齐度高,反之,第一像素与第三像素的距离大,说明第二三维ct图像与第一三维ct图像的对齐度低,即第三像素区域内的皮肤区域与第一像素区域内的皮肤区域的对齐度低。
53.本技术实施例中,配准装置以第一阈值为依据,判断第一像素与第三像素的距离是大还是小,具体的,第一像素与第三像素的距离小于或等于第一阈值,说明第一像素与第三像素的距离小,第一像素与第三像素的距离大于第一阈值,说明第一像素与第三像素的距离大。
54.因此,配准装置在第一像素与第三像素的距离小于或等于第一阈值的情况下,确定第二三维ct图像内的皮肤区域与第一三维ct图像内的皮肤区域的对齐度高。也就是说,根据第一转换关系对第一三维ct图像进行转换,可使第二三维ct图像内的皮肤区域与第一三维ct图像内的皮肤区域的对齐,因此,配准装置在第一像素与第三像素的距离小于或等于第一阈值的情况下,确定第二三维ct图像已与三维超声点云对齐。
55.由于三维超声点云是根据目标人物在手术过程中的位姿得到的,三维超声点云的皮肤区域的位姿的准确度高,即三维超声点云中的皮肤区域的位姿的准确度高,因此配准装置通过将第二三维ct图像与三维超声点云对齐,可提高第二三维ct图像中的皮肤区域的位姿的准确度。
56.本技术实施例中,配准装置通过执行步骤101至步骤105,得到与三维超声点云对齐的第二三维ct图像,进而提高第二三维ct图像中的皮肤区域的位姿的准确度。
57.基于前文所提供的技术方案,本技术实施例提供了一种可能的实施方式。配准装置针对第一像素区域中的每个像素,分别从第二像素区域中确定一个距离最近的像素,将第一像素区域与第二像素区域中距离最近的两个像素作为最近像素对,例如,第一像素区域包括像素a和像素b,第二像素区域包括像素c和像素d,其中,像素c和像素d中距离像素a
最近的像素为像素c,距离像素b最近的像素为像素d,那么像素a和像素c为一对最近像素对,像素b和像素d为一对最近像素对。
58.根据第一转换关系对第一三维ct图像进行转换,得到第二三维ct图像,此时最近像素对中的第一像素区域内的像素更新为第二三维ct图像中与该像素对应的像素。例如,第一像素区域包括像素a和像素b,第二像素区域包括像素c和像素d,其中,像素c和像素d中距离像素a最近的像素为像素c,距离像素b最近的像素为像素d,那么像素a和像素c为一对最近像素对,像素b和像素d为一对最近像素对。在第二三维ct图像中,像素e与像素a对应,像素f与像素b对应,那么像素e和像素c为一对最近像素对,像素f与像素d为一对最近像素对。
59.配准装置分别计算各个最近像素对中的两个像素的距离,然后计算所有距离的平均距离。在该平均距离小于或等于第三阈值的情况下,确定第二三维ct图像已与三维超声点云对齐。在该平均距离大于第三阈值的情况下,获取第五转换关系,其中,第三阈值与第一阈值可以相同,也可以不同,第五转换关系与第一转换关系可以相同,也可以不同,第五转换关系用于对第二三维ct图像中的像素的位姿进行转换。再根据第五转换关系对第二三维ct图像进行转换,得到第五三维ct图像,然后基于第五三维ct图像更新最近像素对,并重新计算最近像素对中的两个像素的距离的平均值,得到新的平均距离。最后在新的平均距离小于或等于第三阈值的情况下,确定第五三维ct图像已与三维超声点云对齐,在新的平均距离大于第三阈值的情况下,重复基于第二三维ct图像得到新的平均距离的步骤,直至新的平均距离小于或等于第三阈值。
60.作为一种可选的实施方式,三维超声点云还包括目标人物的目标器官,其中,目标器官可以是任意器官,例如,目标器官为肾,又例如,目标器官为肺。在该种实施方式中,配准装置通过执行以下步骤获取目标人物的第一三维ct图像:201、获取上述目标人物的第三三维ct图像和第二转换关系。
61.本技术实施例中,第三三维ct图像包括目标器官以及与皮肤区域对应的像素区域。在通过第二转换关系对第三三维ct图像中的目标器官进行转换的情况下,第三三维ct图像中的目标器官与三维超声点云中的目标器官对齐,即第二转换关系为第三三维ct图像中的目标器官与三维超声点云中的目标器官的配准关系。
62.202、根据上述第二转换关系对上述第三三维ct图像进行转换,得到上述第一三维ct图像。
63.配准装置根据第二转换关系对第三三维ct图像进行转换,可将第三三维ct图像中的目标器官向三维超声点云中的目标器官对齐,也就是说,通过执行步骤202得到的第一三维ct图像为对齐后的三维ct图像。
64.在该种实施方式中,配准装置在获取目标人物的第三三维ct图像和第二转换关系的情况下,根据第二转换关系对第三三维ct图像进行转换得到第一三维ct图像,可使第一三维ct图像中的目标器官与三维超声点云中的目标器官对齐。这样,再通过执行步骤102只步骤105,对第一三维ct图像中的皮肤区域与超声点云中的皮肤区域进行对齐,可减少数据处理量,提高处理速度。
65.作为一种可选的实施方式,皮肤区域包括第一探测点和第二探测点,第一探测点和第二探测点为皮肤区域内的离散点。在该种实施方式中,配准装置通过执行以下步骤获
取目标人物的三维超声点云:301、获取上述第一探测点的一个或一个以上的第一超声位置和上述第二探测点的一个或一个以上的第二超声位置。
66.本技术实施例中,一个或一个以上的第一超声位置为超声探头探测第一探测点所确定的位置,一个或一个以上的第二超声位置为超声探头探测第二探测点所确定的位置。即超声探头在探测一个探测点时,会采集一个或一个以上的超声位置。
67.例如,超声探头在探测第一探测点的过程中,共采集了10帧包括第一探测点的超声图像,根据一帧超声图像可得到第一探测点的一个第一超声位置,根据10帧超声图像可得到第一探测点的10个第一超声位置。
68.302、根据上述一个或一个以上的第一超声位置和上述一个或一个以上的第二超声位置,得到上述三维超声点云。
69.配准装置根据一个或一个以上的第一超声位置,可重建出第一探测点的三维位置,根据一个或一个以上的第二超声位置,可重建出第二探测点的三维位置,进而可根据第一探测点的三维位置和第二探测点的三维位置,得到皮肤区域的三维超声点云。
70.在该种实施方式中,由于第一探测点和第二探测点为皮肤区域内的离散点,配准装置基于第一探测点的一个或一个以上的第一超声位置和第二探测点的一个或一个以上的第二超声位置,得到皮肤区域的三维超声点云,可减少所需处理的超声位置的数量,进而减少数据处理量。
71.应理解,该种实施方式中的第一探测点和第二探测点仅为简洁描述技术方案所选定的描述对象,不应理解为仅从皮肤区域内选取两个探测点,在实际应用中,可从皮肤区域中选取m个探测点,其中,m为大于或等于2的整数。
72.基于该种实施方式的技术方案,本技术实施例还提供了一种可能的实施方式。
73.由于皮肤区域内的点的数量大,若分别采集每个点的超声位置,再基于所有点的超声位置得到三维超声点云,会产生很大的数据处理量。因此,针对皮肤区域设置了n个特征点,使用超声探头采集这n个特征点的超声位置,再基于n个特征点的超声位置得到三维超声点云,可减少数据处理量。
74.具体的,皮肤区域为目标人物的背部皮肤区域,超声探头在背部皮肤区域内的探测总时长为ta。在n=10的情况下,超声探头从在背部皮肤区域内开始运动起,每隔ta/10时间采集当前所探测的探测点的超声位置,这样,超声探头共采集背部皮肤区域内的10个探测点的超声位置。配准装置进而可依据这10个探测点的超声位置,得到背部皮肤区域的三维超声点云。
75.作为一种可选的实施方式,配准装置在执行步骤302的过程中执行以下步骤:401、获取第三转换关系。
76.本技术实施例中,第三转换关系为通过超声探头探测到的位置与世界坐标系下的位置的转换关系,即根据第三转换关系和超声探头探测的探测点的超声位置,可得到该探测点在世界坐标系下的三维位置。
77.402、根据上述一个或一个以上的第一超声位置,得到上述第一探测点在上述世界坐标系下的一个或一个以上的第一三维位置。
78.403、根据上述一个或一个以上的第二超声位置,得到上述第二探测点在上述世界
坐标系下的一个或一个以上的第二三维位置。
79.404、根据上述一个或一个以上的第一三维位置和上述一个或一个以上的第二三维位置,得到上述三维超声点云。
80.可选的,配准装置通过对一个或一个以上的第一三维位置和一个或一个以上的第二三维位置进行曲面拟合,得到三维超声点云。
81.作为一种可选的实施,在第一超声位置的数量为两个或两个以上的情况下,两个或两个以上的第一超声位置包括第三超声位置和第四超声位置,其中,第三超声位置的时间戳与第四超声位置的时间戳不同,也就是说,第三超声位置和第四超声位置为两个或两个以上的第一超声位置中采集时间不同的两个超声位置。
82.配准装置在执行步骤402的过程中执行以下步骤:501、根据上述两个或两个以上的上述第一超声位置,得到上述第一探测点的两个或两个以上的第三三维位置。
83.本技术实施例中,第三三维位置与第一超声位置一一对应,两个或两个以上的第三三维位置包括第四三维位置和第五三维位置,其中,第四三维位置与第三超声位置对应,第五三维位置与第四超声位置对应,即第四三维位置为基于第三超声位置得到的三维位置,第五三维位置为基于第四超声位置得到的三维位置。
84.502、在上述第四三维位置与上述第五三维位置的位置差大于或等于第二阈值的情况下,将上述第四三维位置从上述两个或两个以上的第三三维位置中去除,得到上述一个或一个以上的第一三维位置。
85.由于第四三维位置和第五三维位置均表征第一探测点在世界坐标系下的三维位置,第四三维位置与第五三维位置的位置差大显然不合理的,即第四三维位置与第五三维位置中存在误差。本技术实施例中,配准装置以第二阈值为依据,判断第四三维位置与第五三维位置的位置差是大还是小,具体的,第四三维位置与第五三维位置的位置差大于或等于第二阈值,说明第四三维位置与第五三维位置的位置差大,第四三维位置与第五三维位置的位置差小于第二阈值,说明第四三维位置与第五三维位置的位置差小。
86.因此,配准装置在第四三维位置与第五三维位置的位置差大于或等于第二阈值的情况下,确定第四三维位置与第五三维位置中存在误差,于是通过将第四三维位置从两个或两个以上的第三三维位置中去除,得到一个或一个以上的第一三维位置,以去除两个或两个以上的第三三维位置中的误差,从而提高一个或一个以上的第一三维位置的准确度。
87.应理解,该种实施方式仅描述了针对第一探测点的三维位置进行去除误差的处理,在实际应用中,配准装置可以同样的方式去除任意一个探测点的三维位置中的误差。
88.基于该种实施方式的技术方案,本技术实施例还提供了一种可能的实施方式。对于同一探测点的两个或两个以上的三维位置,配准装置计算时间戳相邻的两个三维位置的位置差,在该位置差大于或等于第二阈值的情况下,将时间戳小的三维位置去除。
89.作为一种可选的实施方式,配准装置通过执行以下步骤将第四三维位置从两个或两个以上的第三三维位置中去除,得到一个或一个以上的第一三维位置:601、将上述第四三维位置从上述两个或两个以上的第三三维位置中去除,得到上述一个或一个以上的第六三维位置。
90.602、对上述一个或一个以上的第六三维位置进行增强处理,得到上述一个或一个
以上的第一三维位置。
91.本技术实施例中,增强处理用于去除噪声,即通过对一个或一个以上的第六三维位置进行增强处理,可去除一个或一个以上的第六三维位置中的噪声。这样基于增强处理得到的一个或一个以上的第一三维位置得到皮肤区域的三维超声点云,可提高该三维超声点云的清晰度。
92.在一种可能实现的方式中,增强处理通过高斯混合模型(gaussian mixture model,gmm)实现。具体的,在不同探测点的三维位置是独立同分布的情况下,那么不同探测点的三维位置的概率密度函数是高斯概率的加权和,可表示如下:

公式(1)其中n是探测点的数量,k是聚类得到的类别,是聚类得到的类别的和,是探测点的高斯分布,为探测点的位置的均值,为探测点的位置的协方差,为均值和协方差矩阵的和。
93.根据期望最大化算法对公式(1)进行转换可得到gmm的参数估计,具体如下:

公式(2)其中,是后验概率,为均值和协方差矩阵的和。
94.在该种实施方式中,配准装置在去除两个或两个以上的第三三维位置中的误差得到一个或一个以上的第六三维位置的情况下,对一个或一个以上的第六三维位置进行增强处理,可进一步去除一个或一个以上的第六三维位置中的噪声,得到一个或一个以上的第一三维位置。
95.应理解,该种实施方式仅描述了针对第一探测点的三维位置进行去除误差并进行增强处理,在实际应用中,配准装置可以同样的方式去除任意一个探测点的三维位置中的误差并进行增强处理。
96.作为一种可选的实施方式,配准装置在得到第二三维ct图像后,还执行以下步骤:701、将上述三维超声点云与上述第二三维ct图像叠加显示。
97.配准装置通过将三维超声点云与第二三维ct图像叠加显示,可更好的体现三维超声点云中的目标器官与第二三维ct图像中的目标器官的匹配度。而且由于三维超声点云中的皮肤区域与第二三维ct图像中的皮肤区域已对齐,医生根据叠加显示的效果进行对目标器官的穿刺手术,如根据第二三维ct图像中的皮肤区域确定穿刺手术的进针点。
98.例如,目标器官为肾,图2示出了将三维超声点云与第二三维ct图像叠加显示的效果,应理解,第二三维ct图像中包括人体的两个肾,因此图2中也包括两个肾,而图2示出了三维超声点云的肾与第二三维ct图像中的一个肾的叠加效果。如图2所示,针对肾规划了穿刺路径,该穿刺路径包括进针点。图2还示出了世界坐标系(即图2中的xyz坐标系)与目标人
物的体位的关系。
99.基于本技术实施例提供的技术方案,本技术实施例还提供了一种可能的应用场景。
100.配准装置首先获取目标人物的肾部平扫期ct图像和目标人物的肾部增强ct图像,其中,增强ct图像可以是以下中的一个:皮质期ct图像、排泄期ct图像。其中,肾部平扫期ct图像和肾部增强ct图像,可使用ct成像设备对目标对象进行扫描得到。配准装置根据肾部平扫期ct图像和肾部增强ct图像,重建出肾部的三维ct图像。例如,图3所示为重建出的肾部三维ct图像,如图3所示,肾部三维ct图像包括两个肾部的三维模型,图3还示出了世界坐标系(即图3中的xyz坐标系)与目标人物的体位的关系,以及ct成像设备的示意模型。又例如,图4所示也为重建出的肾部三维ct图像,如图4所示,该肾部三维ct图像包括一个肾部的三维模型,图4还示出了世界坐标系(即图4中的xyz坐标系)与目标人物的体位的关系。再例如,图5示出了另一种肾部三维ct图像,如图5所示,该肾部三维ct图像包括两个肾部的三维模型、目标人物的人体轮廓、目标人物的骨骼。图5还示出了世界坐标系(即图5中的xyz坐标系)与目标人物的体位的关系。图5右下角还包括三个视角按钮:头朝左、肾居中、头朝右。点击头朝左,可通过调整肾部三维ct图像的视角,展示目标人物的左侧。点击肾居中,可通过调整肾部三维ct图像的视角,将目标人物的肾至于肾部三维ct图像的中间展示。点击头朝左,可通过调整肾部三维ct图像的视角,展示目标人物的右侧。
101.医生使用超声探头对目标人物的肾部进行扫描,得到肾部的超声图像。可选的,在医生使用超声探头对目标人物的肾部进行扫描的过程中,目标人物呼吸频率尽量保持缓慢稳定,这样可减少呼吸带来的空间位置波动误差,进而提高肾部超声图像中的肾部位置的准确度。可选的,图6示出了相关人员使用超声探头对假人进行扫描的演练场景,具体的,图6为相关人员使用超声探头对假人的背部皮肤区域进行扫描。
102.在超声探头采集肾部的超声图像的过程中,配准装置结合光学追踪系统来定位超声图像中的肾部在世界坐标系下的位置,其中,光学追踪系统可确定超声探头所扫描的对象在世界坐标系下的位置。可选的,在使用超声探头采集肾部的超声图像的过程中,还可在肾部三维ct图像中显示超声探头的扫描区域。例如,图7为在肾部三维ct图像中显示超声探头的扫描区域的示意图。如图7所示,图7上方的白色区域为超声探头,白色区域下方的扇形区域我超声探头的扫描区域。图7还是出了肾部三维ct图像,具体的,该肾部三维ct图像包括肾部的三维模型、目标人物的骨骼。图7还示出了世界坐标系(即图7中的xyz坐标系)与目标人物的体位的关系。图7右下角还包括三个视角按钮:头朝左、肾居中、头朝右。点击头朝左,可通过调整肾部三维ct图像的视角,展示目标人物的左侧。点击肾居中,可通过调整肾部三维ct图像的视角,将目标人物的肾至于肾部三维ct图像的中间展示。点击头朝左,可通过调整肾部三维ct图像的视角,展示目标人物的右侧。
103.配准装置通过对肾部超声图像进行分割处理,从肾部超声图像中分割出肾部轮廓图像。根据肾部轮廓图像在肾部图像中的位置以及肾部在世界坐标系下的位置,可得到肾部超声图像的像素坐标系与世界坐标系的转换关系(即为上述第三转换关系)。
104.在从肾部超声图像中分割出肾部轮廓图像后,可根据肾部轮廓图像,重建出肾部三维超声图像。通过对肾部三维超声图像与肾部的三维ct图像进行配准,可确定将肾部三维ct图像中的肾部向肾部的三维超声图像中的肾部对齐的配准矩阵(即为上述第二转换关
系的逆矩阵)。可选的,第二转换关系包括旋转变换和平移变换。
105.可选的,通过对肾部的三维超声图像与肾部三维ct图像进行配准,在肾部的三维ct图像中的肾部与肾部的三维超声图像中的肾部的相似度超过90%的情况下,根据肾部的三维ct图像的旋转量和平移量,确定第二转换关系。例如,图8示出了肾部的三维超声图像与肾部三维ct图像配准后的效果,在图8中,白色结构为超声探头,如图8所示,肾部的三维超声图像与肾部的三维ct图像已配准。图8还示出了世界坐标系(即图8中的xyz坐标系,应理解,图8中仅示出了x轴和z轴,未示出y轴)和肾部的穿刺路径(即图8中的紫色线段)。
106.对配准后的肾部三维ct图像进行分割处理,确定肾部三维ct图像中的皮肤区域和骨骼。如图9所示,通过对肾部三维ct图像进行分割处理,可从肾部三维ct图像中确定出皮肤区域,图9所示的肾部三维ct图像还包括骨骼,图9还示出了世界坐标系(即图9中的xyz坐标系)与目标人物的体位的关系。
107.通过超声探头对目标人物的背部皮肤区域进行扫描,获得背部皮肤区域的三维超声点云(具体实现过程可参见前文提及的获取三维超声点云的实现方式)。基于步骤102至步骤105所提供的技术方案,对肾部三维ct图像中的皮肤区域和该三维超声点云中的皮肤区域进行配准。
108.具体的,首先将肾部三维ct图像转换为点云数据得到肾部三维ct点云,然后针对肾部三维ct点云中的皮肤区域中的每个像素,从三维超声点云的皮肤区域中确定一个距离最近的像素。可选的,通过k维树(kd-tree)从三维超声点云的皮肤区域中确定一个距离最近的像素,可提高处理速度。
109.然后确定一个用于对肾部三维ct点云中的像素的位姿进行转换的第一转换关系,具体过程如下:确定第一转换关系可视为点对点(point-to-point)的迭代最近点(iterative closestpoint,icp)问题,对于point-to-point icp的问题,可以借助奇异值分解(singularvalue decomposition,svd)来求解。
110.假设表示肾部的三维超声点云的质心,表示肾部三维ct点云的质心。令,,其中,表示肾部三维超声点云中的第i个点,表示肾部的三维ct点云中的第i个点,表示三维超声点云的质心的标量,表示三维ct点云的质心的标量,表示肾部三维超声点云中的第i个点到肾部三维超声点云的质心的距离,表示肾部三维ct点云中的第i个点到肾部三维ct点云的质心的距离。令,其中,h表示协方差矩阵,对h进行svd分解得到,由此求解point-to-point icp的问题转换为了求最优旋转:,以及求最优平移:。
111.首先求解最优平移,具体的,令,则损失为,对该损失进行求导,则有:,令导数为0,则有:
,即无论r取值如何,根据上式我们都可以求得最优的t,使得损失最小,其中,r为旋转矩阵。
112.然后再来求解最优旋转,具体的,经过最优平移的求解,已确定无论旋转矩阵r如何取值,都可以通过计算三维超声点云的质心来求得最优平移,因此为了减少后续的计算量,可以在计算最优平移的过程中不考虑平移的影响。于是先将三维超声点云和三维ct点云分别转换到各自的质心坐标下,这也就是之前令,的意义。
113.如果不考虑平移的影响,则损失可以写成:,首先利用和(即标量的转置等于自身)的性质对损失中的以下这一项进行化简:,具体化简过程如下:
114.由于三维ct点云中的点的坐标是确定的(即点的坐标与旋转矩阵r无关),最小化损失即等价于求:。由矩阵乘法及trace(矩阵迹)的定义可得到,则最小化损失的问题转化为:。再将矩阵h和svd分解的结果代入得到:。
115.由于v,u,r都是正交矩阵(orthogonal matrices),也是正交矩阵。令,则有:,根据奇异值非负的性质和正交矩阵的性质(正交矩阵中的元素绝对值不大于1)可知,当m为
单位矩阵时最大,即:,,因此。最后还需要进行定向矫正(orientation rectification),即验证是不是一个旋转矩阵,换句话说,检查是否有的情况。因为存在的可能,此时r表示的不是旋转而是一个平移(reflection),所以还要给上述优化求解加上一个的约束。
116.根据矩阵行列式的性质,以及u,v均是正交矩阵可知:,如果,则,已经给出最优旋转;如果,则,那么求解此时的r,也就是分析m应该具有何种形式。具体的,当时,使得trace(σm)最大的m为:,综合考虑和两种情况,可以得到:。
117.在icp的迭代过程中,每一次迭代均可得到当前的最优变换参数,,然后利用该和对三维ct点云进行转换,直至满足迭代终止条件。迭代终止条件包括:的变换量和的变化量均小于第四阈值、损失的变化量小于第五阈值、迭代次数达到第六阈值。
118.本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
119.若本技术技术方案涉及个人信息,应用本技术技术方案的产品在处理个人信息前,已明确告知个人信息处理规则,并取得个人自主同意。若本技术技术方案涉及敏感个人信息,应用本技术技术方案的产品在处理敏感个人信息前,已取得个人单独同意,并且同时满足“明示同意”的要求。例如,在摄像头等个人信息采集装置处,设置明确显著的标识告知已进入个人信息采集范围,将会对个人信息进行采集,若个人自愿进入采集范围即视为同意对其个人信息进行采集;或者在个人信息处理的装置上,利用明显的标识/信息告知个人信息处理规则的情况下,通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权;其中,个人信息处理可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
120.上述详细阐述了本技术实施例的方法,下面提供了本技术实施例的装置。
121.请参阅图10,图10为本技术实施例提供的一种皮肤区域的配准装置的结构示意图,该配准装置1包括:获取单元11、确定单元12、第一处理单元13、第二处理单元14,可选的,配准装置1还包括显示单元15,具体的:获取单元11,用于获取目标人物的三维超声点云和所述目标人物的第一三维ct图像,所述三维超声点云包括与所述目标人物的皮肤区域对应的第一像素区域,所述第一三维ct图像包括与所述皮肤区域对应的第二像素区域;确定单元12,用于从所述第二像素区域中确定距离所述第一像素区域中的第一像
素最近的第二像素;所述获取单元11,还用于获取所述第一三维ct图像的第一转换关系,所述第一转换关系用于对所述第一三维ct图像中的像素的位姿进行转换;第一处理单元13,用于根据所述第一转换关系对所述第一三维ct图像进行转换,得到第二三维ct图像,所述第二三维ct图像包括与所述第二像素对应的第三像素;第二处理单元14,用于在所述第一像素与所述第三像素的距离小于或等于第一阈值的情况下,确定所述第二三维ct图像已与所述三维超声点云对齐。
122.结合本技术任一实施方式,所述三维超声点云还包括所述目标人物的目标器官;所述获取单元11具体用于:获取所述目标人物的第三三维ct图像和第二转换关系;所述第三三维ct图像包括所述目标器官以及与所述皮肤区域对应的像素区域;在通过所述第二转换关系对所述第三三维ct图像中的所述目标器官进行转换的情况下,所述第三三维ct图像中的所述目标器官与所述三维超声点云中的所述目标器官对齐;根据所述第二转换关系对所述第三三维ct图像进行转换,得到所述第一三维ct图像。
123.结合本技术任一实施方式,所述皮肤区域包括第一探测点和第二探测点,所述第一探测点和所述第二探测点为所述皮肤区域内的离散点;所述获取单元11,具体用于:获取所述第一探测点的一个或一个以上的第一超声位置和所述第二探测点的一个或一个以上的第二超声位置,所述一个或一个以上的第一超声位置为超声探头探测所述第一探测点所确定的位置,所述一个或一个以上的第二超声位置为超声探头探测所述第二探测点所确定的位置;根据所述一个或一个以上的第一超声位置和所述一个或一个以上的第二超声位置,得到所述三维超声点云。
124.结合本技术任一实施方式,所述获取单元11,具体用于:获取第三转换关系,所述第三转换关系为所述超声探头探测到的位置与世界坐标系下的位置的转换关系;根据所述第三转换关系对所述一个或一个以上的第一超声位置进行转换,得到所述第一探测点在所述世界坐标系下的一个或一个以上的第一三维位置;根据所述第三转换关系对所述一个或一个以上的第二超声位置进行转换,得到所述第二探测点在所述世界坐标系下的一个或一个以上的第二三维位置;根据所述一个或一个以上的第一三维位置和所述一个或一个以上的第二三维位置,得到所述三维超声点云。
125.结合本技术任一实施方式,在所述第一超声位置的数量为两个或两个以上的情况下,两个或两个以上的所述第一超声位置包括第三超声位置和第四超声位置,所述第三超声位置的时间戳与所述第四超声位置的时间戳不同;所述获取单元11,具体用于:根据所述两个或两个以上的所述第一超声位置,得到所述第一探测点的两个或两个以上的第三三维位置,所述两个或两个以上的第三三维位置包括第四三维位置和第五三
维位置,所述第四三维位置与所述第三超声位置对应,所述第五三维位置与所述第四超声位置对应;在所述第四三维位置与所述第五三维位置的位置差大于或等于第二阈值的情况下,将所述第四三维位置从所述两个或两个以上的第三三维位置中去除,得到所述一个或一个以上的第一三维位置。
126.结合本技术任一实施方式,所述获取单元11,具体用于:将所述第四三维位置从所述两个或两个以上的第三三维位置中去除,得到所述一个或一个以上的第六三维位置;对所述一个或一个以上的第六三维位置进行增强处理,得到所述一个或一个以上的第一三维位置。
127.结合本技术任一实施方式,所述配准装置1,还包括:显示单元15,用于将所述三维超声点云与所述第二三维ct图像叠加显示。
128.本技术实施例中,配准装置获取目标人物的三维超声点云和目标人物的第一三维ct图像,其中,三维超声点云包括与目标人物的皮肤区域对应的第一像素区域,第一三维ct图像包括与所述皮肤区域对应的第二像素区域。从第二像素区域中确定距离第一像素区域中的第一像素最近的第二像素。然后获取第一三维ct图像的第一转换关系,其中,第一转换关系用于对第一三维ct图像中的像素的位姿进行转换。根据第一转换关系对第一三维ct图像进行转换,得到第二三维ct图像,其中,第二三维ct图像包括与第二像素对应的第三像素。在第一像素与第三像素的距离小于或等于第一阈值的情况下,确定第二三维ct图像已与三维超声点云对齐。
129.在一些实施例中,本技术实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
130.图11为本技术实施例提供的一种电子设备的硬件结构示意图。该电子设备2包括处理器21,存储器22。可选的,该电子设备2还包括输入装置23,输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合,该连接器包括各类接口、传输线或总线等等,本技术实施例对此不作限定。应当理解,本技术的各个实施例中,耦合是指通过特定方式的相互联系,包括直接相连或者通过其他设备间接相连,例如可以通过各类接口、传输线、总线等相连。
131.处理器21可以是一个或多个图形处理器(graphicsprocessing unit, gpu),在处理器21是一个gpu的情况下,该gpu可以是单核gpu,也可以是多核gpu。可选的,处理器21可以是多个gpu构成的处理器组,多个处理器之间通过一个或多个总线彼此耦合。可选的,该处理器还可以为其他类型的处理器等等,本技术实施例不作限定。
132.存储器22可用于存储计算机程序指令,以及用于执行本技术方案的程序代码在内的各类计算机程序代码。可选地,存储器包括但不限于是随机存储记忆体(random access memory,ram)、只读存储器(read-only memory,rom)、可擦除可编程只读存储器(erasableprogrammable read only memory,eprom)、或便携式只读存储器(compact disc read-only memory,cd-rom),该存储器用于相关指令及数据。
133.输入装置23用于输入数据和/或信号,以及输出装置24用于输出数据和/或信号。
disc,dvd))、或者半导体介质(例如固态硬盘(solid state disk ,ssd))等。
142.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:只读存储器(read-only memory,rom)或随机存取存储器(random accessmemory,ram)、磁碟或者光盘等各种可存储程序代码的介质。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1