医学成像转换方法和相关联的医学成像3D模型个性化方法与流程

本发明涉及医学成像转换方法。本发明还涉及使用此些医学成像转换方法的相关联的医学成像3d模型个性化方法。

背景技术：

1、根据us 2019/0259153中相对于医学成像转换方法所公开的现有技术，已知一种通过生成式对抗网络(gan)将患者的真实x射线图像变换为数字重建射线照片(drr)的方法。

2、然而，所获得的数字重建射线照片(drr)呈现两个特征：

3、第一，其包含在由所述生成式对抗网络(gan)变换之前起始x射线图像中存在的所有器官。

4、第二，如果需要特定器官的像素分段，则在后续分段步骤中通过另一专用卷积神经网络(cnn)[见us 2019/0259153，第1页§5和第4页§51]从所获得的数字重建射线照片(drr)执行此操作。

5、根据本发明，这被视为相当复杂且不够有效的，因为患者身体的某一器官内或某一区内存在若干且常常甚至许多不同的解剖结构。

6、所述不同的解剖结构，不论是器官还是器官部分还是多组器官，都有在数字重建射线照片(drr)中重叠的风险，因为其表示3d结构的平面投影视图。

技术实现思路

1、本发明的目标是至少部分地缓解上文提及的缺点。

2、与所列举的现有技术形成对比，根据本发明的精神，在双drr图像匹配过程中，每一drr表示唯一的器官或器官的唯一解剖部分以避免邻近或叠加的器官或器官结构上的失配，被视为是有益的。

3、然而，在现有技术中，变换过程不允许针对重叠器官区的此结构隔离，因为由包含所有器官的全局所获drr的分段产生的像素分类不足以辨别属于每一器官或属于每一器官结构的drr图像信号的相应的量。因此，后续从全局所获drr提取各自表示仅一个器官的区域性drr是不可能的，至少在不损失有效信号的前提下是不可能的。

4、因此，根据本发明，提出一种通过单个生成式对抗网络(gan)将患者的真实x射线图像变换为单个区域性数字重建射线照片(drr)或一组区域性数字重建射线照片(drr)的方法，所述gan同时实现以下各者：

5、从通过直接在原始3d体积中隔离结构而生成的drr训练，

6、同时产生一组若干drr，其中的每一个聚焦于仅一个所关注的解剖结构；或产生一个drr，但其仅聚焦于所关注的一个解剖结构，排除其它解剖结构，

7、经由单个且唯一gan的单个操作进行，因此同时优化转变功能和结构分离功能两者。

8、利用一种医学成像转换方法来实现此目标，所述医学成像转换方法自动进行以下转换：使用一个卷积神经网络(cnn)或一组卷积神经网络(cnn)通过单个操作将至少包含患者的第一解剖结构和所述患者的第二解剖结构的所述患者的至少一个或多个真实x射线图像转换为表示所述第一解剖结构而不表示所述第二解剖结构的所述患者的至少一个数字重建射线照片(drr)，所述cnn经初步训练以兼备或同时实现以下各者：区分所述第一解剖结构与所述第二解剖结构，以及将真实x射线图像转换为至少一个数字重建射线照片(drr)。

9、优选地，根据本发明的医学成像转换方法还自动进行以下转换：通过所述相同的单个操作将所述患者的所述真实x射线图像转换为表示所述第二解剖结构而不表示所述第一解剖结构的所述患者的至少另一数字重建射线照片(drr)，其中所述一个卷积神经网络(cnn)或所述一组卷积神经网络(cnn)经初步训练以兼备或同时实现以下各者：区分所述第一解剖结构与所述第二解剖结构，以及将真实x射线图像转换为至少两个数字重建射线照片(drr)。

10、这意味着，通过包含转变功能和结构分离功能两个步骤的单个转换操作，通过单个卷积神经网络或一起链接到其上的一组卷积神经网络，从表示若干不同器官或者一个器官或若干组器官的若干不同部分的一个全局x射线图像获得若干区域性drr图像，所述一组卷积神经网络分别对应于且分别表示这些若干不同器官或者一个器官或若干组器官的若干不同部分。

11、这允许每一不同器官或者一个器官或每一组器官的每一不同部分与所有其它不同器官或者一个器官或所有其它组器官的所有其它不同部分分开表示，而不会在这些若干不同器官或者一个器官或若干组器官的若干不同部分之间存在一些重叠或真实x射线图像上可存在一些重叠或经转换全局drr上将存在一些重叠的区中损失有效信息。

12、实际上，一旦从一个或多个真实x射线图像获得全局drr，若干不同器官或者一个器官或若干组器官的若干不同部分之间的重叠就不再可在不损失有效信息的前提下撤消，这些重叠的若干不同器官或者一个器官或若干组器官的若干不同部分就不再可在不损失有效信息的前提下彼此分离，因为在drr上，即在此经转换drr域中的图像上，这些重叠的若干不同器官或者一个或若干组器官的若干不同部分全部不可分离地混合在一起，任何特定像素都是来自这些重叠的若干器官器官或者一个器官或若干组器官的若干不同部分的不同贡献的混合物，没有任何方式来随后在这些不同贡献之间进行区分，或至少随后在这些不同贡献之间进行区分存在极大困难，无论如何都会导致不能令人满意的结果。

13、因此，本发明的此实施方案执行独特简单且更有效的方式，不仅将来自第一域的图像(例如，x射线图像)转变到第二域(例如，drr)，而且分离原本重叠的若干不同器官或者一个器官或若干组器官的若干不同部分而不损失有效信息，即不会使原始图像质量大大降级。

14、这些若干不同器官或者一个器官或若干组器官的若干不同部分是不同解剖结构的示例。

15、还利用一种医学成像转换方法来实现此目标，所述医学成像转换方法自动进行以下转换：使用一个卷积神经网络(cnn)或一组卷积神经网络(cnn)通过单个操作将至少包含患者的第一解剖结构和所述患者的第二解剖结构的所述患者的至少一个或多个真实x射线图像转换为所述患者的至少第一和第二数字重建射线照片(drr)：所述第一数字重建射线照片(drr)表示所述第一解剖结构而不表示所述第二解剖结构，所述第二数字重建射线照片(drr)表示所述第二解剖结构而不表示所述第一解剖结构，所述cnn经初步训练以兼备或同时实现以下各者：区分所述第一解剖结构与所述第二解剖结构，以及将真实x射线图像转换为至少两个数字重建射线照片(drr)。

16、利用一种医学成像转换方法来实现另一类似目标，所述医学成像转换方法自动进行以下转换：使用一个卷积神经网络(cnn)或一组卷积神经网络(cnn)通过单个操作将至少包含患者的第一解剖结构和所述患者的第二解剖结构的第一域中的所述患者的至少一个或多个图像转换为表示所述第一解剖结构而不表示所述第二解剖结构的第二域中的所述患者的至少一图像，所述cnn经初步训练以兼备或同时实现以下各者：区分所述第一解剖结构与所述第二解剖结构，以及将第一域中的图像转换为第二域中的至少一个图像。

17、利用一种医学成像转换方法来实现另一类似目标，所述医学成像转换方法自动进行以下转换：使用一个卷积神经网络(cnn)或一组卷积神经网络(cnn)通过单个操作将至少包含患者的若干不同解剖结构的第一域中的所述患者的至少一个或多个全局图像转换为分别表示所述不同解剖结构的第二域中的所述患者的若干区域性图像，所述cnn经初步训练以兼备或同时实现以下各者：将所述解剖结构彼此区分，以及将第一域中的图像转换为第二域中的至少一个图像。

18、本发明的另一补充目标将与本发明的先前列举的目标相关，因为其是本发明的优选应用。实际上，本发明还涉及一种相关联的医学成像3d模型个性化方法，其使用及利用作为本发明的主要目标的医学成像转换方法，且其特别地利用其使不同解剖结构彼此分离的能力，而不会归因于这些不同解剖结构之间的可能的重叠而损失有效信息。

19、本发明的此补充目标是一种医学成像3d模型个性化方法，其包括根据本发明的医学成像转换方法，其中：使用3d通用模型来生成：分别表示所述患者的所述一个或多个解剖结构的所述患者的正视图的至少一个或多个数字重建射线照片(drr)，以及分别表示所述患者的所述一个或多个解剖结构的所述患者的侧视图的至少一个或多个数字重建射线照片(drr)，正面真实x射线图像通过所述医学成像转换方法转换为：分别表示所述患者的所述一个或多个解剖结构的所述患者的正视图的至少一个或多个数字重建射线照片(drr)，侧面真实x射线图像通过所述医学成像转换方法转换为：分别表示所述患者的所述一个或多个解剖结构的所述患者的侧视图的至少一个或多个数字重建射线照片(drr)，且其中：分别表示所述患者的所述一个或多个解剖结构且从所述3d通用模型获得的所述患者的正视图的所述至少一个或多个数字重建射线照片(drr)分别与分别表示所述患者的所述一个或多个解剖结构且从所述正面真实x射线图像获得的所述患者的正视图的所述至少一个或多个数字重建射线照片(drr)映射，且分别表示所述患者的所述一个或多个解剖结构且从所述3d通用模型获得的所述患者的侧视图的所述至少一个或多个数字重建射线照片(drr)分别与分别表示所述患者的所述一个或多个解剖结构且从所述侧面真实x射线图像获得的所述患者的侧视图的所述至少一个或多个数字重建射线照片(drr)映射，以便从所述3d通用模型生成3d患者特定模型。

20、可经由弹性映射或经由弹性对齐来进行映射。

21、优选地，所述3d通用模型是表示可使用变形算法变形的先前形状的表面或体积。

22、优选地，使通用模型变形以获得患者的个性化模型的过程称为变形算法。通用模型与变形算法的关联是可变形模型。

23、优选地，所述可变形模型为统计形状模型(ssm)。

24、统计形状模型是基于从训练数据库提取的统计数据的用以捕获形状变形模式的可变形模型。统计形状模型可从精简参数集合直接推断合理的形状实例。

25、因此，已重建的3d患者特定模型：

26、比来自计算机断层扫描(ct)或磁共振成像(mri)的任何模型简单，

27、○因为从3d通用或可变形模型以及两个简单的正交真实x射线图像得到，

28、更特定且更精确，

29、○因为从一开始就隐含地且初始地含有归因于待转换的正面和侧面起始视图的体积信息，以及与3d通用模型或与可变形模型或与统计形状模型(视具体情况)相关。

30、○不同解剖结构可彼此分离，而不会损失有效信息，这与所列举的现有技术中使用的转换方法形成对比，顺便提一下，所列举的现有技术中使用的转换方法实施起来也更复杂。

31、us 2019/0259153中先前列举的现有技术未公开如本发明中的此补充目标，例如3d/2d弹性对齐，且尤其未公开例如用于跨多结构3d/2d弹性对齐的跨域图像相似度，因为本发明的应用领域完全不同，其基于使用任务驱动的生成式对抗网络(gan)的稠密图像到图像网络执行“由果及因”分段，已经预先将涵盖若干解剖结构的全局x射线图像转变为涵盖相同多个解剖结构的drr。

32、3d模型在一组2d x射线图像上的基于强度的3d/2d对齐的稳健性还取决于实际图像和从3d模型生成的数字重建射线照片(drr)之间的图像对应质量。在此多模态对齐情形中改进两个图像之间的相似度水平的趋势在于，生成尽可能真实的drr，即尽可能接近实际x射线图像。此涉及两个关键方面，它们为：第一-具有富含所有所涉及结构的准确密度信息的软组织和骨骼3d模型，以及第二-考虑与物质的交互的物理现象的复杂投影过程。

33、相反，在本发明的实施例所提议的方法中，将实际x射线图像引入到drr图像域的相对方法使用跨模态图像到图像转变来进行。基于gan像素到像素模型添加图像到图像转变的先前步骤允许使用简单且快速的drr投影过程，而无需复杂现象模拟。实际上，即使使用简单的度量，相似度量度也变得有效，因为待匹配的两个图像属于同一域且基本上含有相同种类的信息。所提议的医学成像转换方法还解决在由多个目标组成的场景中对齐目标的众所周知的问题。针对xray到drr转换器中的每一结构使用单独的卷积神经网络(cnn)输出通道允许使叠加的邻近目标彼此分离，且避免对齐过程中的类似结构失配。本发明的实施例所提议的方法应用于脊椎的双平面射线照片中的椎骨3d模型的具有挑战性的3d/2d弹性对齐。使用xray到drr转变的步骤增强了对齐结果，且减少对相似度量度选择的依赖性，因为多模态对齐变为单模态的。

34、优选实施例包括以下特征中的一个或多个，这些特征可单独地或一起看待，与本发明的先前列举的目标中的任一个部分地组合或完全地组合。

35、优选地，所述一个卷积神经网络(cnn)或一组卷积神经网络(cnn)为单个生成式对抗网络(gan)。

36、因此，所提议的转换方法的简单性进一步改进，同时仍保持其效力。

37、优选地，所述单个生成式对抗网络(gan)为u-net gan或残差-net gan。

38、优选地，所述患者的所述真实x射线图像是x射线成像设备对所述患者的直接捕获。

39、因此，待转换的第一域中的图像总体上容易获得且完全患者特定。

40、优选地，所述患者的所述第一和第二解剖结构是如下解剖结构：其在所述真实x射线图像上彼此相邻，乃至在所述真实x射线图像上彼此邻近，乃至在所述真实x射线图像上彼此接触，乃至在所述真实x射线图像上至少部分叠加。

41、因此，所提议的转换方法比待彼此分离的不同解剖结构实际上彼此接近更受关注，因为其间不再可分离的混合信息的量将会较高。

42、优选地，所述至少两个数字重建射线照片(drr)中的仅一个可用于进一步处理。

43、因此，即使执业医生实际上需要仅一个drr，也可使用所提议的转换方法。

44、优选地，所有所述至少两个数字重建射线照片(drr)可用于进一步处理。

45、因此，尤其在所有drr实际上可为执业医生所用的情况下可使用所提议的转换方法。

46、优选地，患者的所述真实x射线图像包含所述患者的至少三个解剖结构，并且优选地所述患者的仅三个解剖结构，所述真实x射线图像通过所述单个操作转换为分别表示所述至少三个解剖结构的至少三个单独的数字重建射线照片(drr)，所述数字重建射线照片(drr)中的每一个表示所述解剖结构中的仅一个而不表示所述解剖结构中的任何其它解剖结构；以及优选地转换为分别表示仅所述三个解剖结构的仅三个单独的数字重建射线照片(drr)。

47、因此，所提议的转换方法以两种方式优化：

48、第一，使用其两个最接近的相邻者(尤其是在例如患者脊椎等线性结构中)有助于较好地分离和个体化所关注的特定解剖结构，

49、然而第二，使用仅其两个最接近的相邻者有助于以仍相对简单的实施方案执行该操作。

50、优选地，所述一个卷积神经网络(cnn)或一组卷积神经网络(cnn)已通过以下的训练群组的集合初步训练：一个真实x射线图像，以及各自表示所述解剖结构中的仅一个但不表示所述患者的其它解剖结构的至少一个或多个相应的数字重建射线照片(drr)。

51、因此，所提议的转换方法可利用待转换的第一域中和待转换到的第二域中的配对图像来训练。

52、优选地，所述一个卷积神经网络(cnn)或一组卷积神经网络(cnn)已通过以下的集合初步训练：真实x射线图像，以及至少一个或多个数字重建射线照片(drr)的若干子集，所述数字重建射线照片(drr)中的每一个表示所述解剖结构中的仅一个但不表示所述患者的其它解剖结构。

53、因此，所提议的转换方法可利用待转换的第一域中和待转换到的第二域中的未配对图像来训练。

54、优选地，所述一个卷积神经网络(cnn)或一组卷积神经网络(cnn)已通过以下的训练群组的集合初步训练：一个正面真实x射线图像和一个侧面真实x射线图像两者，以及正面和侧面相应数字重建射线照片(drr)的至少一个或多个子集，每一所述子集表示所述解剖结构中的仅一个但不表示所述患者的其它解剖结构。

55、因此，所提议的转换方法可利用待转换的第一域中和待转换到的第二域中的正面和侧面图像两者的配对群组来训练，每一对正面和侧面图像在若干对正面和侧面图像中转换，一对经转换的正面和侧面图像对应于与其它解剖部分分离的一个解剖部分。

56、优选地，所述训练群组的所述数字重建射线照片(drr)来自经由其相对于沿两个正交方向获取的两个真实x射线图像的调适而特定针对所述患者的3d模型。

57、因此，由于其精准地专用于审慎考虑的特定患者，一方面用于创建训练drr的模型的简单性与另一方面模型的效力之间的折衷得以优化。

58、优选地，所述患者的所述不同解剖结构是所述患者的邻接的椎骨。

59、因此，所提议的转换方法比待彼此分离的不同解剖结构实际上彼此接近更受关注，因为其间不再可分离的混合信息的量将会较高。

60、优选地，所述患者的所述不同且邻接的椎骨位于患者脊椎的单个且相同区内在以下各者之间：患者上胸椎段区，或患者下胸椎段区，或患者腰椎段区，或患者颈椎段区，或患者骨盆区。

61、优选地，所述患者的所述不同解剖结构位于患者的单个且相同区内在以下各者之间：患者臀部区，或患者下肢区(例如股骨或胫骨)，或患者膝部区，或患者肩部区，或患者肋骨架区。

62、优选地，分别表示所述患者的所述不同解剖结构的所述不同数字重建射线照片(drr)中的每一个同时包含：具有呈现不同灰度的像素的图像、表示与其表示的解剖结构相关的解剖信息的至少一个标签。

63、因此，此标签将用于区分不同解剖结构且使这些不同解剖结构彼此分离。此标签是在仍可能这样做时(即，在3d体积中)在第一域中的这些图像(此处为x射线图像，优选地为正面和侧面x射线图像)在第二域(此处为drr)中转换之前分离分别对应于不同解剖结构的信息的一种简单且有效的方式，在第二域中，如果之前尚未作出此区分，则将不再有可能区分这些不同解剖结构及使这些不同解剖结构彼此分离。

64、优选地，所述图像为256×256像素正方形图像。

65、因此，这是一方面图像质量与另一方面处理复杂性及所请求存储能力之间的良好折衷。

66、优选地，所述一个卷积神经网络(cnn)或一组卷积神经网络(cnn)已在100到1000范围内，且优选地300到700范围内，更优选地约500个若干不同患者的x射线图像(真实x射线图像和真实x射线图像的变换形式两者)上初步训练。

67、因此，这是可提供的用于训练非常大的数目的训练图像的一种简单且有效的方式，所述非常大的数目的训练图像彼此足够不同，同时具有可供处置的非常有限量的数据来建立这些训练图像。

68、训练图像的数目的范围也达到最佳；实际上，当使用合理范围的训练图像时，以非常合理的成本获得几乎最佳的效力。

69、优选地，转换至少患者的正面真实x射线图像和所述患者的侧面真实x射线图像两者，所述两个x射线图像各自包含所述患者的相同的所述解剖结构。

70、因此，使用正面和侧面真实x射线图像两者作为待转换的图像允许获得正面和侧面drr并且改进所创建drr的精确度，因为解剖结构可从两个正交视图更精确地知晓，且甚至可能例如借助于3d通用模型或借助于可变形模型或借助于统计形状模型(视具体情况)在三维空间(3d)中重建。

71、参考下文所列的附图，从作为非限制性示例给出的本发明的实施例的以下描述将显而易见本发明的进一步特征和优点。