本发明涉及一种用于训练医学图像分析算法的装置、医学图像生成器、医学图像分析系统、训练医学图像分析算法的方法、医学图像生成方法、医学图像分析方法,以及计算机程序单元和计算机可读介质。
背景技术:
1、philipsen,r.h.,maduskar,p.,hogeweg,l.,melendez,j.,sánchez,c.i.和vanginneken,b.(2015)等人的“localized energy-based normalization of medicalimages:application to chest radiography”(ieee transactions on medicalimaging,34(9),1965-1975)公开了一种使用能带分解对图像进行归一化的通用方法。
2、cn 111428753 a公开了一种执行高斯金字塔处理和拉普拉斯金字塔处理以获得用于训练神经网络模型的图像的方法。
3、xu,z.,liu,d.,yang,j.,raffel,c和niethammer,m.(2020)的“robust andgeneralizable visual representation learning via random convolutions”(arxivpreprint arxiv:2007.13003)公开了一种使用随机卷积的数据增强方法。
4、对医学图像(诸如x射线图像和计算机断层摄影(ct)图像)进行分类、分割或回归的神经网络进行监督式训练需要大量的训练数据以防止过拟合。这不仅因为某种检查类型的图像的解剖和病理可变性,而且因为大量的普遍图像风格。图像风格受到所使用的成像系统、参数选择(例如电压和功率)以及取决于用户或取决于制造商的预处理和后处理偏好的影响。特别是,如果应该将神经网络应用于源于各种制造商的医学图像,风格不变性是良好普遍性的先决条件。由于风格不变性没有集成到最先进的神经网络架构中,因此必须在训练期间学习。然而,收集适当的所需训练医学影像是耗时的,或甚至是不可能的。需要解决这个问题。
技术实现思路
1、改进医学图像分析模态会是有益的。
2、本发明由独立权利要求定义,而其他实施例由从属权利要求定义。应当注意,本发明的以下描述的方面和示例适用于用于训练医学图像分析算法的装置、医学图像生成器、医学图像分析系统、训练医学图像分析算法的方法、医学图像生成方法、医学图像分析方法,以及计算机程序单元和计算机可读介质。
3、在第一方面,提供了一种用于训练医学图像分析算法的装置,所述装置包括输入单元;以及处理单元。
4、所述输入单元被配置为接收患者的身体部分的医学图像。所述输入单元被配置为向所述处理单元提供所述医学图像。所述处理单元被配置为生成经修改的医学图像。所述生成包括对与所述医学图像相关联的两个或更多个空间频带的修改。所述处理单元被配置为训练医学图像分析机器学习算法,包括利用所述经修改的医学图像。
5、以这种方式,能够在简化的真实图像数据集上训练医学图像分析算法,其中,使用多尺度数据增强来生成可以作为相对于真实输入图像逼真的任意数量的合成图像的图像。不仅需要更少的真实图像,而且合成图像再现将已经以不同图像采集设置采集的影像,并且甚至再现将由不同图像采集单元采集的影像。因此,考虑到不同的图像采集设置,在所有这些影像上训练的分析算法变得更加鲁棒和准确。
6、在示例中,所述处理单元被配置为生成包括多幅缩放图像的缩放图像集,其中,所述生成包括利用医学图像,其中,每幅缩放图像损害医学图像中的空间频率的表示,并且其中,所述多幅缩放图像中的每幅中的空间频率的表示是不同的。所述处理单元还被配置为根据所述缩放图像集生成经修改的缩放图像集,包括对多幅缩放图像中的两幅或更多幅缩放图像的修改。所述处理单元被配置为生成经修改的医学图像,包括利用所述经修改的缩放图像集。
7、因此,使用所述患者的所述身体部分的所述医学图像来生成多幅合成医学图像,所述合成医学图像与所述医学图像相似但彼此不同并且然后能够用于训练医学图像分析机器学习算法。
8、在示例中,对多幅缩放图像中的两幅或更多幅缩放图像的修改包括对两幅或更多幅缩放图像中的每幅内包括的空间频率的表示的修改。
9、在示例中,对多幅缩放图像中的两幅或更多幅缩放图像的修改包括利用随机修改因子对在两幅或更多幅缩放图像中的每幅内包括的空间频率的表示的修改。
10、在示例中,经修改的缩放图像集的生成包括对多幅缩放图像的修改。
11、在示例中,对多幅缩放图像的修改包括利用修改因子对多幅缩放图像中的每幅内包括的空间频率的表示的修改,所述修改因子随空间频率从一幅缩放图像到下一幅缩放图像增加。
12、在示例中,对多幅缩放图像的修改包括利用修改因子对多幅缩放图像中的每幅内包括的空间频率的表示的修改,所述修改因子随空间频率从一幅缩放图像到下一幅缩放图像减小。
13、在第二方面,提供了一种医学图像生成器,其包括输入单元;以及处理单元。
14、所述输入单元被配置为接收患者的身体部分的医学图像。所述输入单元被配置为向处理单元提供医学图像。所述处理单元被配置为生成经修改的医学图像。所述生成包括对与所述图像相关联的两个或更多个空间频带的修改。
15、因此,可以利用有限数量的真实图像来生成合成影像,即逼真的影像,其能够用于训练图像分析算法。
16、在第三方面,提供了一种医学图像分析系统,包括输入单元;以及处理单元。
17、所述输入单元被配置为接收患者的身体部分的检查医学图像。所述输入单元被配置为向处理单元提供检查医学图像。所述处理单元被配置为分析所述患者的所述身体部分。所述分析包括利用经训练的机器学习算法对检查医学图像进行查询。训练机器学习算法,包括利用由根据第二方面的生成器生成的至少一幅经修改的医学图像。
18、以这种方式,改进医学影像的分析,因为分析影像的机器学习算法是在全面的影像数据集上进行训练的,所述影像数据集能够再现不同的图像采集设置和由同一类型的不同采集单元(因此不同的x射线单元或不同的ct单元)的采集。
19、因此,生成影像,其例如取决于操作人员的设置,实际上模仿不同的图像风格,并模仿由来自不同供应商的单元的采集,并模仿不同的后处理配置。然后在这个丰富多样的影像数据集上训练的机器学习算法然后在分析由不同操作者或从不同供应商等以不同形式设置的采集单元采集的影像时更加鲁棒。
20、在第四方面,提供了一种训练医学图像分析算法的方法,包括:
21、由输入单元接收患者的身体部分的医学图像;
22、由输入单元向处理单元提供所述医学图像;
23、由所述处理单元生成经修改的医学图像,其中,所述生成包括对与所述医学图像相关联的两个或更多个空间频带的修改;以及
24、由处理单元训练医学图像分析机器学习算法,包括利用经修改的医学图像。
25、在示例中,所述方法包括:
26、由处理单元生成包括多幅缩放图像的缩放图像集,其中,生成包括利用医学图像,其中,每幅缩放图像损害医学图像中的空间频率的表示,并且其中,所述多幅缩放图像中的每幅中的空间频率的表示是不同的;
27、由所述处理单元根据所述缩放图像集生成经修改的缩放图像集,其中,生成包括修改所述多幅缩放图像中的两幅或更多幅缩放图像;以及
28、由所述处理单元生成所述经修改的医学图像,包括利用经修改的缩放图像集。
29、在第五方面,提供了一种医学图像生成方法,所述方法包括:
30、由被配置的输入单元接收患者的身体部分的医学图像;以及
31、由所述处理单元生成经修改的医学图像,其中,所述生成包括对与所述医学图像相关联的两个或更多个空间频带的修改。
32、在示例中,所述方法包括:
33、由所述处理单元生成包括多幅缩放图像的缩放图像集,其中,所述生成包括利用所述医学图像,其中,每幅缩放图像损害医学图像中的空间频率的表示,并且其中,所述多幅缩放图像中的每幅中的空间频率的表示是不同的;
34、由所述处理单元根据所述缩放图像集生成经修改的缩放图像集,其中,所述生成包括修改所述多幅缩放图像中的两幅或更多幅缩放图像;以及
35、由所述处理单元生成所述经修改的医学图像,包括利用经修改的缩放图像集。
36、在第六方面,提供了一种医学图像分析方法,包括:
37、由输入单元接收患者的身体部分的检查医学图像;
38、由所述输入单元向处理单元提供所述检查医学图像;
39、由所述处理单元对所述患者的所述身体部分进行分析,并且其中,所述分析包括利用经训练的机器学习算法对所述检查医学图像进行查询;其中,训练机器学习算法,包括利用由根据第五方面的方法生成的至少一幅经修改的医学图像。
40、根据另一方面,提供了控制如前面描述的装置、生成器、系统中的一个或多个的计算机程序单元,如果计算机程序单元由处理器运行,则所述计算机程序单元适于执行前面描述的相关联的方法。
41、根据另一方面,提供了一种存储有如先前所述的计算机单元的计算机可读介质。
42、例如,计算机程序单元可以是软件程序,但也可以是fpga、pld或任何其他适当的数字手段。
43、有利的是,由任何上述方面提供的益处同样适用于所有其他方面,反之亦然。
44、上述方面和示例将根据下文描述的实施例变得明显并将参考下文描述的实施例得到阐述。