脑区的图像处理方法、装置、计算机设备及存储介质与流程

文档序号:32617456发布日期:2022-12-20 21:45阅读:46来源:国知局
脑区的图像处理方法、装置、计算机设备及存储介质与流程

1.本发明涉及数字医疗技术领域,尤其涉及一种脑区的图像处理方法、装置、计算机设备及存储介质。


背景技术:

2.磁共振成像(mri)是一种医学成像技术,是临床诊断的重要组成部分。它为软组织提供高分辨率图像,并且在一定的场强和射频功率下没有已知的健康危害。脑区的图像分割在许多脑神经图像分析中具有重要应用,比如,分析解剖结构、研究病理区域、手术计划和可视化,特别是白质、灰质和脑脊液的准确分割是各种疾病诊断和定量测量的关键。因模糊的组织边缘、噪声、图像伪影和个体之间的差异,从mri图像中准确分割脑区的图像是一项具有挑战性的任务。现有技术采用unet模型(语义分割模型)进行脑区的图像分割,unet模型是对二维图像进行分割处理,经研究发现,将医学领域的三维图像切割成二维图像后采用unet模型进行分割,会忽略不同二维图像之间的内在联系和空间维度的关系,导致从unet模型在医学领域分割的准确性不高。


技术实现要素:

3.基于此,有必要针对现有技术中将医学领域的三维图像切割成二维图像后采用unet模型进行分割,会忽略不同二维图像之间的内在联系和空间维度的关系,导致从unet模型在医学领域分割的准确性不高的技术问题,提出了一种脑区的图像处理方法、装置、计算机设备及存储介质。
4.一种脑区的图像处理方法,所述方法包括:
5.获取目标对象对应的目标年龄及目标脑部三维图像;
6.根据所述目标年龄,从预设的模型库中获取脑区图像预测模型,作为目标预测模型,其中,所述脑区图像预测模型是根据初始模型得到的模型,所述初始模型是改进的unet模型;
7.将所述目标脑部三维图像输入所述目标预测模型进行脑区掩膜预测,得到目标脑区掩膜集。
8.进一步地,所述根据所述目标年龄,从预设的模型库中获取脑区图像预测模型,作为目标预测模型的步骤之前,还包括:
9.对所述unet模型的在下采样后的第一次卷积时的通道数翻倍进行关闭处理,得到第一模型;
10.在所述第一模型的在下采样或上采样前的卷积中添加通道数翻倍,得到第二模型;
11.将所述第二模型的反卷积操作的通道数调整为保持不变,得到第三模型;
12.将所述第三模型中的batch normalization替换成instance norm,得到第四模型;
13.将所述第四模型中的relu激活函数替换成leaky relu激活函数,得到脑区图像预测单元;
14.将预设的预处理单元和所述脑区图像预测单元依次拼接,得到所述初始模型。
15.进一步地,所述根据所述目标年龄,从预设的模型库中获取脑区图像预测模型,作为目标预测模型的步骤之前,还包括:
16.获取所述初始模型、待训练年龄段对应的多个训练样本及多个测试样本,其中,所述训练样本和所述测试样本均是根据未被增强处理过的头部三维图像生成的样本;
17.将所述初始模型作为待训练模型;
18.采用各个所述训练样本,对所述待训练模型进行脑区掩膜预测的训练,并将达到预设的训练结束条件的所述待训练模型作为待测试模型;
19.采样各个所述测试样本,对所述待测试模型进行验证,得到验证结果;
20.若所述验证结果为不通过,则将所述待测试模型作为所述待训练模型,重复执行采用各个所述训练样本,对所述待训练模型进行脑区掩膜预测的训练,并将训练结束的所述待训练模型作为待测试模型的步骤,直至所述验证结果为通过;
21.若所述验证结果为通过,则将所述待测试模型中的所述脑区图像预测单元作为所述待训练年龄段对应的所述脑区图像预测模型;
22.将所述待训练年龄段和所述待训练年龄段对应的所述脑区图像预测模型作为关联数据更新所述模型库。
23.进一步地,所述采样各个所述测试样本,对所述待测试模型进行验证,得到验证结果的步骤,包括:
24.将每个测试样本中的头部三维图像样本输入所述待测试模型进行脑区掩膜预测,得到待分析脑区掩膜集;
25.根据同一个所述测试样本对应的脑区掩膜标签集和所述待分析脑区掩膜集进行各个脑区的dice值计算,得到单脑区dice值集;
26.若各个所述单脑区dice值集中的每个单脑区dice值均大于预设的单项阈值,并且,各个所述单脑区dice值集的平均值大于预设的平均阈值,则确定所述验证结果为通过,否则,则确定所述验证结果为不通过。
27.进一步地,所述获取所述初始模型、待训练年龄段对应的多个训练样本及多个测试样本的步骤之前,还包括:
28.获取所述待训练年龄段对应的多个待处理头部三维图像;
29.将各个所述待处理头部三维图像中的任一个所述待处理头部三维图像作为待分析图像;
30.将所述待分析图像输入预设的脑影像分析工具进行脑区掩膜预测,得到待评估脑区掩膜集;
31.判断所述待评估脑区掩膜集中是否存在脑区掩膜欠分割;
32.若不存在,则将所述待分析图像作为初始样本的头部三维图像样本,根据预设的脑区剔除配置,对所述待评估脑区掩膜集进行脑区掩膜的剔除处理,根据预设的脑区融合配置,对剔除处理之后的所述待评估脑区掩膜集进行脑区掩膜的融合处理,得到所述初始样本的脑区掩膜标签集;
33.若存在,则将所述待分析图像进行丢弃处理;
34.按预设的划分比例,对各个所述初始样本进行划分,得到所述待训练年龄段对应的多个所述训练样本及多个所述测试样本。
35.进一步地,所述根据预设的脑区融合配置,对剔除处理之后的所述待评估脑区掩膜集进行脑区掩膜的融合处理,得到所述初始样本的脑区掩膜标签集的步骤,包括:
36.将剔除处理之后的所述待评估脑区掩膜集中的与所述脑区融合配置中的每个左右合并脑区集对应的各个所述脑区掩膜合并成一个所述脑区掩膜,其中,所述左右合并脑区集包括同一类脑区对应的左子脑区及右子脑区;
37.将所述待评估脑区掩膜集中的与所述脑区融合配置中的每个分段合并脑区集对应的各个所述脑区掩膜合并成一个所述脑区掩膜,其中,所述分段合并脑区集包括同一类脑区的各个分段子脑区;
38.将所述待评估脑区掩膜集作为所述初始样本的所述脑区掩膜标签集。
39.进一步地,所述采用各个所述训练样本,对所述待训练模型进行脑区掩膜预测的训练的步骤,包括:
40.将各个所述训练样本中的任一个所述训练样本作为待训练样本;
41.采用所述待训练模型的所述预处理单元,对所述待训练样本中的头部三维图像样本分别进行nii格式转换、脑部图像裁剪、预设的采样分辨率的重采样、体素值的归一化处理、数据增强处理,得到预处理后图像样本,其中,所述采样分辨率为所述脑影像分析工具的输出分辨率,其中,所述数据增强处理包括:旋转、翻转、缩放、对比度变换、伽马校正中的一种操作或多种操作的组合;
42.将所述预处理后图像样本输入所述待训练模型的所述脑区图像预测单元中进行脑区掩膜预测,得到脑区掩膜训练集;
43.根据所述脑区掩膜训练集和所述待训练样本的所述脑区掩膜标签集进行损失值计算;
44.根据所述损失值更新所述待训练模型的所述脑区图像预测单元的网络参数;
45.重复执行所述将各个所述训练样本中的任一个所述训练样本作为待训练样本的步骤,直至达到所述训练结束条件;
46.其中,所述待训练模型的所述脑区图像预测单元依次包括:n+1个编码子单元、n个解码子单元和分类层,n+1个所述编码子单元串联设置,n个所述解码子单元串联设置,n是大于2的整数;
47.第1至第n个所述编码子单元均依次包括:两个串联设置的编码层和尺寸为2
×
2的最大池化层,所述编码层依次包括:卷积核为3
×
3的卷积层、instance norm层和采用leaky relu激活函数的激活层,第n+1个所述编码子单元均包括:两个串联设置的所述编码层,其中,所述卷积层在卷积操作时将通道数翻倍;
48.所述解码子单元依次包括:反卷积层、特征融合层和两个串联设置的解码层,所述解码层依次包括:卷积核为3
×
3的卷积层、instance norm层和采用leaky relu激活函数的激活层,其中,所述反卷积层在反卷积操作时通道数保持不变;
49.所述分类层依次包括:卷积核为1
×
1的卷积层、instance norm层和采用leaky relu激活函数的激活层;
50.第n+1个所述编码子单元的输出作为第1个所述解码子单元的输入,第n+1-i个所述编码子单元的最后一个所述编码层的输出作为第i个所述解码子单元的所述特征融合层的输入,i为大于0的整数,i小于n+1。
51.一种脑区的图像处理方法装置,所述装置包括:
52.数据获取模块,用于获取目标对象对应的目标年龄及目标脑部三维图像;
53.目标预测模型确定模块,用于根据所述目标年龄,从预设的模型库中获取脑区图像预测模型,作为目标预测模型,其中,所述脑区图像预测模型是根据初始模型得到的模型,所述初始模型是改进的unet模型;
54.目标脑区掩膜集确定模块,用于将所述目标脑部三维图像输入所述目标预测模型进行脑区掩膜预测,得到目标脑区掩膜集。
55.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行以下步骤:
56.获取目标对象对应的目标年龄及目标脑部三维图像;
57.根据所述目标年龄,从预设的模型库中获取脑区图像预测模型,作为目标预测模型,其中,所述脑区图像预测模型是根据初始模型得到的模型,所述初始模型是改进的unet模型;
58.将所述目标脑部三维图像输入所述目标预测模型进行脑区掩膜预测,得到目标脑区掩膜集。
59.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行以下步骤:
60.获取目标对象对应的目标年龄及目标脑部三维图像;
61.根据所述目标年龄,从预设的模型库中获取脑区图像预测模型,作为目标预测模型,其中,所述脑区图像预测模型是根据初始模型得到的模型,所述初始模型是改进的unet模型;
62.将所述目标脑部三维图像输入所述目标预测模型进行脑区掩膜预测,得到目标脑区掩膜集。
63.本技术的脑区的图像处理方法,根据改进的unet模型得到的模型进行脑区掩膜预测,提高了预测的准确性,避免了采用unet模型进行分割时准确性不高的技术问题;因随着年龄的增长,不同年龄段个体大脑结构差异性较大,以整个年龄段计算的体积作为参考值范围具有局限性,容易产生较大的误差,本技术采用所述目标年龄对应的脑区图像预测模型进行脑区掩膜预测,从而缩短了每个脑区图像预测模型的预测范围,提高了预测的准确性。
附图说明
64.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
65.其中:
66.图1为一个实施例中脑区的图像处理方法的流程图;
67.图2为一个实施例中脑区的图像处理装置的结构框图;
68.图3为一个实施例中计算机设备的结构框图。
具体实施方式
69.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
70.如图1所示,在一个实施例中,提供了一种脑区的图像处理方法。该方法既可以应用于终端,也可以应用于服务器,本实施例以应用于终端举例说明。该脑区的图像处理方法具体包括如下步骤:
71.s1:获取目标对象对应的目标年龄及目标脑部三维图像;
72.具体而言,可以获取用户输入的目标对象对应的目标年龄及目标脑部三维图像,也可以从数据库中获取目标对象对应的目标年龄及目标脑部三维图像,还可以从第三方应用中获取目标对象对应的目标年龄及目标脑部三维图像。
73.目标对象,是需要进行脑区的图像处理的活体。活体可以是人体,也可以是动物。
74.目标年龄,是目标对象的年龄。
75.目标脑部三维图像,是目标对象的脑部的三维图像。目标脑部三维图像,是根据基于磁共振成像得到的图像提取的脑部的三维图像。
76.s2:根据所述目标年龄,从预设的模型库中获取脑区图像预测模型,作为目标预测模型,其中,所述脑区图像预测模型是根据初始模型得到的模型,所述初始模型是改进的unet模型;
77.模型库包括:年龄段和脑区图像预测模型。年龄段包括:开始年龄至结束年龄对应的各个年龄。
78.初始模型包括:预处理单元和脑区图像预测单元。
79.预处理单元,是对输入的初始样本的头部三维图像样本进行预处理的单元。预处理单元根据预处理流程对图像进行处理。
80.脑区图像预测单元,是对预处理单元处理后的头部三维图像样本进行脑区掩膜预测的单元。
81.具体而言,将所述目标年龄在预设的模型库中查找年龄段,若存在年龄段包含所述目标年龄,则将该年龄段作为命中年龄段,将命中年龄段在模型库中对应的脑区图像预测模型作为目标预测模型。
82.s3:将所述目标脑部三维图像输入所述目标预测模型进行脑区掩膜预测,得到目标脑区掩膜集。
83.具体而言,将所述目标脑部三维图像输入所述目标预测模型进行脑区掩膜预测,将预测的各个脑区掩膜作为所述目标对象在目标年龄的目标脑区掩膜集。
84.目标脑区掩膜集中的每个脑区掩膜的尺寸与目标脑部三维图像的尺寸相同。目标脑区掩膜集中的每个脑区掩膜是三维掩膜。目标脑区掩膜集中的每个脑区掩膜是一个脑区
的掩膜。目标脑区掩膜集中的每个脑区掩膜的每个体素值表述的是体素值对应的体素对应的活体组织为脑区的概率。
85.本实施例根据改进的unet模型得到的模型进行脑区掩膜预测,提高了预测的准确性,避免了采用unet模型进行分割时准确性不高的技术问题;因随着年龄的增长,不同年龄段个体大脑结构差异性较大,以整个年龄段计算的体积作为参考值范围具有局限性,容易产生较大的误差,本技术采用所述目标年龄对应的脑区图像预测模型进行脑区掩膜预测,从而缩短了每个脑区图像预测模型的预测范围,提高了预测的准确性。
86.在一个实施例中,所述获取目标对象对应的目标年龄及目标脑部三维图像的步骤之前,包括:
87.s11:获取所述目标对象对应的初始头部三维图像;
88.具体而言,可以获取用户输入的所述目标对象对应的初始头部三维图像,也可以从数据库中获取所述目标对象对应的初始头部三维图像,还可以从第三方应用中获取所述目标对象对应的初始头部三维图像。
89.初始头部三维图像,是采用磁共振成像对目标对象生成的头部三维图像。
90.s12:对所述初始头部三维图像进行nii格式转换、脑部图像裁剪、预设的采样分辨率的重采样、体素值的归一化处理,得到所述目标脑部三维图像;
91.具体而言,通过磁共振成像得到的头部图像,一般是dcm(dicom)格式,dcm格式不适合进行图像处理,需要转换成nii(nifti-1)格式,因此,对所述初始头部三维图像进行nii格式转换,从格式转换后的所述初始头部三维图像中裁剪出脑部图像,采用预设的采样分辨率对脑部图像进行重采样,对重采样得到的图像中的所有体素值进行归一化处理,作为所述目标脑部三维图像。
92.其中,对所述初始头部三维图像进行nii格式转换的方法,本领域的技术人员可以从现有技术中选择,在此不做赘述。
93.其中,从格式转换后的所述初始头部三维图像中裁剪出脑部图像的方法,本领域的技术人员可以从现有技术中选择,在此不做赘述。
94.其中,采用预设的采样分辨率对脑部图像进行重采样的方法,本领域的技术人员可以从现有技术中选择,在此不做赘述。
95.对重采样得到的图像中的所有体素值进行归一化处理,也就是将重采样得到的图像中的体素值归一化到0到1,可以包括0,也可以包括1,还可以是0到1的小数。
96.所述将所述目标脑部三维图像输入所述目标预测模型进行脑区掩膜预测,得到目标脑区掩膜集的步骤之后,还包括:
97.s41:获取所述目标年龄对应的年龄段对应的各个正常脑区体积范围;
98.具体而言,可以获取用户输入的所述目标年龄对应的年龄段对应的各个正常脑区体积范围,也可以从数据库中获取所述目标年龄对应的年龄段对应的各个正常脑区体积范围,还可以从第三方应用中获取所述目标年龄对应的年龄段对应的各个正常脑区体积范围。
99.正常脑区体积范围,是一个脑区的体积的正常范围。为了定量测量每个人的脑区是否发生异常,需要设定正常人群体积参考值范围。随着年龄的增长,不同年龄段个体大脑结构差异性较大,以整个年龄段计算的体积作为参考值范围具有局限性,容易产生较大的
误差,因此,以十岁为一个年龄段计算正常人群体积参考值范围,减小个体之间的差异。其中,采集大量正常人群的头部的mri图像;之后,使用freesurfer工具(脑影像分析工具)对采集到的每个年龄段的mri图像进行脑区分割,并检查脑区分割结果是否为有效,然后分别对每一个对象的有效的脑区分割结果进行每个脑区的体积计算,从而针对每个年龄段的每个脑区,都有n个正常人的体积数据。此处n》500,因此每个脑区的相对体积分布会倾向于正态分布。
100.s42:根据所述目标脑区掩膜集进行每个脑区的体积计算,得到单脑区体积;
101.具体而言,对所述目标脑区掩膜集中的每个脑区掩膜中找出大于预设概率的体素值,根据从同一个脑区掩膜中找出的各个体素值对应的各个体素进行体积计算,将计算得到的数据作为一个单脑区体积。
102.s43:若待处理脑区对应的所述单脑区体积位于所述待处理脑区对应的所述正常脑区体积范围内,则确定所述待处理脑区对应的评估结果为正常,否则,则确定所述待处理脑区对应的所述评估结果为异常,其中,所述待处理脑区为所述目标脑部三维图像对应的各个所述脑区中的任一个所述脑区;
103.具体而言,若待处理脑区对应的所述单脑区体积位于所述待处理脑区对应的所述正常脑区体积范围内,意味着待处理脑区是正常脑区,因此,确定所述待处理脑区对应的评估结果为正常;若待处理脑区对应的所述单脑区体积位于所述待处理脑区对应的所述正常脑区体积范围外,意味着待处理脑区不是正常脑区,因此确定所述待处理脑区对应的所述评估结果为异常。
104.s44:若存在所述评估结果为异常,则根据所述评估结果为异常的各个所述脑区生成异常报警信息。
105.具体而言,若存在所述评估结果为异常,此时意味着目标对象存在脑区异常,因此,根据所述评估结果为异常的各个所述脑区生成异常报警信息。异常报警信息用于提醒医生或目标对象。
106.本实施例通过对所述初始头部三维图像进行nii格式转换、脑部图像裁剪、预设的采样分辨率的重采样、体素值的归一化处理,得到所述目标脑部三维图像,使所述目标脑部三维图像的分辨率与预设的采样分辨率相同,从而使输入模型的图像的尺寸相同,有利于提高模型预测的准确性;脑部图像裁剪,有利于只将脑部区域的图像输入模型,避免脑部以外的区域的图像对模型预测的影响,进一步提高了模型预测的准确性;通过体素值的归一化处理实现了图像标准化,从而进一步提高了模型预测的准确性;通过目标脑区掩膜集计算的单脑区体积与正常脑区体积范围对比,从而找出了存在异常的脑区,为医生诊断提供了辅助,节约了医生诊断的时间,提高了医生诊断的准确性。
107.在一个实施例中,所述根据所述目标年龄,从预设的模型库中获取脑区图像预测模型,作为目标预测模型的步骤之前,还包括:
108.对所述unet模型的在下采样后的第一次卷积时的通道数翻倍进行关闭处理,得到第一模型;
109.在所述第一模型的在下采样或上采样前的卷积中添加通道数翻倍,得到第二模型;
110.将所述第二模型的反卷积操作的通道数调整为保持不变,得到第三模型;
111.将所述第三模型中的batch normalization替换成instance norm,得到第四模型;
112.将所述第四模型中的relu激活函数替换成leaky relu激活函数,得到脑区图像预测单元;
113.将预设的预处理单元和所述脑区图像预测单元依次拼接,得到所述初始模型。
114.具体而言,batch normalization是在batch方向做归一化。instance norm是在一个通道内做归一化。
115.relu激活函数,全称为rectified linear unit,也就是修正线性单元。leaky relu激活函数,带泄露修正线性单元函数。leakyrelu激活函数与relu激活函数很相似,仅在输入小于0的部分有差别,relu激活函数是将所有的负值都设为零,而leakyrelu激活函数是给所有负值赋予一个非零斜率。
116.因unet模型实际处理的是二维图像,在医学技术领域,将三维图像切割成二维图像,导致会忽略不同二维图像之间的内在联系和空间维度的关系,从而影响了分割结果的准确性,通过将所述unet模型改进成第三模型,从而使第三模型能直接对三维图像进行分割预测,充分考虑了三维图像的各个体素的内在联系和空间维度的关系,提高了分割预测的准确性;通过将所述第三模型中的batch normalization替换成instance norm,从而使在一个通道内做归一化,从而有利于对三维图像的处理,有利于进一步提高分割预测的准确性;因训练的时候很容易梯度消失,对于小于0的值,梯度永远都会是0,在实际操作中,如果学习率很大,很可能网络中较多的神经元都停滞了,即使是较小的学习率,这种情况也很有可能发生,通过将所述第四模型中的relu激活函数替换成leaky relu激活函数,有利于进一步提高分割预测的准确性。
117.在一个实施例中,所述根据所述目标年龄,从预设的模型库中获取脑区图像预测模型,作为目标预测模型的步骤之前,还包括:
118.s21:获取所述初始模型、待训练年龄段对应的多个训练样本及多个测试样本,其中,所述训练样本和所述测试样本均是根据未被增强处理过的头部三维图像生成的样本;
119.具体而言,可以获取用户输入的所述初始模型、待训练年龄段对应的多个训练样本及多个测试样本,也可以从数据库中获取所述初始模型、待训练年龄段对应的多个训练样本及多个测试样本,还可以从第三方应用中获取所述初始模型、待训练年龄段对应的多个训练样本及多个测试样本。
120.所述训练样本和所述测试样本均是根据未被增强处理过的头部三维图像生成的样本,从而有利于所述初始模型进行图像的预处理。
121.s22:将所述初始模型作为待训练模型;
122.s23:采用各个所述训练样本,对所述待训练模型进行脑区掩膜预测的训练,并将达到预设的训练结束条件的所述待训练模型作为待测试模型;
123.具体而言,采用各个所述训练样本,对所述待训练模型进行脑区掩膜预测的训练,直至达到训练结束条件;当达到训练结束条件时,意味着待训练模型的性能满足要求,因此,将达到预设的训练结束条件的所述待训练模型作为待测试模型。
124.可选的,训练结束条件为所述待训练模型的损失值收敛于预设数值。
125.s24:采样各个所述测试样本,对所述待测试模型进行验证,得到验证结果;
126.具体而言,基于预设的验证配置,采样各个所述测试样本,对所述待测试模型进行验证,若满足预设的验证配置,则确定验证结果为通过,若不满足预设的验证配置,则确定验证结果为不通过。
127.s25:若所述验证结果为不通过,则将所述待测试模型作为所述待训练模型,重复执行采用各个所述训练样本,对所述待训练模型进行脑区掩膜预测的训练,并将训练结束的所述待训练模型作为待测试模型的步骤,直至所述验证结果为通过;
128.具体而言,若所述验证结果为不通过,意味着此时所述待测试模型的性能还不能满足要求,因此,将所述待测试模型作为所述待训练模型;重复执行采用各个所述训练样本,对所述待训练模型进行脑区掩膜预测的训练,并将训练结束的所述待训练模型作为待测试模型的步骤,也就是重复执行步骤s23至步骤s25,直至所述验证结果为通过。
129.s26:若所述验证结果为通过,则将所述待测试模型中的所述脑区图像预测单元作为所述待训练年龄段对应的所述脑区图像预测模型;
130.具体而言,若所述验证结果为通过,此时的所述待测试模型的性能满足要求,因此,直接将所述待测试模型中的脑区图像预测单元作为所述待训练年龄段对应的所述脑区图像预测模型。
131.s27:将所述待训练年龄段和所述待训练年龄段对应的所述脑区图像预测模型作为关联数据更新所述模型库。
132.本实施例所述训练样本和所述测试样本均是根据未被增强处理过的头部三维图像生成的样本,从而为初始模型进行预处理提供了基础;因随着年龄的增长,不同年龄段个体大脑结构差异性较大,以所有年龄段训练模型具有局限性,容易产生较大的误差,本实施例通过针对每个年龄段训练脑区图像预测模型,避免产生较大误差。
133.在一个实施例中,所述采样各个所述测试样本,对所述待测试模型进行验证,得到验证结果的步骤,包括:
134.:将每个测试样本中的头部三维图像样本输入所述待测试模型进行脑区掩膜预测,得到待分析脑区掩膜集;
135.具体而言,将每个测试样本中的头部三维图像样本输入所述待测试模型进行脑区掩膜预测,将预测得到的各个脑区掩膜作为待分析脑区掩膜集。
136.s242:根据同一个所述测试样本对应的脑区掩膜标签集和所述待分析脑区掩膜集进行各个脑区的dice值计算,得到单脑区dice值集;
137.具体而言,对同一个所述测试样本的同一个脑区对应的脑区掩膜标签集和所述待分析脑区掩膜集计算交集;对同一个所述测试样本的同一个脑区对应的脑区掩膜标签集和所述待分析脑区掩膜集计算并集;将同一个所述测试样本的同一个脑区对应的交集除以并集,得到该所述测试样本对应的该脑区的单脑区dice值;将同一个所述测试样本对应的各个单脑区dice值作为一个单脑区dice值集。
138.s243:若各个所述单脑区dice值集中的每个单脑区dice值均大于预设的单项阈值,并且,各个所述单脑区dice值集的平均值大于预设的平均阈值,则确定所述验证结果为通过,否则,则确定所述验证结果为不通过。
139.具体而言,若各个所述单脑区dice值集中的每个单脑区dice值均大于预设的单项阈值,并且,各个所述单脑区dice值集的平均值大于预设的平均阈值,意味着此时的所述待
测试模型的脑区分割效果达到了预期,因此,确定所述验证结果为通过;若各个所述单脑区dice值集中的每个单脑区dice值均小于或等于预设的单项阈值,或者,各个所述单脑区dice值集的平均值小于或等于预设的平均阈值,意味着此时的所述待测试模型的脑区分割效果未达到了预期,因此,确定所述验证结果为不通过。
140.可选的,预设的单项阈值的取值范围为0.7至0.85,预设的平均阈值的取值范围为0.75至0.9,其中,预设的平均阈值大于预设的单项阈值。
141.可选的,预设的单项阈值设为0.8,预设的平均阈值设为0.85。
142.本实施例在各个所述单脑区dice值集中的每个单脑区dice值均大于预设的单项阈值,并且,各个所述单脑区dice值集的平均值大于预设的平均阈值时,确定验证结果为通过,从而有效的评估了待测试模型是否满足要求。
143.在一个实施例中,所述获取所述初始模型、待训练年龄段对应的多个训练样本及多个测试样本的步骤之前,还包括:
144.s211:获取所述待训练年龄段对应的多个待处理头部三维图像;
145.具体而言,可以获取用户输入的所述待训练年龄段对应的多个待处理头部三维图像,也可以从数据库中获取所述待训练年龄段对应的多个待处理头部三维图像,还可以从第三方应用中获取所述待训练年龄段对应的多个待处理头部三维图像。
146.每个待处理头部三维图像对应一个对象。
147.待处理头部三维图像,是基于磁共振成像得到的头部的三维图像。
148.s212:将各个所述待处理头部三维图像中的任一个所述待处理头部三维图像作为待分析图像;
149.s213:将所述待分析图像输入预设的脑影像分析工具进行脑区掩膜预测,得到待评估脑区掩膜集;
150.具体而言,将所述待分析图像输入预设的脑影像分析工具进行脑区掩膜预测,将预测得到的各个脑区掩膜作为待评估脑区掩膜集。
151.s214:判断所述待评估脑区掩膜集中是否存在脑区掩膜欠分割;
152.由于所述待训练年龄段对应的多个待处理头部三维图像来自多家医院多台医疗设备,数据之间差异性较大,因此使用freesurfer工具分割待处理头部三维图像后,一些待处理头部三维图像出现部分脑区欠分割现象,这将会影响后续正常人群体积参考值的计算及脑区预测结果,因此,需要确保初始样本的脑区掩膜标签集中的脑区掩膜不是欠分割的脑区掩膜。
153.在做图像分割时,分为我们需要的目标物(本技术中是指脑区)和目标物以外的背景,分割后的图像中,前景目标物误分割为背景(即目标物没有分割完整)则为欠分割。
154.具体而言,判断脑区掩膜中大于预设概率的各个体素值对应的各个体素对应的图像区域(是指待分析图像中的图像区域)是否满足预设的欠分割判断标准,若满足,意味着脑区掩膜存在欠分割,若不满足,意味着脑区掩膜不存在欠分割。
155.s215:若不存在,则将所述待分析图像作为初始样本的头部三维图像样本,根据预设的脑区剔除配置,对所述待评估脑区掩膜集进行脑区掩膜的剔除处理,根据预设的脑区融合配置,对剔除处理之后的所述待评估脑区掩膜集进行脑区掩膜的融合处理,得到所述初始样本的脑区掩膜标签集;
156.具体而言,若不存在,此时意味着所述待评估脑区掩膜集中不存在任何脑区掩膜欠分割,将所述待分析图像作为初始样本的头部三维图像样本,根据预设的脑区剔除配置,对所述待评估脑区掩膜集进行脑区掩膜的剔除处理,并根据预设的脑区融合配置,对剔除处理之后的所述待评估脑区掩膜集进行脑区掩膜的融合处理,将完成融合处理的所述待评估脑区掩膜集作为所述初始样本的脑区掩膜标签集。
157.因体积较小的脑区相对于其他脑区,区域太小,对整个脑区分割有一定影响,所以需要剔除一些体积较小且影响分割效果的脑区,比如,左右脉络丛、血管等,剔除的脑区设为背景。
158.所有数据经过freesurfer工具(脑影像分析工具)分割后,检查每例数据的标签,分割的脑区个数在106-108个,又由于freesurfer工具分割的脑区标签分为左右半球,根据临床实际需求,需要将部分左右半球脑区融合为一个脑区,除此之外,freesurfer工具给予的分段标签的也需要融合,比如,胼胝体脑区,freesurfer给定5个标签,对胼胝体进行了分段,需要对分段的胼胝体脑区进行融合。经过融合处理后,脑区掩膜标签集中的标签数量为97个(包含1个背景标签和96个脑区掩膜标签)。
159.s216:若存在,则将所述待分析图像进行丢弃处理;
160.具体而言,若存在,此时意味着所述待评估脑区掩膜集中存在至少一个脑区掩膜欠分割,为了避免欠分割的脑区掩膜影响脑区掩膜标签集的准确性,从而影响模型训练的准确性,因此,将所述待分析图像进行丢弃处理。
161.s217:按预设的划分比例,对各个所述初始样本进行划分,得到所述待训练年龄段对应的多个所述训练样本及多个所述测试样本。
162.具体而言,按预设的划分比例,将各个所述初始样本划分成两组,其中一组中的每个所述初始样本作为所述训练样本,另一组中的每个所述初始样本作为所述测试样本。
163.通过重复执行步骤s212至步骤s217,即可确定各个待处理头部三维图像对应的所述初始样本。
164.可选的,预设的划分比例为4:1,也就是80%的所述初始样本作为所述训练样本,20%的所述初始样本作为所述测试样本。
165.本实施例将不存在任何脑区掩膜欠分割的待分析图像对应的所述待评估脑区掩膜集分别进行剔除处理、融合处理,然后将完成剔除处理、融合处理的所述待评估脑区掩膜集作为所述初始样本的脑区掩膜标签集,从而避免脑区掩膜标签集中出现欠分割的脑区掩膜,有利于提高训练模型的准确性;通过剔除处理,避免体积较小的脑区影响模型分割效果,有利于提高模型预测的准确性;通过合并处理,使脑区掩膜标签集满足临床实际需求。
166.在一个实施例中,所述根据预设的脑区融合配置,对剔除处理之后的所述待评估脑区掩膜集进行脑区掩膜的融合处理,得到所述初始样本的脑区掩膜标签集的步骤,包括:
167.s2151:将剔除处理之后的所述待评估脑区掩膜集中的与所述脑区融合配置中的每个左右合并脑区集对应的各个所述脑区掩膜合并成一个所述脑区掩膜,其中,所述左右合并脑区集包括同一类脑区对应的左子脑区及右子脑区;
168.比如,左右合并脑区集包括左右脉络丛对应的左子脑区及右子脑区。
169.s2152:将所述待评估脑区掩膜集中的与所述脑区融合配置中的每个分段合并脑区集对应的各个所述脑区掩膜合并成一个所述脑区掩膜,其中,所述分段合并脑区集包括
同一类脑区的各个分段子脑区;
170.比如,所述分段合并脑区集包括胼胝体脑区的5个分段子脑区。
171.s2153:将所述待评估脑区掩膜集作为所述初始样本的所述脑区掩膜标签集。
172.具体而言,将完成所有左右合并脑区集的合并处理和所有分段合并脑区集的合并处理的所述待评估脑区掩膜集作为所述初始样本的所述脑区掩膜标签集。
173.本实施例通过将与所述脑区融合配置中的每个左右合并脑区集对应的各个所述脑区掩膜合并成一个所述脑区掩膜,并且将与所述脑区融合配置中的每个分段合并脑区集对应的各个所述脑区掩膜合并成一个所述脑区掩膜,从而使脑区掩膜标签集满足临床实际需求,减少了医生的合并操作。
174.在一个实施例中,所述采用各个所述训练样本,对所述待训练模型进行脑区掩膜预测的训练的步骤,包括:
175.s231:将各个所述训练样本中的任一个所述训练样本作为待训练样本;
176.s232:采用所述待训练模型的所述预处理单元,对所述待训练样本中的头部三维图像样本分别进行nii格式转换、脑部图像裁剪、预设的采样分辨率的重采样、体素值的归一化处理、数据增强处理,得到预处理后图像样本,其中,所述采样分辨率为所述脑影像分析工具的输出分辨率,其中,所述数据增强处理包括:旋转、翻转、缩放、对比度变换、伽马校正中的一种操作或多种操作的组合;
177.具体而言,采用所述待训练模型的所述预处理单元,对所述待训练样本中的头部三维图像样本进行nii格式转换,从格式转换后的所述头部三维图像样本中裁剪出脑部图像,采用预设的采样分辨率对裁剪出脑的脑部图像进行重采样,对重采样得到的图像中的所有体素值进行归一化处理,得到归一化后图像,采用预设的数据增强配置对归一化后图像进行数据增强处理,将完成数据增强处理的归一化后图像作为预处理后图像样本。
178.所述采样分辨率为所述脑影像分析工具的输出分辨率,从而使经过重采样得到的三维图像与脑区掩膜标签集中脑区掩膜的分辨率相同。
179.数据增强配置中包括:增强操作和操作配置。增强操作的取值范围包括:旋转、翻转、缩放、对比度变换、伽马校正等操作,增强操作的取值范围不包括镜像。
180.s233:将所述预处理后图像样本输入所述待训练模型的所述脑区图像预测单元中进行脑区掩膜预测,得到脑区掩膜训练集;
181.具体而言,将所述预处理后图像样本输入所述待训练模型的所述脑区图像预测单元中进行脑区掩膜预测,将预测得到的各个脑区掩膜作为脑区掩膜训练集。
182.s234:根据所述脑区掩膜训练集和所述待训练样本的所述脑区掩膜标签集进行损失值计算;
183.具体而言,根据所述脑区掩膜训练集和所述待训练样本的所述脑区掩膜标签集进行损失值计算的方法,本领域的技术人员可以从现有技术中选择,在此不做赘述。
184.s235:根据所述损失值更新所述待训练模型的所述脑区图像预测单元的网络参数;
185.具体而言,根据所述损失值更新所述待训练模型的所述脑区图像预测单元的网络参数的方法,本领域的技术人员可以从现有技术中选择,在此不做赘述。
186.更新后的所述待训练模型用于下一次计算脑区掩膜训练集。
187.s236:重复执行所述将各个所述训练样本中的任一个所述训练样本作为待训练样本的步骤,直至达到所述训练结束条件;
188.其中,所述待训练模型的所述脑区图像预测单元依次包括:n+1个编码子单元、n个解码子单元和分类层,n+1个所述编码子单元串联设置,n个所述解码子单元串联设置,n是大于2的整数;
189.第1至第n个所述编码子单元均依次包括:两个串联设置的编码层和尺寸为2
×
2的最大池化层,所述编码层依次包括:卷积核为3
×
3的卷积层、instance norm层和采用leaky relu激活函数的激活层,第n+1个所述编码子单元均包括:两个串联设置的所述编码层,其中,所述卷积层在卷积操作时将通道数翻倍;
190.所述解码子单元依次包括:反卷积层、特征融合层和两个串联设置的解码层,所述解码层依次包括:卷积核为3
×
3的卷积层、instance norm层和采用leaky relu激活函数的激活层,其中,所述反卷积层在反卷积操作时通道数保持不变;
191.所述分类层依次包括:卷积核为1
×
1的卷积层、instance norm层和采用leaky relu激活函数的激活层;
192.第n+1个所述编码子单元的输出作为第1个所述解码子单元的输入,第n+1-i个所述编码子单元的最后一个所述编码层的输出作为第i个所述解码子单元的所述特征融合层的输入,i为大于0的整数,i小于n+1。
193.具体而言,重复执行所述将各个所述训练样本中的任一个所述训练样本作为待训练样本的步骤,也就是重复执行步骤s231至步骤s236,直至达到所述训练结束条件;当达到所述训练结束条件时,意味着此轮训练已经达到预期要求,因此,停止重复执行步骤s231至步骤s236。
194.n+1个编码子单元主要用于获取图像内容,提取脑结构特征。n个解码子单元用于进行精确分割。
195.特征融合层,用于进行concat,也就是按特征图通道数进行叠加。
196.通过将第n+1-i个所述编码子单元的最后一个所述编码层的输出作为第i个所述解码子单元的所述特征融合层的输入,从而实现了跳层连接,通过跳层连接实现了将编码子单元的编码层提取的特征共享给了编码子单元。
197.编码子单元中的最大池化层实现了下采样。在每次下采样步骤中,特征通道的数量增加一倍,可以有效学习复杂的结构,通过卷积和下采样降低图像尺寸,提取一些浅显的特征。
198.解码子单元的反卷积层实现了上采样,上采样用于用于恢复维度。
199.可选的,n设为4。
200.instance norm层,是在一个通道内做归一化的层。
201.本实施例的编码层包括instance norm层和采用leaky relu激活函数的激活层,解码层包括instance norm层和采用leaky relu激活函数的激活层,从而使本技术比unet模型更适合于医学图像分割,从而进一步提高了脑区图像预测模型预测的准确性;因采用所述待训练模型的所述预处理单元,对所述待训练样本中的头部三维图像样本分别进行nii格式转换、脑部图像裁剪、预设的采样分辨率的重采样、体素值的归一化处理、数据增强处理时,提高了样本的质量和丰富了样本,从而提高了脑区图像预测模型预测的准确性;因
左脑区和右脑区形状对称,若在数据增强处理采用镜像操作时,将导致训练后模型在预测时出现脑区混淆,本技术通过将旋转、翻转、缩放、对比度变换、伽马校正中的一种操作或多种操作的组合作为所述数据增强处理,从而避免了脑区图像预测模型在预测时出现脑区混淆的现象。
202.如图2所示,在一个实施例中,提供了一种脑区的图像处理方法装置,所述装置包括:
203.数据获取模块801,用于获取目标对象对应的目标年龄及目标脑部三维图像;
204.目标预测模型确定模块802,用于根据所述目标年龄,从预设的模型库中获取脑区图像预测模型,作为目标预测模型,其中,所述脑区图像预测模型是根据初始模型得到的模型,所述初始模型是改进的unet模型;
205.目标脑区掩膜集确定模块803,用于将所述目标脑部三维图像输入所述目标预测模型进行脑区掩膜预测,得到目标脑区掩膜集。
206.本实施例根据改进的unet模型得到的模型进行脑区掩膜预测,提高了预测的准确性,避免了采用unet模型进行分割时准确性不高的技术问题;因随着年龄的增长,不同年龄段个体大脑结构差异性较大,以整个年龄段计算的体积作为参考值范围具有局限性,容易产生较大的误差,本技术采用所述目标年龄对应的脑区图像预测模型进行脑区掩膜预测,从而缩短了每个脑区图像预测模型的预测范围,提高了预测的准确性。
207.图3示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端,也可以是服务器。如图3所示,该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现脑区的图像处理方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行脑区的图像处理方法。本领域技术人员可以理解,图3中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
208.在一个实施例中,提出了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行以下步骤:
209.获取目标对象对应的目标年龄及目标脑部三维图像;
210.根据所述目标年龄,从预设的模型库中获取脑区图像预测模型,作为目标预测模型,其中,所述脑区图像预测模型是根据初始模型得到的模型,所述初始模型是改进的unet模型;
211.将所述目标脑部三维图像输入所述目标预测模型进行脑区掩膜预测,得到目标脑区掩膜集。
212.本实施例根据改进的unet模型得到的模型进行脑区掩膜预测,提高了预测的准确性,避免了采用unet模型进行分割时准确性不高的技术问题;因随着年龄的增长,不同年龄段个体大脑结构差异性较大,以整个年龄段计算的体积作为参考值范围具有局限性,容易产生较大的误差,本技术采用所述目标年龄对应的脑区图像预测模型进行脑区掩膜预测,从而缩短了每个脑区图像预测模型的预测范围,提高了预测的准确性。
213.在一个实施例中,提出了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行以下步骤:
214.获取目标对象对应的目标年龄及目标脑部三维图像;
215.根据所述目标年龄,从预设的模型库中获取脑区图像预测模型,作为目标预测模型,其中,所述脑区图像预测模型是根据初始模型得到的模型,所述初始模型是改进的unet模型;
216.将所述目标脑部三维图像输入所述目标预测模型进行脑区掩膜预测,得到目标脑区掩膜集。
217.本实施例根据改进的unet模型得到的模型进行脑区掩膜预测,提高了预测的准确性,避免了采用unet模型进行分割时准确性不高的技术问题;因随着年龄的增长,不同年龄段个体大脑结构差异性较大,以整个年龄段计算的体积作为参考值范围具有局限性,容易产生较大的误差,本技术采用所述目标年龄对应的脑区图像预测模型进行脑区掩膜预测,从而缩短了每个脑区图像预测模型的预测范围,提高了预测的准确性。
218.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
219.以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
220.以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本技术专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术专利的保护范围应以所附权利要求为准。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1