自动化颅内关键帧的选层方法、计算机设备、可读存储介质和程序产品与流程

1.本技术涉及医学工程领域，特别是涉及一种自动化颅内关键帧的选层方法、计算机设备、可读存储介质和程序产品。


背景技术：

2.脑卒中也称为中风，是一种严重威胁人口健康和阻碍社会经济发展的重大疾病。急性缺血性脑卒中作为最常见的卒中类型，约占全部脑卒中的60％～80％，它是由于局部脑组织供血不足引起的急性脑血管疾病，有着极高的致命风险。缺血性脑卒中作为一种时间要求比较紧急的疾病，需要对患者争分夺秒地诊断和治疗来避免病情迅速恶化。
3.平扫ct(non-contrast ct)也称ncct，是一种用来诊断脑部病变的最常规的成像技术和方法，它具有成像速度快、扫描方便、价格相对便宜的优点。而基于ncct的aspects(alberta stroke program early ct score)评分是缺血性脑卒中诊断和治疗的一个重要依据。
4.该评分方法针对急性脑卒中的病人，依据其头颅ncct影像数据，将大脑中动脉供血的重要层面分成10个区域，包括：位于基底神经节层面的尾状核头(c)、豆状核(l)、内囊(ic)、岛带(i)、m1(大脑中动脉前皮质区)、m2(大脑中动脉岛叶外侧皮质区)和m3(大脑中动脉后皮质区)、以及位于上神经节层面的m4(m1上方的大脑中动脉皮层)、m5(m2上方的大脑中动脉皮层)和m6(m3上方的大脑中动脉皮层)。上述10个区域具有相同的权重，各占1分，总分为10分。总分中减去存在早期缺血性改变的区域数，所得的数值作为评分结果，为病情判断并治疗提供依据。
5.但在现有的临床应用中，aspects评分方法受到评分者的主观认识、影像设备以及患者状况等差异的干扰，导致评分不准确；并且人工评价分数方式耗时、缺乏稳定性。而平扫ct影像的预处理与关键帧的选层是根据区域判别缺血性病变前的重要一步，因此需要关键帧的选层方式有待提高。


技术实现要素：

6.基于此，有必要针对上述技术问题，提供一种自动化颅内关键帧的选层方法。
7.本技术自动化颅内关键帧的选层方法，包括：
8.获得基于平扫ct的影像序列，筛选所述影像序列；
9.对筛选后的影像序列进行旋转对正处理，获得正立的影像序列；
10.根据所述正立的影像序列依次计算外接矩形，截取所述外接矩形，获得截取的影像序列；
11.在截取的影像序列中选择样本影像，利用第一深度学习模型对所述样本影像进行二分类的深度学习，得到训练完成的第二深度学习模型；
12.利用所述第二深度学习模型对截取的影像序列进行判断、输出影像序列的关键
帧。
13.可选的，对筛选后的影像序列进行旋转对正处理，获得正立的影像序列，具体包括：
14.依次对筛选后的影像序列进行去颅骨处理、平移处理和旋转对正处理，获得正立的影像序列。
15.可选的，所述平移处理包括使影像序列的质心处于各影像中央。
16.可选的，利用第一深度学习模型对所述样本影像进行二分类的深度学习，还包括在深度学习之前对所述样本影像进行图像预处理。
17.可选的，截取所述外接矩形，具体包括：
18.对所述外接矩形的长和宽分别截取，排除不包含头颅的区域，使截取的影像序列的质心处于各影像中央。
19.可选的，所述样本影像至少包括侧脑室相连的影像序列。
20.可选的，所述二分类包括的两种类别分别为属于上神经节层的第一类影像和不属于上神经节层的第二类影像。
21.可选的，利用所述第二深度学习模型对截取的影像序列进行判断、输出影像序列的关键帧，具体包括：
22.利用所述第二深度学习模型将截取的影像序列转化为数组，所述数组包括标记为第一符号的第一类影像、以及标记为第二符号的第二类影像；
23.第一符号连续出现最多次数的为目标区域，所述第二深度学习模型将所述目标区域的影像序列的首帧确定为分界帧，所述分界帧作为关键帧的至少一部分。
24.本技术还提供一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现本技术所述的自动化颅内关键帧的选层方法的步骤。
25.本技术还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本技术所述的自动化颅内关键帧的选层方法的步骤。
26.本技术还提供一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现本技术所述的自动化颅内关键帧的选层方法的步骤。
27.本技术自动化颅内关键帧的选层方法至少具有以下效果之一：
28.本技术对正立的影像序列进行截取，将截取的影像序列的至少一部分作为样本图像输入，缩减了原图的输入尺寸，加快了第一深度学习模型的训练速度，提升了第二深度学习模型的精度，提升了第二深度学习模型预测的速度。
29.本技术使用二分类模型，在进行深度学习训练以及利用第二深度学习模型预测时，定位分界帧获得预测结果，提高了选层的准确率和选层速度。
附图说明
30.图1为本技术一实施例中自动化颅内关键帧选层方法的流程示意图；
31.图2为本技术一实施例中正立影像序列的外接矩形的示意图；
32.图3为图2截取70％长宽后的影像示意图；
33.图4为本技术一实施例中的基于平扫ct的影像序列示意图；
34.图5为本技术一实施例中resnet50模型的残差结构示意图；
35.图6为本技术一实施例中训练获得第二深度学习模型的流程示意图；
36.图7为本技术一实施例中应用第二深度学习模型的流程示意图
37.图8为本技术一实施例中计算机设备的内部结构图
具体实施方式
38.在目前的临床应用中，aspects评分方法主要依靠临床医生人工读图，对每个区域进行判断评估。一方面，由于影像设备的差异、患者状况的差异和读图人员的主观性，人工读图缺乏稳定性。另一方面，人工读图也较为耗时，所以，快速、准确和稳定地对患者进行aspects评分具有重要的临床意义。而平扫ct影像的预处理与关键帧的选层是根据区域判别缺血性病变前的重要一步，因此需要与人工相对比更为有效的手段来实现对于基底神经节层、上神经节层等关键帧的选层。
39.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本技术，并不用于限定本技术。
40.为解决上述技术问题，参阅图1，本技术提供一种自动化颅内关键帧的选层方法，包括以下步骤s10～步骤s50，其中：
41.步骤s10，获得基于平扫ct的影像序列，筛选影像序列；
42.本步骤中，若序列小于或等于24帧，则保留全部帧；若序列大于24帧，去除首尾相同数量的帧数以保留为24帧。通常情况下平扫ct两帧之间的距离间隔为4.8mm，且一个平扫ct序列，通常由28或32或36帧组成，而在序列的起始和末尾，通常为颈部、头顶的截面照片。因此，删除首尾帧不但对关键帧的选层无影响，而且还能减小计算量使运行加速。具体地，序列为28帧，删除首尾各两帧；序列为32帧，删除首尾各4帧；序列为36帧，删除首尾各6帧。
43.步骤s20，对筛选后的影像序列进行旋转对正处理，获得正立的影像序列；
44.步骤s20包括依次对筛选后的影像序列进行的去颅骨处理(步骤s21)、平移处理(步骤s22)和旋转对正处理(步骤s23)，获得正立的影像序列。可以理解，步骤s21～步骤s23对深度学习模型的训练具有辅助作用，能够提高其预测精度。
45.去颅骨处理包括：采用二值法及寻找最大连通域法将颅骨部分去除，例如使用opencv及skimage图像处理库进行去除。平移处理包括：在去除颅骨后，求得图像质心，平移颅内影像使质心处于图像中央。
46.旋转对正处理包括：将各影像以质心为中心，顺时针或逆时针以固定角度(例如可以是2度)的步长旋转若干次直到达到旋转角度的最大累计和，旋转角度的最大累计和小于90度，例如可以是80度；在每次影像旋转后，计算水平方向镜像后颅内影像像素的重合数量、以及垂直方向影像最长轴的大小，并将二者分别赋予权重α与β，当α与β的和最大时，确认对正所需的旋转角度，并将各影像旋转至该角度，获得正立的影像序列。权重α的例如可以是1，权重β的值例如可以是75。
47.步骤s30，根据正立的影像序列依次计算外接矩形，截取外接矩形，获得截取的影像序列；
48.参见图2和图3，本步骤中，截取外接矩形的方式包括对外接矩形的长和宽分别截
取，排除不包含头颅的区域，使截取的影像序列的质心处于各影像中央。由于每个人的头颅外形可能有很大不同，为排除头颅外形对于计算机自动选层算法的影响，将上述矩形长、宽分别截取70％。即通过以下公式完成截取：
[0049][0050]
其中，
[0051]
x1’为截取后影像中x轴坐标的最小值；
[0052]
x2’为截取后影像中x轴坐标的最大值；
[0053]
x1为影像中x轴坐标的最小值；
[0054]
x2为影像中x轴坐标的最大值；
[0055]
y1’为截取后影像中y轴坐标的最小值；
[0056]
y2’为截取后影像中y轴坐标的最大值；
[0057]
y1为影像中y轴坐标的最小值；
[0058]
y2为影像中y轴坐标的最大值；
[0059]
可以理解，截取后的影像不包含头颅以外的区域，影像序列中各坐标(x1、x2、y1和y2)的hu值(hounsfield unit)均不为零。
[0060]
步骤s40，在截取的影像序列中选择样本影像，利用第一深度学习模型对样本影像进行二分类的深度学习，得到训练完成的第二深度学习模型；
[0061]
在步骤s40中，由医学知识可知，颅内基底神经节层与上神经节层与位置相近，本实施例以侧脑室上下是否相连作为基底神经节层与上神经节层的分界(在ct影像序列中表现为分界帧)，样本影像至少包括侧脑室相连的影像序列。
[0062]
参见图4，若此方法用于aspects评分，则可各取三张图片作为基底神经节层、上神经节层的影像。序列中侧脑室相连的第一张图片(序列号为14的影像)作为上神经节层的第一张影像；相连的下两张图片作为上神经节层的第二、三张影像(序列号为15、16的影像)；相连的上三张图片作为基底神经节层的三张影像(序列号为11、12、13的影像)。本实施例中，样本图像包括基底神经节层的影像、以及上神经节层的影像，具体为图4中序列号为11～16的六张影像。
[0063]
在步骤s40中，第一深度学习模型和第二深度学习模型为同种深度学习模型，其差别仅仅是训练完成前后的不同状态。选用的深度学习模型例如可以是resnet50模型，resnet50模型由带有残差结构的卷积神经网络组成，残差结构示意图如图5所示，该残差结构可提升卷积神经网络的深度同时尽可能避免严重的梯度消失现象，其特征提取性能较好。
[0064]
本实施例中，第一深度学习模型采用附带预训练权重参数的resnet50模型。具体地，将resnet50模型在imagenet数据集上进行预训练，获得训练完成的权重参数，将训练完成的权重参数通过迁移学习的办法应用于第一深度学习模型的训练任务中，此过程即上述
采用附带预训练权重参数的resnet50模型。可以理解，此过程可提升卷积神经网络特征提取效果并加快训练速度。
[0065]
不仅如此，在进行模型训练前，还包括对样本影像进行图像预处理。具体地，在样本图像输入到resnet50模型之前，将样本图像缩放至模型规定的输入尺寸，例如可以是224*224像素，并对样本图像进行翻转和/或旋转，增强模型的泛化能力。翻转例如可以是水平翻转和/或垂直翻转；旋转例如可以是随机旋转90度、180度、或270度。
[0066]
在模型训练过程中，采用交叉熵损失函数，adam优化器，batch size为64，学习率为2e-4，每100个batch网络性能不提升，则学习率降低10％。经过50个epoch后，深度学习训练得到的第二深度学习模型准确率最高可达到训练集99.95％，验证集92.7％。关于第一深度学习模型训练过程中涉及的相关参数含义，可以参考现有技术，申请人不再赘述。
[0067]
在步骤s40中，二分类包括的两种类别分别为属于上神经节层的第一类影像和不属于上神经节层的第二类影像。具体地，由于基底神经节层的三张影像与上神经节层三张影像在平扫ct序列中相连，且上神经节层侧脑室特征较为明显，因此无需将该深度学习任务设置为基底神经节层、上神经节层、其余影像的三分类任务，可直接设置为上神经节层、其余影像的二分类任务。
[0068]
步骤s50，利用第二深度学习模型对截取的影像序列进行判断、输出影像序列的关键帧。
[0069]
步骤s50具体包括步骤s51～步骤s52，其中：
[0070]
步骤s51，利用第二深度学习模型将截取的影像序列转化为数组，数组包括标记为第一符号的第一类影像、以及标记为第二符号的第二类影像；
[0071]
具体地，将步骤s30中获得的截取的影像序列输入第二深度学习模型(训练完成的resnet50模型)中，第二深度学习模型输出1000维向量，以此1000维向量接入relu激活函数后接入全连接层输出二维向量，通过比较二维向量两个值的大小关系确定该帧是否属于上神经节层。
[0072]
可以理解，在对第一深度学习模型训练的过程中，采用的是步骤s40中所提及的二分类的深度学习，故步骤s50中的输出结果与上述的二分类相对应。即第一类影像属于上神经节层，第二类影像不属于上神经节层。本实施例将第一类影像和第二类影像分别标记为“1”和“0”，也就是说，第二深度学习模型根据截取的影像序列的每帧影像进行预测、并输出“1”和“0”的两种标记结果，各标记结果整体形成数组，数组包括有n个元素，n与第二深度学习模型的输出次数相对应。
[0073]
步骤s52，第一符号连续出现最多次数的为目标区域，第二深度学习模型将目标区域的影像序列的首帧确定为分界帧，分界帧作为关键帧的至少一部分。
[0074]
步骤s52，由于第二深度学习模型的输出存在少量的误检，即将第二符号“0”误标记为第一符号“1”(假阳性)。本实施例采用寻找数组中连续出现“1”次数最多的目标区域(即连续出现“1”次数最多的一段)，将该目标区域作为上神经节层的影像区域，可排除少量误检带来的影响。进一步地，将该目标区域的首帧确定为基底神经节层与上神经节层的分界帧。
[0075]
本实施例中关键帧包括基底神经节层关键帧和上神经节层关键帧，具体包括分界帧以及与其前后相连的若干影像帧。可以理解，若此方法用于aspects评分，则对分界帧进
行后处理，可根据分界帧得到基底神经节层与上神经节层的各三帧影像。参见图4，本实施例中，第二深度学习模型将分界帧确定为图4中序列号为14的图像。根据分界帧，将关键帧确定为上神经节层的三帧影像和基底神经节层的三帧影像。其中，上神经节层的三帧影像包括序列号为14、15、16的图像，基底神经节层的三帧影像包括图4中序列号为11、12、13的影像。
[0076]
本技术自动化程度高、选层精度高、选层速度快，能够排除评分者的主观干扰、快速准确的对患者进行自动化评分。本技术避免了选层错误，能够大大提高患者的诊断速度，具有较高的临床应用价值。具体地：
[0077]
在步骤s30中，本技术对正立的影像序列进行截取，获得感兴趣区域(roi)，将截取的影像序列的至少一部分作为样本图像输入，缩减了原图的输入尺寸，加快了第一深度学习模型的训练速度，提升了第二深度学习模型的精度，提升了第二深度学习模型预测的速度。
[0078]
在步骤s40和步骤s50中，本技术使用二分类模型而非三分类模型，在进行深度学习训练以及利用第二深度学习模型预测时，通过定位基底神经节层和上神经节层的分界帧即可获得预测结果，提高了选层的准确率和选层速度。
[0079]
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。例如，通过步骤s10、步骤s20、步骤s30、步骤s40对第一深度学习模型进行训练，保存模型参数，获得用于预测的第二深度学习模型，流程图如图6所示；通过步骤s10、步骤s20、步骤s30、步骤s50使用第二深度学习模型对ct影像序列进行关键帧选层，进行后处理，流程图如图7所示。
[0080]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种自动化颅内关键帧的选层方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0081]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
[0082]
步骤s10，获得基于平扫ct的影像序列，筛选影像序列；
[0083]
步骤s20，对筛选后的影像序列进行旋转对正处理，获得正立的影像序列；
[0084]
步骤s30，根据正立的影像序列依次计算外接矩形，截取外接矩形，获得截取的影
像序列；
[0085]
步骤s40，在截取的影像序列中选择样本影像，利用第一深度学习模型对样本影像进行二分类的深度学习，得到训练完成的第二深度学习模型；
[0086]
步骤s50，利用第二深度学习模型对截取的影像序列进行判断、输出影像序列的关键帧。
[0087]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0088]
步骤s10，获得基于平扫ct的影像序列，筛选影像序列；
[0089]
步骤s20，对筛选后的影像序列进行旋转对正处理，获得正立的影像序列；
[0090]
步骤s30，根据正立的影像序列依次计算外接矩形，截取外接矩形，获得截取的影像序列；
[0091]
步骤s40，在截取的影像序列中选择样本影像，利用第一深度学习模型对样本影像进行二分类的深度学习，得到训练完成的第二深度学习模型；
[0092]
步骤s50，利用第二深度学习模型对截取的影像序列进行判断、输出影像序列的关键帧。
[0093]
在一个实施例中，提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现以下步骤：
[0094]
步骤s10，获得基于平扫ct的影像序列，筛选影像序列；
[0095]
步骤s20，对筛选后的影像序列进行旋转对正处理，获得正立的影像序列；
[0096]
步骤s30，根据正立的影像序列依次计算外接矩形，截取外接矩形，获得截取的影像序列；
[0097]
步骤s40，在截取的影像序列中选择样本影像，利用第一深度学习模型对样本影像进行二分类的深度学习，得到训练完成的第二深度学习模型；
[0098]
步骤s50，利用第二深度学习模型对截取的影像序列进行判断、输出影像序列的关键帧。
[0099]
本实施例中，计算机程序产品包括程序代码部分，以用于当计算机程序产品由一个或多个计算装置执行时，执行本技术各实施例中自动化颅内关键帧的选层方法的步骤。计算机程序产品可被存储在计算机可读记录介质上。还可经由数据网络(例如，通过ran、经由因特网和/或通过rbs)提供计算机程序产品以便下载。备选地或附加地，该方法可被编码在现场可编程门阵列(fpga)和/或专用集成电路(asic)中，或者功能性可借助于硬件描述语言被提供以便下载。
[0100]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强
型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0101]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。不同实施例中的技术特征体现在同一附图中时，可视为该附图也同时披露了所涉及的各个实施例的组合例。
[0102]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。