基于脑部辅助图像的脑出血自动检测方法及电子介质与流程

本发明涉及图像处理技术领域，尤其涉及一种基于脑部辅助图像的脑出血自动检测方法及电子介质。

背景技术：

ct图像中脑出血的计算机辅助检测分析是对图像中脑出血的类型还有区域进行识别分析。对于脑卒中的后续治疗具有很重要的意义。现有技术中的脑出血的图像处理软件能够对脑出血图像进行检测并输出脑出血的类型和区域，且检测大都是基于人工智能的方法，也就是首先构建神经网络，然后通过人工标记的数据集，再利用这个数据集进行训练得到神经网络。

目前公开的脑出血的ai辅助分析方法，通常是输入脑出血的图像到一个卷积神经网络，然后输出得到这个脑出血区域和脑出血的类别。但是，实际上每种脑出血的类型之间有很多相似的地方，比如ct值相差不大，形状也有很多类似的地方，仅仅是依靠输入脑出血图像来训练并不一定能得到很精确的结果，因此需要医生在诊断的时候是在ct值和脑部解剖结构的相结合来做的诊断。

同时，若输入脑出血的图像，将空间结构或者解刨学信息作为导引，很容易造成错误。现有技术中有通过变换坐标系，比如沿着颅骨进行复杂的坐标成识别系来改善识别的准确率。但经过变换坐标系之后，出血区域的形态更加统一，改善识别的效果。

技术实现要素：

技术目的：针对现有技术中脑出血区域和类型的检测准确度较低的缺陷，本发明公开了一种基于脑部辅助图像的脑出血自动检测方法及电子介质，通过将脑部辅助图像与病人扫描后的脑部ct图像结合使用，提高神经网络的脑出血区域和类型识别准确度。

技术方案：为实现上述技术目的，本发明采用以下技术方案。

一种基于脑部辅助图像的脑出血自动检测方法，其特征在于，包括：

s1、获取病人脑部ct图像：对病人头部进行ct扫描，通过ct重建算法，获取脑部ct图像；

s2、获取脑部辅助图像：根据脑部ct图像生成脑部辅助图像，脑部辅助图像中包含脑部解剖结构空间位置信息；

s3、在脑出血自动检测神经网络中进行训练，输出处理后的脑部ct图像：将脑部ct图像和脑部辅助图像作为输入，将所述两个图像输入到预训练好的脑出血自动检测神经网络中，结合脑部辅助图像对脑部ct图像中脑出血区域进行自动检测，输出的处理后的脑部ct图像中包含脑出血的区域和类型的掩膜，并将其供医生阅览，医生结合处理后的脑部ct图像对脑出血进一步诊断。

优选地，所述s2中脑部辅助图像中包含脑部解剖结构空间位置信息，具体包括颅骨、硬膜、蛛网膜、脑室和脑叶的空间位置信息。

优选地，所述s2中根据脑部ct图像生成脑部辅助图像为基于标准模型的脑部辅助图像，其具体过程为：

获取标准模型，包括脑部解剖结构，将标准模型作为模板；

根据脑部ct图像对标准模型进行非刚性配准变换，获取非刚性配准的坐标映射关系；

根据非刚性配准的坐标映射关系输出基于标准模型的脑部辅助图像。

优选地，所述s2中根据脑部ct图像生成脑部辅助图像为基于颅骨轮廓距离的脑部辅助图像，其具体过程为：

对脑部ct图像提取颅骨区域；

对脑部图像的所有像素点计算该像素点到提取的颅骨区域的最短距离；

输出基于颅骨轮廓距离的脑部辅助图像。

优选地，所述s2中根据脑部ct图像生成脑部辅助图像为基于图像生成神经网络的脑部辅助图像，其具体过程为：

构建图像生成神经网络：图像生成神经网络为卷积神经网络，卷积神经网络为u-net或vgg的主干网络；

对卷积神经网络进行预训练：生成基于标准模型的脑部辅助图像或基于颅骨轮廓距离的脑部辅助图像，将脑部ct图像作为卷积神经网络的输入，对卷积神经网络进行预训练，对卷积神经网络输出的包含脑出血区域的图像与生成的基于标准模型的脑部辅助图像或基于颅骨轮廓距离的脑部辅助图像计算损失函数，直至损失函数小于阈值，卷积神经网络预训练完成；

输出脑部辅助图像：卷积神经网络输出的包含脑出血区域的图像即为基于图像生成神经网络的脑部辅助图像。

优选地，所述s3中预训练好的脑出血自动检测神经网络的具体结构为：利用u-net或vgg的主干网络作为脑出血自动检测神经网络的主干网络，在主干网络后连接卷积网络，其中，脑部ct图像为主干网络的输入，脑部辅助图像为卷积网络的输入。

优选地，所述s3中将所述两个图像输入到预训练好的脑出血自动检测神经网络中，其中神经网络的预训练过程为：

构建样本集：获取数据库中的若干脑部ct图像，对脑部ct图像中的出血区域及出血类型进行标记，将标记后的脑部ct图像与相对应的脑部辅助图像组成图片对，构建具有若干图片对的样本集；

将样本集中的若干图片对输入到构建好的脑出血自动检测神经网络中：利用u-net或vgg的主干网络作为脑出血自动检测神经网络的主干网络，在主干网络后连接卷积网络，所述样本集图片对中的脑部ct图像输入到主干网络中，样本集图片对中的脑部辅助图像输入到卷积网络中；

对构建好的脑出血自动检测神经网络通过梯度下降法进行预训练：主干网络提取脑部ct图像的特征并输出至卷积网络，卷积网络结合所述特征及脑部辅助图像进行卷积处理，通过梯度下降法对神经网络进行训练，直至脑出血自动检测神经网络的损失函数小于阈值。

优选地，采用总网络实现所述s2中获取脑部辅助图像和s3中在脑出血自动检测神经网络中进行训练并输出处理后的脑部ct图像，其中总网络包括图像生成神经网络和脑出血自动检测神经网络，图像生成神经网络用于根据输入的脑部ct图像生成脑部辅助图像并输出，脑出血自动检测神经网络用于根据输入的脑部ct图像和图像生成神经网络输出的脑部辅助图像对脑部ct图像中脑出血区域进行自动检测，输出处理后的脑部ct图像中包含脑出血的区域和类型的掩膜，并将其供医生阅览，医生结合处理后的脑部ct图像对脑出血进一步诊断。

一种电子介质，包括存储器和处理器，存储器和处理器相连，所述存储器存储有至少一个可被处理器执行的指令，所述至少一个指令被处理器执行时，实现以上任一所述的一种基于脑部辅助图像的脑出血自动检测方法。

有益效果：

1、本发明通过将脑部辅助图像与病人扫描后的脑部ct图像结合使用，脑部辅助图像中包含出血区域的空间位置信息，脑部ct图像包含出血区域像素值信息，两者的结合提高脑出血自动检测过程中脑出血区域和类型识别准确度，降低医生诊断过程中的技术要求，大大提高诊断效率；

2、本发明采用三种方法获取脑部辅助图像，大大提高本方案应用的灵活性和准确性；

3、本方案中可以采用总网络实现获取脑部辅助图像和检测输出脑出血区域等信息，提高本方案的便捷性。

附图说明

图1为本发明的方法流程图；

图2为本发明的方法流程示意图；

图3为采用区域组织生成器的方法流程示意图；

图4为脑出血类型在脑部辅助图像中的示意图；

图5为四种脑出血类型的脑部ct图像；

图6为非刚性配准的基本流程图；

图7为计算像素点到颅骨区域的最短距离的示意图；

图8为图像生成神经网络中输入的脑部ct图像和输出的脑部辅助图像；

图9为脑出血自动检测神经网络的流程示意图；

图10为总网络的流程示意图。

具体实施方式

以下将结合附图对本发明的一种基于脑部辅助图像的脑出血自动检测方法及电子介质做进一步的解释和说明。

如附图5所示，现有的脑出血包括以下几种出血类型，如硬膜外出血、硬膜下出血、脑实质出血、脑干出血和蛛网膜下腔出血等等。在病人的脑部ct图像中，正常区域的像素值是20-40hu，硬膜外出血、硬膜下出血、脑实质出血和脑干出血区域的像素值是45-75hu，蛛网膜下腔出血区域的像素值是40-75hu，因此仅仅根据像素值很难判断出血类型。通常人工诊断都是在像素值的基础上，结合了出血区域的位置，和出血的形状来判断出血区域和类型的。

如附图1和附图2所示，一种基于脑部辅助图像的脑出血自动检测方法，包括以下步骤：

步骤一、获取病人脑部ct图像：对病人头部进行ct扫描，获取脑部ct图像；病人头部ct扫描得到的通常是2.5mm-5mm厚度的图像。

步骤二、获取脑部辅助图像：根据脑部ct图像生成脑部辅助图像；这里生成的脑部辅助图像主要作用是给与后续处理更多的信息，脑部辅助图像中包含脑部解剖结构空间位置信息，具体包括颅骨、硬膜、蛛网膜、脑室和脑叶的空间位置信息，如附图4所示。脑出血类型的判断，通常是通过出血区域的形状，还有出血区域在头颅里的相对空间位置决定的。而通常的用于图像分割的神经网络，主要是基于卷积神经网络，这类网络具有空间平移的不变性，有利于提取形态特征，但是对空间位置不敏感，因此结合脑部辅助图像来补充出血区域的空间位置信息，增加脑出血区域自动检测的准确性。

本发明采用三种方法获取脑部辅助图像，大大提高本方案应用的灵活性和准确性；三种脑部辅助图像的获取方式如下：

根据脑部ct图像生成脑部辅助图像为基于标准模型的脑部辅助图像。

标准模型包括脑部解剖结构，将标准模型作为模板，经过一定的非刚性配准变换，这样可以得出符合当前患者的脑部的解剖结构，即获取相应的脑部辅助图像。

非刚性配准(non-rigidregistration)是图像处理里面常用的配准方法，用于匹配两幅相似图像，用于判别图像的变形。这个变形就是找到两个图像之间像素的映射关系。以三维图像为例，非刚性配准的基本流程如附图6所示，其中表示当前的脑部图像，是标准ct的模板图像，为配准过程得到的三维坐标的映射，这个映射可以将模板图像上已有的脑部组织结构映射到当前的脑部图像中的坐标系；具体过程用公式表示如下：

（1）

其中，为配准后的图像，即根据附图6的配准流程将模板图像形变到和当前的脑部图像相似的形状。

以三维图像为例，本方案中参考附图6对脑部ct图像进行处理：

（2）

其中，为基于标准模型的脑部辅助图像，为标准模型的脑部解剖结构，为根据脑部辅助图像对标准模型的脑部解剖结构进行非刚性配准的三维坐标的映射，分别表示脑部辅助图像的三维坐标及脑部辅助图像的类型，对于基于标准模型的脑部辅助图像，n的数值为2。

根据脑部ct图像生成脑部辅助图像为基于颅骨轮廓距离的脑部辅助图像。

脑部辅助图像也可以是根据脑部ct图像生成的基于颅骨轮廓距离的脑部辅助图像，获取脑部解剖结构空间位置信息，如颅骨、硬膜、蛛网膜、脑室和脑叶等的空间位置信息，如基于当前的患者的脑部ct图像提取颅骨区域，然后对脑部ct图像的所有像素点，计算该像素点到颅骨区域的最短距离，进而获取与脑部解剖结构相对应的空间位置信息。

如附图7所示，以二维图像为例，这里的像素点到颅骨区域的最短距离的计算公式为：

（3）

其中，为像素点的二维坐标，为基于颅骨轮廓距离的脑部辅助图像。如附图3所示，此处通过公式（3）获取基于颅骨轮廓距离的脑部辅助图像在组织区域生成器中实现。

根据脑部ct图像生成脑部辅助图像为基于图像生成神经网络的脑部辅助图像。

如附图9所示，脑部辅助图像还可以通过构建图像生成神经网络并通过图像生成神经网络输出得到，首先构建图像生成神经网络：图像生成神经网络为卷积神经网络，卷积神经网络为u-net或vgg的主干网络；

对卷积神经网络进行预训练：以二维图像为例，生成基于标准模型的脑部辅助图像或基于颅骨轮廓距离的脑部辅助图像，即，将脑部ct图像作为卷积神经网络的输入，对卷积神经网络进行预训练，对卷积神经网络输出的包含脑出血区域的图像与计算损失函数，直至损失函数小于阈值，卷积神经网络预训练完成，卷积神经网络输出的包含脑出血区域的图像即为基于图像生成神经网络的脑部辅助图像，附图8中即为图像生成神经网络中输入的脑部ct图像和输出的脑部辅助图像。其中，损失函数的计算公式为：

（4）

其中是卷积神经网络输出的包含脑出血区域的图像。图像均为二维图像，这里图像的维度可以是（512,512,n），其中前两个维度表示图像的二维坐标，最后一个维度n表示脑辅助图像的类别，基于颅骨轮廓距离的脑部辅助图像，这个维度n的数值是1；对于基于标准模型的脑部辅助图像，n的数值为2。

步骤三、在脑出血自动检测神经网络中进行训练，输出脑出血区域等信息：将脑部ct图像和脑部辅助图像作为输入，将所述两个图像输入到预训练好的脑出血自动检测神经网络中，结合脑部辅助图像对脑部ct图像中脑出血区域进行自动检测，输出的处理后的脑部ct图像中包含脑出血的区域和类型的掩膜，并将其供医生阅览，医生结合处理后的脑部ct图像对脑出血进一步诊断。本发明通过将脑部辅助图像与病人扫描后的脑部ct图像结合使用，提高脑出血自动检测神经网络的脑出血区域和类型识别准确度，降低医生诊断过程中的技术要求。

其中，预训练好的脑出血自动检测神经网络的具体结构为：利用u-net或vgg的主干网络作为脑出血自动检测神经网络的主干网络，在主干网络后连接卷积网络，其中，脑部ct图像为主干网络的输入，脑部辅助图像为卷积网络的输入。

以二维图像为例，脑出血自动检测神经网络的训练过程为：

构建样本集：获取数据库中的若干脑部ct图像，对脑部ct图像中的出血区域及出血类型进行标记，将标记后的脑部ct图像与相对应的脑部辅助图像组成图片对，构建具有若干图片对的样本集；对数据库中的脑部ct图像的出血区域和类别进行标记，得到脑部ct的出血区域掩膜，在病人的脑部ct图像中，正常区域的像素值是20-40hu，硬膜外出血、硬膜下出血、脑实质出血和脑干出血区域的像素值是45-75hu，蛛网膜下腔出血区域的像素值是40-75hu。

将样本集中的若干图片对输入到构建好的脑出血自动检测神经网络中：利用u-net或vgg的主干网络作为脑出血自动检测神经网络的主干网络，在主干网络后连接卷积网络，所述样本集图片对中的脑部ct图像输入到主干网络中，样本集图片对中的脑部辅助图像输入到卷积网络中；

对构建好的脑出血自动检测神经网络通过梯度下降法进行预训练：主干网络提取脑部ct图像的特征并输出至卷积网络，卷积网络结合所述特征及脑部辅助图像进行卷积处理，通过梯度下降法对脑出血自动检测神经网络进行训练，直至脑出血自动检测神经网络的损失函数小于阈值。脑出血自动检测神经网络的损失函数可以是多类别的交叉熵函数，当预训练结束之后就可以把脑出血自动检测神经网络保存下来供以后的使用。多类别交叉熵函数的计算公式为：

（5）

其中，是脑出血自动检测神经网络输出的脑出血区域，为人工标记的脑出血区域，为图像的二维坐标和脑出血的类型，这里脑出血的类型共有5种，为硬膜外出血、硬膜下出血、脑实质出血、脑干出血和蛛网膜下腔出血。

本方案中还提供采用总网络实现获取脑部辅助图像和在脑出血自动检测神经网络中进行训练并输出处理后的脑部ct图像，如附图10所示，其中总网络包括图像生成神经网络和脑出血自动检测神经网络，图像生成神经网络用于根据输入的脑部ct图像生成脑部辅助图像并输出，脑出血自动检测神经网络用于根据输入的脑部ct图像和图像生成神经网络输出的脑部辅助图像对脑部ct图像中脑出血区域进行自动检测，输出的处理后的脑部ct图像中包含脑出血的区域和类型的掩膜，并将其供医生阅览，医生结合处理后的脑部ct图像对脑出血进一步诊断。总网络预训练过程中的损失函数为：

（6）

其中，是脑出血自动检测神经网络输出的脑出血区域，为人工标记的脑出血区域，为图像的二维坐标和脑出血的类型，是卷积神经网络输出的包含脑出血区域的图像，为生成基于标准模型的脑部辅助图像或基于颅骨轮廓距离的脑部辅助图像，表示图像的二维坐标和脑辅助图像的类别，为权重系数，本方案中取值为1。预训练结束后保留总网络及权重系数；采用总网络实现获取脑部辅助图像和检测输出脑出血区域等信息，提高本方案的便捷性。

本发明还公开了一种电子介质，包括存储器和处理器，存储器和处理器相连，存储器存储有至少一个可被处理器执行的指令，至少一个指令被处理器执行时，实现以上任一所述的一种基于脑部辅助图像的脑出血自动检测方法。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。