一种脑部影像识别的方法及装置与流程

本发明实施例涉及机器学习技术领域，尤其涉及一种脑部影像识别的方法及装置。

背景技术：

“脑卒中”(cerebralstroke)又称“中风”，是一种急性脑血管疾病，是由于脑部血管突然破裂或因血管阻塞导致血液不能流入大脑而引起脑组织损伤的一组疾病，包括缺血性和出血性卒中。统计数据显示，目前中国脑卒中发生率正以每年8.7％的速率上升，脑血管病已成为中国居民第一位的死亡原因。

对于脑卒中患者来说，从发病到治疗的“时间窗”对降低死亡率、致残率至关重要。而卒中治疗的“时间窗”非常短，通常在发病3小时或4.5小时之内开始，因此需要医院竭尽所能缩短中间环节，为病人争取救治时间，拍摄ct图像成为了高效和经济兼顾的最佳检查手段。然而通过人工阅片判断的方式来对脑卒中进行诊断，所耗时间过久，容易导致病情被拖延，且在诊断的时候需要经验丰富的医生，容易由于人为差异导致病情判断不准确。

现有技术中主要由人工查看脑部影像的方法判断病情，精度受人的主观因素影像大，效率较低。

技术实现要素：

现有技术中主要由人工查看脑部影像的方法判断病情，精度受人的主观因素影像大，效率较低的问题，本申请实施例提供了一种脑部影像识别的方法及装置。

第一方面，本发明实施例提供一种脑部影像识别的方法，包括：

获取待检测用户的脑部影像；

根据所述脑部影像，确定所述脑部影像的关键帧；

采用定位模型确定所述脑部影像的关键帧中各关键定位点的位置；

根据所述关键定位点的位置，确定所述脑部影像的关键帧的分区。

一种可能的实现方式，所述脑部影像包括n帧脑部图像；n为正整数；所述根据所述脑部影像，确定所述脑部影像的关键帧，包括：

将所述脑部图像位置相邻的脑部图像同时输入至预设的分类器中，确定出所述脑部图像为所述脑部影像的关键帧的置信度；

根据各帧脑部图像的置信度，确定所述脑部影像的关键帧。

一种可能的实现方式，所述定位模型包括粗定位模块和细定位模块；所述采用定位模型确定所述脑部图像的关键帧中关键定位点的位置，包括：

将所述脑部图像的关键帧输入所述粗定位模块，确定所述脑部图像的关键帧中的第一关键点的坐标；

根据所述第一关键点的坐标确定所述脑部图像的关键帧中的一个或多个粗分割区域；

针对每一个粗分割区域，将所述粗分割区域输入对应的细定位模块，确定所述粗分割区域中的第二关键点的坐标；

根将所述第二关键点的坐标作为所述脑部图像的关键帧中关键定位点的位置。

一种可能的实现方式，所述获取待检测用户的脑部影像，包括：

获取所述待检测用户的原始脑部影像文件；

将所述原始脑部影像文件中每一帧脑部图像，输出为预设大小和设定的窗宽窗位的图片格式。

第二方面，本发明实施例提供一种脑部影像识别的装置，包括：

获取模块，用于获取待检测用户的脑部影像；

处理模块，用于根据所述脑部影像，确定所述脑部影像的关键帧；采用定位模型确定所述脑部影像的关键帧中各关键定位点的位置；根据所述关键定位点的位置，确定所述脑部影像的关键帧的分区。

一种可能的实现方式，所述脑部影像包括n帧脑部图像；n为正整数；所述处理模块，具体用于：

将所述脑部图像位置相邻的脑部图像同时输入至预设的分类器中，确定出所述脑部图像为所述脑部影像的关键帧的置信度；根据各帧脑部图像的置信度，确定所述脑部影像的关键帧。

一种可能的实现方式，所述定位模型包括粗定位模块和细定位模块；所述处理模块，具体用于：

将所述脑部影像的关键帧输入所述粗定位模块，确定所述脑部影像的关键帧中的第一关键点的坐标；根据所述第一关键点的坐标确定所述脑部影像的关键帧中的一个或多个粗分割区域；针对每一个粗分割区域，将所述粗分割区域输入对应的细定位模块，确定所述粗分割区域中第二关键点的坐标；根将所述第二关键点的坐标作为所述脑部影像的关键帧中关键定位点的位置。

一种可能的实现方式，所述获取模块，用于：

获取所述待检测用户的原始脑部影像文件，将所述原始脑部影像文件中每一帧脑部图像，输出为预设大小和设定的窗宽窗位的图片格式。

第三方面，本申请实施例提供了一种脑部影像识别的设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储单元存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行第一方面所述方法的步骤。

第四方面，本申请实施例提供了一种计算机可读介质，其存储有可由脑部影像识别的设备执行的计算机程序，当所述程序在脑部影像识别的设备上运行时，使得所述脑部影像识别的设备执行第一方面所述方法的步骤。

本发明实施例中，基于分区确定待检测用户的脑部影像病情，而不需要人工主观根据脑部影像判断病情，从而一方面提高了脑部影像识别的精度，另一方面提高了脑部影像识别的效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种脑部影像识别的方法的流程示意图；

图2为本申请实施例提供的一种脑部影像的示意图；

图3为本申请实施例提供的一种脑部影像识别的方法的流程示意图；

图4为本申请实施例提供的一种脑部影像识别的装置的结构示意图；

图5为本申请实施例提供的一种脑部影像识别的设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

为了方便理解，下面对本发明实施例中涉及的名词进行解释。

超早期溶栓被公认为是脑血栓最有效的治疗手段，但什么样的患者最适合溶栓治疗目前还没有公认的标准。alberta卒中项目提出一种基于ct的早期缺血性病变的半定量方法——aspects(albertastrokeprogramearlyctscore)评分来选择合适溶栓治疗的患者。aspects是一种适用于评价大脑中动脉(mca)供血区缺血性病变的量表，它包括基底节层面的豆状核、尾状核、内囊、岛叶四部分以及m1-m3、m4-m6六个皮质区，共10个区域。以10分满分，每发现一个区域的病变扣一分。aspects评分为10分提示mca供血区无早期缺血征象；aspects评分为7～9分的患者发生血管闭塞的可能性很大，溶栓后出血的风险较小，是溶栓治疗的最佳对象；aspects小于7分时，由于缺血累积的范围较大，溶栓导致颅内出血的可能性很大，不合适溶栓。

综上所述，准确的识别出脑部的aspects分区，可以有效的减少患者脑卒中是否适合溶栓治疗的诊断所需的时间，提高患者的治愈效果。

基于上述问题，图1示例性示出了本申请实施例提供的一种脑部影像识别的方法的流程示意图，该流程可以由脑部影像识别的装置执行，具体包括以下步骤：

步骤s101，获取待检测用户的脑部影像。

脑部影像指采用x光拍摄的特定图像，例如，ct影像。可以为三维影像，也可以为二维影像。示例性地，脑部影像可以如图2所示。

获取待检测用户的脑部影像之后，对脑部影像进行预处理，预处理过程主要包括图像归一化。

图像归一化包括以下步骤：脑部影像可以为dicom格式的原始脑部影像文件，先根据dicom中的脑部影像文件中的每一帧脑部图像，将所述原始脑部影像文件中每一帧脑部图像，输出为预设大小和设定的窗宽窗位的图片格式。

具体的，可以选取设定的窗宽窗位，例如，窗宽为w＝80，窗位为l＝40，转为png格式的各帧的脑部图像。将各帧的脑部图像插值缩放到设定大小，例如512*512像素。一种可能的实现方式，还可以通过在脑部图像上侧或两侧添加黑边，将脑部图像长宽比调整为1:1。

步骤s102，根据所述脑部影像，确定所述脑部影像的关键帧。

为减少模型的计算量，本发明实施例可以采用2维卷积神经网络，一种可能的实现方式，如图3所示，所述脑部影像包括n帧脑部图像；n为正整数；可以包括：

步骤s301、将脑部图像位置相邻的脑部图像同时输入至预设的分类器中，确定出该脑部图像为所述脑部影像的关键帧的置信度；

举例来说，可以从第3帧到倒数第三帧，每一帧与前后两帧拼接成一个包括5帧脑部图像的脑部影像。当然，也可以根据需要，选择脑部影像中的帧，在此不做限定。

步骤s302、根据各帧脑部图像的关键帧的置信度，确定所述脑部影像的关键帧。

具体的，可以对每一次输入的所述脑部图像及与所述脑部图像位置相邻的脑部图像，输入至分类器中，进行分类预测，每一类用于确定是否为对应的预定义好的aspects关键帧。

根据每一帧的置信度，将置信度最高的帧的脑部影像作为aspects关键帧。

通过选取脑部影像的关键帧，用于在关键帧的脑部影像中，进行aspects分区的划分，提高了分区的效率。另外，由于输入的脑部图像包括相邻帧的脑部图像，因此，可以有效利用脑部影像中的位置信息，有利于提高关键帧判断的准确率，并减少了使用3维卷积神经网络模型计算3维脑部影像所需的计算量，提高了识别效率。

示例性地，如图2所示的脑部影像中，可以包括：基底节层面的豆状核、尾状核、内囊、岛叶四部分以及m1-m3、m4-m6六个皮质区等区域。

需要说明的是，图2所示的脑部影像中，标识出的分区只是作为示例标识出的分区，脑部中的分区可以并不仅限于这些。

步骤s103，采用定位模型确定所述脑部影像的关键帧中各关键定位点的位置。

其中，定位模型可以为训练好的卷积神经网络cnn。

步骤s104，根据所述关键定位点的位置，确定所述脑部影像的关键帧的分区。

由于脑部不同位置的病变有着特殊的意义，因此本申请实施例中采用定位模型自动确定分区的位置，然后结合每个关键帧中分区的特征以及关键帧的位置确定分区，而不需要人工主观综合各脑部影像判断分区，从而一方面提高了脑部影像识别的精度，另一方面提高了脑部影像识别的效率。

进一步的，为提高定位精度，一种可能的实现方式，可以将脑部图像分为至少一对的第一区域和第二区域；分为第一区域和第二区域为对称区域；例如，将脑部图像的左脑作为第一区域，右脑作为第二区域；在步骤s103中，可以包括：

将所述脑部图像的第二区域的第一图像旋转至与所述脑部图像的第一区域的第二图像重叠的位置，作为所述第一区域的第二图像的参考图像；

将所述第二图像和所述第二图像的参考图像，输入至所述定位模型中，确定所述第二图像中各关键定位点的位置；

将所述脑部图像的第一区域的第二图像旋转至与所述脑部图像的第二区域的第一图像重叠的位置，作为所述第二区域的第一图像的参考图像；

将所述第一图像和所述第一图像的参考图像，输入至所述定位模型中，确定所述第一图像中各关键定位点的位置。

通过参考图像的输入，利用了脑部图像中的对称信息，排除了病灶、噪点等干扰因素对脑部区域定位的影响，提高了定位的准确性。

可选地，在上述步骤s101中，由于获取的脑部影像中脑部的位置有时候并不是基准位置，由此影响后续定位关键定位点的位置，故在获取待检测用户的脑部影像后，调整脑部影像中的脑部至基准位置，具体包括以下步骤：

步骤一，获取预设基准点的坐标。

预设基准点的坐标可以是预设的部分头骨的坐标，用于表示部分头骨的基准位置。

步骤二，采用调整模型确定脑部影像中关键点的坐标，调整模型是以预先标记关键点的坐标的多张脑部影像为训练样本，对卷积神经网络进行训练后确定的。

关键点的坐标和预设基准点的坐标为同一坐标系中的坐标。

示例性地，获取多张脑部影像，然后人工标记脑部影像中头骨的关键点，然后将标记关键点的脑部影像输入卷积神经网络进行训练，当卷积神经网络的目标函数满足预设条件时，确定调整模型。当获取待检测用户的脑部影像时，将脑部影像输入调整模型，确定脑部影像中的关键点。

步骤三，根据预设基准点的坐标和关键点的坐标确定脑部影像头骨的关键点的当前位置与基准位置之间的对应关系。

其中对应关系包括平移关系以及旋转关系。

步骤四，根据对应关系将脑部影像中的脑部调整至基准位置。

然后根据对应关系将脑部影像中的各骨头调整至基准位置。由于定位模型是以处于基准位置的脑部影像为训练样本训练得到的，故在定位脑部影像中各分区的位置之前，先将待检测用户的脑部影像中的脑部调整至基准位置，从而提高了定位目标的精度。

在上述步骤二中，定位模型包括粗定位模块和细定位模块，粗定位模块和细定位模块均为卷积神经网络，其中，粗定位模块是以预先标记关键点的多张脑部影像为训练样本，对卷积神经网络进行训练后确定的。细定位模块以预先标记关键点的多张粗分割区域的脑部影像为训练样本，对卷积神经网络进行训练后确定的，细定位模块的数量根据粗定位模块输出的粗分割区域的数量确定。

下面具体介绍粗定位模块的训练过程：获取多张脑部影像作为训练样本。针对每一张脑部影像，对脑部影像进行预处理，再将脑部影像中的脑部调整至基准位置，其中，调整脑部影像的位置以及对脑部影像进行预处理的过程已在前文中描述，此处不再赘述。由标注人员在每张脑部影像中标注关键点，关键点为脑部影像中脑部的关键定位点，每一个关键定位点对应一个序号。然后对训练样本进行数据增强，将数据量增强至原来数据量的10倍，数据增强的方法包括但不限于：1、随机旋转一定角度。2、随机上下左右平移0～30像素。3、随机缩放0.85～1.15倍。4、对图像对比度和亮度进行少量抖动。

之后再将训练样本输入卷积神经网络进行训练。训练时根据标注的关键点的坐标和网络预测的关键点的坐标计算损失函数，通过反向传播的方法训练，训练的优化算法可以使用带有动量和阶梯衰减的随机梯度下降(stochasticgradientdescent，sgd)优化算法。

可选地，上述卷积神经网络的结构，包括m个连续的卷积特征提取块以及一个全连接层。卷积特征提取块包括l个卷积模块，l大于0，任意一个卷积模块中包括卷积层、bn层及relu层。m，l为正整数，可以根据需要确定具体的值，在此不做限定。

下面具体介绍细定位模块的训练过程：获取多张脑部影像作为训练样本。所述多张脑部影像中的脑部图像可以仅为脑部影像的关键帧，也可以包括脑部影像中的所有的脑部图像，在此不做限定。针对每一张脑部图像，将脑部图像中的脑部调整至基准位置，再对脑部图像进行预处理。按照预设规则从脑部图像中分割出多个粗分割区域，比如分割出左脑区域、右脑区域等粗分割区域。针对每个粗分割区域训练一个细定位模块。针对任意一个细定位模块，由标注人员在每张粗分割区域的脑部影像中标注关键点，也可以直接使用粗分割模块对应的训练样本中已经标注的关键点，关键点为粗分割区域中的点，每一个关键点对应一个序号。然后将粗分割区域的脑部影像调整为正位图像。然后对训练样本进行数据增强，将数据量增强至原来数据量的10倍，数据增强的方法包括但不限于：1.随机上下左右平移0～20像素；2.随机旋转-20～～20度；3.随机缩放0.8～1.2倍。

之后再将训练样本输入卷积神经网络进行训练。训练时根据标注的关键点的坐标和网络预测的关键点的坐标计算损失函数，通过反向传播的方法训练，训练的优化算法可以使用带有动量和阶梯衰减的随机梯度下降(stochasticgradientdescent，sgd)算法。卷积神经网络包括m个连续的卷积特征提取块以及一个全连接层。

采用上述方法确定定位模型中的粗定位模块和细定位模块之后，采用定位模型确定脑部影像中各分区的位置，具体包括以下步骤：

步骤一，将所述脑部影像的关键帧输入所述粗定位模块，确定所述脑部影像的关键帧中第一关键点的坐标；

可选地，脑部影像为脑部片，第一关键点可以是脑部中各个分区的关键点，每一个第一关键点对应一个序号。

步骤二，根据所述第一关键点的坐标确定所述脑部影像的关键帧中的一个或多个粗分割区域；

粗分割区域可以包括：基底节层面的豆状核、尾状核、内囊、岛叶四部分以及m1-m3、m4-m6六个皮质区，共10个区域；当然，粗分割区域的具体位置以及粗分割区域包含的区域可以预先设置，在此不做限定。通过设置粗分割区域，可以进一步提高第一关键点的坐标定位的准确性。

步骤三，针对每一个粗分割区域，将所述粗分割区域输入对应的细定位模块，确定所述粗分割区域中第二关键点的坐标；

步骤四，将所述第二关键点的坐标作为所述脑部影像的关键帧中关键定位点的位置。

由于定位模型在定位各脑部分区的位置时，先采用粗定位模块从脑部影像中分割出粗分割区域，缩小定位范围，然后再从粗分割区域中定位各脑部分区的位置，从而提高定位的精度。

可选地，在上述步骤三中，将粗分割区域输入对应的细定位模块之前，调整粗分割区域的脑部影像以满足细定位模块的要求。

在上述步骤四中，确定粗分割区域中各分区对应的第二关键点的坐标之后，根据第二关键点的序号确定每一个分区对应第二关键点，然后根据第二关键点的坐标确定分区边缘。

具体的，分区的边缘可以为将定位点连接勾勒出的aspects分区轮廓线。

基于相同的技术构思，本申请实施例提供了一种脑部影像识别的装置，如图4所示，该装置400包括：

获取模块401，用于获取待检测用户的脑部影像；

处理模块402，用于根据所述脑部影像，确定所述脑部影像的关键帧；采用定位模型确定所述脑部影像的关键帧中各关键定位点的位置；根据所述关键定位点的位置，确定所述脑部影像的关键帧的分区。

一种可能的实现方式，所述脑部影像包括n帧脑部图像；n为正整数；所述处理模块402，具体用于：

将所述脑部图像及与所述脑部图像位置相邻的脑部图像同时输入至预设的分类器中，确定出所述脑部图像为所述脑部影像的关键帧的置信度；根据各帧脑部图像的置信度，确定所述脑部影像的关键帧。

一种可能的实现方式，所述定位模型包括粗定位模块和细定位模块；所述处理模块402，具体用于：

将所述脑部影像的关键帧输入所述粗定位模块，确定所述脑部影像的关键帧中的第一关键点的坐标；根据所述第一关键点的坐标确定所述脑部影像的关键帧中的一个或多个粗分割区域；针对每一个粗分割区域，将所述粗分割区域输入对应的细定位模块，确定所述粗分割区域中第二关键点的坐标；根将所述第二关键点的坐标作为所述脑部影像的关键帧中关键定位点的位置。

一种可能的实现方式，所述获取模块401，用于：

获取所述待检测用户的原始脑部影像文件，将所述原始脑部影像文件中每一帧脑部图像，输出为预设大小和设定的窗宽窗位的图片格式。

基于相同的技术构思，本申请实施例提供了一种脑部影像识别的设备，如图5所示，包括至少一个处理器501，以及与至少一个处理器连接的存储器502，本申请实施例中不限定处理器501与存储器502之间的具体连接介质，图5中处理器501和存储器502之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。

在本申请实施例中，存储器502存储有可被至少一个处理器501执行的指令，至少一个处理器501通过执行存储器502存储的指令，可以执行前述的脑部影像识别的方法中所包括的步骤。

其中，处理器501是脑部影像识别的设备的控制中心，可以利用各种接口和线路连接脑部影像识别的设备的各个部分，通过运行或执行存储在存储器502内的指令以及调用存储在存储器502内的数据，从而实现脑部影像识别。可选的，处理器501可包括一个或多个处理单元，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。在一些实施例中，处理器501和存储器502可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器501可以是通用处理器，例如中央处理器(cpu)、数字信号处理器、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器502可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(randomaccessmemory，ram)、静态随机访问存储器(staticrandomaccessmemory，sram)、可编程只读存储器(programmablereadonlymemory，prom)、只读存储器(readonlymemory，rom)、带电可擦除可编程只读存储器(electricallyerasableprogrammableread-onlymemory，eeprom)、磁性存储器、磁盘、光盘等等。存储器502是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器502还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

基于同一发明构思，本申请实施例还提供了一种计算机可读介质，其存储有可由脑部影像识别的设备执行的计算机程序，当所述程序在脑部影像识别的设备上运行时，使得所述脑部影像识别的设备执行脑部影像识别的方法的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。