一种用于多尺度的神经形态检测和分割方法与流程

本发明涉及生物医学数据分析技术领域，特别涉及多尺度的神经形态检测和分割方法。

背景技术：

大脑在处理信息时，往往涉及到大量神经元的活动。因此，为了更好的理解大脑的功能，需要能够同时记录大量神经元的活动。双光子钙成像时一种在单细胞分辨率水平进行神经元活动在体成像的常用技术，可在一只动物上记录成千或上万的神经元，因此产生大规模的图像数据。在分析获得的成像数据过程中，最耗时的一个步骤就是人工画出细胞的边界，作为感兴趣的区域，即人工分割细胞。

然而，随着双光子大尺度成像技术的发展带来的数据量急剧上升，人工的识别和分割细胞的边界已无法满足需求。为此，基于活动和形态检测的不同算法被提出，用于神经细胞的探测和分割。但是，由于成像数据的细胞处在复杂的背景中，因此仍具有较多的挑战。如基于神经细胞活动的检测方法在细胞暂时不活动时会将其漏掉。而基于神经形态的方法，在不同荧光指示剂成像的图像数据中，细胞形态具有多样性，如果采用机器学习的方法，就必须要通过人工进行样本的大量标记。比外，通常进行细胞检测的方法不适用于细胞的微结构，如树突棘的检测等。

技术实现要素：

针对现有技术存在的不足，本发明要解决的技术问题是提供一种用于多尺度的神经形态检测和分割方法，可用于多种尺度：细胞水平、树突棘水平的神经形态检测和分割。

为了实现上述目的，本发明是通过如下的技术方案来实现：一种用于多尺度的神经形态检测和分割方法，载入双光子原始图像数据，使用基于卷积神经网络的算法对原始图像数据进行基于形态的探测和分割，并进行模型的自动优化，获得细胞或树突棘的边界曲线。

进一步的，具体步骤包括：

s1、载入双光子原始图像数据，对原始图像数据进行扩充作为输入图像，并通过迁移学习创建模型；

s2、使用卷积神经网络，对输入图像数据的进行批量归一化和卷积计算，生成特征图；

s3、将s2中获得的特征图输入区域推荐网络获取候选框，并进行目标检测，生成目标概率值，判断该点是否包含目标，然后通过回归分析，输出候选框的位置和尺寸信息作为候选区域；

s4、在获取候选区域的基础上，对感兴趣的区域对齐，让网络提取的特征更容易找到前景以及得到与候选目标相对应的矩形框，得到相应大小的特征块，再进行分类以及边界框的回归，最后通过卷积及反卷积运算进行像素级分割，获得细胞或树突棘的边界曲线。

进一步的，在s4的基础上还包括s5：将贝叶斯优化用于去获得模型中的最优超参数，包括迁移学习中对第几层机型微调，候选框的大小和长宽比例，从而获得最优的模型。

进一步的，在s1中，对图像数据进行扩充具体为：将原始图像数据进行平移、旋转、放缩以及切变的操作，从而将原有的数据进行扩充，减少过拟合。

进一步的，在s1中，通过迁移学习创建模型，为采用迁移学习中的微调方法，在含有丰富标签的大规模数据集训练好的模型基础上，对少量成像数据进行训练，通过固定前面几层较浅的网络，微调卷积神经网络的参数，可以很快获得新训练好的模型。

进一步的，在s2中，使用卷积神经网络所作的卷积操作为分组卷积，通过引入分组数，将输入与输出的通道均进行分组以减少参数数量。

进一步的，在s2中，在经过卷积计算后再依顺次经历激活层、全连接层、上采样层和分割层；所述激活层用于为卷积神经网络加入非线性；所述全连接层用于生成不同目标的分类结果；所述上采样层，采用最近邻点插值法方法进行上采样；所述分割成层通过特征金字塔网络将上采样所得的特征矩阵进行连接，对形状不同的矩阵进行裁剪。

进一步的，在s3中，目标检测分为两步，第一步为生成多个可能包含检测物体的候选边框；第二步再确定候选框中是否包含目标物体，将目标物体和非目标物体的候选框作为训练样本输入到区域推荐网络中进行训练，用于确定目标边框的置信度及位置和尺寸。

本发明的有益效果：

1.本发明一种用于多尺度的神经形态检测和分割方法，通过载入双光子原始图像数据，使用基于卷积神经网络的算法对原始图像数据进行基于形态的探测和分割，并进行模型的自动优化，获得细胞或树突棘的边界曲线。可用于多种尺度：细胞水平、树突棘水平的神经形态检测和分割，还可对多种成像中神经形态如区分神经元、胶质细胞、以及血管，及区分不同的树突棘形态：瘦的、短粗的，蘑菇形态，进行检测和分类，获得细胞或树突棘的边界曲线。

2.本发明一种用于多尺度的神经形态检测和分割方法，通过对图像数据进行扩充和迁移学习技术，将需要标记的训练样本量大大减少。

3.本发明一种用于多尺度的神经形态检测和分割方法，利用贝叶斯优化技术进行超参数优化的自动化机器学习，对深度神经网络十分重要。通过超参数的自动优化技术，进行模型的自动调整，实现探测和分割过程的全自动化。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明一种用于多尺度的神经形态检测和分割方法的流程示意图。

图2为本发明一种用于多尺度的神经形态检测和分割方法形成的软件，在使用过程中的截图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

实施例1

如图1，本发明提供一种用于多尺度的神经形态检测和分割方法，通过载入双光子原始图像数据，使用基于卷积神经网络的算法对原始图像数据进行基于形态的探测和分割，并进行模型的自动优化，获得细胞或树突棘的边界曲线。可用于多种尺度：细胞水平、树突棘水平的神经形态检测和分割，还可对多种成像中神经形态如区分神经元、胶质细胞、以及血管，及区分不同的树突棘形态：瘦的、短粗的，蘑菇形态，进行检测和分类，获得细胞或树突棘的边界曲线。

具体步骤为：

s1、载入双光子原始图像数据，对图像数据进行扩充，并通过迁移学习创建模型；

对图像数据进行扩充具体为：将原始图像数据进行平移、旋转、放缩以及切变的操作，从而将原有的数据进行扩充，减少过拟合。

通过迁移学习创建模型，为采用迁移学习中的微调方法，在含有丰富标签的大规模数据集imagenet训练好的模型基础上，对少量成像数据进行训练，通过固定前面几层较浅的网络，微调卷积神经网络网络的参数，可以很快获得新训练好的模型。

通过对图像数据进行扩充和迁移学习技术，将需要标记的训练样本量大大减少。

s2、使用卷积神经网络，对输入图像数据的进行批量归一化和卷积计算，生成特征图；

对输入图像数据进行批量归一化计算采用公式(1)-(3)：

datamean[i]＝mean(data[:,i,:,…])(1)

data_var[i]＝var(data[:,i,:,…])(2)

在上述公式(1)至(3)，gamma以及beta通过学习确定，∈为较小的值。目的是为了防止公式(3)中分母为0。

其中，data为输入数据，大小为(batchsize,channel,height,width),batchsize为进行批量归一化的数量，channel为数据通道数，height为图像的高，width为图像的宽。

卷积网络中为了减少参数的个数，实际上是计算每个通道里所有的点视为一个真正的点，所得的数据均值:datamean，数据方差:datavar值的个数是与通道的个数相同。

归一化计算后对输入图像进行卷积计算

公式(4)中，★为2-d互相关算子，其中的数据shape大小为

data:(batch_size,channel,height,width)

weight:(num_filter,channel,kernel[0],kernel[1])

bias:(num_filter,)

out:(batch_size,num_filter,out_height,out_width)

其中，data为每层的输入数据，weight为卷积核，numfilter为滤波器的数量，kernel为滤波器的核函数，bias为偏移量，channel为通道数，outheight,outwidth为输出图像的高和宽。

s3、检测，通过区域推荐网络检测包含检测物体的候选框，然后根据候选框对检测物体进行分类和回归；

(1)基础网络架构：

基础网路架构结构为resnext-50，分为4个模块(stage)，50层卷积，除第一层卷积核为7×7外，其余全为3×3的卷积层。基本单元依顺次为批量归一化、卷积层和激活层。

当我们输入图像大小为(512，512)，第一模块通过一个步长(stride)为2的卷积层将图像变为(256，256)以及一个步长(stride)为2的最大池化层(maxpooling)进行再次减半变为(128，128)。第二模块、第三模块和第四模块内部均分别有一次步长为2的卷积，因此经第二模块计算后得到(64，64)，经第三模块计算后得到(32，32)，经第四模块计算后得到(16，16)。在第四模块之后还有一次步长为2的卷积，因此，一共得到有原输入图像大小1/64，1/32，1/16，1/8，1/4的5种特征图；

(2)在resnext-50基础网络架构的基础上加入fpn网络；

为了将深层网络中抽象度高但分辨率低的特征图以及浅层网络中抽象度低但分辨率高的特征图进行多尺度的整合，在resnext-50的基础上再结合特征金字塔网络(fpn网络)。

fpn网络主要通过两个步骤进行整合上述深层网络中抽象度高但分辨率低的特征图和浅层网络中抽象度低但分辨率高的特征图；具体为：

第一，在层数较深的网络进行上采样，提高分辨率；

第二，在低层次网络中做核函数(kernel)为(1，1)的卷积，改变通道数，保证低层次网络中的通道数与深层网络通道数相同，进而可以求和。

(3)在resnext-50基础网络架构的基础上加入fpn网络得到原输入图像大小1/64，1/32，1/16，1/8，1/4的5种特征图，将5种特征图输入到区域推荐网络rpn中，以进行目标检测任务；然后通过回归分析，生成目标概率值，判断该点是否包含目标，以及输出两个候选框的信息，输出的两个候选框的信息为：该点预测的中心点、高与宽。

在进行目标检测时分为两步，第一步为通过区域推荐网络，生成多个可能包含检测物体的候选边框；比如图像特征大小为8×8，则总共生成的候选框个数为8×8×长宽比例个数×尺寸个数；

第二步，再确定候选框中是否包含目标物体，确定的方法为：包含目标物体，表现为重叠度(iou)>0.7，则将目标物体的标记视为1；

不包含目标物体，表现为候选框的重叠度都小于0.7，将目标物的标记视为-1。

将标记为1和标记为-1的候选框作为训练样本输入到区域推荐网络中进行训练，分为两类，做两个任务，任务一是判断是否包含识别物体，任务二是确定目标边框的位置和尺寸；

用来作为训练样本输入有：{label，bbox_target}，其中，label为标记是否包含目标，用来进行分类；bbox_target为候选框的中心点位置以及长与宽，用来进行回归分析。

s4、通过区域推荐网络进行像素级分类，实现实例分割；

在获取候选区域的基础上，对感兴趣的区域对齐，让网络提取的特征更容易找到前景以及得到与候选目标相对应的矩形框，得到相应大小的特征块，在本实施例中为14×14的特征块；再输入到全连接层进行分类以及边界框的回归。

同时，加入数个卷积层以及反卷积层，大小为28×28，输出一个2通道的标记输出，分别标记前景和背景，进行像素级分割，以此获得细胞或树突棘的边界曲线。

s5、将贝叶斯优化用于获得模型中的最优超参数，包括迁移学习中对第几层机型微调，候选框的大小和长宽比例，从而获得最优的模型。

贝叶斯优化技术是基于随机性和概率分布而得出的最优超参数，不依赖于人为猜测所需的样本量的大小。该算法流程如下：

1:forn＝1,2,…do

2:selectnewxn+1byoptimizingacquisitionfunctionα,

3:queryobjectivefunctiontoobtainyn+1

4:augmentdatadn+1＝{dn,(xn+1,yn+1)}

5:updatestatisticalmodel

6:endfor

上述算法流程为：随机抽选一些点{(xn,yn)}作为初选点，初始数量为n，其中x为参数坐标，y为黑盒子函数的值；然后选择使获得待优化函数α的值最高的点，其中dn为候选数据集；得到xn+1，并根据黑盒子求得yn+1，然后更新得到一组新的参数{(xn+1,yn+1)}，并且更新获得的函数α是根据{(xn,yn)}推断出来的一个函数，可以求极值点。

贝叶斯优化技术是基于超参数优化的自动化机器学习，对深度神经网络十分重要。通过超参数的自动优化技术，进行模型的自动调整，实现探测和分割过程的全自动化。

实施例2

参阅图2，使用实施例1中用于多尺度的神经形态检测和分割方法形成的软件，其具体使用方法为：

1.输入服务器的ip地址：如这里192.168.0.66:8080；

2.点击载入图片按钮，载入双光子成像的图片；

3.图片载入后，自动运行服务器的探测和分割程序；

4.图片右侧显示为探测到的细胞/树突棘的编号、类型和置信度；

5.探测和分割结果会自动保存到图片当前目录下。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。