生物多光谱图像的深度学习分类方法及装置与流程

文档序号:11251453阅读:758来源:国知局
生物多光谱图像的深度学习分类方法及装置与流程

本发明涉及一种生物多光谱图像的深度学习分类方法及装置。



背景技术:

在科研实践中,组织切片的正确分类是非常重要的。传统组织切片为灰度或单色荧光,主要通过物理层面的细胞形态学进行分类,分类方法不准确,在病程早期正常和病变细胞形态区分度不大,缺乏组织多生物现象关联因素信息,无法为后处理和分类提供高特异性。彩色组织切片图像是指具有多种光谱信息(如激发荧光)或色谱信息(如染色剂)的组织切片图像,是组织切片领域的新一代精准医学技术,多光谱(包括高光谱和超光谱)技术是图像的每一个像素都提供两种以上光谱波长的光强度值的新技术。激发荧光(fluorescence)的多光谱生物标记或染料染色的病理组织切片方法是最新发展的一种可以同时测量同一像素区域多个生物标记物的关联性和生物现象强度的方法。多光谱图像是有自身生物复杂性的一组表征不同光谱波长强度的图像,揭示的信息是多个生物事件在不同光谱上表征的深度相互关系。在科研实践中需要对一组多光谱图像进行分类。

对于单一图像,可采用图像深度学习的方法实现分类。对于多光谱图像的智能分类处理尚处于起步阶段,多光谱图像所需要的深度学习时间长,存储空间大,并且深度学习框架需要大量的训练图输入才能较好的收敛,目前多光谱组织切片图像的数量远达不到大数据的规模,仍然按照常规的深度学习方案显然无法得到满意的结果。例如中国发明专利申请201511022779.8公开了一种基于多层卷积网络与数据重组折叠的高光谱数据分类方法,其首先对三维高光谱数据进行预处理,获得包含有效光谱信息的数据矩阵和标签向量;对数据矩阵进行特征扩维,并对特征维按列折叠重组,获得重组的三维高光谱数据输入矩阵;设定多层卷积网络结构参数和初始值;利用前向传播与bp算法逐层计算特征和误差,并对网络权值和偏置进行更新,不断迭代获得网络稳定参数,最终获得能够用于分类的网络模型和参数。又如,中国发明专利申请201610427555.3公开了一种基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法,其对胃肠道组织高光谱训练图像的光谱维进行降维去噪,仅保留高光谱数据的主成分;构造卷积神经网络结构;采用分批处理方法,将每个批次内的训练样本输入构造好的卷积神经网络,每个训练样本数据为高光谱数据主成分即若干个二维灰度图像,若干个二维灰度图像相当于若干张输入层的特征图,采用交叉熵函数作为损失函数,利用误差反向传播算法,根据该训练批次内的平均损失函数训练卷积神经网络中的参数以及逻辑回归层参数直至网络收敛。这些方案虽然能够对高光谱图像展开深度学习,但没有有效利用光谱之间的相关性(揭示生物现象的相互联系)来提高深度学习特异性和鲁棒性,并且没有荧光光谱信息和对自发荧光的降噪处理,在训练图数量有限的情况下,即使得到一个训练好的神经网络,其鲁棒性和准确性也难以令人满意。



技术实现要素:

有鉴于此,本发明提出一种生物多光谱图像的深度学习分类方法及装置,利用某一特定病理状态通常会伴随多个复杂的生物现象同时发生,且多个生物现象之间相互关联,以及这种关联具有区域性的特点,结合病理学的先验知识实现对生物多光谱图像的深度学习和分类。

本发明提供一种生物多光谱图像的深度学习分类方法,所述方法包括如下过程:对生物多光谱图像进行数据预处理得到预处理结果;根据感兴趣的生物现象关系确定至少一个相关特征滤波器模板;将预处理结果作为深度学习框架的输入,对所述生物多光谱图像进行深度学习,并以所述至少一个相关特征滤波器模板调整深度学习框架,从而得到训练好的深度学习框架;将待分类的多光谱图像输入到所述训练好的深度学习框架中,得到所述待分类的多光谱图像对应的分类。

根据本发明的深度学习分类方法,优选地,所述数据预处理包括如下步骤:

①将每一个多光谱图像均转换为一个m×n矩阵,其中,m为所述多光谱图像像素的个数,n为多光谱图像中波长值的个数;

②利用主成分分析pca计算出对所述矩阵贡献较大的前m个波长;

③在个波长组合中选出最相关的波长组合a,a是包含n个不同波长值的波长组合;

④对所述多光谱图像进行分区,针对每个区域的图像,计算波长组合a中各波长的相关系数,选出最大相关系数对应的区域w;

⑤对区域w中波长组合a中不同波长的强度进行像素分布直方图归一化,以归一化得到的结果作为所述预处理结果。

根据本发明的深度学习分类方法,优选地,步骤③包括:计算m个波长中任意两个波长的相关系数,将相关系数从大到小排序,在最大的前s个相关系数所对应的s个组合中,将含有n个不同波长值的波长组合视为一个大组,得到多个所述大组,将每个所述大组中所有波长组合对应的相关系数相加,得到多个和q,取最大的和qmax对应的n个波长形成波长组合a。

根据本发明的深度学习分类方法,优选地,基于多种生物现象的相互关系设计所述相关特征滤波器模板。

根据本发明的深度学习分类方法,优选地,所述多种生物现象的相互关系包括:不同生物现象的方位关系、不同生物现象所占面积的相对大小和/或不同生物现象之间相隔的距离。

根据本发明的深度学习分类方法,优选地,所述基于多种生物现象的相互关系设计所述相关特征滤波器模板包括:

(1)根据感兴趣的生物现象发生区域的面积大小决定所述相关特征滤波器模板的区域面积大小和像素个数;

(2)基于多光谱图像中不同波长值的数量确定所述相关特征滤波器模板的像素深度;和/或

(3)基于多光谱图像中不同波长的相关系数的大小和生物现象特有特征确定所述相关特征滤波器模板中不同组分的宽度和形状。

根据本发明的深度学习分类方法,优选地,其中所述的深度学习框架采用卷积神经网络,所述以所述至少一个相关特征滤波器模板调整深度学习框架包括:

(1)以所述至少一个相关特征滤波器模板和常规特征学习模板作为卷积神经网络的第1层卷积层;

(2)将所述至少一个相关特征滤波器模板加入到卷积神经网络的第d层卷积层中,且d为大于1小于等于隐含层层数的自然数;或者

(3)以所述至少一个相关特征滤波器模板作为一个新的卷积层增加到卷积神经网络的隐含层中。

根据本发明的深度学习分类方法,优选地,以所述至少一个相关特征滤波器模板调整深度学习框架还包括:在深度学习过程中,对所述至少一个相关特征滤波器模板的权重进行调整。

根据本发明的深度学习分类方法,优选地,使用huber成本函数作为深度学习框架的输出层成本函数。

根据本发明的深度学习分类方法,优选地,所述方法还包括:在对所述生物多光谱图像进行深度学习过程中,随机地选择一个卷积层,对其中的全部图像区域或部分图像区域中的一个或多个波长不做相关特征滤波器模板卷积。

根据本发明的深度学习分类方法,优选地,所述方法还包括:在对所述生物多光谱图像进行深度学习过程中,随机地选择一个卷积层,对其中部分图像区域中的感兴趣的波长不做常规模板卷积,对需要滤除的波长不做相关特征滤波器模板卷积。

根据本发明的深度学习分类方法,优选地,所述方法还包括:在对所述生物多光谱图像进行深度学习过程中,随机地选择一个或多个神经元节点做失活处理,或者随机地选择一个或多个链接做失活处理。

根据本发明的深度学习分类方法,优选地,所述方法还包括:基于自发荧光的分布模式,在所述深度学习框架中滤除与所述自发荧光相关度高的所述矩阵的特征向量或者减少与所述自发荧光相关度高的所述矩阵的特征向量的学习。

根据本发明的深度学习分类方法,优选地,所述方法还包括:在对所述生物多光谱图像进行深度学习过程中,提高与自发荧光相关的相关特征滤波器模板权重所对应的激发函数的阈值。

根据本发明的深度学习分类方法,优选地,所述方法还包括:在对所述生物多光谱图像进行深度学习过程中,下采样处理时,自发荧光的波长特征模板的响应图以亮度最低值代替,感兴趣的波长以亮度最高值代替,以强化对与生物现象有联系的光谱波长的学习。

根据本发明的深度学习分类方法,优选地,所述利用主成分分析pca计算出对所述矩阵贡献较大的前m个波长包括:利用多变量曲线分辨率方法mcr和非负最小二乘迭代优化方法nnls计算出每一个波长值对各个像素的贡献,以在像素中剔除自发荧光的贡献。

根据本发明的深度学习分类方法,优选地,所述的深度学习框架采用卷积神经网络、循环神经网络、深度置信网络、深度玻尔兹曼机、层叠去噪自编码器或者支撑向量机。

本发明还提供一种生物多光谱图像的深度学习分类装置,所述装置包括:

数据接收设备、处理器、存储器以及存储在所述存储器上并能在所述处理器上运行的计算机程序;其中,

所述数据接收设备用于接收输入的图像和指令,所述图像包括生物多光谱图像;

所述计算机程序在所述处理器上运行时执行以下步骤:

对所述数据接收设备接收到的生物多光谱图像进行数据预处理得到预处理结果;

根据所述数据接收设备接收到的指令确定至少一个相关特征滤波器模板;

将所述预处理结果作为深度学习框架的输入,对所述生物多光谱图像进行深度学习,并以所述至少一个相关特征滤波器模板调整深度学习框架,从而得到训练好的深度学习框架;

以所述训练好的深度学习框架对待分类的多光谱图像进行处理,得到所述待分类的多光谱图像对应的分类。

根据本发明的深度学习分类装置,优选地,所述数据预处理包括如下步骤:

①将每一个多光谱图像均转换为一个m×n矩阵,其中,m为所述多光谱图像像素的个数,n为多光谱图像中波长值的个数;

②利用主成分分析pca计算出对所述矩阵贡献较大的前m个波长;

③在个波长组合中选出最相关的波长组合a,a是包含n个不同波长值的波长组合;

④对所述多光谱图像进行分区,针对每个区域的图像,计算波长组合a中各波长的相关系数,选出最大相关系数对应的区域w;

⑤对区域w中波长组合a中不同波长的强度进行像素分布直方图归一化,以归一化得到的结果作为所述预处理结果。

根据本发明的深度学习分类装置,优选地,步骤③包括:计算m个波长中任意两个波长的相关系数,将相关系数从大到小排序,在最大的前s个相关系数所对应的s个组合中,将含有n个不同波长值的波长组合视为一个大组,得到多个所述大组,将每个所述大组中所有波长组合对应的相关系数相加,得到多个和q,取最大的和qmax对应的n个波长形成波长组合a。

根据本发明的深度学习分类装置,优选地,所述深度学习框架为卷积神经网络,所述以所述至少一个相关特征滤波器模板调整深度学习框架包括:

(1)以所述至少一个相关特征滤波器模板和常规特征学习模板作为卷积神经网络的第1层卷积层;

(2)将所述至少一个相关特征滤波器模板加入到卷积神经网络的第d层卷积层中,且d为大于1小于等于隐含层层数的自然数;或者

(3)以所述至少一个相关特征滤波器模板作为一个新的卷积层增加到卷积神经网络的隐含层中。

根据本发明的深度学习分类装置,优选地,所述以所述至少一个相关特征滤波器模板调整深度学习框架还包括:根据所述数据接收设备接收到的指令,对所述至少一个相关特征滤波器模板的权重进行调整。

本发明还提供一种用于生物多光谱图像深度学习的相关特征滤波器模板,所述相关特征滤波器模板基于多种生物现象的相互关系设计而成。

根据本发明的相关特征滤波器模板,优选地,所述多种生物现象的相互关系包括:不同生物现象的方位关系、不同生物现象所占面积的相对大小和/或不同生物现象之间相隔的距离。

根据本发明的相关特征滤波器模板,优选地,基于多种生物现象的相互关系设计所述相关特征滤波器模板包括:

(1)根据感兴趣的生物现象发生区域的面积大小决定所述相关特征滤波器模板的区域面积大小和像素个数;

(2)基于多光谱图像中不同波长值的数量确定所述相关特征滤波器模板的像素深度;和/或

(3)基于多光谱图像中不同波长的相关系数的大小和生物现象特有特征确定所述相关特征滤波器模板中不同组分的宽度和形状。

本发明在开始深度学习之前对多光谱图像做数据预处理,并在神经网络的初始值中额外加入设计的相关特征滤波器模板,可大大缩短深度学习的时间。根据本发明优选的技术方案,在深度学习过程中,可根据需要调整卷积层的结构和权重,进一步提高学习速度,增强深度学习的特异性和鲁棒性,得到相关联系概率最大的多光谱分类。

附图说明

图1为本发明的一种方法流程框图。

图2(a)~(c)为本发明的一种相关特征滤波器模板的示意图;其示出以波长5表征的一个病变体及存在于其周边的四种免疫现象(分别以波长1~4表征)的相互关系;(a)模板代表癌症早期,(b)模板代表癌症中期,(c)模板代表癌症晚期。

图3(a)~(c)本发明的另一种相关特征滤波器模板的示意图。

图4(a)~(d)是本发明的标记荧光与自发荧光的相关特征滤波器模板。

图5为本发明的一种表征光谱相互关系离散性的相关特征滤波器模板。

图6为本发明的另一种表征光谱相互关系离散性的相关特征滤波器模板;其中,(a)和(b)是学习空间基矢量(横向x,纵向y)的光谱相关性模板。

图7为本发明的另一种方法流程框图。

图8为本发明的一种深度学习分类装置的结构框图。

具体实施方式

下面结合具体实施例对本发明作进一步的说明,但本发明的保护范围并不限于此。

在本发明中,除非特别声明,各个表示数量的参数(例如,m、n、m、n、s)均表示自然数。

为了实现对生物多光谱图像的分类,本申请一方面基于生物多光谱图像可表征不同生物事件的深度相互关系的固有特点,另一方面基于可对深度学习框架的深度学习过程实施人为干预的创新思路,提出了如图1所示的生物多光谱图像的深度学习分类方法,以下分步骤进行详细描述。

<s101、对生物多光谱图像进行数据预处理>

对生物多光谱图像进行数据预处理得到预处理结果。在本发明中,需要进行数据预处理的生物多光谱图像的数量并没有特别限制,例如,可以是一个或多个。为了获得更好的深度学习效果,生物多光谱图像的数量为多个,例如大于100个,优选大于1000个,更优选大于5000个;例如小于10000个,优选小于5000个,更优选小于1000个。这样既可以保证深度学习效果,又可以节约时间。

在本发明中,所述的数据预处理包括以下处理过程:将一个多光谱图像转换为一个m×n矩阵,其中,m为所述多光谱图像像素的个数,m=图像宽度×图像高度,n为多光谱图像中波长值的个数;利用主成分分析pca计算出对m×n矩阵贡献较大的前m个波长;其中,在计算出的m个波长中可以选出个波长组合;在个波长组合中选出最相关的波长组合a,a是包含n个不同波长值的波长组合;对所述多光谱图像进行分区(例如分为4×4共16个区域),针对每个区域的图像计算波长组合a中各个波长的相关系数(这里,如果光谱在空间离散度高,不同光谱的重叠区域少,则可以在计算区域相关系数中使用高斯金字塔方法先做高斯卷积再下采样,以增加光谱相关重叠区域),选出最大相关系数对应的区域w;对区域w中的波长组合a中不同波长的强度进行像素分布直方图归一化。

进一步地,本发明可采用以下方式在个波长组合中选出最相关的波长组合a:计算m个波长中任意两个波长的相关系数,将相关系数从大到小排序,在最大的前s个相关系数所对应的s个组合中,将含有n个不同波长值的波长组合视为一个大组,得到多个所述大组,将每个所述大组中所有波长组合对应的相关系数相加,得到多个和q,取最大的和qmax对应的n个波长形成波长组合a。

对生物多光谱图像进行上述数据预处理,可极大地简化深度学习需要处理的数据维度和数据量,由于选择的学习区域是多个光谱高度相关的区域,可使深度学习网络的分类准确性显著提高。

关于多光谱图像的分区,还可采用超级像素方法(superpixel)得到精确的相关分区,并通过图像分割处理使分区与生物意义产生联系。优选地,本发明采用直接分区的方法。这样在实践中更易于实现,直接分区还能增强不同组的多光谱图像之间的可比性。

<s102、确定至少一个相关特征滤波器模板>

根据感兴趣的生物现象关系确定至少一个相关特征滤波器模板。在本发明中,可以基于多种生物现象的相互关系,例如不同生物现象的方位关系、不同生物现象所占面积的相对大小和/或不同生物现象之间相隔的距离,来设计相关特征滤波器模板。作为优选,可以采用以下方式进行设计:根据感兴趣的生物现象发生区域的面积大小决定所述相关特征滤波器模板的区域面积大小和像素个数;基于多光谱图像中不同波长值的数量确定所述相关特征滤波器模板的像素深度;基于多光谱图像中不同波长的相关系数的大小和生物现象特有特征确定所述相关特征滤波器模板中不同组分的宽度和形状。这样更有利于高效完成深度学习。此外,如果有足够数量的多光谱图像数据,也可以通过深度学习网络对设计好的相关特征滤波器模板进行优化,或者也可以直接通过大量数据的学习训练得到相关特征滤波器模板。

图2-4给出了若干本发明的相关特征滤波器模板的示意图,这些模板中加入了揭示不同生物现象的相互关系的因素。具体地,图2的(a)~(c)三个模板展现了例如以波长5表征的一个病变体及存在于其周边的四种免疫现象(分别以波长1~4表征)的相互关系,该病变体被四种免疫现象紧密包围。根据是否有先验知识和分类要求,可对模板进一步细化,图2(a)~(c)三个模板中波长5所占的面积递增,可理解为(a)模板代表癌症早期(病变信号明显小于免疫信号),(b)模板代表癌症中期(病变信号和免疫信号大体上相同),以及(c)模板代表癌症晚期(病变信号大于免疫信号)。

图3(a)~(c)模板是两种光谱关系的相关特征滤波器模板。图4(a)~(d)模板是标记荧光与自发荧光的相关特征滤波器模板。在本发明中,相关特征滤波器模板还可表征生物现象的空间相关关系,例如图3(c)和图4(d)模拟了人类视觉系统对45°角认知的视觉神经元,图4(a)~(c)模拟了90°角的视觉神经元。优选地,可以使用概率决策树优化本发明的相关特征滤波器模板的设计。

在本发明中,还可根据光谱的独立性以及自发荧光与其他光谱均相关的特点,设计表征光谱相互关系离散性的相关特征滤波器模板,如图5和6。图5可看作是图2(a)离散拆分并加入了自发荧光,其中“=”左端为离散模板本身,“=”右端为不同波长以及自发荧光的分模板,离散模板可看作多个分模板的叠加。图5的λ1~λ5分别对应图2中的波长1~波长5,区别在于λ1~λ5是离散分布的,它们之间的间隙中充满自发荧光。图6是谱图分离度大的相关特征滤波器模板,其中每个光谱的邻近单元都为其他光谱,表现为不同的颜色。图6(a)和6(b)是学习空间基矢量(横向x,纵向y)的光谱相关性模板,它们的线性组合可以反映任意方向的光谱相关关系。

需要指出的是,本发明的图2~6所列出的十余种相关特征滤波器模板远远不是本发明相关特征滤波器模板的全部,由于篇幅原因也不可能一一列出。在符合生物和病理机制的前提下,可参考应用需要设计多种相关特征滤波器模板。在有大量数据的情况下,这些相关特征滤波器模板也可以通过神经网络的深度学习而得到,但现实状况是目前生物多光谱数据量严重不足,无法得到可用的相关特征滤波器模板,因此本发明提出根据病理先验知识设计相关特征滤波器模板并结合常规深度学习方法和训练模型对其进行调整优化的概念具有重要的实际意义。本发明通过不同波长相关性的强弱,定义设计相关特征滤波器模板不同组分的宽度和形状,反映了多光谱图像生物现象的相互关系,可根据应用要求有针对性地提高学习速度和学习效果。

<s103、得到训练好的深度学习框架>

将预处理结果作为深度学习框架的输入,对所述生物多光谱图像进行深度学习,并以所述至少一个相关特征滤波器模板调整深度学习框架,从而得到训练好的深度学习框架。本发明可选择平移不变性的卷积神经网络(cnn)深度学习框架,可在常规特征训练好的深度网络权重模型的基础上,输入本发明的生物多光谱图像的预处理数据,并将本发明的相关特征滤波器模板加入深度学习框架中,合理调整模板所在的卷积层位置,强化神经网络对光谱相关性的学习;同时,根据训练数据还可对体现光谱相关性的相关特征滤波器模板进行微调,得到更适合应用需求的模板,可弥补生物多光谱图谱数据量不足的问题。

在本发明的深度学习过程中,可以以至少一个(即一个或多个)相关特征滤波器模板(例如图2~6)和常规特征学习模板作为卷积神经网络的第1层卷积层,也可以将至少一个相关特征滤波器模板加入到卷积神经网络的第d(d为大于1小于等于隐含层层数的自然数)层卷积层中,还可以以至少一个相关特征滤波器模板作为一个新的卷积层增加到卷积神经网络的隐含层中。在对所述生物多光谱图像进行深度学习中,有针对性的对生物现象相关性强化学习,并对相关特征滤波器模板中各波长的权重进行调整,可以大大缩短深度学习的时间。

<s104、图象分类>

将待分类的多光谱图像输入到所述训练好的深度学习框架中,得到所述待分类的多光谱图像对应的分类。经过步骤s101~s103,对生物多光谱图像的数据预处理,选择最大相关性区域作为深度学习网络的输入,基于生物病理机制设计得到相关特征滤波器模板,作为训练初始权重,通过调整模板中各个波长的权重和相对层位置,增强揭示光谱相关性特征的学习,最后可得到训练好的cnn神经网络,其中含有训练好的模板,这些模板是初始输入的相关特征滤波器模板经训练数据深度学习优化调整后得到的相关分类模板,分类模板与当前应用需求接近。这些训练好的分类模板作为最后应用在病理分类深度网络中的特征模板。然后可将待分类的多光谱图像输入到训练好的cnn神经网络中,可以得到该多光谱图像对应的分类。

需要指出,上述的步骤s101和步骤s102的顺序可以互换,对本发明的实现没有影响。根据应用需要,也可以在神经网络的输入中加入方向梯度直方图(hog)生成的相关特征滤波器模板,可改进显微镜下复杂光照和阴影变化下的多光谱图像相关特征滤波器模板的学习效果。在本发明中,还可以为训练输入图设置病理分类标签,不同的训练输入图对应不同的病理分类标签。

除此之外,可以使用以下方法提高本发明的神经网络深度学习对未处理和学习过的图像的分类准确性和鲁棒性:

1、卷积神经网络的输出层成本函数使用huber成本函数,其中根据误差自动选择l1或l2模,即网络计算结果和人工标定结果的绝对值差或平方差。huber函数的平衡处理可减少对样本中的异类或错误样本的敏感性,同时增加对有统计意义的样本的学习速度。

2、通过随机训练提高深度网络学习的鲁棒性:需要弱化学习的相关特征波长,可以在卷积层里随机选择一层的全部图像不做模板卷积,或者一层中的某些图像区域不做卷积;也可以在某一层中的某些图像区域对需要学习的波长随机不做卷积;也可直接随机对链接和神经元节点做失活处理,等效于在某一次改变权重的迭代训练中随机忽略神经网络的某个节点和链接。

3、自发荧光是多光谱一个主要噪声源,可影响深度学习网络的鲁棒性,可通过以下方法最大限度降低其影响:

(1)根据自发荧光的模式特征,例如自发荧光空间分布均匀且在多个光谱维度有相似的强度,在深度学习网络中滤除与先验自发荧光相关较高的矩阵特征向量,或者减少对相关较高的矩阵特征向量的学习。

(2)自发荧光与所有其他波长的光都有弱相关性,提高与自发荧光相关的相关特征滤波器模板权重所对应的激发函数的阈值。

(3)在深度学习过程中,在下采样(pooling)处理中,自发荧光的波长特征模板的响应图用亮度最低值代替,有生物意义的波长用亮度最高值代替,强化对与生物现象有联系的光谱波长的学习。

(4)根据实验获取的先验知识,可以在主成分分析pca中用多变量曲线分辨率方法(mcr)和非负最小二乘迭代优化(nnls)计算出每一光谱波长值对每个像素的贡献,从而直接在像素中剔除自发荧光的贡献。

以上基于cnn神经网络阐述了本发明在深度学习框架中强化多光谱的相互关系特征的学习和分类方法,该方法也可以应用在其他深度学习框架中,例如循环神经网络(recurrentneuralnetworks,rnn)、深度置信网络(dbn)、深度玻尔兹曼机(deepboltzmannmachines,dbm)、层叠去噪自编码器(stackeddenoisingautoencoders,sdae)、支撑向量机(supportvectormachine,svm)。

根据上述方法,本发明还提供一种生物多光谱图像的深度学习分类装置500,参考图8,该装置500包括:数据接收设备501、处理器503、存储器502以及存储在所述存储器502上并能在所述处理器503上运行的计算机程序;其中,所述数据接收设备501用于接收输入的图像和指令,所述图像包括生物多光谱图像;所述计算机程序在处理器503上运行时执行以下步骤:对数据接收设备501接收到的生物多光谱图像进行数据预处理得到预处理结果;根据数据接收设备501接收到的指令确定至少一个相关特征滤波器模板;将所述预处理结果作为深度学习框架的输入,对所述生物多光谱图像进行深度学习,并以所述至少一个相关特征滤波器模板调整深度学习框架,从而得到训练好的深度学习框架;以所述训练好的深度学习框架对待分类的多光谱图像进行处理,得到所述待分类的多光谱图像对应的分类。所述计算机程序在处理器503上运行时执行的具体步骤与学习分类方法部分的相同,在此将上述相关内容全部引入这里。

需要注意,对于图8所示的生物多光谱图像的深度学习分类装置500,其中数据接收设备501、处理器503和存储器502之间的连线表示数据信号可在连线方向上传输,例如有线传输或者无线传输。

实施例1

图7示出了本发明实施例对多个生物多光谱图像进行深度学习的流程图,需对每一个生物多光谱图像做数据预处理,以第一生物多光谱图像为例,数据预处理的过程如下:

将第一生物多光谱图像(16个波长,每个波长的图像是256×256=65536)转换为一个65536×16矩阵,利用主成分分析pca计算出对65536×16矩阵贡献较大的前m个波长,本次处理m取4,n的取值为2≤n≤m,本次处理n=3。利用相关系数计算公式计算个波长中任意两个波长的相关系数的值,相关系数计算公式如下:

其中,h为相关系数(归一化后的),g为两个波长中波长1的图像,为波长1图像的像素平均值,f为两个波长中波长2的图像,为波长2图像的像素平均值,k和l为像素位置,k∈[1,图像宽度],l∈[1,图像高度]。

得到的前4个最大的相关系数的值如下:

①第一波长和第三波长的相关系数为0.9;

②第五波长和第七波长的相关系数为0.8;

③第五波长和第九波长的相关系数为0.7;

④第三波长和第六波长的相关系数为0.5。

其中,由于n=3,①和②的组合含有四个波长值,不符合条件,而②和③、①和④的组合含有三个波长值,符合条件,并且0.8+0.7=1.5大于0.9+0.5=1.4,因此应该选择②和③的组合,即n=3对应的最佳波长组合a包含第五波长、第七波长和第九波长。

然后,按照图5的离散相关特征滤波器模板,将第一生物多光谱图像分为4×4共16个区域,针对每个区域的图像,分别计算第五波长和第七波长以及第五波长和第九波长的相关系数,得到最大相关系数对应的区域w(如,16个区域中的第13个区域),再对区域w中波长组合a中的每一个光谱的不同波长的强度进行像素分布直方图归一化处理,得到第一训练输入图,完成了对第一生物多光谱图像的数据预处理。同理,可以对多个生物多光谱图像进行数据预处理,得到第二训练输入图、第三训练输入图……第n训练输入图。

接着,将全部训练输入图以及它们对应的病理分类标签输入cnn神经网络,以图2~6或其他根据应用需求设计的一个(或多个)相关特征滤波器模板和常规特征模板(如通过image-net.org图像库深度学习训练已经得到的常规图像物品识别滤波器特征模板)作为cnn神经网络深度学习框架的第1层卷积层,第2层至第d层卷积层使用常规特征模板,在第3~d+1层额外加入相关特征滤波器模板,并根据分类误差,调整相关特征滤波器模板的权重,同时也可对常规特征模板的权重进行调整,强化对光谱相互关系的学习。在其他实施例中,也可以在第2~d层额外加入相关特征滤波器模板。

然后,对于已经通过常规图像学习调整常规特征模板权重而训练好的深度学习网络(例如google的inceptionv3),需根据多光谱应用分类的需要重新调整分类层(例如原来inceptionv3用image-net.org训练好的1000个分类可改为5个,用以区分5个不同病理分类),计算多光谱图像训练样本学习分类结果与人工分类结果的误差,判断该误差是否小于期望误差,如果小于,完成分类学习,得到训练好的cnn神经网络;如果不小于,则需重新调整相关特征滤波器模板的权重,同时也可对部分常规特征模板权重进行微调,直至多光谱图像学习分类结果与人工分类结构的误差小于期望误差,最终得到训练好的cnn神经网络。使用时,将某生物多光谱图像输入到训练好的cnn神经网络中,可以得到其对应的病理分类。

其中,在调整相关特征滤波器模板的权重时,使用链式法则(chainrule)逆方向求导,计算出最后输出误差对应每个一层连接权值的偏微分导数梯度,在最大梯度方向用成本函数与学习节点处偏微分导数值的乘积作为学习权重的调整值,梯度的求解和反向误差传播调整可以在keras、tensorflow、torch或其他机器学习软件工具中自动完成。每次迭代神经元权重都通过反向误差传播调整,从而减少最后输出误差。最后输出分类层使用softmax函数和交叉熵成本函数,或称归一化指数函数,得到多个不同类别的概率并简化导数运算。当不同类别的分类错误率低于训练期望则可终止迭代学习。

实施例2

本实施例与实施例1的区别在于:在实施例1中,第2层至第d层卷积层使用常规特征模板;在本实施例中,第2层至第d层卷积层使用常规特征模板和相关特征滤波器模板,突出对光谱相互关系的强化学习。其余设置与实施例1的设置相同。

实施例3

本实施例需要对图5中λ1和λ2的相互关系强化学习,则在将全部训练输入图输入cnn神经网络之后,在cnn神经网络的第1层,第3层和第d层均加入λ1和λ2的相关特征滤波器模板,可强化对λ1和λ2的相互关系的深度学习。其余设置与实施例1的设置相同。

实施例4

本实施例需要对图5中λ1和λ2的相互关系强化学习,则在将全部训练输入图输入cnn神经网络之后,在cnn神经网络的中间(或最后)额外增加一个λ1和λ2的卷积层,可强化对λ1和λ2的相互关系的深度学习。其余设置与实施例1的设置相同。

实施例5

本实施例与实施例1的区别在于,采用循环神经网络(rnn)作为深度学习框架。其余设置与实施例1的设置相同。

实施例6

本实施例利用多光谱成像仪生成组织样本的生物多光谱图像,通过无线通信模块将这些生物多光谱图像上传到远端的服务器或云端,在服务器或云端存储有计算机程序,当运行该计算机程序时,即执行实施例1中的处理流程,其中所述的相关特征滤波器模板存储在服务器中或存储在云端。根据应用需要确定相关特征滤波器模板时,可通过与云无线连接的设备或者是与服务器无线(或有线)连接的设备(如ccd、scmos照相机、手机、平板电脑、计算机键盘和/或鼠标)选择感兴趣的相关特征滤波器模板。当程序中多光谱图像学习分类结果与人工分类结构的误差小于期望误差时,cnn神经网络的训练完毕,训练好的cnn神经网络存储在服务器或云端,也可将训练好的cnn神经网络存储在其他存储介质中。将待分类的多光谱图像输入到训练好的cnn神经网络中,运行该cnn神经网络,得到其对应的分类。

实施例7

本实施例中,对生物多光谱图像进行深度学习的计算机指令存储在移动硬盘中,服务器可调用移动硬盘中的计算机指令,或者是将移动硬盘中的计算机指令上传到服务器上。服务器执行该计算机指令的流程与实施例1相同。

本发明并不限于上述实施方式,在不背离本发明的实质内容的情况下,本领域技术人员可以想到的任何变形、改进、替换均落入本发明的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1