一种基于提取的免疫固定电泳图特征对其进行自动分类的方法,用于ife图分类,属于机器学习和深度学习技术领域。
背景技术:
免疫固定电泳(immunofixationelectrophoresis,ife)指利用电泳将血清蛋白分离后,每份样品与一种针对特定重链或轻链的特异性抗体进行反应,常用的抗体包括抗γ、d、μ及抗k、λ的抗体,与抗体发生免疫沉淀反应的条带会被染色,即得到ife免疫固定电泳图。通过血清ife可检测igg、igm、iga等及k轻链、λ轻链。目前国内外公认ife技术具有敏感性高和特异性好的特点。
虽然ife技术在分类中起到不可替代的优势,但其自动化和标准化却落后于其他技术。目前传统ife图(免疫固定电泳图)仍是通过人工判断分类。此种方法对人员要求较高,且耗时耗力,分类偏差较大,导致分类精度较低的问题,即不同的人员可能对同一张图片给出不同的分类结果。
现有技术中采用深度学习模型直接提取ife图的特征训练多分类模型,用于分类ife免疫固定电泳图,现有深度学习模型提取的ife免疫固定电泳图的特征表示能力不足,导致多分类模型学习效果不好,而基于现有深度学习中,卷积神经网络多分类模型直接对原始ife图数据集进行参数微调训练,存在:1、ife图数据集规模较小;2、各类别ife图差别小。导致训练困难,难以学习各类别电泳图差异,造成分类效果也不好。
技术实现要素:
针对上述研究的问题,本发明的目的在于提供一种基于提取的免疫固定电泳图特征对其进行自动分类的方法,解决现有技术中采用深度学习模型直接提取ife图的特征,其特征的表示能力不足的问题;采用ife技术对ife图进行分类,其自动化和标准化差的问题;通过采用人工判断ife图进行分类,对人员要求较高,且耗时耗力且分类结果偏差大的问题;采用深度学习模型中能对ife图训练的多分类模型,其分类效果不好的问题。
为了达到上述目的,本发明采用如下技术方案:
一种免疫固定电泳图的特征提取方法,如下步骤:
步骤1、基于深度学习模型,通过数据集计算得到ife区带图像中,目标区域的起始位置预测模型和结束位置预测模型;
步骤2、读取待分类ife图后并对其进行分割,基于目标区域的起始位置预测模型和结束位置预测模型的输入尺寸,对分割后的各电泳区带图像进行放缩处理,得到处理后的各电泳区带图像;
步骤3、基于目标区域的起始位置预测模型、结束位置预测模型预测处理后的各电泳区带图像的目标区域位置后,提取各电泳区带图像中目标区域图像;
步骤4、基于卷积神经网络模型,对各电泳区带图像中的目标区域图像进行处理得到各最终特征,并对各最终特征进行拼接,得到待分类ife图的特征。
进一步,所述步骤1的具体步骤为:
步骤1.1、对获取的ife图构成的原始数据集进行清洗,原始数据集包括ife图和ife图标注结果;
步骤1.2、对清洗后的原始数据集中的每张ife图进行分割,形成ife区带数据集;
步骤1.3、对分割后的ife区带数据集中的电泳区带图像进行目标区域起始、结束位置标注,得到标注后的数据集;
步骤1.4、基于深度学习中做回归预测的模型和标注后的数据集进行学习,训练出位置预测模型,即ife区带图像中,目标区域的起始位置预测模型和结束位置预测模型。
进一步,所述步骤1.2的具体步骤为:
步骤1.2.1、基于指定尺寸,对清洗后的原始数据集中的每张ife图进行放缩;
步骤1.2.2、对放缩后的每张ife图进行二值化处理;
步骤1.2.3、对二值化后的ife图进行连通区域提取,提取后过滤连通区域面积小于指定大小的噪音连通区域;
步骤1.2.4、选取最左边连通区域的起始位置作为总蛋白电泳区带图像的起始位置;
步骤1.2.5、基于总蛋白电泳区带图像的起始位置、固定分割间隔,确定各免疫蛋白电泳区带图像的相对位置,最后得到分割后的6个免疫蛋白电泳区带图像,分别为总蛋白电泳区带图像、igg电泳区带图像、iga电泳区带图像、igm电泳区带图像、kap轻链电泳区带图像、lam轻链电泳区带图像;
步骤1.2.6、将igg、iga、igm、kap、lam5个电泳区带图像放缩到起始位置预测模型和结束位置预测模型的输入尺寸,并保存作为ife区带数据集。
进一步,所述步骤1.4的具休步骤为:
步骤1.4.1、将所有标注了起始位置的电泳区带图像作为起始位置训练数据集,将所有标注了结束位置的电泳区带图像作为结束位置训练数据集;
步骤1.4.2、基于带全连接层结构的卷积神经网络,将网络中softmax层改用为回归方法,得到回归预测模型,其公式如下:
y=wx+b
式中,x为上一层全连接神经元输出,维度为(n,1),w为每一个神经元输出对应的权重,维度为(1,n),n为上一层全连接神经元个数,b为偏置向量,维度为(1),y为回归预测模型的预测输出,维度为(1);
其中,回归预测模型采用mse作为损失函数,其公式如下:
式中,m为训练样本数,yi为第i个训练样本的标注真实结果,
步骤1.4.3、用起始位置训练数据集对回归预测模型进行训练,得到ife区带图像中目标区域的起始位置预测模型;
步骤1.4.4、将结束位置训练数据集对回归预测模型进行训练,得到ife区带图像中目标区域的结束位置预测模型。
进一步,所述步骤2的具体步骤为:
步骤2.1、获取待分类ife图,放缩图像到指定尺寸;
步骤2.2、对待分类ife图进行分割,得到igg、iga、igm、kap、lam5个电泳区带图像;
步骤2.3、将每一个电泳区带图像放缩到目标区域的起始位置预测模型和结束位置预测模型输入尺寸。
一种基于机器学习和深度学习的免疫固定电泳图自动分类方法,如下步骤:
s1、基于深度学习模型,通过数据集计算得到ife区带图像中,目标区域的起始位置预测模型和结束位置预测模型;
s2、基于机器学习模型,通过数据集计算得到ife分类模型;
s3、读取待分类ife图后并对其进行分割,基于目标区域的起始位置预测模型和结束位置预测模型的输入尺寸,对分割后的各电泳区带图像进行放缩处理,得到处理后的各电泳区带图像;
s4、基于目标区域的起始位置预测模型、结束位置预测模型预测处理后的各电泳区带图像的目标区域位置后,提取各电泳区带图像中目标区域图像;
s5、基于卷积神经网络模型,对各电泳区带图像中的目标区域图像进行处理得到各最终特征,并对各最终特征进行拼接,得到待分类ife图的特征;
s6、将待分类ife图的特征输入ife分类模型,得到最终的分类结果。
进一步,所述步骤s1的具体步骤为:
s1.1、对获取的ife图构成的原始数据集进行清洗,原始数据集包括ife图和ife图标注结果;
s1.2、对清洗后的原始数据集中的每张ife图进行分割,形成ife区带数据集;
s1.3、对分割后的ife区带数据集中的电泳区带图像进行目标区域起始、结束位置标注,得到标注后的数据集;
s1.4、基于深度学习中做回归预测的模型和标注后的数据集进行学习,训练出位置预测模型,即ife区带图像中,目标区域的起始位置预测模型和结束位置预测模型;
所述步骤s1.2的具体步骤为:
s1.2.1、基于指定尺寸,对清洗后的原始数据集中的每张ife图进行放缩;
s1.2.2、对放缩后的每张ife图进行二值化处理;
s1.2.3、对二值化后的ife图进行连通区域提取,提取后过滤连通区域面积小于指定大小的噪音连通区域;
s1.2.4、选取最左边连通区域的起始位置作为总蛋白电泳区带图像的起始位置;
s1.2.5、基于总蛋白电泳区带图像的起始位置、固定分割间隔,确定各免疫蛋白电泳区带图像的相对位置,最后得到分割后的6个免疫蛋白电泳区带图像,分别为总蛋白电泳区带图像、igg电泳区带图像、iga电泳区带图像、igm电泳区带图像、kap轻链电泳区带图像、lam轻链电泳区带图像;
s1.2.6、将igg、iga、igm、kap、lam5个电泳区带图像放缩到起始位置预测模型和结束位置预测模型的输入尺寸,并保存作为ife区带数据集;
所述步骤s1.4的具休步骤为:
s1.4.1、将所有标注了起始位置的电泳区带图像作为起始位置训练数据集,将所有标注了结束位置的电泳区带图像作为结束位置训练数据集;
s1.4.2、基于带全连接层结构的卷积神经网络,将网络中softmax层改用为回归方法,得到回归预测模型,其公式如下:
y=wx+b
式中,x为上一层全连接神经元输出,维度为(n,1),w为每一个神经元输出对应的权重,维度为(1,n),n为上一层全连接神经元个数,b为偏置向量,维度为(1),y为回归预测模型的预测输出,维度为(1);
其中,回归预测模型采用mse作为损失函数,其公式如下:
式中,m为训练样本数,yi为第i个训练样本的标注真实结果,
s1.4.3、用起始位置训练数据集对回归预测模型进行训练,得到ife区带图像中目标区域的起始位置预测模型;
s1.4.4、将结束位置训练数据集对回归预测模型进行训练,得到ife区带图像中目标区域的结束位置预测模型。
进一步,所述步骤s2的具体步骤为:
s2.1、对数据集依次进行清洗、分割和标注后,对标注后的数据集,提取每张ife图中、每个电泳区带图像中的目标区域图像;
s2.2、将电泳区带图像中的目标区域图像输入卷积神经网络模型,前向运算提取其最后一层卷积层特征,并对该层特征各通道上使用max-pooling方法进行降维,得到该电泳区带图像的最终特征,计算公式如下:
feat(i)=maxconv_feat(·,·,i)i={1,2,…,n}
其中,卷积神经网络模型前向运算在最后一层卷积层输出特征为conv_feat∈rl×l×n,维度为(l,l,n),表示由n个维度为l×l的特征图构成,feat是降维后输出向量,是一个n维向量,feat(i)表示向量中第i维数值,它是从卷积层输出特征conv_feat的每个特征图上进行maxpooling操作得到,i表示枚举从1到n的维数值整数集合;
若电泳区带图像标注为无目标区域,则用n维向量(-1000,...,-1000)表示;
s2.3、拼接每个ife图中各电泳区带图像获得的最终特征,作为该ife图像的特征,拼接公式如下:
ife-feat=concat(igg-feat,iga-feat,igm-feat,kap-feat,lam-feat)
其中,ife-feat为ife图的特征,igg-feat为igg电泳区带图像的特征,iga-feat为iga电泳区带图像的特征,igm-feat为igm电泳区带图像的特征,kap-feat为kap轻链电泳区带图像的特征,lam_feat为lam轻链电泳区带图像的特征;
s2.4、将ife图的特征和ife图标注结果作为训练数据集,使用支持向量机分类模型进行训练,得到ife分类模型。
进一步,所述步骤s4的具体步骤为:
s4.1、基于目标区域的起始位置预测模型、结束位置预测模型预测各电泳区带图像的目标区域起始位置和结束位置;
s4.2、根据各电泳区带图像中目标区域起始位置和结束位置提取目标区域图像;
进一步,所述步骤s5的具体步骤为:
s5.1、基于卷积神经网络模型输入尺寸,放缩目标区域图像到指定大小;
s5.2、将目标区域图像输入卷积神经网络模型,前向运算提取其最后一层卷积层特征,并对该层特征各通道上使用max-pooling方法进行降维,得到该电泳区带图像的最终特征;
s5.3、拼接每个ife图中各电泳区带图像获得的最终特征,作为该ife图像的特征。
本发明同现有技术相比,其有益效果表现在:
一、本发明基于机器学习模型和深度学习模型可自动识别ife图,对人员无技术要求,对同一张图片(ife图)分类的结果具有唯一性,预测速度快,大概0.1-0.2s可以分类一张图片,且可以24h稳定运行;
二、本发明中分类能达到较高的精度,且能在分类中能识别出专家难以识别的类别,在200张ife图的测试中,分类正确取得的精度是97.5%;
三、本发明可辅助ife图诊断人员预测正确的分类结果,可以辅助人员进行判断,减小相关人员的压力;
四、本发明分割图像,提取指定蛋白电泳区带图像,训练深度学习模型的数据集大小扩展为原有数据集5倍,训练难度下降,对于蛋白电泳区带图像,提取其中对电泳图分类识别起决定性作用的目标区域,目标区域特征作为蛋白电泳区带图像特征,并以此为基础训练多分类机器学习模型,效果显著提升。
附图说明
图1为本发明中ife图的示意图;
图2为本发明中对ife图进行分割,得到6个电泳区带图像的示意图;
图3为本发明中的一张ife区带图像,对应ife区带图像标注了起始位置和结束位置的ife区带图像的示意图;
图4为本发明中ife区带图像中,目标区域的起始位置预测模型和结束位置预测模型的示意图;
图5为本发明的流程示意图;
图6为本发明实施例中的待分类ife图;
图7为本发明实施例中分割后的igg电泳区带图像、iga电泳区带图像、igm电泳区带图像、kap轻链电泳区带图像、lam轻链电泳区带图像;
图8本发明实施例中保存的igg、iga、igm、kap、lam5个电泳区带图像;
图9本发明实施例中对应igg电泳区带图像,预测目标区域开始位置,结束位置结果可视化图;
图10本发明实施例中igg电泳区带图像中目标区域图像。
具体实施方式
下面将结合附图及具体实施方式对本发明作进一步的描述。
图5中,ife图片指ife图。
一种基于机器学习和深度学习的免疫固定电泳图自动分类方法,如下步骤:
s1、基于深度学习模型,通过数据集计算得到ife区带图像中,目标区域的起始位置预测模型和结束位置预测模型,ife区带图像指电泳区带图像;
具体步骤为:
s1.1、对获取的ife图构成的原始数据集进行清洗,原始数据集包括ife图和ife图标注结果;ife图标注结果是指各ife图对应的标注结果,标注结果是指所属的类型。
s1.2、对清洗后的原始数据集中的每张ife图进行分割,形成ife区带数据集;
具体步骤为:
s1.2.1、基于指定尺寸,对清洗后的原始数据集中的每张ife图进行放缩;
s1.2.2、对放缩后的每张ife图进行二值化处理;
s1.2.3、对二值化后的ife图进行连通区域提取,提取后过滤连通区域面积小于指定大小的噪音连通区域;
s1.2.4、选取最左边连通区域的起始位置作为总蛋白电泳区带图像的起始位置;
s1.2.5、基于总蛋白电泳区带图像的起始位置、固定分割间隔,确定各免疫蛋白电泳区带图像的相对位置,最后得到分割后的6个免疫蛋白电泳区带图像,分别为总蛋白电泳区带图像、igg电泳区带图像、iga电泳区带图像、igm电泳区带图像、kap轻链电泳区带图像、lam轻链电泳区带图像,其中,ig为免疫球蛋白;
s1.2.6、将igg、iga、igm、kap、lam5个电泳区带图像放缩到起始位置预测模型和结束位置预测模型的输入尺寸,并保存作为ife区带数据集。
s1.3、对分割后的ife区带数据集中的电泳区带图像、进行目标区域起始、结束位置标注,得到标注后的数据集;
s1.4、基于深度学习中做回归预测的模型和标注后的数据集进行学习,训练出位置预测模型,即ife区带图像中,目标区域的起始位置预测模型和结束位置预测模型。
具休步骤为:
s1.4.1、将所有标注了起始位置的电泳区带图像作为起始位置训练数据集,将所有标注了结束位置的电泳区带图像作为结束位置训练数据集;
s1.4.2、基于带全连接层结构的卷积神经网络,将网络中softmax层改用为回归方法,得到回归预测模型,其公式如下:
y=wx+b
式中,x为上一层全连接神经元输出,维度为(n,1),w为每一个神经元输出对应的权重,维度为(1,n),n为上一层全连接神经元个数,b为偏置向量,维度为(1),y为回归预测模型的预测输出,维度为(1);
其中,回归预测模型采用mse作为损失函数,其公式如下:
式中,m为训练样本数,yi为第i个训练样本的标注真实结果,
s1.4.3、用起始位置训练数据集对回归预测模型进行训练,得到ife区带图像中目标区域的起始位置预测模型;
s1.4.4、将结束位置训练数据集对回归预测模型进行训练,得到ife区带图像中目标区域的结束位置预测模型。
s2、基于机器学习模型,通过数据集计算得到ife分类模型;具体步骤为:
s2.1、对数据集依次进行清洗、分割和标注后,对标注后的数据集,提取每张ife图中每个电泳区带图像中的目标区域图像;
s2.2、将电泳区带图像中的目标区域图像输入卷积神经网络模型(采用卷积神经网络,包含带全连接层结构的卷积神经网络和全卷积神经网络等类型,使用别人开源训练好的模型,不需要重新训练,只是用来提取图像特征),前向运算提取其最后一层卷积层特征,并对该层特征各通道上使用max-pooling方法进行降维,得到该电泳区带图像的最终特征,计算公式如下:
feat(i)=maxconv_feat(·,·,i)i={1,2,…,n}
其中,卷积神经网络模型前向运算在最后一层卷积层输出特征为conv_feat∈rl×l×n,维度为(l,l,n),表示由n个维度为l×l的特征图构成,feat是降维后输出向量,是一个n维向量,feat(i)表示向量中第i维数值,它是从卷积层输出特征conv_feat的每个特征图上进行maxpooling操作得到,i表示枚举从1到n的维数值整数集合;
若电泳区带图像标注为无目标区域,则用n维向量(-1000,...,-1000)表示;
s2.3、拼接每个ife图中各电泳区带图像获得的最终特征,作为该ife图像的特征,拼接公式如下:
ife-feat=concat(igg-feat,iga-feat,igm-feat,kap-feat,lam-feat)
其中,ife-feat为ife图的特征,igg-feat为igg电泳区带图像的特征,iga-feat为iga电泳区带图像的特征,igm-feat为igm电泳区带图像的特征,kap_feat为kap轻链电泳区带图像的特征,lam_feat为lam轻链电泳区带图像的特征;
s2.4、将ife图的特征和ife图标注结果作为训练数据集,使用支持向量机分类模型进行训练,得到ife分类模型。
s3、读取待分类ife图后并对其进行分割,基于目标区域的起始位置预测模型和结束位置预测模型的输入尺寸,对分割后的各电泳区带图像进行放缩处理,得到处理后的各电泳区带图像;具体步骤为:
s3.1、获取待分类ife图,放缩图像到指定尺寸;
s3.2、对待分类ife图进行分割(跟步骤s1.2中的分割方式相同),得到igg、iga、igm、kap、lam5个电泳区带图像;
s3.3、将每一个电泳区带图像放缩到目标区域的起始位置预测模型和结束位置预测模型输入尺寸。
s4、基于目标区域的起始位置预测模型、结束位置预测模型预测处理后的各电泳区带图像的目标区域位置后,提取各电泳区带图像中目标区域图像;
具体步骤为:
s4.1、基于目标区域的起始位置预测模型、结束位置预测模型预测各电泳区带图像的目标区域起始位置和结束位置;
s4.2、根据各电泳区带图像中目标区域起始位置和结束位置提取目标区域图像;
s5、基于卷积神经网络模型,对各电泳区带图像中的目标区域图像进行处理得到各最终特征,并对各最终特征进行拼接,得到待分类ife图的特征;
具体步骤为:
s5.1、基于卷积神经网络模型输入尺寸,放缩目标区域图像到指定大小;
s5.2、将目标区域图像输入卷积神经网络模型,前向运算提取其最后一层卷积层特征,并对该层特征各通道上使用max-pooling方法进行降维,得到该电泳区带图像的最终特征;
s5.3、拼接每个ife图中各电泳区带图像获得的最终特征,作为该ife图像的特征。
s6、将待分类ife图的特征输入ife分类模型,得到最终的分类结果;
实施例:
对原始4000张ife图构成的原始数据集进行清洗,原始数据集包括ife图和ife图标注结果记录,清洗掉原始数据集中有ife记录但没有ife图的记录和有ife图但没有ife记录的电泳图,然后放缩所有ife图为313像素*200像素尺寸,如图1所示;
对清洗后的ife图进行二值化处理,采用opencv库提供的ostu二值化方法;
对二值化后的ife图进行连通区域提取,提取后过滤连通区域面积小于100的噪音连通区域,采用skimage库中的regionprops方法提取二值化后的电泳图中的连通区域;
选取最左边连通区域的起始位置作为总蛋白电泳区带图像的起始位置;
基于总蛋白电泳区带图像的起始位置、电泳区带图像宽度40像素、分割间隔52像素,确定各免疫蛋白电泳区带图像的相对位置,最后得到分割后的6个免疫蛋白电泳区带图像,分别为总蛋白电泳区带图像、igg电泳区带图像、iga电泳区带图像、igm电泳区带图像、kap轻链电泳区带图像、lam轻链电泳区带图像,分割结果如图2所示;
将各免疫蛋白电泳区带图像放缩到预测模型输入大小224像素*224像素,并保存igg、iga、igm、kap、lam5个电泳区带图像作为ife区带数据集,该数据集中每一样本对应某张ife图中的某蛋白电泳区带图像;
对分割后的ife区带数据集中的电泳区带图像、进行目标区域起始、结束位置标注,得到标注后的数据集;
基于深度学习中做回归预测的模型和标注后的数据集进行学习,训练出位置预测模型,即ife区带图像中,目标区域的起始位置预测模型和结束位置预测模型。
将所有标注了起始位置的电泳区带图像作为起始位置训练数据集(即ife区带图像对应的目标区域起始位置),将所有标注了结束位置的电泳区带图像作为结束位置训练数据集(即ife区带图像对应的目标区域结束位置);基于带全连接层结构的全卷积神经网络模型vgg16,将网络中softmax层改用为回归方法,得到回归预测模型,其公式如下:
y=wx+b
式中,x为上一层全连接神经元输出,维度为(n,1),w为每一个神经元输出对应的权重,维度为(1,n),n为上一层全连接神经元个数,b为偏置向量,维度为(1),y为回归预测模型的预测输出,维度为(1);
其中,回归预测模型采用mse作为损失函数,其公式如下:
式中,m为训练样本数,yi为第i个训练样本的标注真实结果,
用起始位置训练数据集对回归预测模型进行训练,得到ife区带图像中目标区域的起始位置预测模型;
将结束位置训练数据集对回归预测模型进行训练,得到ife区带图像中目标区域的结束位置预测模型。
对数据集依次进行清洗、分割和标注后,对标注后的数据集(即步骤s1.3中得到的标注后的数据集),提取每张ife图中每个电泳区带图像中的目标区域图像;
将电泳区带图像中的目标区域图像输入卷积神经网络模型,前向运算提取其最后一层卷积层特征,并对该层特征各通道上使用max-pooling方法进行降维,得到该电泳区带图像的最终特征,计算公式如下:
feat(i)=maxconv_feat(·,·,i)i={1,2,…,n}
其中,卷积神经网络模型前向运算在最后一层卷积层输出特征为conv_feat∈rl×l×n,维度为(l,l,n),表示由n个维度为l×l的特征图构成,feat是降维后输出向量,是一个n维向量,feat(i)表示向量中第i维数值,它是从卷积层输出特征conv_feat的每个特征图上进行maxpooling操作得到,i表示枚举从1到n的维数值整数集合;
若电泳区带图像标注为无目标区域,则用n维向量(-1000,...,-1000)表示;
拼接每个ife图中各电泳区带图像获得的最终特征,作为该ife图像的特征,拼接公式如下:
ife-feat=concat(igg-feat,iga_feat,igm_feat,kap_feat,lam_feat)
其中,ife_feat为ife图的特征,igg_feat为igg电泳区带图像的特征,iga-feat为iga电泳区带图像的特征,igm_feat为igm电泳区带图像的特征,kap_feat为kap轻链电泳区带图像的特征,lam-feat为lam轻链电泳区带图像的特征;
将ife图的特征和ife图标注结果作为训练数据集,使用支持向量机分类模型进行训练,得到ife分类模型。
分类的具体过程如下:
获取待分类ife图,放缩图像到指定尺寸313像素*200像素,如图6所示;
采用opencv库提供的0stu二值化方法对放缩后的ife图进行二值化处理,对二值化后,采用skimage库中的regionprops方法提取二值化后的电泳图中的连通区域,提取后过滤连通区域面积小于100的噪音连通区域,选取最左边连通区域的起始位置作为总蛋白电泳区带图像的起始位置,基于总蛋白电泳区带图像的起始位置、区带宽度40像素、分割间隔52像素,确定各免疫蛋白电泳区带图像的相对位置,最后得到分割后的6个免疫蛋白电泳区带图像,分别为总蛋白电泳区带图像、igg电泳区带图像、iga电泳区带图像、igm电泳区带图像、kap轻链电泳区带图像、lam轻链电泳区带图像,如图7所示。
将各免疫蛋白电泳区带图像放缩到位置预测模型输入大小224像素*224像素,并保存igg、iga、igm、kap、lam5个电泳区带图像,如图8所示。
基于目标区域起始位置预测模型、结束位置预测模型预测各电泳区带图像的目标区域起始位置和结束位置后,提取各电泳区带图像中目标区域图像。起始位置预测模型、结束位置预测模型得到的预测结果中,一个位置预测小于0或者大于电泳区带图像最大高度或者起始位置大于结束位置,标记为无目标区域标识。
对应igg电泳区带图像,预测目标区域开始位置,结束位置结果可视化如图9所示。
对应iga电泳区带图像标记为无目标区域标识;
将各电泳区带图像中的目标区域图像输入卷积神经网络模型,前向运算提取其最后一层卷积层特征,并对该层特征各通道上使用max-pooling方法进行降维,得到该电泳区带图像的最终特征。
使用s2.2中的步骤提取各电泳区带图像中含有目标区域的特征示例如下:
igg_feat=(2.1,2.3,…,6.5)共512维;
kap_feat=(1.1,4.6,…,7.5)共512维;
无目标区域的电泳区带图像特征表示如下:
iga_feat=(-1000,-1000,…,-1000)共512维;
igm_feat=(-1000,-1000,…,-1000)共512维;
lam_feat=(-1000,-1000,…,-1000)共512维;
igg电泳区带图像中目标区域图像,如图10所示;
拼接每个ife图中各电泳区带图像获得的最终特征,作为该ife图像的特征,拼接公式如下:
ife-feat=concat(igg-feat,iga-feat,igm-feat,kap-feat,lam-feat)
示例如下:
ife_feat=(2.1,2.3,…,6.5,-1000,-1000,…,-1000,-1000,-1000,…,-1000,1.1,4.6,…,7.5,-1000,-1000,…,-1000)
将待分类ife图的特征输入ife分类模型,得到最终的分类结果;
对于ife图分类有9类,其中0表示无病、1表示igg-kap型、2表示igg-lam型、3表示iga-kap型、4表示iga-lam型、4表示igm-kap型、6表示igm-lam型、7表示kap1型、8表示lam1型,示例ife图分类结果为1,表示igg-kap型。
以上仅是本发明众多具体应用范围中的代表性实施例,对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案,均落在本发明权利保护范围之内。