一种HP球形变诊断模型及其构建方法与流程

文档序号:30560919发布日期:2022-06-29 03:46阅读:258来源:国知局
一种HP球形变诊断模型及其构建方法与流程
一种hp球形变诊断模型及其构建方法
技术领域
1.本发明涉及医学图像识别领域,具体涉及一种hp球形变诊断模型及其构建方法,实现人工智能识别及判读幽门螺杆菌感染及球形变。


背景技术:

2.幽门螺杆菌(helicobacter pylori,hp)在治疗失败后发生球形变,也是导致幽门螺杆菌根除治疗失败的重要原因,但很少有医院开展幽门螺杆菌球形变诊断,因为目前幽门螺杆菌球形变诊断需要进行免疫组织化学染色后,由专门的病理医师进行阅片诊断,而我国病理医生数量少,基层医院病理医生水平参差不齐,无力开展该类项目。
3.病理切片是二维医学图像,是一种典型的结构化数据,具有适用于人工智能(artificial intelligence,ai)深度学习的可能性。专利cn111489369a通过人工智能深度学习识别和定位免疫组化染色后的目标切片中的幽门螺杆菌,但是无法判断hp是否发生了球形变。


技术实现要素:

4.有鉴于现有技术的上述缺陷,本发明的目的是为临床提供快速、可靠、易用的hp球形变诊断工具,大大降低hp球形变诊断的技术门槛,减少诊断时间,提高诊断准确性和一致性,指导临床进行hp个性化精准治疗,加速hp个性化精准治疗的发展和推广。
5.本发明公开了一种hp球形变诊断模型的构建方法,包括以下步骤:s1、取若干含有幽门螺杆菌球形变的免疫化学染色图像分别作为训练集和验证集;s2、在所述训练集中对幽门螺杆菌形态进行人工标记;s3、对所述训练集中的图像进行对比度增强、图像滤波和hp染色提取操作;所述对比度增强先将原图像从rgb颜色模型转换到色度、饱和度与亮度分离的his颜色模型,再在取得的亮度分量上使用分段线性变换方法;所述分段线性变换方法采用将公式1-1代入公式1-2,在x、min、max已知的情况下,计算出y,得到大量的x对应的y,并以x和y为横纵坐标作图,得到两对转折点(x1,y1)和(x2,y2);通过所述分段线性变换方法将图像中感兴趣的灰度区增强,即拉伸到(0, 1)区间,从而改善图像;k=1/(max-min)
ꢀꢀꢀ
公式1-1y=k(x-min)
ꢀꢀꢀ
公式1-2其中,k为拉伸系数;max和min分别为原图像上的像素值最大的点的像素值的4-6%和原图像上像素值最小的点的像素值的4-6%;x为原图像的颜色色调饱和度;y为调整后的图像的颜色色调饱和度;所述图像滤波采用双边滤波技术对经所述分段线性变换方法处理后的改善图像进行图像滤波;
所述hp染色提取采用反卷积算法增强经所述图像滤波处理后的图像的dab染色信息,抑制其他染色信息,按dab染色着色量转化为灰度级数,得到用于ai识别的图像;s4、用所述用于ai识别的图像训练u-net神经网络;s5、k倍交叉验证,优化得到所述hp球形变诊断模型;s6、采用所述hp球形变诊断模型对所述验证集中的图像进行幽门螺杆菌球形变识别,并与人工判读结果进行一致性比较;当一致性达到70%以上,则所述hp球形变诊断模型构建成功。
6.在一些实施方案中,max和min分别为原图像上的像素值最大的点的像素值的5%和原图像上像素值最小的点的像素值的5%;x1为0.25-0.32,y1为0.11-0.14,x2为0.83-0.88,y2为0.90-0.99。
7.在一些实施方案中,所述步骤s3中采用的所述反卷积算法为颜色反卷积技术,涉及的公式有:公式2-2、公式2-3、公式2-4和公式2-5;od
c =
ꢀ‑
log
10 (i
c / i
o,c
)=a
×cc
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式2-2φc=exp(-sφ
c’)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式2-3φ
c’=dθcꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式2-4φ
c =10-odc
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式2-5其中,a表示染色剂作用量,i
o,c
表示入射光线强度,ic表示穿过样本后的光强度,而下标c表示检测的通道,cc表示光线吸收因子,odc表示光学密度,φc表示每个像素红色、绿色和蓝色光密度函数,φ
c’表示用染色组织切片染色定义新的每个像素红色、绿色和蓝色光密度函数,s表示每种染色剂的rgb三个通道分别对应的吸收因子构成的矩阵,d是s的逆矩阵,θc=-log(φc);在s、a和cc已知的情形下,通过公式2-2计算出odc,通过公式2-5计算出φc;通过公式2-3计算出φ
c’,通过θc=-log(φc)计算出θc;将φ
c’和θc代入公式2-4,计算出d;d为由经反卷积算法处理后的苏木素、伊红、dab染色在rgb空间的着色量组成的3
×
3的矩阵;取d矩阵中dab染色着色量转化为灰度级数,得到所述用于ai识别的图像。
8.在一些实施方案中,所述步骤s1中的免疫化学染色图像选自icc染色图像、ihc染色图像中的一种或多种。
9.在一些实施方案中,所述步骤s1中的icc染色图像来自对标准hp菌株26695球形化诱导处理后进行的icc染色制图;所述标准hp菌株26695球形化诱导处理具体为:使标准hp菌株26695在多聚赖氨酸处理的盖玻片上生长,用0.02-0.04μg/ml(1/2 mic)的阿莫西林抗生素溶液形变成功后将培养液弃去,室温下在3%-5%(优选为4%)多聚甲醛中孵育10-15分钟(优选为10分钟);所述步骤s1中的ihc染色图像来自对hp阳性胃粘膜样品处理后进行的ihc染色制图;所述hp阳性胃粘膜样品处理具体为:将离体的hp阳性胃粘膜样品放置于4%多聚甲醛中固定24小时后,以常规脱水、包埋、切片后,制成石蜡切片。采用梯度脱蜡(二甲苯一次

二甲苯再次

95%乙醇一次

95%乙醇再次

75%乙醇一次

75%乙醇再次,各2min)。
10.在一些实施方案中,所述步骤s2具体为:使用labelimg软件,按照杆状、杆状横截面、球形和聚堆四类对所述icc染色图像和/或所述ihc染色图像中的hp形态进行标记;所述球形的直径是邻近的所述杆状的直径的2-3倍;将hp中间态均标记为球形;所述hp中间态指
从杆状往球形转变过程中的幽门螺杆菌形态;将所述杆状、所述杆状横截面和所述聚堆均标记为非球形;所述聚堆指hp聚集在一起,无法清晰区分形态。
11.在一些实施方案中,所述步骤s4具体为:对所述用于ai识别的图像,采用faster r-cnn算法训练所述u-net神经网络;采用vgg16作为所述faster r-cnn算法的基础网络模型。
12.在一些实施方案中,所述训练集含有数千张免疫化学染色图像;所述验证集含有数百张免疫化学染色图像。
13.进一步地,所述训练集含有的免疫化学染色图像是所述验证集的8-10倍。
14.进一步地,所述训练集含有icc染色图像3500张,ihc染色图像1000张;所述验证集含有ihc染色图像500张。
15.本发明还公开了一种hp球形变诊断模型,用于识别hp阳性胃粘膜样品的ihc染色图像和/或hp菌株icc染色图像中是否存在hp球形变;包括:图像处理模块和识别模块;所述图像处理模块包括对比度增强模块、图像滤波模块和hp染色提取模块;所述对比度增强模块包括:his颜色模型转换模块,用于将原图像从rgb颜色模型转换到色度、饱和度与亮度分离的his颜色模型;分段线性转变模块,用于将所述his颜色模块中的亮度分量通过分段线性变换方法将图像中感兴趣的灰度区增强,从而改善图像;所述分段线性变换方法采用将公式1-1代入公式1-2,在x、min、max已知的情况下,计算出y,得到大量的x对应的y,并以x和y为横纵坐标作图,得到两对转折点(x1,y1)和(x2,y2);通过所述分段线性变换方法将图像中感兴趣的灰度区增强,即拉伸到(0, 1)区间,从而改善图像;k=1/(max-min)
ꢀꢀꢀ
公式1-1y=k(x-min)
ꢀꢀꢀ
公式1-2其中,k为拉伸系数;max和min分别为原图像上的像素值最大的点的像素值的4-6%和原图像上像素值最小的点的像素值的4-6%;x为原图像的颜色色调饱和度;y为调整后的图像的颜色色调饱和度;所述图像滤波模块用于采用双边滤波技术对经所述分段线性变换方法处理后的改善图像进行图像滤波;所述hp染色提取模块用于采用反卷积算法增强经所述图像滤波处理后的图像的dab染色信息,抑制其他染色信息,按dab染色着色量转化为灰度级数,得到用于ai识别的图像;所述识别模块用于识别所述用于ai识别的图像,做出是否存在hp球形变的判读。
16.在一些实施方案中,max和min分别为原图像上的像素值最大的点的像素值的5%和原图像上像素值最小的点的像素值的5%;x1为0.25-0.32,y1为0.11-0.14,x2为0.83-0.88,y2为0.90-0.99。
17.在一些实施方案中,还用于给出hp阳性胃粘膜样品的ihc染色图像和/或hp菌株icc染色图像中hp球形变的比例;所述识别模型在识别所述用于ai识别的图像时,还能够给出hp阳性胃粘膜样品的ihc染色图像和/或hp菌株icc染色图像中hp球形变的比例。
18.在一些实施方案中,所述hp染色提取模块采用的所述反卷积算法为颜色反卷积技术,涉及的公式有:公式2-2、公式2-3、公式2-4和公式2-5;odc=
ꢀ‑
log
10 (i
c / i
o,c
)=a
×cc
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式2-2φc=exp(-sφ
c’)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式2-3φ
c’=dθ
c ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式2-4φ
c =10-odc
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式2-5其中,a表示染色剂作用量,i
o,c
表示入射光线强度,ic表示穿过样本后的光强度,而下标c表示检测的通道,cc表示光线吸收因子,odc表示光学密度,φc表示每个像素红色、绿色和蓝色光密度函数,φ
c’表示用染色组织切片染色定义新的每个像素红色、绿色和蓝色光密度函数,s表示每种染色剂的rgb三个通道分别对应的吸收因子构成的矩阵,d是s的逆矩阵,θc=-log(φc);在s、a和cc已知的情形下,通过公式2-2计算出odc,通过公式2-5计算出φc;通过公式2-3计算出φ
c’,通过θc=-log(φc)计算出θc;将φ
c’和θc代入公式2-4,计算出d;d为由经反卷积算法处理后的苏木素、伊红、dab染色在rgb空间的着色量组成的3
×
3的矩阵;取d矩阵中dab染色着色量转化为灰度级数,得到所述用于ai识别的图像。
19.本发明还公开了一种计算机可读存储介质,其特征在于,所述存储介质中存储有可执行指令,所述可执行指令执行时实现如上所述的hp球形变诊断模型的分段线性转变模块的功能。
20.在一些实施方案中,所述可执行指令执行时还实现如上所述的hp球形变诊断模型的hp染色提取模块的功能。
21.在一些实施方案中,所述可执行指令执行时还实现如上所述的hp球形变诊断模型的功能。
22.本发明还公开了一种终端,所述终端包括:存储器,用于存储可执行指令;处理器,用于执行所述存储器中存储的可执行指令时,实现如上所述的hp球形变诊断模型的分段线性转变模块的功能。
23.在一些实施方案中,所述处理器,用于执行所述存储器中存储的可执行指令时,还实现如上所述的hp球形变诊断模型的hp染色提取模块的功能。
24.在一些实施方案中,所述处理器,用于执行所述存储器中存储的可执行指令时,还实现如上所述的hp球形变诊断模型的功能。
25.本发明采用人工智能深度学习算法进行球形变幽门螺杆菌的目标识别,可无需在分中心设置或培训病理医生,可将幽门螺杆菌球形变的诊断工作交给计算机,大大降低幽门螺杆菌球形变诊断的技术门槛,缩减诊断所需的时间,减少病理医生水平参差不齐导致的误差,提高诊断准确性和一致性,加速幽门螺杆菌球形变诊断的普及。
26.以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明,以充分地了解本发明的目的、特征和效果。
附图说明
27.图1是本发明所涉及的hp球形变诊断模型识别hp球形变的流程简图。
28.图2是本发明所涉及的hp球形变诊断模型的构建方法的流程框图。
29.图3是labelimg软件标记演示图。
30.图4是图像色调色彩调整图。
31.图5是图像预处理前后对比图。箭头左侧是处理前的图像;箭头右侧是处理后的图像。
32.图6是faster r-cnn网络示意图。
33.图7是faster r-cnn交替优化训练算法的流程图。
34.图8是病理检查报告示例图。
35.图9是 hp标准菌株26695经过球形变诱导后的icc图。
36.图10是hp杆状(右)和球形(左)形态的电镜图。
37.图11是hp杆状横截面形态的电镜图。
38.图12是hp聚堆形态的电镜图。
39.图13是hp中间态形态的电镜图。
具体实施方式
40.为了使发明实现的技术手段、创造特征、达成目的和功效易于明白了解,下结合具体图示,进一步阐述本发明。但本发明不仅限于以下实施的案例。
41.须知,本说明书所附图式所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
42.同时,本说明书中所引用的如“上”、“下”、“左”、“右”及“一”等的用语,亦仅为便于叙述的明了,而非用以限定本发明可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当亦视为本发明可实施的范畴。
43.图1示出了本发明所涉及的hp球形变诊断模型识别hp球形变的流程简图。图1中的集成人工智能算法的计算机系统是为本发明的hp球形变诊断模型的载体。图2示出了本发明所涉及的hp球形变诊断模型的构建方法的总体流程。下面结合图1和图2对本发明进行概括性说明:在hp微需氧培养平台,运用亚剂量抗生素诱导hp菌株发生球形变,行免疫细胞化学染色,构建hp球形变图片3500张,另收集1000例hp阳性胃黏膜样本,行hp免疫组化染色,由病理医生使用labelimg软件对获取的免疫化学染色(包括免疫细胞化学染色和免疫组化染色)图片行形态学分类标记。
44.标记好的免疫化学染色图片经过对比度增强(hsi色彩模型+分段线性变换)、滤波(双边滤波)、颜色反卷积提取等预处理后,划分成若干彼此间可以重叠的子图片,并使用翻转,平移,折叠以及基于对抗生成网络(gan)的数据增强方法扩充样本量。使用该预处理后的样本作为训练集,训练u-net神经网络,准确识别并分割出图片中hp的位置和边界、计算球形变发生比例。
45.将原始数据进行k倍交叉验证,样本随机分成k份,每次选择(k-1)份作为训练集,
剩余的1份作为测试集。交叉验证重复k次,取k次准确率的平均值作为最终模型的评价指标。
46.此外,通过引入强化学习的思想,医学专家会对机器训练得到的分类错误的区域进行标注,从而得到一个提示图。得到反馈信息的ai会在原始图片和前一次训练得到的概率图的基础上,结合新得到的提示图,重新进行学习,对球形变分割网络的参数进行调整。通过重复上述步骤,最终使得ai能够更加精准的识别常规做法下比较难判别的区域。
47.为了防止过拟合现象的发生,本发明将总体样本划分成训练集和验证集,通过模型在验证集上的表现来决定最优的模型参数。总体样本包括hp标准菌株26695的3500张图片、hp阳性胃粘膜样本1500例对应的1500张图片(每例样本对应1张图片)。其中,500张hp阳性胃粘膜样本的图片作为验证集,其余的4500张图片作为训练集。
48.在总体样本中,将后期获取的500例临床样本的hp免疫组化图片(500张hp阳性胃粘膜样本的图片)作为验证集,对训练集构建的人工智能诊断hp球形变的模型与ihc+人工判读进行球形变诊断进行一致性评价,得到人工智能诊断结果与人工判读结果相比较两者一致性达到73.3%,证明该人工智能诊断是可靠的,随后开发软件,撰写论文。该模型涉及的方法和系统有助于降低hp球形变诊断的技术门槛,减少诊断时间,提高诊断准确性和一致性,指导临床进行hp个性化精准治疗,推进hp个性化精准治疗的发展。
49.以上做成数据库形式运用软件算法制作出系统软件,然后由病理医生将制作完的免疫组化样本进行病理仪器扫描进行图片采集,并以人工智能算法的计算机进行综合分析并生成报告。
50.实施例11、免疫化学染色 [免疫细胞化学(icc)与免疫组织化学(ihc)](1)细菌样品处理:使标准hp菌株26695(购自美国atcc细胞库)在多聚赖氨酸处理的盖玻片上生长,用1/2 mic浓度(最低抑菌浓度,minimum inhibitory concentration)的抗生素溶液(阿莫西林)诱导球形变成功后将培养液弃去,室温下在 4% 多聚甲醛(溶于pbs中,ph 7.4)中孵育10分钟。
[0051]
(2)组织样品处理:将体外获得的胃粘膜样品放置于4%多聚甲醛中固定24小时后,以常规脱水、包埋、切片后,制成石蜡切片。采用梯度脱蜡(二甲苯一次

二甲苯再次

95%乙醇一次

95%乙醇再次

75%乙醇一次

75%乙醇再次,各2min)。
[0052]
(3)免疫化学染色:操作参考hp免疫组化试剂盒说明书(福州迈新生物技术开发有限公司),对处理完成的细菌样品和组织样品分别进行免疫细胞化学染色(icc)和免疫组织化学染色(ihc)。
[0053]

免疫细胞化学染色(icc)(图9)细菌于福尔马林中固定30min

磷酸缓冲盐溶液(pbs)漂洗三次

透化

pbs溶液漂洗三次

内源性过氧化物酶阻断剂封闭

孵育一抗(mab-0692鼠单抗)

复温(室温)

pbs溶液漂洗三次

孵育二抗(加酶标羊抗小鼠/兔igg聚合物)

pbs溶液漂洗三次

显微镜观察(滴加50% pbs+50% 甘油于玻片上)。
[0054]

免疫组织化学染色(ihc)脱蜡和水化

抗原修复(edta修复液)

阻断内源性过氧化物酶

加抗体

加酶标羊抗小鼠/兔igg聚合物

显色

复染

脱水、透明、封片

生物显微镜阅片

结果判断。
[0055]
上述



中所用到的主要试剂(比如mab-0692鼠单抗、加酶标羊抗小鼠/兔igg聚合物、源性过氧化物酶阻断剂等)均来自hp免疫组化试剂盒(福州迈新生物技术开发有限公司)。
[0056]
2、hp形态标记hp形态标记使用labelimg软件,由2位病理医师按照杆状(图10)、杆状横截面(特指杆状hp竖立状态下扫描到的其圆形横切面,见图11)、球形(图10)和聚堆(图12)四类对ihc染色得到的图像中的hp形态进行标记(图3)。球形与杆状横截面的区别在于直径不同,病理上认为直径是邻近的杆状直径的2-3倍时可认为是球形。
[0057]
针对hp中间态(指幽门螺杆菌从杆状往球形转变过程,此时呈短粗状,见图13)和聚堆(指幽门螺杆菌聚集在一起,无法清晰区分形态)情况,我们统一规定,处于中间状态的hp标记为球形,因为病理医师人工判读时会参考中间状态的hp并纳入最终球形变比例中,聚堆状态的hp在扫描时会有单层图片,尽可能人工标记清楚,以至于后续机器学习时能识别这类聚堆情况,聚堆情况在病理中不纳入参考球形变范围。
[0058]
标记后生成xml格式的标记文件,文件中包含标记坐标大小、标记类型、图片信息等内容,构造为voc2007数据文件。
[0059]
3、图片预处理(1)对比度增强:免疫化学染色图片普遍存在亮度偏暗和对比度偏低的问题,故对比度增强采用his(hue-saturation-intensity)颜色模型和分段线性变换方法。由于本发明要处理的是真彩色图像,分段线性变换这类灰度变换方法不能直接使用,因此要先把原图像从rgb颜色模型转换到色度(h)、饱和度(s)与亮度(i)分离的his颜色模型,在取得的亮度分量i上使用分段线性变换。
[0060]
分段线性变换也称为灰度拉伸变换,是图像灰度变换中使用广泛的一种方式。分段线性变换把图像的灰度区间分成多段,分别做线性变换,三段线性变换是比较常见的。其优点是可以增强原图各部分的反差,即增强输入图像中感兴趣的灰度区域,相对于那些不感兴趣的灰度区域,并且形式上可以任意的合成,非常灵活。如图4所示 x1、x2 给出了需要转换的灰度范围,而 y1、y2 决定线性变换的斜率,所以这两对转折点——(x1,y1)和(x2,y2)的确定是分段线性变换的关键点。图4中的横坐标表示原图的颜色色调饱和度,纵坐标表示调整后的图像的颜色色调饱和度,0-1是x和y的取值范围。
[0061]
原图上,像素值最大的点的像素值为max(可能离1还很远),像素值最小的点的像素值为min(可能离0值也很远)。线性变换就是要把值域(min,max)拉伸到(0, 1)。为了排除坏点或者是由噪声的影响造成的像素干扰,max取真实的最大像素值的4-6%(即原图上像素值最大的点的像素值的4-6%),min取真实的最小像素值的4-6%(即像素值最小的点的像素值的4-6%)。在本实施例中,max取真实的最大像素值的5%(即原图上像素值最大的点的像素值的5%),min取真实的最小像素值的5%(即像素值最小的点的像素值的5%)。
[0062]
线性变换指变换函数为线性关系:y=k(x-min)(公式1-2),k=255/(max-min)(公式1-1),k为拉伸系数,x为原图的颜色色调饱和度,y为纵坐标表示调整后的图像的颜色色调饱和度。
[0063]
在大量的x数值带入公式1-2后得到对应的大量的y,以x和y分别为横坐标和纵坐标作图,得到两对转折点(x1,y1)和(x2,y2)为(0.25-0.32,0.11-0.14)和(0.83-0.88,
0.90-0.99)。
[0064]
分段线性变换可以更加灵活的控制输出灰度直方图的分布,可以有选择的扩展每段灰度区间,以改善输出图像。
[0065]
(2)图像滤波:图像滤波是为了消除图像中噪声,在抑制图像噪声的同时尽量的保留图像的原有细节特征。本发明采用双边滤波技术进行图像滤波。双边滤波是一种非线性滤波,其像素点的响应值等于邻域像素的加权平均值。在计算邻域加权因子的过程中,双边滤波的加权系数由空间邻近度因子和灰度相似度因子两部分组成,不但考虑到距离因素还利用了邻域像素间的灰度值相似性。
[0066]
(3)hp染色提取:免疫化学染色信息丰富,胞浆、胞核、特异性蛋白均染有不同的颜色,容易影响计算机识别。故根据hp被二氨基联苯胺(dab)特异性染色的特点,采用本发明改良的反卷积算法,增强dab染色信息,抑制其他染色信息,并较好地保留hp形态特点。
[0067]
颜色反卷积技术根据图像的颜色空间信息对图像进行规范化正交变换处理,在 rgb 每个通道中,每一个特定染色剂都可以用特殊的吸收因子c来区分。根据朗伯-比尔定律(lambert-beer's law),可穿透光线的强度 ic与特定吸收因子 c 的样本着色量 a 呈直接的指数关系,可以表示为:ic= i
o,c exp (-a * cc)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(2-1)其中,a表示染色剂作用量,i
o,c
表示入射光线强度,ic表示穿过样本后的光强度,而下标c表示检测的通道,cc表示光线吸收因子。由此可见,光线的穿透率、每个通道的灰度级数与染色剂浓度是成非线性关系。
[0068]
在 rgb 模式中,红光、绿光、蓝光的强度值(分别用ir、ig和ib表示)是通过相机的各个像素获取的。因为每个通道的着色量和染色剂浓度是非线性关系,则三个通道的灰度值不能直接应用于每个着色的分离和测量。但是,每个通道的光学密度 (od) 可以被定义为如下:od
c =
ꢀ‑
log
10 (i
c / i
o,c
)=a* ccꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(2-2)由此可见,每个通道的光学密度(od)与吸收因子的着色量a成线性关系,也因此可以用于样本多着色的分离。
[0069]
颜色反卷积模型即为将rgb图像在空间φc变换为用染色组织切片染色定义新的空间φ
c’,如果将单张图片定义为i=(f,φ)的2维形式,像素点f和每个像素相关联的颜色空间函数φc,函数φc为每个像素红色、绿色和蓝色光密度函数,根据朗伯-比尔定律由公式(2-1)可以定义为:φc=exp(-sφ
c’)
ꢀꢀ
公式(2-3)此外,φc与odc的关系是:φ
c =10-odc
ꢀꢀꢀꢀꢀꢀꢀ
公式(2-5)其中s为每种染色剂的rgb三个通道分别对应的吸收因子构成,标准化处理后形成的3
×
3矩阵,由此可以得出一个标准化的矩阵s:
对公式(2-3)结合公式(2-2)进行变换得到φ
c’=dθcꢀꢀꢀꢀꢀꢀꢀꢀ
公式(2-4)其中,d是s的逆矩阵,θc=-log(φc),d即为所求得的颜色反卷积矩阵。每种特定的染色剂在3个rgb 通道中都有相对应的光学密度值,可以用一个 3
×
1 的光学密度(od)向量来表示。举个例子,如果用苏木素来作为一种染色剂,分别通过 r、g、b 三个通道,那么根据测量值的结果为 0.18、0.20和0.08,即[0.180.200.08]。
[0070]
例如,i为混合染色后的图像(f,φ),则根据公式(2-4)得到图像i像素在φ’空间中的图像的特征量[a
苏木素
,a
伊红
,a
dab]
,经过运算得到以下矩阵:苏木素rꢀꢀꢀ
伊红rꢀꢀꢀꢀꢀ
dabr苏木素gꢀꢀ
伊红gꢀꢀꢀꢀꢀ
dabg苏木素bꢀꢀꢀ
伊红bꢀꢀꢀꢀꢀ
dabb利用公式(2-1)以及后续衍生出来的公式分别对应计算出该点rgb空间对应分量的值,输出图像,即可得到三幅不同染色剂染色对混合图像作用贡献的图像,每个像素点经反卷积算法处理后,按dab染色着色量转化为灰度级数,用于后续标记与建模。
[0071]
即在s、a和cc已知的情形下,通过公式2-2计算出odc,通过公式2-5计算出φc;通过公式2-3计算出φ
c’,通过θc=-log(φc)计算出θc;将φ
c’和θc代入公式2-4,计算出d;d为由经反卷积算法处理后的苏木素、伊红、dab染色在rgb空间的着色量组成的3
×
3的矩阵;取d矩阵中dab染色着色量转化为灰度级数,得到所述用于ai识别的图像(图5)。
[0072]
4、人工智能建模本发明采用faster r-cnn算法进行hp球形变诊断模型训练。faster r-cnn 是一种基于深度学习网络的最先进的目标检测算法,该算法通过卷积神经网络中的卷积层和池化层获得若干特征图,然后,采用rpn(region proposal network)网络来提取感兴趣区域。随后,感兴趣区域(roi)池化层将感兴趣区域和卷积特征作为输入,并分别通过边界回归层和 softmax分类层来生成对象的边界框和对应的类名(图6)。
[0073]
本发明选择 vgg16 作为 faster r-cnn 的基础网络模型。vgg16 网络模型是来自原作者对128万张图像的1000 个对象类进行预训练得到的,故可以此模型为基础,基于迁移学习的原则,采用交替优化的四步算法对hp球形变诊断模型进行训练(图7)。交替优化的四步算法为:首先使用vgg16模型初始化rpn网络参数;然后端到端的训练微调rpn网络。接着使用vgg16模型初始化faster r-cnn网络参数;然后基于rpn生成的目标建议框来训练faster r-cnn网络。再接着使用faster r-cnn网络来初始化rpn网络参数;而后固定共享的卷积层,只微调特定的rpn网络层。最后保持一个共享的卷积层;然后对faster r-cnn网络的全连接层进行微调。
[0074]
模型训练后,随机将样本按9:1分为训练集和验证集,对模型效果进行k倍交叉验
证,进一步优化模型。即将样本随机分成了10份,进行10倍交叉验证。
[0075]
5、软件识别与报告出具根据上述内容的模型构建及训练算法,可以做到自动进行幽门螺杆菌识别,从而根据各医院的报告模板情况进行贴图及报告结果的呈现,做到一体化报告出具系统。图8是本发明所涉及的hp球形变诊断模型在一家医院实施时出具的病理检查报告单,从中可以看出,该模型能够对胃黏膜标本自动识别出是否含有hp,以及hp菌体中有多少比例的球形变。
[0076]
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1