基于MaskR-CNN网络的辅助诊断系统和辅助诊断信息生成方法
本发明属于医学图像处理及分割技术领域，更具体地，涉及一种基于maskr-cnn网络的辅助诊断系统和辅助诊断信息生成方法。
背景技术：
脑出血(cerebralhemorrhage)是指非外伤性脑实质内血管破裂引起的出血，占全部脑卒中的20％～30％，急性期病死率为30％～40％,其中约80％的出血部位发生与大脑半球，约20％的出血发生于脑干和小脑。作为急性脑血管病中病死率最高的疾病类型，发生的原因主要与脑血管的病变有关，即与高血脂、糖尿病、高血压、血管的老化、吸烟等密切相关。
目前国内首选的影像学检查项目是颅脑ct。其中，ct平扫可迅速准确的显示出脑出血的部位、出血量及占位效应，是否破入脑室或蛛网膜下腔及对周围脑组织的损伤；增强ct扫描可发现造影剂外溢到血肿内从而提示患者血肿扩大风险；灌注ct能够反映出脑出血后脑组织的血流动力学变化，可了解血肿周边血流灌注情况。
脑出血在ct上表现较为典型，一般为脑内椭圆形、肾形或不规则形高密度(75～80hu)影，边界较为清晰。出血数小时后可出现血肿周围水肿，水肿区呈低密度。同时可见血肿和水肿引起的脑实质受压，脑沟、脑回变浅，脑内中线结构移位。但由于脑出血属于急性疾病，发病送医时由于医生状态疲惫，容易漏诊或误诊；或年轻医生经验不足，同样容易出现上述问题，在真实急诊环境下使用效率受限。上述困境长期困扰着国内外卒中医疗界，即脑出血患者的诊断效率很大程度上依赖于医生对于ct图像的解读水平。
技术实现要素：
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于maskr-cnn网络的辅助诊断系统和辅助诊断信息生成方法，其目的在于，在诊断脑出血患者的过程中，利用训练好maskr-cnn网络模型扫描脑部ct图像生成辅助诊断信息，从而提高急诊筛查脑出血的效率。
为实现上述目的，按照本发明的一个方面，提供了一种基于maskr-cnn网络的辅助诊断系统，包括：
数据上传端，用于上传患者的ct图像及对应的医学辅助信息，所述ct图像携带患者脑部出血信息；
图像处理器，与所述数据上传端连接，用于将所述ct图像进行增强化和灰度化得到灰度图像；
目标检测模块，与所述图像处理器连接，用于利用训练好的maskr-cnn网络模型检测所述灰度图像以识别和提取病灶特征信息；
诊断分析模块，与所述目标检测模块连接，用于将所述病灶特征信息与病例数据库中的结构化病历进行匹配，再合成所述医学辅助信息生成辅助诊断信息。
在其中一个实施例中，所述图像处理器用于
对所述ct图像进行非线性平滑中值滤波，再利用累积分布函数：
利用均衡后的ct图像中rgb和yuv颜色空间变化关系建立亮度与r、g、b三个颜色分量的加权平均：color＝0.35r+0.59g+0.11b得到所述灰度图像。
在其中一个实施例中，所述系统还包括：模型构建模块，用于
利用maskr-cnn网络创建包括rpn网络和roipool层的maskr-cnn网络模型，所述pn网络用于完成图像候选区域提取的fasterr-cnn，所述roipool层用于对候选区域目标进行检测，所述rpn和所述roipool层为不同维度的卷积神经网络；
将所述roipool层的loss函数目标定义为：l＝lcls+lbox+lmask，以对所述maskr-cnn网络模型进行训练；其中，lcls和lbox分别为fastrcnn的分类损失和回归损失，lmax为掩膜分支损失。
在其中一个实施例中，所述目标检测模块用于，
将所述灰度图像输入预训练好的maskr-cnn网络模型获得对应的特征图；
对所述特征图中每点设定预定数量的roi以获得多个候选roi，再将所述多个候选roi送入rpn网络进行二值分类和bb回归过滤掉部分候选roi；
对剩余roi进行roialign操作、分类、bb回归和mask，以识别和提取所述病灶特征信息。
在其中一个实施例中，所述诊断模块还用于，
将所述病灶特征信息与病例数据库中的结构化病历进行索引获取诊断提示，所述病灶特征信息包括脑部出血位置和脑部出血体积；
将所述诊断提示和和所述医学辅助信息合成所述诊断辅助信息。
在其中一个实施例中，所述诊断模块还用于将所述病灶特征信息存入所述病例数据库中，以更新所述病例数据库中的病例数据。
按照本发明的另一方面，提供了一种基于maskr-cnn网络的辅助诊断信息生成方法，应用于基于maskr-cnn网络的辅助诊断系统，包括：
s1：获取患者的ct图像及对应的医学辅助信息，所述ct图像携带患者脑部出血信息；
s2：将所述ct图像进行增强化和灰度化得到灰度图像；
s3：利用训练好的maskr-cnn网络模型检测所述灰度图像，以识别和提取病灶特征信息；
s4：将所述病灶特征信息与病例数据库中的结构化病历进行匹配，再合成所述医学辅助信息生成辅助诊断信息。
在其中一个实施例中，所述s2包括：
对所述ct图像进行非线性平滑中值滤波，再利用累积分布函数：
利用均衡后的ct图像中rgb和yuv颜色空间变化关系建立亮度与r、g、b三个颜色分量的加权平均：color＝0.35r+0.59g+0.11b得到所述灰度图像。
在其中一个实施例中，所述s3包括：
将所述灰度图像输入预训练好的maskr-cnn网络模型获得对应的特征图；
对所述特征图中每点设定预定数量的roi以获得多个候选roi，再将所述多个候选roi送入rpn网络进行二值分类和bb回归过滤掉部分候选roi；
对剩余roi进行roialign操作、分类、bb回归和mask，以识别和提取所述病灶特征信息。
在其中一个实施例中，所述s4包括：
将所述病灶特征信息与病例数据库中的结构化病历进行索引获取诊断提示，所述病灶特征信息包括脑部出血位置和脑部出血体积；
将所述诊断提示和和所述医学辅助信息合成所述诊断辅助信息。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
1、本发明采用卷积神经网络及数据匹配等技术对患者ct图像进行处理、检测和分析，利用训练好的maskr-cnn网络够使医生在利用ct图像诊断脑出血的过程中，只需要扫描脑部ct图像及输入医疗辅助信息，便可在较短时间内利用图像特征及结构化病例数据库(包含脑部不同部位病灶的诊断结果及不同医师的诊断案例)，生成多方位的辅助诊断信息，从而辅助急诊筛查脑出血的效率。同时还可以突破现有人医的能力限制，更加准确和高效，兼顾即时性、准确性和敏感性，极大的提高了已有病例数据的利用率与流通性，相对于现有医院影像科技术，具有准确性高、智能化分析等优点。
2、本发明运用人工智能的优势，不断更新优化maskr-cnn模型，并填充结构化病例数据库，从而不断提高诊疗的准确性和正确率。本发明可以作为辅助性设备为医生提供经验性参考，提升诊疗的准确性。
附图说明
图1是本发明一实施例提供的一种基于maskr-cnn网络的辅助诊断系统的结构示意图；
图2是本发明一实施例提供的一种基于maskr-cnn网络的辅助诊断系统中图像处理器的工作流程图；
图3是本发明一实施例提供的一种基于maskr-cnn网络的辅助诊断系统中目标检测模块的工作流程图；
图4为本发明一实施例提供的maskr-cnn网络模型的整体架构图；
图5为本发明一实施例提供的maskr-cnn网络模型的细节架构图；
图6a是本发明一实施例提供的一种基于maskr-cnn网络的辅助诊断系统的登录界面图；
图6b是本发明一实施例提供的一种基于maskr-cnn网络的辅助诊断系统的工作界面图；
图7是本发明一实施例提供的一种基于maskr-cnn网络的辅助信息生成方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供了一种基于maskr-cnn网络的辅助诊断系统，如图1所示，基于maskr-cnn网络的辅助诊断系统包括：数据上传端101、图像处理器102、目标检测模块103和诊断分析模块104。其中，数据上传端101，用于上传患者的ct图像及对应的医学辅助信息，ct图像携带患者脑部出血信息；图像处理器102，与数据上传端102通信连接，用于将ct图像进行增强化和灰度化得到灰度图像；目标检测模块103，与图像处理器102连接，用于利用训练好的maskr-cnn网络模型检测灰度图像以识别和提取病灶特征信息；诊断分析模块104，与目标检测模块103连接，用于将病灶特征信息与病例数据库中的结构化病历进行匹配，再合成医学辅助信息生成辅助诊断信息。
具体的，本发明基于maskr-cnn网络的辅助诊断系统在诊室医用工作电脑中安装封装好的辅助诊断软件；该辅助诊断软件作为数据上传端101用于导入患者ct图像以及对应的医学辅助信息，然后数据上传端101将ct图像传输至图像处理器102；图像处理器102对收集的ct图像进行增强化和灰度化，得到对比度更强的灰度图像；目标检测模块103利用搭建好的maskr-cnn网络完成病灶特征信息的识别和提取，疾病特征信息包括影像信息和文字信息；诊断分析模块104将病灶特征信息与以往结构化病历数据库进行匹配，再合成医学辅助信息生成辅助诊断信息。辅助诊断信息可以是医学诊疗报告。在其中一个实施例中，诊断分析模块还可以用于将同时将此次诊疗的数据存入结构化病历数据库中，更新数据库系内容。其中，诊断分析模块中结构化病历数据库由已结构化的含有上述信息的病历字符串组成；诊断分析模块至少包含特征索引表、特征库和结构化病历数据库；
本发明提供的基于maskr-cnn网络的辅助诊断系统，医学辅助信息包括患者个人资料、病症资料及合并疾病信息等辅助资料，同时包括患者建档后全部就诊记录；需要时可利用鼠标直接调用。
在其中一个实施例中，如图2所示，图像处理器用于对ct图像进行非线性平滑中值滤波，再利用累积分布函数：
在其中一个实施例中，系统还包括：模型构建模块，用于利用maskr-cnn网络创建包括rpn网络和roipool层的maskr-cnn网络模型，pn网络用于完成图像候选区域提取的fasterr-cnn，roipool层用于对候选区域目标进行检测，rpn和roipool层为不同维度的卷积神经网络；将roipool层的loss函数目标定义为：l＝lcls+lbox+lmask，以对maskr-cnn网络模型进行训练；其中，lcls和lbox分别为fastrcnn的分类损失(clsloss)和回归损失(bboxregressionloss)，lmax为掩膜分支(mask)损失。
具体的，maskr-cnn网络模型为处理后的脑部ct灰度图像手动添加标签和分类，将颅骨亮部依据形状标注为normal_external及normal_internal，将颅内出血亮部依据亮度标注为abnormal；标注完成为随机选取8：2比例数据量作为maskr-cnn算法训练及验证数据集，训练时采用的fasterr-cnn的rpn网络及对候选区域目标进行检测的roipool层以极快地加速卷积神经网络的检测速度，使模型的准确率得到非常大的提升。
在其中一个实施例中，如图3所示，目标检测模块用于将灰度图像输入预训练好的maskr-cnn网络模型获得对应的特征图；对特征图中每点设定预定数量的roi以获得多个候选roi，再将多个候选roi送入rpn网络进行二值分类和bb回归过滤掉部分候选roi；剩余roi进行roialign操作、分类、bb回归和mask，以识别和提取病灶特征信息。
本发明完成患者ct图像的读入及对应的预处理；输入至预训练好的深度卷积网络。系统使用fasterr-cnn的rpn网络提取候选区域，并使用roipool对候选区域提取的特征进行分类和box回归完成目标检测；使用开源代码中封装好的maskr-cnn代码进行修改，编程完成相应的python代码程序编制，赋值并调用各个控件按钮实现算法的功能。maskr-cnn网络模型训练时随机抽取部分样本数据的数据选取量为占相应被抽取数据总量的70％以上；以往病人结构化病例数据库的索引过程采取boyer-moore算法，在o(n)时间复杂度内，利用“坏字符+好后缀”规则从字符串最右端向左匹配。
其中，图4为本发明一实施例提供的maskr-cnn网络模型的整体架构图；图5为本发明一实施例提供的maskr-cnn网络模型的细节架构图。系统采取boyer-moore算法将模型输出的患者ct图像中病灶信息(位置、体积等)与以往病人结构化病例数据库进行索引获取诊断结论，合成辅助诊断的ct图像及诊断信息时，在o(n)时间复杂度内，利用“坏字符+好后缀”规则从字符串最右端向左匹配。作为一种对目前医院临床“老师”带“徒弟”教学模式的改进，将众多医生的经验知识结构化，与人工智能技术结合，构成全面的诊疗系统。
图6a是本发明一实施例提供的一种基于maskr-cnn网络的辅助诊断系统的登录界面图，图6b是本发明一实施例提供的一种基于maskr-cnn网络的辅助诊断系统的工作界面图。系统工作界面显示出患者的诊断结果及建议治疗方案，同时，该界面还包括患者健康测评版块、病情检测版块、国内外相关于脑出血研究最新资讯以及患者建档后全部就诊记录，需要时可利用鼠标直接调用。根据系统页面交互式的区域选择，可利用鼠标操作或键盘输入放大并显示不同病灶病灶位置、体积等信息后，结合以往结构化病历信息及专家经验，生成并输出初步诊断结论。多功能板块有助于提高医生对于患者既往病史的了解，从而提高诊疗准确性及诊疗效率。系统界面应包含有依据患者就诊记录而对患者健康进行测评的版块；系统界面应包含有依据患者就诊记录而对患者病情进行检测版块；系统界面还应包含有国内外相关于脑出血研究最新资讯。
在其中一个实施例中，诊断模块还用于，将病灶特征信息与病例数据库中的结构化病历进行索引获取诊断提示，病灶特征信息包括脑部出血位置和脑部出血体积；将诊断提示和和医学辅助信息合成诊断辅助信息。
在其中一个实施例中，诊断模块还用于将病灶特征信息存入病例数据库中，以更新病例数据库中的病例数据。
在系统中maskr-cnn网络模型的构建过程中，特别是图像标注时，可以实时进行进行人工干预，具体为邀请专家医生参与共同完成所属工作，提高模型的正确率和指导价值。
在实施应用中，对于一个疑似患有脑部出血的患者的医学检查往往是争分夺秒的，且对医生要求较高。在医生状态欠佳或经验不足时，所属发明可将医学影像的数据传输到基于maskr-cnn网络的辅助诊断系统，诊断分析模块调用maskr-cnn模型及以往结构化病例数据库对临床采集到的医学影像信息进行研判，通过医用端界面输出规范化的医学诊疗报告，同时将此次诊疗的数据存入数据库系统，更新结构化病例数据库。本发明可在临床使用中不断更新学习，远超人工的学习能力。
在实际应用中，本发明可以同时对脑部多种疾病进行联动诊断形成全方位的、综合全面的诊疗结果，突破现有医学各个科室独立诊疗、范围有限的局限，降低重复询医和检查的概率，诊断更加准确和全面。
本发明提供了一种基于maskr-cnn网络的辅助诊断信息生成方法，应用于基于maskr-cnn网络的辅助诊断系统，如图7所示，该方法包括：
s1：获取患者的ct图像及对应的医学辅助信息，ct图像携带患者脑部出血信息；
s2：将ct图像进行增强化和灰度化得到灰度图像；
s3：利用训练好的maskr-cnn网络模型检测灰度图像，以识别和提取病灶特征信息；
s4：将病灶特征信息与病例数据库中的结构化病历进行匹配，再合成医学辅助信息生成辅助诊断信息。
在其中一个实施例中，s2包括：对ct图像进行非线性平滑中值滤波，再利用累积分布函数：
在其中一个实施例中，s3包括：将灰度图像输入预训练好的maskr-cnn网络模型获得对应的特征图；对特征图中每点设定预定数量的roi以获得多个候选roi，再将多个候选roi送入rpn网络进行二值分类和bb回归过滤掉部分候选roi；对剩余roi进行roialign操作、分类、bb回归和mask，以识别和提取病灶特征信息。
在其中一个实施例中，s4包括：将病灶特征信息与病例数据库中的结构化病历进行索引获取诊断提示，病灶特征信息包括脑部出血位置和脑部出血体积；将诊断提示和和医学辅助信息合成诊断辅助信息。
本领域的技术人员容易理解，以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！