一种基于AI诊断的远程会诊系统和方法与流程

本发明涉及远程医疗技术领域，具体涉及一种基于ai诊断的远程会诊系统和方法。

背景技术：

目前我国医疗卫生资源分布不均，特别是县级以下医疗卫生资源欠缺；医疗水平发展不平衡，存在明显的区域性差异，特别是农村和偏远地区医疗技术水平较低。某些疾病对于县级以下医院的医生来说很难确诊，需要向上级医院的专家咨询诊断。利用远程会诊及辅助诊断系统可以让欠发达地区的患者也能够接受大医院专家的诊断，提高基层医院内窥镜诊断水平，缓解偏远地区的患者看病难、转诊比例高、异地就医费用昂贵的问题，是未来医疗诊断的一种发展趋势。

随着现代医学科技的发展，各种新技术逐步渗透进医疗领域，为了在一定程度上减轻检验医师压力，影像的人工智能辅助诊断系统被提出。人工智能+医学影像是将人工智能技术具体应用在医学影像的诊断上，目前主要分为两部分，一是图像识别，应用于感知环节，其主要目的是将影像这类非机构化数据进行分析，获取一些有意义的信息。二是深度学习，应用于学习和分析环节，是人工智能应用的最核心环节，通过大量的影像数据和诊断数据，不断对神经元网络进行深度学习训练，促使其掌握“诊断”的能力。其中医学影像处理就是将图像处理技术用于医学分析，例如细胞的形态学分析、细胞的识别等，都是图像处理在医学上的重要应用领域，特别是模式识别技术与图像处理技术的结合，更增强了对细胞形态、病变等自动分析能力，有助于制定客观、有效的治疗方案。深度学习是人工智能的重要分支，通过机器对获取的图像数据进行学习，提取数据的特征信息，能够对骨髓细胞影像进行自动的识别、标注、计数分析和分级诊断，还可以对骨髓细胞影像进行手动标注，并将手动标注的结果存入存储模块，系统对手动标注的信息进行记忆，逐步提升系统对骨髓细胞影像的辨别能力，为医生提供决策诊断。远程会诊可以充分发挥大医院的医疗技术优势，对基层医院的医生进行骨髓细胞学的远程诊断和咨询，有利于解决了解决基层检验医生短缺和经验不足，是基层分级诊疗的有力手段。

现有的图像远程实时会诊系统图像清晰度低，传输后信号失真较大，传输速度受限，双方沟通不顺畅，远程实时会诊时专家难以对骨髓细胞图像进行诊断，没有异步离线模式，对时间和地点都有约束，灵活性差，时间成本高。

技术实现要素：

本发明的目的是为了克服以上现有技术存在的不足，提供了一种灵活性高，远程模式多样的基于ai诊断的远程会诊系统。

本发明的目的通过以下的技术方案实现：

一种基于ai诊断的远程会诊系统，其特征在于，包括：影像采集单元、供操作医生使用的第一终端、中间工作站、安装有临床决策支持系统的云端服务器、安装有医联体与医院his系统的医院内部服务器、供远程专家使用的第二终端；影像采集单元、中间工作站、第一终端、云端服务器、第二终端依次连接；中间工作站还和医院内部服务器连接；其中第一终端和第二终端均安装有远程会诊app；影像采集单元，用于检查待诊断部位，同时产生待诊断部位图像视频，并将待诊断部位图像视频发送至中间工作站；中间工作站，用于将待诊断部位图像视频传输至第一终端上，获取医联体与医院his系统上的患者资料并传输至第一终端上，接收第二终端传输的专家诊断报告，并传输至医联体与医院his系统；第一终端，用于待诊断部位图像视频和患者资料，并实时将图像视频和患者资料传输到云端服务器上；并和第二终端建立连接，实现操作医生和专家的语音视频通话，实时远程会诊；云端服务器，包括基于ai诊断的深度学习模型，用于待诊断部位图像视频和患者资料输入深度学习模型，深度学习模型输出诊断结果；第二终端，用于获取云端服务器上存储的待诊断部位图像视频，供远程专家诊断。

优选地，影像采集单元为骨髓细胞影像采集单元，骨髓细胞影像采集单元包括：依次连接电子显微镜和ccd；中间工作站为骨髓细胞学工作站；电子显微镜，用于检查骨髓细胞；ccd，用于根据电子显微镜对骨髓细胞的检查，产生骨髓细胞图像视频，并将将骨髓细胞图像视频发送至骨髓细胞学工作站。

优选地，第二终端，还用于获取云端服务器上存储的骨髓细胞学图像视频和患者资料，结合患者资料，对骨髓细胞学图像视频进行编辑和测量，得到所需的临床数据和诊断报告，并将诊断报告保存至云端服务器；第一终端，还用于从云端服务器上下载专家诊断报告。

优选地，影像采集单元包括：内窥镜诊断设备、操作手法无线摄像装置、视频采集装置；内窥镜诊断设、视频采集装置和第一终端依次连接，操作手法无线摄像装置和中间工作站连接；内窥镜诊断设备，用于检查体内预检查器官；视频采集装置，用于根据内窥镜诊断设备对体内预检查器官的检查，产生体内预检查器官图像视频，并将体内预检查器官图像视频发送至中间工作站；医生操作手法无线摄像装，用于获取操作医生使用内窥镜诊断设备在患者检查部位上的实时图像摄像和患者检查体位信息，并传输至第二终端。

一种基于ai诊断的远程会诊方法，包括：

操作医生通过电子显微镜检查骨髓细胞，通过ccd实时采集电子显微镜上的骨髓细胞图像视频，并传输到骨髓细胞学工作站，骨髓细胞学工作站将骨髓细胞图像视频实时传输至第一终端；

骨髓细胞学工作站从医院内部服务器获取患者资料，并将患者资料发送至第一终端；

第一终端将骨髓细胞图像视频和患者资料传输到云端服务器上，并且第一终端和第二终端建立连接，实现操作医生和专家的语音视频通话，实现实时远程会诊；

云端服务器的良恶性分层模型根据骨髓细胞图像视频和患者资料输出分级诊断结果；

第二终端获取云端服务器上存储的骨髓细胞学图像视频和患者资料，结合患者资料，对骨髓细胞学图像视频进行编辑和测量，得到所需的临床数据和诊断报告，并将诊断报告保存至云端服务器。

优选地，云端服务器的良恶性分层模型根据骨髓细胞图像视频和患者资料输出分级诊断结果包括：根据骨髓细胞图像视频读取骨髓细胞形态信息，根据患者资料获取患者的临床信息；对骨髓细胞形态信息进行降噪和数据归一化处理，寻找与病理结果对应的病变并对骨髓细胞图像进行病变标注；根据骨髓细胞形态信息对骨髓细胞形态进行自动提取，将提取信息与标准细胞形态进行对比，并对已识别的骨髓细胞形态进行自动标注，使用短时间重复扫描的特征稳定性测试数据集挑选表现稳定的特征，然后在测试数据集中采用单变量分析法筛选高度相关的特征，最后再筛选低冗余度、高度相关的特征；并将骨髓细胞形态分类；计算出有核细胞与成熟红细胞的比值，计算每种细胞的数量在整个骨髓有核细胞总数的占比；基于有核细胞与成熟红细胞的比值和每种细胞的数量在整个骨髓有核细胞总数的占比构建良恶性分层模型；基于预先构建的良恶性分层模型对骨髓细胞形态信息进行智能的分级诊断；其中，骨髓有核细胞形态分类为：原始粒细胞、早幼粒细胞、中幼粒细胞、晚幼粒细胞、杆状核细胞、分叶核细胞、嗜酸性粒细胞、嗜碱性粒细胞、原始红细胞、早幼红细胞、中幼红细胞、晚幼红细胞、原始淋巴细胞、幼稚淋巴细胞、成熟淋巴细胞、异常淋巴细胞、原始单核细胞、幼稚单核细胞、成熟单核系细胞、浆细胞和分类不明细胞。

优选地，构建良恶性分层模型包括：建立模型：采用多种机器学习和深度学习算法进行模型建立，并采用交叉验证建立模型；

优化模型：包括集成学习和奖惩机制，其中集成学习是将多种分类器进行组合，常获得比单一分类器更优越的泛化性能；奖惩机制是在训练集中，先构建分类模型，标记良性及恶性标签；对人工智能识别错误图像，以三位或以上医学专家的综合意见指导，对于医生明确诊断不应出错的图像对先前模型施加惩罚因子；对人工智能识别准确的图像，在模型改进中施加奖励因子；结合奖惩因子和原有模型，修改得到新的模型，并循环迭代优化模型，最终得到理想的良恶性分层模型；

验证模型：在验证数据集上进行模型验证，画出roc曲线，在高敏感性模型中寻找尽可能高的特异性指标，敏感性99％时对应的特异性指标应≥20％；在高特异性模型中寻找尽可能高的敏感性指标，特异性99％时对应的敏感性指标应≥20％；并计算阳性预测值、阴性预测值及准确性指标。

优选地，预先将影像辅助分级诊断单元将骨髓分为：一级、二级、三级、四级。

优选地，机器学习和深度学习算法包括：线性及非线性支持向量机、随机森林、决策树、k近邻、logistic回归、卷积神经网络、对抗生成网络、迁移学习中的一种或多种。

一种基于ai诊断的远程会诊方法，包括：

操作医生通过内窥镜诊断设备检查体内预检查器官，通过视频采集装置实时采集内窥镜诊断设备上的体内预检查器官图像视频，并传输到内窥镜工作站，内窥镜工作站将体内预检查器官图像视频实时传输至第一终端；

操作手法无线摄像装置拍摄操作医生使用内窥镜诊断设备在患者检查部位上的实时图像摄像和患者检查体位信息，并传输至第二终端；

内窥镜工作站从医院内部服务器获取患者资料，并将患者资料发送至第一终端；

第一终端将体内预检查器官图像视频、患者检查体位信息和患者资料传输到云端服务器上，并且第一终端和第二终端建立连接，实现操作医生和专家的语音视频通话，实现实时远程会诊；

云端服务器的内窥镜分析模型根据体内预检查器官图像视频和患者资料输出分级诊断结果；

第二终端获取云端服务器上存储的体内预检查器官图像视频和患者资料，结合患者资料，对体内预检查器官图像视频进行编辑和测量，得到所需的临床数据和诊断报告，并将诊断报告保存至云端服务器。

本发明相对于现有技术具有如下优点：

本发明的第一终端和第二终端均安装有远程会诊app，第一终端和第二终端建立连接，实现操作医生和专家的语音视频通话，实时远程会诊，提高会诊灵活性，可以选择“一对一”或“一对多”的会诊方式，也可选择同步在线模式和异步离线模式，利用高速的5g数据传输技术，实现专家和操作医生之间的顺畅高效连接。①在同步在线模式下，可实现专家医生与操作医生的实时音视频通讯，专家可以看到骨髓细胞学设备或者内窥镜诊断设备上的实时图像，也可以实时看到操作医生对骨髓细胞或者体内预检查器官的炒作手法进行实时指导，得到更为精准影像分析。②异步离线模式下，操作医生能通过平板录制的骨髓细胞学图像视频或者体内预检查器官图像视频，并上传至云端服务器。专家可以在任意时间和地点，通过移动终端进行图像视频的回放，提交诊断报告和意见，解决了会诊时间难以协调一致的问题，节约时间成本，且能够满足实时远程会诊和离线远程会诊的需求，时间和地区适用性强，灵活性强。

本发明的云端服务器包括良恶性分层模型或者内窥镜分析模型，且内置临床决策支持系统，骨髓细胞学图像视频和患者资料输入良恶性分层模型，良恶性分层模型输出分级诊断结果提供,或者云端服务器的内窥镜分析模型根据体内预检查器官图像视频和患者资料输出分级诊断结果，为临床诊疗提供辅助决策支持，有效解决操作临床医生知识的局限性、减少人为疏忽和差错，实现提高医疗质量，降低医疗风险的目标。

本发明采用5g数据传输技术，传输速度快，能够实现双方顺畅沟通。

本发明利用超高清图像视频采集装置采集超高清内窥镜图像和视频，清晰度高，传输后信号不失真不丢帧。

附图说明

构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为实施例1的基于ai诊断的远程会诊系统的结构示意图。

图2为实施例1的云端服务器的良恶性分层模型根据骨髓细胞图像视频和患者资料输出分级诊断结果的流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

实施例1

参见图1、一种基于ai诊断的远程会诊系统，包括：骨髓细胞影像采集单元、供操作医生使用的第一终端、骨髓细胞学工作站、安装有临床决策支持系统(bs-cds)的云端服务器、安装有医联体与医院his系统的医院内部服务器、供远程专家使用的第二终端；骨髓细胞影像采集单元、骨髓细胞学工作站、第一终端、云端服务器、第二终端依次连接；骨髓细胞学工作站通过内网还和医院内部服务器连接，其中第一终端和第二终端均安装有远程会诊app；第一终端和第二终端均为平板电脑。

骨髓细胞影像采集单元，用于检查骨髓细胞，同时产生骨髓细胞图像视频，并将骨髓细胞图像视频发送至骨髓细胞学工作站；在本实施例，骨髓细胞影像采集单元包括：依次连接电子显微镜和ccd；ccd为超高清ccd。

电子显微镜，用于检查骨髓细胞；操作医生可在电子显微镜上完成骨髓细胞图像的各种编辑和测量。

超高清ccd，用于根据电子显微镜对骨髓细胞的检查，产生骨髓细胞图像视频，并将将骨髓细胞图像视频发送至骨髓细胞学工作站。超高清ccd输入端通过hdmi高清线与电子显微镜连接，第一终端与操作医生骨髓细胞工作站通过5g网络连接。

骨髓细胞学工作站，用于将骨髓细胞学图像视频传输至第一终端上，获取医联体与医院his系统上的患者资料并传输至第一终端上，接收第二终端传输的专家诊断报告，并传输至医联体与医院his系统；骨髓细胞学工作站具有远程会诊app。

第一终端，用于骨髓细胞学图像视频和患者资料，并实时将图像视频和患者资料传输到云端服务器上；并和第二终端建立连接，实现操作医生和专家的语音视频通话，实时远程会诊；第一终端具有远程会诊app，具有5g网络无线上网功能。操作医生利用该平板终端上的远程会诊app，可以发起会诊专家邀请，与专家进行实时语音视频通话或留言。所述远程会诊app还具有视频录制功能，在专家未能参与实时远程会诊时，操作医生可以根据临床需要录制一定时长的骨髓细胞学图像视频，并传输至云端服务器上。操作医生可通过该平板终端上的远程会诊app从云端服务器上下载专家诊断报告，可以将专家诊断报告传输至操作医生超声工作站，也可以获取操作医生超声工作站上的患者资料，可以将患者资料传输至云端服务器。操作医生通过第一终端在非会诊时可以书写诊断报告并上传到医联体与医院his系统。医联体与医院his系统，能够存储患者资料和诊断报告。

云端服务器，包括良恶性分层模型，用于骨髓细胞学图像视频和患者资料输入良恶性分层模型，良恶性分层模型输出分级诊断结果。云端服务器，具有远程会诊管理系统，可实时接收和存储专家平板终端上传的专家的诊断报告和音视频。所述远程会诊管理系统，能实现操作记录的保存和追溯，能实现远程会诊的管理，包括管理会诊双方上传的图像和视频资料，管理专家的诊疗信息，管理患者的会诊信息等。其中,骨髓细胞学图像视频和患者资料输入良恶性分层模型，良恶性分层模型输出分级诊断结果即为ai诊断过程。

第二终端，用于获取云端服务器上存储的骨髓细胞学图像视频。更进一步地，第二终端，还用于获取云端服务器上存储的骨髓细胞学图像视频和患者资料，结合患者资料，对骨髓细胞学图像视频进行编辑和测量，得到所需的临床数据和诊断报告，并将诊断报告保存至云端服务器；第一终端，还用于从云端服务器上下载专家诊断报告。第二终端具有远程会诊app、5g无线上网功能。专家利用该平板终端上的远程会诊app可处理远程会诊邀请，参与实时远程会诊，与操作医生进行实时语音和视频沟通，或下载查看云端服务器上存储的骨髓细胞学图像视频。所述远程会诊app具有骨髓细胞学图像的常用测量软件包，专家可对图像或视频进行编辑和测量，得到所需的临床数据，测量后的结果可保存至云端服务器。所述远程会诊app具有报告书写功能，专家通过平板终端上的远程会诊app可书写诊断报告并上传至云端服务器。

一种基于ai诊断的远程会诊方法，包括：

操作医生通过电子显微镜检查骨髓细胞，通过ccd实时采集电子显微镜上的骨髓细胞图像视频，并传输到骨髓细胞学工作站，骨髓细胞学工作站将骨髓细胞图像视频实时传输至第一终端；

骨髓细胞学工作站从医院内部服务器获取患者资料，并将患者资料发送至第一终端；

第一终端将骨髓细胞图像视频和患者资料传输到云端服务器上，并且第一终端和第二终端建立连接，实现操作医生和专家的语音视频通话，实现实时远程会诊；

云端服务器的良恶性分层模型根据骨髓细胞图像视频和患者资料输出分级诊断结果；

第二终端获取云端服务器上存储的骨髓细胞学图像视频和患者资料，结合患者资料，对骨髓细胞学图像视频进行编辑和测量，得到所需的临床数据和诊断报告，并将诊断报告保存至云端服务器。

在本实施例，云端服务器的良恶性分层模型根据骨髓细胞图像视频和患者资料输出分级诊断结果包括：

参见图2，在临床决策支持系统(bs-cds)中，利用数据采集单元根据骨髓细胞图像视频读取骨髓细胞形态信息，根据患者资料获取患者的临床信息和基因信息；然后利用数据降噪模块对骨髓细胞形态信息进行降噪和数据归一化处理，寻找与病理结果对应的病变并对骨髓细胞图像进行病变标注；根据骨髓细胞形态信息对骨髓细胞形态进行自动提取，细胞形态对比模块将提取信息与标准细胞形态进行对比，细胞形态自动标注模块对已识别的骨髓细胞形态进行自动标注，使用短时间重复扫描的特征稳定性测试数据集挑选表现稳定的特征，然后在测试数据集中采用单变量分析法筛选高度相关的特征，最后再筛选低冗余度、高度相关的特征；并细胞统计模块将骨髓细胞形态分类；计算出有核细胞与成熟红细胞的比值，细胞占比分析模块计算每种细胞的数量在整个骨髓有核细胞总数的占比；其中，骨髓有核细胞形态分类为：原始粒细胞、早幼粒细胞、中幼粒细胞、晚幼粒细胞、杆状核细胞、分叶核细胞、嗜酸性粒细胞及嗜碱性粒细胞、原始红细胞、早幼红细胞、中幼红细胞及晚幼红细胞、原始淋巴细胞、幼稚淋巴细胞、成熟淋巴细胞、异常淋巴细胞、原始单核细胞、幼稚单核细胞及成熟单核系细胞、浆细胞和分类不明细胞。

基于有核细胞与成熟红细胞的比值和每种细胞的数量在整个骨髓有核细胞总数的占比构建良恶性分层模型；

基于预先构建的良恶性分层模型对骨髓细胞形态信息进行智能的分级诊断；在本实施例，预先将影像辅助分级诊断单元将骨髓分为：一级、二级、三级、四级。

在本实施例，构建良恶性分层模型包括：

建立模型：采用多种机器学习和深度学习算法进行模型建立，并采用交叉验证建立模型；在建立模型的时候，在临床决策支持系统(bs-cds)对大量的已知的骨髓细胞图像视频进行上述的处理，得到已知的骨髓细胞图像视频对应的核细胞与成熟红细胞的比值和每种细胞的数量在整个骨髓细胞形态总数的占比。在本实施例，机器学习和深度学习算法包括：线性及非线性支持向量机(supportvectormachine，svm)、随机森林、决策树、k近邻、logistic回归、卷积神经网络、对抗生成网络、迁移学习中的一种或多种。

优化模型：包括集成学习和奖惩机制，其中集成学习是将多种分类器进行组合，常获得比单一分类器更优越的泛化性能；奖惩机制是在训练集中，先构建分类模型，标记良性及恶性标签；对人工智能识别错误图像，以三位或以上医学专家的综合意见指导，对于医生明确诊断不应出错的图像对先前模型施加惩罚因子；对人工智能识别准确的图像，在模型改进中施加奖励因子；结合奖惩因子和原有模型，修改得到新的模型，并循环迭代优化模型，最终得到理想的良恶性分层模型；

验证模型：在验证数据集上进行模型验证，画出roc曲线，在高敏感性模型中寻找尽可能高的特异性指标，敏感性99％时对应的特异性指标应≥20％；在高特异性模型中寻找尽可能高的敏感性指标，特异性99％时对应的敏感性指标应≥20％；并计算阳性预测值(真恶性率)、阴性预测值(真良性率)及准确性指标。

实施例2

实施例2和实施例1的区别在于，影像采集单元包括：内窥镜诊断设备、操作手法无线摄像装置、视频采集装置；内窥镜诊断设、视频采集装置和第一终端依次连接，操作手法无线摄像装置和中间工作站连接；内窥镜诊断设备，用于检查体内预检查器官；视频采集装置，用于根据内窥镜诊断设备对体内预检查器官的检查，产生体内预检查器官图像视频，并将体内预检查器官图像视频发送至中间工作站；医生操作手法无线摄像装，用于获取操作医生使用内窥镜诊断设备在患者检查部位上的实时图像摄像和患者检查体位信息，并传输至第二终端。

一种基于ai诊断的远程会诊方法，其特征在于，包括：

操作医生通过内窥镜诊断设备检查体内预检查器官，通过视频采集装置实时采集内窥镜诊断设备上的体内预检查器官图像视频，并传输到内窥镜工作站，内窥镜工作站将体内预检查器官图像视频实时传输至第一终端；

操作手法无线摄像装置拍摄操作医生使用内窥镜诊断设备在患者检查部位上的实时图像摄像和患者检查体位信息，并传输至第二终端；

内窥镜工作站从医院内部服务器获取患者资料，并将患者资料发送至第一终端；

第一终端将体内预检查器官图像视频、患者检查体位信息和患者资料传输到云端服务器上，并且第一终端和第二终端建立连接，实现操作医生和专家的语音视频通话，实现实时远程会诊；

云端服务器的内窥镜分析模型根据体内预检查器官图像视频和患者资料输出分级诊断结果；内窥镜分析模型利用基于随机森林算法或者基于神经网络算法训练生成，基于随机森林算法或者基于神经网络算法训练生成的内窥镜分析模型对内窥镜图像数据进行辅助诊断，有效解决操作临床医生知识的局限性、减少人为疏忽和差错，实现提高医疗质量，降低医疗风险的目标。

第二终端获取云端服务器上存储的体内预检查器官图像视频和患者资料，结合患者资料，对体内预检查器官图像视频进行编辑和测量，得到所需的临床数据和诊断报告，并将诊断报告保存至云端服务器。

上述具体实施方式为本发明的优选实施例，并不能对本发明进行限定，其他的任何未背离本发明的技术方案而所做的改变或其它等效的置换方式，都包含在本发明的保护范围之内。