对医学影像AI运行结果进行监测的系统及其方法与流程

本发明涉及医疗信息领域，更具体地，涉及一种对医学影像ai运行结果进行监测的系统及其方法。

背景技术：

随着信息技术的发展和医疗信息化的建设，目前已经有很多医疗机构影像科室已经安装部署了医学影像结构化报告系统以及医学影像ai(人工智能)诊断系统，例如肺结节ai诊断系统、骨龄测量ai诊断系统、前列腺ai诊断系统等。目前，这些系统在使用过程中存在以下问题：对ai运行结果无法监测，比如对运行错误的ai诊断结果，医生对错误的结果修改后返回给ai诊断系统，此时，ai诊断系统基于医生的修改做持续改进，改进一段时间后，该ai诊断系统的诊断结果错误率如何，还需要管理员计算对比，把错误率高的ai诊断系统手动停用，这样会导致检测时间延长，ai诊断系统还会不断的发送错误的诊断结果给医生，消耗医生的诊断时间，降低了管理员的工作效率。

技术实现要素：

有鉴于此，本发明的主要目的在于提供一种对医学影像ai运行结果进行监测的系统及其方法，能够解决现有技术中存在的无法对ai运行结果进行监测，需要管理员手动计算对比来决定是否停用ai诊断系统而导致的延长医生的诊断时间、降低管理员工作效率的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一方面，本发明提供了一种对医学影像ai运行结果进行监测的系统，包括人工智能ai诊断结果记录模块、处理模块、错误率计算模块和分析模块，其中，ai诊断结果记录模块，与处理模块相连，用于存储ai诊断模块的诊断结果以及记录医生对诊断结果运用的标记，并将运用的标记发送给处理模块，其中，运用的标记为使用标记、修改标记和拒绝使用标记；处理模块，分别与ai诊断结果记录模块和错误率计算模块相连，用于当接收使用标记时，则判断诊断结果为正确数据；当接收修改标记或拒绝使用标记时，则判断该诊断结果为错误数据，并将正确数据和错误数据发送给错误率计算模块；错误率计算模块，分别与处理模块和分析模块相连，用于基于正确数据和错误数据，计算指定时间段内诊断结果的错误率和错误率升高值，并将错误率和错误率升高值实时发送给分析模块；分析模块，与错误率计算模块相连，用于当错误率大于等于第一预设阈值或错误率升高值大于等于第二预设阈值时，自动将ai诊断模块停用，并设置提醒信号，将提醒信号发送到管理员终端。

优选地，该系统还包括图表生成模块，与错误率计算模块相连，用于获取错误率和错误率升高值，基于错误率和错误率升高值，自动生成图表发送到管理员终端以供管理员查看。

另一方面，本发明还提供了一种对医学影像ai运行结果进行监测的方法，包括：ai诊断结果记录模块存储ai诊断模块的诊断结果以及记录医生对诊断结果运用的标记，并将运用的标记发送给处理模块，其中，运用的标记为使用标记、修改标记和拒绝使用标记；当处理模块接收使用标记时，则判断诊断结果为正确数据；当接收修改标记或拒绝使用标记时，则判断该诊断结果为错误数据，并将正确数据和错误数据发送给错误率计算模块；错误率计算模块基于正确数据和错误数据，计算指定时间段内诊断结果的错误率和错误率升高值，并将错误率和错误率升高值实时发送给分析模块；当错误率大于等于第一预设阈值或错误率升高值大于等于第二预设阈值时，分析模块自动将ai诊断模块停用，并设置提醒信号，将提醒信号发送到管理员终端。

优选地，该方法还包括：图表生成模块获取错误率和错误率升高值，基于错误率和错误率升高值，自动生成图表发送到所述管理员终端以供管理员查看。

本发明的技术效果：

由于本发明中设置了ai诊断结果记录模块、处理模块、错误率计算模块和分析模块，判断ai诊断模块的诊断结果是否正确，基于诊断结果的正确与否，错误率计算模块计算指定时间段内诊断结果的错误率和错误率升高值，在错误率或错误率升高值达到一定数值时，自动将ai诊断模块停用，并设置提醒信号发送到管理员终端，能够及时的将错误率高的ai诊断系统停用，避免错误诊断结果还经常性的发送给医生使用，减少了医生诊断时间，提高了管理员的监测效率；同时，本发明还设置了图表生成模块，根据错误率和错误率升高值，自动生成图表以供管理员查看，便于管理员分析ai诊断模块的运行情况，使诊断流程更加完善。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了根据本发明实施例一的对医学影像ai运行结果进行监测的系统结构示意图；

图2示出了根据本发明实施例二的对医学影像ai运行结果进行监测的系统结构示意图；

图3示出了根据本发明实施例三的对医学影像ai运行结果进行监测的方法流程图。

具体实施方式

下面将参考附图并结合实施例，来详细说明本发明。

实施例一

图1示出了根据本发明实施例一的对医学影像ai运行结果进行监测的系统结构示意图；如图1所示，该系统包括人工智能ai(artificialintelligence)诊断结果记录模块10、处理模块20、错误率计算模块30和分析模块40，其中，

ai诊断结果记录模块10，与处理模块20相连，用于存储ai诊断模块的诊断结果以及记录医生对诊断结果运用的标记，并将运用的标记发送给处理模块，其中，运用的标记为使用标记、修改标记和拒绝使用标记；

当医生在撰写结构化报告时，会与ai诊断模块相结合，利用ai诊断模块的智能诊断结果，如果ai诊断模块的诊断结果为正确时，则医生选择使用该诊断结果，以提高医生的诊断效率和降低诊断难度；如果ai诊断模块的诊断结果为错误时，则医生根据dicom图像来对诊断结果进行修改，则此时，ai诊断结果记录模块10记录该医生对ai诊断结果的修改并做相应的标记，或该ai诊断结果变差很大或本来就是识别错误的结果，则医生会拒绝使用该诊断结果，此时，ai诊断结果记录模块10记录该医生的拒绝操作并做相应的标记。

处理模块20，分别与ai诊断结果记录模块10和错误率计算模块30相连，用于当接收使用标记时，则判断诊断结果为正确数据；当接收修改标记或拒绝使用标记时，则判断该诊断结果为错误数据，并将正确数据和错误数据发送给错误率计算模块30；

错误率计算模块30，分别与处理模块20和分析模块30相连，用于基于正确数据和错误数据，计算指定时间段内诊断结果的错误率和错误率升高值，并将错误率和错误率升高值实时发送给分析模块40；

分析模块40，与错误率计算模块30相连，用于当错误率大于等于第一预设阈值或错误率升高值大于等于第二预设阈值时，自动将ai诊断模块停用，并设置提醒信号，将提醒信号发送到管理员终端。

例如，某ai系统开始使用，设定指定时间段为最近七天，第一预设阈值为20％，第二预设阈值为5％，则当错误率大于等于20％时，分析模块自动停用该ai诊断模块，并发送提醒信号到管理员终端，提示管理员该ai诊断模块已停用。当错误率升高值大于等于5％时，分析模块自动停用该ai诊断模块，并发送提醒信号到管理员终端，提示管理员该ai诊断模块已停用。

本发明的实施例设置了ai诊断结果记录模块、处理模块、错误率计算模块和分析模块，判断ai诊断模块的诊断结果是否正确，基于诊断结果的正确与否，错误率计算模块计算指定时间段内诊断结果的错误率和错误率升高值，在错误率或错误率升高值达到一定数值时，自动将ai诊断模块停用，并设置提醒信号发送到管理员终端，能够及时的将错误率高的ai诊断系统停用，避免错误诊断结果还经常性的发送给医生使用，减少了医生诊断时间，提高了管理员的监测效率。

实施例二

图2示出了根据本发明实施例二的对医学影像ai运行结果进行监测的系统结构示意图，如图2所示，该系统还包括图表生成模块50，与错误率计算模块30相连，用于获取错误率和错误率升高值，基于错误率和错误率升高值，自动生成图表发送到管理员终端以供管理员查看。

其中图表可以为柱状带颜色图表也可以为excel表格，图表形式在此不做限定。

本发明的实施例设置了图表生成模块，根据错误率和错误率升高值，自动生成图表以供管理员查看，便于管理员分析ai诊断模块的运行情况，使诊断流程更加完善。

实施例三

图3示出了根据本发明实施例三的对医学影像ai运行结果进行监测的方法流程图；如图3所示，该方法包括以下步骤：

步骤s301，ai诊断结果记录模块存储ai诊断模块的诊断结果以及记录医生对诊断结果运用的标记，并将运用的标记发送给处理模块，其中，运用的标记为使用标记、修改标记和拒绝使用标记；

当医生在撰写结构化报告时，会与ai诊断模块相结合，利用ai诊断模块的智能诊断结果，如果ai诊断模块的诊断结果为正确时，则医生选择使用该诊断结果，以提高医生的诊断效率和降低诊断难度；如果ai诊断模块的诊断结果为错误时，则医生根据dicom图像来对诊断结果进行修改，则此时，ai诊断结果记录模块10记录该医生对ai诊断结果的修改并做相应的标记，或该ai诊断结果变差很大或本来就是识别错误的结果，则医生会拒绝使用该诊断结果，此时，ai诊断结果记录模块10记录该医生的拒绝操作并做相应的标记。

步骤s302，当处理模块接收使用标记时，则判断诊断结果为正确数据；当接收修改标记或拒绝使用标记时，则判断该诊断结果为错误数据，并将正确数据和错误数据发送给错误率计算模块；

步骤s303，错误率计算模块基于正确数据和错误数据，计算指定时间段内诊断结果的错误率和错误率升高值，并将错误率和错误率升高值实时发送给分析模块；

步骤s304，当错误率大于等于第一预设阈值或错误率升高值大于等于第二预设阈值时，分析模块自动将ai诊断模块停用，并设置提醒信号，将提醒信号发送到管理员终端。

例如，某ai系统开始使用，设定指定时间段为最近七天，第一预设阈值为20％，第二预设阈值为5％，则当错误率大于等于20％时，分析模块自动停用该ai诊断模块，并发送提醒信号到管理员终端，提示管理员该ai诊断模块已停用。当错误率升高值大于等于5％时，分析模块自动停用该ai诊断模块，并发送提醒信号到管理员终端，提示管理员该ai诊断模块已停用。

其中，该方法还包括：图表生成模块获取错误率和错误率升高值，基于错误率和错误率升高值，自动生成图表发送到所述管理员终端以供管理员查看。

本发明的实施例中的处理模块判断ai诊断模块的诊断结果是否正确，基于诊断结果的正确与否，错误率计算模块计算指定时间段内诊断结果的错误率和错误率升高值，在错误率或错误率升高值达到一定数值时，自动将ai诊断模块停用，并设置提醒信号发送到管理员终端，能够及时的将错误率高的ai诊断系统停用，避免错误诊断结果还经常性的发送给医生使用，减少了医生诊断时间，提高了管理员的监测效率；同时，图表生成模块，根据错误率和错误率升高值，自动生成图表以供管理员查看，便于管理员分析ai诊断模块的运行情况，使诊断流程更加完善。

从以上描述中，可以看出，本发明的上述实施例实现了如下技术效果：由于本发明的实施例设置了ai诊断结果记录模块、处理模块、错误率计算模块和分析模块，判断ai诊断模块的诊断结果是否正确，基于诊断结果的正确与否，错误率计算模块计算指定时间段内诊断结果的错误率和错误率升高值，在错误率或错误率升高值达到一定数值时，自动将ai诊断模块停用，并设置提醒信号发送到管理员终端，能够及时的将错误率高的ai诊断系统停用，避免错误诊断结果还经常性的发送给医生使用，减少了医生诊断时间，提高了管理员的监测效率；同时，本发明还设置了图表生成模块，根据错误率和错误率升高值，自动生成图表以供管理员查看，便于管理员分析ai诊断模块的运行情况，使诊断流程更加完善。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。