本公开的各种示例涉及促进对经训练的机器学习算法的性能的评估。本公开的各种示例具体涉及基于对从已验证的放射学报告中解析的至少一个诊断的已验证标签与由经训练的机器学习算法生成的至少一个诊断的预测的比较来确定经训练的机器学习算法的性能。
背景技术：
1、人工智能(ai)算法(诸如，机器学习(ml)算法)在医疗保健领域内的使用越来越受到关注，并且这些算法正在将它们建入临床常规中。在放射领域中使用这些算法的无数好处是无可争辩的。ml算法可以被用来例如基于医学成像数据来预测诊断。由此，可以帮助医生。
2、根据参考技术，ml算法的训练基于使用大量带注释的数据集，旨在生成稳健并且可泛化的ml算法，诸如深度神经网络(dnn)。
3、ml算法的传统训练无法虑及临床领域的巨大异质性(“heterogeneity”)，例如输入数据、扫描协议、扫描仪类型、人口统计等方面的变化。因此，一旦被部署，经训练的ml算法可能会生成错误或不准确的结果。
4、目前，此类错误或不准确的结果由临床专家(诸如，医生或放射技术人员)手动标识，这是非常耗时的。此外，由专家提供的单一案例反馈(例如，正确或错误的算法结果)与相当大的实现和使用努力以及偏差相耦合，例如，仅纠正假阴性，但不纠正假阳性。
5、因此，需要对经训练的ml算法的性能进行评估的先进技术。具体地，需要先进技术来确定处理医学成像数据的经训练的ml算法的性能。
技术实现思路
1、独立权利要求的特征满足了这种需要。从属权利要求的特征定义了实施例。
2、在下文中，将描述确定经训练的ml算法的性能的技术。基于从已验证的放射学报告中解析的至少一个诊断的已验证标签与由经训练的ml算法生成的至少一个诊断的预测的比较，来确定经训练的ml算法的性能。可以基于从已验证的放射学报告中解析的至少一个诊断的已验证标签来执行经训练的ml算法的更新或重新训练。
3、提供了一种计算机实现的方法。该方法包括获得患者的已验证的放射学报告和与已验证的放射学报告相关联的患者的医学成像数据。该方法还包括解析已验证的放射学报告，以获得至少一个诊断的已验证标签。该方法还包括由经训练的机器学习算法在计算设备处基于医学成像数据生成至少一个诊断的预测。该方法附加地包括基于至少一个诊断的已验证标签与至少一个诊断的预测的比较来确定经训练的机器学习算法的性能。
4、计算机程序或计算机程序产品或计算机可读存储介质包括程序代码。程序代码可以由至少一个处理器加载并且执行。在加载并且执行程序代码时，至少一个处理器执行方法。该方法包括获得患者的已验证的放射学报告和与已验证的放射学报告相关联的患者的医学成像数据。该方法还包括解析已验证的放射学报告以获得至少一个诊断的已验证标签。该方法还包括由经训练的机器学习算法在计算设备处基于医学成像数据生成至少一个诊断的预测。该方法附加地包括基于至少一个诊断的已验证标签与至少一个诊断的预测的比较来确定经训练的机器学习算法的性能。
5、设备包括至少一个处理器和至少一个存储器。至少一个处理器被配置为从至少一个存储器加载程序代码并且执行程序代码。在执行程序代码时，至少一个处理器执行方法。该方法包括获得患者的已验证的放射学报告和与已验证的放射学报告相关联的患者的医学成像数据。该方法还包括解析已验证的放射学报告以获得至少一个诊断的已验证标签。该方法还包括由经训练的机器学习算法在计算设备处基于医学成像数据生成至少一个诊断的预测。该方法附加地包括基于至少一个诊断的已验证标签与至少一个诊断的预测的比较来确定经训练的机器学习算法的性能。
6、该设备可以通过使用包括在数据处理单元中的处理器来执行实现该方法的计算机程序来实现。数据处理单元可以例如包括工作站、服务器、基于云的解决方案或嵌入式设备，例如其可以被集成到医疗成像设备中。
7、另外，本发明涉及包括指令的计算机程序，当处理器执行该程序时，使处理器执行本发明的方法。
8、另外，本发明涉及在其上存储有根据本发明的计算机程序的计算机可读存储介质。
9、特别地，结合根据本发明的计算机实现的方法所描述的特征和优点也可以被设计为根据本发明的设备或根据本发明的计算机程序的对应子单元。反过来，结合根据本发明的设备或根据本发明的计算机程序所描述的特征和优点也可以被设计为根据本发明的方法的对应方法步骤。
10、应当理解，上面提及的特征和下面将要解释的那些特征不仅可以被用于所指出的各个组合中，而且可以用于其他组合或单独使用而不脱离本发明的范围。
1.一种计算机实现的方法(2000)，所述方法(2000)包括：
2.根据权利要求1所述的计算机实现的方法(2000)，所述方法(2000)还包括：
3.根据权利要求2所述的计算机实现的方法(2000)，所述方法(2000)还包括：
4.权利要求3的计算机实现的方法(2000)，
5.根据权利要求2所述的计算机实现的方法(2000)，所述方法(2000)还包括：
6.根据前述权利要求中任一项所述的计算机实现的方法(2000)，所述方法(2000)还包括：
7.根据前述权利要求中任一项所述的计算机实现的方法(2000)，
8.根据权利要求1至6中任一项所述的计算机实现的方法(2000)，
9.根据前述权利要求中任一项所述的计算机实现的方法(2000)，
10.根据前述权利要求中任一项所述的计算机实现的方法(2000)，
11.根据前述权利要求中任一项所述的计算机实现的方法(2000)，所述方法(2000)还包括：
12.一种设备(9000)，所述设备(9000)包括至少一个处理器(9020)并且所述至少一个处理器(9020)被配置为：
13.根据权利要求12所述的设备(9000)，所述设备还被配置为，执行根据权利要求1至11中任一项所述的方法。
14.一种医学成像设备(1002a至1002e)，所述医学成像设备(1002a至1002e)包括如权利要求12或13所述的设备。
15.一种包括指令的计算机程序，当所述计算机程序由处理器(9020)执行时，使所述处理器(9020)执行如权利要求1至11中的一个的计算机实现的方法。
16.一种计算机可读存储介质，在其上存储有如权利要求15所述的计算机程序。