一种辅助分析算法的评估方法、装置、存储介质及设备与流程

本说明书涉及计算机，尤其涉及一种辅助分析算法的评估方法、装置、存储介质及设备。

背景技术：

1、随着计算机视觉、深度学习等技术的飞速发展，国内外各大人工智能公司都积极投入了医学领域，大量新兴公司也开始成立或者转型智能医疗，推出覆盖电子计算机断层扫描(computed tomograph，ct）等多模态影像及心血管、肿瘤、神经等多临床场景的医学影像辅助分析产品。

2、然而，由于智能医学影像具有“黑盒”和“算法歧视”现象，导致不同辅助分析算法缺乏科学客观有效的度量和评估方法以及完整、权威的质控和评价体系。并且，辅助分析产品发布的性能参数大多数来源于有限的数据集和实验室条件，受限于数据集的数量和代表性不足等因素，在高度复杂的临床应用中产品实际检测的性能不够好，产品鲁棒性有待提高。

3、因此，如何对医学辅助分析算法进行准确的评估，从而根据评估结果选取合适的算法或对原有算法进行合理的优化，保证后续临床应用过程中的准确性以及鲁棒性，是一个亟待解决的问题。

技术实现思路

1、本说明书提供一种辅助分析算法的评估方法、装置、存储介质及设备，以部分的解决现有技术存在的上述问题。

2、本说明书采用下述技术方案：

3、本说明书提供了一种辅助分析算法的评估方法，包括：

4、获取预先构建的各数字模型与电子计算机断层扫描ct仿真成像系统，并确与ct图像的质量相关的影响因子以及与所述影响因子相关的仿真成像系统参数，所述数字模型包括数字人体模型以及数字器官模型中的至少一种；

5、针对每个数字模型，在仿真环境中对该数字模型进行ct成像，并在该数字模型的成像过程中分别针对每一种影响因子设置与之相关的仿真系统参数，得到各数字模型在各仿真成像系统参数下形成的携带不同大小的各影响因子水平的ct图像；

6、针对每个ct图像，根据该ct图像对应的影响因子以及仿真成像系统参数，确定该ct图像的量值标签，以及，根据该ct图像对应的数字模型实际组织类型和/或病灶类型，确定该ct图像对应的分类标签，并根据所述量值标签和分类标签生成测试数据；

7、将所述测试数据输入待评估的辅助分析算法，以通过所述辅助分析算法确定该ct图像的诊断结果；

8、根据所述各数字模型的每个ct图像对应的量值标签、分类标签以及诊断结果，确定所述辅助分析算法在不同影响因子下的准确率，作为所述辅助分析算法的评估结果。

9、可选地，在获取预先构建的各数字模型之前，所述方法还包括：

10、基于不同人体的人体结构，构建至少一种生理属性的数字模型，并在至少部分数字模型中设置病灶，所述生理属性用于表征数字模型的年龄、性别以及健康情况中的至少一种；

11、针对每个数字模型，将该数字模型转换为四面体网格结构，并对该数字模型中各个组织对应的网格模块赋予材料属性，以使该数字模型与所述仿真环境相适配。

12、可选地，根据该ct图像对应的数字模型实际组织类型和/或病灶类型，确定该ct图像对应的分类标签，具体包括：

13、针对每个ct图像，确定在该ct图像对应的数字模型中，待检测部位对应目标网格模块的识别标识；

14、根据所述识别标识，确定所述目标网格模块对应的属性信息；

15、根据所述属性信息，确定该ct图像对应的实际组织类型和/或病灶类型。

16、可选地，所述影响因子包括：影响所述辅助分析算法性能的图像均匀性、噪声、空间分辨力、密度分辨力、对比度、亮度以及伪影中的至少一种。

17、可选地，针对每个数字模型，在仿真环境中对该数字模型进行ct成像之前，所述方法还包括：

18、根据ct仿真系统的成像过程，确定与所述影响因子相关的仿真成像系统参数，所述仿真成像系统参数包括噪声源、放射源焦点、探测器层厚与采样间隔、管电压、光子数、扫描时间、扫描角度、窗位窗宽以及数字模型运动速率中的至少一种。

19、可选地，针对每个数字模型，在仿真环境中对该数字模型进行ct成像，并在该数字模型的成像过程中分别针对每一种影响因子设置与之相关的仿真系统参数，具体包括：

20、在该数字模型的成像过程中设置不同的能量噪声源、时间噪声源、放射源焦点、探测器层厚与采样间隔、管电压、光子数、扫描时间、扫描角度、数字模型运动速率，以及对ct图像中添加不同的噪声源、附加过滤器、调节窗位窗宽。

21、可选地，针对每个数字模型，该数字模型在不同仿真条件下生成的各ct图像对应的至少一种影响因子不同。

22、可选地，所述方法还包括：

23、确定待评估辅助分析算法的测试准确率与各影响因子测试样本携带的该影响因子水平的不同大小的关系曲线；

24、根据所述关系曲线，确定模型优化方向。

25、可选地，所述方法还包括：

26、确定每个辅助分析算法对应的评估结果；

27、根据所述评估结果，确定目标辅助分析算法；

28、将用户的ct图像输入所述目标辅助分析算法，以通过所述目标辅助分析算法对所述用户进行辅助分析。

29、本说明书提供了一种辅助分析算法的评估装置，包括：

30、获取模块，获取预先构建的各数字模型与电子计算机断层扫描ct仿真成像系统，并确与ct图像的质量相关的影响因子以及与所述影响因子相关的仿真成像系统参数，所述数字模型包括数字人体模型以及数字器官模型中的至少一种；

31、成像模块，针对每个数字模型，在仿真环境中对该数字模型进行ct成像，并在该数字模型的成像过程中分别针对每一种影响因子设置与之相关的仿真系统参数，得到各数字模型在各仿真成像系统参数下形成的携带不同大小的各影响因子水平的ct图像；

32、确定模块，针对每个ct图像，根据该ct图像对应的影响因子以及仿真成像系统参数，确定该ct图像的量值标签，以及，根据该ct图像对应的数字模型实际组织类型和/或病灶类型，确定该ct图像对应的分类标签，并根据所述量值标签和分类标签生成测试数据；

33、输入模块，将所述测试数据输入待评估的辅助分析算法，以通过所述辅助分析算法确定该ct图像的诊断结果；

34、评估模块，根据所述各数字模型的每个ct图像对应的量值标签、分类标签以及诊断结果，确定所述辅助分析算法在不同影响因子下的准确率，作为所述辅助分析算法的评估结果。本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述辅助分析算法的评估方法。

35、本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述辅助分析算法的评估方法。

36、本说明书采用的上述至少一个技术方案能够达到以下有益效果：

37、在本说明书提供的辅助分析算法的评估方法中，获取预先构建的各数字人体模型、数字器官模型与ct仿真成像系统，并确与ct图像的质量相关的影响因子以及与影响因子相关的仿真成像系统参数；对数字模型进行ct成像，并分别针对每一种影响因子设置与之相关的仿真系统参数，得到各数字模型在各仿真成像系统参数下形成的携带不同大小的各影响因子水平的ct图像；确定ct图像的量值标签以及分类标签，并生成测试数据；将测试数据输入待评估的辅助分析算法，确定该ct图像的诊断结果；根据各数字模型的每个ct图像对应的量值标签、分类标签以及诊断结果，确定辅助分析算法在不同影响因子下的准确率。

38、从上述方法可以看出，本方案可以基于不同的影响因子，在仿真环境中设置不同的仿真成像系统参数生成涵盖不同大小水平的各影响因子的ct图像，并以影响因子及其大小水平作为量值标签，构建测试数据。通过该方法得到的测试数据可以在多个维度的质量指标下对辅助分析算法进行定量测试，使得待测试算法有了具有实际物理意义的客观量化的评价方法，保证了辅助分析算法的可解释性，保证了后续临床任务的鲁棒性以及准确性。