基于强化学习的无造影剂肝肿瘤检测方法、系统及介质

本发明涉及计算机视觉，具体涉及一种基于强化学习的无造影剂肝肿瘤检测方法、系统及存储介质。

背景技术：

1、肝肿瘤（liver tumor）是指发生在肝脏的恶性肿瘤，包括原发性肝肿瘤和转移性肝肿瘤两种，一般多是原发性肝肿瘤。原发性肝肿瘤是指发生在干细胞或肝内胆管细胞的癌肿，该疾病是我国第四位的常见恶性肿瘤及第三位的肿瘤致死病因，严重威胁我国人民的生命和健康。

2、肝肿瘤的准确定位是对肝肿瘤患者进行诊断和治疗的关键前提。在肝肿瘤的检查和诊断中，造影剂是一种常用的检查方法。x射线电子计算机断层扫描仪（ct）和磁共振成像（mri）等影像检查在评估肝肿瘤时均可使用造影剂。使用造影剂可以增强肝脏和血管结构的影像，提高肿瘤的对比度，使医生能够更准确地评估肝肿瘤的性质和范围。根据具体情况，医生也可以考虑对肝肿瘤进行经导管置管等介入性手术，使用造影剂进行造影来达到准确的治疗效果。虽然使用造影剂相对安全，但造影剂可能会导致肾功能损害，带来皮肤瘙痒、荨麻疹甚至休克和死亡的风险。

3、当前的很多的主流的肝肿瘤检测算法很大程度上依赖于医生的手工标注。医生标注肝肿瘤的位置、大小、数量等信息时可能会因为个人经验、视角、技术水平等因素而产生误差，导致检测算法的准确性收到影响。此外手工标注需要耗费医生大量的时间和精力，有时也会因为疲劳或者疏忽等因素而影响标注质量。因此，需要开发出更加高效和准确的自动化标注算法，以提高肝肿瘤检测算法的准确性和可靠性。

技术实现思路

1、本发明提出的一种基于强化学习的无造影剂肝肿瘤检测方法、设备及存储介质，解决造影剂具有危害性和依赖于手工标注造成的检测不准确等问题，从而实现肝肿瘤的精准定位。

2、为实现上述目的，本发明采用了以下技术方案：

3、一种基于强化学习的无造影剂肝肿瘤检测方法，包括以下步骤，

4、s1、获取批量成对的无造影剂和造影剂增强的肝脏图像并划分为训练集和测试集，得到训练集图像和验证集图像；

5、s2、构建基于强化学习的教师模型和学生模型，获取肝脏图像的特征；所述教师模型用于造影剂增强的肝脏图像特征的提取和肝肿瘤位置检测，并指导学生模型，所述学生模型用于无造影剂肝脏图像的特征提取和肝肿瘤位置检测；

6、s3、将教师模型学习到的造影剂肝脏图像知识迁移到学生模型当中，不断训练优化模型；

7、s4、逐步移除教师模型的指导，让学生模型独立获取无造影剂肝脏图像的肝肿瘤具体位置。

8、进一步地，所述教师模型和学生模型均采用相同的决策选择模块和决策评价模块，所述决策选择模块和决策评价模块均基于相同的网络结构即resnet-18。

9、进一步地，所述教师模型和学生模型的构建步骤具体包括：

10、1）构建决策选择模块，决策选择模块使用resnet-18的特征提取器和一个具有决策功能的全连接层构建而成，其结构的公式化表达如下：

11、

12、其中，表示肝脏图像和预设的自适应边界框，表示输出的决策动作，表示特征提取器，表示具有决策功能的全连接层；

13、决策选择模块根据输入肝脏图像和预设自适应边界框，输出决策动作，此决策动作包含自适应边界框的大小和移动方向；

14、2）构建决策评价模块，决策评价模块首先使用四个卷积层和空洞卷积块通过拼接而成，加入空洞卷积块是防止常规卷积的感受野太小，捕获肝脏图像的全局信息，用来感知多尺度的低级特征；

15、具体地，四个空洞卷积内核大小为[1, 3, 5, 7]，其空洞率分别为[2, 4, 6, 8]，即：

16、

17、其中表示空洞卷积的核大小，表示原始卷积核的大小，表示空洞率的大小；通过四个常规卷积层和四个空洞卷积块来分别捕获肝脏图像的局部信息和全局信息；

18、3）构建奖励模块，奖励模块是一个奖励函数，通过计算自适应边界框和标签框的中心点之间的欧氏距离，来判断当前边界框的状态值是好还是不好，从而进一步利用决策评价模块来更新决策选择模块输出的决策动作；

19、通过以上模型的构建，决策选择模块，决策评价模块和奖励模块之间相互制约，教师模型和学生模型具有相同的网络结构，通过教师模型标签计算造影剂增强肝脏图像的决策动作、当前状态值和奖励值，利用知识迁移来指导学生模型关于无造影剂肝脏图像的检测过程。

20、进一步地，决策评价模块使用resnet-18的特征提取器和全连接层构成，resnet-18因其网络层数足够深使得特征提取器可以收集到与决策相关的高级特征；另外，resnet-18通过残差块解决网络层数深而带来的网络退化和梯度下降问题，即：

21、

22、其中，表示任意深层单元的特征，表示浅层单元的特征，表示残差函数，表示任意单元之间的残差特性。

23、决策评价模块根据输入的肝脏图像和自适应边界框，输出当前边界框的状态值。

24、进一步地，所述教师模型通过对造影剂增强的肝脏图像和自适应的目标框进行参数优化，将学习到的知识迁移到学生模型当中，得到优化模型，具体包括：

25、将造影剂增强的肝脏图像输入到教师模型当中，并预设一个自适应的目标框来定位肝肿瘤的位置；

26、教师模型提取造影剂增强的肝脏图像的特征并决策目标框的移动方向和大小变化；

27、通过奖励函数对目标框的位置进行优化并将造影剂肝脏图像的知识迁移到学生模型中，以处理无造影剂肝脏图像肿瘤位置的检测以及模型优化。

28、进一步地，决策选择模块用来输出目标框可能移动的方向，决策评价模块用来提供相应的特征和边界框的当前位置，奖励模块用来对决策动作模块和决策评价模块进行约束，在教师模型中生成造影剂增强的肝脏图像知识，来指导学生模型中无造影剂肝脏图像的肝肿瘤的定位；

29、奖励模块的奖励函数公式如下：

30、

31、其中，和表示决策动作处于某一状态前后，边界框和检测标签之间中心点的欧式距离，决策动作后的边界框和标签之间的重叠率，和是权重参数。

32、进一步地，所述步骤s4具体包括，

33、获取教师模型学习到的造影剂增强的肝脏图像的知识；

34、通过设置概率计算策略将造影剂增强的肝脏图像的知识迁移到学生模型当中；

35、训练过程中，不断移除教师模型的指导，让学生模型独立输出预测的肝肿瘤的位置。

36、具体地，在训练开始阶段，通过设置一种概率计算策略将教师模型的造影剂肝脏图像的知识迁移到学生模型中，在学生模型中引入和教师模型最为相似的特征，让学生模型模仿教师模型的决策方式，并将相同的奖励值分配给学生模型中的决策评价模块；

37、在所有的特征均由学生模型之后，概率计算策略切断所有的知识迁移过程，让学生模型完全独立于教师模型，从而学生模型能够独立定位到无造影剂肝脏肿瘤的位置。

38、另一方面，本发明还公开一种基于强化学习的无造影剂肝肿瘤检测系统，包括以下单元，

39、划分模块，用于获取批量成对的无造影剂和造影剂增强的肝脏图像并划分为训练集和测试集，得到训练集图像和验证集图像；

40、构建模块，用于构建基于强化学习的教师模型和学生模型，获取肝脏图像的特征；

41、知识迁移模块，用于将教师模型学习到的造影剂肝脏图像知识迁移到学生模型当中，不断训练优化模型；

42、输出模块，用于逐步移除教师模型的指导，让学生模型独立获取无造影剂肝脏图像的肝肿瘤具体位置。

43、又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。

44、再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。

45、由上述技术方案可知，本发明的基于强化学习的无造影剂肝肿瘤检测方法及系统，通过大量训练集和验证集优化基于强化学习的教师——学生模型，通过优化后的模型提取无造影剂肝脏图像的特征并输出肝肿瘤的具体位置。该方法包括：获取批量成对的无造影剂和造影剂增强的肝脏图像并将批量成对的无造影剂和造影剂增强的肝脏图像划分为训练集和测试集，得到训练集图像和验证集图像；构建基于强化学习的教师——学生模型框架，获取肝脏图像的特征；将教师模型学习到的造影剂肝脏图像知识迁移到学生模型当中，不断训练优化模型；逐步移除教师模型的指导，让学生模型独立获取无造影剂肝脏图像的肝肿瘤具体位置。该系统包括：划分模块、构建模块、知识迁移模块和输出模块。通过使用本发明，根据造影剂增强的肝脏图像，检测无造影剂肝脏图像的肿瘤位置，实现肝肿瘤的精准定位。本发明作为一种基于强化学习的肝肿瘤检测方法及系统，可广泛应用于医学图像处理领域。

46、本发明方法的有益效果是：

47、传统的肝肿瘤检测方法很大程度上依赖于造影剂的使用，这可能会给患者增加肾功能衰竭甚至休克的风险。定位肝肿瘤位置需要专业知识和技能，并依赖于医生的主观判断，这种方法耗时且重复性较低。本发明提出一种基于强化学习的无造影剂肝肿瘤检测方法及系统，通过收集无造影剂增强的肝脏图像和造影剂增强的肝脏图像，在构建教师——学生模型的深度强化学习框架的基础之上，将造影剂增强的肝脏图像输入到教师模型中，在教师模型学习到有用的造影剂图像的知识，通过一种概率计算策略将教师模型的造影剂肝脏图像的知识迁移到学生模型中，在学生模型中引入和教师模型最为相似的特征，让学生模型模仿教师模型的决策方式，并将相同的奖励分配给学生模型中的决策评价模块。概率计算策略从引入更多的教师模型的特征到引入更多的学生模型的特征，最终使学生模型独立于教师模型，自动化地提取无造影剂肝脏图像的特征，并精确地定位肝肿瘤的位置。