一种基于专家反馈的弱监督学习训练方法与流程

本发明属于计算机视觉图像处理，涉及一种基于专家反馈的弱监督学习训练方法。

背景技术：

1、计算机视觉，特别是目标检测、语义分割等技术在特定领域里，如监控捕捉，无人车，病理检测等，起到了至关重要的作用。在深度学习的帮助下，近年来涌现了大量成功的检测模型，这些检测模型在识别准确度和速度上都远远超过以往的检测模型。然而，训练一个高准确率的检测模型需要大量的精确标注的图片数据作为模型监督条件，这往往需要花费大量的人力物力。同时，海量的粗略标注过的数据可以轻松的从互联网获得，因此一种非常有实用价值的研究方向是研究如何在弱监督，即仅提供粗略图片类别标注的条件下，如何有效的训练检测模型。

2、针对弱监督条件下的检测模型训练，目前主要的研究思路将目标检测任务作为一个多示例学习任务来处理：把由传统方法提取的候选包围框视为个例，而把整张图片作为包含所有个例的包，弱监督条件即只有包的标注，而不提供个例的标注。因此，模型的训练在从包的所有个例中挑选正样本和训练模型参数之间迭代进行，而该模型也被成为弱检测模型。

3、另外一种尝试是在弱监督条件下，通过伪标签的方法训练复杂的强检测模型。这类方法利用训练好的弱检测模型的预测结果作为训练强检测器模型的强标注，从而有效利用了强检测器模型的学习能力，如训练候选包围框提取网络和包围框坐标回归网络。这些弱监督条件下的检测模型训练方法，一定程度上解决了检测模型在缺少精细标注的条件下难以训练的问题，但是模型的预测效果仍然难以令人满意。

4、综上所述，目前适用于病理检测的弱监督学习训练方法存在算法迭代周期过长，弱监督因标注质量问题效果不佳，算法研究跟病理判读弱耦合，模型输出标准跟病理医生金标准有偏差等问题。开发一种降低专家标注工作量，极大缩短算法迭代周期的弱监督学习训练方法，提高病理诊断效率，已成为目前计算机视觉图像处理技术领域亟待解决的问题之一。

技术实现思路

1、针对现有技术的不足和实际需求，本发明提供一种基于专家反馈的弱监督学习训练方法，解决了算法研究跟病理判读弱耦合和模型输出标准跟病理医生金标准有偏差等问题，能让病理诊断样本充分利用。

2、为达到此发明目的，本发明采用以下技术方案：

3、第一方面，本发明提供了一种基于专家反馈的弱监督学习训练方法，所述弱监督学习训练方法包括：利用深度学习预训练得到的模型预测同一图片，对预测结果进行排序，根据判读标准把排序最好的预测结果加入其他模型的记忆库并记录排名，都不满足判读标准时手动标注图片后加入预训练得到的所有模型的记忆库，记忆库满后扩容，设置特定条件终止训练，再预测，直到有一个模型满足判读标准。

4、本发明能让稀缺的训练集充分利用，同时优化多个模型直到满足需求，显著降低数据标注成本，加速算法研究迭代过程，算法优化方向与最终模型检验的金标准(病理医生判读)完全一致，将病理医生的标注及时训练，短时间内可以验证新的模型，减少等待反馈时间。

5、优选地，所述预训练包括：根据不同的训练集训练、k-折交叉训练或根据不同的随机数种子来改变数据扩增，进而改变模型的输入，训练得到不同的模型，以不同训练集为例，将原本的训练集切分成3份，分别训练得到3个模型。

6、优选地，所述手动标注的内容包括：点标注、框标注或像素级标注中任意一种或至少两种的组合。

7、优选地，所述点标注的内容包括：中心点及类别概率。

8、优选地，所述框标注的内容包括：中心点及宽高及类别概率。

9、优选地，所述像素级标注的内容包括：多通道像素级掩码。

10、优选地，所述判读的内容包括：细胞个数、掩码在原图的覆盖率、掩码类别准确率、目标框重叠度或预测的中心点距离中任意一种或至少两种的组合。

11、优选地，所述判读标准为：预测图片中阳性肿瘤细胞、阴性肿瘤细胞、阳性组织细胞和阴性组织细胞细胞个数达到各自独立地为实际各类型细胞个数的80％以上，掩码在原图的覆盖率达到80％以上，掩码类别准确率达到80％以上，目标框重叠度交并比达到80％，预测的中心点90％在细胞膜内，即为满足判读标准。

12、优选地，所述手动标注的内容包括：细胞的中心点及类别、细胞的目标框及类别、细胞的掩码及类别中任意一种或至少两种的组合。

13、优选地，所述细胞包括：阳性肿瘤细胞、阴性肿瘤细胞、阳性组织细胞或阴性组织细胞中的任意一种或至少两种的组合。

14、优选地，所述特定条件包括指定终止训练次数。

15、作为优选的技术方案，所述弱监督学习训练方法包括以下步骤：

16、(1)根据不同的训练集训练、k-折交叉训练或根据不同的随机数种子来改变数据扩增，进而改变模型的输入，训练得到不同的模型，以不同训练集为例，将原本的训练集切分成3份，分别训练得到3个模型a、b和c；

17、(2)利用深度学习预训练得到的模型预测同一图片；

18、(3)根据判读标准把排序最好的预测结果加入其他模型的记忆库并记录排名，都不满足判读标准时手动标注图片后加入预训练得到的模型的记忆库；

19、(4)记忆库满回到步骤(2)，直到某个模型的记忆库达到训练阈值；

20、(5)记忆库容量是5-20，从训练集中随机采样15-60个训练样本，组合成新的记忆库，以此类推，对记忆库扩容；

21、(6)用扩容后的记忆库作为训练集，根据不同记忆的排名，指定次数终止训练；

22、(7)从3个预训练模型a、b和c，用其对应的记忆库中扩容后的训练集分别训练，得到新模型进行测试，如果不满足判读标准则回到步骤(2)，用新模型代替步骤模型(1)得到的模型a、b和c；

23、(8)对再次预训练得到的新模型进行测试，当其中1个模型的性能满足专家的判读标准，则该模型为最终模型。

24、上述5-20中的具体点值可以选择5、6、7、8、9、10、15、16、17、18、19、20等。

25、上述15-60中的具体点值可以选择15、16、17、18、19、20、30、40、55、56、57、58、59、60等。

26、第二方面，本发明提供了一种模型，所述模型由第一方面所述的弱监督学习训练方法训练得到。

27、第三方面，本发明提供了第二方面所述的模型在pd-l1病理诊断中的应用。

28、与现有技术相比，本发明具有如下有益效果：

29、相较于imagenet、pascalcoco等公开数据集，病理诊断样本量极少，本发明能让稀缺的训练集充分利用，同时优化多个模型直到满足需求，显著降低数据标注成本，加速算法研究迭代过程，算法优化方向与最终模型检验的金标准(病理医生判读)完全一致，将病理医生的标注及时训练，短时间内可以验证新的模型，减少等待反馈时间，提高病理诊断效率。

技术特征：

1.一种基于专家反馈的弱监督学习训练方法，其特征在于，所述弱监督学习训练方法包括：

2.根据权利要求1所述的弱监督学习训练方法，其特征在于，所述预训练包括：根据不同的训练集训练、k-折交叉训练或根据不同的随机数种子来改变数据扩增，进而改变模型的输入，训练得到不同的模型，以不同训练集为例，将原本的训练集切分成3份，分别训练得到3个模型。

3.根据权利要求1或2所述的弱监督学习训练方法，其特征在于，所述手动标注的内容包括：点标注、框标注或像素级标注中任意一种或至少两种的组合；

4.根据权利要求1-3任一项所述的弱监督学习训练方法，其特征在于，所述判读的内容包括：细胞个数、掩码在原图的覆盖率、掩码类别准确率、目标框重叠度或预测的中心点距离中任意一种或至少两种的组合。

5.根据权利要求1-4任一项所述的弱监督学习训练方法，其特征在于，所述判读标准为：预测图片中阳性肿瘤细胞、阴性肿瘤细胞、阳性组织细胞和阴性组织细胞细胞个数达到各自独立地为实际各类型细胞个数的80％以上，掩码在原图的覆盖率达到80％以上，掩码类别准确率达到80％以上，目标框重叠度交并比达到80％，预测的中心点90％在细胞膜内，即为满足判读标准。

6.根据权利要求1-5任一项所述的弱监督学习训练方法，其特征在于，所述手动标注的内容包括：细胞的中心点及类别、细胞的目标框及类别、细胞的掩码及类别中任意一种或至少两种的组合；

7.根据权利要求1-6任一项所述的弱监督学习训练方法，其特征在于，所述特定条件包括指定终止训练次数。

8.根据权利要求1-7任一项所述的弱监督学习训练方法，其特征在于，所述弱监督学习训练方法包括以下步骤：

9.一种模型，其特征在于，所述模型由权利要求1-8任一项所述的弱监督学习训练方法训练得到。

10.权利要求9所述的模型在pd-l1病理诊断中的应用。

技术总结
本发明公开了一种基于专家反馈的弱监督学习训练方法。利用深度学习预训练得到的模型预测同一图片，对预测结果进行排序，根据判读标准把排序最好的预测结果加入其他模型的记忆库并记录排名，都不满足判读标准时手动标注图片后加入预训练得到的所有模型的记忆库，记忆库满后扩容，设置特定条件终止训练，再预测，直到有一个模型满足判读标准。本发明创造性地基于病理医生反馈进行弱监督学习方法训练得到模型，降低了病理医生标注工作量，变成排序工作，极大的缩短了算法迭代周期，极大地提高了病理诊断的效率。

技术研发人员：徐晓欧,蒋泽宇,张亚飞
受保护的技术使用者：迈杰转化医学研究（苏州）有限公司
技术研发日：
技术公布日：2024/1/14