皮肤病外观图像多病种快速筛查方法、装置、设备及介质与流程

本发明涉及图像处理，具体涉及一种皮肤病外观图像多病种快速筛查方法、装置、设备及介质。

背景技术：

1、自20世纪70年代以来，皮肤病一直是全球最普遍的疾病，皮肤病的发病率一直在以相对稳定的速度上升，恶性皮肤病通常会对人们的整体健康产生重大不利影响。世界卫生组织国际癌症研究机构(iarc)发布了2020年全球最新癌症负担数据，统计了185个国家中的36种癌症1930万新癌症病例和近1000万癌症死亡病例，皮肤癌的发病率约占全球所有新诊断癌症病例的6.2％，皮肤疾病占全球残疾调整生命年评估疾病负担的1.79％。

2、皮肤疾病种类复杂、表现各异，极易漏诊、误诊，面对复杂疾病谱和庞大患者群，如何快速而准确地筛查诊断皮肤疾病已成为临床医学热点之一。对于多数皮肤疾病而言，病理诊断仍然是金标准，然而活检属于有创检查，加之存在成本较高、过程较长、技术要求较高、取材部位受限等制约因素，因此事实上病理活检远未普及，尚难以满足庞大的诊断需求。

3、在偏远或医疗资源相对短缺的地区，受地理位置和医疗资源的限制，患者就医成本高，大量皮肤疾病患者难以及时快速地进行皮肤病筛查，延误治疗。

技术实现思路

1、本发明的目的是提供一种皮肤病外观图像多病种快速筛查方法、装置、设备及介质，可以不受地理位置和医疗资源的限制，在偏远或医疗资源相对短缺的地区也可以进行诊断，降低医生的诊疗压力、患者的就医成本，帮助皮肤疾病患者实现早筛早检，避免延误治疗。

2、为实现上述目的，本发明提供了如下的技术方案：

3、第一方面，一种皮肤病外观图像多病种快速筛查方法，其特征在于，包括如下步骤：

4、s1.收集皮肤病外观图像形成数据集，建立皮肤病专业动态训练库；

5、s2.基于步骤s1，针对皮肤病专业动态训练库的动态更迭，通过云平台模型进行蒸馏学习进化，比较新老模型在新数据集上的准确率、召回率、混淆矩阵，可以实现皮肤病多病种筛查模型的自我学习、自我评价和自我进化；

6、s3.设置基于双线性注意力集中及注意力正则化损失数据增强策略的皮肤病多病种分类网络，通过双线性注意力集中及注意力正则化损失数据增强策略，将原始特征图、注意力集中特征图及注意力损失特征图融合后送入网络进行皮肤病种分类，有效提升模型分类性能；

7、s4.获取用户需要筛查的皮肤病外观图像，将该皮肤病外观图像引入s3中的皮肤病多病种分类网络中，用户通过个人终端装置拍照问诊；

8、s5.基于步骤s4，皮肤病多病种分类网络进行识别并给出最有可能的三种病种及其概率，云端识别并返回识别初筛结果，后续医生可对有疑问的病例进行人工确诊；

9、s6.基于步骤s5，将三种病种及其概率在用户端显示；

10、s7.将s4中获取的用户需要筛查的皮肤病外观图像返回s1中的数据集进行数据集扩充，并将s4中获取的用户需要筛查的皮肤病外观图像和s5中的识别结果返回s2中的云平台模型，帮助模型进行迭代进化。

11、优选的，云平台模型的蒸馏学习进化的方法为：

12、将云平台模型的蒸馏学习进化问题分解为三个不同目标，

13、error(x；h)＝e[(h(x；d)-y)2]＝b(x；h)+v(x；h)+i(x；h)

14、其中，x是输入，h(·)是分类网络，d是训练集分布，y是分类结果，b(x；h)是网络对数据x的分类损失，v(x；h)是网络对数据x的分类方差，i(x；h)是数据x的不可约损失。

15、优选的，蒸馏学习进化中，需训练学生网络损失，包括分类损失，分类损失函数为：

16、

17、其中，x是输入，y是预测输出，n是子分类器数量，fθ(·)是分类网络backbone提取的输入特征向量，表示每个子分类器对输入特征向量的预测。

18、优选的，蒸馏学习进化中，需训练学生网络损失，还包括分布多样性损失，分布多样性损失函数为：

19、

20、其中，x是输入，y是预测输出，dkl(·)是衡量p(i)(x,y)和p(j)(x,y)概率分布相似性的kl散度。

21、优选的，实现双线性注意力集中的具体步骤为：

22、s31.通过网络的backbone分别得到特征图和注意力图，其中每一个注意力图都代表了超声图像中病灶目标的特定部分，通过对注意力图和特征图的元素点乘，得到各个分部特征图，公式为：

23、fk＝ak⊙f(k＝1,2,…,n)

24、其中，k为分部的标号，fk为分部特征图，ak为注意力图，f为特征图，n为分部的数量，⊙为逐像素乘积；

25、s32.基于步骤s41，利用全局平均池化，处理各个分布特征图，

26、fk＝g(fk)

27、其中，g为更深层的特征提取函数，fk为经过进一步特征提取的分布特征图；

28、s33.基于步骤s42，将各个分布特征结合，得到特征矩阵，

29、

30、其中，p为分部特征矩阵，γ(a,f)为双线性注意力集中函数。

31、第二方面，本发明提供一种皮肤病外观图像多病种快速筛查装置，其特征在于，包括，

32、图像获取模块，用于获取用户需要筛查的皮肤病外观图像；

33、模型构建模块，用于构建云平台模型进行蒸馏学习进化；

34、识别筛查模块，用于皮肤病多病种识别筛查并输出最有可能的三种病种及其概率；

35、网络训练模块，用于对所述云平台模型进行迭代训练；

36、显示模块，用于根据识别筛查结果显示最有可能的三种病种及其概率。

37、第三方面，本发明提供一种皮肤病外观图像多病种快速筛查设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可用在所述处理器上运行的皮肤病外观图像多病种快速筛查的控制程序，所述皮肤病外观图像多病种快速筛查的控制程序被所述处理器执行时实现如上述的步骤。

38、第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的步骤。

39、本发明的有益效果是：可以不受地理位置和医疗资源的限制，在偏远或医疗资源相对短缺的地区也可以进行诊断，降低医生的诊疗压力、患者的就医成本，帮助皮肤疾病患者实现早筛早检，避免延误治疗。

技术特征：

1.一种皮肤病外观图像多病种快速筛查方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种皮肤病外观图像多病种快速筛查方法，其特征在于，云平台模型的蒸馏学习进化的方法为：

3.根据权利要求2所述的一种皮肤病外观图像多病种快速筛查方法，其特征在于，蒸馏学习进化中，需训练学生网络损失，包括分类损失，分类损失函数为：

4.根据权利要求2所述的一种皮肤病外观图像多病种快速筛查方法，其特征在于，蒸馏学习进化中，需训练学生网络损失，还包括分布多样性损失，分布多样性损失函数为：

5.根据权利要求1所述的一种皮肤病外观图像多病种快速筛查方法，其特征在于，实现双线性注意力集中的具体步骤为：

6.一种皮肤病外观图像多病种快速筛查装置，其特征在于，包括，图像获取模块，用于获取用户需要筛查的皮肤病外观图像；

7.一种皮肤病外观图像多病种快速筛查设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可用在所述处理器上运行的皮肤病外观图像多病种快速筛查的控制程序，所述皮肤病外观图像多病种快速筛查的控制程序被所述处理器执行时实现如权利要求1-5中任一项所述的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-5任一项所述的步骤。

技术总结
本发明涉及图像处理技术领域，具体涉及一种皮肤病外观图像多病种快速筛查方法、装置、设备及介质，包括如下步骤：收集皮肤病外观图像形成数据集，建立皮肤病专业动态训练库；通过云平台模型进行蒸馏学习进化；设置皮肤病多病种分类网络；获取用户需要筛查的皮肤病外观图像并将其引入皮肤病多病种分类网络中；皮肤病多病种分类网络进行识别并给出最有可能的三种病种及其概率；将三种病种及其概率在用户端显示；将识别结果返回云平台模型，进行迭代进化，可以不受地理位置和医疗资源的限制，在偏远或医疗资源相对短缺的地区也可以进行诊断，降低医生的诊疗压力、患者的就医成本，帮助皮肤疾病患者实现早筛早检，避免延误治疗。

技术研发人员：曹旭,石一磊
受保护的技术使用者：脉得智能科技（无锡）有限公司
技术研发日：
技术公布日：2024/1/12