一种皮肤病治疗效果自动评估方法与系统与流程

本发明涉及一种皮肤病治疗效果自动评估方法与系统。

背景技术：

皮肤病(dermatosis)是发生在皮肤和皮肤附属器官上病症的总称。皮肤病的种类繁多，常见的皮肤病包括：病毒性、细菌性、真菌性和过敏性等皮肤病。皮肤病的识别和过程定性分析是一个巨大的工作量。目前，皮肤病患者在医院找皮肤科医生看病之后，皮肤科医生了解患者情况后，针对皮肤病患者开出了药品单。皮肤病患者拿到药品后，回家自行用药和观察皮肤病的治疗进展，后续的过程，基本没有医生参与。皮肤病患者没有相关知识或经验，很难进行皮肤病的全程效果评估。

技术实现要素：

本发明的目的在于提供一种快算、便捷且直观的皮肤病治疗效果自动评估方法与系统。

本发明的目的通过如下技术方案实现：一种皮肤病治疗效果自动评估方法，它包括以下步骤：

(1)按时采集同一皮肤病病例治疗过程中不同时间的皮肤病病灶图像；

(2)利用治疗效果评估器对每次采集的皮肤病病灶图像进行处理评估，得到该皮肤病病例的治疗效果评估信息；所述治疗效果评估信息包括各病灶图像的治疗效果量化数据以及该皮肤病病例的治疗效果时间线(即治疗效果趋势图)；所述治疗效果量化数据包括各病灶图像的病灶面积数据以及各病灶图像中各个级别颜色所占的面积数据。

一种皮肤病治疗效果自动评估系统，它包括客户终端以及皮肤病治疗效果自动评估服务器；

所述客户终端包括病例建立模块、数据采集模块、存储模块a以及数据传输模块a；

病例建立模块用于建立皮肤病病例；

数据采集模块用于采集所建立的皮肤病病例的皮肤病病灶图像；

存储模块a用于存储数据采集模块采集的皮肤病病灶图像以及存储治疗效果评估结果；

数据传输模块a用于将数据采集模块采集的皮肤病病灶图像传输给皮肤病治疗效果自动评估服务器并接收皮肤病治疗效果自动评估服务器输出的治疗效果评估结果；

所述皮肤病治疗效果自动评估服务器包括数据传输模块b、存储模块b、图像预处理模块、治疗效果评估器以及治疗效果评估结果生成模块；

数据传输模块b用于接收客户终端传输的皮肤病病灶图像、接收治疗效果评估结果生成模块生成的治疗效果评估结果并向客户终端输出治疗效果评估结果；

存储模块b用于存储数据传输模块b接收的皮肤病病灶图像以及存储治疗效果评估结果生成模块生成的治疗效果评估结果；

图像预处理模块用于对存储模块b中的图像通过图像去冗余算法去除图像中的冗余图像，再对去冗余后的图像进行旋转并归一化到统一大小；

治疗效果评估器分为空间维度治疗效果评估模块以及时间维度治疗效果评估模块；

所述空间维度治疗效果评估模块利用空间维度的治疗效果评估算法得出皮肤病病例的皮肤病治疗效果量化数据；

所述时间维度治疗效果评估模块利用时间维度的治疗效果评估算法得出皮肤病病例的治疗效果时间线；

治疗效果评估结果生成模块根据治疗效果评估器得出的皮肤病治疗效果量化数据以及治疗效果时间线生成治疗效果评估结果。

较之现有技术而言，本发明的优点在于：

1.本发明的皮肤病治疗效果自动评估方法能够让患者根据定期采集并上传的病灶图像，快速地得到准确的治疗效果评估信息。

2.本发明的皮肤病治疗效果自动评估系统采集皮肤病患者的患处局部图像，然后通过基于深度学习的皮肤病治疗效果自动评估服务器，确定皮肤病患者的治疗进度，并给出相关的建议和注意事项。皮肤病患者获得了准确的治疗信息，能够增强对诊疗方案的信心，消除不确定性，并且增进了医患关系。

3.本发明的皮肤病治疗效果自动评估服务器能够完成皮肤病病例空间维度的治疗效果评估与时间维度的治疗效果评估。

4.皮肤病治疗效果自动评估服务器完成空间维度的治疗效果评估，能够计算皮肤病的面积占比以及病灶分级(重中轻)的面积占比。

5.皮肤病治疗效果自动评估服务器完成时间维度的治疗效果评估，能够计算治疗效果时间线提取时间有用的信息。

6.肤病患者能够在没有医学知识的前提下，进行无门槛的皮肤病全程效果评估，能够让患者更多的了解自己的治疗情况，皮肤病患者再了解详细的治疗信息之后，能够减轻焦虑并对治疗方案保持信心。

附图说明

图1是本发明皮肤病治疗效果自动评估系统的流程原理图。

图2是空间维度治疗效果评估模块进行空间维度治疗效果评估的步骤。

图3是空间维度治疗效果评估步骤中皮肤病不同时间病灶图像的图像配准过程图。

图4是时间维度治疗效果评估模块进行时间维度治疗效果评估的流程图，

图5是治疗效果时间线示意图。

具体实施方式

下面结合说明书附图和实施例对本发明内容进行详细说明：

实施例一：

如图1-5所示为本发明提供的一种皮肤病治疗效果自动评估系统的实施例示意图。

本发明提供的一种皮肤病治疗效果自动评估系统采集皮肤病患者的患处局部图像，然后通过基于深度学习的皮肤病治疗效果自动评估服务器，确定皮肤病患者的治疗进度，并给出相关的建议和注意事项。如图1所示，该皮肤病治疗效果自动评估系统的流程原理为：

(1)用户在客户终端(如皮肤病全程评估app)中进入某个建立好的皮肤病病例。(2)皮肤病全程评估app采集皮肤病症状照片，采集过程中皮肤病全程评估app会自动缩放和裁剪照片到预设大小。(3)通过皮肤病治疗效果自动评估服务器，利用相关皮肤病治疗效果评估算法，得到皮肤病治疗效果相关的信息。(4)皮肤病全程评估app展示治疗效果评估信息。下面对本发明的皮肤病治疗效果自动评估系统作更细致的阐述：

所述皮肤病治疗效果自动评估系统，它包括客户终端以及皮肤病治疗效果自动评估服务器；

所述客户终端包括病例建立模块、数据采集模块、图像检测模块、存储模块a以及数据传输模块a；

病例建立模块用于建立皮肤病病例；

数据采集模块用于采集所建立的皮肤病病例的皮肤病病灶图像；

图像检测模块用于检测新采集的皮肤病病灶图像是否与当前操作的皮肤病病例匹配；图像检测模块对皮肤病病灶图像检测的方法为：

a.将新采集的病灶图像与当前操作的皮肤病病例进行时间相关性检测，病灶的时间相关性检测优选线性函数或高斯函数关系，超过阈值则时间相关性检测失败，即新采集的病灶图像不属于该皮肤病病例的病灶图像；

b.新采集的病灶图像与当前操作的皮肤病病例进行病灶相关性检测，病灶相关性检测先提取病灶图像的边缘特征；再将病灶边缘特征进行图像配准，如果配准特征匹配率高(匹配20个特征，匹配率超过20％)，则病灶相关性检测成功，否则检测失败；

c.使用相关性判别器，融合判断病灶图像序列的时间相关性和病灶相关性，如果病灶图像序列(如5张病灶图像组成的病灶图像序列)的病灶相关性(20％,40％,60％,70％,80％，时间越临近，匹配度越高)，符合时间相关性的线性函数或高斯函数关系，则最终匹配成功，即新采集的病灶图像为该皮肤病病例的病灶图像。

图像检测模块的设定防止将非当前病例的图像上传至该病例中，如在湿疹病例中上传了手足癣图像时，图像检测模块会自动检测这种错误行为，并给出错误提示。

存储模块a用于存储数据采集模块采集的皮肤病病灶图像以及存储治疗效果评估结果；

所述客户终端还包括图像处理模块，所述图像处理模块用于对数据采集模块a采集的皮肤病病灶图像进行自动缩放或裁剪到预设大小；

数据传输模块a用于将图像处理模块处理的皮肤病病灶图像传输给皮肤病治疗效果自动评估服务器并接收皮肤病治疗效果自动评估服务器输出的治疗效果评估结果；

所述客户终端可以为安装于手机或电脑上的应用程序(即app，如带上述功能的皮肤病全程评估app)。

所述皮肤病治疗效果自动评估服务器包括数据传输模块b、存储模块b、图像预处理模块、治疗效果评估器以及治疗效果评估结果生成模块；

数据传输模块b用于接收客户终端传输的皮肤病病灶图像、接收治疗效果评估结果生成模块生成的治疗效果评估结果并向客户终端输出治疗效果评估结果；

存储模块b用于存储数据传输模块b接收的皮肤病病灶图像以及存储治疗效果评估结果生成模块生成的治疗效果评估结果；

图像预处理模块用于对存储模块b中的图像通过图像去冗余算法去除图像中的冗余图像，再对去冗余后的图像进行旋转并归一化到统一大小；

所述图像去冗余算法去除图像中的冗余图像的具体方法可以为：

根据如下图像去冗余算法先计算出时间序列上相邻的两个图像之间的相似度si；

其中，n为图像宽度，gi源图像像素列，si目的图像像素列，时间序列在前的图像为源图像，时间序列在后的图像为目的图像；根据如下公式计算时间序列上相邻的两个图像之间的相似度si的加权平均值si′：

si′＝0.299sir+0.587sig+0.114sib

其中，sir为红色的si值，sig为绿色的si值，sib为蓝色的si值；

判断上述加权平均值si′是否在预设的相似度阈值范围内，如果是，则删除，则表示时间序列上相邻的两个图像相似，此时删除目的图像，如果否，则表示时间序列上相邻的两个图像不相似，保留上述时间序列上相邻的两个图像。

治疗效果评估器分为空间维度治疗效果评估模块以及时间维度治疗效果评估模块；

所述空间维度治疗效果评估模块利用空间维度的治疗效果评估算法对图像预处理模块预处理后的图像进行计算处理，得出皮肤病病例的皮肤病治疗效果量化数据；

所述治疗效果量化数据包括各病灶图像的病灶面积数据以及各病灶图像中各个级别颜色所占的面积数据；

所述空间维度的治疗效果评估算法包括以下步骤(如图2所示)：

①检测皮肤病病灶图像的合法性：对病灶图像进行合法性检测并保留合法的病灶图像，所述合法的病灶图像要求：图像的主体是皮肤病病灶图片以及图像的病灶主体表面不包含遮盖物、污渍与水分。如检测不符合处理要求，则将错误结果返回给客户终端，客户终端再按照某种逻辑进行错误处理。

②皮肤病病灶图像预处理；皮肤病病灶图像预处理包括增强图像特征、增强图像亮度与调整对比度等操作；

③删除病灶图像中非病灶主体；

④图像配准：采用旋转与缩放操作完成皮肤病病灶图像与该病例的历史病灶图像的配准操作，将该病例下的所有病灶图像配置到同一个空间坐标系中；

图像必须进行配准操作否则病灶图像的空间维度效果评估无法进行。病灶图像配准是指将病灶图像配置到同一个空间坐标系中。随机拍摄的图像一般存在角度旋转、焦距变化等随机因素，通常前后的病灶图像存在明显的对应关系。配准操作，就是为了找出前后的病灶图像对应关系，采用旋转和缩放操作完成简单的病灶图像的配准操作，使各病灶图像的角度以及图像中的主体大小相同(如图3所示)。

⑤病灶面积计算：图像配准后，分别计算各病灶图像的病灶面积；

⑥分级效果面积计算：按照皮肤病的颜色分级，计算各病灶图像中各个级别颜色所占的面积即分级效果面积；病灶图像中各个级别颜色所占有的面积计算采用逐点颜色模糊匹配法。分级效果面积计算时，可将一张病灶图像的病灶按照皮肤病的颜色分级分成若干颜色深度不同的小病灶，再计算各个小病灶的面积。其中，颜色分级根据颜色程度暗红、鲜红、中红、浅红以及微红可分为5个等级。

所述时间维度治疗效果评估模块利用时间维度的治疗效果评估算法对图像预处理模块预处理后的图像进行计算处理，得出皮肤病病例的治疗效果时间线；

所述时间维度的治疗效果评估算法包括以下步骤(如图4所示)：

1)读取当前皮肤病病例的所有病灶图像；

2)融合核心量化指标：

ⅰ.分别计算病灶图像的病灶边缘总面积(即病灶面积)；

ⅱ.分别计算病灶图像的分级效果面积：将一张病灶图像的病灶按照皮肤病的颜色分级分成若干个颜色深度不同的小病灶，再计算各个小病灶面积；其中，颜色分级根据颜色程度暗红、鲜红、中红、浅红以及微红可分为5个等级，这5个等级的颜色权重可分别定为5分权重、4分权重、3分权重、2分权重以及1分权重；

ⅲ.利用以下公式将病灶面积、小病灶面积以及颜色权重，融合成一个核心量化指标；

3)根据核心量化指标得出与该量化指标对应的该皮肤病病例的治疗效果时间线(如图5所示)；

4)估算后续治疗时间。

治疗效果评估结果生成模块根据治疗效果评估器得出的皮肤病治疗效果量化数据以及治疗效果时间线生成治疗效果评估结果。

所述治疗效果评估结果包括以下内容：治疗效果时间线、患者当前状态(即最新上传的肤病病灶图像所处的状态，包括该病灶图像的病灶面积数据以及病灶图像中各个级别颜色所占的面积数据)、相对应的医嘱、患者注意事项等。

皮肤病治疗效果自动评估服务器完成空间维度的治疗效果评估和时间维度的治疗效果评估之后，将治疗效果时间线，并结合皮肤病患者的状态，给出相对应的医嘱或注意事项。皮肤病全程评估app收到到这些数据之后，展示这些数据。

实施例二：

一种皮肤病治疗效果自动评估方法，它包括以下步骤：

(1)按时采集同一皮肤病病例治疗过程中不同时间的皮肤病病灶图像；

(2)利用治疗效果评估器对每次采集的皮肤病病灶图像进行处理评估，得到该皮肤病病例的治疗效果评估信息；所述治疗效果评估信息包括各病灶图像的治疗效果量化数据以及该皮肤病病例的治疗效果时间线(即治疗效果趋势图)；所述治疗效果量化数据包括各病灶图像的病灶面积数据以及各病灶图像中各个级别颜色所占的面积数据。

所述治疗效果评估器对采集的皮肤病病灶图像进行时间维度的治疗效果评估与空间维度的治疗效果评估；

空间维度的治疗效果评估得出所述皮肤病治疗效果量化数据；

时间维度的治疗效果评估得出治疗效果时间线。

空间维度的治疗效果评估包括以下步骤(如图2所示)：

①皮肤病病灶图像预处理；皮肤病病灶图像预处理包括增强图像特征、增强图像亮度与对比度等操作；

②删除病灶图像中非病灶主体；

③图像配准：皮肤病病灶图像与该病例的历史病灶图像进行配准操作，将该病例下的所有病灶图像配置到同一个空间坐标系中；

④病灶面积计算：图像配准后，分别计算各病灶图像的病灶面积；

⑤分级效果面积计算：按照皮肤病的颜色分级，计算各病灶图像中各个级别颜色所占的面积即分级效果面积；病灶图像中各个级别颜色所占有的面积计算采用逐点颜色模糊匹配法。分级效果面积计算时，可将一张病灶图像的病灶按照皮肤病的颜色分级分成若干颜色深度不同的小病灶，再计算各个小病灶的面积。其中，颜色分级根据颜色程度暗红、鲜红、中红、浅红以及微红可分为5个等级。

空间维度的治疗效果评估步骤还包括在皮肤病病灶图像预处理前的病灶图像合法性检测；病灶图像合法性检测并保留合法的病灶图像，所述合法的病灶图像要求：图像的主体是皮肤病病灶图片以及图像的病灶主体表面不包含遮盖物、污渍与水分。

步骤③采用旋转与缩放操作完成病灶图像的配准。

图像必须进行配准操作否则病灶图像的空间维度效果评估无法进行。病灶图像配准是指将病灶图像配置到同一个空间坐标系中。随机拍摄的图像一般存在角度旋转、焦距变化等随机因素，通常前后的病灶图像明显的对应关系。配准操作，就是为了找出前后的病灶图像对象关系，采用旋转和缩放操作完成简单的病灶图像的配准操作，使各病灶图像的角度以及图像中的主体大小相同(如图3所示)。

时间维度的治疗效果评估包括以下步骤(如图4所示)：

1)读取当前皮肤病病例的所有病灶图像；

2)融合核心量化指标：

ⅰ.分别计算病灶图像的病灶边缘总面积(即病灶面积)；

ⅱ.分别计算病灶图像的分级效果面积：将一张病灶图像的病灶按照皮肤病的颜色分级分成若干个颜色深度不同的小病灶，再计算各个小病灶面积；其中，颜色分级根据颜色程度暗红、鲜红、中红、浅红以及微红可分为5个等级，这5个等级的颜色权重可分别定为5分权重、4分权重、3分权重、2分权重以及1分权重；

ⅲ.利用以下公式将病灶面积、小病灶面积以及颜色权重，融合成一个核心量化指标；

3)根据核心量化指标得出与该量化指标对应的该皮肤病病例的治疗效果时间线(如图5所示)；

4)估算后续治疗时间。

所述的皮肤病治疗效果自动评估方法，在利用治疗效果评估器对采集的皮肤病病灶图像进行处理评估前，对皮肤病病灶图像进行检测，检测新采集的皮肤病病灶图像是否与当前操作的皮肤病病例匹配。

皮肤病病灶图像检测的方法为：

a.将新采集的病灶图像与当前操作的皮肤病病例进行时间相关性检测，病灶的时间相关性检测优选线性函数或高斯函数关系，超过阈值则时间相关性检测失败，即新采集的病灶图像不属于该皮肤病病例的病灶图像；

b.新采集的病灶图像与当前操作的皮肤病病例进行病灶相关性检测，病灶相关性检测先提取病灶图像的边缘特征；再将病灶边缘特征进行图像配准，如果配准特征匹配率高(匹配20个特征，匹配率超过20％)，则病灶相关性检测成功，否则检测失败；

c.使用相关性判别器，融合判断病灶图像序列的时间相关性和病灶相关性，如果病灶图像序列(如5张病灶图像组成的病灶图像序列)的病灶相关性(20％,40％,60％,70％,80％，时间越临近，匹配度越高)，符合时间相关性的线性函数或高斯函数关系，则最终匹配成功，即新采集的病灶图像为该皮肤病病例的病灶图像。

需要说明的是本说明书未作详细描述的内容(如图像归一化、图像自动缩放或裁剪等技术、病灶图像的病灶边缘总面积计算等)属于本领域专业技术人员公知的现有技术。