具有隐私保护功能的舌像采集方法和系统与流程

本发明涉及具有隐私保护功能的舌像采集方法和系统。

背景技术：

近年来，随着计算机技术的发展，中医药现代化的研究越来越受到人们的重视与关注。舌诊作为中医的特色诊法，具有相对完整的理论依据，通过表象揭示了人体生理病理的客观现象，并被人们广泛接受与认可。人们开始利用深度学习，机器视觉等方法结合中医专家丰富的临床经验推动舌诊客观化、标准化等相关研究。目前，采用数字图像处理方法对舌像的自动分析已成为研究主流，并且国内外先后研制出了多个舌像采集与处理系统。

技术实现要素：

但是本发明人注意到的一个问题是，在舌像采集的过程中，被采集人的隐私并没有得到有效的保护。例如，市面上常见的舌像仪在采集舌像的过程中，往往是将人脸整体同舌体区域一并采集下来；不仅没有对病人的身份，面部等隐私信息进行保护，还会使得病人在采集数据的过程中产生抗拒心理，不利于数据的收集；同时，要更好的推动中医药现代化的研究，一个重要的环节就是整理并收集舌像数据，建立开源的、供广大科研人员进行科学分析的中医舌像数据库；这些都要求在采集舌像的同时对被采集人的隐私进行保护，从而不泄露被采集人的个人身份等敏感信息。

基于上述考虑，发明人提出了一种采用隐私保护的中医舌像采集方法。

根据本发明的一个方面，提供了一种具有隐私保护功能的舌像采集方法，其特征在于包括：

a)确定舌像图片中的舌体区域的坐标位置，

c)对舌像图片舌体以外的至少一部分区域进行模糊处理。

其中所述步骤a)包括：

对利用采集设备得到的原始舌像图片进行缩放，设原始舌像图片长、宽像素大小分别为l0和w0，使缩放后的图片长宽l1，w1为：

其中缩放比r为：

其中，缩放比r为小于等于1的情况即不进行缩放操作的情况，

对经过上述缩放的舌像图片进行分割操作，得到像素大小为150×150的子图块，

把子图块输入到训练完善的卷积神经网络中，得到子图块属于舌体区域的逻辑斯蒂回归值，

设所有子图块的逻辑斯蒂回归值构成矩阵r，利用公式(5)得到舌体的中心位置的子图块。

(xcentral，ycentral)＝argmax(r[xi，yi]+r[xi-1，yi]+r[xi+1，yi]+r[xi，yi-1]+r[xi，yi+1])÷5

(5)

其中，(xi，yi)为分割子图块集合中第i项的列数和行数，(xcentral，ycentral)为中心位置的子图块的位置坐标，

把得到的中心位置(xcentral，ycentral)向上下左右四个方向延拓，设定停止延拓的阈值，得到延拓停止的坐标(xtop，ytop)、(xbottom，ybottom)、(xleft，yleft)、(xright，yright)，

根据延拓得到的坐标(xtop，ytop)、(xbottom，ybottom)、(xleft，yleft)、(xright，yright)所在的子图块即终止子图块的位置，结合该终止子图块由神经网络输出得到的逻辑斯蒂回归概率值，确定：

舌体区域s0的上边界的坐标值：

舌体区域s0的下边界的坐标值：

舌体区域s0的左边界的坐标值：

舌体区域s0的右边界的坐标值：

把需要保留的舌体部分矩形区域s0左上角坐标和右下角坐标分别为：

(left，top)，(right，bottom)(9)。

根据本发明的另一个方面，提供了存储有计算机程序的存储介质，该计算机程序能使处理器执行上述的舌像采集方法。

根据本发明的又一个方面，提供了具有隐私保护功能的舌像采集系统，该系统执行上述的舌像采集方法。

附图说明

图1用于图像分类的卷积神经网络结构图；

图2(a)－图2(e)显示了根据本发明的一个实施例(即舌像仪环境下的实施例)的具有隐私保护功能的舌像采集方法的过程示意图；其中图2(a)为采集得到的原图像，图2(b)为原图像经过缩放和分割得到的子图集合，图2(c)利用卷积神经网络对子图块的分类结果，并经过延拓得到的覆盖区域，图2(d)显示了经由逻辑判断得到的包含完整舌体的矩形区域，图2(e)显示了最终得到的经过处理的采集图像；

图3(a)－图3(e)显示了根据的本发明另一个实施例(即在开放式采集环境下的实施例)的具有隐私保护功能的舌像采集方法的过程示意图。

具体实施方式

本说明书全文引用本申请人2018年08月10日提交的、申请号第2018109118581号、题目为“一种基于深度卷积网络与水平集方法的中医舌像定位方法和系统”的中国专利申请，并全文引用2018年07月08日提交的中国专利申请第201810741280.x号。

根据本发明的一个实施例的采用隐私保护的中医舌像采集方法利用卷积神经网络构建可以识别人脸特征部位(舌体区域)的网络模型。在保留舌体图像不变的条件下，对其他可以识别采集人身份等隐私信息的区域进行模糊处理，从而有效地解决中医舌像采集过程中存在的隐私问题。

为实现上述目的，在根据本发明的一个实施例的采用隐私保护的中医舌像采集方法中，对原始采集图片进行缩放和分割操作，并对得到的分割子图块利用卷积神经网络进行分类操作。对分类的结果进行逻辑判断，得到需要模糊处理区域的坐标，并经过逆变换得到上述区域在原始图片中的坐标位置。最终经过模糊操作实现对采集人的隐私保护过程。

此外，考虑到该方法的实际可应用性，为了即使在计算能力较弱的智能手机采集平台上也可以实现本发明的隐私保护方案，在根据本发明的一个实施例中，对卷积神经网络的结构进行了针对性设计并采取了数据预处理等措施，使得在计算量与准确性上达到了合适的平衡。

根据本发明的一个实施例的采用隐私保护的中医舌像采集方法包括：

1.对原始图像进行缩放，保持图像的纵横比并记录缩放比率。根据本发明的一个具体实施例，所采取的缩放策略是使缩放得到的图像规模接近1百万像素级别，得到的缩放图像被分割成150×150像素大小的多个子图块。

2.构建训练卷积神经网络模型所需的数据集；在根据本发明的一个实施例中，构建了包含5万张图片的数据集，集中数据尺寸为150×150像素。

并对这些用于训练的数据进行人工标注语义分类标签。由专业的数据标注人员分别对图像中属于舌体区域，背景区域的不同子图块的分类标签进行人工标注。得到高质量的标注数据。

3.对卷积神经网络模型进行设计和训练，根据本发明的一个实施例的卷积神经网络包括输入层，卷积层，池化层，全连接层，逻辑斯蒂回归(softmax)层和输出层。可以实现对图像的分类任务。

4.利用训练好的卷积神经网络模型对步骤1中分割的图像进行分类，得到分类结果的概率值。

5.通过逻辑判断得到舌体区域在缩放图片中的坐标位置，并根据缩放比率做逆变化得到上述区域在原始图片中的坐标。

6.在采集到的原始图片和/或缩放图片中对舌体以外的至少一部分区域进行模糊处理。

7.保留进行过上述模糊处理的图片，并替换原始图片。

与现有的中医舌像采集方式相比，本发明具有以下明显的优势和有益效果：

1.有效实现了对被采集人的隐私保护功能。本发明提出的在采集过程中，对被采集人的隐私信息进行处理的方式，是传统的中医舌像采集方式所不具备的。本发明方法可以有效减少被采集人的个人隐私泄露，降低被采集人的抗拒心理。以及对中医舌像信息数据库的建立与推广起到有益推动作用。

2.实现的卷积神经网络可以应用于开放式采集环境。本发明方法在不同的采集环境、光照强弱，拍摄角度下都可以实现舌体区域的判别，应用性广。

3.设计了一种规模较小但却具有较高准确性的卷积神经网络，网络仅包含3层卷积层与两层全连接层，分类准确率却达到94.9％。使得可以在包括手机端等计算能力较弱的平台的采集过程中也能实现隐私保护功能，推动中医舌像的智能采集工作。

下面将参照附图，对本公开地示例性实施例做更详细地描述。

本发明针对分割图像的分类问题设计了一种卷积神经网络模型，并利用收集得到的数据集对网络进行训练，最终得到可以用于对舌体和背景区域分类的网络模型。图1展示了本发明利用的卷积神经网络结构图。本模型的整体结构设计如下：网络结构包含输入层，卷积层，池化层，以及全链接层、逻辑斯蒂回归(softmax)层和输出层。其中，输入层的输入数据为尺寸大小为150×150×3的彩色子图块。考虑到实用性，为尽可能降低计算量，网络仅包含3个卷积层，分别含有10，10，1个卷积核，所有卷积核的大小均为5×5。池化层位于卷积1层和卷积2层之后，共两层池化层。并采用核大小为2×2的平均池化层。卷积3层经过延展变换与全连接层相连。全连接层共包含两层，神经元的数量分别为300和100个。全连接层与输出层相连，最终得到图像对于每个类别的逻辑斯蒂回归交叉熵。其中，本发明采用的激活函数为线性整流函数(relu)。

对于我们的网络结构，其中最重要的组成部分是卷积层，卷积层中的神经元不与输入图像中的每一个像素相连，而是与其感受域中的像素相连。进而，下一层卷积层中的每个神经元仅与位于上一层中的小矩形内的神经元即感受域相连接。这种架构允许神经网络专注于第一个隐藏层的低级特征，然后将它们组装成下一个隐藏层的高级特征。这种分层结构在现实世界的图像中很常见，这是卷积神经网络在图像识别方面效果良好的原因之一。在这里卷积核与输入值通过卷积运算并加上偏置值输入到线性整流激活函数得到下一层所需的输入。

池化层的输入与卷积层的输出相连接。其中的每个神经元都连接到前一层中有限数量的神经元的输出，位于一个小的矩形感受域内。然而，汇集神经元没有权重；它所做的只是使用聚合函数来聚合输入。在本发明中，我们使用2×2大小的内核，跨度为2。将每个内核中的平均值直接输入到下一层。

对通过三层卷积层得到的特征经由全连接层的前向传播得到图像归属于每一类预测值的大小，并利用计算值经过逻辑斯蒂回归层给出属于每一类的概率值。我们利用交叉熵作为损失函数，如公式1所示，采用反向传播训练网络结构参数。

其中loss是交叉熵的值，n为输入样本数量，p为期望输出概率，q为卷积神经网络通过前向传播计算得到的实际输出。

最终我们构建的卷积神经网络在测试集2000张图像(正负样本各1000张)上的分类准确率高达94.9％。

2(a)－图2(e)表示了在标准环境下的采集过程中自动对舌体区域以外部分进行模糊处理的隐私保护方法，并根据本发明的一个具体实施例给出详细的流程示意图。具体步骤包括：

通过采集设备得到原始采集图片，并作为输入图片。对原始输入图片(图2(a))进行缩放。设图像长，宽像素大小分别为l0和w0，则缩放后的图片长宽l1，w1为：

这样，无论采集得到的原始图像像素大小为多少，我们都会缩放得到相同规模，即100万像素点左右的图像。其中缩放比r为：

对缩放图像进行分割操作，得到像素大小为150×150的图块(图2(b))，并输入到训练完善的卷积神经网络中，得到图块属于舌体区域的逻辑斯蒂回归值。并设所有分割图片的逻辑斯蒂回归值构成矩阵r，利用公式5，得到舌体中心位置图块。

(xcentral，ycentral)＝argmax(r[xi，yi]+r[xi-1，yi]+r[xi+1，yi]+r[xi，yi-1]+r[xi，yi+1])÷5

(5)

其中，令(xi，yi)为分割图块集合中第i项的列数和行数。则中心图块位置坐标(xcentral，ycentral)，根据公式5，能够有效去除卷积神经网络的误判区域，进一步提升准确率。

得到的中心位置向上下左右四个方向延拓，设定停止延拓的阈值为0.8，得到延拓停止的坐标(xtop，ytop)，(xbottom，ybottom)，(xleft，yleft)，(xright，yright)。

根据延拓得到的终止图块位置(图2(c))，结合该图块由神经网络输出得到的逻辑斯蒂回归概率值，计算舌体区域s0的上边界坐标值：

则判定为需要保留的舌体部分矩形区域s0左上角坐标，右下角坐标分别为：

(left，top)，(right，bottom)(9)

经逆变换得到在原始图像中区域s的两角坐标分别为：

(r×left，r×top)

(r×right，r×bottom)(10)

该矩形(图2(d))之外表示的区域则为原图像需要保护的部分。

对需要保护的部分进行模糊处理，利用邻域的任意一点替代当前邻域的所有像素点，并采取32倍间隔采样，即邻域为32×32像素点大小。

图3(a)-图3(e)表示了在开放式采集环境中自动对除舌体区域部分进行模糊处理的隐私保护的一个示例，表明了经过训练的神经网络对背景环境、光照强弱等因素变化的鲁棒性与自适应性，说明本发明方法具有广泛的实际应用价值。

图3(a)中显示了一种便携式舌像颜色校正色卡，用于进行借助便携式舌像颜色校正色卡的舌像识别方法。在本申请人于2018年07月08日提交的、名称为“中医智能舌诊中的舌像识别方法和用于该方法的便携式校正色卡”、申请号为201810741280.x的中国专利申请中，公开了一种便携式舌像颜色校正色卡和采用其的舌像识别方法；该201810741280.x号申请在此被全文引用。

根据本发明的一个实施例，在如图3(a)－图3(e)所示的、采用便携式舌像颜色校正色卡的情况下，先对舌像图片进行借助便携式舌像颜色校正色卡的舌像识别，然后再对该舌像图片中的舌体区域以外的至少一部分进行模糊处理。

图3(a)－图3(e)显示了根据的本发明另一个实施例(即在开放式采集环境下的实施例)的具有隐私保护功能的舌像采集方法的过程示意图。其过程同图2，其中图3(a)为在开放环境下采集得到的原图像，并采用了便携式校正色卡对图像的颜色进行校正，图3(b)为原图像经过缩放和分割得到的子图块集合，图3(c)利用卷积神经网络对子图块的分类结果，并经过延拓得到的覆盖区域，上下左右边界即为延拓得到的停止坐标。图3(d)显示了经由公式6、7、8、9、10计算得到的包含完整舌体的矩形区域，图3(e)显示了对矩形区域外的隐私保护区域进行处理的过程，最终得到的经过处理的采集图像，实现了对被采集人的隐私保护。

与标准环境即舌像仪下的拍摄不同，开放式环境的光照强度、背景等都是不确定的，所以需要对颜色进行校正。由于本发明对被采集人的舌体之外的大部分区域都进行了模糊处理，导致后续难以利用背景、光照等信息对颜色进行校正，本发明借助便携式色卡在采集的过程中完成图像的颜色校正，并对实现了校正与隐私处理之后的图像进行上传保存。

同时，值得注意的是，本发明的神经网络本身对舌像区域的识别并不需要对图像颜色校正的预处理过程，该神经网络对各种光照条件都有良好的适应性，具有较强的鲁棒性。即使在缺少色卡的开放环境下，也能正确的识别并对被采集人的隐私进行保护。

最终采集得到的图像为原始图像经过处理后的图像，使采集过程存在的被采集人隐私泄露的问题得到有效解决，实现了对一种保护隐私的中医舌像采集方法。