物联网中基于拉普拉斯特征映射和外包计算的人脸识别方法及系统

本发明涉及人脸识别，特别涉及一种物联网中基于拉普拉斯特征映射和外包计算的人脸识别方法及系统。

背景技术：

1、人脸识别作为一种重要的生物特征识别技术，广泛存在于考勤系统、智能安全系统等各种新兴智能物联网(internet of things，iot)应用中，给我们的日常生活带来了极大的便利。一般地，人脸识别技术由图像采集、图像预处理、特征提取与降维、分类识别等部分组成。采集的人脸图像以矩阵的形式进行存储和运算，在特征提取与降维计算中，常涉及矩阵乘法、矩阵特征值分解等多种矩阵操作，计算开销较大。并且，随着人脸图像识别规模的增长，特征矩阵的维数也随之增加，可以达到数千甚至数百万，计算难度将呈指数级增长。

2、与此同时，随着边缘计算、联邦学习等技术的发展，iot终端设备也参与到人脸识别计算任务中。但是，iot终端设备的计算和存储资源受限，难以完成人脸识别任务中计算开销较大的特征降维算法。外包计算是一种将计算密集型的计算任务外包给功能强大的云服务器来完成的计算模式，客户端只需要对外包计算任务按次付费，可极大地降低对客户端设备的性能要求，减少客户端需额外部署软/硬件的开销。因此，在物联网环境下，人脸识别任务中特征降维算法常采用外包计算模式实现。

3、目前，学者们对人脸识别计算任务中的线性特征降维外包算法进行了深入研究。线性降维算法基于数据内在的全局线性欧氏结构进行特征抽取或数据表示，具有简单、便于计算等优点，是一种得到广泛应用的特征降维方法。然而，由于表情、光照、姿态等变化引起的人脸图像之间的差异造成人脸图像在高维空间的分布是非线性的。这时，采用传统的线性降维方法难以取得较好的识别效果。因此，基于非线性降维的人脸识别技术引起了研究者们的广泛关注，并取得了极大的发展。在非线性降维方法中，拉普拉斯特征映射是一种经典的流形降维方法。该方法基于谱图理论，具备对高维数据进行表达的能力，能够发现并提取出高维图像数据中潜在结构和非线性特征，现已成功地应用于人脸识别、无线传感器网络定位等领域。其基本思想是通过求解拉普拉斯矩阵的最平滑特征向量来得到数据的内在结构特征，其中最平滑特征向量对应于最小的特征值。虽然用拉普拉斯特征映射方法可以较好的解决高维非线性人脸图像数据的降维问题，但拉普拉斯特征映射中涉及广义特征值分解问题，该问题的计算复杂度为o(n3)(n表示数据维数)。这对于计算和存储资源受限的iot设备来说，难以承受。

技术实现思路

1、为此，本发明提供一种物联网中基于拉普拉斯特征映射和外包计算的人脸识别方法及系统，基于拉普拉斯特征映射的人脸识别外包计算来解决iot设备人脸识别计算和存储资源受限的问题，提升物联网设备中高维空间、非线性人脸图像识别效果。

2、按照本发明所提供的设计方案，提供一种物联网中基于拉普拉斯特征映射和外包计算的人脸识别方法，包含：

3、采集人脸图像作为训练样本集，基于训练样本集中人脸图像的近邻图获取近邻图的权重矩阵和度矩阵，并利用权重矩阵和度矩阵构建训练样本集中人脸图像的拉普拉斯矩阵；

4、基于拉普拉斯矩阵和度矩阵确定特征映射中广义特征值和特征向量求解问题的外包计算任务，并通过矩阵扩维和矩阵盲化对拉普拉斯矩阵和度矩阵进行隐私加密，将隐私加密后的矩阵及求解问题的外包计算任务发送给云服务器，由云服务器执行外包计算任务；

5、对云服务器的外包计算任务执行结果进行验证，基于验证通过的结果来获取特征映射中的广义特征值和特征向量，并利用广义特征值和特征向量构造特征空间的投影结果，以利用投影结果训练人脸识别分类器；

6、基于特征向量将待检测人脸图像嵌入到特征空间，并利用训练后的人脸识别分类器来获取待检测人脸图像的分类识别结果。

7、作为本发明物联网中基于拉普拉斯特征映射和外包计算的人脸识别方法，进一步地，基于训练样本集中人脸图像的近邻图获取近邻图的权重矩阵和度矩阵，包含：

8、首先，对训练样本集中的人脸图像进行预处理，该预处理包括人脸图像矫正和人脸图像归一化；

9、接着，将预处理后的训练样本集人脸图像转化为向量表示，并使用k近邻或ε邻域方法构造训练样本集人脸图像的近邻图；

10、然后，采用热核方法设置近邻图中相连顶点边的权重，基于权重获取近邻图的权重矩阵，并依据权重矩阵获取由对角矩阵表示的度矩阵，且该度矩阵对角线上每个元素为权重矩阵中对应行元素的和。

11、作为本发明物联网中基于拉普拉斯特征映射和外包计算的人脸识别方法，进一步地，基于拉普拉斯矩阵和度矩阵确定特征映射中广义特征值和特征向量求解问题的外包计算任务，包含：

12、首先，基于拉普拉斯矩阵和度矩阵将特征映射中广义特征值和特征向量求解问题表示为：lv＝μdv，其中，l、d分别为拉普拉斯矩阵和度矩阵，μ和v分别为矩阵l和d两者待求解的广义特征值和对应的广义特征向量；

13、然后，将广义特征值μ和对应的广义特征向量v的求解计算作为外包计算任务。

14、作为本发明物联网中基于拉普拉斯特征映射和外包计算的人脸识别方法，进一步地，通过矩阵扩维和矩阵盲化对拉普拉斯矩阵和度矩阵进行隐私加密，包含：

15、首先，将拉普拉斯矩阵和度矩阵作为外包计算任务的输入，基于外包计算任务和安全参数生成私钥，其中，该私钥包括随机数、随机上三角矩阵及随机初等矩阵；

16、然后，基于随机数和随机上三角矩阵将拉普拉斯矩阵和度矩阵加密扩展为指定维数的矩阵；并基于随机初等矩阵并采用乘法扰动方法对加密扩展后的矩阵进行盲化，得到对应的加密矩阵

17、作为本发明物联网中基于拉普拉斯特征映射和外包计算的人脸识别方法，进一步地，拉普拉斯矩阵的加密扩展和盲化的过程，包含：

18、首先，基于零矩阵和随机上三角矩阵将拉普拉斯矩阵扩展为指定维数的矩阵a；

19、然后，基于随机初等矩阵并采用乘法扰动方法对矩阵a进行盲化，得到拉普拉斯矩阵的加密矩阵

20、作为本发明物联网中基于拉普拉斯特征映射和外包计算的人脸识别方法，进一步地，度矩阵的加密扩展和盲化的过程，包含：

21、首先，基于随机数对度矩阵进行线性变换；

22、接着，利用零矩阵和单位矩阵将线性变换后的度矩阵扩展为指定维数的矩阵b；

23、然后，基于随机初等矩阵并采用乘法扰动方法对矩阵b进行盲化，得到度矩阵的加密矩阵

24、作为本发明物联网中基于拉普拉斯特征映射和外包计算的人脸识别方法，进一步地，云服务器执行外包计算任务，包含：

25、首先，对矩阵进行求逆操作，并获取其求逆操作之后与矩阵的乘积；

26、然后，对乘积结果矩阵进行特征值分解，将分解后的特征值和特征向量以矩阵形式生成外包计算任务的响应反馈。

27、作为本发明物联网中基于拉普拉斯特征映射和外包计算的人脸识别方法，进一步地，对云服务器的外包计算任务执行结果进行验证，包含：

28、设置随机验证轮次，并在每轮验证中，从云服务器返回的外包计算任务执行结果中随机选取一组特征值和对应特征向量，利用矩阵向量乘的方法来验证特征映射中广义特征值和特征向量求解问题是否完成，若完成，则验证通过，否则，验证不通过。

29、作为本发明物联网中基于拉普拉斯特征映射和外包计算的人脸识别方法，进一步地，基于验证通过的结果来获取特征映射中的广义特征值和特征向量，并利用广义特征值和特征向量构造特征空间的投影结果，包括：

30、首先，基于私钥对验证通过的外包计算任务执行结果进行解密，根据解密结果来获取特征映射中的广义特征值和特征向量；

31、然后，依据预设门限选取若干个最小特征值对应的特征向量，并利用该特征向量构造低维特征空间的投影结果。

32、进一步地，本发明还提供一种物联网中基于拉普拉斯特征映射和外包计算的人脸识别系统，包含：客户端和云服务器，其中，

33、客户端，采集人脸图像作为训练样本集，基于训练样本集中人脸图像的近邻图获取近邻图的权重矩阵和度矩阵，并利用权重矩阵和度矩阵构建训练样本集中人脸图像的拉普拉斯矩阵；基于拉普拉斯矩阵和度矩阵确定特征映射中广义特征值和特征向量求解问题的外包计算任务，并通过矩阵扩维和矩阵盲化对拉普拉斯矩阵和度矩阵进行隐私加密，将隐私加密后的矩阵及求解问题的外包计算任务发送给云服务器；并对云服务器的外包计算任务执行结果进行验证，基于验证通过的结果来获取特征映射中的广义特征值和特征向量，并利用广义特征值和特征向量构造特征空间的投影结果，以利用投影结果训练人脸识别分类器；且在人脸识别阶段，客户端基于特征向量将待检测人脸图像嵌入到特征空间，利用训练后的人脸识别分类器来获取待检测人脸图像的分类识别结果。

34、云服务器，基于接收到的矩阵执行对应的外包计算任务，并将执行结果反馈给客户端。

35、本发明的有益效果：

36、本发明将广义特征值分解外包给不可信的云服务器，并利用矩阵扩维和基本矩阵扰动技术保护用户的输入和输出隐私不被泄露给云服务器，使加密矩阵与随机矩阵在计算上是不可区分的，实现对原始矩阵中数据的隐私保护；同时，外包算法是非交互的，在整个外包过程中客户端只需进行一次加解密操作，节省通信开销；且云服务器返回的结果能以较低的计算复杂度进行验证，客户端能以不可忽略的概率检测到来自云服务器的恶意行为。并进一步通过实验数据验证，本案方案与原始的基于le的人脸识别算法的识别精度相同，且随着样本数据矩阵规模的增加，本案方案可以获得更多的计算节省，并且没有降低人脸识别的准确率，通过对本案外包算法的正确性、隐私性、可验证性和效率进行理论分析和实验对比，能够证明本案方案的非线性降维外包人脸识别具有目前线性降维外包方案相当的功能、安全性和性能，具有较好的应用前景。