基于多模态计算机视觉与生物识别物联网解锁方法与流程

本发明属于数据处理，尤其涉及基于多模态计算机视觉与生物识别物联网解锁方法。

背景技术：

1、在过去的数年中，生物识别技术已经在众多应用领域中起到了关键作用，从智能手机的解锁到安全验证和国家边境控制等。但随着技术的广泛应用，其局限性也逐渐暴露出来。依赖单一模态的生物识别技术，例如仅使用人脸或指纹，常常受到环境变化、伪装等因素的影响，导致准确性和鲁棒性受限。此外，为了提供更加精准的识别，需要大量高质量的数据进行模型训练，但传统的数据扩充方法往往无法满足这一需求，难以生成与真实数据相似的生物识别样本。

2、与此同时，图像预处理在生物识别中起到了至关重要的作用，但许多传统计算方法在效率和准确性上都存在不足，特别是在将彩色图像转换为灰度图像时。对于神经网络的优化，虽然近年来取得了很多进展，但传统的优化方法仍然面临效率低和收敛速度慢的问题。权重调整作为优化过程中的关键环节，传统方法可能还未能达到理想的精度。

3、另一个核心问题是，现有的神经网络主要集中于单一核心结构，当面临多模态输入数据时，其表现往往不尽如人意。因此，为了应对这些挑战，一个综合多种模态的生物识别系统、更高效的数据扩充技术、更准确的图像预处理方法以及更加精细和科学的神经网络优化手段显得尤为迫切。

4、中国发明专利cn202310522837.1提出一种基于系统调用行为的工业物联网设备指纹识别方法，包括以下步骤：通过服务器端向未知设备端发送安全请求；未知设备端在接收安全请求后生成系统调用串；根据系统调用串生成未知设备端的设备指纹；由未知设备端将设备指纹发送至服务器端；服务器端收到设备指纹后，与预存设备指纹进行相关性值计算，并根据计算出来的相关性值判断设备行为是否发生变化。该方法能够有效提高指纹识别的准确性，同时保护设备隐私。

5、中国发明专利cn202310606279.7提出一种物联网设备识别方法、装置、网关及存储介质，该方法包括：根据预设大小的时间窗口，对来自物联网设备的网络通信数据进行划分，得到每个时间窗口对应的数据包；提取物联网设备在每个数据包上留下的通信指纹，基于通信指纹获取物联网设备的通信指纹集，通信指纹基于物联网设备通过数据包查询过的域名集以及进行通信的目标节点集获得；基于通信指纹集中每个通信指纹和预设的设备指纹库，获取物联网设备关联的疑似设备列表；将疑似设备列表中出现次数最多的身份标签设置为物联网设备的身份标签，从而提高了物联网设备的识别效率。

6、中国发明专利cn201811308550.4提出一种物联网设备的识别方法及装置，其中方法包括：获取网络设备在预设时间段内多个维度的访问数据的数量；根据各维度的访问数据的数量以及各维度的访问数据的权重，获得所述网络设备的评分结果，根据所述评分结果与预设阈值的大小判断所述网络设备是否为物联网设备。本发明实施例能够对所有来源于移动互联网的物联网设备进行挖掘分析，覆盖性高；同时全程自动化实现，不需要对物联网中的海量多类型交互数据进行建模分析，节省人力和设备成本。

7、上述技术具有一定创新性，但现有技术仍存在以下需要进一步提升的地方：

8、1、单一模态生物识别的局限性：依赖于单一的生物特征(如只使用人脸或指纹)可能导致识别的准确性和鲁棒性不足。例如，环境变化、伪装或其他因素可能导致单一生物特征的识别效果不佳；

9、2、数据扩充技术不足：传统的数据扩充方法可能无法生成高质量的、与真实数据非常相似的生物识别数据，导致训练效果不理想；

10、3、图像预处理效率和效果不足：传统的计算方法在图像预处理方面可能既不高效又不精确，尤其是在需要将彩色图像转为灰度图像时；

11、4、神经网络优化不足：传统的神经网络优化方法可能效率不高，收敛速度慢，可能导致训练时间长或模型性能不佳；

12、5、权重调整精度不足：在优化神经网络时，可能缺乏更为精细和科学的权重调整手段，导致模型难以达到最优状态；

13、6、单一核心神经网络的局限性：传统的神经网络可能主要依赖于单一的核心结构，这可能导致在处理多模态输入数据时效果不佳。

技术实现思路

1、本技术针对上述技术问题提出基于多模态计算机视觉与生物识别物联网解锁方法，具体技术方案如下：

2、基于多模态计算机视觉与生物识别物联网解锁方法，包括：

3、采集人脸、指纹和语音数据，并标注这些数据；

4、对采集的数据进行样本扩充；

5、对采集的数据进行预处理；

6、对预处理后的数据提取数据特征；

7、使用特征提取后的数据训练分类器；

8、使用训练好的模型执行解锁，当识别出权限用户后触发解锁，否则保持锁定。

9、进一步的，人脸数据为ma×na×ca的图像矩阵，其中m和n代表图像的高和宽，ca代表图像的通道数；指纹数据为p×q×cb的图像矩阵，其中p和q代表图像的高和宽，cb为1的灰度图；语音数据为长度为lc的一维数组。

10、进一步的，样本扩充的方法为：

11、(1)初始化，选择合适的稀疏自表达层的参数，以及介质场正则化的强度，同时初始化字典矩阵dface和生成器、鉴别器的权重，表示为：

12、

13、

14、

15、其中，和分别表示生成器和鉴别器的初始化权重；

16、(2)稀疏化，使用l1正则化方法，捕获数据中的关键特征并忽略噪音或不相关的特征，可以表示为：

17、xface≈dfaceαface

18、其中，dface是字典矩阵，αface是稀疏系数矩阵；

19、最小化以下损失函数找到最优的αface：

20、

21、对lsparse进行微分，得到：

22、

23、其中，sign(αface)是元素级的符号函数；

24、期望αface的l1范数尽可能小，即：

25、

26、且限制于

27、其中，表示frobenius范数，∈是一个小的常数表示允许的误差；

28、(3)自表达性学习，可以表示为：

29、xface,i＝xfaceβi

30、其中，βi是系数向量，期望βi的l2范数尽可能小，但第i项设置为0，即βi,i＝0；

31、需最小化以下损失函数学习每一个数据点xface,i的系数βi：

32、

33、对lself,i进行微分，得到：

34、

35、得到总的损失函数为：

36、

37、(4)生成器训练，结合稀疏自表达层，生成新的数据实例；

38、(5)鉴别器训练，让鉴别器d尽可能区分真实数据和生成的数据，因此损失函数为：

39、ld＝-e[logd(xreal；wd)]-e[log(1-d(g(z；wg)；wd))]

40、其中，xreal是真实数据，g()是生成器生成的数据，z是随机噪声，e[]表示期望函数；

41、对ld进行微分，得到鉴别器的梯度更新公式；

42、将生成器g与鉴别器d结合起来，损失函数为：

43、lgan＝e[logd(xreal)]+ld]

44、给定一个随机噪声z，通过以下方式使用生成器g生成新的人脸图像：

45、

46、基于稀疏自表达的生成对抗网络的目标函数为：

47、l＝lgan+λa1lsparse+λa2lself

48、其中，λa1和λa2是平衡参数，由人为预设；

49、(6)迭代优化，重复上述步骤，利用随机梯度下降来迭代更新上述步骤中的所有参数，直到即损失函数的收敛或达到预设的迭代次数。

50、进一步的，对采集的数据进行预处理的方法为：

51、对于人脸图像和指纹图像预处理，定义量子位灰度转换函数为：

52、

53、其中，nk和mk分别为图像的长和宽，q(x,y)为量子位灰度后的图像像素点值，i(xi,yj)为原图像在点(xi,yj)的像素值，qw(i,j)为量子权重矩阵，与像素位置有关的权重值，为量子叠加操作；

54、使用生物谱解析公式对灰度图像进行处理：

55、b(x,y)＝∫q(x,y)·e-λf(x,y)dx dy

56、其中，b(x,y)为生物谱解析后的图像，λ为生物谱系数，由人为预设，f(x,y)为生物谱解析函数，具体为关于x和y的二元函数；

57、对于语音序列数据预处理，通过以下公式将语音序列数据映射到一个新的频率空间：

58、

59、其中，s(f)为新的频率空间中的语音数据，s(t)为原始时间序列中时间点t的数据，nk为语音序列的总时间点数量，f为新的频率变量，i为虚数单位；

60、在所有的预处理步骤完成后，将预处理后的数据转换为向量格式，可以表示为：

61、

62、其中，为最终的数据向量，b(xi,yi)为生物谱解析后的图像数据，s(fj)为声学频率映射后的语音数据。

63、进一步的，对预处理后的数据提取数据特征的方法为：

64、采用三层前馈神经网络结构如下：

65、输入层：根据输入数据向量的维度决定输入层神经元的数量；

66、隐藏层：隐藏层包括第一隐藏层和第二隐藏层，第一隐藏层的神经元数量为150，激活函数为relu；第二隐藏层的神经元数量为50，激活函数为relu；

67、输出层：具有与标注数据的类别数量相同的神经元，激活函数为softmax；

68、神经网络训练时，参数优化的步骤如下：

69、(1)初始化，随机选择网络的参数，并设置一个随机初始脉冲相位θ，表示为：

70、wi～u(-∈,∈)

71、bi～u(-∈,∈)

72、fi～u(fmin,fmax)

73、θi～u(0,2π)

74、其中，u(a,b)表示在[a，b]之间的均匀分布，wi为第i个神经网络权重，bi为第i个神经网络偏置，fi为与第i个参数关联的频率，θi为第i个参数的初始脉冲相位，∈为初始权重和偏置的小随机值范围，fmin和fmax为脉冲频率的最小值和最大值；

75、(2)计算误差，根据当前的权重w和偏置b，前向传播得到网络输出，然后计算误差e，误差e定义为网络输出o与目标输出t之间的差异，表示为：

76、

77、其中，e为网络的误差，是目标输出和实际输出之间的差值的平方的一半之和，ok为神经网络的第k个输出，tk为第k个目标输出；

78、(3)同步更新，对每个权重和偏置，计算与误差e相关的相位偏移δθ，每个参数的相位偏移δθi定义为：

79、

80、其中，αk是学习率，δθi为第i个参数的相位偏移；

81、如果误差增大，δθ会使参数的脉冲相位与全局相位偏离，从而减小参数的影响；

82、如果误差减小，δθ将尝试同步参数的脉冲相位，从而增强参数的影响；

83、(4)脉冲生成，根据每个参数的频率f和相位θ，生成一个时间窗内的脉冲序列，对于每个参数，生成一个脉冲序列pi(t)表示为：

84、pi(t)＝sin(2πfit+θi+δθi)；

85、(5)脉冲集成，将所有参数的脉冲序列合并，得到一个综合的脉冲响应，综合的脉冲响应ptotal(t)是所有参数脉冲的加权平均，表示为：

86、

87、其中，kn是神经网络的参数的数量，pi(t)为第i个参数在时间t的脉冲序列；

88、(6)自适应性调整，根据综合的脉冲响应和预期的输出，调整每个参数的频率f：

89、δfi＝kβ(ptotal(t)-pi(t))

90、fi＝fi+δfi

91、其中，ptotal(t)为在时间t的综合脉冲响应，kβ为频率调整系数，δfi为第i个参数的频率调整；

92、如果某个参数的脉冲与整体脉冲相位不同步，该参数的频率会适当增加，使其更快地同步；

93、如果某个参数的脉冲与整体脉冲相位同步，该参数的频率会适当减少，使其保持同步；

94、(7)更新参数，根据每个参数的脉冲响应和自适应性调整后的频率，更新权重w和偏置b，参数更新的公式为：

95、wi(t+1)＝wi(t)+kγ·ptotal(t)

96、bi(t+1)＝bi(t)+kγ·ptotal(t)

97、其中，kγ为参数更新的学习率；

98、所述参数更新的学习率kγ与频率相依系数相关，对于权重矩阵w中的每一个权重wi，记录其在连续kt个时间步的变化，构建时间序列xi(t)，其中t从1到kt，表示为：

99、xi(t)＝wi(t)-wi(t-1)

100、对于每一个时间序列xi(t)，进行傅里叶变换，得到频率分布fi(f)，傅里叶变换的基本公式为：

101、

102、计算每一个权重频率分布的能量，并将其标准化：

103、ei(f)＝|fi(f)|2

104、

105、

106、其中，fmax是考虑的最大频率；

107、定义频率相依系数fdci为：

108、

109、其中，fmid是一个中间频率值；

110、如果fdci接近1，则说明权重wi主要存在低频变化，如果fdci接近0，则说明权重wi主要存在高频变化；

111、(8)脉冲抵消，对于每一对参数wi和wj，计算它们的脉冲差异dij：

112、

113、其中，dij为第i和j个参数之间的脉冲差异；

114、基于差异dij，对参数进行抵消：

115、wi(t+1)＝wi(t)-mλ·dij·wj(t)

116、wj(t+1)＝wj(t)-mλ·dij·wi(t)

117、其中，mλ是抵消系数，为预设值；

118、(9)适应度函数评估，设me是网络误差，s是参数稀疏性度量，c是计算复杂度度量，适应度函数表示为：

119、

120、其中，ω1,ω2,ω3是权重系数，κ是一个正常数，是误差的逆函数，当误差me较小时，其值趋近于1，e-κs表示鼓励网络参数的稀疏性，当参数越稀疏值越高，log(c+1)是计算复杂度的度量，当网络有更多非零参数时，计算复杂度增加；

121、网络误差me是衡量网络输出与目标输出之间差异的标准，如果有mn个输出值，每个目标输出为tk，网络输出为ok，则网络误差me定义为：

122、

123、参数稀疏性度量s使用l1范数进行度量，l1范数是权重矩阵所有元素的绝对值之和，设权重矩阵为w且有pm个权重，则l1范数定义为：

124、

125、设权重矩阵为w，则复杂度度量c的计算方式为：

126、

127、其中，i()是指示函数：如果wi不为零，则i(wi≠0)＝1，否则为零；

128、(10)迭代，重复步骤(2)～(9)，直到达到预设的迭代次数或适应度函数值达到预设的数值。

129、进一步的，训练分类器的方法为：

130、设特征提取后的单个样本为特征向量v，训练步骤如下：

131、(1)初始化，随机初始化所有权重wki；

132、(2)前向传播，计算每个神经元的核心能量ek，每个神经元的核心能量ek的计算方法为：

133、

134、其中，wki为神经元与核心之间的连接权重，vi为特征向量的第i个元素，n为特征向量的长度，ek为第k个神经元的核心能量，wki为第k个神经元与其核心之间的连接权重，n为特征向量的长度；

135、使用sigmoid函数计算神经元的输出ok，神经元的输出ok由sigmoid函数计算，表示为：

136、

137、其中，αk为动态学习率；

138、(3)损失计算，根据给定的目标输出yk和神经元的实际输出ok计算损失ml，损失函数ml表示为：

139、

140、其中，yk是目标输出，m是输出神经元的数量，ok为神经元的输出，ml为损失函数；

141、(4)反向传播，计算学习率nαk，学习率nαk由以下公式计算：

142、

143、其中，nα0是初始学习率，nβ是预设的常数值；

144、根据误差和学习率更新权重δwki，权重的更新δwki表示为：

145、δwki＝nαk×(yk-ok)×ok×(1-ok)×vi

146、通过量子连接对权重进行进一步调整δqki，权重的量子调整δqki表示为：

147、δqki＝nγ×sin(θki)

148、其中，nγ是一个控制量子连接的影响大小的常数，θki是权重wki的量子相位；

149、更新权重权重的更新方式表示为：

150、

151、(5)核心迁移，设ek,0是神经元k的初始核心能量，是在第t次迭代后的神经元k的核心能量，设pλ是迁移率，取值在0到1之间，则迁移规则为：

152、

153、当pλ＝1时，核心不会迁移，而当pλ＝0时，核心会完全返回其初始位置；

154、(6)核心融合与分裂，计算每对神经元之间的相关性rkl，当两个神经元k和l的相关性rkl超过阈值pt时，进行融合，相关性rkl的计算方式表示为：

155、

156、其中，rkl为神经元k和l之间的相关性，pn为神经元的数量，t为阈值，用于判断是否应该融合两个神经元；

157、如果rkl>pt，那么神经元k和l融合为一个新的神经元；

158、如果相关性超过阈值pt，则合并相应的神经元；

159、(7)重复，重复(2)～(6)，直到达到预定的迭代次数或损失小于某个阈值。

160、本发明的有益效果为：

161、(1)、更高的安全性：通过整合三种生物识别技术，提供了更多的验证点，增强了解锁的安全性。

162、(2)、高质量的数据扩充：使用稀疏自表达的生成对抗网络，生成的数据更接近真实数据，可以有效地解决训练样本不足的问题。

163、(3)、优化的特征提取：自适应性脉冲同步优化的神经网络算法不仅解决了梯度消失和爆炸问题，还提供了更好的优化效果。

164、(4)、自适应学习：多核心自适应神经网络能够根据训练数据自动调整其结构，使其更好地匹配输入数据，提高了模型的精度和泛化能力。

165、(5)、实时的物联网解锁识别：训练好的模型能够实时识别是否为具有权限的用户，确保了物联网设备的安全和便捷性。