一种基于多元融合触觉再现的纸币数字防伪方法

1.本发明属于信息安全和人机交互的交叉领域，具体涉及一种基于多元融合触觉再现的纸币数字防伪方法。


背景技术：

2.随着信息化时代的高速发展，互联网正不断改变着中国人的生活、工作、学习方式，不断融入人们生活的方方面面。互联网快速普及极大地改变了人们的信息获取方式，也对社会生活的参与感产生了重要影响。互联网的兴起意味着人类思维中介的变化从行为中介、语言符号中介发展到数字化中介。在二进制数字中介系统中思维行为化了，思维成为如同行为过程一样的实实在在的系统，它是看得见的可重复的“软件”。思维的可视化随着图形浏览器的出现和发展而促进了计算机网络应用的普及，更使科学技术注重人们的接受和应用。但是网络不仅会带来便捷，同时也会带来弊端，即社会生活的参与感在逐渐降低，特别是对于那些需要通过交互的手段来认知世界的特殊人群。
3.人类与世界交互可以通过视觉、听觉、触觉、嗅觉来进行。以盲人为例，他们看不到东西，它需要通过声音、触感和嗅觉来感知事物。当他们用拐杖行走的时候通过对路面敲击的声音不同来判断出盲道从而行走，当他们获取知识的时候，通过对盲文的触碰来辨识其中的内容。当他们拿起食物，可以通过不同的气味来辨别；再以聋哑人为例，他们对世界的感知只有视觉、触觉和嗅觉，当他们碰到视觉上相近的东西时，即他们难以用眼睛来判断真假，就需要用触觉和嗅觉即用手摸和闻气味来判别真假了。如果在这个东西只能看的情境下，他们的处境就显得很不妙了。对于他们来说，他们对社会的感知都是依靠与事物的交互来进行的。但是现在的交互越来越少了。以人民币为例，随着网络支付的兴起，很少有人会通过纸币来交易。这虽然带来了很多的便利，但是也降低了其参与感。对正常人来说，可以通过看到手机上显示的信息和听到的声音判断收到了对方的付款。但是对于特殊人群来说，有的人不能同时有这两种的感知(视觉、听觉)，这一定程度上给他们的生活带来了不变，同时也降低了他们在社会生活中的参与感。从社会上的参与感来说，拿到纸币后摸一下表面来判别真假的的动作也渐渐消失了，因此，为了提高特殊人群在社会生活中的参与感，本文提出了一种基于触觉再现技术的多模态触觉防伪的方法。
4.触觉再现是一种基于人的触觉感知机理的人机交互技术，也可以视为触觉的数字化技术，通过建模拟计算触觉的感知过程，实现对远地或虚拟物体表面纹理信息的感知与再现。很长一段时间，触觉再现的研究没有得到重视和关注。近年来，it领域的软硬件技术日新月异，并随着vr/ar的发展产生了“元宇宙”的概念，使得触觉再现也得到广泛关注，技术也迅速成熟，出现了大量的触觉再现技术，尤其是裸指交互下的触觉再现技术也成行，这使得本发明在智能终端上实现基于触觉再现的防伪也提供了理论上的可行性。
5.在已有智能装置可以实现各种触觉再现的应用情景下，虽然可以实现多种形如形状、纹理、温度触觉的再现。然而基于单一反馈机制的触觉再现装置，不能很好的整合协同出最理想的触觉感知。因此需要将多种触觉联合起来，以达到最真实的触感。但当多种触觉
再现装置同时作用时，很可能会出现一种或多种触感的感知强度太大，而掩盖住了其他触感的感知，这样就不能会好的还原出原始的触感。
6.总结上述所提到的观点，想要实现基于触觉再现技术的多模态触觉防伪，须解决如何协同多种触觉再现装置配合从而得到最接近真实的虚拟触感这一问题。
7.(1)受到单一触觉再现反馈力动态范围和维度的局限，目前的渲染方法往往仅能再现视觉对象的某一种表面属性，这影响了触觉再现效果的真实性与丰富性。
8.(2)在多种触觉共同再现的情境下，如何找到一种数学模型可以安排各触觉再现装置来使得用户得到最好的触觉触感。
9.基于上面背景技术的分析，数字时代的到来，通过将身边的一些事物(如人民币)虚拟化，为社会生活带来了诸多便利。但对特殊人群来说，他们对生活的体验感也随之减少，甚至会带来很多的困扰，尤其是当他们面对数字化的商品时，他们很难分辨出真假。他们判别真假的手段仅限于真实存在的物品，然而数字化的商品并不具有这种属性，这就会降低他们在社会生活中的参与感。


技术实现要素：

10.本发明提供一种基于多元融合触觉再现的纸币数字防伪方法,提出可以将虚拟化的事物、纸币用一种虚拟的触感反馈给特殊人群，即在数字时代也提供给他们真实的体验感，即触感,可以通过对真实物品的经验来判断这个事物的真假，从而提升他们在社会生活中的参与感。
11.本发明采取的技术方案是,包括下列步骤：
12.步骤1：触觉特征的提取，包括形状触觉特征提取、纹理触觉特征提取和温度触觉特征提取；
13.步骤2：采用bp神经网络模型将触觉特征“配方”化，bp神经网络的过程主要分为两个阶段，第一阶段是信号的前向传播，从输入层经过隐含层，最后到达输出层；第二阶段是误差的反向传播，从输出层到隐含层，最后到输入层，依次调节隐含层到输出层的权重和偏置，输入层到隐含层的权重和偏置；
14.步骤3：用户的解密；
15.步骤4：触觉再现，将得到的渲染模型信息和配方信息发送到触觉特征渲染单元中，将配方信息中的权重分配到渲染模型信息，得到有权重的渲染模型信息，再将得到的有权重的渲染模型信息发送到信号驱动单元，得到可以在触觉交互界面实现触觉再现的触觉驱动信号，实现触觉再现的功能，从而实现多元融合的触觉防伪。
16.本发明所述步骤1中基于图像形状高度模型的形状触觉特征提取方法如下：
17.首先采用加权平均法将彩色图像转换为亮度图像：
18.e(x,y)＝0.3*er(x,y)+0.59*eg(x,y)+0.11*eb(x,y)
19.其中e(x,y)为转换后的图像亮度值矩阵，er(x,y)为原图像的红色值矩阵，eg(x,y)为原图像的绿色值矩阵，eb(x,y)为原图像的蓝色值矩阵；
20.根据光源入射模型，获得图像的反射函数：
21.22.式中，p和q是像素点(x,y)处分别沿x、y方向变化的梯度，r(p,q)为反射函数，包含物体表面光源信息，σ和τ为光源方向与x轴、z轴夹角，称为光源倾角和偏角，光源矢量梯度σ为倾角，τ为仰角；
23.利用后项有限差分方法将反射函数的自变量p和q离散化：
[0024][0025][0026]
其中z＝z(x,y)为物体形状高度矩阵；
[0027]
将上述式进行移项，得到：
[0028]
0＝e(x,y)-r(z(x,y)-z(x-1,y),z(x,y)-z(x,y-1))＝f(e(x,y),z(x,y),z(x-1,y),z(x,y-1))
[0029]
其中f表示自变量为e(x,y)，z(x,y)，z(x-1,y)，z(x,y-1)的四元函数，将f关于z(x,y)进行泰勒展开，得：
[0030][0031]
其中，n为迭代次数，
[0032]
用f(z(x,y)
n-1
)替代f(e(x,y),z(x,y)
n-1
,z(x-1,y)
n-1
,z(x,y-1)
n-1
)，
[0033]
而0＝f(z(x,y)n)≈f(z(x,y)
n-1
)，对上式化简，可得：
[0034][0035]
其中，可表示为：
[0036][0037]
令初值z(x,y)＝0，将上式代入上上式，迭代n次之后算出对应像素(x,y)的高度值zn(x,y)，再通过归一化方法，获得图像形状高度模型h
′
(x,y)，记作形状渲染模型信息，并把提取到的形状触觉特征记录下来。
[0038]
本发明所述步骤1中基于图像纹理高度模型的纹理触觉特征提取方法：
[0039]
首先采用加权平均法将彩色图像转换为亮度图像：
[0040]
e(x,y)＝0.3*er(x,y)+0.59*eg(x,y)+0.11*eb(x,y)
[0041]
然后采用3
×
3窗口i(x,y)截取灰度图像e(x,y)局部图像纹理特性，将{a0,a1,a2,a3,a4,a5,a6,a7}作为一个周期序列，将i(x,y,n)作为以点(x,y)为中心，周期为8的一元函数，f(x,y,k)为(x,y)对应的局部傅里叶变换系数矩阵，k为频域系数；
[0042]
得到i(x,y,n)＝an(0≤n≤7)
[0043][0044]
对于m
×
n大小的图片，求得图像局部傅里叶系数集合；
[0045]
f(k)＝{f(x,y,k)∣0《x《m-1,0《y《n-1,0≤k≤7}
[0046]
其中，当k取特定值时，f(x,y,k)可以表示相应频域系数的图像纹理高度模型，这里记作f
′
(x,y)，记作纹理渲染模型信息，同时把提取到的纹理触觉特征记录下来。
[0047]
本发明所述步骤1中基于图像色调信息的温度触觉特征提取方法：
[0048]
将基于rgb颜色空间的彩色图像转换成hsv模型的图像，具体步骤如下：
[0049]
设er(x,y)，eg(x,y)，eb(x,y)为点(x,y)处的rgb颜色值，将它们的值归一化到是在0到1之间，得到点(x,y)处归一化的rgb颜色值p
′
(r,g,b),记作温度渲染模型信息，同时把提取到的温度触觉特征记录下来。
[0050]
把记录下来的信息：形状渲染模型信息、纹理渲染模型信息、温度渲染模型信息存储在安全存储芯片中。
[0051]
本发明所述步骤2中使用bp神经网络获得“配方”的具体过程如下：
[0052]
(1)收集数据：通过步骤1的方法收集纸币在常温的环境下其温度、纹理、形状的触感数据，通过对应的触觉再现装置即可再现出其单独的触感，现将三种触感的强度随即赋值(0至1)，三种触感的随机赋予温度，纹理，形状触觉再现装置的强度设置成υ(υ1，υ2，υ3)，并收集不同人对随机强度的触觉感知，记录在这种强度下的触感是否为纸币的触感,同时设置机器学习的目标：通过主观判断触感是真实触感还是非真实的触感把数据设置和成υ
t
(υ1，υ2，υ3)和υw(υ1，υ2，υ3)，将是真实触感的随机强度数据设置为1，不是则设置为0，形成数据训练库，并用于训练模型；
[0053]
(2)激励函数选取：
[0054]
(3)隐含层的输出：将获得的数据库中的数据υ
t
(υ1，υ2，υ3)和υw(υ1，υ2，υ3)带入xi中；
[0055]
其中，f是(2)中的激励函数，n为输入层的节点个数，n的取值为3，同时i的取值为1、2、3，分别对应温度、纹理、形状；同时j的取值为1、2、3，分别代表输入层、隐含层和输出层；θj为输入层到隐含层的偏置；ω
ij
为输入层到隐含层的权值；hj为隐含层的输出；
[0056]
(4)输出层的输出：
[0057]
其中，l为隐含层的节点个数，l的取值为3；k的取值为1、2、3；bk为隐含层到输出层的偏置；ω
jk
为隐含层到输出层的偏置；ok为输出层的输出；
[0058]
(5)对权重和偏置进行初始化，并设定学习率η＝0.1开始统计误差；
[0059]
误差：
[0060]
其中，期待输出为yk；误差为e；输出层的输出为ok[0061]
(6)根据误差不断对权值和偏置进行更新：
[0062]
权值的更新：
[0063]
偏置的更新：
[0064]
其中η为学习速率；
[0065]
(7)直到得到最优解，并把得到的权重记录ω
ij
(ω
1j
、ω
2j
、ω
3j
)作为“配方”，其中依次为温度、纹理、形状的权重；
[0066]
得到的权重记录ω
ij
(ω
1j
、ω
2j
、ω
3j
)记录在安全存储芯片中记作配方信息。
[0067]
本发明所述步骤3中用户在人机交互界面输入私用密钥，根据在安全存储芯片中存储着对应的公开密钥进行解密，如果解密失败，会在人机交互界面提示“错误，重新输入”；如果输入正确，则会从安全存储芯片中将渲染模型信息和配方信息提取出来；
[0068]
所述安全存储芯片中存储着：渲染模型信息、方信息、户输入的私用密钥对应的公有密钥；用户在触觉交互界面上输入私用密钥来进行安全性验证。
[0069]
本发明所述步骤4中基于图像形状高度模型的空气压膜触觉再现方法：
[0070]
根据步骤1得到的形状渲染模型信息h
′
(x,y)，“配方”后得到有权重的形状渲染模型信息h(x,y)，可以求出图像形状梯度矩阵g(x,y)：
[0071][0072]
其中，和分别表示矩阵h(x,y)在x和y方向上的偏微分，梯度矩阵g(x,y)表示每一点处边缘变换的快慢，与切向力大小的变化趋势相同，可将切向力矩阵f
pxy
(x,y)表示为：
[0073]fpxy
(x,y)＝(f
o-fa)+g(x,y)(fe+fa)
[0074]
其中，fo为没有触觉反馈时手指划过屏幕时所感受到的切向力，fe为静电力触觉所能增加的最大切向力，fa为空气压膜触觉能减小的最大切向力；
[0075]
其中，fs表示手指施加的法向力，将切向力矩阵为空气压膜矩阵fu(x,y)：
[0076][0077]
根据人机交互实验确定驱动电压与静电力反馈力和空气压膜反馈力之间的关系：
[0078][0079]
其中，vu为空气压膜驱动信号的电压幅值，fu为空气压膜反馈力，k2为空气压膜驱动信号与反馈力之间的比例系数；
[0080]
由上述四式可得静电力驱动信号和空气压膜驱动信号的幅值：
[0081][0082]
其中vu(x,y)为(x,y)处施加的空气压膜驱动信号的幅值，记作形状触觉驱动信号；
[0083]
得到形状触觉驱动信号后，发送到触觉交互界面，使用触觉再现技术即可实现形
状触觉的再现，能实现需要使用触觉再现装置，根据机械振动触觉的需求，微控制器向数模转换器发送控制信号从而调节驱动信号的频率和波形，再利用功率放大器即可对该信号的幅度值进行放大，即可实现形状触觉再现。
[0084]
本发明所述步骤4中基于图像纹理高度模型的静电力触觉再现方法：
[0085]
根据步骤1得到的纹理渲染模型信息f
′
(x,y)，“配方”后得到有权重的纹理渲染模型信息f(x,y)，可以求出图像纹理梯度矩阵c
′
(x,y)：
[0086][0087]
其中，和分别表示矩阵f(x,y)在x和y方向上的偏微分；
[0088]
将纹理梯度矩阵归一化，得：
[0089][0090]
其中，c(x,y)为归一化纹理梯度矩阵，c
xmin
和c
xmax
分别为纹理高度矩阵中的最小值和最大值，纹理梯度矩阵c(x,y)表示图像的局部凹凸性，即梯度值越小，纹理表面越平缓，手指划过时所受的触觉感知强度越小，将归一化纹理梯度矩阵按照映射比例k匹配静电力大小：
[0091]
fe＝k
×
c(x,y)
[0092]
静电力驱动电压和静电力的映射关系：
[0093][0094]
获得静电力驱动信号幅度矩阵，记作纹理触觉驱动信号；
[0095]
得到纹理触觉驱动信号后，发送到触觉交互界面，使用触觉再现技术即可实现纹理触觉的再现，功能实现需要使用触觉再现装置，根据静电力触觉的需求，微控制器向数模转换器发送控制信号从而调节驱动信号的频率和波形，再利用功率放大器即可对该信号的幅度值进行放大，即可实现纹理触觉再现。
[0096]
本发明所述步骤4中基于图像色调信息的温度触觉渲染方法：
[0097]
根据步骤1得到的温度渲染模型信息p
′
(r,g,b)，“配方”后得到有权重的形状渲染模型信息p(r,g,b)，对于点(x,y)，设：
[0098]
max＝maxp(r,g,b)
[0099]
min＝minp(r,g,b)
[0100]
其中，max和min分别为归一化颜色值r,g,b的最大值和最小值；
[0101]
点(x,y)处的图像色调h可由以下方法求出：
[0102]
[0103]
点(x,y)处的图像饱和度s可由以下方法求出：
[0104][0105]
点(x,y)处的图像亮度s可由以下方法求出：
[0106]
v＝max
[0107]
由此得到的h值在[0
°
,360
°
]区间里，将h值区间分为四个区间：红色(300
°
，30
°
]，黄色(30
°
，90
°
]，绿色(90
°
，180
°
]，蓝色(180
°
，300
°
]，再根据划分好的四个区间，将落在不同区间的色调h规划成红、黄、绿、蓝这四种纯色，返回相应的rgb值，把这些rgb值记作温度触觉驱动信号；得到温度触觉驱动信号后，发送到触觉交互界面，使用触觉再现技术即可实现纹理触觉的再现。
[0108]
10、实现如权利要求1所述的一种基于多元融合触觉再现的纸币数字防伪方法的装置，其特征在于，包括触觉交互界面、安全存储芯片、信号渲染单元和信号驱动单元，其中：
[0109]
触觉交互界面用于用户在其上输入私用密钥来进行安全性验证；
[0110]
安全存储芯片中存储着：渲染模型信息、配方信息、与用户输入的私用密钥对应的公有密钥，得到的权重记录ω
ij
(ω
1j
、ω
2j
、ω
3j
)，分别是形状渲染模型信息、纹理渲染模型信息、温度渲染模型信息，记录在安全存储芯片中记作配方信息；由安全存储芯片得到的渲染模型信息经过配方分配权重后发送到信号驱动单元；
[0111]
信号驱动单元得到触觉驱动信号后，发送到触觉交互界面上；
[0112]
触觉交互界面集成有触觉再现装置，实现触觉再现的功能，从而实现多元融合的触觉防伪，具体包括：
[0113]
触觉交互界面得到形状触觉驱动信号后，发送到触觉交互界面，使用触觉再现技术即可实现形状触觉的再现，功能实现需要使用触觉再现装置，包括数模转换器、功率放大器，根据机械振动触觉的需求，微控制器向数模转换器发送控制信号从而调节驱动信号的频率和波形，再利用功率放大器即可对该信号的幅度值进行放大，即可实现形状触觉再现。
[0114]
触觉交互界面得到纹理触觉驱动信号后，发送到触觉交互界面，使用触觉再现技术即可实现纹理触觉的再现，功能实现需要使用触觉再现装置，包括数模转换器、功率放大器，根据静电力触觉的需求，微控制器向数模转换器发送控制信号从而调节驱动信号的频率和波形，再利用功率放大器即可对该信号的幅度值进行放大，即可实现纹理触觉再现；
[0115]
触觉交互界面得到温度触觉驱动信号后，发送到触觉交互界面，使用触觉再现技术即可实现纹理触觉的再现，功能实现需要使用触觉再现装置，包括数模转换器、功率放大器、测温电路，其中数模转换器通过接收微控制器发送的刺激模式，产生相应的加热或制冷驱动信号，将驱动信号经过功率放大器进行电压放大，得到输出的温度触觉驱动信号，测温电路对半导体制冷片表面进行温度监控，将实时温度传回微控制器，微控制器根据基准温度、温差和当前温度持续时间进行计算，得到当前所需的刺激模式，再将信号传送至数模转换器中，即可实现温度触觉再现。
[0116]
本发明的有益效果是，提出一种基于形状、纹理、温度等触觉融合的“配方”，在已有智能装置可以实现各种触觉再现的应用情景下，使用此“配方”可以有效的控制各种虚拟触觉属性的权重，给用户最真的裸指触觉反馈；提出形状、纹理和温度的触觉再现方法，按
照实现原理的不同，触觉再现装置可分为机械式触觉再现、振动式触觉再现、阵列式触觉再现、摩擦力控制式触觉再现等类型，使用空气压膜触觉再现装置实现形状的触觉再现、使用静电力触觉再现装置实现纹理的触觉再现、以及使用图像色调信息实现温度的触觉再现；提出的基于多元融合触觉再现的数字防伪方法装置包括：触觉交互界面、安全存储芯片、信号渲染单元和信号驱动单元。本发明通过在智能终端上实现一种独特的虚拟触感来解决防伪问题，其应用方向可以是：数字人民币的防伪、数字专辑的真伪、数字车票的真伪等。
附图说明
[0117]
图1是数字货币防伪的触觉再现装置框图；
[0118]
图2是本发明的流程图。
具体实施方式
[0119]
本发明从影响裸指触觉的触觉信息：温度、形状、纹理等角度出发实现触觉渲染，完成基于触觉再现技术的多模态触觉防伪的方法。
[0120]
为了使本技术领域的人员更好的理解本发明，下面结合附图和一套硬件设施(该硬件设施只是为了更好的说明本专利所实现的功能，不具有唯一性。)对本发明作进一步的详细说明。
[0121]
包括下列步骤：
[0122]
步骤1：触觉特征的提取
[0123]
(1)、基于图像形状高度模型的形状触觉特征提取方法：
[0124]
首先采用加权平均法将彩色图像转换为亮度图像：
[0125]
e(x,y)＝0.3*er(x,y)+0.59*eg(x,y)+0.11*eb(x,y)
[0126]
其中e(x,y)为转换后的图像亮度值矩阵，er(x,y)为原图像的红色值矩阵，eg(x,y)为原图像的绿色值矩阵，eb(x,y)为原图像的蓝色值矩阵；
[0127]
根据光源入射模型，获得图像的反射函数：
[0128][0129]
式中，p和q是像素点(x,y)处分别沿x、y方向变化的梯度，r(p,q)为反射函数，包含物体表面光源信息，σ和τ为光源方向与x轴、z轴夹角，称为光源倾角和偏角，光源矢量梯度σ为倾角，τ为仰角；
[0130]
利用后项有限差分方法将反射函数的自变量p和q离散化：
[0131][0132][0133]
其中z＝z(x,y)为物体形状高度矩阵；
[0134]
将上述式进行移项，得到：
[0135]
0＝e(x,y)-r(z(x,y)-z(x-1,y),z(x,y)-z(x,y-1))＝f(e(x,y),z(x,y),z(x-1,y),z(x,y-1))
[0136]
其中f表示自变量为e(x,y)，z(x,y)，z(x-1,y)，z(x,y-1)的四元函数，将f关于z(x,y)进行泰勒展开，得：
[0137][0138]
其中，n为迭代次数，
[0139]
用f(z(x,y)
n-1
)替代f(e(x,y),z(x,y)
n-1
,z(x-1,y)
n-1
,z(x,y-1)
n-1
)，
[0140]
而0＝f(z(x,y)n)≈f(z(x,y)
n-1
)，对上式化简，可得：
[0141][0142]
其中，可表示为：
[0143][0144]
令初值z(x,y)＝0，将上式代入上上式，迭代n次之后算出对应像素(x,y)的高度值zn(x,y)，再通过归一化方法，获得图像形状高度模型h
′
(x,y)，记作形状渲染模型信息，并把提取到的形状触觉特征记录下来；
[0145]
(2)、基于图像纹理高度模型的纹理触觉特征提取方法：
[0146]
首先采用加权平均法将彩色图像转换为亮度图像：
[0147]
e(x,y)＝0.3*er(x,y)+0.59*eg(x,y)+0.11*eb(x,y)
[0148]
然后采用3
×
3窗口i(x,y)截取灰度图像e(x,y)局部图像纹理特性，将{a0,a1,a2,a3,a4,a5,a6,a7}作为一个周期序列，将i(x,y,n)作为以点(x,y)为中心，周期为8的一元函数，f(x,y,k)为(x,y)对应的局部傅里叶变换系数矩阵，k为频域系数；
[0149]
得到i(x,y,n)＝an(0≤n≤7)
[0150][0151]
对于m
×
n大小的图片，求得图像局部傅里叶系数集合；
[0152]
f(k)＝{f(x,y,k)∣0《x《m-1,0《y《n-1,0≤k≤7}
[0153]
其中，当k取特定值时，f(x,y,k)可以表示相应频域系数的图像纹理高度模型，这里记作f
′
(x,y)，记作纹理渲染模型信息，同时把提取到的纹理触觉特征记录下来；
[0154]
(3)、基于图像色调信息的温度触觉特征提取方法：
[0155]
将基于rgb颜色空间的彩色图像转换成hsv模型的图像，具体步骤如下：
[0156]
设er(x,y)，eg(x,y)，eb(x,y)为点(x,y)处的rgb颜色值，将它们的值归一化到是在0到1之间，得到点(x,y)处归一化的rgb颜色值p
′
(r,g,b),记作温度渲染模型信息，同时把提取到的温度触觉特征记录下来。
[0157]
把记录下来的信息：形状渲染模型信息、纹理渲染模型信息、温度渲染模型信息存储在安全存储芯片中；
[0158]
步骤2：触觉特征“配方”化
[0159]
bp神经网络模型：bp神经网络的过程主要分为两个阶段，第一阶段是信号的前向传播，从输入层经过隐含层，最后到达输出层；第二阶段是误差的反向传播，从输出层到隐含层，最后到输入层，依次调节隐含层到输出层的权重和偏置，输入层到隐含层的权重和偏置；
[0160]
使用bp神经网络获得“配方”的具体过程如下：
[0161]
(1)收集数据：通过步骤1的方法收集人民币在常温的环境下其温度、纹理、形状的触感数据，通过对应的触觉再现装置(实现方式在后续步骤中给出)即可再现出其单独的触感，现将三种触感的强度随即赋值(0至1)，三种触感的随机赋予温度，纹理，形状触觉再现装置的强度设置成υ(υ1，υ2，υ3)，并收集不同人对随机强度的触觉感知，记录在这种强度下的触感是否为人民币的触感,同时设置机器学习的目标：通过主观判断触感是真实触感还是非真实的触感把数据设置和成υ
t
(υ1，υ2，υ3)和υw(υ1，υ2，υ3)，将是真实触感的随机强度数据设置为1，不是则设置为0，形成数据训练库，并用于训练模型；
[0162]
(2)激励函数选取：
[0163]
(3)隐含层的输出：将获得的数据库中的数据υ
t
(υ1，υ2，υ3)和υw(υ1，υ2，υ3)带入xi中；
[0164]
其中，f是(2)中的激励函数，n为输入层的节点个数，n的取值为3，同时i的取值为1、2、3，分别对应温度、纹理、形状；同时j的取值为1、2、3，分别代表输入层、隐含层和输出层；θj为输入层到隐含层的偏置；ω
ij
为输入层到隐含层的权值；hj为隐含层的输出；
[0165]
(4)输出层的输出：
[0166]
其中，l为隐含层的节点个数，l的取值为3；k的取值为1、2、3；bk为隐含层到输出层的偏置；ω
jk
为隐含层到输出层的偏置；ok为输出层的输出；
[0167]
(5)对权重和偏置进行初始化，并设定学习率η＝0.1开始统计误差；
[0168]
误差：
[0169]
其中，期待输出为yk；误差为e；输出层的输出为ok[0170]
(6)根据误差不断对权值和偏置进行更新：
[0171]
权值的更新：
[0172]
偏置的更新：
[0173]
其中η为学习速率；
[0174]
(7)直到得到最优解，并把得到的权重记录ω
ij
(ω
1j
、ω
2j
、ω
3j
)作为“配方”，其中依次为温度、纹理、形状的权重，即一种由bp神经网络得到的一种最接近真实的“虚拟触
感”，在以数字人民币为例的情境下，“配方”的信息对应着真实的人民币的触感；
[0175]
得到的权重记录ω
ij
(ω
1j
、ω
2j
、ω
3j
)记录在安全存储芯片中记作配方信息
[0176]
步骤3：用户的解密
[0177]
用户在人机交互界面输入私用密钥，根据在安全存储芯片中存储着对应的公开密钥进行解密，如果解密失败，会在人机交互界面提示“错误，重新输入”；如果输入正确，则会从安全存储芯片中将渲染模型信息和配方信息提取出来；
[0178]
所述安全存储芯片中存储着：1.渲染模型信息；2.配方信息；3.与用户输入的私用密钥对应的公有密钥；用户在触觉交互界面上输入私用密钥来进行安全性验证；
[0179]
步骤4：触觉再现
[0180]
将步骤3得到的渲染模型信息和配方信息发送到触觉特征渲染单元中，将配方信息中的权重分配到渲染模型信息，得到有权重的渲染模型信息，再将得到的有权重的渲染模型信息发送到信号驱动单元，得到可以再触觉交互界面实现触觉再现的触觉驱动信号；
[0181]
(1)基于图像形状高度模型的空气压膜触觉再现方法：
[0182]
根据步骤1得到的形状渲染模型信息h
′
(x,y)，“配方”后得到有权重的形状渲染模型信息h(x,y)，可以求出图像形状梯度矩阵g(x,y)：
[0183][0184]
其中，和分别表示矩阵h(x,y)在x和y方向上的偏微分，梯度矩阵g(x,y)表示每一点处边缘变换的快慢，与切向力大小的变化趋势相同，可将切向力矩阵f
pxy
(x,y)表示为：
[0185]fpxy
(x,y)＝(f
o-fa)+g(x,y)(fe+fa)
[0186]
其中，fo为没有触觉反馈时手指划过屏幕时所感受到的切向力，fe为静电力触觉所能增加的最大切向力，fa为空气压膜触觉能减小的最大切向力；
[0187]
其中，fs表示手指施加的法向力，将切向力矩阵为空气压膜矩阵fu(x,y)：
[0188][0189]
根据人机交互实验确定驱动电压与静电力反馈力和空气压膜反馈力之间的关系：
[0190][0191]
其中，vu为空气压膜驱动信号的电压幅值，fu为空气压膜反馈力，k2为空气压膜驱动信号与反馈力之间的比例系数；
[0192]
由上述四式可得静电力驱动信号和空气压膜驱动信号的幅值：
[0193][0194]
其中vu(x,y)为(x,y)处施加的空气压膜驱动信号的幅值，记作形状触觉驱动信号；
[0195]
得到形状触觉驱动信号后，发送到触觉交互界面，使用触觉再现技术即可实现形状触觉的再现。功能实现需要使用触觉再现装置，以所提供的硬件设施为例，包括数模转换
器、功率放大器，根据机械振动触觉的需求，微控制器向数模转换器发送控制信号从而调节驱动信号的频率和波形，再利用功率放大器即可对该信号的幅度值进行放大，即可实现形状触觉再现。
[0196]
(2)基于图像纹理高度模型的静电力触觉再现方法：
[0197]
根据步骤1得到的纹理渲染模型信息f
′
(x,y)，“配方”后得到有权重的纹理渲染模型信息f(x,y)，可以求出图像纹理梯度矩阵c
′
(x,y)：
[0198][0199]
其中，和分别表示矩阵f(x,y)在x和y方向上的偏微分；
[0200]
将纹理梯度矩阵归一化，得：
[0201][0202]
其中，c(x,y)为归一化纹理梯度矩阵，c
xmin
和c
xmax
分别为纹理高度矩阵中的最小值和最大值，纹理梯度矩阵c(x,y)表示图像的局部凹凸性，即梯度值越小，纹理表面越平缓，手指划过时所受的触觉感知强度越小，将归一化纹理梯度矩阵按照映射比例k匹配静电力大小：
[0203]
fe＝k
×
c(x,y)
[0204]
静电力驱动电压和静电力的映射关系：
[0205][0206]
获得静电力驱动信号幅度矩阵，记作纹理触觉驱动信号；
[0207]
得到纹理触觉驱动信号后，发送到触觉交互界面，使用触觉再现技术即可实现纹理触觉的再现，功能实现需要使用触觉再现装置，包括数模转换器、功率放大器，根据静电力触觉的需求，微控制器向数模转换器发送控制信号从而调节驱动信号的频率和波形，再利用功率放大器即可对该信号的幅度值进行放大，即可实现纹理触觉再现。
[0208]
(3)基于图像色调信息的温度触觉渲染方法：
[0209]
根据步骤1得到的温度渲染模型信息p
′
(r,g,b)，“配方”后得到有权重的形状渲染模型信息p(r,g,b)，对于点(x,y)，设：
[0210]
max＝maxp(r,g,b)
[0211]
min＝minp(r,g,b)
[0212]
其中，max和min分别为归一化颜色值r,g,b的最大值和最小值；
[0213]
点(x,y)处的图像色调h可由以下方法求出：
[0214][0215]
点(x,y)处的图像饱和度s可由以下方法求出：
[0216][0217]
点(x,y)处的图像亮度s可由以下方法求出：
[0218]
v＝max
[0219]
由此得到的h值在[0
°
,360
°
]区间里，将h值区间分为四个区间：红色(300
°
，30
°
]，黄色(30
°
，90
°
]，绿色(90
°
，180
°
]，蓝色(180
°
，300
°
]，再根据划分好的四个区间，将落在不同区间的色调h规划成红、黄、绿、蓝这四种纯色，返回相应的rgb值，把这些rgb值记作温度触觉驱动信号。
[0220]
得到温度触觉驱动信号后，发送到触觉交互界面，使用触觉再现技术即可实现纹理触觉的再现。功能实现需要使用触觉再现装置，包括数模转换器、功率放大器、测温电路，其中数模转换器通过接收微控制器发送的刺激模式，产生相应的加热或制冷驱动信号，将驱动信号经过功率放大器进行电压放大，得到输出的温度触觉驱动信号，测温电路对半导体制冷片表面进行温度监控，将实时温度传回微控制器，微控制器根据基准温度、温差和当前温度持续时间进行计算，得到当前所需的刺激模式，再将信号传送至数模转换器中，即可实现温度触觉再现；
[0221]
由安全存储芯片得到的渲染模型信息经过配方分配权重后发送到信号驱动单元得到触觉驱动信号，并发送到触觉交互界面上(触觉再现装置集成在触觉交互界面上)，实现触觉再现的功能，从而实现多元融合的触觉防伪。
[0222]
一种基于多元融合触觉再现的纸币数字防伪装置，包括触觉交互界面、安全存储芯片、信号渲染单元和信号驱动单元，其中：
[0223]
触觉交互界面用于用户在其上输入私用密钥来进行安全性验证；
[0224]
安全存储芯片中存储着：渲染模型信息、配方信息、与用户输入的私用密钥对应的公有密钥，得到的权重记录ω
ij
(ω
1j
、ω
2j
、ω
3j
)，分别是形状渲染模型信息、纹理渲染模型信息、温度渲染模型信息，记录在安全存储芯片中记作配方信息；由安全存储芯片得到的渲染模型信息经过配方分配权重后发送到信号驱动单元；
[0225]
信号驱动单元得到触觉驱动信号后，发送到触觉交互界面上；
[0226]
触觉交互界面集成有触觉再现装置，实现触觉再现的功能，从而实现多元融合的触觉防伪，具体包括：
[0227]
触觉交互界面得到形状触觉驱动信号后，发送到触觉交互界面，使用触觉再现技术即可实现形状触觉的再现，功能实现需要使用触觉再现装置，包括数模转换器、功率放大器，根据机械振动触觉的需求，微控制器向数模转换器发送控制信号从而调节驱动信号的频率和波形，再利用功率放大器即可对该信号的幅度值进行放大，即可实现形状触觉再现。
[0228]
触觉交互界面得到纹理触觉驱动信号后，发送到触觉交互界面，使用触觉再现技术即可实现纹理触觉的再现，功能实现需要使用触觉再现装置，包括数模转换器、功率放大器，根据静电力触觉的需求，微控制器向数模转换器发送控制信号从而调节驱动信号的频率和波形，再利用功率放大器即可对该信号的幅度值进行放大，即可实现纹理触觉再现；
[0229]
触觉交互界面得到温度触觉驱动信号后，发送到触觉交互界面，使用触觉再现技术即可实现纹理触觉的再现，功能实现需要使用触觉再现装置，包括数模转换器、功率放大器、测温电路，其中数模转换器通过接收微控制器发送的刺激模式，产生相应的加热或制冷
驱动信号，将驱动信号经过功率放大器进行电压放大，得到输出的温度触觉驱动信号，测温电路对半导体制冷片表面进行温度监控，将实时温度传回微控制器，微控制器根据基准温度、温差和当前温度持续时间进行计算，得到当前所需的刺激模式，再将信号传送至数模转换器中，即可实现温度触觉再现。