技术特征：
1.一种基于多重校验机制的智能支付设备，其特征在于，包括：人脸采集模块，用于获取由智能支付设备的摄像头采集的待校验对象的人脸图像；人脸检测模块，用于将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型以得到人脸特征图；眼球区域提取模块，用于基于眼球在所述人脸图像中的位置，从所述人脸特征图提取对应于所述眼球的眼球区域特征图；眼球区域像素增强模块，用于将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成眼球区域图像；虹膜特征提取模块，用于将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型以得到虹膜特征图；特征分布校正模块，用于基于所述人脸特征图，使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图，其中，所述使用基于自注意力的数据密集簇机制对虹膜特征图进行加权基于所述人脸特征图和所述虹膜特征图之间的按位置点乘所得到的空间交互特征图，以及，所述人脸特征图和所述虹膜特征图之间的距离来进行；特征分布融合模块，用于融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图；校验结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果为待检验对象对应于数据库中的对象标签；以及支付模块，用于基于所述对象标签所关联的支付账户中的金额，支付乘车所需的费用。2.根据权利要求1所述的基于多重校验机制的智能支付设备，其中，所述第一卷积神经网络模型为fast r-cnn、faster r-cnn或retinanet。3.根据权利要求2所述的基于多重校验机制的智能支付设备，其中，所述虹膜特征提取模块，进一步用于以所述第二卷积神经网络的各层对输入数据进行如下方式的编码：以所述第二卷积神经网络的各层的第一卷积单元以第一卷积核对所述输入数据进行卷积编码以得到卷积特征图；以所述第二卷积神经网络的各层的第二卷积单元以第二卷积核对所述卷积特征图进行卷机编码以得到再卷积特征图，其中，所述第一卷积单元和所述第二卷积单元形成所述显著性特征检测模块，所述第一卷积核的尺寸大于所述第二卷积核的尺寸；以所述第二卷积神经网络的各层的池化单元对所述再卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及以所述第二卷积神经网络的各层的激活单元对所述池化特征图中各个位置的特征值进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络的最后一层的输出为所述虹膜特征图。4.根据权利要求3所述的基于多重校验机制的智能支付设备，其中，所述特征分布校正模块，包括：空间交互特征图生成单元，用于计算所述人脸特征图和所述虹膜特征图之间的按位置点乘以得到所述空间交互特征图；数据差异性度量单元，用于计算所述所述人脸特征图和所述虹膜特征图之间欧式距离
的平方根；注意力单元，用于以所述空间交互特征图中各个位置的特征值分别除以所述所述人脸特征图和所述虹膜特征图之间欧式距离的平方根以得到注意力特征图；指数运算单元，用于计算以所述注意力特征图中各个位置的特征值为幂的自然指数函数值以得到指数注意力特征图；第一类概率单元，用于将所述指数注意力特征图通过所述分类器以得到第一类概率指数；第二类概率单元，用于将所述虹膜特征图通过所述分类器以得到第二类概率指数；作用单元，用于计算所述第一类概率指数和所述第二类概率指数之间的乘积作为所述虹膜特征图的加权系数；以及校正单元，用于以所述加权系数对所述虹膜特征图进行加权以得到所述加权后虹膜特征图。5.根据权利要求3所述的基于多重校验机制的智能支付设备，其中，所述特征分布校正模块，进一步用于以如下公式使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到所述加权后虹膜特征图；其中，所述公式为：其中f
face
表示所述人脸特征图，f
iris
表示所述虹膜特征图,表示点乘，softmax(
·
)表示特征图通过分类器得到的概率值，d(
·
,
·
)表示特征图之间的距离，exp(
·
)表示特征图的指数运算，所述特征图的指数运算表示计算以特征图中各个位置的特征值为幂的自然指数函数值，特征图除以参数表示以特征图中各个位置的特征值分别除以参数。6.根据权利要求5所述的基于多重校验机制的智能支付设备，其中，所述特征分布融合模块，进一步用于：以如下公式融合所述加权后虹膜特征图和所述人脸特征图以得到所述分类特征图；其中，所述公式为：f=αwf
iris
+βf
face
其中，f为所述分类特征图，f
iris
为所述虹膜特征图，f
face
为所述人脸特征图，wf
iris
表示所述加权后虹膜特征图，“+”表示所述加权后虹膜特征图和所述人脸特征图相对应位置处的元素相加，α和β为用于控制所述加权后虹膜特征图和所述人脸特征图之间的平衡的加权参数。7.根据权利要求6所述的基于多重校验机制的智能支付设备，其中，所述校验结果生成模块，进一步用于：所述分类器以如下公式对所述分类特征图进行处理以生成分类结果；其中，所述公式为：softmax{(w
n , b
n
):...:(w1, b1)|project(f)}，其中project(f)表示将所述分类特征图投影为向量，w1至w
n
为各层全连接层的权重矩阵，b1至b
n
表示各层全连接层的偏置矩阵。
8.根据权利要求7所述的基于多重校验机制的智能支付设备，其中，所述支付模块，进一步用于响应于所述对象标签所关联的支付账户中的金额小于所述乘车所需的费用，生成费用不足提示。9.一种基于多重校验机制的智能支付设备的支付方法，其特征在于，包括：获取由智能支付设备的摄像头采集的待校验对象的人脸图像；将所述待校验对象的人脸图像通过作为人脸区域检测网络的第一卷积神经网络模型以得到人脸特征图；基于眼球在所述人脸图像中的位置，从所述人脸特征图提取对应于所述眼球的眼球区域特征图；将所述眼球区域特征图通过作为像素增强器的生成器模型以得到生成眼球区域图像；将所述生成眼球区域图像通过具有显著性检测模块的第二卷积神经网络模型以得到虹膜特征图；基于所述人脸特征图，使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图，其中，所述使用基于自注意力的数据密集簇机制对虹膜特征图进行加权基于所述人脸特征图和所述虹膜特征图之间的按位置点乘所得到的空间交互特征图，以及，所述人脸特征图和所述虹膜特征图之间的距离来进行；融合所述加权后虹膜特征图和所述人脸特征图以得到分类特征图；将所述分类特征图通过分类器以得到分类结果，所述分类结果为待检验对象对应于数据库中的对象标签；以及基于所述对象标签所关联的支付账户中的金额，支付乘车所需的费用。10.根据权利要求9所述的基于多重校验机制的智能支付设备的支付方法，其中，基于所述人脸特征图，使用基于自注意力的数据密集簇机制对所述虹膜特征图进行加权以得到加权后虹膜特征图，包括：计算所述人脸特征图和所述虹膜特征图之间的按位置点乘以得到所述空间交互特征图；计算所述所述人脸特征图和所述虹膜特征图之间欧式距离的平方根；以所述空间交互特征图中各个位置的特征值分别除以所述所述人脸特征图和所述虹膜特征图之间欧式距离的平方根以得到注意力特征图；计算以所述注意力特征图中各个位置的特征值为幂的自然指数函数值以得到指数注意力特征图；将所述指数注意力特征图通过所述分类器以得到第一类概率指数；将所述虹膜特征图通过所述分类器以得到第二类概率指数；计算所述第一类概率指数和所述第二类概率指数之间的乘积作为所述虹膜特征图的加权系数；以及以所述加权系数对所述虹膜特征图进行加权以得到所述加权后虹膜特征图。
技术总结
本申请涉及智能支付的领域，其具体地公开了一种基于多重校验机制的智能支付设备及其支付方法，所述智能支付设备通过深度神经网络模型来从待校验对象的人脸图像和眼球区域图像中挖掘深层的局部隐含关联特征信息，以结合人脸识别和虹膜识别来提高支付的安全性和便利性，并且在此过程中，为了提高融合的效果以提高分类的准确性，进一步使用基于自注意力的数据密集簇机制对虹膜特征图进行加权，这样可以通过所述虹膜特征图内的数据密集簇的自适应依赖来提升融合后的特征图对于分类目标函数的参数自适应变化性以提高分类准确性，这样提高支付的安全性和便利性。提高支付的安全性和便利性。提高支付的安全性和便利性。
技术研发人员：应旭斌
受保护的技术使用者：众旅联（浙江）生态科技有限公司
技术研发日：2022.06.14
技术公布日：2022/7/15