基于牙齿图像的个人识别方法

本发明涉及图像识别，尤其涉及一种基于牙齿图像的个人识别方法。

背景技术：

1、生物特征识别领域在近几年取得蓬勃发展。当前，生物特征识别领域最为普及的三种方式为人脸、虹膜、指纹识别。但是，任何一种模态都有其不足之处，例如：人脸识别在对于整容人脸、面部差异很小的双胞胎、同一个人从年轻到衰老过程中脸部变化等的识别时效果不佳，指纹识别在对于指纹面积很小、破损或磨损导致没有指纹、指纹模糊等情况时识别较难；虹膜识别相关采集设备成本昂贵，识别距离有限，而且东西方人的虹膜颜色不同导致算法难以通用，再或是隐形眼镜的干扰。相比较而言，牙齿具有不易破坏、篡改、泄露等优势，可以在某些场景下替代或者与其他模态如人脸、指纹等特征融合，探索多模态特征融合的有效性。牙齿特征可以包括牙齿大小、形状、位置和表面磨损程度，利用牙齿图像能够对抵御图像、视频、物理暴力攻击。

2、在实现本发明的过程中，发明人发现如下技术问题：由于牙齿呈周列排布，单一的牙齿图像无法完全体现出牙齿排布的特性，并且只在自然光环境下拍摄的牙齿图像容易受到光线影响，无法体现出表面磨损程度等特征。因此，还需引入牙齿红外图像，这使得用于提取特征的图像数量众多，且每个图像之间的信息还存在强关联性，使得很难准确提取出牙齿的图像特征，进而降低了利用牙齿图像实现人物识别的准确性。

技术实现思路

1、本发明实施例提供了一种基于牙齿图像的个人识别方法，以解决现有技术中利用牙齿图像实现人物识别准确性较低的技术问题。

2、本发明实施例提供了一种基于牙齿图像的个人识别方法，包括：

3、获取牙齿的rgb图像和红外图像，所述rgb图像包括：三个拍摄采集角度，每个拍摄角度的两张牙齿rgb图像，所述红外图像包括：与所述三个拍摄角度相同的拍摄角度，每个拍摄角度的两张牙齿红外图像；

4、将所述牙齿的rgb图像和红外图像输入至训练完成的牙齿特征提取神经网络模型，得到输出的牙齿特征；

5、将所述输出的牙齿特征与预先存有的牙齿特征模板进行比较，得到个人识别结果；

6、所述牙齿特征提取神经网络模型，包括：

7、认证分支，所述认证分支接收输入的牙齿的rgb图像和红外图像，并输出得到恒等映射图像特征；

8、相互依赖关系提取分支，所述相互依赖关系提取分支接收输入的牙齿的rgb图像和红外图像，并对输入的牙齿的rgb图像和红外图像进行升维、卷积、再降维特征提取，将提取到的特征进行全局信息嵌入和自适应重新校正操作，获取到每个特征通道的重要程度，并根据依照所述重要程度对特征进行调整，得到调整后的特征；

9、全局注意力特征提取分支，所述全局注意力特征提取分支接收输入的牙齿的rgb图像和红外图像，对所述输入的牙齿的rgb图像和红外图像先后进行逐通道卷积和逐点卷积，对卷积后的初始特征进行升维和特征提取，并对提取后的特征输入到关系感知的第一全局注意力机制模块，实现从通道和空间两个维度进行关系感知，得到全局关注特征；

10、输出模块，用于将恒等映射图像特征、调整后的特征和全局关注特征进行融合后，进行池化下采样操作，经过全连接层得到输出特征。

11、进一步的，所述相互依赖关系提取分支，包括：

12、特征提取单元，所述特征提取单元对所述输入的牙齿的rgb图像和红外图像依次进行1*1卷积升维、3*3卷积、1*1卷积降维操作；

13、重要程度计算单元，用于将降维操作的特征进行全局池化，将每个二维的特征通道变成一个实数，并将所述实数与降维操作的特征相乘，将每个通道赋予权重，并通过两个全连接层的瓶颈和激活函数得到每个特征通道的重要程度。

14、进一步的，所述对全局注意力特征提取分支，包括：

15、包含s0、s1和s2模块，所述s0模块，用于对输入图像做依次进行逐通道卷积和逐点卷积，逐通道卷积产生的特征图通道数和输入图像的通道数一致，负责提取图像特征；所述逐点卷积采用1×1×m的卷积核，m为上一层的通道数量，用于对上一步生成的特征图进行加权组合，并通过卷积核的数量来控制生成新的特征图的数量；

16、所述s1模块和s2模块结构相同，用于对所述特征图进行1×1的点卷积进行升维，将升维后的特征通过3×3的深度卷积对特征进行深度提取，将深度提取后的特征通过rga注意力块，实现利用关系感知全局注意力模块来推断注意力，并通过1×1的点卷积对特征进行降维，对特征进行精炼；将精炼后的特征输入块注意力单元，

17、通过从通道和空间两个维度进行关系感知全局注意力机制的结合，通道维度即每个不同的通道赋予其不同的权重进行区分，空间维度即不同位置像素的重要程度不同，从而更好的提取数据特征，最后再通过1×1的点卷积对特征进行降维，对特征进行精炼；将精炼后的特征利用子窗口内应用自我注意力进行局部特征交互；然后将局部特征交互的特征块在子窗口分解后的网格上应用自我注意进行特征标定。

18、进一步的，所述获取牙齿的rgb图像和红外图像，包括：

19、正面露全齿2张、正面露半齿2张、左倾斜30°露全齿1张和右倾斜30°露全齿1张的rgb图像和红外图像。

20、进一步的，所述获取牙齿的rgb图像和红外图像还包括：

21、对图像进行预处理，提取牙齿roi区域图像作为牙齿的rgb图像和红外图像。

22、进一步的，述提取牙齿roi区域图像作为牙齿的rgb图像和红外图像包括：

23、提取所述rgb图像和红外图像中的人脸图像关键点；

24、基于所述人脸图像关键点构建人脸轮廓；

25、将所述人脸轮廓的像素点置为0，并与所述rgb图像和红外图像相乘，得到牙齿的rgb图像和红外图像。

26、更进一步的，所述将精炼后的特征利用子窗口内应用自我注意力进行局部特征交互，包括：

27、将精炼后的特征像设为h×w×c；

28、先将特征划分为h/p×w/p个p×p大小的窗口，窗口之间互不重叠，然后在每个子窗口内应用自我注意力进行局部特征交互

29、本发明实施例提供的基于牙齿图像的个人识别方法，通过获取牙齿的rgb图像和红外图像，所述rgb图像包括：三个拍摄采集角度，每个拍摄角度的两张牙齿rgb图像，所述红外图像包括：与所述三个拍摄角度相同的拍摄角度，每个拍摄角度的两张牙齿红外图像；将所述牙齿的rgb图像和红外图像输入至训练完成的牙齿特征提取神经网络模型，得到输出的牙齿特征；将所述输出的牙齿特征与预先存有的牙齿特征模板进行比较，得到个人识别结果；所述牙齿特征提取神经网络模型，包括：认证分支，所述认证分支接收输入的牙齿的rgb图像和红外图像，并输出得到恒等映射图像特征；相互依赖关系提取分支，所述相互依赖关系提取分支接收输入的牙齿的rgb图像和红外图像，并对输入的牙齿的rgb图像和红外图像进行升维、卷积、再降维特征提取，将提取到的特征进行全局信息嵌入和自适应重新校正操作，获取到每个特征通道的重要程度，并根据依照所述重要程度对特征进行调整，得到调整后的特征；全局注意力特征提取分支，所述全局注意力特征提取分支接收输入的牙齿的rgb图像和红外图像，对所述输入的牙齿的rgb图像和红外图像先后进行逐通道卷积和逐点卷积，对卷积后的初始特征进行升维和特征提取，并对提取后的特征输入到关系感知的第一全局注意力机制模块，实现从通道和空间两个维度进行关系感知，得到全局关注特征；输出模块，用于将恒等映射图像特征、调整后的特征和全局关注特征进行融合后，进行池化下采样操作，经过全连接层得到输出特征。利用rgb图像分辨率、对比度高但抗干扰能力差，热红外图像分辨率、对比度低但抗干扰能力强的特点，利用深度可分离卷积，结合块与网格注意力、空间与通道注意力以及关系感知的全局注意力，三个分支提取的特征进行融合，使得网络模型能够更充分的提取牙齿图像的特征信息。提升了生物识别的准确性。