一种适用于物体自身纹理的通用特征检索防伪方法与流程

1.本发明涉及防伪技术领域，具体涉及一种适用于物体自身纹理的通用特征检索防伪方法。


背景技术：

2.基于纹路的防伪标记，主要是在纸浆或薄膜上，随机撒入一些纤维条，做成纹理纸张。然后再在纹理纸张上印刷标签，并把纸张纹理图片存入数据库。用户通过肉眼对比纤维条的分布、走向等的方法，判断是否正品。目前，对于茶饼等产品的溯源防伪主要以二维码为主。通过二维码将产品和企业信息进行绑定，然后把印刷出来的二维码贴在产品上，消费者扫码即可快速查验到产品原材料、加工技术、产地、批次、运输流程与企业信息，以此实现100％产品防伪，快速追溯原产地。
3.近来，基于纹理的防伪技术的研究也越来越多，如随机纹理防伪技术，其基本原理是生产者利用一种由随机过程形成的纹理元素随机特征分布，通过比对存储随机特征是否相符来判断产品真伪，达到防伪的目的。如中国专利cn1350260“一种随机纹理的防伪方法”，涉及一种利用现有技术难以重复仿制的材料的随机结构纹理元素特征作为防伪信息载体进行防伪的方法，通过对随机纹理元素图像进行计算机扫描识别及加密处理后，生成另一种加密转换图像，直接输印在原随机纹理元素图像的产品上，加密转换图像携带原随机纹理元素图像的随机特征信息，利用设有相应解密程序的独立识别器比对两随机纹理元素分布图象来识别产品真伪。
4.而基于物体本身纹理进行防伪的技术研究多应用于茶饼的防伪识别，例如中国专利cn202110722556.1“一种基于茶饼图像特征编码的茶饼防伪方法”，通过拍摄、获取茶饼的原始图像；对原始图像进行图像特征处理并获取茶饼原始图像特征集合，并转换成茶饼原始图像特征编码；将茶饼原始图像特征编码与生产信息数据融合处理，得到代表该茶饼的唯一身份的防伪编码；将上述的茶饼的原始图像、茶饼原始图像特征集合、茶饼原始图像特征编码、防伪编码上传并存储至云端服务器，将所述防伪编码植入防伪信息载体中；防伪信息载体与对应的茶饼统一进行包装以实现防伪查询。但实际应用中茶饼本身的纹理复杂度高、相似度高，影响防伪识别的效率与准确度，为了提高识别的高效准确率，有必要对图像特征的提取、处理、对比等关键技术进行优化处理。


技术实现要素：

5.针对上述技术背景中的问题，本发明的目的在于提供一种适用于物体自身纹理的通用特征检索防伪方法，利用孪生网络对目标图像的数据集进行训练，根据生成的相似度模型、特征提取模型分别进行相似度评价、物品纹理特征的提取及特征库的构建，再依据提取的待检真伪物品的特征向量在特征库内进行检索匹配，获得相似结果，以提高对茶饼纹理的防伪识别准确率。
6.为了实现以上目的，本发明采用的技术方案为：
7.一种适用于物体自身纹理的通用特征检索防伪方法，包括以下步骤：
8.s1、获取计算机识别的目标物品，并对所述目标物品进行目标图像的采集，并获得作为训练的目标图像的数据集；
9.s2、将数据集输入孪生网络中进行训练，训练完成后获得两个模型，分别为相似度模型与拆解网络层后的特征提取模型；
10.所述相似度模型，用于对待测物品与目标物品的特征点相似度计算；
11.所述特征提取模型，用于计算物品的特征向量以及特征向量库的构建；
12.s3、对待检真伪物品的图像进行拍摄，并对图像进行显著性检测，将待检真伪物品的图像抠出，得到无干扰因素的待检真伪物品的图像数据；
13.s4、将s3获得的待检真伪物品的图像数据输入到所述特征提取模型中，对待测真伪物品本身的特征进行提取，并输出待检真伪物品的特征向量；
14.s5、依据提取的待检真伪物品的特征向量，在s2中构建的特征向量库进行检索，并筛选出k个相似结果；
15.s6、将k个相似结果输入至孪生网络的相似度模型中进行相似度计算，再利用传统视觉算法匹配特征点个数，根据个数值进行降序排列，在k个相似结果中取特征点相似个数最多的为最终结果。
16.进一步地，所述s2中特征向量库的构建：将单个物品的目标图像数据输入到所述特征提取模型中，提取出同维度的特征向量，用于构建特征向量库。将同维度的特征向量构建索引，利用sptag算法获得最近领域搜索库(ann)。
17.进一步地，所述s3中待检真伪物品图像数据的获取方法：通过u2net网络对拍摄的待检真伪物品图片进行显著性检测，根据显著性检测结果，去除待检测真伪物品图像中其他干扰特征提取的因素。
18.进一步地，所述s5中检索过程如下：
19.通过特征提取模型，提取待检真伪物品图像特征的同维特征向量，通过sptag树图结合对特征向量库中的向量进行计算。
20.根据计算结果，将与待检测物体最为相似的原始物品限定在k个数量范围之内。
21.更进一步地，所述距离计算采用欧式距离、余弦相似度、汉明距离、曼哈顿距离计算方法；
22.以曼哈顿距离为例，假设x和y都是同维向量，则计算公式为
[0023][0024]
再将计算出来的距离进行两次全连接，结果取sigmod，使得输出的结果在0～1区间，代表两个输入的相似度；
[0025]
以欧式距离为例，假设x和y都是同维向量，则计算公式为
[0026][0027]
根据计算结果从小到大的顺序，越小的则相似度越高。
[0028]
进一步地，所述s6中通过sptag树图结合算法对限定在k数量范围之内的相似结果
的特征点进行匹配，并对特征点进行筛选过滤，选出较好的特征点匹配，具体方法如下：
[0029]
假设m为原始样本特征距离，n为待配准样本特征距离，r为符合条件的特征配对，x为配准系数，初始为1，则按进行递归，距离越小，则代表匹配结果越可信，直至r为0或不存在；随后根据x对r进行降序排序，得到最终配准结果；
[0030]
若满足r》0即r存在且x《初始值，则认为待检测物品为真。
[0031]
根据传统视觉算法匹配特征个数，只要满足x配准系数在小于初始值的情况下，特征点个数》0，即特征点匹配存在，则可认为物品为真。否则以孪生网络的计算结果为参考。只要传统视觉算法得出真的结果则一定为真，而孪生网络认为真的结果则可能存在一定的误差，而使用传统视觉算法的目的，就是对孪生网络的结果进行配准，提高准确率。
[0032]
更进一步地，所述孪生网络为具备自我学习能力的深度学习模型，包括数据集的自动划分，具体方法如下：通过传统视觉算法配准的逻辑将待训练样本与一张采样的样本(一张采样的样本指的是确定好所属类(是否为同一饼茶)的图像，待训练样本指的是未分类的样本)进行比对，配准符合的特征点数r，若配准存在r》0的情况，则自动划分/扩充同类训练数据集，其中可将x配准系数视为选项，该值与正确率相关，实际使用中可以根据需求进行调整。
[0033]
进一步地，步骤s1中目标图像数据集的构建方法如下：对同一目标物品按照不同角度、光线、背景、尺度拍照后，按照单个目标物品进行分组，同时统一每组数据数量，相当于对数据进行分类标记，完成数据集的构建。
[0034]
这种保留干扰因素拍摄与显著性检测去除物品的干扰因素并不矛盾。原因是，保留干扰因素能提升网络的健壮性及泛化能力，即在有干扰因素的情况下，也能提取到待检测物品的特征。而显著性检测去除物品的干扰因素是为了尽可能地使提取的特征是基于待检测物品的。
[0035]
进一步地，在完成步骤s1中对目标物品的图像采集后，将目标图像信息上传至区块链并生成对应的防伪识别码(识别码可以是二维码、条形码、编号等)，在对待检真伪物品进行真伪识别时，输入待检真伪物品上的防伪识别码，对应到目标图像的数据库后，再拍摄上传待检真伪物品的图片信息，模型系统计算相似度，判断其真伪。
[0036]
进一步地，在对待检真伪物品进行真伪识别时，拍摄待检真伪物品的图片并上传至模型系统，自动提取图片中图像的特征向量，并在建立好的特征向量库中检索查询，鉴别其真伪。
[0037]
与现有技术相比，本发明具有以下优点：
[0038]
1、本发明适用于自身纹理具有唯一、不可复制的特性物品(紧压茶、大理石、生物特征等)，旨在通过物体自身纹理对物体进行辨识且具备自我学习能力的方法。
[0039]
2、本发明方法中利用孪生网络对目标图像的数据集进行训练，根据生成的相似度模型、特征提取模型分别进行相似度评价、物品纹理特征的提取及特征库的构建；在传入传统视觉算法进行匹配之前，使用孪生网络先进行相似配对，克服传统视觉算法在一定正确率的要求下，配准到相似点的正确率及效率较低的缺陷，提高最终结果的准确度。
[0040]
3、本发明中，将对物体图像数据(纹理特征)及其他元数据信息存储至区块链，依托区块链与物品建立一一对应的关系，可对物品附加链路可追溯、公开透明的特性。因此该
方法广泛应用于防伪、交割及其他衍生场景。
附图说明
[0041]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
[0042]
图1为本发明方法整体的流程示意图；
[0043]
图2为本发明中孪生网络的结构示意图；
[0044]
图3(a)为样本库中的样本图片；图3(b)该样本特征提取后的图片；
[0045]
图4(a)为待检真伪物品的样本图片；图4(b)该样本特征提取后的图片；
[0046]
图5为通过传统计算机视觉算法对特征点进行匹配后的示意图；
[0047]
图6为图5特征点进行筛选过滤后的示意图；
[0048]
图7为利用sptag算法检索识别的流程图；
[0049]
图8为自我学习/自动分类流程图。
具体实施方式
[0050]
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
[0051]
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0052]
参见图1、图2，一种适用于物体自身纹理的通用特征检索防伪方法，包括以下步骤：
[0053]
s1、获取计算机识别的目标物品，并对所述目标物品进行目标图像的采集，并获得作为训练的目标图像的数据集；
[0054]
目标图像数据集的构建方法如下：对同一目标物品按照不同角度、光线、背景、尺度拍照后，按照单个目标物品进行分组，同时统一每组数据数量，相当于对数据进行分类标记，完成数据集的构建。
[0055]
s2、将数据集输入孪生网络中进行训练，训练完成后获得两个模型，分别为相似度模型与拆解网络层后的特征提取模型；
[0056]
所述相似度模型，用于对待测物品与目标物品的特征点相似度计算；
[0057]
所述特征提取模型，用于计算物品的特征向量以及特征向量库的构建；
[0058]
特征向量库的构建：将单个物品的目标图像数据输入到所述特征提取模型中，提取出同维度的特征向量，用于构建特征向量库。
[0059]
s3、对待检真伪物品的图像进行拍摄，并对图像进行显著性检测，将待检真伪物品的图像抠出，得到无干扰因素的待检真伪物品的图像数据；
[0060]
通过u2net网络对拍摄的待检真伪物品图片进行显著性检测，根据显著性检测结果，去除待检测真伪物品图像中其他干扰特征提取的因素。
[0061]
s4、将s3获得的待检真伪物品的图像数据输入到所述特征提取模型中，对待测真
伪物品本身的特征进行提取，并输出待检真伪物品的特征向量；
[0062]
s5、依据提取的待检真伪物品的特征向量，在s2中构建的特征向量库进行检索，并筛选出k个相似结果；
[0063]
检索过程如下：
[0064]
通过特征提取模型，提取待检真伪物品图像特征的同维特征向量，通过sptag树图结合算法对特征向量库中的向量进行计算：
[0065]
具体地，所述距离计算采用欧式距离、余弦相似度、汉明距离、曼哈顿距离计算方法；
[0066]
以曼哈顿距离为例，假设x和y都是同维向量，则计算公式为
[0067][0068]
再将计算出来的距离进行两次全连接，结果取sigmod，使得输出的结果在0～1区间，代表两个输入的相似度；
[0069]
以欧式距离为例，假设x和y都是同维向量，则计算公式为
[0070][0071]
根据计算结果从小到大的顺序，越小的则相似度越高。
[0072]
根据计算结果对相似度进行判断，完成检索后，将相似的对比目标限定在k数量范围之内。
[0073]
s6、将k个相似结果输入至孪生网络的相似度模型中进行相似度计算，再利用传统视觉算法匹配特征点个数，根据个数值进行降序排列，在k个相似结果中取特征点相似个数最多的为最终的结果。
[0074]
如图6所示，通过sptag树图结合算法对限定在k数量范围之内的相似结果的特征点进行匹配，并对特征点进行筛选过滤，选出较好的特征点匹配，如图7所示，具体方法如下：
[0075]
假设m为原始样本特征距离，n为待配准样本特征距离，r为符合条件的特征配对，x为配准系数，初始为1，则按进行递归，距离越小，则代表匹配结果越可信，直至r为0或不存在；随后根据x对r进行降序排序，得到最终配准结果；
[0076]
具体地，x配准系数初始值为1，若满足即m《0.5*n可视为较好特征点，其中m,n分别为两幅图像的特征点距离；
[0077]
经过第一次递归后，x配准系数此时值为0.5，若满足即m《0.25*n，可视为极好特征点，其中m,n分别为两幅图像的特征点距离。
[0078]
继续递归，直到最后一次递归的r＝0。
[0079]
若满足r》0即r存在且x《初始值，则认为待检测物品为真。
[0080]
在本发明实施例中：
[0081]
所述孪生网络为具备自我学习能力的深度学习模型，包括数据集的自动划分，具
体方法如下：通过传统视觉算法配准的逻辑将待训练样本与一张采样的样本(一张采样的样本指的是确定好所属类(是否为同一饼茶)的图像，待训练样本指的是未分类的样本)进行比对，配准符合的特征点数r，若配准存在r》0的情况，则自动划分/扩充同类训练数据集，其中可将x配准系数视为选项，该值与正确率相关，实际使用中可以根据需求进行调整，如图8所示。
[0082]
一般的监督学习模型在实际的使用过程中，随着样本空间中样本的数量剧增以及训练时无法考虑到的其他因素出现(如目标物体的纹理特征损失、拍摄要素改变等)，导致模型正确率低。依托该方法的自我学习能力，再有新的样本加入或样本要素发生变动时，将触发进行自我学习，自动提升正确率。
[0083]
在本发明的实施方案一中：防伪识别的方法在于，在完成步骤s1中对目标物品的图像采集后，将目标图像信息上传至区块链并生成对应的防伪识别码(识别码可以是二维码、条形码、编号等)，在对待检真伪物品进行真伪识别时，输入待检真伪物品上的防伪识别码，对应到目标图像的数据库后，再拍摄上传待检真伪物品的图片信息，模型系统计算相似度，判断其真伪。
[0084]
在本发明的实施方案二中：防伪识别的方法在于，在对待检真伪物品进行真伪识别时，拍摄待检真伪物品的图片并上传至模型系统，自动提取图片中图像的特征向量，并在建立好的特征向量库中检索查询，鉴其真伪。
[0085]
本发明基础原理：传统的视觉算法，只能适用于在两个确定的物品之间，匹配相似的点，而不能根据一个确定物品检索与其相似的物品。要满足该场景，则需要使用孪生网络(采用深度学习的方法)，训练模型提取特征，构建特征库。构建特征库使用的是sptag算法，能满足大规模下的近邻搜索，sptag需要同维的特征向量来进行构建，因此传统视觉算法提取的特征向量不是同维，并不能用来构建特征检索库。
[0086]
而构建的特征检索库，虽然可以检索出k个与其相似的物品图像。但若要满足在k个结果中搜索出最佳结果(真品)，则需要一个打分系统。打分系统由孪生网络和传统视觉算法构成，孪生网络计算出相似度作为保底分，传统视觉算法的作为参考分。传统视觉算法配准，相对来说是保守的，只有一定认为是相似的点，才会进行匹配。而因为用户拍照设备参数、以及角度等各种因素的影响，传统视觉算法并不一定能给出配准的结果，这时则按孪生网络的结果输出，否则输出传统视觉算法的结果。
[0087]
因为传统视觉算法在方法计算条件下是保守的，一旦有结果则可认为100％正确，且适用于两个确定物体之间相似度的比较。因此，可以将采集的大量不确定类别(是否为同一饼茶)与一类确定类别的物品图像进行匹配，以此划分，这也是该方法自我学习重要能力的根本原理。
[0088]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。