使用纸张表面和移动相机的伪造品检测方案的制作方法

本申请涉及并要求2015年11月13日提交的美国临时专利申请号62/255,134的权益和优先权，其全部由此通过引用并入本文。2015年11月16-19日在意大利罗马举行的ieee国际信息取证与安全研讨会(ieeeinternationalworkshoponinformationforensicsandsecurity)(wifs′15)中由发明人发表的论文“counterfeitdetectionusingpaperpufandmobilecameras”，也通过引用以其全部并入本文。发明人为ieee信息取证与安全汇刊(ieeetransactionsoninformationforensicsandsecurity)(tifs)发表的论文“counterfeitdetectionbasedonunclonablefeatureofpaperusingmobilecamera”，也通过引用以其全部并入本文。

背景技术

各种认证系统可以受益于伪造品的检测。更具体地，某些认证系统可以受益于可适用于纸张表面的伪造品检测方案，其可以采用移动相机，比如与移动电话相关联的相机。

相关领域的描述

商品包装和有价值的文件比如票据和id是伪造者的常见目标。传统的高成本表面结构有时被采用来打败伪造，比如全息图、紫外线(uv)油墨或无规有色纤维。这些技术倾向于是昂贵的，具有薄弱的基础事实，并且真实性检测依赖于物品接收者的人工决策。

作为替代方案，低成本表面结构已经被用于通过使用它们的光学特征进行伪造品检测。表面的无规性使得结构在物理上不可复制或者难以复制以遏制复制品。通过添加比如纤维、小塑料点、气泡、粉末/闪光剂等的外来成分至表面可以创建外表面结构。通过探索表面——比如由绞合木纤维形成的纸张表面——的微观粗糙度的光学效应，内表面结构也可以是固有的。

可以出于认证目的探索的纸张表面的固有3-d结构的独特性是由于重叠和绞合的木纤维。

存在两种基本类型的反射模式：镜面反射和漫反射。由镜状镜面反射引起的感知强度主要取决于反射光的方向与眼睛/传感器之间的角度，而由漫反射引起的感知强度主要取决于入射光的方向和微观表面的法线之间的角度。大多数表面是这两种表面类型的组合。

一张纸在不同区域处可以具有不同的主要反射类型，但是将纸张处理为完全漫反射表面是一种选择。大部分的位置可以遵循这种模式，并且其余位置可以被视为这种模式下的异常值。

图1显示了微观视图中特定点的表面法线方向和入射光方向。完全漫反射模式的感知强度——lr＝λ·l·n^tvi，其中l∝cos^kθ和n^tvi＝——取决于微观水平的表面的法线方向——n＝(nx，ny，nz)——和入射光入射的方向——vi＝(vi，x，vv，y，vi，z)——之间的角度y；在当前点处的光的强度，l；和漫反射系数，λ，其表征反射光的物理能力。在该讨论中，假设在整个纸片上λ是恒定的。参数l可以与cos^kθ成比例地建模，其中k是说明根据平方反比定律的能量衰减的影响、前景缩小的影响等的正数，并且θ是入射角。

在扫描仪的情况下，θ是出厂指定的与线性光源的位置相关联的设计参数并且因此对于每个像素位置都是固定的；在相机的情况下，相邻像素位置的θ通常是不同的。

技术实现要素：

根据某些实施方式的方法可以包括用装置的照明源照射物品表面。该方法还可以包括在照射表面期间通过装置的相机采集表面的多个图像。该方法可以进一步包括基于多个图像认证物品。

在某些实施方式中，设备可以包括配置为照射物品表面的装置的灯。该设备还可以包括配置为在照射表面期间采集表面的多个图像的装置的相机。该设备可以进一步包括配置为基于多个图像认证物品的装置的处理器。

根据某些实施方式，设备可以包括用于使用装置的照明源照射物品表面的工具。该设备还可以包括用于在照射表面期间通过装置的相机采集表面的多个图像的工具。该设备可以进一步包括用于基于多个图像认证物品的工具。

附图说明

为了正确理解本发明，应当参考附图，其中：

图1显示了表面的微观视图中特定点的法线方向和入射光方向。

图2a图解了根据某些实施方式的配准容器(registrationcontainer)的设计。

图2b图解了根据某些实施方式的配准容器的三面片(tri-patch)设计。

图3图解了根据本发明的某些实施方式制备可认证物品的框图。

图4图解了根据本发明的某些实施方式认证可认证物品的框图。

图5图解了根据本发明的某些实施方式的范映射估计器(normmapestimator)的细节。

图6图解了根据本发明的某些实施方式的系统。

图7图解了根据本发明的某些实施方式的方法。

图8图解了根据某些实施方式的进一步的方法。

具体实施方式

图2a图解了根据某些实施方式的配准容器的设计。该配准容器可以促进实验中或实际应用中的精确配准。考虑每英寸600像素的打印分辨率，容器可以是400×400像素的方形盒子，线宽度可以是5像素，并且在角落处可以有四个圆圈。使用霍夫变换可以实现基于四个边界的初步对齐，并且然后可以基于圆圈标记进行具有透视变换补偿(perspectivetransformcompensation)的亚像素分辨率细化。由估计的透视变换矩阵可以容易地计算出在世界坐标系中相对于采集表面的镜头位置，并且然后可以知道在每个像素位置处的入射光的方向。

图2b图解了根据某些实施方式的配准容器的三面片设计。在该实例中的配准容器可以包括三个图2a中图解的设计，其中另外地并入了打印的数据，比如在三个面片的中心的快速响应(qr)代码。可选地或另外地，信息可以是qr代码以外的另一种形式并且可以定位在面片外或者在另一个面片中。

物理上不可复制的特征(feature)(puf)的光学特性可以用于验证。puf验证问题可以作为通常归结为假设检验的图像认证问题来处理。空假设h0对应于不正确匹配的检验和参照面片的对，而可选的假设h1对应于正确匹配的对。最大化统计功效的最优决策规则是似然比检验(lrt)：如果成立则拒绝h0，其中x表示检验面片，f0和f1是分别在空假设和可选的假设下的概率密度函数，并且τ是阈值。

作为简单的实例，区分已知参照图像w相对于所有其他图像的假设检验模型可以为如下：

h0；x＝e0，e0～n(m1，∑0)，

在此，正态分布的e0随机地表示具有用于图像内容和获取噪音的非退化协方差矩阵∑0的任何获取的图像，1是与x具有相同维度的全1矢量，m对应于照度的数字表示的线性范围的中心处的值(对于在[0，255]范围内的强度，i＝128)，w确定地表示参照图像，并且el是图像获取噪声(高斯白，具有恒定方差)。当面片x由法向矢量场的x-分量或y-分量表示时，假设检验设置下的上述情况仍然有效——m＝0。如在本讨论中，可以使用相对于阈值的样本相关系数作为决策规则。

在不知道入射光的精确方向的情况下，可以获得一个分量的估计值作为在完全相反方向上的两次扫描之间的差异，从而消除扫描仪光的未知入射方向的影响。参见，例如，clarkson等人的“fingerprintingblankpaperusingcommodityscanners”，inproc.ieeesymposiumonsecurityandprivacy，berkeley，ca，may2009，pp.301-314。

本发明的某些实施方式，例如，通过利用穿过移动成像装置的光学特征来表征纸张表面的独特的、物理上不可复制的性质来解决纸张认证问题。

显示高匹配精确度的先前工作或者使用消费水平的扫描仪用于估计纸张表面的投影法向矢量场作为用于认证的特征，或者使用具有受控照明的工业相机获得表面的外观图像作为特征。而且，过去基于移动相机的探索是非常有限的并且在获得一致的外观图像方面没有取得实质性的成功。改进认证性能的一种方式是以增加认证系统的设计复杂性为代价使用对照明变化较不敏感的视觉可观察的点的基于强度梯度的特征。

本发明的某些实施方式认识到，使用移动相机的过去的方法的失败部分地由于环境光的不受控制的性质。更具体地，某些实施方式通过利用相机闪光灯产生半受控制的照明条件直接使用由移动相机采集的图像进行认证。

某些实施方式还提供使用不同视点的多个相机采集的图像估计纸张表面的微观法向矢量场的方法。因而，可以放宽受限制的成像设置以使得能够在移动成像装置的更随便的、普遍存在的设置下进行纸张认证，这可以促进纸张文件和商品包装的复制品或其他伪造品检测。

例如，某些实施方式集中于纸张表面的固有性质用于伪造品检测和遏制。任选地，然而，相同技术还可以应用于除了纸张表面之外的其他种类的表面——比如织物表面、皮革表面或者具有光学可检测微观表面变化的任何其他表面。某些实施方式提供了在通常可获得的照明条件下使用消费水平的移动相机的更随便、普遍存在的成像设置。

如以上所提及，基于视觉上可观察的点的强度梯度的特征对照明的改变可能较不敏感，并且可以以较高的算法复杂度和中等辨别能力为代价进行认证。因而，某些实施方式可以与本文描述的方法结合并入这些特征。此外，防复制或防伪造技术也可以或可选地依赖于受保护物品的其他特性。

过程的两个方面可以促进经由移动相机的纸张认证。第一，可以将移动采集的图像配置为与扫描仪采集的图像具有可比较的分辨率和对比度。第二，可以控制照明以呈现纸张的期望图像外观。

第一方面可以通过比较自扫描仪和移动相机的获取的图像定性地确认。以两种方式获取的图像的确在像素的小邻域内具有显著的强度波动。第二方面可以通过激活比如移动装置等装置上靠近相机镜头的闪光灯实现。由于闪光灯相对于镜头的相对位置是固定的，因此对于相机和纸张之间的给定位置，可以合理地预期表面的外观。

相机闪光灯的使用可以显著地改进外观图像的认证性能，并且更重要地是，可以允许以精细表面细节估计法向矢量场。通过了解镜头的估计位置，可以计算纸张的每个像素的入射光的方向。然后，可以通过使用完全漫反射模式估计特定像素的法向矢量，同时由于像素位置至闪光灯的不同距离对相机图像中的不均匀强度进行特殊处理。因而，基于移动相机的技术可以获得纸张表面的法向矢量场的有效估计值以实现认证。

因为不受控制的光源(一个或多个)可能是使用外观图像作为特征的低认证性能的主要原因，借助于移动相机的内置闪光灯的半受控制的照明条件可以实现适当的认证。光源、镜头和纸张面片之间的相对位置可以是已知的，或者至少可以被估计。

简单的情况将是使用在至镜头相对固定的位置处采集的面片外观，使得照明的效果是相同的。以下讨论的更复杂的情况是理解照明的物理学并且使用多个外观图像以估计表面的法向矢量场进行认证。

由于图像外观高度地依赖于相机的设计参数，比如镜头和闪光灯的相对位置，以及外壳(case)的反射率或遮蔽(shadowing)，方法可以考虑到用户端的获取装置不限于特定的型号。

在简单的情况下，例如，可以使用具有内置相机和照明源——比如led闪光灯或其他闪光灯——的装置拍摄参照图像。然后可以将参照图像与随后采集的图像进行比较，该随后采集的图像可以使用具有相同的物理布局的相机镜头和照明源的相同类型的装置在相同的相机-表面几何结构下采集。如果图像之间的相关性足够高，那么可以确认真实性。

因为现代移动相机在采集精细细节方面的分辨率已经改进，所以通过使用多个外观图像估计法向矢量场可以是可能的。例如，如果可以解决相机几何结构和照明的问题，则可以完成该操作。

光度立体技术可以用于使用在不同视角采集的外观图像重建表面。然而，这里的挑战是感兴趣的表面的尺寸小得多。可以适当地选择光反射的物理模式并且可以控制照明以利用获得法向矢量场的有意义估计值的可能性。

考虑到大致平坦的纸张表面和典型的移动电话相机，可以存在大规模的平缓的空间强度变化，即，具有圆形水平曲线的平缓的宏观强度变化。这种宏观强度可以被补偿以揭示由于微观表面的取向的变化引起的强度变化。

宏观强度可以与表面处的光强度——l——和入射角θ的余弦成比例。我们通过在像素位置p周围的小邻域n内的背景像素的平均感知强度来近似宏观强度：

(b)≈λ·l(p)·e[n(p)]^tvi(p)

其中在p处vi，z(p)＝cosθ，并且其中|n(p)|是在p的小邻域中的像素的数目。线(a)由l(k)和vi(k)在小邻域内近似恒定的事实产生。线(b)从遍历性产生。线(c)由法向矢量平均上垂直向上的假设产生，e[nx]＝e[ny]＝0并且其中是0和1之间的建模常数。

为了简单起见，中值滤波可以应用于不同的镜头(shot)。因而，可以获得对于宏观强度的满意估计结果。使用估计的宏观强度图像通过补偿宏观强度可以限定特定位置p处的图像的归一化强度，ζ(p)，如下：

其中n是待估计的未知法向矢量，是未知的建模常数，lr是在闪光灯下获取的图像，并且项vi、和vi，z已被估计。通过将在闪光灯下采集的原始图像除以宏观强度图像可以获得归一化图像。

为了快速检查建模的正确性，可以使用方便的现成的估计器比如最小二乘方进行参数估计。为了用最小二乘方获得有意义的估计，可以在相对于纸张的四个以上不同的相机位置处采集纸张面片，其中四个是法向矢量的三个未知参数和一个待确定的图像强度偏移(offset)参数的和。图像强度偏移参数可以是描述图像强度的偏移量的参数。在20个相机位置处采集面片是一个实例，但是其他数量的采集位置也是允许的。

可以对总计200×200个像素估计在每个像素位置处的法向矢量。对于每个像素位置p，可以建立线性方程组用于利用已知或估计量求解法向矢量：

其中可以被称为ζ，可以被称为x，可以被称为β，并且可以被称为e。未知参数β可以包含法向矢量和例如由于环境光而在位置p处引起的采集任何强度偏差的截距。观察矢量ζ可以由来自图像#1至#m的在并置位置p处的归一化强度值组成。数据矩阵x可以由入射方向矢量组成。来自测量和/或建模的噪声可以通过零均值误差矢量e建模。

估计的法向矢量场可以给出满意认证性能。然而，各种因素可能影响认证性能。

在某些实施方式中，可以使用二十个图像来估计四个参数以便获得具有高置信度的良好估计值。然而，即使只有五个图像，认证性能仍然可以是令人满意的，因为对于正确的匹配，样本相关值可能显著地大于0。因而，图像的数量可以是一个这类可能影响性能的因素。

可以影响性能的另一个因素是估计的镜头位置的精度。入射光方向vi可能对获得的法线方向场的估计值具有显著影响。在某些实施方式中，vi本身是可能被不准确估计的透视变换矩阵的估计值。当扰动处于x-(或y-)方向时，估计的法向矢量场的x-(或y-)分量的相关性可能减小大约0.15，并且另一个分量可能没有变化。当扰动处于对角线方向时，x-和y-分量二者的相关性可能会减小大约0.1。尽管相关性减小，但是正确匹配仍然可以与不正确的匹配完全地分开。因此，镜头位置估计和认证性能可能不被估计的镜头位置的10°偏差显著影响。

某些实施方式可以具有各种益处和/或优势。例如，根据某些实施方式，出于认证目的使用移动装置的相机和内置闪光灯来估计为纸张表面的固有微观特征的法向矢量场可以是可能的。因此，某些实施方式可以放松受限制的成像设置以便能够在移动成像装置的更随便的、普遍存在的设置下进行纸张认证，其可以促进纸张文件和商品包装的复制品检测。

某些实施方式还可以适用于其中相机不与纸张表面平行的场景。这可能会造成挑战，这是因为纸张表面的某些部分上可能会出现焦外模糊效应。

图3图解了根据本发明的某些实施方式制备可认证物品的框图。如图3中所显示，在打印对齐框和快速响应(qr)码或其他辅助数据——比如与标签id和产品信息相关的数据——的过程330中，空白复印/棉纸310可以具有施加至其的标签id320。qr码只是获得辅助数据——比如标签id——以促进匹配和认证的一种方式的实例。

该过程310可以产生待粘贴至包装或文件的标签370。更一般地，在310处打印的结果可以提供表面面片340。在350处，可以存在来自垂直扫描方向的四个扫描。使用扫描的图像可以在360处估计范映射。这可以被提供作为参照范映射380。

图4图解了根据本发明的某些实施方式认证可认证物品的框图。如图4中所显示，在405处，在包装/文件上存在可检验的标签405。在410处，用户或用户设备可以使用具有闪光灯的移动相机从不同的视角拍摄多个镜头。这可以产生标签的多个图像415。图像配准可以在420处进行。在420处的该图像配准可以提供透视变换矩阵425和对齐的图像430。表面面片图像提取和qr图像提取或其他辅助数据提取可以在435处进行，并且可以产生表面面片图像440和qr图像450或其他辅助数据的图像。例如，某些实施方式不限于qr图像，而是还可以应用于条形码、文本或其他形式的辅助数据。

范映射估计器445可以使用移动相机图像。该估计器445可以依赖于透视变换矩阵425和表面面片图像440二者。估计器445的输出可以是估计的范映射480。

qr解码器或其他辅助数据解码器455可以解码qr图像(或其他辅助数据)以获得标签id460。参照范映射检索器465可以依赖于标签id460和参照范映射的数据库470，以产生参照范映射485。

真实性决策块490可以将估计的范映射480与参照范映射485进行比较。基于该比较，真实性决策块490可以产生真实的输出或不真实的输出495。

图5图解了根据本发明的某些实施方式的范映射估计器的细节。如图5中所显示，范映射估计器可以接收透视变换矩阵510。相机位置估计器520可以处理透视变换矩阵510。范映射估计器还可以接收表面面片图像530并且在宏观强度图像估计器540中处理它。

在550处，范映射估计器可以计算每个像素的入射角。使用来自550的输出与宏观强度图像估计器540和表面面片图像530的输出一起，在560处，范映射估计器可以产生归一化图像。在560处的该产生步骤可以在多个图像上完成以产生多个归一化图像，例如，在570处的至少四个归一化图像。归一化图像570和在550处的入射角的计算输出可以用于在580处进行范映射计算，从而产生估计的范映射590。

图6图解了根据本发明的某些实施方式的系统。如图6中所显示，系统可以包括标签生成器610和用户设备620。两个装置都可以包括至少一个处理器614、624，至少一个存储器615、625，收发器616、626，和相机或扫描仪613、623(如果需要，可以存在相机和扫描仪二者)。任选地，其他合适的设备可以代替相机/扫描仪613，比如使用制图的替代技术，比如显微分析。标签生成器610还可以包括打印机617。打印机617可以配置为打印物理标签，其可以包括如上所述的qr码或其他元数据。用户设备620可以包括用户界面621，如以上所述，其可以配置为提供认证结果的输出。

处理器(一个或多个)614、624可以是任何合适的电路、芯片、中央处理单元或者专用集成电路。存储器(一个或多个)615、625可以是任何存储机构，比如随机存取存储器(ram)、只读存储器(rom)、闪存、固态驱动存储器、电子可编程存储器等。处理器(一个或多个)614、624和存储器(一个或多个)615、625可以被提供在彼此相同的芯片上，或者在不同的芯片上。存储器(一个或多个)615、625可以包括比如计算机程序代码的任何期望形式的计算机程序指令，比如机器代码、解释型代码等。

如以上所提及，装置可以配置为使用它们的收发器616、626通过网络彼此通信或者与第三或其他装置——比如参照范映射的外部数据库——通信。

用户设备620可以进一步包括灯628，比如内置闪光灯。例如，用户设备620可以是具有内置闪光灯的移动相机电话。

图6的装置可以提供用于执行本文所述的任何方法的工具。该装置可以单独运转或者彼此组合运转。

图7图解了根据本发明的某些实施方式的方法。如图7中所显示，方法可以包括，在710处，用移动装置的照明源照射物品的表面。该方法还可以包括，在720处，在照射表面期间通过移动装置的相机采集表面的多个图像。该方法可以进一步包括，在730处，基于多个图像认证物品。

该方法可以另外地包括，在722处，估计表面的微观法向矢量场，其中认证基于微观法向矢量场的估计值。

认证可以基于表面的物理特性。例如，认证可以基于表面的固有物理特性。更具体地，在某些实施方式中，认证可以基于表面的物理上不可复制的性质。

该方法还可以包括，在724处，估计相机的镜头的位置。该方法可以进一步包括，在726处，基于估计计算表面区域的每个像素的入射光的方向。认证可以基于表面的微观法向矢量场，所述微观法向矢量场基于计算的入射光的方向确定。该方法可以另外地包括，在728处，根据当计算入射光的方向时像素位置至照明源的不同估计距离来加权不均匀强度。

该方法可以进一步包括，在740处，向移动装置的用户提供认证输出。认证可以包括检测物品是复制品或伪造品。因而，输出可以是“合格”、或“警告”、“警示”或“检测到伪造品”等。

图8图解了根据某些实施方式的进一步的方法。如图8中所显示，方法可以包括，在810处，用照明源照射物品的表面。该光源可以是主要的光源，比如闪光灯。允许各种闪光灯照射技术，其包括，但不限于，led和白炽照射技术。

该方法还可以包括，在820处，在照射表面期间通过装置的相机采集表面的图像。采集可以利用预限定的相机-表面几何结构进行。可以使用装置的取景器确定该预限定的几何结构，例如，将相机的显示图片边缘与参照框的边缘对齐。

该方法可以进一步包括，在830处，基于在相同的预限定的相机表面几何结构下采集的图像的外观与参照外观的比较认证物品。任选地，参照外观可以在不同的相机表面几何结构下产生，但是插入或以其他方式转换为模拟相同的预限定的相机表面几何结构的外观。

虽然该实例提及单个图像被采集和比较，但是某些实施方式可以依赖于多个图像的采集和一个或多个图像与多个参照图像的比较。如果期望，该实施方式可以与以上实施方式组合使用，或者可以单独使用。

图7或图8的方法可以通过例如图6中图解的用户设备620实施。此外，图4可以被认为是图7中图解的一般方法的具体实例。另外地，使用估计的表面范映射可以单独使用，任选地，估计的表面范映射可以与基于外观的方法组合使用，这涉及根据例如纸张表面和应用的类型将采集的图像与参照图像进行比较。

当相机的采集分辨率足够高时，每个像素覆盖的区域可以相对平坦，并且分配给该像素的法向矢量可以表示该区域的物理表面方向。法向矢量的集合因此可以用作纸张表面的指纹。然而，当分辨率低于上述的场景时，法向矢量仍然可以用作有意义的量。更具体地，使用将高分辨率图像和低分辨率图像相关联的虚拟2-d低通滤波器，由低分辨率图像估计的范映射可以被认为是降采样的(downsampled)范映射。

纸张可以被容易地折叠，导致折叠线周围的那些表面的方向改变。为了维持真实匹配的高相关性，可以应用以下策略。第一策略在相关性计算中掩盖其表面方向受折叠影响的那些像素。该方法是直观的，但依赖于折叠区域的检测和分割。因为由于折叠导致的范映射场的变形可以被看作增加了缓慢地在空间上变化的趋势面，所以第二策略是在计算相关性之前应用去趋势(detrending)方法。例如，高通滤波可以被应用以去除总体趋势。这种高通滤波器可以被设计成适当地排斥趋势面的频率分量。可选地，可以拟合参数表面以估计趋势面，并且可以将所得的留数用于进行相关性。实际挑战可能在于选择既不过拟合也不欠拟合的参数表面。

扰动分析显示，根据某些实施方式的方法对相机位置的不准确估计值是稳固的，并且使用6至8个图像可以以相等的差错率(eer)实现10^-4的匹配精度。例如，为了获得10^-4的eer，如果相关性遵循轻尾高斯分布，则应该平均获取至少六个闪光灯图像。相反，如果相关性认为遵循重尾拉普拉斯分布，则应该平均获取至少八个闪光灯图像。

本领域的普通技术人员将容易理解，如上所讨论的本发明可以以不同顺序的步骤和/或具有与所公开的配置不同的配置的硬件元件来实施。因此，虽然已经基于这些优选实施方式描述了本发明，但是对于本领域技术人员显而易见的是，某些更改、变化和替代构造将是显而易见的，同时保持在本发明的精神和范围内。