用于检验和鉴别物理对象的系统、方法和计算机可访问介质的制作方法
【专利说明】用于检验和鉴别物理对象的系统、方法和计算机可访问 介质
[0001] 本专利申请是国际申请日为2012年3月19日、国家申请号为201280020736. 4、发 明名称为"用于检验和鉴别物理对象的系统、方法和计算机可访问介质"的专利申请的分案 申请。
[0002] 相关申请的交叉引用
[0003] 本申请涉及并要求于2011年3月17日提交的美国专利申请序列号61/453. 916 的优先权，其全部公开内容通过引用并入本文中。
技术领域
[0004] 本公开内容涉及用于使用例如显微图像和视频来检验和鉴别物理对象的系统、方 法和计算机可访问介质的示例性实施方案。
【背景技术】
[0005] 纹理的识别和分类多年来一直是计算机图形学中的研究领域。⑶ReT数据库列出 了超过60种的纹理样本，并且试图推断辐照度、光照方向，并且提供纹理的精确BRDF测量， 根据精确地确定纹理的特性的目标，使得它们能够以更有效的方式真实地呈现纹理、识别 纹理、以及对纹理分类。
[0006] 已经存在有若干公开，已讨论对纹理的散射特性例如双向纹理函数、材料中的次 表面散射和辐射传输的研究。一些工作研究了散射介质中的光传输，并且试图从照片来重 构现场。已经实现来自显微镜的三维（"3D")CT扫描的布、织物的体积透视图，并且使用基 于凝胶的设备来执行显微镜3D结构透视图。使用扫描电子显微镜来研究在亚微米水平的 材料的结构，并且实现了根据来自对象的镜面反射的细观结构的三维重构。近来，研究人员 提出了使用纸的物理特性的低维表示形式来识别纸的一种技术。但是，它们的技术仅适用 于纸而并没有扩展到其它材料。
[0007] 在世界各地的几个国家中，假冒商品和文件是重大问题。假冒艺术品、纸、文件、月艮 装、塑料卡（例如信用卡、借记卡、ID卡）和汽车零件的估计市场损失超过1，000亿美元。 但是，上述公开没有描述例如在微观水平下来单独地识别纹理，也不是一种独特地识别每 片或多片纹理的低成本的技术、系统和设备。
[0008] 因此，本公开内容的目的中的至少一个目的是要解决这些缺点和问题中的至少一 止匕 -、〇
【发明内容】
[0009] 本公开内容的示例性实施方案涉及可以利用指纹识别机制和/或能够测量微观 纹理一一例如，当部分相干光落在对象上时，散射光在被投射到屏幕上时可产生明区和暗 区，从而可以表示依赖于底层介质的结构的图案一一的程序的系统、方法和计算机可访问 介质。如此，根据本公开内容的某些示例性实施方案，能够例如基于纹理的物理特性来独特 地识别每个纹理。
[0010] 本公开内容的示例性实施方案可以包括根据本公开内容的示例性方法、程序、计 算机可访问介质和系统，所述示例性方法、程序、计算机可访问介质和系统包括：接收物理 对象的至少一部分的至少一个第一显微图像；接收物理对象的所述至少一部分的至少一个 第二显微图像；以及将所述至少一个第一显微图像与所述至少一个第二显微图像相比较， 以确定基于至少一个描述符（descriptor)的相似性量度是否在预定的范围或阈值内。 [0011] 在某些示例性实施方案中，物理对象的类型可以是织物、塑料、纸、帆布、玻璃、金 属、金属复合材料或合金中的至少一种。在某些示例性实施方案中，物理对象具有特定的表 面粗糙度或光散射特性。在某些示例性实施方案中，物理对象具有轮廓或曲率。在某些示 例性实施方案中，处理配置（arrangement)是附接至显微镜装置的手持式计算设备或手机 的一部分。在某些示例性实施方案中，所述至少一个第一显微图像包括纹理散斑图案，或者 是所述物理对象的区域的视频的一部分。
[0012] 某些示例性实施方案还可以包括：使用对象不变的GaborPCA程序，将所述至少一 个第一显微图像转换成第一低维表示形式并将所述至少一个第二显微图像转换成第二低 维表示形式；以及通过比较第一低维表示形式与第二低维之间的特定度量距离是否在预定 量范围内来确定相似性量度，其中所述预定量用数学函数确定。
[0013] 某些示例性实施方案还可以包括：使用对象不变、尺度（scale)和旋转不变的梯 度直方图特征检测器，将所述至少一个第一显微图像转换成第一数据并将所述至少一个第 二显微图像转换成第二数据；以及通过确定第一数据和第二数据之间的特定度量距离是否 在预定量范围内来确定相似性量度，其中所述预定量用数学函数确定。
[0014] 在某些示例性实施方案中，所述至少一个第一显微图像是从标记区域提取的，并 且其中所述标记区域是物理对象的内容。在某些示例性实施方案中，标记区域对应于用户 或对象身份（identity)。在某些示例性实施方案中，所述至少一个第一显微图像是从界标 附近的区域提取的，并且其中所述界标是所述物理对象的内容。在某些示例性实施方案中， 所述至少一个第一显微图像是从无标记区域提取的。在某些示例性实施方案中，所述至少 一部分是基于手动跟踪来选择的，或者是通过使用计算配置（computing arrangement)在 参考坐标系中自动跟踪来选择的。
[0015] 在某些示例性实施方案中，计算配置被设置在固定设备或手持式设备中。在某些 示例性实施方案中，所述至少一个第一显微图像是当所述计算配置在预定义区域中移动时 提取的，并且其中所述预定义区域是基于坐标参考系跟踪系统或手动操作来计算的。在某 些示例性实施方案中，所述至少一个第一显微图像是以不接触所述物理对象表面的非侵入 性方式提取的。在某些示例性实施方案中，计算配置具有特定配置，其中基于预定量来固定 与计算配置配合的入射光源的角度和距离，其中基于预定量来固定与入射光源配合的捕获 屏幕或镜头的角度和距离，并且其中所述预定量是基于数学函数的。
[0016] 在某些示例性实施方案中，光源为提供多谱段（multispectral)电磁福射的可见 光、红外光、紫外光或它们的组合中之一。在某些示例性实施方案中，入射光源装置与偏 振器配合。在某些示例性实施方案中，入射光源装置被设置在附接至显微镜的移动电话 中，并且其中所述显微镜是手持式显微镜或手持式通用串行总线显微镜。在某些示例性实 施方案中，入射光源装置被设置在附接至机器人臂（robotic arm)或计算机数值控制器 的显微镜中。在某些示例性实施方案中，所述至少一个第一显微图像是从老化的、篡改的 (tampered)、弄皱的或浸泡的所述物理对象接收的。
[0017] 某些示例性实施方案还可以包括：从所述至少一个第一显微图像的所述至少一个 描述符生成可以被印刷、被写入、被嵌入或被压印在物理对象上的低维表示形式；从所述至 少一个第一显微图像的所述至少一个描述符生成低维表示形式；以及将所述低维表示形式 与所述被印刷、被写入、被嵌入或被压印在物理对象上的低维表示形式进行比较，以校验相 似性是否在预定量范围内，从而建立对物理对象的鉴别。
[0018] 在某些示例性实施方案中，通过使用秘密密钥加密技术（secret key cryptography technique)或公开秘钥加密技术（public key cryptography technique) 将物理对象鉴别为可信源。在某些示例性实施方案中，所述至少一个第一显微图像和所述 至少一个描述符被存储在在线存储库中。在某些示例性实施方案中，从沿着物理对象表面 的第一曲线提取一个或更多个显微图像，并且其中所述计算配置的移动被设置成沿着第二 曲线，并且第二曲线类似于第一曲线，并且是使用数学函数或手动操作预先确定的。在某些 示例性实施方案中，第二曲线是从数学函数或者从用户特定动作或信号（signature)导出 的。
[0019] 某些示例性实施方案还可以包括：通过计算配置提取包括所述至少一个第一显 微图像在内的多个显微图像，其中所述多个显微图像从物理对象表面的基本上整个区域得 到。在某些示例性实施方案中，基于所述至少一个第一显微图像的所述至少一个描述符的 计算集（computed set)来匹配所述至少一个描述符。
[0020] 某些示例性实施方案可以包括通过如下步骤来执行对物理对象的检验和鉴别：将 计算配置指向预定区域，并且提取特定的显微图像；以及处理所述至少一个第一显微图像 中的一个或更多个第一显微图像以计算所述至少一个描述符，以便于使用距离度量来将存 储的描述符与所计算的至少一个描述符进行比较。
[0021] 在某些示例性实施方案中，所述至少一个第一显微图像和所述至少一个第二显微 图像每个均包括如下至少之一：静止图像和视频。在某些示例性实施方案中，所述至少一个 描述符包括至少一个局部描述符或局部描述符。
[0022] 在结合所附权利要求来阅读本公开内容的实施方案的以下详细描述时，本公开内 容的这些和其它目的、特征和优点将变得明显。
【附图说明】
[0023] 在考虑了结合所附的示例性附图和权利要求的以下详细描述时，本公开内容的上 述的和其它示例性目的将会明显，其中贯穿全文，相同的附图标记指代相同的部件，并且其 中：
[0024] 图1为可以与本公开内容的某些示例性实施方案一起使用的附接至移动电话的 手持式显微镜的示意图；
[0025] 图2(a)和图2(b)为根据本公开内容的某些示例性实施方案的、其中底部使用用 作参比标记的不褪色墨来标记的微观纹理图像的示意图；
[0026] 图3(a)为示例性的微观纹理图像的匹配的示意图，其中暗线表示匹配描述符；
[0027] 图3(b)为在斜率差的约80%可能不小于土的情况下的微观纹理的不匹配的示意 图；
[0028] 图4(a)为对关于帆布的大量的微观纹理的局部描述符程序的评估的图示示意 图，其中X轴提供匹配点或描述符的数量，而y轴提供正确匹配百分比；
[0029] 图4(b)为对关于纸的大量的微观纹理的局部描述符程序的评估的图示示意图；
[0030] 图4(c)为对关于布的大量的微观纹理的局部描述符程序的评估的图示示意图；
[0031] 图4(d)为对关于玻璃的大量的微观纹理的局部描述符程序的评估的图示示意 图；
[0032] 图4(e)为对关于金属的大量的微观纹理的局部描述符程序的评估的图示示意 图；
[0033] 第4(f)为对关于塑料的大量的微观纹理的局部描述符程序的评估的图示示意 图；
[0034] 图5为与被放大的示例性的16X 16邻域一起的微观纹理图像的示意图；
[0035] 图6为可以表示任何表面的3D截面的示例性立方体的示意图；
[0036] 图7为亚麻布的分数汉明距离（Fractional Hamming Distance)的示例性表的示 意图；
[0037] 图8为在不同水平上具有其本身不同情况的亚麻布散斑的分数汉明距离的示例 性表的不意图；
[0038] 图9(a)为在手机上拍摄的散斑图像的示意图；
[0039] 图9 (b)为在右侧所示的紧致码的QR码的示意图；
[0040]图10 (a)至图10⑴为使用根据本公开内容的系统的示例性实施方案所捕获的散 斑的示意图；
[0041] 图11(a)至11⑴为不同材料的示例性分数汉明距离的图示示意图；
[0042] 图12(a)至12⑴为在关于材料的散斑图像之间的示例性成对欧氏距离的图示示 意图；
[0043] 图13为根据本公开内容的某些示例性实施方案的具有两种运动程度的示意图： 垂直（x，y)和水平（χ，ζ)的示例性关节臂，其中在其左部处看到旋转头设置有合适的显微 镜；
[0044] 图14是根据本公开内容的方法的示例性实施方案的流程图；
[0045] 图15是根据本公开内容的系统的示例性实施方案的框图；
[0046] 图16为100等份的光学测微计等级放大的在400倍下的示例性Veho数码显微镜 的视场的示意图，其中各个等份之间的距离为10微米并且各个划分标记的大小为3微米；
[0047] 图17为在使用本公开内容的系统、方法和计算机可访问介质的示例性实施方案 的某些实验中使用的Veho数字显微镜的示例性视图的示意图；
[0048] 图18为配备有可以用于本公开内容的系统、方法和计算机可访问介质的示例性 实施方案中的显微镜的示例性的四个自由度机械臂的示意图；
[0049] 图19为将可以使用本公开内容的系统、方法和计算机可访问介质的示例性实施 方案的显微镜安装至其头部的示例性的光栅扫描器的示意图。
[0050] 在所有附图中，除非另有说明，使用相同的附图标记和字符来表示所示的实施方 案的相同特征、元件、部件或部分。此外，虽然现在将参照附图详细描述主题发明，但是这因 此结合说明性实施方案和所附权利要求来实现。旨在可以在不脱离本主题公开内容的真实 范围和精神的情况下对所描述的实施方案作出改变和修改。 具体实施方案
[0051] 现在将至少在一定程度上参照附图来描述可以通过根据本公开内容的系统、方法 和计算机可访问介质的示例性实施方案来实施的方法学和程序的示例性实施方案。
[0052] 示例性微观纹理
[0053] 所捕获的示例性微观纹理图像可以是介质的基本物理特性和通过介质的光散射 的函数。在微观水平下光散射可能是复杂的，因为其依赖于多种因素，例如介质的密度（例 如，光密度）、均匀性（例如，各向同性或各向异性散射）、表面粗糙度、照射和照明方向（例 如，入射光的方向）。
[0054] 归因于各种因素，示例性微观纹理可以不同于普通宏观图像或照片，例如：
[0055] i)介质中的复杂的多散射产生介质散斑、阴影和/或相互反射中不存在的伪像；
[0056] ii)图像可以基于介质的反射或漫反射特性而变化；以及
[0057] iii)归因于纹理的微观尺寸（例如，约1微米至2微米），可能难以反复获得或记 录相同的纹理。
[0058] 纹理的⑶ReT数据库可以提供庞大的真实世界纹理集，但是这些可能处于宏观水 平，并且它们的特性（例如，灰度级直方图）可能取决于照射和照明方向。处于宏观水平的 纹理可以以某种形式以双向纹理函数（BTF)为特征，双向纹理函数可以提供一种确定和/ 或计算和模拟给定照射和照明方向的纹理的方法。逆光传输可以试图去除阴影、相互反射 和其它对图像的屏蔽，并且基于镜面反射来重构细观结构。本公开内容的示例性实施方案 可以在微观水平下分析、识别和比较特有的纹理，其中光可以经过多重散射，图像可以包含 诸如阴影、散斑或相互反射等伪像。
[0059] 提取示例性微观纹理
[0060] 示例性纹理图案可能对照明方向敏感，所以可以要求光源在相同的位置以获得通 过各试验的可重复的纹理图案。为了实现这一点，使用本公开内容的某些示例性实施方案， 可以使用显微镜例如消费等级显微镜，例如具有400倍的放大倍率的示例性Veho发现手持 式显微镜，其具有在固定位置中的内置LED，例如如图17所示。光源可以由以环状方式固定 在显微镜镜头附近的8个等距LED组成。当光照射介质时，光可经历散射，并且散射光可以 通过显微镜读出。由于纹理图像能够取决于光源的角度和方向，所以可以在进行任何试验 或实验之前完成校准。图2(a)至图2(b)示出了沿固定取向提取图像的示例性的基于标记 的方法。可以使用在图像的底部上看到的墨来作为提取图像的参比。400倍的显微镜的视 场可以为约〇. 95毫米，所以使