具有深浅检测的颜色匹配的制作方法

根据35U.S.C.§119(e)，本申请要求于2015年4月15日提交的序号为No.62/147,743、标题为COLOR MATCHING WITH SHADE DETECTION的美国临时申请的优先权权益。通过引用的方式将序号为No.62/147,743的美国临时申请的全部内容并入本文中。

背景技术：

典型地利用常规的硬件来执行颜色匹配。例如，颜色匹配硬件可以包括具有经校准的光源(典型地，包含在特定的壳内)的光谱仪。由于设备本身的性能限制，移动照相机和颜色传感器通常不能够进行准确的颜色匹配。特别地，在移动设备实施方式中缺乏表面特性。颜色可以被测量，但深浅不可以被测量，这是因为无法知晓所测量的总的光反射中有多少是来自于光泽表面光洁度(finish)并且也无法知晓与目标相距多远。期望能够对取决于表面光洁度和范围的深浅进行检测，以使得具有不同深浅的相近的颜色(例如，红色和粉红色)能够被相互区别开。

技术实现要素：

本公开内容涉及具有深浅检测的颜色匹配。颜色匹配的方法可以包括：接收目标的照相机图像，该照相机图像是在存在闪光照明的情况下被采集的；接收目标的颜色传感器光谱测量结果，该颜色传感器光谱测量结果是在存在闪光照明的情况下被采集的；确定目标的照相机图像的闪光强度轮廓的镜面反射和漫反射分数；基于闪光质心在目标的照相机图像内的所检测的位置来确定视差；将视差转换为目标的范围测量结果；基于镜面反射和漫反射分数以及目标的范围测量结果来计算目标的所预期的白电平(white level)；以及基于颜色传感器光谱测量结果和目标的白所预期的电平来计算所检测的颜色的深浅。

提供该发明内容来以简化的形式引入概念的选择，这将在下面的具体实施方式中被进一步描述。该发明内容并不是要标识所要求的主题的关键特征或重要特征，也不是要用作确定所要求的主题的范围的辅助。

附图说明

参考附图对具体实施方式进行描述。在说明书和附图的不同实例中使用相同的附图标记可以指示相似或相同的项目。

图1A是示出根据本公开内容的实施例的颜色匹配系统的框图。

图1B是根据本公开内容的实施例的在移动设备内实施的诸如图1A中示出的颜色匹配系统等颜色匹配系统的示意图。

图2A是光泽表面的照相机图像(使用闪光灯)。

图2B是亚光表面的照相机图像(使用闪光灯)。

图3是显示漫反射和镜面反射目标的模拟范围响应的曲线图。

图4示出能够由诸如图1A中示出的颜色匹配系统等颜色匹配系统来实施的颜色匹配的方法的流程图。

具体实施方式

图1A示出根据本公开内容的实施例实施的颜色匹配系统100。本领域技术人员将会理解，附图中示出的和/或本文中所描述的实施例可以完全或部分地组合以产生附加的实施例。相应地，所示出的和所描述的实施例应该被理解为说明性的，而不应理解为对本公开内容进行限制。在一些实施例中，例如，如图1B中所示，可以在诸如智能电话、平板电脑、笔记本、智能手表、多媒体播放器等移动设备114中实施的系统100。

根据各种实施例，系统100包括照相机102、颜色传感器104以及闪光灯106。系统100还可以包括与照相机102、颜色传感器104以及闪光灯106通信的一个或多个处理器108。在实施例中，一个或多个处理器108可以包括本地(在设备内的)处理器和/或远程处理器(例如，由远程服务器或者基于云端的计算系统执行的处理)。一个或多个处理器108可以通信地耦合到至少一个非暂态存储介质110(例如，硬盘驱动器、固态磁盘驱动、闪存设备等)，所述非暂态存储介质110具有存储于其上的程序指令112。程序指令112可以包括使得一个或多个处理器108控制照相机102、颜色传感器104和闪光灯106并执行本文中所描述的各操作(例如，图4中及下面描述中示出的方法200的操作)的指令集。

在实施方式中，可以分析照相机图像，以经由闪光灯反射视差、目标重雾层(haze)和镜面反射分量、以及预期的光返回来确定目标(例如，图1B中所示的目标116)的范围。这使得能够利用颜色传感器104来测量颜色和深浅。下面描述如何实现对颜色和深浅的测量的进一步的细节。闪光灯106是已知的/经校准的光传感器。相应地，作为参考，各种光滤波技术可以用于闪光灯特性。例如，帧减法可以用于去除环境光，范围校准可以用于校正角度相关的闪光灯颜色，等等。

所观察的颜色是诸如但不限于表面反射光谱(被大多数人认为是颜色)、表面反射特性(例如，质地)、以及光源的颜色等若干事物的函数。换言之，所观察的颜色受表面颜色色调或者光谱(例如，红色)、深浅(例如，粉红色与红色相比)、光洁度(例如，亚光与有光泽相比)、以及照明的影响。

颜色匹配的三个关键挑战是：传感器-闪光灯的共同校准；目标表面光洁度(例如，镜面反射vs.漫反射)；以及目标范围。当这三个事物为已知时，击中颜色传感器104的光量可以被变换回到对目标颜色(x，y，z)与亮度或深浅的有用估算。例如，除非你位于反射光的镜面反射路径中，否则完美的反射镜(名义上是白色的)是黑色的。因此，亚光纸张的白色块的照片实际上显得比具有光泽光洁度的灰色纸张要亮(除了在一个点处——闪光灯106的反射)。这在图2A和2B中示出，描绘了由移动电话拍摄的具有指示标记(蓝色的线)的两块纸张的闪光灯照片。在图2A中，有光泽的相片纸将闪光灯106的反射显示为明亮的中心点(由蓝色箭头标识)以及弱得多的漫反射分量。在图2B中，亚光复印纸显示出强的漫反射。随着漫射度的增加，从闪光灯106返回的光(镜面反射)下降，从纸的其余部分返回的光(非镜面)也增加。闪光灯106在图像中具有偏移量，其取决于目标与照相机102的距离，并且取决于闪光灯106到照相机102的距离。这被称为视差。从中心开始的角度(弧度)大致为s/r，其中s是照相机-闪光灯的间距并且r是目标的范围。可以通过合成(bin)到无法分辨质地的足够低的分辨率并选择最亮的像素来寻找中心，或者，对于漫反射物体则通过质心计算或者拟合来寻找中心。

图3示出漫反射和镜面反射目标的模拟范围响应。除非常短的范围外，镜面反射的目标将具有低得多的整体响应。镜面反射与漫反射的比率和范围足以估算出大的同质目标的整体响应。通过结合照相机102图像利用颜色传感器104，获得了在基于闪光灯的颜色采样系统中表征表面光洁度的许多益处。下面讨论一些潜在的益处。

由于颜色传感器104的专业的颜色响应，它在颜色上可以比照相机102更准确。可以通过对目标或者多种颜色的目标进行照明以及利用颜色传感器104测量颜色来校准闪光灯的颜色和光谱。这种共同校准可以带来更高的准确度。

表面光洁度的知识对于电子商务来说是重要的性质。例如，订购黑色的裤子(棉质)与黑色的裤子(乳胶)相比。表面光洁度的知识同样适用于建筑和汽车喷漆、化妆品等。高光泽光洁度和高亚光光洁度对于消费者是非常不同的。利用检测深浅和表面特性的能力，有可能使用包括颜色、深浅和光泽度作为参数的颜色样品数据库。

可以获得距离无关和距离相关的测量。距离的确定可以减弱对单独的(例如，超声波)范围查找器的需求。由于照相机102的高像素分别率，能够以高精度实施距离的确定，以带来良好的视差灵敏度。知晓图像中的光源(例如，闪光灯106)的偏移量是很重要的，因为闪光灯106的颜色随着角度而发生变化，并且闪光灯参考颜色可能必需被认为是距离相关的，以便获得高的准确度。因此，直接测量距离和视差是有用的。

在移动设备实施方式中，应用程序可以向用户提供反馈。例如，如果目标不是足够近的，用户能够被提示“移动得靠近一些”。应用程序还可以分析表面来看关于它的颜色是规则的(白色t-恤)还是不规则的(褪色的牛仔裤)，并且应用程序还可以包括在材料性质方面的分析以及关于所测量颜色的准确度的建议。提供这些示例是出于解释的目的。本领域技术人员将会理解，除了本文中所描述的特征之外或者替代本文中所描述的特征，移动应用程序还可以包括许多特征。

现在看图4，示出了用于利用深浅检测的色彩匹配的方法200。可以通过系统100的实施例或者能够执行本文中所描述的操作的部件的任何其它构造来执行方法200。此外，方法200还可以包括用于执行上面关于系统100所描述的特征的操作。在实施方式中，方法包括：(202)接收目标的照相机图像，照相机图像是在存在闪光照明的情况下被采集的；(212)接收目标的颜色传感器光谱测量结果，颜色传感器光谱测量结果是在存在闪光照明的情况下被采集的；(208)确定目标的照相机图像的闪光强度轮廓的镜面反射和漫反射分数；(204)基于闪光质心在目标的照相机图像内的所检测的位置来确定视差；(206)将视差转换为目标的范围测量结果(优选地将漫反射的质心用于视差，因为光谱反射随着目标角度而漂移)；(210)基于镜面反射和漫反射分数以及目标的范围测量结果来计算目标的所预期的白电平(例如，在一个或多个波长处所预期的总的光返回)；以及(216)基于目标的颜色传感器光谱测量结果和所预期的白电平来计算所检测的颜色的深浅。图4中还示出，还可以任选地通过(214)将颜色传感器光谱测量结果的响应除以闪光照明的光谱响应来计算所检测的颜色。

下面提供示例性算法来示出方法200的实施方式。

1.捕捉闪光照相机图像Pic_flash+amb以及颜色光谱数据Color_flash+amb(i)

2.捕捉周围环境的背景图像Pic_amb以及颜色光谱数据Color_amb(i)

3.执行框架/背景减法以从照片和颜色数据中去除周围环境光，例如，

Color_flash(i)＝Color_flash+amb(i)-Color_amb(i)

4.对像素中的到C_flash中的闪光热点的中心的距离Δy进行峰值寻找

5.双峰拟合，以根据Pic_flash图像来确定图像中的闪光强度峰值的相对强度比率(S/D)、镜面反射(S)和漫反射(D)，其中S+D＝1。注意，对于反射镜表面S/D＝1，对于朗伯表面S/D＝0。

6.经由视差Δy＝(闪光灯图像物理偏移量)*(照相机焦距/范围)来计算目标的范围(H)，对于小偏移量

$\mathrm{\Δ}y=\left(\frac{1}{2}\mathrm{\Δ}mm\right)\frac{f}{H}\→H=\frac{f\mathrm{\Δ}mm}{2\mathrm{\Δ}y}.$

替代地，可以通过闪光灯光谱反射的大小来测定距离。然而，这可能仅对于具有镜面反射的目标是起作用的。

7.使用校准数据，用该S/D比率和范围(H)来计算目标的所预期的白电平(W)：

假设S/D＜＜1。

8.相对于具有特性S/D表面的完美的白色反射器W来计算绝对反射率Color(i)。

Color(i)＝Color_flash(i)/W(i，S/D，H)

9.利用颜色校正矩阵(C)来计算三色刺激颜色值X、Y、Z。

XYZ＝C*Color(i)

10.通过将XYZ值归一化于总和X+Y+Z来计算x、y、z颜色点。

$x=\frac{X}{X+Y+Z},y=\frac{Y}{X+Y+Z},z=\frac{Z}{X+Y+Z}.$

11.计算颜色光谱。如示例9中，将Color(i)转换为光谱基底(basis)Color(λ)，其中，(M)是变换矩阵：

Color(λ)＝M*Color(i)

12.向用户报告所测量的颜色值：“光泽”＝S/D；范围＝Z；颜色点＝x，y；光谱＝Color(λ)；颜色亮度(深浅)＝X，Y，Z

如上面所提供的示例性算法中所显示的，可以基于目标的颜色传感器光谱测量结果与所预期的白电平的比率来计算所检测的颜色的深浅。可以通过将目标的颜色传感器光谱测量结果与所预期的白电平的比率乘以颜色校正矩阵来计算颜色，以获得三色刺激颜色值。也可以使三色刺激颜色值归一化。

在实施方式中，计算所检测的颜色的深浅还可以包括：通过将目标的颜色传感器光谱测量结果与所预期的白电平的比率乘以变换矩阵来将目标的颜色传感器光谱测量结果与所预期的白电平的比率转换为光谱基底。

在实施方式中，该方法还包括框架/背景减法以从照片中去除周围环境光。例如，该方法可以包括：接收目标的第二照相机图像，第二照相机图像是在没有闪光照明的情况下采集的；以及基于照相机图像与第二照相机图像之间的不同，从照相机图像中过滤掉由周围环境光所引起的图像效应。相似地，该方法可以包括：接收目标的第二颜色传感器光谱测量结果，第二颜色传感器光谱测量结果是在没有闪光照明的情况下采集的；以及基于颜色传感器光谱测量结果与第二颜色传感器光谱测量结果的不同，从颜色传感器光谱测量结果中过滤掉由周围环境光所引起的光谱效应。

应该认识到，可以通过硬件、软件或固件的任意组合来实施整个本公开内容中所描述的各种功能、操作或者步骤。在一些实施例中，各种步骤或者功能是通过以下设备中的一个或多个来实施的：电子电路、逻辑门、多路复用器、可编程逻辑设备、特定应用集成电路(ASIC)、控制器/微控制器或者计算系统。计算系统可包括但不限于个人计算系统、大型计算系统、工作站、图像计算机、并行处理器、或者现有技术中已知的任何其它设备。总的来说，术语“控制器”和“计算系统”被广义地定义为包含具有执行载体介质的指令的一个或多个处理器的任何设备。

实施诸如由本文中所描述的实施例所表明的那些方法等方法的程序指令可以经由载体介质传输或者存储在载体介质上。载体介质可以是传输介质，例如但不限于电线、电缆或者无线传输链接。载体介质也可以包括非暂态信号承载介质或者存储介质，例如但不限于只读存储器、随机存取存储器、磁盘或者光盘、固态或者闪存存储器设备、或者磁带。

进一步的考虑，以上被表明为系统或方法的本公开内容的任何实施例可以包括本文中所描述的任何其它实施例的至少一部分。本领域技术人员将会理解的是，存在各种实施例，能够通过所述实施例来实施本文中所描述的系统和方法，并且实施方式将随着在其中部署公开内容的实施例的上下文而发生改变。

此外，应该理解的是，本发明由所附权利要求来限定。尽管已经示出了本发明的实施例，但是，很显然，本领域技术人员可以做出各种修改而不脱离本公开内容的范围和精神。