使用本征图像进行数字图像信号压缩的系统和方法

使用本征图像进行数字图像信号压缩的系统和方法
【专利摘要】在本发明的第一典型实施例中，提供一种用于处理图像的自动化且计算机化的方法。根据本发明的特征，所述方法包括以下步骤：在计算机存储器中提供描述图像的图像文件；生成与所述图像相对应的本征图像；以及对所述本征图像进行压缩以提供压缩本征图像。
【专利说明】使用本征图像进行数字图像信号压缩的系统和方法
【背景技术】
[0001]现代计算机技术的许多重大和商业上重要的用途涉及图像。这些包括图像处理、图像分析和计算机视觉应用。在例如诸如对象识别和光学字符识别等的计算机视觉应用中，已发现图像的光照和材质方面的分离可以显著提高计算机性能的精度和速度。在 Richard Mark Friedhoff 拥有的标题为 Differentiation Of Illumination AndReflection Boundaries 的美国专利 7, 873, 219 和 Richard Mark Friedhoff 等人拥有的标题为Method And System For Identifying Illumination Flux In An Image 的美国专利7，672，530(以下称为Friedhoff专利)中公开了与图像的光照和材质方面有关的重要开创性发明。

【发明内容】

[0002]本发明提供对Friedhoff专利的基本教导的改进和提高，并且包括包含用于精确且正确地生成可以应用在数字图像信号压缩算法中的本征图像(intrinsic image)的图像技术的方法和系统，以在例如数据传输中获得改进的结果。
[0003]在本发明的第一典型实施例中，提供一种用于处理图像的自动化且计算机化的方法。根据本发明的特征，所述方法包括以下步骤:在计算机存储器中提供描述图像的图像文件；生成与所述图像相对应的本征图像；以及对所述本征图像进行压缩以提供压缩本征图像。
[0004]在本发明的第二典型实施例中，提供一种计算机系统。所述计算机系统包括CPU和存储有包含图像的图像文件的存储器。根据本发明的特征，CPU被配置为执行例程以生成与所述图像相对应的本征图像，并且对所述本征图像进行压缩以提供压缩本征图像。
[0005]在本发明的第三典型实施例中，提供一种计算机程序产品，其配置在计算机可读介质上，所述计算机程序产品包括计算机可执行处理步骤，该步骤能够用于控制计算机以:在计算机存储器中提供描述图像的图像文件；生成与所述图像相对应的本征图像；以及对所述本征图像进行压缩以提供压缩本征图像。
[0006]在本发明的第四典型实施例中，提供一种用于处理图像的自动化且计算机化的方法。根据本发明的特征，所述方法包括接收压缩本征图像的步骤。
[0007]在本发明的第五典型实施例中，一种装置被配置为接收压缩本征图像。
[0008]在本发明的第六典型实施例中，提供一种配置在计算机可读介质上的计算机程序产品。所述计算机程序产品包括能够用于控制计算机以接收压缩本征图像的计算机可执行处理步骤。
[0009]根据本发明的又一实施例，提供包括被配置为(例如，被编程为)进行上述方法的一个或多个计算机的计算机系统。根据本发明的其它实施例，提供存储有可用于控制计算机以实现上述实施例的计算机可执行处理步骤的非瞬态计算机可读介质。本发明将计算机可读介质视为体现计算机为了执行本发明的方法而可使用的、包括作为如集成电路芯片那样的硬件电路所实现的指令的信息的任何产品。可以利用数字计算机、模拟计算机、光学传感器、状态机、定序器、集成芯片或者可被设计为或编程为执行本发明的方法的步骤的任何装置或设备来进行该自动化且计算机化的方法。
【专利附图】

【附图说明】
[0010]图1是被配置为进行与图像有关的运算的计算机系统的框图。
[0011]图2示出图1的计算机系统中所存储的图像的nXm像素阵列图像文件。
[0012]图3a是根据本发明的特征的、用于在图2的图像文件中识别C型表征(token)区域的流程图。
[0013]图3b是在C型表征的识别中用作示例的原始图像。
[0014]图3c示出图3b的图像中的C型表征区域。
[0015]图3d示出根据本发明的特征的、基于图3c的C型表征所生成的B型表征。
[0016]图4是根据本发明的特征的、用以测试通过图3a的流程图的例程所识别出的C型表征的例程的流程图。
[0017]图5是根据本发明的特征的、对数颜色空间色度平面的图形表示。
[0018]图6是用于确定输入图像中所描述的颜色的列表的流程图。
[0019]图7是根据本发明的特征的、用于确定对数色度空间的方向的流程图。
[0020]图8是根据本发明的特征的、用于确定如通过执行图6的例程所确定的输入图像的颜色的对数色度坐标的流程图。
[0021]图9是根据本发明的特征的、用于扩充如通过执行图8的例程所确定的对数色度坐标的流程图。
[0022]图10是根据本发明的特征的、用于将对数色度坐标进行聚类的流程图。
[0023]图11是根据本发明的特征的、用于将对数色度坐标分配至通过执行图10的例程所确定的簇的流程图。
[0024]图12是根据本发明的特征的、用于基于对数色度聚类来检测具有均匀反射率的区域的流程图。
[0025]图13是用于根据相同材质约束来识别并分离图像的光照和材质方面以生成本征图像的[A] [x] = [b]矩阵关系的表示。
[0026]图14示出包括与图3b的原始图像相对应的光照图像和材质图像的本征图像。
[0027]图15是根据本发明的特征的、用于对本征图像进行压缩的流程图。
[0028]图16是根据本发明的特征的、用于对本征图像进行解压缩的流程图。
【具体实施方式】
[0029]现在参考附图，并且首先参考图1，示出被配置为进行与图像有关的运算的计算机系统10的框图。CPU12经由例如USB端口连接至例如数字照相机14等的装置。该数据照相机可以包括视频数字照相机。数字照相机14工作以将本地存储在照相机14上的图像下载到CPU12。CPU12将所下载的图像作为图像文件18存储在存储器16中。图像文件18可以由CPU12进行访问以显示在监视器20上或者在打印机22上打印出。存储器16可以包括任何临时性或永久性的数据存储装置。
[0030]此外，计算机系统10包括对象数据库24，其中该对象数据库24存储与存储器16中所存储的图像文件18中可能出现的各种对象有关的信息。该信息包括与数据库24中所存储的各对象的材质构成和材质反射颜色有关的信息。如图1所示,该对象数据库连接至CPU12。CPU12还连接至因特网26，以访问网站28。网站28包括如下网站，这些网站包含与在图像文件18中可能出现的对象有关的、例如对象的材质构成和材质反射颜色等的信息，并且提供对象数据库的其它来源。网站28还包括被配置为从CPU12接收经由因特网26所发送的图像文件18的网站。
[0031]可选地，可以将CPU12作为嵌入在例如数字照相机14或机器人等的装置中的微计算机来实现。CPU12还可以配备有与例如机器人的操作或与用户的交互操作相关联地进行与图像有关的实时运算的实时操作系统。
[0032]如图2所示，各图像文件18包括nXm像素阵列。各像素P是与整个图像的离散部分相对应的图片元素。所有像素一起定义由图像文件18表示的图像。各像素包括与图片元素的例如红色、绿色和蓝色成分(RGB)的一组色带相对应的数字值。本发明可应用于任何多色带图像，其中各色带与一部分电磁频谱相对应。像素阵列包括以像素p(l，I)开始并且以像素P (n，m)结束的η行每m列。当显示或打印图像时，如通常已知的，CPU12从存储器16检索相应的图像文件18，并且根据图像文件18中的像素的数字值来操作根据具体情况而定的监视器20或打印机22。
[0033]在图像运算时，CPUl2工作以分析所存储的图像文件18的像素的RGB值，从而实现例如识别图像中的与图像文件18中记录的场景所描述的单个材质相对应的区域等的各种目的。作为本发明的基本发现的基础的基本观测结论是图像包括材质和光照这两个成分。图像中的所有变化都是由这些成分中的一个或另一个所引起的。用于检测这些成分其中之一、例如材质的方法提供了用于将材质或诸如对象边缘等的对象几何体与光照和阴影边界区分开的机制。
[0034]这种机制使得能够进行可以用来生成本征图像的技术。本征图像与例如输入图像文件18所描述的图像的原始图像相对应。本征图像例如包括用以捕捉入射到图像所描述的表面上的各点的光的强度和颜色的光照图像、以及用以捕捉图像所描述的表面的反射特性(表面所反射的光的各波长的百分比)的材质反射图像。本征图像中的光照与材质的分尚向CPU12提供了针对更加有效、精确和闻效率的进一步处理而最优化的图像。
[0035]例如，根据本发明的特征，将本征图像应用在数字图像信号压缩算法中，以改进数据传输和/或存储的结果。描述图像、特别是彩色图像的计算机文件需要配置为例如由字节表示的像素的极大量信息。因而，各图像文件在存储器中需要极大量的存储空间，并且在图像向着远程站点或装置进行数据传输时消耗大量时间。发送例如视频流那样的图像序列可能需要的时间量可能使诸如用于将视频实时显示在智能电话、因特网网站或平板电脑上的流操作等的操作不可行。
[0036]因此，已研发了用以将表示图像的像素的字节数压缩为极小的字节数的数学技术。例如，.jpg文件格式是联合图像专家组(JPEG)所研发的、用于对数字照片文件进行压缩的有损压缩算法。可以以与原始图像文件相比需要少得多的存储容量的方式来存储压缩图像，并且可以通过更为高效且快速的传输操作来将该压缩图像发送至远程站点或装置。对压缩图像文件进行解压缩以进行例如在画面上显示等的进一步使用。然而，由于用于接收并且实时显示数字视频的装置的用户的数量迅速增加，因此已知的压缩技术正被压迫至有效功能的极限。
[0037]根据本发明的特征，通过对本征图像进行压缩和解压缩处理来改进数字信号压缩和解压缩处理。
[0038]根据本发明的特征，在表征水平进行处理。表征是图像的连通区域，其中该区域的像素以与诸如识别材质和光照等的识别图像特征和特性有关的方式彼此相关。表征的像素可以在例如像素之间的颜色的紧密相关等的同质因子(homogeneous factor)、或者统称为纹理的例如在诸如RGB空间等的颜色空间中使几何相关的颜色值不同等的非同质因子(nonhomogeneous factor)方面相关。本发明利用与图像文件18所描述的图像的相邻像素有关的空间-频谱信息来识别表征区域。该空间-频谱信息包括相邻像素之间在例如像素的RGB值的色带方面的频谱关系、以及与单个材质有关的像素频谱特性的空间范围。
[0039]根据本发明的一个典型实施例，将各表征分类为A型表征、B型表征或C型表征。A型表征是包括表示图像中包含场景内的单个材质(均匀反射率)的最大可能区域的相邻像素的连通图像区域。B型表征是包括表示图像中包含场景内的单个材质的区域的相邻像素的连通图像区域，尽管该连通图像区域未必是与该材质相对应的均匀反射率的最大区域。B型表征还可被定义为一个或多个图像区域或像素的集合，其中这些图像区域或像素全部具有相同的反射率(材质颜色)，尽管这些像素未必是与该材质颜色相对应的所有像素。C型表征包括在该表征的相邻像素中具有相似图像属性的连通图像区域，其中相对于用于记录图像的摄像系统的噪声模型来定义相似性。
[0040]现在参考图3A，示出根据本发明的特征的、用于在图2的图像文件18所描述的场景中识别C型表征区域的流程图。根据本发明的特征，利用图3A的步骤，可以在图像中容易地识别出C型表征，然后对这些C型表征进行分析和处理以构造B型表征。
[0041]一阶均匀同质C型表征包括图像的相邻像素中的单个稳健颜色测量。在识别例程开始时，CPU12在存储器中建立区域映射。在步骤100中，CPU12清空区域映射并且分配初始设置为I的区域ID。将与像素数相对应的例程的迭代设置为i=0，并且将用作判断表征的种子的针对NXN像素阵列的数量设置为初始值N=Nstart。^,…可以是任意整数(>0)，例如可以将Nstart设置为11个或15个像素。
[0042]在步骤102，开始种子测试。CPU12选择第一个像素i=l、例如像素(1，1)(参见图2A)即在图像文件18的第一个NXN样本的左上角处的像素。然后，在判定块104测试该像素，以判断所选择的像素是否是好种子的一部分。该测试可以包括将所选择的像素的颜色值与作为种子的例如NXN阵列的该像素的预先选择数量的邻近像素的颜色值进行比较。可以针对像素的多个色带值(在本发明的示例中为RGB)进行该颜色值比较。如果对于种子中的像素、该比较没有得出(记录装置的噪声水平内的)大致相等的值，则CPU12针对下一个NXN种子样本使i的值递增(步骤106)、例如i=2即像素(1，2)，然后进行测试以判断i=imax是否成立(判定块108)。
[0043]如果像素值是被选择为用于判定减小种子大小以获得改进结果的阈值的值imax，则将种子大小N例如从N=15减小至N=12(步骤110)。在本发明的典型实施例中，可以将imax设置为如图2所示的结束于像素(n，m)的图像中的像素数。这样，在针对N的减小值重复该例程之前，图3a的例 程以N的第一个值解析整个图像。
[0044]在种子大小减小之后，例程返回至步骤102，并且继续测试表征种子。在步骤110中还检查Nsttjp值(例如，N=2)，以判断该分析是否完成。如果N的值是Nstop,则CPU12已完成对图像像素阵列的调查，并且退出该例程。
[0045]如果i的值小于imax且N大于Nstop,则例程返回至步骤102，并且继续针对表征种子进行测试。
[0046]当找到好种子(像素值大致相等的NXN阵列)时(块104)，根据该种子生成表征。在步骤112中，CPU12将种子中的像素推入队列。在区域映射中向队列中的所有像素标记当前区域ID。然后，CPU12询问队列是否为空(判定块114)。如果该队列不为空，则流程进入步骤116。
[0047]在步骤116中，CPU12将前面的像素弹出队列并且进入步骤118。在步骤118中，CPU12利用当前区域ID标记对象像素周围的“良好”近邻、即颜色值与对象像素大致相等的近邻。将所有已标记的良好近邻置于区域映射中并且也推入队列。然后，CPU12返回至判定块114。重复步骤114、116和118的例程，直到队列为空为止。此时，已识别出当前区域中形成表征的所有像素，并且在区域映射中将这些像素标记为C型表征。
[0048]当队列为空时，CPU12进入步骤120。在步骤120中，CPU12使区域ID递增以在识别下一表征时使用。然后，CPU12返回至步骤106，以针对新的当前表征区域重复该例程。
[0049]在图3a的流程图的步骤110中到达N=Nstop、或者完成与图像一致的区域映射时，该例程已完成表征构造任务。图3b是在识别表征时用作为示例的原始图像。该图像示出蓝色和阴影中的蓝色的区域、以及深青色和阴影中的深青色的区域。图3c示出针对图3b的图像、例如通过执行图3a的例程所识别出的与区域映射相对应的表征区域(C型表征)。对该表征区域进行颜色编码以示出图3b的图像中的、包括在图像的全蓝色和深青色区域与着色区域的阴影之间的半影区域的表征构成。
[0050]尽管各C型表征包括图像中的、在该图像的相邻像素之间具有单个稳健颜色测量的区域，但该表征可以跨材质边界生长。一般地，在一个C型表征中，不同的材质经由颈区域连接在一起，其中颈区域通常位于阴影边界上、或者位于跨色相相似但强度不同的不同材质的具有变化的光照的区域中。可以通过检查相邻像素的特性来识别颈像素。当像素具有不在相应表征内的位于相对侧的两个相邻像素、以及在相应表征内的位于相对侧的两个相邻像素时，将该像素定义为颈像素。
[0051]图4示出针对C型表征的颈测试的流程图。在步骤122，CPU12检查所识别出的表征的各像素，以判断被检查的像素中是否存在形成颈的像素。可以将图4的例程作为执行图3a的例程期间紧接在识别出特定表征之后的子例程来执行。将识别为颈的所有像素标记为“不可生长”。在判定块124中，CPU12判断是否标记了任何像素。
[0052]如果判断为“否”，则CPU12退出图4的例程，并且返回至图3a的例程(步骤126)。
[0053]如果判断为“是”，则CPU12进入步骤128，并且CPU12工作以按照图3a的例程，在不改变种子大小和区域ID的计数的情况下根据从当前表征的未标记的像素中选择出的种子位置重新生长表征。在重新生长处理期间，CPU12不包括先前被标记为不可生长的任何像素。在重新生长表征之后，取消对先前标记的像素的标记，以使得其它表征可以生长到这些像素中。
[0054]在重新生长不具有先前标记的像素的表征之后，CPU12返回至步骤122，以测试新重新生成的表征。颈测试识别跨材质边界的C型表征，并且重新生长所识别出的表征以提供适用于创建B型表征的单个材质C型表征。
[0055]图3d示出根据本发明的特征的、基于图3c的C型表征所生成的B型表征。本发明提供了用于构造图像文件18的B型表征的、使用对数色度聚类的新颖的示例性技术。对数色度是用于开发光照不变性色度空间的技术。
[0056]在美国专利7,596,266中公开了用于使用对数色度表不来分离光照和反射率的方法和系统，在此通过引用明确地包含于此。可以使用美国专利7，596，266所教导的技术来提供针对例如由C型表征所表示的图像的各颜色的光照不变性对数色度表示值。在对数颜色空间图上标绘图像像素的色带值的对数值。然后，如美国专利7，596，266所教导的，将这些对数值投影到根据双光源双色反射模型(BIDR模型)而定向的对数-色度投影面，以提供各像素的对数色度值。当颜色变化是由在图像中所描述的场景的单个材质上形成阴影的光照变化所导致时，BIDR模型预测出不同颜色测量值沿着正斜率从暗端(阴影中)到明端(照亮端)落入RGB空间中的圆柱体内。
[0057]图5是美国专利7，596，266所公开的根据本发明的特征的对数颜色空间双光源色度平面的图形表示。利用矢量N来确定色度平面的对准，其中该矢量N垂直于色度平面并且被定义为 N=1g (Brightvector)-log (DarkvectOT) =1g (l+l/SvectOT)。可以通过将绿色轴投影到色度平面上作为u轴、并且将u和N的交叉乘积定义为V轴来定义平面U、V的坐标。在本发明的示例中，如图5所示，将材质A、B、C的各对数值投影到色度平面上，因此在作为色度值的平面内各对数值将具有相应的U、V坐标值。
[0058]因而，根据美国专利7，596，266所公开的技术，如图5所示，可以利用CPU12将图像文件18中的各像素的RGB值从图像文件值P (n, m, R, G, B)映射成对数值，然后通过投影到色度平面来映射成相应的U、V值。然后通过CPU12利用二维色度值P (n, m, u, v)来替换图像文件18中的各像素P (n, m, R, G, B)，以提供原始RGB图像的色度表示。通常，对于N带图像，利用N-1色度值来替换N颜色值。色度表示是真实准确的光照不变性表示，这是因为该表示所基于的BIDR模型精确且正确地表示造成原始图像的光照束。
[0059]根据本发明的特征，针对输入至CPU12的图像文件18中所描述的各颜色计算对数色度值，以识别具有均匀反射率的区域(B型表征)。例如，在用于记录图像的设备的噪声水平内，C型表征的各像素例如在RGB值方面将具有大致相同的颜色值，如同相同C型表征的所有其它构成像素一样。因而，可以使用各特定C型表征的构成像素的颜色值的平均值来表示色度对数分析中的各C型表征的颜色值。
[0060]图6是用于确定例如图像文件18的输入图像中所描述的颜色的列表的流程图。在步骤200中，将输入图像文件18输入至CPU12以进行处理。在步骤202和204中，CPU12确定输入图像文件18中所描述的颜色。在步骤202中，CPU12针对颜色的列表，计算CPU12通过如上所述执行图3a的例程所确定的各C型表征的平均颜色。可选地，CPU12可以被配置为要求在表征的构成像素数方面的最小表征大小、或者要求用于根据图3a的例程确定C型表征的最小种子大小(NXN阵列)从而进行分析。实现最小大小要求，以确保针对图像的颜色的列表中的颜色测量值是输入图像中所描述的场景内的颜色的精确描述，并且不是混合像素的伪影。
[0061]混合像素是图像的两个不同着色区域之间的像素。如果在RGB空间中标绘两个区域之间的颜色，则针对从一个区域移动到下一区域的各混合像素存在颜色之间的线性转变，其中这些颜色是这两个区域的颜色的加权平均值。因而，各混合像素并不表示图像的真实颜色。如果存在混合像素，则针对图像的两个不同着色区域之间的区域，可以识别出包括混合像素的相对小的C型表征。通过要求最小大小，CPU12可以从分析中消除包括混合像素的表征。
[0062]可选地，在步骤204中，CPU12可以收集在像素水平上的颜色、即如图2所示的输入图像文件18的像素的RGB值。针对更加精确的颜色的列表，CPU12可以被配置为可选地要求分析中所使用的图像文件18的各像素经由滤波器输出而具有最小的稳定性或局部标准偏差。例如，可以使用二阶导数能量来指示图像的像素的稳定性。
[0063]在该方法中，CPU12使用高斯差分、高斯-拉普拉斯算子或类似的滤波器来计算在每个像素、或者为了覆盖输入图像文件18中所描述的图像的所有光照条件而跨整个图像所分配的像素的子集的二阶导数。然后，可以利用CPU12计算出所检查的各像素的二阶导数能量作为各色带的二阶导数的绝对值的平均值(或灰度图像中的单个值的绝对值)、各色带中的二阶导数的值的平方和(或灰度图像中的单个值的平方)、整个色带中的最大平方二阶导数值(或灰度图像中的单个值的平方)、或任何相似方法。在计算各像素的二阶导数能量时，CPU12分析像素的能量值。在二阶导数能量和像素稳定性之间存在相反关系，即能量越高，相应像素越不稳定。
[0064]在步骤206中，CPU12 (在执行步骤202和/或204中的一个或这两个之后)输出颜色的列表。根据本发明的特征，可以使用来自步骤202或204的列表来执行进一步的所有处理,或者可以在各后续步骤处改变所使用的列表(来自步骤204或204的列表中的一个或另一个)。
[0065]图7是根据本发明的特征的、用于确定对数色度表示的方向的流程图。例如，如图5所示，CPU12针对对数色度平面确定法线N的方向。在步骤210中，CPU12接收诸如在图6的例程的步骤206中所输出的列表等的、输入文件18的颜色的列表。在步骤212中，CPU12确定对数色度空间的方向。
[0066]如美国专利7，596，266所教导的并且如上所述，利用N来表示色度平面的对准，其中N是与例如图5的色度平面的色度表示垂直的矢量。利用CPU12通过执行若干技术中的任一个来估计方向。例如，如美国专利7，596，266中所充分公开的，CPU12可以基于熵最小化、用户的手动选择或者使用针对输入图像文件18的图像的特性谱比率来确定估计值。
[0067]对于例如RYGB空间(红色、黄色、绿色、蓝色)的颜色的较高维数集合，对数色度法线N限定比输入空间少一维的子空间。因而，在四维RYGB空间中，法线N定义三维对数色度空间。在将四维RYGB值投影到三维对数色度空间的情况下，对数色度空间内的投影值不受光照变化影响。
[0068]在步骤214中，CPU12输出法线N的方向。如图5的示例所示，法线N定义三维RGB空间中的U、V平面的方向。
[0069]图8是根据本发明的特征的、用于确定如在图6的例程的步骤202或204中所识别出的输入图像的颜色的对数色度坐标的流程图。在步骤220中，将颜色的列表输入至CPU12。颜色的列表可以包括通过执行图6的例程的步骤202所生成的列表、或通过执行步骤204所生成的列表。在步骤222中，还将通过执行图7的例程所确定的法线N的对数色度方向输入至CPU12。[0070]在步骤224中，CPU12被配置为如图5所示计算颜色的列表中的各颜色的对数值并且将这些对数值标绘在三维对数空间中的各(log R, log G, log B)坐标处。材质A、B和C表示来自步骤220中输入至CPU12的颜色的列表的特定颜色的对数值。还利用CPU12在三维对数空间中计算对数色度平面，其中在步骤222中将U、V坐标和利用N所设置的方向输入至CPU12。还可以利用三维对数空间中的相应(log R, log G, log B)坐标来指定对数色度平面中的各U、V坐标。
[0071]根据本发明的特征，CPU12接着将颜色A、B和C的对数值投影到对数色度平面上以确定各颜色的U、V对数色度坐标。可以利用三维色度空间中的相应(log R, log G, logB)坐标来表示各U、V对数色度坐标。在步骤226中，CPU12输出对数色度坐标的列表。该列表(依赖于分析中所使用的颜色的列表(步骤202 (表征)或204(像素)))将各颜色与U、V对数色度坐标和具有各颜色的像素(或C型表征)交叉引用。
[0072]图9是根据本发明的特征的、用于可选地以额外维度扩充像素或C型表征的对数色度坐标的流程图。在步骤230中，将通过执行图8的例程针对输入图像的颜色所确定的对数色度坐标的列表输入至CPU12。在步骤232中，CPU12访问输入图像文件18以在扩充时使用。[0073]在步骤234中，CPU12可选地被配置为针对各相应像素(或C型表征)利用色调映射强度来扩充各对数色度坐标。使用任何已知的色调映射技术来确定色调映射强度。利用色调映射强度信息的扩充为对根据相似对数色度坐标和相似色调映射强度这两者来分组的像素或表征进行聚类提供了基础。这提高了聚类步骤的精度。
[0074]在步骤236中，CPU12可选地被配置为利用相应像素的x、y坐标(或C型表征的构成像素的x、y坐标的平均值)(参见示出P(l，I)~P (N，M)像素配置的图2)来扩充各对数色度坐标。因而，在期望该特性的情况下，利用x、y坐标信息的聚类步骤将提供在空间受限配置下的组。
[0075]在步骤234和236各自中，在各情况中，可以分别利用因子W1和w2、w3对扩充信息进行加权，以指定扩充坐标中的不同维度的相对重要性和尺度。加权因子^和^”^是用户指定的。因此，使像素或C型表征的(log R, log G, log B)坐标扩充为(log R, log G, logB, T^w1, x*w2, y*w3),其中T、X和y分别是色调映射后的强度、x坐标和y坐标。
[0076]在步骤238中，CPU12输出扩充坐标的列表。已扩充对数色度坐标提供输入图像的像素、或者针对例如C型表征等的指定区域配置的精确的光照不变性表示。根据本发明的特征，基于对数色度坐标的光照不变性特征来识别例如B型表征等的具有单个材质或反射率的图像的区域。
[0077]图10是根据本发明的特征的、用于将对数色度坐标聚类的流程图。在步骤240中，将已扩充对数色度坐标的列表输入至CPU12。在步骤242中，CPU12工作以聚类对数色度坐标。可以经由例如已知的k均值聚类来实现聚类步骤。可以使用任何已知的聚类技术来聚类对数色度坐标以确定具有相似对数色度坐标值的组。CPU12使各对数色度坐标与各坐标所属于的组相关。CPU12还工作以计算聚类步骤中所识别出的各组的中心。例如，CPU12可以确定与(log R, log G, log B)空间有关的各组的中心。
[0078]在步骤244中，CPU12输出针对对数色度坐标(交叉引用相应像素或C型表征)的簇组从属关系的列表和/或簇组中心的列表。[0079]如上所述，在执行聚类方法时，CPU12可以使用来自通过执行图6的例程的步骤202所生成的列表或通过执行步骤204所生成的列表中的颜色的列表。在将所识别出的簇组应用于输入图像时，可以使CPU12被配置为使用与聚类方法中所使用的颜色相同的集合(与步骤202相对应的颜色的列表或与步骤204相对应的颜色的列表中的一个)，或者应用颜色的不同集合(与步骤202相对应的颜色的列表或与步骤204相对应的颜色的列表中的另一个)。如果使用颜色的不同集合，则CPU12继续执行图11的例程。
[0080]图11是根据本发明的特征的、用于在识别出簇组之后使用颜色的不同列表的情况下将对数色度坐标分配至通过执行图10的例程所确定的簇的流程图。在步骤250中，CPU12此时针对新的颜色列表再一次执行图8的例程。例如，如果使用步骤202中所生成的颜色的列表(基于C型表征的颜色)来识别簇组、然后CPU12工作以基于步骤204中所生成的颜色的列表(基于像素的颜色)来对与簇组有关的对数色度坐标进行分类，则执行图11的例程的步骤250，以确定针对输入图像文件18中的像素的颜色的对数色度坐标。
[0081]在步骤252中，将簇中心的列表输入至CPU12。在步骤254中，CPU12被配置为对步骤250中所识别出的各对数色度坐标根据最近的簇组中心来进行分类。在步骤256中，CPU12根据步骤250中所使用的颜色的列表(步骤202中所生成的颜色的列表或步骤204中所生成的颜色的列表)，通过交叉引用相应像素或C型表征、基于新的颜色列表来输出针对对数色度坐标的簇组从属关系的列表。
[0082]图12是根据本发明的特征的、用于基于对数色度聚类来检测具有均匀反射率的区域的流程图。在步骤260中，将输入图像文件再一次提供至CPU12。在步骤262中，将与步骤250中所使用的颜色的列表相对应的像素或C型表征的其中一个输入至CPU12。在步骤264中，将来自步骤244或256的簇从属关系信息输入至CPU12。
[0083]在步骤266中，CPU12被配置为将输入图像的具有相同簇组从属关系的各像素或例如C型表征的指定区域合并为图像的单个区域，以表示具有均匀反射率的区域(B型表征)。CPU12针对输入图像文件18，根据具体情况来对所有像素或表征进行这种合并操作。在步骤268中，CPU12输出具有均匀反射率(并且如果在步骤234和/或236中扩充了对数色度坐标、则还具有相似色调映射强度和x、y坐标)的所有区域的列表。应当注意，根据本发明的特征所确定的具有均匀反射率的各区域(B型表征)在整个区域中可以具有显著光照变化。
[0084]美国专利公开US2010/0142825教导包括基于相同材质约束的最优解的、用于分离图像中的光照和材质的约束/求解器模型。如美国专利公开US2010/0142825所教导的相同材质约束利用如根据本发明的教导所能确定的C型表征和B型表征。该约束关系是将作为相同B型表征的一部分的所有C型表征约束为相同材质。该约束实践了 B型表征的定义、即包括表示图像中包含场景中的单个材质(相同反射率)的区域的相邻像素的连通图像区域，尽管该连通图像区域未必是与该材质相对应的最大区域。因而，存在于相同B型表征内的所有C型表征利用施加于B型表征的相同材质的定义，尽管未必是相同光照。因此，将C型表征约束为与所观察到的由光照变化所引起的外观差异相对应。
[0085]图13是如美国专利申请US2010/0142825所教导的、用于根据相同材质约束来识别并分离图像的光照和材质方面的[A][x] = [b]矩阵关系的表示。基于基本方程I=ML(I=如存储在图像文件18中那样的记录图像值，M=材质反射率，并且L=光照)，log (I) =1g (ML) =1g (M) +log (L)。这可以重写为 i=m+l,其中 i 表示 1g(I)，m 表示 1g(M)并且I表示1g(L)。在相同材质的约束关系中，在三个C型表征即a、b和c (如图13所示)位于如由a、b和c所定义的相应B型表征所定义的具有单个反射率的区域内的示例中，ma=mb=m。。针对该示例，各C型表征的I值是该表征的构成像素的记录颜色值的平均颜色值。该示例的a、b和c、C型表征可以与图3d所示的蓝色B型表征相对应。
[0086]由于ma=ia_la, mb=ib-lb并且因此在相同材质约束的情况下,可以将这些数学关系表示为(I) la+(-l) Ib+(O) Ic=(Ia-1b),⑴ Ia+(O) Ib+(-1) Ic=Qa-U 和(O) Ia+(I)
Ib+ (~!) lc=(ib_ic)。
[0087]因而，在图13的矩阵方程中，根据相邻C型表征a、b和c的构成像素的平均记录像素颜色值而得知[b]矩阵中的1g(I)的各种值(ia，ib, i。)。如上所述，通过表达相同材质约束的方程组来定义O、I和-1的[A]矩阵。[A]矩阵中从顶部到底部的行数与施加于表征的实际约束的数量相对应(在本实施例中为三个，即在三个相邻C型表征a、b和c之间的相同的材质约束)。[A]矩阵中从左至右的列数与要求解的未知量的数量相对应(在这种情况下又是针对三个表征的三个光照值)。因此，利用CPU12，可以在矩阵方程中求解[X]矩阵中的各C型表征a、b和c的光照成分的值。应当注意，各值是本发明的示例中的与色带(诸如红色、绿色和蓝色等)相对应的三值的矢量，或者可以是诸如灰度图像等中的单个值。
[0088]一旦光照值已知，则可以利用CPU12使用I=ML方程来计算材质颜色。现在，通过分别利用所计算出的光照值和材质值替换原始图像中的各像素，可以针对由表征a、b和c定义的区域生成本征光照和材质图像。图14示出与图3b所示的原始图像相对应的光照图像和材质图像的示例。
[0089]根据本发明的另一典型实施例的特征，CPU12连接至对象数据库24。如上所述，对象数据库24存储可能在图像文件18中出现的对象的列表、以及与存储在数据库24中的各对象的材质构成和材质反射率颜色有关的信息。与上述用于将图像分离成相应的材质反射率和光照本征图像的技术相关地，使CPU12工作以进行例如SIFT技术等的已知对象识别任务，从而识别处理中的图像内的被摄体。
[0090]在识别出处理中的图像所描述的场景内的对象时，CPU12访问对象数据库24以获得与识别出的对象有关的材质反射率颜色信息。然后，CPU12被配置为将处理中的图像内的例如构成识别出的对象的任意C型表征进行关联。然后可以使用所识别出的对象的材质反射率颜色信息来指定例如添加至图13所示的矩阵方程的固定材质颜色锚值，以约束构成识别出的对象的C型表征，由此将处理中的图像内的构成识别出的对象的表征分离为对象的相应本征材质反射率和光照方面。
[0091]根据本发明的又一特征，CPU12连接至因特网。这样，CPU12可以访问因特网26上的网站28。网站28提供对象数据库的其它来源。例如，CPU12可以经由例如基于文本的搜索来搜索因特网26，以在所访问的网站28处获得与在处理中的图像内所识别出的对象的材质特性有关的信息。使用这些材质特性来确定上述固定锚值。
[0092]例如，利用经由例如根据 本发明的对数色度聚类技术所获得的C型表征和B型表征以及来自对象数据库26的信息、根据美国专利申请US2010/0142825的技术和教导的约束/求解器模型的实现方案提供了用于生成与原始输入图像相对应的本征图像的非常有效和高效的方法。可以使用本征图像来提高图像处理、图像分析和计算机视觉应用的精度、速度和效率。
[0093]例如，图15示出根据本发明的特征的、用于对本征图像进行压缩的流程图。对本征图像或本征图像组(材质和光照)而不是原始图像进行压缩使得压缩文件的大小进一步缩小，以供更加高效的存储和更快的数据传输。
[0094]在步骤300中，CPU12从存储器16接收例如图像文件18的原始图像。在步骤302中，CPU12被配置为例如根据以上详细说明的技术基于原始图像来生成本征图像，以输出光照映射(光照图像)(步骤304)和反射率映射(材质图像)(步骤3Oe)。
[0095]在步骤308和310中，CPU12被配置为通过并行操作或按序列分别进行压缩处理A和压缩处理B。
[0096]在压缩处理A中，CPU12对光照图像进行压缩处理。例如，CPU12工作以将光照映射转换成.Pgm格式(已知的便携式灰度格式)。然后CPU12继续使用质量水平20，根据已知的JPEG格式来将灰度光照.pgm图像转换成.jpg压缩图像文件。
[0097]在压缩处理B中，CPU12对材质图像进行压缩处理。例如，CPU12被配置为使用256颜色根据已知的图形交换格式(GIF)来将反射率映射转换成GIF文件。然后CPU12继续使用质量水平20，根据已知的JPEG格式来将GIF文件转换成.jpg压缩图像文件。
[0098]在步骤312中，CPU12被配置为根据已知的GNU图像处理程序(GMP)来再混合.jpg压缩的光照和材质的压缩文件，以输出压缩本征图像(步骤314)。
[0099]根据本发明的特征，利用CPU12将压缩本征图像存储在存储器16中、以及/或者例如经由因特网26发送至例如被配置为网站28的远程装置(参见图1)。该远程装置例如包括智能电话、平板电脑或iPad、或者TV广播操作中的装置。
[0100]图16是根据本发明的特征的、用于对本征图像进行解压缩的流程图。在步骤316中，例如被配置为网站28的装置经由因特网26接收(根据图15的例程处理后的)压缩本征图像。该装置例如包括智能电话、平板电脑或iPad、或者TV广播操作中的装置。在步骤318中，CPU12工作以分离包括接收到的压缩图像的混合.jpg文件，从而输出压缩后的本征照明图像和材质图像。
[0101]在步骤320和322中，CPU12被配置为采用并行操作或按序列分别进行解压缩处理A和解压缩处理B。
[0102]在解压缩处理A中，CPU12对光照图像的压缩版本进行解压缩处理，以输出本征光照映射(步骤324)。
[0103]在解压缩处理B中，CPU12对材质图像的压缩版本进行解压缩处理，以输出本征反射率映射(步骤326)。
[0104]使用用于对最初根据诸如JPEG格式等的已知技术压缩后的图像进行处理的已知技术来实现各步骤318、320和322。
[0105]在步骤328中，CPU12工作以重组光照图像和本征图像，从而输出原始图像(步骤330)、例如是CPU12最初根据图15的例程所处理的图像文件18中所描述的图像。如以上充分描述的，可以利用CPU12使用I=ML方程来计算重组图像。
[0106]由于用于接收并实时显示数字视频的装置的用户的数量迅速增加，因此如本发明所教导的、经由本征图像的使用所实现的压缩结果的改进使有效功能的极限得到扩展，由此在电子装置使用方面适合现代趋势。
[0107]在前述说明书中，已经参考特定典型实施例及其示例说明了本发明。然而，显而易见，可以在不背离如所附权利要求书所述的本发明的更宽精神和范围的情况下进行各种修改和改变。因此，应以例示性方式而不是限制性意义来考虑本说明书和附图。
【权利要求】
1.一种用于处理图像的自动化且计算机化的方法，包括以下步骤: 在计算机存储器中提供描述图像的图像文件； 生成与所述图像相对应的本征图像；以及 对所述本征图像进行压缩以提供压缩本征图像。
2.根据权利要求1所述的方法，其中，还包括将所述压缩本征图像发送至远程装置的步骤。
3.根据权利要求1所述的方法，其中，还包括将所述压缩本征图像存储在存储器中的步骤。
4.根据权利要求1所述的方法，其中，所述本征图像包括本征图像组。
5.根据权利要求4所述的方法，其中，所述本征图像组包括材质图像和光照图像。
6.一种用于处理图像的自动化且计算机化的方法，包括接收压缩本征图像的步骤。
7.根据权利要求6所述的方法，其中，还包括对所述压缩本征图像进行解压缩的步骤。
8.根据权利要求 6所述的方法，其中，所述压缩本征图像包括压缩光照图像和压缩材质图像的混合。
9.一种计算机系统，包括: CPU ；以及 存储器，用于存储包含图像的图像文件； 其中，所述CPU被配置为执行例程以生成与所述图像相对应的本征图像，并且对所述本征图像进行压缩以提供压缩本征图像。
10.根据权利要求9所述的计算机系统，其中，所述CPU还被配置为将所述压缩本征图像发送至远程装置。
11.根据权利要求9所述的计算机系统，其中，所述CPU还被配置为将所述压缩本征图像存储在存储器中。
12.—种计算机程序产品，其配置在计算机可读介质上，所述计算机程序产品包括计算机可执行处理步骤，该步骤能够用于控制计算机以:在计算机存储器中提供描述图像的图像文件；生成与所述图像相对应的本征图像；以及对所述本征图像进行压缩以提供压缩本征图像。
13.根据权利要求12所述的计算机程序产品，其中，还包括将所述压缩本征图像发送至远程装置的处理步骤。
14.根据权利要求12所述的计算机程序产品，其中，还包括将所述压缩本征图像存储在存储器中的处理步骤。
15.根据权利要求12所述的计算机程序产品，其中，所述本征图像包括本征图像组。
16.根据权利要求15所述的计算机程序产品，其中，所述本征图像组包括材质图像和光照图像。
17.一种装置，其被配置为接收压缩本征图像。
18.根据权利要求17所述的装置，其中，所述装置还被配置为进行对所述压缩本征图像解压缩的步骤。
19.根据权利要求17所述的装置，其中，所述压缩本征图像包括压缩光照图像和压缩材质图像的混合。
20.一种计算机程序产品，其配置在计算机可读介质上，所述计算机程序产品包括能够用于控制计算机以接收压缩本征图像的计算机可执行处理步骤。
21.根据权利要求20所述的计算机程序产品，其中，还包括对所述压缩本征图像进行解压缩的处理步骤。
22.根据权利要求20所述的计算机程序产品，其中，所述压缩本征图像包括压缩光照图像和压缩材质图像的混合。
【文档编号】G06K9/36GK103917990SQ201280050282
【公开日】2014年7月9日 申请日期:2012年10月4日 优先权日:2011年10月11日
【发明者】理查德·马克·弗里德霍夫, 布鲁斯·艾伦·麦斯威尔, 卡西·阿瑟·史密斯 申请人:昙盾特视觉科学有限公司