专利名称：图像处理的制作方法
技术领域：
本发明涉及图像处理。
发明内容
根据本发明，提供了一种对其中图像元素(picture element)均由颜色值来表示的数字编码图像进行处理的方法，包括对多个所述图像元素中的每一个(a)执行多次比较，每一次比较都包括对第一图像元素组和第二图像元素组进行比较，该第一图像元素组包括所考虑的图像元素和其附近的至少一个其他图像元素，该第二图像元素组包括基本(base)图像元素和至少一个其他图像元素，第二组中的图像元素的数量与第一组中的图像元素的数量相同，并且第二组的该其他元素或各个其他元素相对于第二组的基本图像元素的位置与第一组的该其他元素或相应其他元素相对于所考虑的图像元素的位置相同，其中每一次比较都确定这两个组是否在满足相似性标准方面相匹配；以及(b)当至少一次比较结果为匹配时，为所考虑的图像元素计算替换颜色值，该替换颜色值是获得匹配的该第二组或各个第二组的基本图像元素的颜色值的函数。
优选地，该方法包括识别满足显著性标准的图像元素，并仅为不满足该显著性标准的图像元素计算替换颜色值。
权利要求中限定了本发明的其他优选方面。
下面将参照附图以示例的方式来描述本发明的一些实施例，附图中图1是用于执行本发明的设备的框图；
图2是根据本发明一个实施例的要由图1的设备来执行的步骤的流程图；图3是本发明第二实施例的类似流程图；图4是本发明第三实施例的类似流程图；图5至8示出了该处理对于一些样本图像的效果。
具体实施例方式
图1示出了由被编程为执行根据本发明第一实施例的图像分析的通用计算机构成的设备。该设备具有总线1，该总线1上连接有中央处理单元2、可视显示器3、键盘4、用于输入图像的扫描仪5(或其他输入装置，未示出)以及存储器6。
在存储器6中存储有操作系统601、用于执行图像分析的程序602以及分别用于存储待处理的和处理后的图像的存储区603、604。各个图像都被存储为多个值的二维阵列，各个值都表示该阵列中的图像元素的亮度和/或颜色。
在本发明的第一实施例中，程序602被设置为如图2的流程图所示进行操作。要处理的图像被存储为多个像素的阵列[C]，其中像素的位置表示为笛卡儿坐标，例如(x1，x2)，或者表示为矢量(黑体)，例如x＝(x1，x2)。x处的像素的颜色被存储为由三个分量构成的矢量C(x)。在这些示例中使用了r、g、b分量，但是也可以采用其他颜色空间。在单色系统中，C将只具有一个(亮度)分量。该处理的结果将被存储为类似的阵列COUT。
该处理是重复的，并且开始于步骤100，该步骤100只是表示以某一像素x开始并对各个其他像素进行重复(执行的顺序并不重要)，当处理了所有像素时，在步骤102退出循环。然而，不必处理所有像素由于在此将要讨论的原因，可以有意排除某些像素。
在步骤104，将比较计数I设置为零，将匹配计数M设置为1，并将颜色矢量V设置为x处的颜色。V具有三个分量，它们根据所采用的颜色空间(例如，(r，g，b))来取值。
步骤106在x的邻域中选择n(通常为3)个随机像素x′i＝(x′i1，x′i2)i＝1，...，n，其中对于所有j＝1，2都有|x′ij-xj|＜rj，rj限定了矩形邻域(或者正方形邻域，其中r1＝r2＝r)的大小。对于640×416图像，rj的典型值为2。
步骤108然后在该图像中的其他位置随机地选择一像素y＝(y1，y2)，并且(步骤110)使比较计数I递增。该像素被选择为距离图像边界≥rj，以避免边缘效应。如果需要，可以将y的选择限定为距离x位于特定的最大距离内。如果在步骤112，I的值没有超过阈值L的值(典型值为10-100)，则执行对于x和y的邻域之间的匹配的测试。
步骤114令x处的像素的颜色为C(x)＝(C1(x)，C2(x)，C3(x))＝(rx，gx，bx)。
然后，如果像素x，x′i(即，所考虑的像素及其n个相邻像素)中的每一个都与y，y′i处的对应像素相匹配(其中y′i相对于y的位置与x′i相对于x的位置相同)，则这些邻域匹配。也就是说对于所有i＝1，...，n，x-x′i＝y-y′i其中，如果对于所有j＝1，2，3，|Cj(x)-Cj(y)|＜dj则认为x和y处的像素匹配。
类似地，对于x′i和y′i对于所有j＝1，2，3和所有i＝1，...，n，|Cj(x′i)-Cj(y′i)|＜dj其中，dj是确定颜色分量j是否足够不同而构成像素失配的阈值。在下述测试中，将颜色分量表示在0到255的范围内，并使用单值dj＝80。通常，dj可取决于x。例如，优选地可以对注意力进行建模，从而通过增大较暗区域中的dj以较少地强调较暗区域。
如果发现匹配，则在步骤116，使计数器M递增，并将y处的颜色分量的值加入到V中。
V＝V+C(y)在发现匹配之后，处理返回步骤106，以选择x周围的包含n个随机像素的新邻域，而如果没有发现匹配，则返回步骤108，以选择新的y，而不改变像素邻域。
如果在步骤112中I值超过了阈值L，则将已发现具有匹配邻域的M个像素的颜色的平均值赋给经转换的图像中的x＝(x1，x2)处的像素的颜色(步骤118)，该M个像素的颜色的平均值为COUT(x)＝V/M。
该处理从步骤100开始重复，直到对图像中的所有像素进行了处理为止。所得到的经转换的图像具有大大减小的颜色分散，但是还包含由算法的随机特性带来的小级别的噪声。可以通过采用标准平滑算法来简单地去除该噪声(步骤120)。在本实施例中，像素被赋予周围3×3窗口中的像素的平均颜色。
图2所示的算法对所有像素x进行处理，并且除了其邻域与图像的其余部分不同而使得没有发现匹配的像素情况以外，所有像素都会改变它们的颜色。由于该处理必然会涉及到信息的丢失，所以我们优选地识别图像的重要部分并排除这些部分。因此，图3的实施例将感兴趣的区域排除在滤波处理以外。在图3中，与图2相同的那些步骤被赋予相同的标号。
该处理开始于步骤130，其中使用在我们的国际专利申请WO01/61648(也公开为US 20020080133)中描述的方法来生成特征图(saliency map)，该特征图由注意力分值Scores(x1，x2)的阵列构成。也可以使用其他生成特征图的方法，尽管它们的性能可能并不总是最适于该应用例如参见L Itti，C Koch和E Niebur，“A model of saliency-basedvisual attention for rapid scene analysis，”IEEE Trans on PAMI，vol 20，no 11，pp 1254-1259，Nov 1998；W Osberger和A J Maeder，“Automatic identification of perceptually important regions inan image，”Proc 14th IEEE Int.Conf on Pattern Recognition，pp701-704，August 1998；以及W Osberger，美国专利申请No 2002/0126891，“Visual Attention Model，”Sept 12 2002。赋予位于x＝(x1，x2)处的各个像素或者图像中的像素子集的Scores(x1，x2)的值反映了该位置处的注意力级别。
为变量T赋值(通常为0.9)，该变量T对Scores(x1，x2)设定了阈值，并确定了是否要对x处的像素的颜色进行转换，其中
Threshold＝T*(max-min)+min并且max=Maxx1,x2(Scores(x1,x2))]]>min=Minx1,x2(Scores(x1,x2)).]]>然而，也可以使用其他计算Threshold的值的方法，其中某些方法可能取决于x。
如果在步骤132，Scores(x1，x2)的值大于阈值，则在步骤134将原始图像中的x处的像素不变地复制到经转换图像阵列COUT(x1，x2)中。该像素表示图像中的高注意力的点，并且该点不会被该处理改变。
该处理的其余部分如上所述但是需要注意的是，由于132处的测试，使得在平滑算法中，仅对注意力分值小于Threshold的值的那些像素使用平滑值来替换颜色值。
图4示出了另一实施例，其中没有预先计算注意力分值。而是当在步骤112比较计数I超过阈值L时，在步骤150执行测试，以确定匹配计数M是否大于阈值mt。如果大于阈值mt，则如上所述，在步骤118将被发现具有匹配邻域的M个像素的颜色的平均值，即V/M，赋予经转换的图像中的位于(x1，x2)处的像素的颜色。
然而，如果M小于或等于mt，则在步骤152将原始图像中的位于x处的像素不变地复制到经转换图像阵列COUT(x1，x2)中。这意味着，表示高注意力区域的像素将不可能被改变，因为在这些图像区域中只能获得低M值。
可以通过选择阈值dj的值来控制对图像施加的滤波程度。另选地或另外地，如果需要，可以如所有三个版本中的步骤170所示重复滤波处理。可以重新加载经转换的图像，同时(在图4的情况下)保留原始注意力分值Scores(x1，x2)，并重复整个处理，以获得连续转换和对背景信息的更大抑制。
注意，在要求随机选择的地方，也可以使用伪随机选择。
一旦完成滤波，则在需要的情况下，可以按照JPEG格式(或任意其他压缩算法)对经转换的图像进行编码，如步骤180所示。包含在低兴趣区域中的信息的减少使得能够获得比原始图像更高的压缩性能。
图5示出了将图4的算法应用于足球源的结果，图5从左到右示出了原始图像(GIF格式)、JPEG编码后的图像，以及滤波后进行JPEG编码之后的图像。还示出了1-100范围内的色调值分布的直方图。可以发现，该滤波将压缩图像文件大小从13719字节减小为10853字节。
通常，重复两次像素颜色替换和平滑就足够了，但是可以根据所需的颜色缩减(colour reduction)对其进行扩展。
图6示出了如何可以基本上去除背景信息，同时保留图像的重要特征，例如小船和山脉轮廓。原始JPEG编码(图6a)占用13361字节，在一次处理并对经转换的版本进行JPEG编码后，减小为10158字节(图6b)。使用相同的VA分值对输出图像进行再处理，获得8881字节的文件大小(图6c)。再一次的重复可以得到8317字节的大小(图6d)。
该方法对于包含赝像(例如JPEG块效应)的图像有利。对背景区域的颜色重新分配倾向于去除通常与其周围部分有些相似的赝像(参见图7，左边示出了原始图像右侧示出了通过该方法处理并随后使用JPEG重新编码而获得的图像)。然而，非常突出并且干扰主题素材的赝像不会被去除。
该方法的另一应用是增强图形-背景(figure-ground)或者去除背景干扰以提高可识别性。图8中示出了该应用，其中背景几乎完全由恒定的颜色所替换，从而狗的图像变得更加突出。因此，该方法可以应用于对显示在相机的数字取景器中的图像进行处理，其中主题素材的增强将有助于拍摄者构图。
重要的视觉信息保留在经转换的图像中，同时减少了非重要区域中的颜色的变化。因此，经转换的图像变得更易于使用传统算法来进行分割，因为只需要处理较少的颜色边界，并且形状轮廓更加清楚。这意味着，该方法可以增强用于处于任何目的将图像分割为单独并且有意义的单一区域的许多传统算法的性能。
在我们已经讨论过的实施例中，所使用的替换颜色值是原始值和被发现匹配的所有像素的值的平均值(尽管实际上是否包括原始值并不重要)。尽管在实际当中这并不必然导致图像中的不同颜色值的数量减少，但是其导致了颜色变化的减少，并且因此，如上所述，增大了压缩的范围，并且/或者降低了图像中的赝像的感知度。还可以采用其他替换策略。例如，在获得平均值后，可以选择下述的替换，该替换是最接近该平均值的颜色的更有限(即，更粗地量化的)范围。或者，可以使用匹配结果来识别随后都被赋予相同颜色值的像素组。
这些实施例假设不应该对图像中的具有高视觉注意力的那些区域应用低级别分割算法。这些区域自然地不规则，并包含高密度的对于观察者有意义的信息。这意味着分割这些区域的任意尝试都可能是武断的，因为周围区域或者图像中的可用于推断的其他位置中存在很少的信息或者不存在信息。另一方面，可以使用非常简单的和低级别的算法对图像的更大范围的不重要部分进行合理转换。矛盾的是，图像中的明显对象边缘引起了高注意力，因此在该方法中不易被替换。实际上，真实图像中的像素级别的对象边缘非常地复杂并且多样，因此需要特殊定制的算法来保证在各种情况下得到正确结果。
本发明的第二和第三实施例提供了一种颜色压缩的方法，其利用视觉注意力算法来确定图像中的不会被转换的视觉重要区域。因此，该方法具有以下显著优点分配区域标识信息的处理不必解决定义边缘(这些边缘通常具有最高密度的有意义的信息)的较难问题。根据从相同VA算法导出的参数来转换非关注区域，该参数指出了与该图像的许多其他部分具有相同属性的那些区域。视觉注意力算法不依赖于特征的预先选择，因此与基于标准特征的方法相比可以应用于更大范围的图像，基于标准特征的方法要进行定制，以对最适于所选择的特征测量的图像类别起作用。经过转换的区域中的像素被赋予平均颜色，并且通过JPEG编码或任意其他压缩标准获得了增强的压缩。对图像中最不受关注的区域进行压缩，因此不会影响整个图像的感知质量。可以对经转换的图像重复应用该算法，以获得以更多背景细节为代价的进一步压缩。
权利要求
1.一种对其中图像元素均由颜色值来表示的数字编码图像进行处理的方法，该方法包括对于多个所述图像元素中的每一个(a)执行多次比较，每一次比较都包括对第一图像元素组和第二图像元素组进行比较，所述第一图像元素组包括所考虑的图像元素和其附近的至少一个其他图像元素，所述第二图像元素组包括基本图像元素和至少一个其他图像元素，所述第二组中的图像元素的数量与所述第一组中的图像元素的数量相同，并且所述第二组的所述其他元素或各个其他元素相对于所述第二组的所述基本图像元素的位置与所述第一组的所述其他元素或各个其他元素相对于所考虑的图像元素的位置相同，其中每一次比较都确定这两个组是否在满足相似性标准方面相匹配；以及(b)当至少一次比较的结果为匹配时，对所考虑的图像元素计算替换颜色值，所述替换颜色值是获得匹配的所述第二组或各个第二组的所述基本图像元素的颜色值的函数。
2.根据权利要求1所述的方法，包括识别满足显著性标准的图像元素，并且仅对不满足所述显著性标准的图像元素计算替换颜色值。
3.根据权利要求2所述的方法，其中，预先执行识别满足显著性标准的图像元素的所述步骤，并且仅对不满足所述显著性标准的图像元素执行所述比较。
4.根据权利要求2所述的方法，其中，图像元素的所述显著性标准为对于该图像元素获得的匹配的数量超过一阈值。
5.根据以上权利要求中的任意一项所述的方法，其中，以随机或伪随机的方式来选择所述第一组的所述其他图像元素或各个其他图像元素。
6.根据权利要求1至4中的任意一项所述的方法，其中，以随机或伪随机的方式，从位于距离所考虑的元素预定距离范围内的图像元素中选择所述第一组的所述其他图像元素或各个其他图像元素。
7.根据以上权利要求中的任意一项所述的方法，其中，在匹配之后重新选择所述其他元素。
8.根据以上权利要求中的任意一项所述的方法，其中，以随机或伪随机的方式来选择所述第二组的所述基本图像元素。
9.根据权利要求1至7中的任意一项所述的方法，其中，以随机或伪随机的方式，从位于距离所考虑的元素预定距离范围内的图像元素中选择所述第二组的所述基本图像元素。
10.根据以上权利要求中的任意一项所述的方法，其中，对于每一次比较，都重新选择所述第二组的所述基本图像元素。
11.根据以上权利要求中的任意一项所述的方法，其中，所述图像为单色图像，并且所述颜色值为单个亮度分量。
12.根据权利要求1至10中的任意一项所述的方法，其中，所述图像为彩色图像，并且所述颜色值具有三个分量。
13.根据权利要求11或12所述的方法，其中，所述匹配标准是所述第一组的任意图像元素的分量与所述第二组的空间对应元素的对应分量的差别不超过一阈值量。
14.根据以上权利要求中的任意一项所述的方法，其中，像素的所述替换颜色值还是其现有颜色值的函数。
15.根据权利要求14所述的方法，其中，所述替换颜色值是所考虑的图像元素的颜色值和获得匹配的所述第二组或各个第二组的基本图像元素的颜色值的平均值。
16.根据权利要求14所述的方法，其中，所述替换颜色值是预定颜色值集合中的与所考虑的图像元素的颜色值和获得匹配的所述第二组或各个第二组的基本图像元素的颜色值的平均值最接近的一个颜色值。
17.根据以上权利要求中的任意一项所述的方法，包括以下步骤使用权利要求1所述的方法对经处理的图像再次进行处理。
18.根据以上权利要求中的任意一项所述的方法，包括以下步骤对经处理的图像进行空间滤波。
19.根据以上权利要求中的任意一项所述的方法，包括以下步骤使用压缩算法对经处理的图像进行编码。
20.一种图像处理设备，其包括用于存储图像的装置(603)；以及被设置为进行操作以执行以上权利要求中的任意一项所述的步骤的装置(2、602)。
21.一种计算机程序，其包括数据载体，该数据载体上存储有用于执行权利要求1至19中的任意一项所述的方法的指令集。
全文摘要
数字编码图像的图像元素均由颜色值来表示。通过首先在一元素和图像中的其他位置的多个元素y之间进行多次比较来调整该元素的值。该比较涉及对第一图像元素组(其包括所考虑的图像元素x和其附近的至少一个其他图像元素)和第二图像元素组进行比较。第二图像元素组包括基本图像元素y和至少一个其他图像元素，第二组中的图像元素的数量与第一组中的图像元素的数量相同，并且第二组的该其他元素或各个其他元素相对于第二组的基本图像元素的位置与第一组的该其他元素或相应其他元素相对于所考虑的图像元素的位置相同。该比较确定(114)这两个组是否在满足相似性标准方面相匹配。当至少一次比较的结果为匹配时，作为获得匹配的该第二组或者各个第二组的基本图像元素的颜色值的函数，生成所考虑的图像元素的替换颜色值(116)。
文档编号G06T5/00GK1890691SQ200480036178
公开日2007年1月3日 申请日期2004年12月1日 优先权日2003年12月5日
发明者弗雷德里克·沃里克·迈克·斯腾蒂福特 申请人:英国电讯有限公司