图像处理设备和图像处理方法

专利名称：图像处理设备和图像处理方法
技术领域：
本发明涉及图像处理设备和图像处理方法。
背景技术：
在彩色图像的颜色有限或各颜色区域被分割时的处理中，提取聚集在某颜色区域 中的各颜色的区域，以代表色代替各区域的颜色，或进行分成这样的颜色区域的分割。当执 行这样的处理时，优选地将其中某一颜色最初被使用的一片区域提取作为一个区域，但是 其可以被提取作为具有部分不同颜色的区域。
例如，在被图像读取设备读取的图像中，由于读取误差会在颜色边界中产生原始 图像中不存在的颜色。此外，当利用编码系统或使用以离散余弦变换、离散傅里叶变换或其 他变换针对每个块执行频率变换和量化的方法的压缩系统进行编码时，高频分量会丢失， 从而会在颜色边界部分中产生受相邻颜色影响的部分。即使在执行平滑处理时，也会在颜 色边界部分中产生受相邻颜色影响的部分。作为其一个示例，在白色背景上绘制的黑色细 线的颜色比最初使用的黑色淡。此外，在执行了高通滤波处理的图像中，会在该细线和粗线 之间的连接部分中出现颜色差。
当从出现了劣化的图像中提取了颜色区域时，会从劣化部分提取出具有原始不存 在的颜色的区域。在此情况中，从劣化部分提取的区域被分割为另一个颜色区域，或以原始 未使用的颜色取代该区域的颜色。
例如，JP-A-2004-102807 (专利文献I)涉及一种提取连接分量的方法，但是该连 接分量是在除了上述出现劣化的颜色边界以外的部分中提取的。在这种情况下，例如，细 线、字母的细线部分等成为颜色边界从而被排除、不被提取为颜色边界、或者获得其中它们 部分缺失的连接结果。发明内容
本发明的一个目的是提供一种能够从其中产生了颜色劣化的图像中精确提取原 始颜色区域的图像处理设备和图像处理方法。
根据本发明的第一方面，提供了一种图像处理设备，包括计算单元，其将包括目 标像素的预定区域中的每个像素用作目标像素计算表示这些像素的颜色和目标像素的颜 色之间的差异的特征向量，作为前景特征向量；确定单元，其根据针对待整合的两个像素或 区域的前景特征向量的相似度来确定是否对这两个像素或区域进行整合；以及整合单元， 其对由确定单元确定为要整合的两个像素或区域进行整合。
根据本发明的第二方面，在根据第一方面的图像处理设备中，计算单元可以计算 从预定区域中各像素颜色的平均颜色到目标像素的颜色的颜色空间中的向量作为所述前 景特征向量。
根据本发明的第三方面，在根据第二方面的图像处理设备中，计算单元可以利用 作为有效区域的根据颜色边界预先确定的区域中的像素来计算针对该有效区域中的像素的前景特征向量。
根据本发明的第四方面，在根据第二方面的图像处理设备中，计算单元可以利用 作为有效区域的根据要整合的颜色的边界预先确定的区域中的像素，来计算针对该有效区 域中的像素的前景特征向量。
根据本发明的第五方面，在根据第一至第四方面中任一方面的图像处理设备中， 计算单元可以将目标区域的每个像素整合前的前景特征向量未处于预设区域通知给确定 单元，从而确定单元可以确定不对其中颜色差向量未处于预设区域中的像素或区域的组合 执行整合。
根据本发明的第六方面，在根据第一至第四方面中任一方面的图像处理设备中， 当整合两个像素或区域时，整合单元可以利用这两个前景特征向量计算整合区域的前景特 征向量。
根据本发明的第七方面，在根据第一方面的图像处理设备中，计算单元可以利用 与其中目标像素或像素被整合的目标区域相邻的像素或区域用作外围像素或外围区域，来 计算从每个外围像素或外围区域的颜色到目标像素或目标区域的颜色的颜色空间中的各 颜色差向量的平均值作为前景特征向量。
根据本发明的第八方面，在根据第七方面的图像处理设备中，计算单元还可以进 一步利用目标像素或目标区域与外围像素或外围区域之间的连接长度计算各颜色差向量 的平均值，并将该平均值设置为前景特征向量。
根据本发明的第九方面，在根据第七或第八方面的图像处理设备中，计算单元可 以将颜色差向量未处于预设区域中通知给确定单元，从而确定单元可以确定不对其中颜色 差向量未处于预设区域的像素或区域的组合进行整合。
根据本发明的第十方面，在根据第一至第四方面中任一方面的图像处理设备中， 图像处理设备还可以包括提取单元，其提取颜色边界，其中，确定单元确定对未跨越在提取 单元中提取到的颜色边界的两个像素或区域进行整合。
根据本发明的第十一方面，提供了一种图像处理方法，包括利用包括目标像素的 预定区域中的每个像素作为目标像素计算表示这些像素的颜色和目标像素的颜色之间的 差异的特征向量，作为前景特征向量；根据针对要整合的两个像素或区域的前景特征向量 的相似度来确定是否对这两个像素或区域进行整合；以及对确定为要整合的两个像素或区 域进行整合。
根据本发明的第一方面，相比于未包括该构造的情况，可以从产生了颜色劣化的 图像中精确提取原始颜色区域。
根据本发明的第二方面，可以针对目标像素的颜色提取与背景颜色的颜色差异趋 势。
根据本发明的第三方面，相比于未包括该构造的情况，可以通过更精确地提取与 背景颜色的颜色差异趋势来对颜色区域进行整合。
根据本发明的第四方面，相比于未包括该构造的情况，可以通过在颜色边界中更 精确地提取与背景颜色的颜色差异趋势来对颜色区域进行整合。
根据本发明的第五方面，相比于未包括该构造的情况，可以通过更精确地提取外 围像素的颜色差异趋势来对颜色区域进行整合。
根据本发明的第六方面，相比于未包括该构造的情况，可以抑制整合区域中劣化 颜色的影响。
根据本发明的第七方面，相比于未包括该构造的情况，可以针对目标像素或目标 区域的颜色提取与外围像素或外围区域的颜色的颜色差异趋势。
根据本发明的第八方面，可以在考虑目标像素或目标区域的状态的情况下提取目 标像素和外围像素的颜色差异的趋势。
根据本发明的第九方面，相比于未包括该构造的情况，可以通过更精确地提取外 围像素的颜色差异趋势来对颜色区域进行整合。
根据本发明的第十方面，可以防止在颜色边界上进行整合。
根据本发明的第十一方面，相比于未包括该构造的情况，可以从产生了颜色劣化 的图像精确提取原始颜色区域。


将基于附图详细描述本发明的示例实施例，附图中
图1是示出本发明第一示例实施例的构造示意图2是示出本发明第一示例实施例中的操作示例的流程图3A至图3E是示出本发明第一示例实施例中的具体操作示例的说明示意图4是示出本发明第一示例实施例中的第一变型示例的构造示意图5是示出包含度示例的说明示意图6是示出本发明第一示例实施例中的第二变型示例的构造示意图7A和图7B是示出本发明第一示例实施例中的第二变型示例的具体示例的说明 示意图8是示出本发明第一示例实施例中的第三变型示例的构造示意图9是示出本发明第一示例实施例中的第三变型示例的具体示例的说明示意图10是示出本发明第二示例实施例的构造示意图11是示出本发明第二示例实施例中的操作示例的流程图12A至图12D是示出本发明第二示例实施例中的具体操作示例的说明示意图； 以及
图13是示出由计算机程序实现本发明每个示例实施例及其变型示例中描述的功 能时的计算机程序、存储有该计算机程序的记录介质、以及计算机的示例的说明示意图。
具体实施方式
图1是示出本发明第一示例实施例的构造示意图。该图中，11表示前景特征量计 算部、12表示整合确定部、13表示区域整合部、以及14表示结束确定部。前景特征量计算 部11利用包括目标像素的预定区域中的每个像素作为目标像素来计算表示这些像素的颜 色和目标像素的颜色之间的差异的特征向量作为前景特征向量。此处，前景特征量计算部 计算从预定区域中的各像素的颜色的平均颜色到目标像素的颜色的颜色空间中的向量作 为前景特征向量。当其中发生了劣化的背景以外的像素被设置为目标像素时，图像上的该 范围在计算所述平均颜色时的尺寸可以是能够获得作为平均颜色的背景颜色的尺寸。
整合确定部12根据针对要整合的两个像素或区域的前景特征向量的相似度来确定是否整合这两个要整合的像素或区域。这两个要整合的像素或区域是彼此相邻的图像像素或区域的组合(像素、包括多个像素的区域、以及区域和像素)。可以确定是否整合其每个组合。存在计算前景特征向量相似度的多种方法。然而，例如，由于前景特征向量具有长度和方向，因此可以利用函数等基于前景特征向量的长度和方向计算相似度。当然，也可以使用其他方法。可以通过比较获得的相似度与预设值来确定是否进行整合。同时，当确定是否进行整合时，还可以利用前景特征向量以外的特征量(例如，区域的厚度、宽度、或长度， 区域或像素的颜色，位置关系，包含度，面积等)确定是否进行整合。
区域整合部13将由整合确定部12确定为待整合的两个像素或区域整合为一个区域。整合时，利用两个前景特征向量计算整合区域的前景特征向量。例如，计算以像素数量加权的平均值的向量，并将其设置为新的前景特征向量。可替换地，选择待整合的任一前景特征向量，并且可以将其设置为整合后的前景特征向量。例如，可以选择待整合的两个区域中像素数量较大的区域的前景特征向量。
结束确定部14确定整合处理是否结束。例如，当不存在由区域整合部13整合的像素或区域时，可以确定结束整合处理。可替换地，现有像素或区域的数量是否为预设数量或以下可以被设置为结束确定的条件。当然，除此之外，可以设置各种结束条件，并且可以利用结束条件确定处理的结束。当确定不结束处理时，处理返回至整合确定部12，且重复执 行是否在区域整合部13中对整合之后的区域或像素进行整合的确定以及整合处理。当满足了结束条件时，输出颜色区域的分离结果。
图2是示出本发明第一示例实施例中的操作示例的流程图。在步骤S21中，前景特征量计算部11将包括目标像素的预定区域中的像素中的每一个用作目标像素来计算表示这些像素的颜色与目标像素的颜色之间的差异的特征向量，作为前景特征向量。例如，前景特征量计算部计算从预定区域中的各像素的颜色的平均颜色与目标像素的颜色的颜色空间中的向量，作为前景特征向量。
在步骤S22中，整合确定部12根据针对待整合的两个像素或区域的前景特征向量的相似度确定是否整合这两个像素或区域。最初，通过获得两个前景特征向量的相似度来确定是否整合彼此相邻的两个像素的组合中的每一个组合。例如，当利用两个前景特征向量之间的夹角Θ和它们的长度差△将表示相似度的评价函数设置为F时，通过下面的表达式获得相似度。
Ρ(θ，Δ) = α·θ+β·Δ
其中，α和β是常数，并且优选地被预先设置。随着两个前景特征向量之间的夹角减小并且其长度差减小，显示出两个像素的颜色变得彼此更加相似，从而评价函数F的值变得更小。当获得的相似度为预定阈值或以下时，可以确定执行整合。当然，不用说，是否进行整合不限于上述的评价函数F。
在步骤S23中，区域整合部13将由整合确定部12确定为待整合的两个像素或区域整合成一个区域。整合时，利用两个前景特征向量计算整合区域的前景特征向量。例如， 计算以像素数量加权的平均值的向量，并且可以将其设置为新的前景特征向量。
在步骤S24中，结束确定部14确定是否结束整合处理。例如，在没有被整合确定部12确定为待整合的待整合组合、并且没有被区域整合部13整合的像素或区域的结束条件下，当不满足该结束条件时，重复所述处理，返回至步骤S22。
在第二个或随后的步骤S22中的整合确定部分12的处理中，存在由区域整合部 13整合的区域，待整合的目标是彼此相邻的像素和像素、像素和区域、以及区域和区域的组 合。由于在区域整合部13中针对整合后的区域更新了前景特征向量，因此利用更新的前景 特征向量确定是否进行整合。
被确定为待整合的像素和像素、像素和区域、以及区域和区域的组合由区域整合 部13在步骤S23中的处理进行整合，并且更新前景特征向量。
在步骤S24中，确定结束确定部14是否满足结束条件。当满足结束条件时，处理 再次返回至步骤S22，并重复执行整合的确定以及整合的处理。当确定满足了结束条件时， 结束该处理并输出至此的整合结果。
图3A至图3E是示出本发明第一示例实施例的具体操作示例的说明示意图。图3A 示出了待处理的部分图像。在该示例中，具有某种颜色(称为前景色)的明朝(Mincho)字 体字符中使用的衬线出现在细线以及白色背景的结束部分中。在该示例中，细线部分的颜 色在由于各种劣化因素造成的白色背景的影响下变得比原始前景色浅。此外，尽管衬线部 分受具有背景的边界部分中的白色背景的影响，但在其内部再现了原始前景色。同时，为了 便于示出，将颜色差表示为对角斜线的差异。
在图2的步骤S21中，前景特征量计算部11计算每个像素中的前景特征向量。例 如，当在每个像素中心设置了具有图3A中的虚线所示尺寸的范围并获得了该区域中的各 像素颜色的平均颜色时，背景色的像素数量大于其他颜色的像素数量。因此，任一个像素的 平均颜色成为背景色或从背景色染色的颜色。前景特征向量被设置成颜色空间中的一个向 量，该颜色空间中，将这样的平均颜色用作起始点并将每个像素的颜色用作终止点。
图3B示出了以此方式获得的前景特征向量的一个示例。图3B示出了颜色空间中 一定色调下的亮度-色度平面。该图还示出了在细线部分的某像素中获得的前景特征向量 的示例，以及在衬线内部的某像素中获得的前景特征向量的示例。细线像素中的前景特征 向量和衬线内部像素中的前景特征向量彼此长度不同，但在某区域中彼此方向相同。同时， 对于背景色的像素，从平均颜色到每个像素的背景色的向量变为前景特征向量，但是该前 景特征向量与图3B所示的前景特征向量在长度和方向上都不同。
在由整合确定部12在图2的步骤S22中进行的整合确定处理中，当利用彼此相邻 像素的组合确定了进行整合时，确定利用细线部分中的前景特征向量的相似度进行整合。 此外，在衬线内部，前景特征向量也彼此相似，从而确定执行整合。具有衬线背景的边界部 分中的像素与衬线内部的像素相邻，从而确定与衬线内部的像素进行整合。在这些像素的 组合中，各前景特征向量具有图3B所示的关系，并且前景特征向量之间的夹角处于一定范 围内。因此,此处,各向量彼此相似,从而确定进行整合。
在图2的步骤S23中，区域整合部13根据整合确定部12的确定结果执行整合处 理。例如，如图3C所示，细线部分的像素彼此整合，并且在衬线部分中，具有背景的边界部 分的像素和内部像素彼此整合。同时，对于背景，背景的各像素彼此整合为背景区域。在整 合时，获得了整合后的区域的前景特征向量。例如，计算以像素数量加权的前景特征向量的 平均向量，并将其设置成新的前景特征向量。在细线部分中，类似于图3B中的示范为细线 的前景特征向量的各前景特征向量的平均向量成为新的前景特征向量。衬线部分的向量类似于对从示例为图3B中的衬线内部的前景特征向量的向量到示例为细线的前景特征向量进行平均得到的向量。可替换地，选择衬线内部的前景特征向量，并且可以将其设置为整合后的前景特征向量。图3D示出了整合后的前景特征向量的示例。
再次返回到图2的步骤S22，由整合确定部12对每个区域的组合进行整合的确定。 当确定了细线区域和衬线区域彼此整合时，图3D所示的两个前景特征向量之间的夹角处于一定范围内，并且这些向量彼此相似。从而，确定进行整合。除此之外，细线和背景、以及衬线和背景被确定为不进行整合，这是因为前景特征向量彼此不相似。
该确定结果被接收，然后在图2的步骤S23中，区域整合部13整合细线区域和衬线区域。从而，获得了图3E所示的整合结果。处理通过更新前景特征向量而返回到图2的步骤S22，由整合确定部12执行对背景区域、细线和衬线区域的整合确定。然而，确定不执行整合，从而结束确定部14在步骤S24中确定由于未发生整合而满足了结束条件。于是结束该处理并输出图3E所示的整合结果。
尽管在图3A所示的图像的具有细线部分或衬线背景的边界部分中出现了劣化并且前景色改变，但是如图3E所示提取了原始前景色的区域。基于此结果，例如，可以以相应颜色区域的代表色代替每个颜色区域的颜色以执行颜色限制处理，可以提取特定颜色区域，并且可以在后级处理中使用它们中的每一个。
图4是示出本发明第一示例实施例中的第一变型示例的构造示意图。该图中，15 表示特征提取部。特征提取部15针对待整合的两个区域或像素提取除在前景特征量计算部11中计算出的前景特征向量以外的各特征量。作为待提取的特征量，例如，包括区域的厚度、宽度或长度、区域或像素的颜色、位置关系、包含度、面积等。当然，还可以包含其他特征量。
例如，当提取厚度作为待提取的特征量时，就可以获得与待整合区域内部接触的最大内切圆的直径(像素数量)。例如，当待整合的目标是像素时，其厚度可以设置为I。
在整合确定部12中，利用由特征提取部15提取到的厚度以及待整合的前景特征向量计算相似度，从而可以确定是否进行整合。作为一个特定示例，当两个前景特征向量之间的夹角设置为Θ、每个前景特征向量的长度设置为Dl和D2、每个待整合目标的厚度设置为dl和d2、并且递增函数设置为f，则可以利用下列表达式获得相似度。
相似度=α· θ + β · I Λ
Δ = Dl/f (dl)-D2/f (d2)
其中，α和β是正的常数，并且可以预先给定。随着获得的相似度的值减小，其示出各特征量彼此更相似。当相似度小于预定阈值时，可以确定进行整合。
对于该示例，细线部分的厚度dl小于衬线部分的厚度d2，例如，在图3A至图3E 中所示的示例中，满足dl <d2的关系。尽管细线部分中的前景特征向量的长度Dl和衬线部分中的前景特征向量的长度D2之间的关系满足Dl <D2，但是作为长度与厚度比值的值 Dl/f (dl)和D2/f (d2)彼此相似。两个前景特征向量的方向也彼此相似，从而由上述表达式获得的相似度显示出两个前景特征向量彼此相似。对于该示例的细线和衬线，即使形状彼此不同而且前景特征向量的长度彼此不同时，二者被整合的可能性也高于未使用厚度的情况。
此外，例如当使用了色差、位置关系、包含度、和面积作为待提取的特征量时，可以利用使用这些特征量的线性函数以及从前景特征向量获得的相似度来获得相似度。例如， 当将从前景特征向量获得的相似度设置为上述的F(0，Λ)，待整合的色差设置为G、待整合的位置关系设置为H、待整合的每个包含度设置为Cl和c2、并且待整合的每个面积设置为s I和s2时，可以利用下列表达式得到相似度。
相似度=F(θ，Δ) + γ · G+ δ · H- ε · I (cl, c2) + ξ · J(sl, s2)
其中，Y、δ、ε和ξ是正的常数，并且可以预先给定。此外，函数I和函数J是递增函数。随着得到的相似度值减小，其显示出各特征量彼此更相似。当相似度的值小于预定阈值时，可以确定执行整合。
此处，待整合的色差G是待整合的每个颜色的颜色空间中的Euclidean距离。随着Euclidean距离减小，显示出各颜色彼此更相似，从而相似度的值变得更小。
此外，可以使用待整合区域或像素中的每一个的重心位置/面积和之间的距离、 相邻部分之间的面积和/长度等作为待整合的位置关系H。当区域由于整合而增大时，与待整合的其他目标的重心位置之间的距离增大，但是其被面积和归一化并反映在相似度中。 对于相邻部分之间的面积和/长度，当面积由于整合而增大时，其外周的长度也增大。因此，示出了这些部分与其外周接触的程度。随着相邻部分之间的长度增大，相似度的值变得更小。
对于包含度Cl和c2，外界矩形的重叠面积比可以设置为针对每个待整合目标的包含度。图5是示出包含度的示例的说明示意图。待整合的每个外接矩形被设置为外接矩形I和外接矩形2。对于外接矩形1，与外接矩形2重叠的面积与不重叠的面积之比设置为 I I。在这种情况中，包含度可以设置为1/2。此外，对于外接矩形2，与外接矩形I重叠的面积与不重叠面积之比设置为2 I。在这种情况中，包含度可以设置为2/3。随着包含度增大，二者之间的关系显示出变强。利用将这些包含度合在一起的递增函数I，所述值随着包含度增大而变大。相似度被设置为负项，则相似度的值随着包含度增大而变得更小。
面积Si和s2是待整合的每个区域的面积(像素数量)，并且递增函数J可以是例如获得和的各种函数。随 着面积减小，相似度的值变得更小，从而易于执行与其他区域或像素的整合。例如，其中细线部分劣化的部分被整合到相邻区域中。
同时，无需说可以进行与上述厚度的组合。此外，可以通过选择性利用多少特征量、或一起利用各种其他特征量来获得相似度。是否对待整合的目标进行整合可以利用这样的特征量和计算出的相似度来确定。
图6是示出本发明第一示例实施例中的第二变型示例的构造示意图。该图中，16 表示颜色边界提取部。在前景特征量计算部11中获得的前景特征向量被获得作为从预定区域中各像素的平均颜色到目标像素颜色的颜色空间中的向量。为此，随着预定区域中的背景色之外的像素数量的增加，不获得背景色作为平均颜色，而且不获得从背景色到目标像素颜色的向量作为前景特征向量。在第二变型示例中，示出了这种情况所对应的示例。
颜色边界提取部16检测图像颜色的差异，并提取颜色差的边界作为颜色边界。作为提取颜色边界的方法，已知有各种方法，并且可以使用其中任一种方法。
前景特征量计算部11利用从作为有效区域的在颜色边界提取部16提取的颜色边界预定的区域中的像素，来计算针对该有效区域的像素的前景特征向量。此外，整合确定部 12根据前景特征向量的相似度确定是否整合有效区域中待整合的两个像素或区域。该确定如上所述。当有效区域之外的区域(无效区域)中待整合的两个像素或区域、或无效区域 的像素或区域以及有效区域的像素或区域是待整合的目标时，可以利用迄今使用的方法确 定是否进行整合。例如，当颜色差处于预设范围内时可以确定进行整合，而在颜色差超出预 设范围时可以确定不进行整合。另外，区域整合部13将由整合确定部12确定为待整合的 两个像素或区域整合成一个区域。然而，当待整合的像素或区域二者都是有效区域的像素 或区域时，利用两个前景特征向量计算整合区域的前景特征向量。
在图6所示的本发明的第一示例实施例中的第二变型示例中，由颜色边界提取部 16对颜色边界的提取结果还用在区域整合部13中。在区域整合部13中，当对待整合的目 标进行整合时，不跨越颜色边界提取部16提取的颜色边界进行整合。从而，防止了过度整八口 ο
图7是示出本发明第一示例实施例中的第二变型示例的具体示例的说明示意图。 在图7A所示的示例中，在白色背景中绘制具有前景色的矩形。在矩形和背景之间的颜色边 界中，前景色由于劣化而改变，并且为了便于示出，以对角斜线的不同示出了其状态。
虚线示出了为了计算平均颜色而预定的区域的示例。对于该示例，由于前景色的 像素的数量大于虚线区域中的背景色的像素的数量，因此平均颜色更接近前景色，而不是 背景色。为此，在前景色内部的像素中获得的前景特征向量与在颜色边界部分的像素中获 得的前景特征向量在方向和长度方面不同。
在该第二变型示例中，从在颜色边界提取部16中提取的颜色边界预先确定的区 域中的像素被设置为有效区域。该有效区域以图7B所示的对角斜线绘制，并且该部分被示 为有效区域。有效区域之外的部分被设置为无效区域。该有效区域可以包括受颜色边界影 响的像素和不受此影响的像素。在有效区域的像素中，受背景色影响的颜色被计算作为获 得前景特征向量时的平均颜色，并利用上述前景特征向量进行整合处理。
同时，对于无效区域，利用迄今使用的方法(例如根据颜色差是否处于预设范围 内)来确定是否执行整合，以及可以整合被确定为待整合的像素或区域。
在上述说明中，对于无效区域，利用未使用前景特征向量的方法进行整合处理。例 如，对于无效区域的像素，无效区域的前景特征向量无改变地复制自与有效区域接触的像 素，并且前景特征向量也被针对无效区域的像素进行设置。可替换地，前景特征向量被预先 设置给针对由有效区域分割的每个区域所整合的区域，并且还可以针对无效区域执行利用 前景特征向量的整合处理。
图8是示出本发明第一示例实施例中的第三变型示例的构造示意图。当整合区 域与具有各种颜色的区域接触时，该区域的前景特征向量受与该区域接触的各种颜色的影 响。为此，当确定与类似于相应区域的颜色的另一区域进行整合时，可能会进行错误的确定。
在第三变型示例中，当整合确定部12确定整合两个区域时，前景特征量计算部11 将从与相应区域接触的颜色边界预先确定的区域中的像素用作有效区域来针对有效区域 的像素重新计算前景特征向量。可替换地，当保持最初计算出的前景特征向量时，前景特征 向量被读出并被传送至整合确定部12。在整合确定部12中，利用从前景特征量计算部11 传送的有效区域的前景特征向量确定是否执行整合。
图9是示出本发明第一示例实施例中的第三变型示例的具体示例的说明示意图。在图9所示的示例中，在某一背景色上绘制了具有不同颜色的三个图形。整合处理进行，并 且该图中的区域A和背景部分被选择为整合目标。背景部分与具有不同颜色的三个图形接 触，从而前景特征向量受这些图形颜色的影响。此外，区域A的前景特征向量受具有一种颜 色的图形的影响。因此，当确定了按原样整合区域A和背景部分时，可以确定不执行整合。
在这种情况中，由图中虚线所示的来自两个边界的预定区域被设置为有效区域， 并且从前景特征量计算部11获取前景特征向量。从而，区域A和背景区域也被受具有一种 颜色的图形影响的前景特征向量统一，并利用该前景特征向量执行整合确定。例如，如图9 所示的示例中，嵌入另一图形的区域还与原始区域整合在一起。
例如，除了在整合任一区域时在第三变型示例中执行有效区域的设置以外，当例 如至少一个区域的尺寸为预定尺寸(例如，像素数量)或更大时，可以将该有效区域设置为 具有预定尺寸或更大尺寸的区域。
可替换地，确定针对所述范围内的每个像素所获得的前景特征向量是否处于预定 范围内，并且在未处于预定范围内时可以设置上述有效区域。例如，在图9所示的示例中， 整合到背景部分中的像素也受到每个图形中与所述三个图形接触的区域的颜色的影响，从 而前景特征向量也受到每个图形的影响。为此，尽管整合到背景部分中，但是整合前的原始 前景特征向量偏离整合后的该区域的前景特征向量，并且该偏离根据图形的哪种颜色施加 影响而不同。考虑到由于这种偏离造成的前景特征向量的变化来确定前景特征向量是否处 于预定区域中。当前景特征向量未处于预定区域中时，认为相应区域是受各种颜色影响的 像素的集合，从而可以通过设置上述有效区域来防止不正确的确定。当前景特征向量处于 预定区域中时，可以不考虑各种颜色的影响，并且可以在不进行有效区域的设置或有效区 域的前景特征向量的重新计算的情况下利用相应区域的前景特征向量进行整合确定和整 合处理。同时，在所述区域中的每个像素的前景特征向量中，最初计算出的前景特征向量在 整合前得以保持，并且该前景特征向量可以被读取和使用。
可替换地，确定针对所述区域中的每个像素获得的前景特征向量是否处于预定区 域中，并且在前景特征向量未处于预定区域中时可以不利用前景特征向量执行整合确定以 及整合。如上所述，当之前针对所述区域内的每个像素获得的前景特征向量变化时，其示出 了前景特征向量受各种颜色的影响。为此，确定未正确获得相应区域的前景特征向量，从 而不执行利用前景特征向量的整合确定或整合处理。例如，确定是否利用迄今使用的方法 (在该迄今使用的方法中，当颜色差处于预设范围内执行整合而当颜色差超出预设范围时 不执行整合)进行整合然后可以执行整合处理。在这种情况中，在所述区域内的每个像素 的前景特征向量中，最初计算出的前景特征向量在整合处理前得以保持，并且前景特征向 量可以被读取和使用。
此外，由于具有预定尺寸(例如，像素数量)或更大尺寸的区域会受到各种颜色的 影响，因此不执行利用相应区域的前景特征向量执行整合确定或的整合处理。例如，可以利 用迄今使用的方法(例如，利用颜色差的整合确定和整合处理)执行整合确定和整合处理。
图10是示出本发明第二示例实施例的构造示意图。该第二示例实施例与上述第 一示例实施例不同之处在于将哪个向量计算作为前景特征向量。将主要描述与上述第一示 例实施例不同的部分。
前景特征量计算部11计算每个区域的平均颜色，并计算前景特征向量。对于还未整合的像素，该像素的颜色是平均颜色。前景特征量计算部11将与其中目标像素或像素被 整合的目标区域相邻的像素或区域设置为外围像素或外围区域、获得从外围像素或外围区 域中每一个的颜色到目标像素或目标区域的颜色(平均颜色)的颜色空间中的颜色差向 量、并计算颜色差向量的平均值作为前景特征向量。此外，可以利用外围区域(外围像素) 的面积、目标区域(目标像素)和外围区域(外围像素)之间的连接长度等计算前景向量。 例如，可以利用下面的表达式计算前景特征向量。
前景特征向量=(颜色差向量·面积·连接长度)的平均
颜色差向量根据外围区域的尺寸、或与外围像素或外围区域的接触程度而改变， 并且利用改变后的颜色差向量的平均获得前景特征向量。同时，当颜色差向量改变并且不 处于预设区域中时，将主旨通知给整合确定部12。
在整合确定部12中，利用在前景特征量计算部11中计算出的前景特征向量确定 是否对待整合的两个像素或区域进行整合。当前景特征量计算部11在确定时将其中颜色 差未处于预设区域中的像素或区域的组合通知给整合确定部12时，确定不执行整合。
同时，在第二示例实施例中，在区域整合部13中不对前景特征向量进行更新。当 确定在区域整合部13中执行了整合处理、并且进一步在结束确定部14中重复该处理时，该 处理重复返回至前景特征量计算部11。
图11示出了本发明第二示例实施例中的操作示例的流程图。下面将主要描述与 上述第一示例实施例中的操作不同的处理。在步骤S31中，前景特征量计算部11计算每个 区域的平均颜色，并计算前景特征向量。最初，平均颜色的计算不是必须的，从而像素的颜 色就是平均颜色。前景特征向量将每个像素设置为目标像素，将与目标像素相邻的像素设 置为外围像素，并获得从外围像素到目标像素的颜色空间中的颜色差向量。最初，该颜色差 向量可以设置为前景特征向量。由多个像素构成的区域通过第二或随后的整合处理生成。 对于该区域，计算平均颜色并将其设置为相应区域的颜色。获得从与目标像素或目标区域 相邻的像素(外围像素)或区域(外围区域)的颜色到目标像素或目标区域的每个颜色差 向量。对于基于获得的颜色差向量、或进一步基于外围区域(外围像素)的面积、外围区域 (外围像素)之间的连接长度等的向量，优选的是通过获得平均值来计算前景特征向量。
在步骤S22中，整合确定部12根据针对待整合的两个像素或区域的前景特征向量 的相似度来确定是否整合这两个像素或区域。作为确定方法，可以使用上述第一示例实施 例中描述的方法。此外，当在步骤S31中计算前景特征向量时使用的颜色差向量改变从而 不位于预设区域中时，通过从整合确定部12接收要旨的通知而确定不执行整合。
在步骤S23中，区域整合部13将由整合确定部12确定为要整合的两个像素或区 域整合为一个区域。整合处理如上述第一示例实施例所述，但是不更新前景特征向量。
在步骤S24中，结束确定部14确定整合处理是否结束。结束确定如上述第一示例 实施例所述。在第二示例实施例中，当不满足结束条件时，处理返回至步骤S31并重复该处 理。
图12A至图12D是示出本发明第二示例实施例中的操作具体示例的说明示图。图 12A示出了待处理的一部分图像。在该示例中，在白色背景下，在细线和其一端侧结束部分 出现了在具有某一前景色的明朝字体的字符中使用的衬线，而另一端部侧的结束部分连接 至较粗线(称作粗线)而不是细线。在该示例中，在白色背景由于各种劣化因素导致的影响下，细线部分与衬线白色背景以及粗线之间的边界部分的颜色浅于原始前景色。为了便 于说明，将颜色差示为对角斜线的差异。
在图11的步骤S31中，前景特征量计算部11计算每个像素中的前景特征量。同 时，最初，每个像素的颜色成为平均颜色。例如，在与细线的背景接触的像素中，获得了该像 素的颜色与以该像素为中心的图12B所示的八个方向中的相邻像素的颜色之间的颜色差 向量，并且将平均向量设置为前景特征向量。在图12B所示的示例中，示为a，b，和c的像 素是背景色的像素，而示为d，e, f，g和h的像素是受背景色影响的前景色。通过将这些像 素的颜色差向量进行平均计算出前景特征向量。同时，在衬线和粗线背景之间的边界部分 的像素中，背景色的像素和受背景影响的前景色的像素之间的颜色差向量的平均、或进一 步的背景色的颜色与不受背景影响的前景色的像素之间的颜色差向量的平均成为前景特 征向量。对于衬线以及粗线内部，前景色各像素之间的颜色差向量的平均被设置为前景特 征向量。同时，对于背景，在与前景色的边界部分中，包括对于前景色的颜色差向量的平均 被设置为前景特征向量。
在于图11的步骤S22中由整合确定部12做出的整合确定处理中，当确定了利用 相邻像素的组合进行整合时，确定将对细线部分、衬线、或粗线的背景之间的边界部分进行 整合。此外，衬线和粗线的内部被确定为进行整合。这些部分由区域整合部13在图11的 步骤S23中进行整合。同时，在图11的步骤S24中，结束确定部14确定不满足结束条件， 并且处理再次返回图11的步骤S31。
在步骤S31中，前景特征量计算部11获得针对整合后的每个区域的平均颜色。对 于未进行整合的像素本身，可以将该像素的颜色设置为平均颜色。计算每个区域以及每个 像素的前景特征向量。在图12C所示的示例中，示出了其中分别整合了细线部分、衬线部 分、粗线部分、和背景部分的状态。针对这些部分获得了各自的平均颜色。然后计算出每个 部分的前景特征向量。例如，在图12C所示的状态中，细线部分与衬线部分、粗线部分、和背 景部分接触。因此，获得并平均这些部分之间的颜色差向量，并将其设置为前景特征向量。 此外，由于粗线部分与细线以及背景部分接触，因此获得并平均每个颜色差向量，并将其设 置为前景特征向量。此外，由于衬线部分与细线和背景部分接触，因此获得并平均每个颜色 差向量，并将其设置为前景特征向量。同时，由于背景与粗线部分、细线部分、和衬线部分接 触，因此获得并平均每个颜色差向量，从而获得前景特征向量。
当计算出了前景特征向量时，在步骤S22中通过由整合确定部12计算前景特征向 量的相似度来确定是否进行整合。在图12C所示的状态中，粗线部分、细线部分、和衬线部 分的前景特征向量彼此相似，确定进行整合。在确定将背景部分与粗线部分、细线部分、和 衬线中的每一个进行整合时，各前景特征向量的方向彼此不同，从而确定不进行整合。
根据该确定结果，在步骤S23中，由区域整合部13对粗线部分、细线部分、和衬线 部分进行相互整合。从而，获得了图12D所示的整合结果。返回到步骤S24至S31，重复所 述处理。当满足了结束条件时，结束所述处理。例如，在图12A至12D所示的示例中，输出 图12D所示的整合结果。
在图12A所示的图像中，在细线部分和衬线背景之间的边界部分中出现了劣化， 前景色发生了变化。对于细线，未保留原始前景色。然而，作为整合结果，粗线部分、细线部 分、和衬线部分中的每一个都相互整合，并且提取发生劣化前的原始前景色部分。根据该结果，例如，可以以相应颜色区域的代表色代替每个颜色区域的颜色，以执行颜色限制处理， 可以提取特定颜色区域，并且其中的每一个都可以用于后续阶段的处理中。
同时，在本发明的第二示例实施例中，可以构造来提供如上所述本发明的第一示 例实施例中的第一变型示例所述的特征提取部15，并且除了诸如在计算前景特征向量时使 用的面积和连接长度的特征以外的各种特征向量、以及前景特征向量被提取并在由整合确 定部12进行整合确定时使用。此外，可以构造来提供如上述本发明第一示例实施例中的第 二变型示例所述的颜色边界提取部16，并且进行区域整合以在由区域整合部13进行整合 时不跨越颜色边界。当然，本发明可以构造为使得上述所提供的两者都包括在本发明的构 造中O
图13是示出当本发明的每个示例实施例中所述的功能及本发明的变型示例由计 算程序实现时的计算机程序的示例、存储有该计算机程序的记录介质、以及计算机的说明 示图。该图中，41表示程序，42表示计算机，51表示磁光盘，52表示光盘，53表示磁盘，54 表不存储器，61表不CPU, 62表不内部存储器,63表不读取单兀,64表不硬盘，65表不接口， 以及66表示通信单元。
上述本发明每个示例实施例以及其变型示例中所述的每个单元的功能可以全部 或部分地由用于使计算机执行该功能的程序41实现。在此情况下，程序41、由程序使用的 数据等可以存储在由计算机读取的记录介质中。该记录介质是针对包括在计算机的硬件 资源中的读取单元63响应于程序内容描述而使得磁、光、和电能等改变状态、并将程序内 容描述以相应信号的形式传送至读取单元63的介质。例如，记录介质包括磁光盘51、光盘 52 (包括⑶、DVD等)、磁盘53、存储器54 (包括IC卡、存储卡、闪存等)等。当然，记录介 质不限于可移动类型。
当将程序41存储到这样的记录介质中时,例如通过将记录介质安装到计算机42 的读取单元63中或接口 65，程序41被从计算机读出并存储到内部存储器62或硬盘64 (包 括磁盘或硅盘等)中，并且上述本发明每个示例实施例以及变型示例中描述的功能全部或 部分地由利用CPU 61通过执行程序41来实现。可替换地，程序41被通过传输信道传送至 计算机42，程序41在计算机42的通信单元66中被接收并被存储在内部存储器62或硬盘 64中，并且上述功能可以通过利用CPU 61执行程序41来实现。
计算机42可以通过另一接口 55连接至各种装置。处理后的区域提取结果可以被 传送至另一程序，可以存储在硬盘64中，可以通过接口 65存储在记录介质中，或可以通过 通信部66传送至外部。当然，所述构造可以部分地由硬件构造，或可以完全由硬件构造。可 替换地，所述构造可以与另一构造一起被构造为包括在本发明每个示例实施例及其变型示 例中描述的功能的全部或一部分。当然，当将该构造应用于另一应用时，其可以与该应用中 的程序集成在一起。
前文已经出于例示和说明的目的提供了对本发明示例性实施例的说明。该描述并 非排他性的或者将本发明限制为所公开的精确形式。显然，各种修改和变型对于本领域技 术人员来说是显而易见的。这些实施例的选择和描述是为了对本发明的原理及其实际应用 进行最佳的阐述，以使得本领域的其他技术人员能够理解本发明的各种实施例以及适用于 具体应用场合的各种变型。本发明的范围应当由权利要求及其等同部分限定。
权利要求
1.一种图像处理设备，包括 计算单元，其利用包括目标像素的预定区域中的每个像素作为目标像素计算表示这些像素的颜色和目标像素的颜色之间的差异的特征向量，作为前景特征向量； 确定单元，其根据针对待整合的两个像素或区域的前景特征向量的相似度来确定是否对这两个像素或区域进行整合；以及 整合单元，其对由确定单元确定为要整合的两个像素或区域进行整合。
2.根据权利要求1所述的图像处理设备，所述计算单元计算从预定区域中各像素颜色的平均颜色到目标像素的颜色的颜色空间中的向量作为所述前景特征向量。
3.根据权利要求2所述的图像处理设备，所述计算单元利用作为有效区域的根据颜色边界预先确定的区域中的像素来计算针对该有效区域的像素的前景特征向量。
4.根据权利要求2所述的图像处理设备，所述计算单元利用作为有效区域的根据待整合的颜色的边界预先确定的区域中的像素来计算针对所述有效区域中的像素的前景特征向量。
5.根据权利要求1至4中任一项所述的图像处理设备，其中所述计算单元将目标区域的每个像素的整合前的前景特征向量未处于预设区域通知给所述确定单元，从而所述确定单元确定不对其中颜色差向量未处于预设区域中的像素或区域的组合执行整合。
6.根据权利要求1至4中任一项所述的图像处理设备，其中，当整合两个像素或区域时，所述整合单元利用两个前景特征向量来计算整合区域的前景特征向量。
7.根据权利要求1所述的图像处理设备，其中，所述计算单元将与其中目标像素或像素 被整合的目标区域相邻的像素或区域用作外围像素或外围区域来计算从每个外围像素或外围区域的颜色到目标像素或目标区域的颜色的颜色空间中的各颜色差向量的平均值作为前景特征向量。
8.根据权利要求7所述的图像处理设备，其中，所述计算单元进一步利用目标像素或目标区域与外围像素或外围区域之间的连接长度计算各颜色差向量的平均值，并将该平均值设置为前景特征向量。
9.根据权利要求7或8所述的图像处理设备，其中，所述计算单元向所述确定单元通知颜色差向量未处于预设区域中，从而所述确定单元确定不对其中颜色差向量未处于预设区域中的像素或区域的组合进行整合。
10.根据权利要求1至4中任一项所述的图像处理设备，进一步包括 提取单元，其提取颜色边界，其中，所述确定单元确定对未跨越提取单元中提取到的颜色边界的两个像素或区域进行整合。
11.一种图像处理方法,包括 利用包括目标像素的预定区域中的每个像素作为目标像素计算表示这些像素的颜色和目标像素的颜色之间的差异的特征向量，作为前景特征向量； 根据针对待整合的两个像素或区域的前景特征向量的相似度来确定是否对这两个像素或区域进行整合；以及 对由确定单元确定为要整合的两个像素或区域进行整合。
全文摘要
本发明提供了图像处理设备和图像处理方法。该图像处理设备包括计算单元，其利用包括目标像素的预定区域中的每个像素作为目标像素计算表示这些像素的颜色和目标像素的颜色之间的差异的特征向量，作为前景特征向量；确定单元，其根据针对待整合的两个像素或区域的前景特征向量的相似度来确定是否对这两个像素或区域进行整合；以及整合单元，其对由确定单元确定为要整合的两个像素或区域进行整合。
文档编号G06T7/40GK102999924SQ201210101850
公开日2013年3月27日 申请日期2012年4月9日 优先权日2011年9月9日
发明者伊藤笃 申请人:富士施乐株式会社