图像处理装置和图像处理方法
【专利摘要】本发明提供一种图像处理装置和图像处理方法，该图像处理装置在第一区域与除了所述第一区域以外的第二区域之间进行辨别，所述第一区域是在输入图像中跨越超过预定面积的区域而存在的连续区域；对所述第一区域和所述第二区域进行不同强度的平滑处理；并对进行了平滑处理的图像进行图像变换处理。
【专利说明】图像处理装置和图像处理方法
【技术领域】
[0001] 本发明涉及用于解决当在图像变换处理中减小波纹（moire)时清晰度退化问题 的图像处理装置和图像处理方法。
【背景技术】
[0002] 已知在图像处理装置中，必要时进行图像变换处理。例如，在安装有投影仪产品的 图像处理装置中，进行被称为梯形失真（梯形）校正处理的图像变换处理。具体地说，当投 影仪的输出光被投影在屏幕上时，对于投影在屏幕上的有效区域，由于投影仪的安装倾斜 角度或者光学镜头移位而出现梯形形状的失真。由于在投影在屏幕上的有效区域中存在梯 形形状的失真的状态下，不便于用户观看，因此进行图像变换的处理，使得通过进行倒梯形 形状的有效区域的图像变换，投影在屏幕上的有效区域变成矩形形状。该图像变换处理通 常被称为梯形失真（梯形）校正处理。
[0003] 为了进行以梯形失真（梯形）校正处理等为目的的图像变换处理，在将输入图像 存储在帧存储器中之后，通过根据与输出图像的各个坐标相对应的输入图像坐标的邻近像 素进行插值，来生成输出图像的各个坐标。例如，通常已知诸如双三次插值方法等的方法作 为该插值方法。
[0004] 注意，存在如下情况：当进行图像变换处理时出现被称为波纹（干涉条纹）的图 像劣化。波纹是由于输出图像的像素间距和与输出图像的像素相对应的输入图像上的坐标 的间距之间的差而出现的干涉条纹。由波纹而导致的图像劣化是由源图像的高频分量引起 的，并且已知如下方法：通过在图像变换处理之前进行平滑处理来除去高频分量以改善这 种状况（日本特开平1-134577号公报）。
[0005] 然而，当应用日本特开平1-134577号公报的波纹减小处理（平滑处理）时，虽然 减小了波纹，但是存在边缘平滑和清晰度退化的不利影响。具体地说，存在如下情况：期望 图像中的诸如字符的区域是清晰的，但是作为平滑处理的结果，边缘被钝化，因此生成了字 符不清晰的输出图像。对此，为了改善日本特开平1-134577号公报，在日本特许第3143209 号公报的技术中，使用用于搜索边缘区域的单元，并通过与对非边缘区域相比对边缘区域 应用更弱的平滑处理，来防止字符等边缘区域变得不清晰。
[0006] 日本特开平1-134577号公报的方法是如下方法：通过在图像变换处理前进行平 滑处理来除去高频分量，以减小波纹。然而，如上所述，虽然使用这种方法减小了波纹，但是 存在边缘平滑和清晰度退化的不利影响。将使用图2A至图2D对该问题进行说明。图2A 至图2D是用于说明由于平滑处理而导致的波纹减小效果的图。注意，为了利用这些图简化 说明，使用在一维方向上具有周期性的图像作为输入图像。下面将对图2A至图2D的图的 关系进行说明。
[0007] 首先，图2A是在水平方向上具有2值（白/黑）的第一周期的输入图像，图2B至 图2D图示了对其进行了各种处理（变换处理或平滑处理）的结果。图2B是将变换处理应 用到图2A的输入图像而产生的图像，并且出现图2A中未示出的第二周期。变换处理是一维 方向放大处理的示例，并且在这里，由于输入图像的周期和放大率的干涉而出现第二周期。 因此，可明显识别出由于该第二周期的振幅而产生的周期性波纹。另一方面，图2C是将平 滑处理应用到图2A的输入图像而产生的图像，而图2D是将变换处理进一步应用到图2C的 图像而产生的图像。如图2C所示，通过将平滑处理应用到图2A的输入图像，减小了第一周 期的峰值。此外，如图2D所示，可明显识别出由于将变换处理应用到图2C的图像中而减小 了波纹。换句话说，与不进行平滑处理的图2B相比，图2D具有与第二周期相对应的相同的 波纹周期，但是作为波纹的振幅而图示的周期的振幅的差变小，结果，可明显识别出减小了 波纹。然而，虽然减小了波纹，但是也减小了与在进行变换处理前的图2 A的原始图案相对 应的第一周期的振幅。结果，这种情况被明显识别为清晰度退化的不利影响。总结上述说 明，存在通过平滑处理减小波纹的效果，但是也存在降低了输入图像的清晰度的不利影响。
[0008] 另一方面，在日本特许第3143209号公报中，为了改善日本特开平1-134577号公 报中的上述不利影响，通过与对非边缘区域相比对边缘区域应用更弱的平滑处理，以防止 边缘区域变得不清晰。然而，该方法存在波纹减小效果较弱的问题。这是因为：如图2A至 图2D所示，具有高频分量的边缘区域是波纹的产生要因，因此当削弱对边缘区域的平滑处 理时，也削弱了波纹减小效果。
【发明内容】
[0009] 鉴于上述问题而做出本发明，本发明的方面在于：在用于进行图像变换处理的图 像处理装置中降低由于波纹（干涉条纹）而导致的图像退化的同时保持清晰度。
[0010] 根据本发明的一方面，提供了一种图像处理装置，其包括：辨别单元，其被配置为 在第一区域与除了所述第一区域以外的第二区域之间进行辨别，所述第一区域是在输入图 像中跨越超过预定面积的区域而存在的连续区域；空间滤波器单元，其被配置为对由所述 辨别单元辨别的所述第一区域和所述第二区域进行不同强度的平滑处理；以及图像变换单 元，其被配置为对由所述空间滤波器单元进行了平滑处理的图像进行图像变换处理。
[0011] 根据本发明的第二方面，提供了一种图像处理方法，其包括：辨别步骤，在第一区 域与除了所述第一区域以外的第二区域之间进行辨别，所述第一区域是在输入图像中跨越 超过预定面积的区域而存在的连续区域；对所辨别的第一区域和第二区域进行不同强度的 平滑处理的步骤；以及对进行了平滑处理的图像进行图像变换处理的步骤。
[0012] 通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
【专利附图】
【附图说明】
[0013] 图1是用于示出根据第一实施例的图像处理装置的结构的图。
[0014] 图2A至图2D是用于说明由于平滑处理而导致的波纹减小效果的图。
[0015] 图3是用于示出区域确定单元102的处理的示例的图。
[0016] 图4是用于例示区域确定单元102的处理流程的图。
[0017] 图5是用于示出区域确定单元102的处理步骤的示例的图。
[0018] 图6是用于示出根据第一实施例的空间频率滤波器单元104的处理的示例的图。
[0019] 图7是用于示出图像变换单元107的处理的示例的图。
[0020] 图8是用于示出根据第二实施例的图像处理装置的结构的图。
[0021] 图9是用于示出根据第二实施例的空间频率滤波器单元803的处理的示例的图。
【具体实施方式】
[0022] [第一实施例]
[0023] 根据第一实施例的图像处理装置的结构如图1所示。图像处理装置101将输入图 像100和变换参数110作为输入，并输出变换后图像108。这里，变换参数110是用于表示输 入图像100和变换后图像108的坐标的对应关系的参数，并且在一般的投影变换中由3X3 的矩阵表示。稍后将进行详细说明。图像处理装置101包括区域确定单元102、空间频率滤 波器单元104和图像变换单元107。区域确定单元102将输入图像100作为输入，并输出表 示针对输入图像1〇〇的各个像素的图像的特性的区域信息105。区域信息105是表示与输 入图像100的各个像素邻近的同色像素是否在大于或等于一定值的区域内连续的信息。以 下，作为该区域信息，同色像素在大于或等于一定值的像素区域内连续的区域被称为"宏区 域（第一区域）"，而除了第一区域以外的区域被称为"微区域（第二区域）"。
[0024] 空间频率滤波器单元104将输入图像100和区域信息105作为输入，并输出滤波 处理后输入图像106。具体地说，空间频率滤波器单元104进行平滑处理，该平滑处理针对 由区域信息105表示的宏区域和微区域应用不同的滤波系数。在本实施例中，将具有较强 平滑强度的滤波处理应用于宏区域，并将具有较弱平滑强度的滤波处理应用于微区域。接 着，图像变换单元107将变换参数110和滤波处理后输入图像106作为输入，并输出变换后 图像108。变换后图像108对应于基于变换参数110对滤波处理后输入图像106的形状进 行变换而生成的图像。图像处理装置101输出以这种方式生成的变换后图像108。注意， 在图1中，变换参数110从外部输入，但是可以采用在图像处理装置101内部生成变换参数 110的结构。以下，将对各结构的处理进行详细说明。
[0025] 将参照图3对区域确定单元102的处理的示例进行说明。在图3中，对处理结果 进行了说明，并且稍后将在图4和图5的说明中对处理详情进行说明。在图3中，示出了针 对输入图像300生成的区域信息301。输入图像300是混合有格线（ruled line)、字符和 数字的图像。针对输入图像300,通过根据与各个像素邻近的同色像素是否在大于或等于一 定值的像素区域内连续来划分区域，以划分区域信息301的宏区域（黑色部分）和微区域 (白色部分）。换句话说，作为区域信息301，区域确定单元102确定格线部分为宏区域，并 确定除了格线部分以外的部分为微区域。
[0026] 接着，将利用图4示出区域确定单元102的处理流程，并利用图5示出处理步骤的 示例。下面，将对图4的处理流程和图5的处理步骤的示例一起进行说明。在图4的处理流 程中，区域确定单元102从"开始"(S400)起，针对所有像素，重复从处理开始点的选择（步 骤S402)直到宏/微区域确定（步骤S404)的处理（从步骤S405至步骤S401)。此后，区 域确定单元102转到"结束"（步骤S406)，并完成处理。
[0027] 将使用图4和图5对由区域确定单元102进行的处理步骤的示例进行说明。首先， 区域确定单元102从"开始"(S400)起开始处理，然后进入对所有像素重复的循环处理（步 骤S401)。接着，区域确定单元102进行处理开始点的选择（步骤S402)。步骤S402的处 理对应于图5的处理步骤500。在处理步骤500中，区域确定单元102将图示的线作为扫描 方向，并选择由箭头表示的一个点。注意，在图5的示例中，为了简化说明，将图像中部的像 素作为起点。接着，区域确定单元102进行封闭区域的搜索（步骤S403)。步骤S403的处 理对应于图5的处理步骤501。在处理步骤501中，与处理步骤500相比颜色变化的、以灰 色示出的区域，是通过封闭区域的搜索而辨别的区域。该处理是用于辨别与选择的像素相 邻的同色像素区域的处理，并且一般地，由于绘图程序和种子填充算法等是公共知识，因此 省略其说明。
[0028] 接着，区域确定单元102进行宏/微区域确定（步骤S404)。步骤S404的处理对 应于图5的处理步骤502。在步骤S404的处理中，根据在处理步骤501中获得的封闭区域 的X坐标的最大值和最小值计算在X轴方向上的距离，并与阈值进行比较。这里，阀值是 大于字符或数字的垂直宽度或水平宽度的值，并且通过在设计时预测输入图像来确定该阈 值。例如，在本实施例中，将保持清晰度所需的最小字符大小预测为20X20个像素，因此， 在X轴方向和y轴方向上的阈值被设置为20个像素。此外，在Y方向上，类似地，根据封闭 区域（表面积）的Y坐标的最大值和最小值计算在y轴方向上的距离，并将该距离与预定 阈值进行比较。区域确定单元102在X轴方向和y轴方向上的比较结果中的任意一方被确 定为超过阀值的情况下，确定封闭区域是宏区域。在处理步骤502中，表明了如下情况：由 于针对包括在处理步骤501中选择的单个像素的封闭区域，在X轴方向和y轴方向上的距 离小于或等于阀值，因此将该区域确定为微区域封闭区域。
[0029] 接着，在步骤S404之后，区域确定单元102返回正针对所有像素的重复的循环中 (从步骤S405至步骤S401)，并再次进行处理开始点的选择（步骤S402)。在步骤S402的 处理中，如相应的处理步骤503所示，区域确定单元102选择与处理步骤500的选择点在扫 描方向上相邻的像素。然后，区域确定单元102进行封闭区域的搜索（步骤S403)和宏/ 微区域确定（步骤S404)。在与该处理相对应的处理步骤504中，表明了如下情况：由于针 对包括在处理步骤503中选择的单个像素的封闭区域，在X轴方向和y轴方向上的距离小 于或等于阀值，因此将该区域确定为微区域封闭区域。
[0030] 接着，区域确定单元102再次返回正针对所有像素的重复的循环中（从步骤S405 至步骤S401)，并进行处理开始点的选择（步骤S402)，并且获得相应的处理步骤505。然 后，区域确定单元进行封闭区域的搜索（步骤S403)和宏/微区域确定（步骤S404)，并获 得相应的处理步骤506。在处理步骤506中，表明了如下情况：由于针对包括在处理步骤505 中选择的单个像素的封闭区域，在X轴方向和y轴方向上的距离小于或等于阀值，因此将该 区域确定为微区域封闭区域。此外，在处理步骤506中，表明以灰色示出的区域连同在处理 步骤502和504中确定的封闭区域是封闭区域。换句话说，表明了如下情况：除在处理步骤 505中选择的像素之外，以灰色示出的在扫描方向上相邻的像素，是已经完成了宏/微区域 确定（步骤S404)的像素。
[0031] 接着，区域确定单元102再次返回正针对所有像素的重复的循环中（从步骤S405 至步骤S401)，并进行处理开始点的选择（步骤S402)，并且获得相应的处理步骤507。在 扫描方向上与处理步骤505选择的像素相邻的像素，是已经完成了宏/微区域确定（步骤 S404)的像素。因此，通过在扫描方向上跳过，来对尚未完成的宏/微区域确定（步骤S404) 的像素进行处理开始点的选择（步骤S402)，并选择在处理步骤507中图示的像素。接着， 进行封闭区域的搜索（步骤S403)和宏/微区域确定（步骤S404)，并且获得相应的处理步 骤508。在处理步骤507中选择的格线区域上的单个像素与目前为止所选择的像素不同，由 于格线区域是存在于比阀值更宽的区域上的连续区域，因此区域确定单元102确定该区域 为宏区域。注意，以深灰色示出宏区域。因此，针对所有像素重复图4的流程，并在处理转 至IJ "结束"（步骤S406)时获得处理的结果509。在这种状态下，输入图像的所有区域被划 分成宏/微区域中的一个。
[0032] 接着，将使用图6对空间频率滤波器单元104的处理的示例进行说明。在该处理 中，首先根据区域信息600生成滤波系数601。如图所示，针对与区域信息600的宏区域相 对应的部分，在滤波系数601中生成强平滑强度系数，而针对与微区域相对应的部分，生成 弱平滑强度系数。通过将以这种方式生成的滤波系数601应用到输入图像602中、并进行 平滑处理，来获得滤波处理后输入图像603。如滤波处理后输入图像603所示，强平滑处理 被应用到平滑强的滤波系数601的系数的部分，而弱平滑处理被应用到平滑弱的系数的部 分。
[0033] 接着，将使用图7对图像变换单元107的处理的示例进行说明。图像变换单元107 基于变换参数700对输入的滤波处理后输入图像701进行变换，并输出变换后图像108。变 换参数700是表示变换前和变换后的坐标关系的参数，并且在投影变换的情况下，由以下 公式表示变换参数以及变换前和变换后的坐标关系。换句话说，在
【权利要求】
1. 一种图像处理装置，其包括： 辨别单元，其被配置为在第一区域与除了所述第一区域以外的第二区域之间进行辨 另IJ，所述第一区域是在输入图像中跨越超过预定面积的区域而存在的连续区域； 空间滤波器单元，其被配置为对由所述辨别单元辨别的所述第一区域和所述第二区域 进行不同强度的平滑处理；以及 图像变换单元，其被配置为对由所述空间滤波器单元进行了平滑处理的图像进行图像 变换处理。
2. 根据权利要求1所述的图像处理装置，其中，所述第一区域的平滑强度比所述第二 区域的平滑强度强。
3. 根据权利要求1所述的图像处理装置，其中，所述第一区域是同色像素在所述输入 图像中大于或等于一定值的区域内连续的区域。
4. 根据权利要求3所述的图像处理装置，其中，所述辨别单元针对由与在所述输入图 像中选择的单个像素相同颜色的像素包围的封闭区域，辨别所述第一区域或所述第二区 域。
5. 根据权利要求4所述的图像处理装置，其中，在所述封闭区域的X轴方向或Y轴方向 上的距离大于预定阀值的情况下，所述辨别单元辨别第一区域。
6. 根据权利要求5所述的图像处理装置，其中，所述阀值是大于所述输入图像中包含 的字符或数字的垂直宽度或水平宽度的值。
7. 根据权利要求1所述的图像处理装置，其中，所述图像变换单元基于变换参数，对由 所述空间滤波器单元平滑的图像进行变换。
8. 根据权利要求1所述的图像处理装置，其中，所述辨别单元基于种子填充算法来进 行区域的辨别。
9. 根据权利要求1所述的图像处理装置，所述图像处理装置还包括： 倍率计算单元，其被配置为针对所述输入图像的各个像素计算通过所述图像变换单元 变换后的倍率信息，其中 空间滤波器单元基于由所述倍率计算单元计算的所述倍率信息，对具有不同倍率的各 个区域进行不同强度的平滑处理。
10. 根据权利要求9所述的图像处理装置，其中，对于倍率较大的区域的平滑强度比对 于倍率较小的区域的平滑强度弱。
11. 一种图像处理方法，所述图像处理方法包括： 辨别步骤，在第一区域与除了所述第一区域以外的第二区域之间进行辨别，所述第一 区域是在输入图像中跨越超过预定面积的区域而存在的连续区域； 对所辨别的第一区域和第二区域进行不同强度的平滑处理的步骤；以及 对进行了平滑处理的图像进行图像变换处理的步骤。
【文档编号】G06T3/00GK104143175SQ201410180698
【公开日】2014年11月12日 申请日期:2014年4月30日 优先权日:2013年5月8日
【发明者】北荘哲郎 申请人:佳能株式会社