图像处理设备及其方法

专利名称：图像处理设备及其方法
技术领域：
本发明涉及一种对图像的噪声包含部分进行检测并去除该 噪声部分的图像处理设备及其方法，其中所述图像是通过对已经过例如MPEG(Moving Picture Experts Group, 运动图l象专家 组)方式等的频率变换和有损压缩编码的图像数据进行解码而 获得的图像。
背景技术：
传统上，作为图像编码方式，可以利用作为帧内编码 (intraframe coding)方式的动态JPEG和数字视频等以及使用帧 间予贞测编石马(interframe predicting coding)的H.261 、 11.263 、 MPEG-l和MPEG-2。近年来，已知H.264等的编码方式。通过 IS()(International Organization for Standardization, 国际才示)隹4匕 组织)和ITU(International Telecommunication Union, 国际电信 联盟)对这些编码方式进行国际标准化。作为代表性编码方式的MPEG-2被称为有损编码，编码图 像数据的解码数据与原始图像数据不同。这是由编码时在DCT 转换后执行的量化所引起的。这些编码方式通过使用图像信号 的统计特性去除包括在图像信号中的冗余性来降低信息量。即， 由于人类视觉对于图像的高频分量不敏感，因而对这些高频分 量进行粗量化以去除冗余性，从而获得高编码效率。量来对数据进行压缩，因而在图像的边缘部分或者运动物体的 周围产生了被称为蚊式噪声(mosquito noise)的噪声，从而引起解码图像的图像质量劣化。已提出了降低蚊式噪声的方法。例 如，提出了这样一种方法检测输入图像信号的边缘部分，并 使用噪声去除滤波器对图像信号的边缘部分进行滤波处理，以获得降低了蚊式噪声的图像信号。MPEG等的详细内容参考 ISO/IEC国际标准。作为执行这类噪声去除的技术，日本特开平10-13718号公 报记载了 一种在^r测运动矢量后纟全测水平边缘和垂直边缘然后 针对各维度实施滤波的技术。然而，在上述相关技术中，由于不管图像信号中有无蚊式 噪声，都对图像信号的边缘部分进行蚊式噪声去除的滤波处理， 因而在没有产生蚊式噪声的部分中图像发生劣化。当图像具有 包含细边缘的紋理区域时，将该区域4晉误地判断为边缘，并且 删除紋理信息，从而导致图像质量的劣化。在未准确检测到产生图像中所包含的蚊式噪声等噪声的部 分的情况下，对图像信号的边缘部分进行噪声去除处理，会引 起这些问题，其中该图像是通过对已经过频率转换和有损编码 的图像数据进行解码而获得的图像。另外，在将图像信号的包 含细边缘的紋理区域当作噪声部分时进行噪声去除处理，也会 引起这些问题。此外，如果在噪声去除处理后进行将隔行信号(interlaced signal)專争4奂成逐^f亍4言号(progressive signal)的IP砵争4奐等的处理， 则必须去除解码后图像的噪声以便不对该处理造成任何不利影 响。换句话说，在维持隔行信息的同时，必须去除噪声。发明内容本发明的 一 方面是解决上述传统问题。作为本发明的特性特征，充分检测包括在图像数据中的噪声包含部分，并且可以仅对噪声包含部分进行噪声去除处理，同时维持图像的紋理信息。根据本发明的一方面，提供一种图像处理设备，包括 测量部件，用于通过将图像划分为多个块并测量各块中的图像的边缘来获取边缘强度信息；存储部件，用于存储至少 一 帧的各块的所述边缘强度信息；缘强度信息来确定待滤波的块；以及控制部件，用于基于由所述测量部件获取的图像的当前帧 中的第一块的边缘强度信息以及存储在所述存储部件中的紧挨 着所述当前帧的前一 帧中与所述第 一块相对应的第二块的边缘 强度信息，判断是否对所述当前帧的所述第 一块进行滤波处理， 其中所述第 一 块由所述确定部件确定为所述待滤波的块。根据本发明的一方面，提供一种图像处理设备，包括测量部件，用于通过将图像划分为多个块并测量各块中的 图像的边缘来获取边缘强度信息；以及控制部件，用于基于由所述测量部件所获取的图像的当前 帧的各块的边缘强度信息和紧挨着所述当前帧的前 一 帧的相应 块的边缘强度信息，判断是否对所述当前帧的各块进行滤波处 理。根据本发明的一方面，提供一种图像处理方法，包括以下 步骤获取步骤，用于通过将图像划分为多个块并测量各块中的 图像的边缘来获取边缘强度信息；存储步骤，用于将至少一帧的各块的所述边缘强度信息存 储在存储器中；确定步骤，用于基于存储在所述存储器中的所述各块的所述边缘强度信息来确定待滤波的块；以及判断步骤，用于基于在所述获取步骤中获取的图像的当前 帧中的第一块的边缘强度信息以及存储在所述存储器中的紧挨 着所述当前帧的前一 帧中与所述第 一块相对应的第二块的边缘 强度信息，判断是否对所述当前帧的所述第 一 块进行滤波处理， 其中所述第 一块在所述确定步骤中确定为所述待滤波的块。通过以下参考附图对典型实施例的说明，本发明的其它特 征将变得明显。


包括在iji明书中并构成说明书的一部分的附图，示出了本 发明的实施例，并与说明书 一起用来解释本发明的原理。图l是示出根据本发明的第一典型实施例的图像处理设备 的主要部分的结构的框图；图2是说明根据本发明的第一典型实施例的图像处理设备 中的第 一 帧的处理的流程图；图3是说明根据第一典型实施例的图像处理设备中的第一 帧后的普通帧的处理的流程图；图4A ~ 4C示出了用于说明根据该典型实施例的边缘强度 映像存储器(edge intensity mapping memory)和噪声去除标志映 像存储器的数据结构的图；图5是说明图2和图3的步骤S103中的噪声去除标志映像 (noise removal flag map)的生成处理的流程图；图6是说明图3的流程图的步骤S202中的滤波器控制处理 的流程图；图7示出了说明紧挨着的前 一 帧(immediately preceding frame)的边缘区域的扩展示例和直到确定了当前帧的滤波块为止的实际示例的图；图8A和8B是示出该典型实施例中所使用的Sobel滤波器算 子的示例的图；图9A和9B是示出根据该典型实施例的平滑滤波器算子的 示例的图；图IO是示出实现根据本发明典型实施例的图像处理设备的 计算机的硬件结构的框图；图11是示出根据本发明的第二典型实施例的图像处理设备 的主要部分的结构的框图；图12是说明根据第二典型实施例的图3所示流程图的步骤 S202中的滤波器控制处理的流程图；图13示出了用于说明根据本发明的第二实施例的s滤波处 理的图；图14是示出根据本发明的第三典型实施例的图像处理设备 的主要部分的结构的框图；图15示出了说明根据第三典型实施例的紧挨着的前一帧的 边缘区域的扩展示例和直到确定了当前帧的滤波块为止的实际 示例的图；以及图16是说明根据本发明的第三典型实施例的图3所示流程 图的步骤S202中的滤波器控制处理的流程图。
具体实施方式
以下，将参考附图详细说明本发明的多个实施例。以下实 施例不是旨在限制本发明的权利要求，并且不是实施例中所说 明的特征的全部组合对于本发明的解决方法来说都必不可少。第一实施例图l是示出根据本发明的第 一典型实施例的图像处理设备的主要部分的结构的框图。该实施例将图像数据的处理单位定义为被称为对象块(object block)的4x4像素的块。参考图1,水平边缘强度测量仪器100接收图像的亮度信号 的一个块，并测量该块的水平边缘强度。垂直边缘强度测量仪 器1 Ol接收该图像的亮度信号的 一 个块，并测量该块的垂直边缘 强度。该典型实施例通过Sobel滤波器的累积值来表示作为处理 单位的对象块的像素的边缘强度。图8A和8B是示出该实施例中所使用的Sobel滤波器的算子 的示例的图。图8A示出了水平边缘强度测量仪器100中所使用 的3x3水平Sobel滤波器，而图8B示出了垂直边缘强度测量仪器 101中所使用的3x3垂直Sobel滤波器。边缘强度映像存储器(边缘强度存储单元)102接收由水平 边缘强度测量仪器10 0和垂直边缘强度测量仪器101所须'J量的水 平边缘强度数据和垂直边缘强度数据，并存储一 帧的各块的水 平边缘强度数据和垂直边缘强度数据。注意，边缘强度映像存 储器102具有2存储体(2-bank)结构，从而使得可以将当前帧的边 缘强度数据存储在一个存储体(memory bank)中，同时可以从另 一存储体读出所存储的紧挨着的前一帧的边缘强度数据。针对 各帧的处理来切换存储体。噪声去除标志计算器103基于存储在 边缘强度映像存储器102中的各块的边缘强度数据来计算表示 感兴趣的块是否是待滤波的块(以下称之为滤波块)的标志(噪 声去除标志)。噪声去除标志映像存储器104存储由噪声去除标 志计算器103计算出的仅一帧的各块的噪声去除标志。注意，噪 声去除标志映像存储器10 4同样具有2存储体结构，从而使得可 以将噪声去除标志存储在一个存储体中，同时可以从另 一存储 体读出所存储的紧挨着的前一帧的噪声去除标志。针对各帧的 处理来切换存储体。滤波器控制器105基于当前帧的各块的水平边缘强度数据 和垂直边缘强度数据以及紧挨着的前 一 帧的相应块的边缘强度数据和噪声去除标志，控制滤波器10 6和10 7以及选4奪器10 8 (将在稍后说明)。注意，当前帧的各块的水平边缘强度数据和垂直边缘强度数据是分别由水平边缘强度测量仪器100和垂直边缘 强度测量仪器101所测量的结果。将紧挨着的前 一 帧的各块的边 缘强度数据存储在边缘强度映像存储器102中，而将紧挨着的前 一帧的各块的噪声去除标志存储在噪声去除标志映像存储器 104中。水平滤波器106响应于来自滤波器控制器105的控制信号 110,在各块的帧中执行水平滤波处理。二维(以下将简称为2D) 滤波器107响应于来自滤波器控制器105的控制信号111，在各块 的帧中扭J亍2D滤波处理。注意，该实施例只十于水平滤波器106 和2D滤波器107使用平滑滤波器。图9A和9B是示出这些平滑滤波器的算子的示例的图。 图9A示出了水平滤波器106所使用的水平平滑滤波器的示 例，而图9B示出了2D滤波器107所使用的2D平滑滤波器的示 例。选择器108根据来自滤波器控制器105的选择信号112，选择 来自水平滤波器106和2D滤波器107的输出与未滤波信号(输入 块的信号)中的一个，并输出所选择的信号作为各块的图像信下面将参考图2、 3、 5和6的流程图说明具有上述结构的设 备的操作。注意，在第一典型实施例中，针对第一帧和其它帧 来切换处理。图2是说明根据该典型实施例的图像处理设备中对于输入 图像的第一帧的处理的流程图。图3是用于说明根据该典型实施例的图像处理设备中对于输入图像的第 一 帧后的帧的处理的流程图。 首先参考图2说明对于第 一 帧的处理。在步骤S10 0,水平边缘强度测量仪器10 0测量图像的输入 亮度信号的块(8x8像素)的水平边缘强度。与该步骤并行地，在 步骤S101,垂直边缘强度测量仪器IOI测量图像的输入亮度信 号的块的垂直边缘强度。在步骤S102,仪器100和101将测量值 (边缘强度数据)存储在边缘强度映像存储器102中。在将图像第 一帧的水平边缘强度数据和垂直边缘强度数据存储在边缘强度 映像存储器102中后，切换边缘强度映像存储器102的存储体， 以使得允许读出在步骤S102中存储在边缘强度映像存储器102 中的数据。然后处理进入步骤S103,噪声去除标志计算器103基于存 储在边缘强度映像存储器102中的边缘强度数据，通过计算噪声 去除标志生成噪声去除标志映像。稍后将参考图5的流程图详细 说明该处理。在步骤S104，切换噪声去除标志映像存储器1()4 的存储体。结果，可以从边缘强度映像存储器和噪声去除标志 映像存储器104的已存储存储体中读出边缘强度数据和噪声去 除标志。在对于下一帧的处理中，将测量到的边缘强度数据和 计算出的噪声去除标志存储在相应存储器的另外的存储体中。利用上述处理，对于输入图像的第一帧，仅执行将边缘强 度数据和噪声去除标志存储在边缘强度映像存储器102和噪声 去除标志映像存储器104中的存储处理，而不执行用于噪声去除 的滤波器控制。下面将参考图3说明针对第 一 帧以后的帧的处理。对于这些 帧，向图2所示的针对第 一 帧的处理(步骤S10 0 ~ S10 4)添加步骤 S200 ~ S202中的处理。因此，下面将说明所添加的步骤S200 S202。在步骤S102,水平边缘强度测量仪器IOO和垂直边缘强度 测量仪器IOI将当前帧(第 一 帧以外的帧)的边缘强度存储在边缘强度映像存储器102中。然后处理进入步骤S200，滤波器控 制器105读出存储在边缘强度映像存储器102中的、紧挨着的前 一帧的各块的边缘强度数据。在步骤S201，滤波器控制器105 读出存储在噪声去除标志映像存储器104中的、紧挨着的前一帧 的各块(滤波块)的噪声去除标志。然后处理进入步骤S202,滤 波器控制器105基于紧挨着的前一帧的这些边缘强度数据和噪 声去除标志，生成水平滤波器106的控制信号110、 2D滤波器107 的控制信号111以及选择器108的选择信号112。滤波器控制器 0 5对于待滤波的区域执行噪声去除滤波处理。稍后将参考图6 的流程图说明步骤S202中的处理。在步骤S103,噪声去除标志 计算器103基于存储在边缘强度映像存储器102中的当前帧的边 缘强度数据，生成当前帧的噪声去除标志映像。由于随后的处 理与图2中的处理相同，因而省略对其的:^兌明。图4A 4C示出了说明根据该典型实施例的边缘强度映像 存储器10 2和噪声去除标志映像存储器10 4的数据结构的图。图4A示出了存储强度数据或噪声去除标志的边缘强度映 像存储器102和噪声去除标志映像存储器104的 一帧的存储区， 附图标记400表示与一个块相对应的数据区。图4B示出了存储 在边缘强度映像存储器102的数据区400中的数据结构。该区域 存储 一 对由水平边缘强度测量仪器10 0测量的水平边缘强度数 据和由垂直边缘强度测量仪器101测量的垂直边缘强度数据。图 4 C示出了存储噪声去除标志以及扩展块(将在稍后说明)的边缘 强度数据和作为扩展源的块的边缘强度数据之间的差值的区 域，其中，该噪声去除标志被存储在噪声去除标志映像存储器 104中，且表示感兴趣的块是否是滤波块。注意，仅针对扩展块(将在稍后说明)存储该差值。图5是说明图2和图3的步骤S10 3中的噪声去除标志映像的生成处理的流程图。在步骤S300 ,噪声去除标志计算器103读出存储在边缘强 度映像存储器102中的、当前帧的各块的水平边缘强度数据和垂 直边缘强度数据，并将这些数据相加。计算器103将该和定义为 当前帧的各块的边缘强度数据。在步骤S301，计算器103提取 当前帧中边缘强度等于或高于当前帧的各块的测量并存储的边 缘强度数据的阈值EP1 (较大的边缘强度数据)的块。计算器103 将与所提取的块相对应的、噪声去除标志映像存储器104中的块 的噪声去除标志设置为ON。在步骤S302,计算器103计算所提 取的块周围(相邻)8个块的边缘强度。在步骤S303,计算器103 获得边缘强度等于或低于阈值EP2(EP2 < EP1)(较小的边缘强 度数据)的块，并将这些块确定为包括在步骤S301提取的具有高 边缘强度的块的扩展块。在步骤S304,计算器103将通过该处 理所获得的扩展块的噪声去除标志设置为0 N ，并将其它块的 0 F F噪声去除标志存储在噪声去除标志映像存储器10 4中。对于 扩展块，计算器103存储扩展块的边缘强度数据(其边缘强度低 (￡EP2))与作为原始块的块(其边缘强度高(^EP 1))的边缘强度数 据之间的差值(参见图4C)。图6是说明图3的流程图的步骤S202中的滤波器控制处理 (控制信号110和111以及选择信号112的生成处理)的流程图。该标志的块。在步骤S300,如图5的步骤S300中那样，滤波器控制器105 将存储在边缘强度映像存储器102中的、当前帧的各块的水平边 缘强度数据和垂直边缘强度数据相加，以便计算当前帧的该块的边缘强度数据。在步骤S401,控制器105读出存储在边缘强度映像存储器102的另 一存储体中的、紧挨着的前一 帧的相应块的水平边缘强度数据和垂直边缘强度数据，并将这些数据相加 以计算紧挨着的前 一 帧的该块的边缘强度数据。然后处理进入步骤S402，控制器105对各块计算在步骤S300计算出的当前帧 的块的边缘强度数据与在步骤S401计算出的紧挨着的前 一 帧 的块的边缘强度数据之间的差。结果，控制器105判断该差值 K紧挨着的前一帧的边缘强度数据)-(当前帧的边缘强度数据)} 的绝对值是否等于或小于阈值TH1 。如果该差值等于或小于阈 值THl,则控制器105判断出该块是滤波块，并且处理进入步骤 S403。否则，控制器105判断出该块不需要任何滤波处理，并 且处理进入步骤S405。在步骤S405,控制器105控制选一奪器108 使用选择信号112选择并输出输入图像的块(跳过滤波处理)。注 意，该阈值TH1用于排除对包括水平边缘和/或垂直边缘也包括 例如细网4各的块进行滤波处理。在对于步骤S402中被判断为滤波块的块进行的步骤S403 的处理中，滤波器控制器105从当前帧的该块的垂直边缘强度数 据减去水平边缘强度数据，并判断该差值是否等于或小于阔值 TH2，以选择滤波器的类型。如果该差值等于或小于阈值 TH2(TH2<TH1),则由于水平方向和垂直方向之间的边缘强度 差小，处理进入步骤S406，并且控制器105输出用于执行2D滤 波器107的控制信号111和用于选择2D滤波器107的输出的选择 信号112。另一方面，如果在步骤S403中该差值大于阈值TH2， 则由于垂直边缘更强，处理进入步骤S404,并且控制器105输 出用于执行水平滤波器106的控制信号110和用于选择水平滤波 器106的输出的选择信号112。该阈值TH2是用于排除对隔行数 据所特有的水平方向上的噪声进行滤波处理的值。这样，在步骤S202(图3),水平滤波器106和2D滤波器107 基于边缘强度差值对强度执行滤波处理，且选择器108选择并输 出滤波结果。图7示出了说明紧挨着的前 一 帧的边缘区域的实际扩展示 例和直到确定了当前帧的滤波块为止的处理示例的图。注意， 在图7中，各格对应于上述块。在紧挨着的前一帧700中，选择边缘强度数据大于阈值EP1 的块710(图5中的步骤S301)。向具有等于或小于阈值EP2的非常 小的边缘强度数据的块711扩展由这些块710所形成的区域(在 S303中确定)。在随后的处理中将这些块确定为滤波块。在图7 的示例中，紧^矣着的前一帧700中以粗线表示的块712形成了扩 展区域。计算紧挨着的前一帧700的各块的边缘强度数据与当前帧 701的块的边缘强度数据之间的差值。如果该差值等于或小于阈 值TII1(S402),则将该块确定为滤波块。另一方面，如果该差 值大于阈值THl,即，边缘强度高，则从滤波块中排除该块 (S405)。在图7的示例中，由于包括在扩展区域中的块712的当前帧 701中以粗线表示的块714在当前帧中具有更高的噪声强度，因 而从滤波块中排除这些块714。因此，在图7的示例中，最终将 块712确定为滤波块。图10是示出实现根据本发明的典型实施例的图像处理设备 的计算机的硬件结构的框图。CPU IOOO控制整个计算机(图像处理设备)，并执行各种处 理。存储器1001存储操作系统(OS)、软件(用于实现上述流程图 的程序)和控制该计算机所需的数据，并提供算术运算等处理所 需的存储区。该存储器1001还用作当CPU IOOO执行各种处理时的工作区。系统总线1002连接CPU IOOO和各单元以交换数据和 控制信号。存储单元1003包括例如存储上述流程图的程序等各 种类型的软件的大容量硬盘等。存储单元10 0 4是存储运动图像 数据的存储单元(硬盘、MO、 CD或DVD等)。监视器(显示单 元)1005显示图像和来自计算机的系统消息等。通信接口 (1/F)1007是将编码数据传输到通信线路1008的通 信接口，并与该设备外部的LAN、公共线路、无线线路或广播 波等连接。终端1006用于启动该计算机和设置各种条件。确保 存储器1001具有存储用于控制整个计算机和启动各种软件的 OS等的软件以及待启动的软件、并装载图像数据的区域；以及 存储各种算术运算的参数等的工作区。在上述结构中，在处理前，用户通过从存储在存储单元1004 中的运动图像数据中选择待编码的运动图像数据，使用终端 1006来指示启动该计算才几。响应于该指示，通过系统总线1002 在存储器1001的程序存储区上展开存储在存储单元1003中的程 序，并且启动所展开的程序。当CPU IOOO开始对存储在存储单元1004中的运动图像数 据进行编码处理时，执行根据图2、 3、 5、 6和12所示的流程图 的程序代码。如上所述，根据该实施例的计算机用作实现根据第 一 实施 例以及稍后将说明的第二实施例~第四实施例的噪声去除的设备。第一实施例的其它结构在第一实施例中，定义待处理的块的大小为4x4像素，但 是也可以使用8x4、 4x8和8x8等其它大小。边缘强度测量仪器100和101的处理使用图8A和图8B所示 的Sobel滤波器，但是也可以使用其它微分滤波器。水平滤波器106和2D滤波器107使用图9A和图9B所示的算 子，但是也可以使用其它算子。此外，帧存储器存储帧图像。可选地，可以使用存储场图 像(field image)的场存储器。噪声去除标志计算器103中的阈值EP1和EP2不必是固定 的，而可以针对各帧设置得不同。如上所述，根据第一实施例，在包括隔行信号的运动图像 编码设备及其方法中，可以充分地检测图像数据中产生蚊式噪 声等的编码噪声的部分。由于自适应地切换水平滤波器和2D滤 波器，因而可以在维持隔行信号的状态的同时实施噪声去除处 理。第二实施例图1 l是示出根据本发明的第二实施例的图像处理设备的主 要部分的结构的框图。第二实施例将图像数据的控制单位定义 为被称为对象块的4x4像素的块。注意，图ll中相同的附图标 记表示与根据上述第一实施例的图l中的部件相同的部件，并且 不再重复对其的说明。e滤波器200响应于来自滤波器控制器105的控制信号210, 执行s滤波处理。图13示出了说明该s滤波处理的图。该滤波处理计算中心像素的像素值f(x，y)与中心像素的相 邻^象素的^f象素^f直f(x+i，y+j)(i，j =-M，...， 0， 1，…，M)之间的差值。 如果该差值的绝对值大于s，则以中心像素的像素值代替相邻像 素的像素值，以实现平滑处理。结果，由图13所示的等式求得 的g(x,y)可以保护边缘分量，并且可以平滑和抑制作为噪声的小 振幅的更高谐波。注意，M是指定s滤波器的像素范围的值，并 且通常为"1"或"2"(第二实施例中为"l")。另外，sO是指定滤波器值的范围的值(将被平滑的程度)。S0假定为小于所保持边缘 的程度差的值，并且通常为"10"或更小，在第二实施例中为"5"。 对于该S滤波处理的详细情况请参考以下的参考文献1 。(参考文南史1: Hiroshi Harashima et. al.， "s-separadng nonlinear digital filter and its application", The Institute of Electronics, Information and Communication Engineers, Sho57-146 [A-36]， April 1982)选择器108a响应于来自滤波器控制器105的选择信号211, 选择s滤波器2 0 0的输出或未滤波信号(输入块的色差信号)。根据第二典型实施例的设备的操作几乎与第一典型实施例 的设备的操作相同。因此，以下将参考图12的流程图说明作为 不同部分的s滤波器200和选择器108a的控制方法。图12是说明根据第二典型实施例的与图3的流程图的步骤 S202相对应的滤波器控制处理(控制信号210和选择信号211的 生成处理)的流程图。注意，图12中相同的步骤编号表示与上述 图6相同的步骤。该处理中所处理的对象是具有上述ON噪声去 除标志的块。在步骤S 3 0 0,滤波器控制器10 5读出存储在边缘强度映像 存储器102中的、当前帧的各块的水平边缘强度数据和垂直边缘 强度数据，并将它们相加以计算当前帧的各块的边缘强度数据。 在步骤S401,控制器105读出存储在边缘强度映像存储器102中 的、紧挨着的前一帧的相应块的水平边缘强度数据和垂直边缘 强度数据，并将它们相加以计算紧挨着的前一 帧的该块的边缘 强度数据。另外，在步骤S401中，控制器105读出存储在边缘 强度映像存储器10 2的另 一 存储体中的、紧挨着的前 一 帧的相应块的水平边缘强度数据和垂直边缘强度数据，并将它们相加以 计算紧挨着的前 一 帧的该块的边缘强度数据。在步骤S 4 02 ,滤波器控制器1 0 5计算所计算出的紧挨着的 前 一 帧的各块的边缘强度数据与当前帧的相应块的边缘强度数 据之间的差值{(紧挨着的前一帧的块的边缘强度数据)-(当前帧的块的边缘强度数据)}。控制器105在步骤S402中判断该差值 等于或小于阈值TH1的块，控制器105将该块确定为滤波块，然 后，处理进入步骤S500。在步骤S500,控制器105生成用来控 制c滤波器200执行滤波处理的控制信号210。然后，控制器105 生成选择信号211以切换选择器108a选择s滤波器200的输出，并 输出来自s滤波器200的输出。如果在步骤S402中判断出该差值 不是等于或小于阈值TH1，则处理进入步骤S501，并且控制器 105生成选择信号211以切换选择器108a选择并输出输入块的图 像数据。在第二典型实施例中，由于紧挨着的前一帧的边缘区域的 实际扩展示例和直到确定了当前帧的滤波块为止的处理与第一 典型实施例中的相同，因而不再重复对其的说明。第二实施例的其它结构在第二典型实施例中，定义待处理的块的大小为4x4像素， 但是也可以使用8x4、 4x8和8x8等其它大小。边缘强度测量仪器100和101的处理-使用图8A和图8B所示 的Sobel滤波器，但是也可以使用其它微分滤波器。代替s滤波器，可以使用其它边缘保持滤波器。帧存储器存储帧图像。可选地，可以使用存储场图像的场 存储器。噪声去除标志计算器103中的阔值EP1和EP2可以不是固定 的，而可以针对各帧设置得不同。如上所述，根据第二典型实施例，在包括隔行信号的运动 图像编码设备及其方法中，可以充分地检测图像数据中产生蚊式噪声等的编码噪声的部分。由于使用边缘保持滤波器，因而 可以在维持隔行信号的状态的同时实施噪声去除处理。 第三实施例图14是示出根据本发明的第三典型实施例的图像处理设备 的主要部分的结构的框图。注意，第三实施例将图像的亮度信号的8x8像素大小和其色差信号的4x4像素大小定义为图像数据的处理单位，该单位被称为对象块。参考图14,水平边缘强度测量仪器10 0接收图像的亮度信号 的一个块，并测量该块的水平边缘强度。垂直边缘强度测量仪 器101接收该图像的亮度信号的一个块，并测量该块的垂直边缘 强度。该实施例通过S o b e 1滤波器的累积值表示作为处理单位的 块的各像素的边缘强度。第三实施例中所使用的Sobel滤波器的 算子与图8A和8B中的算子相同。边缘强度映像存储器(边缘强度存储单元)102接收由水平 边缘强度测量仪器10 0和垂直边缘强度测量仪器101所测量的水 平边缘强度数据和垂直边缘强度数据，并存储 一 帧的各块的水 平边缘强度数据和垂直边缘强度数据。注意，该边缘强度映像 存储器102具有2存储体结构，从而可以将当前帧的边缘强度数 据存储在一个存储体中，同时可以从另 一存储体读出所存储的 紧挨着的前 一 帧的边缘强度数据。针对各帧的处理来切换存储 体。噪声去除标志计算器103基于存储在边缘强度映像存储器 10 2中的各块的边缘强度数据，计算表示感兴趣的块是否为滤波 块的噪声去除标志(指定信息)。噪声去除标志映像存储器104存 储由噪声去除标志计算器103所计算出的仅一 帧的各块的噪声 去除标志。注意，噪声去除标志映像存储器104同样具有2存储 体结构，从而可以将噪声去除标志存储在一个存储体中，同时 可以从另 一存储体读出所存储的紧挨着的前一帧的噪声去除标志。针对各帧的处理来切换存储体。滤波器控制器1 0 5基于当前帧的各块的水平边缘强度数据 和垂直边缘强度数据、以及紧挨着的前一 帧的相应块的边缘强度数据和噪声去除标志，来控制是否应用2 D滤波器12 0 (将在稍后说明)。注意，当前帧的各块的水平边缘强度数据和垂直边缘强度数据是分别由水平边缘强度测量仪器ioo和垂直边缘强度测量仪器101所测量的结果。从边缘强度映像存储器102读出紧 挨着的前 一 帧的各块的边缘强度数据，并且从噪声去除标志映 像存储器10 4读出紧挨着的前 一 帧的各块的噪声去除标志。2D滤波器120响应于来自滤波器控制器105的控制信号 121，接收待处理的色差信号的块，并执行帧内二维(以下简称 为2D)滤波处理。注意，第三实施例使用s滤波器作为2D滤波器120。 通过上述图13所示的等式表示该s滤波处理。 选择器108b响应于来自滤波器控制器105的选择信号112, 选择2I)滤波器120的输出或未滤波信号(输入块的色差信号)。具有上述结构的设备中用于生成水平边缘强度数据和垂直 边缘强度数据的操作和噪声去除标志映像的生成处理与图2、 3 和5所示的流程图的相同。图16是说明与图3的流程图的步骤S202相对应的、根据第 三实施例的滤波器控制处理(控制信号121和选择信号112的生 成处理)的流程图。注意，图16中相同的步骤编号表示与上述图 6相同的步骤。该处理中所处理的对象是具有上述ON噪声去除 标志的块。在步骤S300,如上述图6的步骤S300中那样，滤波器控制 器10 5将存储在边缘强度映像存储器10 2中的、当前帧的各块的 水平边缘强度数据和垂直边缘强度数据相加，以计算当前帧的各块的边缘强度数据。在步骤S401,控制器105读出存储在边缘强度映像存储器102的另 一存储体中的、紧挨着的前一帧的相应块的水平边缘强度数据和垂直边缘强度数据，并将它们相加 以计算紧挨着的前 一 帧的该块的边缘强度数据。处理进入步骤S502以计算在步骤S300中计算出的当前帧的各块的边缘强度 数据与在步骤S401中计算出的紧挨着的前一帧的相应块的边 缘强度数据之间的差。结果，控制器105判断该差值U紧挨着的 前 一 帧的边缘强度数据)-(当前帧的边缘强度数据)}的绝对值 是否等于或小于阈值TH1。如果在步骤S502中判断出该绝对值 等于或小于阈值THl,则控制器105判断出该块为滤波块，并且 处理进入步骤S503;否则，控制器105判断出不需要滤波处理， 并且处理进入步骤S505。在步骤S505,控制器105使用选才奪信 号112控制选择器108b照原样输出输入图像的块。注意，该阔值 TH1用来排除对包括水平边缘和/或垂直边缘也包括例如细网 格的块进行滤波处理。在对于滤波块进行的步骤S503的处理中，滤波器控制器 105从当前帧的该块的垂直边缘强度数据减去水平边缘强度数 据，并判断该差值是否等于或小于阈值TH2。如果该差值等于 或小于阈值TH2(TH2<TH1),则由于水平方向与垂直方向之间 的边缘强度差小，因而处理进入步骤S504,并且控制器105生 成用于执行2D滤波器120的控制信号121;否则，由于垂直边缘 较强，因而处理进入步骤S505,并且控制器105生成选择信号 112，以控制选择器108b跳过2D滤波器120的滤波处理而选择输 入块的图像信号。该阈值T H 2是用于排除对隔行数据特有的水 平方向上的噪声进行滤波处理的值。图15示出了说明紧挨着的前一帧的边缘区域的实际扩展示 例和直到确定了当前帧的滤波块为止的处理示例的图。注意，在图15中，各格与上述块相对应。在紧挨着的前一帧700中，选择具有大于阈值EP1的边缘强 度数据的块710(S301)。向具有等于或小于阈值EP2的非常小的 边缘强度数据的块711扩展由这些块710所形成的区域(S303)。 在随后的处理中将这些块确定为滤波块(S304)。在图15的示例 中，紧挨着的前一帧700中由粗线所表示的块712形成了扩展区 域(扩展块)。计算紧挨着的前一帧700的各块的边缘强度数据与当前帧 7 01的块的边缘强度数据之间的差值。如果该差值等于或小于阈 值TH1 (S502),或者如果当前帧701的块的边缘强度数据变得等 于或大于阈值EP1(S301),则判断出该块形成滤波块区域。否则， 从滤波块中排除该块。在图15的当前帧701中，附图标记714表 示当前帧701中由于具有等于或小于阈值EP1的边缘强度数据 而从滤波块排除的块。另外，附图标记715表示由于边缘强度数 据等于或大于阈值E P1而从扩展块改变为滤波块的块。如上所述，根据第三实施例，可以充分地4全测图像数据中 产生蚊式噪声等的编码噪声的部分。另外，可以仅对噪声包含 部分(滤波块)实施噪声去除处理，同时保持原始图像的紋理数 据。其它实施例已详细说明了本发明的实施例。本发明可应用于由多个装 置构成的系统或者由单个装置组成的设备。注意，还可以通过向系统或设备直接或远程提供实现上述 实施例的功能的软件的程序，并通过该系统或设备的计算机读 出并执行所提供的程序代码，来实现本发明。在这种情况下， 程序的形式没有特别限制，只要其具有程序功能即可。因此，安装在计算机中用以使用计算机实现本发明的功能处理的程序代码本身实现了本发明。即，本发明的权利要求包 括用于实现本发明的功能处理的计算机程序本身。在这种情况 下，程序的形式没有特别限制，并且，可以使用目标代码、由 解释程序执行的程序以及向OS提供的脚本数据等，只要它们具 有程序功能即可。
作为用于提供程序的记录介质，可以使用各种介质，例如
软(floppy⑧)盘、硬盘、光盘、磁光盘、MO、 CD-ROM、 CD-R、 CD-RW、磁带、非易失性存储卡、ROM、以及DVD(DVD-ROM 和DVD-R)等。
作为另 一程序提供方法，可以通过使用客户计算机上的浏 览器建立与因特网上的主页面的连接，并将程序从主页面下载 到硬盘等记录介质，来提供该程序。在这种情况下，要下载的 程序可以是本发明的计算机程序本身，或者是包括自动安装功 能的压缩文件。此外，可以将构成本发明的程序的程序代码分 成可从不同主页面下载的多个文件。即，本发明的权利要求包 括使多个用户下载通过计算机实现本发明的功能处理所需的程
序文件的www服务
另外，可以将存储本发明的加密程序的CD-ROM等存储介 质分发给用户。在这种情况下，可以允许满足预定条件的用户 通过因特网从主页面下载解密加密程序的密钥信息，从而使用 该密钥信息以可执行形式将加密程序安装在计算机中。
可以通过除利用计算机执行读出的程序代码以外的模式来 实现上述实施例的功能。例如，运行在计算机上的OS等可以基 于该程序的指令执行一 些或全部的实际处理，从而实现上述实 施例的功能。
此外，可以将从记录介质读出的程序写入到插入计算机的 功能扩展板或与计算机连接的功能扩展单元上所配备的存储器中。在这种情况下，在将该程序写入存储器后，配备在该功能 扩展板或单元上的CPU等基于该程序的指令执行一些或全部的 实际处理，从而实现上述实施例的功能。
尽管参考典型实施例说明了本发明，但是应该理解，本发 明不局限于所公开的典型实施例。所附权利要求书的范围符合
最宽的解释，以包含所有这类修改、等同结构和功能。
权利要求
1.一种图像处理设备，包括测量部件，用于通过将图像划分为多个块并测量各块中的图像的边缘来获取边缘强度信息；存储部件，用于存储至少一帧的各块的所述边缘强度信息；确定部件，用于基于所述存储部件所存储的各块的所述边缘强度信息来确定待滤波的块；以及控制部件，用于基于由所述测量部件获取的图像的当前帧中的第一块的边缘强度信息以及存储在所述存储部件中的紧挨着所述当前帧的前一帧中与所述第一块相对应的第二块的边缘强度信息，判断是否对所述当前帧的所述第一块进行滤波处理，其中所述第一块由所述确定部件确定为所述待滤波的块。
2. 根据权利要求l所述的图像处理设备，其特征在于，还 包括滤波部件，所述滤波部件用于对由所述控制部件判断为进 行滤波处理的所述第 一 块进行所述滤波处理。
3. 根据权利要求l所述的图像处理设备，其特征在于，所度信息相加来计算各块的边缘强度，并确定如下指定信息，所 述指定信息用于指定计算出的边缘强度大于第一阈值的第三块 以及与所述第三块相邻且边缘强度小于所述第三块的边缘强度 的块，其中所述边缘强度小于所述第三块的边缘强度的量不小 于比所述第 一 阈值小的第二阔值。
4. 根据权利要求l所述的图像处理设备，其特征在于，所 述控制部件包括相加来计算紧挨着的所述前一 帧的各块的边缘强度的部件；以 及通过将各块的由所述测量部件所测量的所述当前帧的所述边缘强度信息相加来计算所述当前帧的各块的边缘强度的部件，其中，所述控制部件基于紧挨着的所述前一帧的所述第二 块和所述当前帧的所述第 一块的边缘强度，判断是否对图像的 所述当前帧的所述第 一块进行所述滤波处理。
5. 根据权利要求l所述的图像处理设备，其特征在于，由 多个存储体来配置所述存储部件，其中，针对各帧的图像处理来切换所述多个存储体。
6. 根据权利要求l所述的图像处理设备，其特征在于，所 述测量部件观'J量所述块的水平边缘和垂直边缘。
7. —种图像处理设备，包括测量部件，用于通过将图像划分为多个块并测量各块中的 图像的边缘来获取边缘强度信息；以及控制部件，用于基于由所述测量部件所获取的图像的当前 帧的各块的边缘强度信息和紧挨着所述当前帧的前 一 帧的相应 块的边缘强度信息，判断是否对所述当前帧的各块进行滤波处 理。
8. —种图像处理方法，包括以下步骤获取步骤，用于通过将图像划分为多个块并测量各块中的 图像的边缘来获取边缘强度信息；存储步骤，用于将至少一帧的各块的所述边缘强度信息存 储在存储器中；确定步骤，用于基于存储在所述存储器中的所述各块的所 述边缘强度信息来确定待滤波的块；以及判断步骤，用于基于在所述获取步骤中获取的图像的当前 帧中的第 一块的边缘强度信息以及存储在所述存储器中的紧挨 着所述当前帧的前 一 帧中与所述第 一块相对应的第二块的边缘强度信息，判断是否对所述当前帧的所述第 一 块进行滤波处理， 其中所述第 一 块在所述确定步骤中确定为所述待滤波的块。
全文摘要
本发明提供一种图像处理设备及其方法。对图像亮度信号的各块的水平边缘和垂直边缘的强度进行测量，并将一帧的各块的水平边缘强度数据和垂直边缘强度数据存储在边缘强度映像存储器中。基于边缘强度数据计算用于指定滤波块的噪声去除标志，并将噪声去除标志存储在噪声去除标志映像存储器中。滤波器控制器基于图像当前帧的各块的水平边缘强度数据和垂直边缘强度数据以及紧挨着的前一帧的相应块的水平边缘强度数据和垂直边缘强度数据，控制是否对当前帧的由噪声去除标志所指定的块进行滤波处理。
文档编号H04N7/64GK101232573SQ20081000426
公开日2008年7月30日 申请日期2008年1月24日 优先权日2007年1月24日
发明者大平正 申请人:佳能株式会社