专利名称：图像处理设备和图像处理方法
技术领域：
本公开涉及图像处理设备和图像处理方法，具体而言涉及用于在适当降低噪声量的情况下显示位于划分画面(divided screen)之间的边界附近的像素的图像处理设备和图像处理方法。
背景技术：
表示视频图像的视频信号包含以帧为基础重复的类似图像信息，并且相邻的帧彼此有非常强烈的相关性。另一方面，由于视频信号并不与编码失真或噪声分量相关，因此沿着时间轴以帧为基础对视频信号取平均对信号分量影响很小而是仅仅降低了失真和噪声分量的量，从而可以降低失真和噪声量。作为使用上述视频信号特性的降噪设备，已经提议了一种运动检测、帧循环型降噪设备(例如参见JP-A-2004-88234)。相关技术的降噪设备检测运动向量，基于运动向量确定运动分量，根据图像中的运动分量改变循环系数(circulating coefficient)，并基于循环系数对当前帧中的像素和在前帧中的相应像素执行加权平均以产生输出视频信号。在上述配置中，对经历了运动补偿的相应像素累加地执行加权平均，从而可以在不产生余象(afterimage)的情况下降低噪声量。近年来，数字电影院、家庭影院以及下一代TV的趋势和其他情形已促使制造商引入了具有4ΚΧ^(或更高的分辨率的显示器。例如，一般需要能够支持比过去更高分辨率的图像的画面划分和其他技术。为了利用相关技术的运动检测、帧循环型降噪设备提供这种先进系统，使用了滤波器LSI (大规模集成电路)和存储器。
发明内容
当利用相关技术的方法执行画面划分时，例如当一平面图像被划分为多个画面时，在与预定划分画面相关联的处理中获得的结果对于显示另一划分画面是必要的。相关技术的硬件配置一般不能将在与预定划分画面相关联的处理中获得的结果传送到另一划分画面，从而导致某些情况下图像质量的下降。从而，希望以适当降低的噪声量显示位于划分画面之间的边界附近的像素。本公开的实施例涉及一种图像处理设备，包括n个输入接收装置，用于接收表示要作为视频图像显示在η个划分画面上的视频图像的图像的输入图像信号，该η个划分画面是通过将显示器的画面划分为具有相同像素数的η个区域而获得的；η个累加加权平均装置，用于确定(identfy)显示在与通过η个输入接收装置输入的图像信号相对应的η个划分画面上的一帧长度的图像中具有相同的相对位置的要处理的像素，并且每当帧改变时对要处理的像素累加地执行加权平均；η个存储器，该η个存储器存储显示在η个划分画面上并经历了累加加权平均的一帧长度的图像的像素；以及访问切换装置，用于基于从η个累加加权平均装置中的一个输出的控制信号来切换被η个累加加权平均装置访问的存储器。
每个累加加权平均装置可以提取由要处理的像素和其周围的多个像素形成的要处理的块，从η个存储器中的相应一个存储器中读取紧邻在包含要处理的像素的帧之前的帧的图像中的像素(这些像素包含在围绕与要处理的像素具有相同坐标的像素的预定区域中)，基于从存储器读取的像素提取多个比较块(每个比较块由与要处理的块具有相同数目的像素形成)，基于要处理的块和比较块之间的类似度(similarity)确定在紧邻在前的帧的图像中与要处理的像素相对应的像素，以及基于循环系数对要处理的像素的值和在紧邻在前的帧的图像中与要处理的像素相对应的像素的值执行加权平均。当在与显示包含要处理的像素的图像的划分画面不同的划分画面上显示的图像的像素被读取作为用在比较块中的像素时，η个累加加权平均装置中的至少一个可以输出控制信号，该控制信号用于确定存储显示在该不同的划分画面上的像素的存储器。当要处理的像素位于距离与显示要处理的像素的矩形划分画面的一条边相对应的边界的预定距离内时，显示在与显示包含要处理的像素的图像的划分画面不同的划分画面上的图像的像素可以被读取作为用在比较块中的像素，并且控制信号可以被以表示与边界相邻的该不同划分画面上的位置的坐标的形式输出。当不存在与边界相邻的划分画面时，访问切换装置可以向累加加权平均装置提供 ^.TtMM (dummy data)。η个累加加权平均装置中的每一个可以是以LSI的形式配置的。本公开的实施例还涉及一种图像处理方法，包括通过η个输入接收装置接收输入图像信号，输入图像信号表示要被作为视频图像显示在η个划分画面上的图像，该η个划分画面是通过将显示器的画面划分为具有相同像素数的η个区域而获得的；确定在与通过η个输入接收装置输入的图像信号相对应的η个划分画面上显示的一帧长度的图像中具有相同的相对位置的要处理的像素，并且每当帧改变时对要处理的像素累加地执行加权平均，要处理的像素的确定和加权平均是由η个累加加权平均装置执行的；以及在η个存储器中存储显示在η个划分画面上并经历了累加加权平均的一帧长度的图像的像素，其中被 η个累加加权平均装置访问的存储器基于从η个累加加权平均装置中的一个输出的控制信号而被切换。在本公开的实施例中，接收输入图像信号，输入图像信号表示要被显示为η个划分画面上的视频图像的图像，该η个划分画面是通过将显示器的画面划分为具有相同像素数的η个区域而获得的。确定在与输入图像信号相对应的η个划分画面上显示的一帧长度的图像中具有相同的相对位置的要处理的像素，并且每当帧改变时对要处理的像素累加地执行加权平均。在η个存储器中存储显示在η个划分画面上并经历了累加加权平均的一帧长度的图像的像素。基于从η个累加加权平均装置中的一个输出的控制信号来切换被η个累加加权平均装置访问的存储器。本公开的另一个实施例涉及一种图像处理设备，包括η个输入接收装置，用于接收表示要被显示为η个划分画面上的视频图像的图像的输入图像信号，该η个划分画面是通过将显示器的画面划分为具有相同像素数的η个区域而获得的；11个累加求和装置，用于确定显示在与通过η个输入接收装置输入的图像信号相对应的η个划分画面上的一帧长度的图像中的具有相同的相对位置的要处理的像素，并且每当帧改变时对要处理的像素的特征值(characteristic value)累加地求和；η个存储器，该η个存储器存储显示在η个划分画面上并经历了累加求和的一帧长度的图像的像素的特征值；以及访问切换装置，用于基于从η个累加求和装置中的一个输出的控制信号来切换被η个累加求和装置访问的存储器。在本公开的该实施例中，接收输入图像信号，输入图像信号表示要被显示为η个划分画面上的视频图像的图像，该η个划分画面是通过将显示器的画面划分为具有相同像素数的η个区域而获得的。确定显示在与输入图像信号相对应的η个划分画面上的一帧长度的图像中的具有相同的相对位置的要处理的像素，并且每当帧改变时对要处理的像素的特征值累加地求和。在η个存储器中存储显示在η个划分画面上并经历了累加求和的一帧长度的图像的像素的特征值。基于从η个累加求和装置中的一个输出的控制信号来切换被 η个累加求和装置访问的存储器。根据本公开的实施例，可以以适当降低的噪声量显示位于划分画面之间的边界附近的像素。
图1是示出UR滤波器的配置示例的框图；图2是示出以LSI的形式配置的IIR滤波器的配置示例的框图；图3示出了显示4KXI分辨率的图像的画面被划分为划分画面1至4的示例；图4是示出相关技术的并行降噪设备的配置示例的框图；图5描述了在显示器的画面被划分为四块并且对划分画面中的每一个执行降噪时发生的问题；图6是示出根据本公开一个实施例的并行降噪设备的配置示例的框图；图7是示出图6中所示的IIR滤波器LSI共同采用的配置示例的框图；图8描述了扩展地址(extended address)控制信号；图9是用于描述降噪的流程图；图10示出了显示4KXI分辨率的图像的画面被划分为划分画面1至4的另一示例；以及图11示出了显示4KXI分辨率的图像的画面被划分为划分画面1至4的又一示例。
具体实施例方式下面将参考附图描述本公开的实施例。首先将描述相关技术的帧循环型降噪设备。例如，表示视频图像的视频信号(图像信号)包含以帧为基础重复的类似图像信息，并且相邻的帧彼此有非常强烈的相关性。 另一方面，由于视频信号并不与编码失真或噪声分量相关，因此沿着时间轴以帧为基础对视频信号取平均对信号分量影响很小而是仅仅降低了失真和噪声分量的量，从而可以降低失真和噪声量。帧循环型降噪设备(也称为IIR(无限冲击响应)滤波器)是一种使用上述图像信号特性来降低噪声量的设备。图1是示出UR滤波器的配置示例的框图。在图1中，UR滤波器10包括乘法器 21、加法器22、乘法器23、循环系数控制器对、运动向量检测器25和帧存储器26。
UR滤波器10被配置为通过对输入的图像信号中包含的每个像素的像素值累加地执行加权平均来降低噪声量。以数字信号的形式输入到UR滤波器10的图像信号被以像素为基础的数据形式提供给乘法器21，并被乘以由(I-K)表达的系数。系数K是循环系数并且满足1。 循环系数控制器M确定循环系数K的值，这将在后面描述。经历了由乘法器21执行的处理的像素值数据被提供给加法器22，加法器22将所提供的数据加到经历了由乘法器23执行的处理的像素值数据。乘法器23被配置为将从帧存储器沈输出的像素值数据乘以循环系数K。帧存储器沈存储表示紧邻在前的帧的图像并且经历了由乘法器21和加法器22 执行的处理的图像信号中包含的像素值数据。即，帧存储器26存储关于要从UR滤波器10 输出的紧邻在前的帧的数据。帧存储器沈被配置为读取关于具有由运动向量检测器25检测出的运动向量所标识的坐标的像素的像素值数据，并将读取的像素值数据提供给乘法器23。运动向量检测器25计算例如两个块之间的差异的绝对值的总和，其中一个块由与一帧相对应的输入图像信号中包含的要处理的像素和其周围的多个像素形成，另一个块由表示紧邻在前的帧的图像并存储在帧存储器26中的图像信号中包含的多个像素形成。 即，运动向量检测器25被配置为例如执行所谓的块匹配。在块匹配中，包含感兴趣像素(要处理的像素)的块和多个块(这多个块中的每个块由紧邻在前的帧的图像中包含的多个像素形成)中的每一个之间的差异的绝对值的总和被计算，并且示出最小的绝对差值总和的块被指派为最类似的块。例如，预定的搜索区域被设置在紧邻在前的帧的图像中，使得该搜索区域的中心是与感兴趣像素具有相同坐标的像素，并且搜索区域中的像素被用于提取出各自由相同数目的像素形成的多个块，作为包含感兴趣像素的块。运动向量检测器25例如通过执行块匹配确定出与包含正处理的像素的块最类似的块，来确定与正处理的像素相关联的运动向量。当如上所述确定出运动向量时，紧邻在前的帧中包含的像素(该像素对应于当前正由乘法器21处理的像素(正处理的像素))的坐标被确定出来。这样，帧存储器^U卖取关于紧邻在前的帧中包含的、与正处理的像素相对应的像素的像素值数据，并将所读取的像素值数据提供给乘法器23。加法器22随后将通过将关于正处理的像素的像素值数据乘以(I-K)而获得的值加到通过将关于紧邻在前的帧中的像素的像素值数据乘以K而获得的值，如上所述。这样就基于紧邻在前的帧中的相应像素的像素值和循环系数K对正处理的像素的像素值执行了加权平均。循环系数控制器M被配置为基于运动向量的精度确定循环系数K。运动向量检测器25被配置为输出表示在块匹配中获得的块之间的最小绝对差值总和的残余分量 (residual component)。当残余分量具有较小值时，运动向量的精度较高。当运动向量是精确的时(当残余分量具有小值时)，紧邻在前的帧中的相应像素可能已被精确确定。在这种情况下，循环系数控制器M增大循环系数K。结果，加权平均的执行使得紧邻在前的帧中的相应像素的像素值具有增大的权重。
当运动向量不是非常精确的时(当残余分量具有大值时)，紧邻在前的帧中的相应像素可能未被精确确定。在这种情况下，循环系数控制器M降低循环系数K。结果，加权平均的执行使得正处理的像素的像素值具有增大的权重。如上所述，在由UR滤波器执行的降噪中，对输入的图像信号中包含的每个像素的像素值累加地执行加权平均。即，利用紧邻在包含要处理的像素的图像之前的帧的图像中的像素的像素值、对要处理的像素的像素值执行加权平均，并且已对其执行了加权平均的像素的像素值被存储在帧存储器26中。当表示下一帧的图像信号被输入时，存储在帧存储器26中的像素值被读取作为与下一帧中要处理的像素相对应的像素的像素值。因而，以帧为基础对像素值累加地执行了加权平均。上述示例是结合以下情况描述的即，利用运动向量检测器25确定运动向量来执行运动补偿，并且对每个像素的像素值累加地执行加权平均。或者，可以不执行运动补偿。 即，无论图像是否运动，与要处理的像素具有相同坐标的像素都可以被确定作为紧邻在前的帧中的相应像素。图1中所示的IIR滤波器可以以LSI的形式配置。图2是示出以LSI形式配置的 UR滤波器的配置示例的框图。在该示例中，UR滤波器50由LSI 51和存储器52形成。图像信号通过IIR滤波器50的端子IN(输入)被输入，并且经历了降噪的图像信号通过UR 滤波器50的端子OUT (输出)被输出。图2中所示的存储器52对应于图1中所示的帧存储器26。S卩，存储器52被设在 LSI 51的外部，因为一般而言当电路以LSI的形式配置时，存储器不能被形成为LSI的一部分。因为存储器52被设在LSI 51的外部，所以LSI 51具有存储器I/F(接口)73。在图2所示的示例中，端子IN连接到存储器I/F 73。存储器I/F 73被配置为具有内置的缓冲器，该缓冲器可以保存例如关于在由运动向量检测器71执行的块匹配中使用的像素的像素值数据。图2中所示的运动向量检测器71对应于图1中所示的运动向量检测器25，并且计算部件72是执行与从图1中所示的乘法器21到循环系数控制器M的处理相对应的处理的功能块。在图2所示的示例中，端子OUT连接到计算部件72。近年来，在数字电影院、家庭影院和其他类似设备的领域中已开发出具有 4KXI(或更高)分辨率的显示器。4KXI的分辨率意味着布置在画面的水平方向上的像素数是41^4096)，布置在画面的垂直方向上的像素数是^^2048)。在这一类型的显示器中，也有必要降低噪声量。为此，可以想到使用结合图1所描述的UR滤波器来降低噪声量。然而，UR滤波器在许多情况下一般是以LSI的形式提供的，并且这种UR滤波器的处理能力最大仅能降低与具有大约IX IK(水平方向上I像素且垂直方向上IK像素)分辨率的图像相关联的噪声量。能够处理4KXI分辨率的图像的UR滤波器(如果这种UR滤波器可以被新开发的话)将是非常昂贵的，因为4KXI的分辨率具有大约四倍于IX IK的分辨率的每帧要处理的像素，并且在这种情况下需要能够以非常高的时钟速率操作的电路板或LSI。为了对4KXI分辨率的图像执行降噪，已提议了将画面划分为四块，例如如图3 所示，并对四个划分画面中的每一个执行降噪。在图3所示的示例中，显示4ΚΧ^(分辨率的图像的画面被划分为划分画面1至4。由于图3中所示的划分画面1至4中的每一个显示与IX IK分辨率的图像具有相同像素数的图像，因此LSI形式的典型HR滤波器可以用于降低噪声量。S卩，将单个画面划分为四个区域，并对各个区域并行且独立地执行降噪。图4是示出并行处理例如图3中所示的四个划分画面的相关技术的并行降噪设备 100的配置示例的框图。在图4所示的示例中，表示图3中所示的划分画面1的图像信号通过端子mi被输入，并且对每个像素的像素值累加地执行加权平均以进行降噪。表示已对其执行了降噪的划分画面1的图像信号通过端子OUTl被输出，并被显示作为能够显示4KXI分辨率的图像的显示器的划分画面1的图像。另外，表示图3中所示的划分画面2的图像信号通过端子IN2被输入，并且对在与上述划分画面1中的像素的位置相对应的位置处的像素的像素值累加地执行加权平均以进行降噪。表示已对其执行了降噪的划分画面2的图像信号与表示划分画面1的图像信号同步地通过端子0UT2被输出，并被显示作为能够显示4KXI分辨率的图像的显示器的划分画面2的图像。类似地，表示图3中所示的划分画面3和4的图像信号通过端子IN3和IN4被输入，并且对在与上述划分画面1中的像素的位置相对应的位置处的像素的像素值累加地执行加权平均以进行降噪。表示已对其执行了降噪的划分画面3和4的图像信号与表示划分画面1的图像信号同步地通过端子0UT3和0UT4被输出，并被显示作为能够显示4KXI分辨率的图像的显示器的划分画面3和4的图像。如上所述，由于通过端子mi至IN4输入的所有图像信号都包含相同数目的像素 (与IXIK的分辨率相对应的像素数)，因此每个像素与其他相应像素同步地被处理。结果，具有4KXI的分辨率并且由划分画面1至4形成的画面被显示在显示器上作为预定帧速率的单个画面。通过端子mi至IN4输入的图像信号分别利用nR滤波器LSI 112-1和存储器 111-1至nR滤波器LSI 112-4和存储器111-4来处理。UR滤波器LSI 112-1和存储器111-1至IIR滤波器LSI 112-4和存储器111-4 中的每一个具有与上面参考图2所述的相同的配置。即，UR滤波器LSI 112-1至112-4中的每一个具有与图2中所示的LSI 51相同的配置，并且存储器111-1至111-4中的每一个具有与图2中所示的存储器52相同的配置，这实际上意味着UR滤波器LSI中的每一个和相应存储器的组合形成了单个HR滤波器。并行降噪设备100这样对通过划分单个画面而获得的四个区域中的每一个并行地执行独立降噪。因此，可以对4KXI分辨率的图像执行降噪，而无需能够以非常高的时钟速率操作的电路板或LSI。然而，当使用图4中所示的并行降噪设备100时，存在下面参考图5所描述的问题。图5描述了当显示器的画面被划分为四块并且对各个划分画面执行降噪时发生的问题。在图5中，显示4KXI分辨率的图像的画面被划分为划分画面1至4，如图3中一样。
圆形对象被显示在图5所示的划分画面2上。该对象随时间在图5的画面上从右向左移动，并且被首先显示为对象151-1。随着时间过去，该对象被顺序地显示为对象 151-2至151-6。随着时间进一步过去，该对象移入划分画面1被显示的区域并被显示为对象 151-7。被显示在划分画面2上的对象151-6和被显示在划分画面1上的对象151_7原本是同一对象，但是它们分开地经历降噪。即，在基于IIR滤波器的降噪中，有必要对每个像素的像素值累加地执行加权平均，但是与对象151-7相对应的像素是对象151-6被显示在划分画面2上的像素，并且不能对与该对象相关联的像素值累加地执行加权平均。例如，当使用图4中所示的并行降噪设备100时，在由UR滤波器LSI 112_1中的运动向量检测器71执行的块匹配中定义的搜索区域不能包含划分画面2中的像素，因为对象151-6被显示处的像素(经历了累加加权平均)的像素值被存储在存储器111-2中。艮口， 由于对对象151-7被显示在划分画面1上的像素执行降噪的UR滤波器LSI 112-1不被允许访问存储器111-2，因此不能对对象151-7被显示处的像素的像素值累加地执行加权平均。如上所述，当图4中所示的并行降噪设备100被用于对图5中所示的画面执行降噪时，对象151-1至151-6被以降低的噪声量显示，而对象151-7被以未改变的噪声量显
7J\ οS卩，相关技术的并行降噪设备一般不能以适当降低的噪声量显示划分画面之间的边界附近的像素。结果，所显示的图像看起来很奇怪。具体而言，由于四个划分画面之间的边界在图5所示的画面中心处相聚(在画面中心处正观看显示器的用户会给予最大的关注)，因此中心部分的图像看起来很奇怪。鉴于上述情形，本公开提供了能够以适当降低的噪声量显示划分画面之间的边界附近的像素的并行降噪设备。图6是示出根据本公开一个实施例的并行降噪设备200的配置示例的框图。与图 4中一样，图6中所示的并行降噪设备200并行地处理四个划分画面。S卩，表示图3中所示的划分画面1的图像信号通过端子mi被输入，并且对每个像素的像素值累加地执行加权平均以进行降噪。表示已对其执行了降噪的划分画面1的图像信号通过端子OUTl被输出，并被显示为能够显示4KXI分辨率的图像的显示器的划分画面1的图像。另外，表示图3中所示的划分画面2的图像信号通过端子IN2被输入，并且对在与上述划分画面1中的像素的位置相对应的位置处的像素的像素值累加地执行加权平均以进行降噪。表示已对其执行了降噪的划分画面2的图像信号与表示划分画面1的图像信号同步地通过端子0UT2被输出，并被显示为能够显示4KXI分辨率的图像的显示器的划分画面2的图像。类似地，表示图3中所示的划分画面3和4的图像信号通过端子IN3和IN4被输入，并且对在与上述划分画面1中的像素的位置相对应的位置处的像素的像素值累加地执行加权平均以进行降噪。表示已对其执行了降噪的划分画面3和4的图像信号与表示划分画面1的图像信号同步地通过端子0UT3和0UT4被输出，并被显示为能够显示4KX 2K分辨率的图像的显示器的划分画面3和4的图像。
如上所述，由于通过端子mi至IN4输入的所有图像信号都包含相同数目的像素 (与IXIK的分辨率相对应的像素数)，因此每个像素与其他相应像素同步地被处理。结果，具有4KXI的分辨率并且由划分画面1至4形成的画面被显示在显示器上作为预定帧速率的单个画面。通过端子mi至IN4输入的图像信号分别被提供给IIR滤波器LSI 212-1至 212-4。将参考图7详细描述IIR滤波器LSI 212-1至212_4的配置示例。图7是示出图6中所示的IIR滤波器LSI 212-1至212-4共同采用的配置示例的框图。在图7中，UR滤波器LSI 212表示IIR滤波器LSI 212-1至212-4。图像信号通过IIR滤波器LSI 212的端子IN被输入，并且经历了降噪的图像信号通过IIR滤波器LSI 212的端子OUT被输出。在图7所示的示例中，UR滤波器LSI 212包括运动向量检测器271、计算部件272 和存储器I/F (接口)273。图7中所示的运动向量检测器271对应于图1中所示的运动向量检测器25，并且计算部件272是执行与从图1中所示的乘法器21到循环系数控制器M的处理相对应的处理的功能块。在图7所示的示例中，端子OUT连接到计算部件272。即，图7中所示的运动向量检测器271和计算部件272可以按照与图2中所示的运动向量检测器71和计算部件 72相同的方式来配置。在图7所示的示例中，端子IN连接到存储器I/F 273，与图2所示的存储器I/F 73 的情况一样。另外，端子MEM0RY(存储器)、扩展地址端子和端子LATENCY(等待时间)连接到存储器I/F 273。端子MEMORY、扩展地址端子和端子LATENCY也连接到图6中所示的选择器213。端子MEMORY是用于通常连接到存储器的接口端子，并且还是用于输入和输出例如用于标识存储器的地址的信号以及写入到存储器和从存储器读取的数据信号的端子。端子MEMORY例如由与图2中所示将存储器I/F 73连接到存储器52的部分类似的信号线形成。扩展地址端子是通过其输出一控制信号的端子，该控制信号表示通过端子MEMORY 输出的读出数据的地址是否是扩展地址。扩展地址是用于读取任何其他划分画面中的像素的地址。扩展地址将在后面详细描述。端子LATENCY是通过其输入一控制信号的端子，该控制信号用于调节由图6中所示的选择器213执行的处理一般所需的延迟时段。当考虑到图6中所示的选择器213执行的处理一般所需的延迟时段来设计UR滤波器LSI 212时，可以省略端子LATENCY。存储器I/F 273被配置为具有内置的缓冲器，该缓冲器可以保存例如关于在由运动向量检测器271执行的块匹配中使用的像素的像素值数据。图6中所示的UR滤波器LSI 212-1至212-4中的每一个如上所述被配置。在图 6中，每个UR滤波器LSI和相应存储器的组合形成了单个UR滤波器。连接到存储器I/F 273的端子MEMORY也连接到选择器213，如上所述。在从UR 滤波器LSI 212-1至212-4输出的图像信号中包含的像素值数据因此经由选择器213被写入到(存储在)存储器211-1至211-4中。
关于显示在已对其执行了降噪的划分画面1上的图像的像素的像素值数据被存储在存储器211-1中，并且关于显示在已对其执行了降噪的划分画面2上的图像的像素的像素值数据被存储在存储器211-2中。类似地，关于在已对其执行了降噪的划分画面3上显示的图像的像素的像素值数据被存储在存储器211-3中，并且关于在已对其执行了降噪的划分画面4上显示的图像的像素的像素值数据被存储在存储器211-4中。关于紧邻在前的帧的图像的像素的像素值数据(它们在由运动向量检测器271执行的块匹配中是必需的)也经由选择器213被从存储器211-1至211-4中的任何一个中读取。即，在图6所示的并行降噪设备200中，每个UR滤波器LSI被配置为经由选择器访问相应存储器。该配置例如允许HR滤波器LSI 212-1在对像素值累加地执行加权平均时读取存储在存储器211-2中的像素值数据。例如，当IIR滤波器LSI 212_1访问存储器211_2时，使用通过图7中所示的扩展地址端子输出的控制信号。例如表示二维向量(kx，ky)的控制信号不仅向选择器213通知要访问的存储器被切换到另一个，而且还通知哪一个存储器应当被访问。例如，令)(1!是原始画面的水平(X轴)方向上划分画面的数目，是原始画面的垂直(Y轴)方向上划分画面的数目。通过扩展地址端子输出的控制信号(kx，ky)满足-(Xn-I)彡(Xn-I) ^P - (Yn-I) ^ ky ^ (办-1)。在当前情况下，由于水平方向上划分画面的数目为2并且垂直方向上划分画面的数目为2，因此-1 < kx < 1并且-1 < kx < 1。即，例如，当IIR滤波器LSI 212_1访问存储器211_1时，通过扩展地址端子输出的控制信号(kx，ky)被设置为(0，0)。另一方面，当UR滤波器LSI 212-1访问存储器211-2 时，通过扩展地址端子输出的控制信号(kx，ky)被设置为(1，0)。另外，例如，当IIR滤波器LSI 212-1访问存储器211_3时，通过扩展地址端子输出的控制信号(kx，ky)被设置为(0，1)。当UR滤波器LSI 212-1访问存储器211-4时， 通过扩展地址端子输出的控制信号(kx，ky)被设置为(1，1)。另外，例如，当IIR滤波器LSI 212_4访问存储器211_3时，通过扩展地址端子输出的控制信号(kx，ky)被设置为(_1，0)。当UR滤波器LSI 212-4访问存储器211-2时， 通过扩展地址端子输出的控制信号(kx，ky)被设置为(0，-1)。另外，例如，当IIR滤波器LSI 212-3访问存储器211_2时，通过扩展地址端子输出的控制信号(kx，ky)被设置为(1，-1)。为了读取关于显示在划分画面(该划分画面显示包含要处理的像素的图像)上的图像的像素的像素值数据，不能通过扩展地址端子输出任何控制信号(kx，ky)。例如，在上述情况下不能输出控制信号(0，0)，但是仅当显示在划分画面上的图像的像素不同于显示包含要处理的像素的图像的划分画面时才可以输出控制信号(_1，_1)、(_1，0)等等。如上所述，图7中所示的运动向量检测器271对应于图1中所示的运动向量检测器25，并且计算部件272是执行与从图1中所示的乘法器21到循环系数控制器M的处理相对应的处理的功能块。图1中所示的运动向量检测器25计算例如两个块之间的差异的绝对值的总和，其中一个块由与一帧相对应的输入图像信号中包含的要处理的像素和其周围的多个像素形成，另一个块由表示帧存储器26中存储的紧邻在前的帧的图像信号中包含的多个像素形成。即，执行了所谓的块匹配。
当运动向量检测器271执行块匹配时，有必要从存储器211-1至211_4中的相应一个中获取关于与一帧相对应的图像信号中包含的围绕要处理的像素的多个像素的像素值数据。例如，当划分画面之间的边界附近的像素是要处理的像素时，有必要从存储有另一划分画面的像素值数据的存储器中读取在上述块匹配中所必需的像素值数据。为此，在本公开的实施例中，存储器I/F 273不仅通过端子MEMORY输出用于读取关于原始画面上预定坐标处的像素的像素值数据的地址信号，还通过扩展地址端子输出控制信号，如上所述。如上所述，在根据本公开的实施例的并行降噪设备200中，每个UR滤波器LSI可以指定超出相关技术中可访问存储器的地址范围的地址。换句话说，能够控制这种可扩展地址(扩展地址)的控制信号通过扩展地址端子被输出，如上所述。在UR滤波器LSI 212-1至212-4的扩展地址端子中，仅有UR滤波器LSI 212-1 的扩展地址端子连接到选择器213，如图6所示。其原因在于由于如上所述每个像素是与相应的其他像素同步地被处理的，因此基于从IIR滤波器LSI 212-1至212-4中的仅一个输出的扩展地址控制信号，要访问的存储器可以被切换到另一个。当然，UR滤波器LSI 212-1至212-4的所有扩展地址端子都可以连接到选择器 213，但是图7中所示的连接配置能够减少选择器的管脚数并简化电路布线。例如，当UR滤波器LSI 212-1处理在划分画面1的右边界附近的像素251_1时， 有必要利用显示在划分画面2上的紧邻在前的帧的图像中的区域252-2中所包含的像素来执行块匹配，如图8中所描述的。即，当块匹配中的感兴趣像素位于划分画面之间的边界的附近时，相邻画面上的像素被包含在块匹配中的搜索区域中。在这种情况下，控制信号(1，0)通过扩展地址端子被输出。控制信号(1，0)使得选择器213能够将要访问的存储器切换到相关的一个，从而关于存储在存储器211-2中的区域252-2中所包含的像素的像素值数据可以被读取，并且所读取的像素值数据可以被提供给IIR滤波器LSI 212-1。此时，UR滤波器LSI 212-2也处理在划分画面2的右边界附近的像素251_2，因为如上所述每个像素是与其他的相应像素同步地被处理的。当UR滤波器LSI 212-2处理在划分画面2的右边界附近的像素251-2时，利用在存在于划分画面2的右侧上的虚拟划分画面上显示的紧邻在前的帧的图像中的区域252-5 中所包含的像素来执行块匹配，因为控制信号(1，0)已通过扩展地址端子被输出。由于没有实际划分画面存在于划分画面2的右侧上，因此例如提供哑元数据作为关于区域252-5 中所包含的像素的像素值数据。此时，IIR滤波器LSI 212-3也处理在划分画面3的右边界附近的像素251_3。例如，当UR滤波器LSI 212-3处理在划分画面3的右边界附近的像素251_3时， 有必要利用显示在划分画面4上的紧邻在前的帧的图像中的区域252-4中所包含的像素来执行块匹配。在当前情况下，由于控制信号(1，0)已通过扩展地址端子输出，因此控制信号 (1,0)允许选择器213将要访问的存储器切换到相关的一个，从而关于存储在存储器211-4 中的区域252-4中所包含的像素的像素值数据可以被读取，并且所读取的像素值数据可以被提供给IIR滤波器LSI 212-3。此时，nR滤波器LSI 212-4也处理在划分画面4的右边界附近的像素251-4。当UR滤波器LSI 212-4处理在划分画面4的右边界附近的像素251-4时，利用在存在于划分画面4的右侧上的虚拟划分画面上显示的紧邻在前的帧的图像中的区域252-6 中所包含的像素来执行块匹配，因为控制信号(1，0)已通过扩展地址端子被输出。由于没有实际划分画面存在于划分画面4的右侧上，因此例如提供哑元数据作为关于区域252-6 中所包含的像素的像素值数据。如上所述利用单个选择器213来切换要访问的存储器防止了多个UR滤波器访问同一存储器。当划分画面之间的边界附近的像素是要处理的像素时，通过利用包含相邻划分画面中的像素的搜索区域执行块匹配以确定运动向量，仍可以执行降噪。例如，当图5中所示的对象151-7被显示处的像素是要处理的像素并且对该像素执行降噪时，以与上述相同的方式，可以利用关于与紧邻在前的帧相对应的对象151-6被显示在划分画面2上的像素的像素值数据来执行加权平均。接下来，将参考图9中所示的流程图来描述由图6中所示的并行降噪设备200执行的降噪。在步骤S20中，并行降噪设备200接收与要显示在划分画面1至4上的图像相对应的输入图像信号。在步骤S21中，UR滤波器LSI 212-1至212-4中的每一个确定在相应的输入图像信号中要处理的像素。在步骤S22中，UR滤波器LSI 212-1至212-4中的每一个确定要用在用于检测运动向量的块匹配中的像素。在步骤S23中，UR滤波器LSI 212-1至212-4中的每一个判断在步骤S22的处理中确定出的像素中是否有任何一个属于另一划分画面。当步骤S23中的判断表明在步骤 S22的处理中确定出的像素中有任何一个属于另一划分画面时，执行步骤S24中的处理。在步骤S24中，UR滤波器LSI 212_1改变扩展地址控制信号。改变后的扩展地址控制信号允许选择器213将要被HR滤波器LSI 212-1至212-4访问的存储器切换到相关的存储器。另一方面，当步骤S23中的判断表明在步骤S22的处理确定出的任何像素都不属于另一划分画面时，跳过步骤S24中的处理。在步骤S25中，UR滤波器LSI 212-1至212-4读取关于在步骤S22的处理中确定出的像素的像素值数据。当在步骤S22的处理中确定出的像素例如属于图8中所示的区域252-5或252-6时，不能读取实际的数据。在这种情况下，选择器213例如提供哑元数据。HR滤波器LSI 212-1至212-4中的每一个将这样读取的像素值数据保存在存储器I/ F 273中的缓冲器中。在步骤S26中，UR滤波器LSI 212-1至212-4确定运动向量。在该处理中，例如通过基于在步骤S25的处理中读取的像素值数据执行块匹配来确定运动向量。在步骤S27中，UR滤波器LSI 212-1至212-4确定循环系数K。在该处理中，例如基于在步骤S26的处理中执行的块匹配中产生的残余分量来确定循环系数K。在步骤S28中，UR滤波器LSI 212-1至212-4中的每一个对关于要处理的像素的像素值数据和关于紧邻在前的帧的图像中的相应像素的像素值数据执行加权平均。在该处理中，例如基于在步骤S26的处理中获得的运动向量来确定紧邻在前的帧的图像中的相应像素，并且从UR滤波器LSI 212-1至212-4中的相应一个中的存储器I/F 273内的缓冲器读取关于该像素的像素值数据。注意，关于紧邻在前的帧的图像中的相应像素的像素值数据已被在步骤S25的处理中读取并存储，具体而言，已被从要用在块匹配中的存储器211-1至211-4中的相应一个读取并存储在IIR滤波器LSI 212-1至212-4中的相应一个中的存储器I/F 273内的缓冲器中。已在步骤S21中确定出的正处理的像素的像素值随后被乘以(I-K)，并且从存储器I/F 273中的缓冲器读取的像素值数据被乘以K。经历了乘法处理的像素值被彼此相加。 正处理的像素的像素值和紧邻在前的帧的图像中的相应像素的像素值这样基于在步骤S27 的处理中获得的循环系数K而经历了加权平均。在步骤幻9中，UR滤波器LSI 212_1至212_4输出在步骤幻8的处理中获得的结果。这样，在输入图像信号中包含的噪声量得以降低，并且经历了降噪的图像信号通过端子 OUTl至0UT4被输出。关于处理后的结果的输出数据经由选择器213被写入到(存储在) 存储器211-1至211-4中。在步骤S30中，UR滤波器LSI 212_1至212_4判断是否有要处理的另一像素。当步骤S30中的判断表明有要处理的另一像素时，控制返回到步骤S21，并且重复步骤S21中的处理和后续处理。当步骤S30中的判断表明没有要处理的像素时，处理终止。这样执行了降噪。这样，可以例如对与在图5所示的划分画面之间的边界附近显示的对象151-7相对应的像素的像素值累加地执行加权平均。因此，划分画面之间的边界附近的像素可以利用适当降低的噪声量来显示。上面的描述是参考以下情况作出的具有4KXI分辨率的画面在水平和垂直方向上被一分为二。画面也可以替代地以其他方式划分。图10示出了具有4KXI分辨率的画面的另一划分示例。在图10所示的示例中，具有4ΚΧ^(分辨率的画面被划分为水平方向上的四块。在这种情况下，图10所示的划分画面1至4中的每一个具有IKXI的分辨率(水平方向上 1Κ，垂直方向上2Κ)或者显示与图3所示的划分画面1至4中的每一个具有相同像素数的图像。图10中所示的划分画面1至4中的每一个因此可以被单个IIR滤波器LSI 212处理。图11示出了具有4KX2K分辨率的画面的又一划分示例。在图11所示的示例中，具有4KXI分辨率的画面被划分为垂直方向上的四块。在这种情况下，图11所示的划分画面1至4中的每一个具有4KX0.涨的分辨率(水平方向上4K，垂直方向上0. 5K)或者显示与图3所示的划分画面1至4中的每一个具有相同像素数的图像。图11中所示的划分画面1至4中的每一个因此可以被单个HR滤波器LSI 212 处理。上面的描述是参考以下情况作出的高分辨率画面被划分为四个低分辨率画面。 或者，高分辨率画面可以被划分为例如八个低分辨率画面或者十六个低分辨率画面。另外，上面的描述是参考以下情况作出的本公开被应用于对显示在划分画面上的图像中的像素值累加地执行加权平均的配置，但是并不一定对像素值累加地执行加权平均。
例如，本公开可以如下应用确定显示在一划分画面上的图像中的感兴趣像素和显示在该划分画面上但是与紧邻在前的帧相对应的图像中的相应像素之间的相关。判断所得到的相关是否连续改变，并且对连续改变的相关值的数目计数。然后基于按像素基础的计数来估计任何运动。即，本公开可应用于以像素为基础对像素的特征值累加地求和的配置。本说明书中的上述处理序列不仅包括按所描述的顺序以时序执行的处理，还包括不一定按时序而是并发或单独执行的处理。本公开的实施例并不限于上述实施例，而是可以在不脱离本公开的实质的程度下进行多种改变。本公开包含与2010年6月11日向日本专利局提交的日本优先权专利申请JP 2010-133559中公开的主题相关的主题，特此通过引用将该申请的全部内容并入。
权利要求
1.一种图像处理设备，包括η个输入接收装置，用于接收表示要被显示为η个划分画面上的视频图像的图像的输入图像信号，所述η个划分画面是通过将显示器的画面划分为具有相同像素数的η个区域而获得的；η个累加加权平均装置，用于确定在与通过所述η个输入接收装置输入的图像信号相对应的η个划分画面上显示的一帧长度的图像中具有相同的相对位置的要处理的像素，并且每当帧改变时对要处理的像素累加地执行加权平均；η个存储器，所述η个存储器存储显示在所述η个划分画面上并经历了累加加权平均的所述一帧长度的图像的像素；以及访问切换装置，用于基于从所述η个累加加权平均装置中的一个输出的控制信号来切换被所述η个累加加权平均装置访问的存储器。
2.如权利要求1所述的图像处理设备，其中所述η个累加加权平均装置中的每一个提取由所述要处理的像素和其周围的多个像素形成的要处理的块， 从所述η个存储器中的相应一个存储器中读取紧邻在包含所述要处理的像素的帧之前的帧的图像中的像素，这些像素包含在围绕与所述要处理的像素具有相同坐标的像素的预定区域中，基于从所述存储器读取的像素提取多个比较块，每个比较块由与所述要处理的块具有相同数目的像素形成，基于所述要处理的块和所述比较块之间的类似度确定在紧邻在前的帧的图像中与所述要处理的像素相对应的像素，以及基于循环系数对所述要处理的像素的值和在所述紧邻在前的帧的图像中与所述要处理的像素相对应的像素的值执行加权平均。
3.如权利要求2所述的图像处理设备，其中当显示在与显示包含所述要处理的像素的图像的划分画面不同的划分画面上的图像的像素被读取作为用在所述比较块中的像素时，所述η个累加加权平均装置中的至少一个输出控制信号，该控制信号用于确定存储显示在该不同的划分画面上的像素的存储ο
4.如权利要求3所述的图像处理设备，其中当所述要处理的像素位于距离与显示所述要处理的像素的矩形划分画面的一条边相对应的边界的预定距离内时，显示在与显示包含所述要处理的像素的图像的划分画面不同的划分画面上的图像的像素被读取作为用在所述比较块中的像素，并且所述控制信号被以表示与所述边界相邻的该不同划分画面上的一位置的坐标的形式输出。
5.如权利要求4所述的图像处理设备， 其中当不存在与所述边界相邻的划分画面时，所述访问切换装置向所述累加加权平均装置提供 元数据。
6.如权利要求1所述的图像处理设备，其中所述η个累加加权平均装置中的每一个是以LSI的形式配置的。
7.一种图像处理方法，包括通过η个输入接收装置接收输入图像信号，所述输入图像信号表示要被显示为η个划分画面上的视频图像的图像，所述η个划分画面是通过将显示器的画面划分为具有相同像素数的η个区域而获得的；确定在与通过所述η个输入接收装置输入的图像信号相对应的η个划分画面上显示的一帧长度的图像中具有相同的相对位置的要处理的像素，并且每当帧改变时对要处理的像素累加地执行加权平均，所述要处理的像素的确定和加权平均是由η个累加加权平均装置执行的；以及在η个存储器中存储显示在所述η个划分画面上并经历了累加加权平均的所述一帧长度的图像的像素，其中被所述η个累加加权平均装置访问的存储器基于从所述η个累加加权平均装置中的一个输出的控制信号而被切换。
8.一种图像处理设备，包括η个输入接收装置，用于接收表示要被显示为η个划分画面上的视频图像的图像的输入图像信号，所述η个划分画面是通过将显示器的画面划分为具有相同像素数的η个区域而获得的；η个累加求和装置，用于确定在与通过所述η个输入接收装置输入的图像信号相对应的η个划分画面上显示的一帧长度的图像中具有相同的相对位置的要处理的像素，并且每当帧改变时对要处理的像素的特征值累加地求和；η个存储器，所述η个存储器存储显示在所述η个划分画面上并经历了累加求和的所述一帧长度的图像的像素的特征值；以及访问切换装置，用于基于从所述η个累加求和装置中的一个输出的控制信号来切换被所述η个累加求和装置访问的存储器。
全文摘要
本发明涉及图像处理设备和图像处理方法。图像处理设备包括n个输入接收装置，用于接收表示要被显示为n个划分画面上的视频图像的图像的输入图像信号，该n个划分画面是通过将显示器的画面划分为具有相同像素数的n个区域而获得的；n个累加加权平均装置，用于确定显示在与通过n个输入接收装置输入的图像信号相对应的n个划分画面上的一帧长度的图像中具有相同的相对位置的要处理的像素，并且每当帧改变时对要处理的像素累加地执行加权平均；n个存储器，存储显示在n个划分画面上并经历了累加加权平均的一帧长度的图像的像素；以及访问切换装置，用于基于从n个累加加权平均装置之一输出的控制信号来切换被n个累加加权平均装置访问的存储器。
文档编号H04N5/217GK102281390SQ201110158330
公开日2011年12月14日 申请日期2011年6月7日 优先权日2010年6月11日
发明者奥村明弘 申请人:索尼公司