专利名称：图像处理设备、图像处理方法和图像处理程序的制作方法
技术领域：
本公开内容涉及一种图像处理设备、图像处理方法和图像处理程序，具体而言，涉及能够通过滤波处理获得具有较少噪声的图像的图像处理设备、图像处理方法和图像处理程序。
背景技术：
在过去，已知一种无线脉冲响应(IIR)滤波器作为用于降低图像的噪声的滤波器。另外，已提出一种用于执行时间滤波器与空间滤波器的组合的滤波处理以降低图像噪声的技术(例如，参见日本专利申请公布第S62-299181)。在该技术中，基于图像运动的检测结果，将使用图像的时间方向(即，帧之间的相关性)进行噪声降低的结果和使用图像
的空间方向(即，线之间的相关性)进行噪声降低的结果中的任何一个输出作为滤波处理的结果。因此，与仅使用时间滤波器和空间滤波器之一的技术相比，可以获得更大噪声降低效果。
发明内容
然而，难以根据上述技术获得令人满意的噪声降低效果。例如，对于根据现有技术的IIR滤波器，如果在图像的帧之间检测到对象的运动，则在图像中存在变化的区域(即，图像中存在运动的区域)内降低了与原始图像的时间相关性，从而导致该区域中出现运动模糊。另一方面，对于使用时间滤波器与空间滤波器的组合的技术，如果要处理的目标图像包括许多噪声成分，则难以根据该技术获得令人满意的噪声降低效果。鉴于上述状况，本公开内容针对一种用于通过滤波处理获得具有较少噪声的图像的技术。根据本公开内容的一个实施例，提供了一种图像处理设备，包括计算部，被配置成基于在空间上与输入图像相关的参考图像在时间方向上的变化来计算反馈调整量；运动补偿部，被配置成基于参考图像的空间信息，对输出图像执行运动补偿以获得插值输出图像，该输出图像是从与期望处理的当前帧紧邻的在前帧的输入图像获得的；以及混合部，被配置成通过基于反馈调整量将通过运动补偿获得的插值输出图像与当前帧的输入图像混合，生成当前帧的输出图像。运动补偿部可被配置成通过将权重应用于在前帧的输出图像中与当前帧的参考图像上的关注像素相邻的像素来生成插值输出图像，其中该权重是由关注像素与在前帧的参考图像上与该关注像素相邻的像素之间的亮度差来确定的。图像处理设备还可包括视差检测部，被配置成生成视差图像作为输入图像，该视差图像表示用于显示立体图像的右图像与左图像之间的视差；以及参考图像生成部，被配置成基于右图像或左图像生成参考图像。
根据本公开内容的另一实施例，提供了一种图像处理方法或图像处理程序，包括基于在空间上与输入图像相关的参考图像在时间方向上的变化来计算反馈调整量；基于参考图像的空间信息，对输出图像执行运动补偿，该输出图像是从与期望处理的当前帧紧邻的在前帧的输入图像获得的；以及通过基于反馈调整量将通过运动补偿获得的插值输出图像与当前帧的输入图像混合，生成当前帧的输出图像。根据本公开内容的另一实施例，基于在空间上与输入图像相关的参考图像在时间方向上的变化来计算反馈调整量；基于参考图像的空间信息，对输出图像执行运动补偿，该输出图像是从与期望处理的当前帧紧邻的在前帧的输入图像获得的；以及通过基于反馈调整量将通过运动补偿获得的插值输出图像与当前帧的输入图像混合，生成当前帧的输出图像。根据本公开内容的实施例，可以通过滤波处理获得具有较少噪声的图像。
图I是示出根据本公开内容的实施例的图像处理设备的结构的图；图2是示出滤波更新处理的流程图；图3是示出差分估计值与反馈量之间的关系的图；图4是示出差分量与权重系数之间的关系的图；图5是示出通过运动补偿与无线脉冲响应(IIR)滤波处理的组合所获得的效果的图；图6是示出根据本公开内容的另一实施例的图像处理设备的结构的图；图7是示出从左图像和右图像获得的每个图像的图；图8是示出视差检测处理的流程图；图9是示出逆伽马处理的图；以及图10是示出计算机的结构的图。
具体实施例方式下文中，将参照附图详细描述本公开内容的优选实施例。应注意，在该说明书和附图中，以相同的附图标记表示具有基本上相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。<第一实施例>[图像处理设备的结构]图I是示出根据本公开内容的实施例的图像处理设备的结构的图。图像处理设备11适于通过使用参考图像Gin的在空间上与关注的输入图像Iin的图像信号相关的图像信号对输入图像Iin执行空时滤波处理，获得与输入图像1&相比噪声成分减少的滤波输出图像Itjut的图像信号。例如，参考图像Gin包括关于与输入图像Iin的对象相同的对象的信息，并且比输入图像Iin包括更多的信息，即，随机地比输入图像Iin包括更少的噪声。具体地，例如，由于输入图像Iin和参考图像Gin是从相同图像生成的图像，因此，输入图像Iin的像素和参考图像Gin中位于与输入图像Iin的该像素的位置相同的位置处的像素包括关于相同对象的相同位置的信息。即，输入图像Iin和参考图像Gin彼此在空间上相关。图像处理设备11包括帧存储器21、运动检测部22、帧存储器23、运动补偿部24和混合部25。帧存储器21临时存储并保持所提供的期望处理的帧(下文中，称为“当前帧”)的参考图像，使该参考图像延迟与一帧对应的时间段，并且将参考图像提供给运动检测部22和运动补偿部24。运动检测部22根据所提供的当前帧的参考图像和在当前帧往前一帧的帧(即，紧邻在当前帧之前的帧(下文中，称为“在前帧”))的参考图像(从帧图像存储器21提供该参考图像)执行运动检测。运动检测部22基于检测结果计算反馈调整量，并且将反馈调整量提供给混合部25。反馈调整量指的是表示经运动补偿的在前帧的滤波输出图像对当前帧的滤波输 出图像的贡献率的IIR反馈量。帧存储器23将从混合部25提供的滤波输出图像延迟与一帧对应的时长，并且将滤波输出图像提供给运动补偿部24。运动补偿部24对所提供的参考图像、来自帧存储器21的在前帧的参考图像以及来自帧存储器23的在前帧的滤波输出图像执行运动补偿。运动补偿部24将经运动补偿的滤波输出图像提供给混合部25。混合部25基于来自运动检测部22的反馈调整量将所提供的输入图像与来自运动补偿部24的滤波输出图像混合，并且输出当前帧的滤波输出图像。混合部25包括乘法器31、乘法器32和加法器33。乘法器31将所提供的输入图像与从运动检测部22提供的反馈调整量相乘，并且将输入图像与反馈调整量的乘积提供给加法器33。乘法器32将从运动补偿部24提供的在前帧的滤波输出图像与从运动检测部22提供的反馈调整量相乘，并且将在前帧的滤波输出图像与反馈调整量的乘积提供给加法器33。加法器33将来自乘法器31的输入图像与来自乘法器32的滤波输出图像相加，并且输出输入图像与滤波输出图像的总和作为当前帧的滤波输出图像。[滤波更新处理]当图I的图像处理设备11接收到输入图像和参考图像，并且被指示对输入图像执行空时滤波处理时，图像处理设备11执行滤波更新处理以生成滤波输出图像，并且输出滤波输出图像。将参照图2的流程图描述图像处理设备11的滤波更新处理。在步骤Sll中，运动检测部22基于参考图像的帧之间的差来计算反馈调整量。S卩，如果当前帧的参考图像被提供给图像处理设备11，则帧存储器21将先前提供并存储在其中的、在前帧的参考图像提供给运动检测部22和运动补偿部24。运动检测部22计算差分估计值(difference evaluation value),该差分估计值表示所提供的当前帧的参考图像与来自帧存储器21的在前帧的参考图像之间的差。具体地，例如，运动检测部22根据如下等式I计算在当前帧的参考图像的坐标(X，y)处的像素的像素值(亮度值)G(X，y)与在前帧的参考图像的坐标(x，y)处的像素的像素值Gtjld(Xj)之间的差的绝对值，作为坐标(x，y)处的差分估计值d(x，y)。d(x, y) = |G(x，y)_Gold(x，y) I · · · (I)坐标(x，y)表示如下坐标系内的X坐标和y坐标在该坐标系中，在参考图像上彼此正交的X方向和y方向分别被设置为X轴和I轴。差分估计值d(X，y)可以是表示当前帧的参考图像与在前帧的参考图像之间的差量的任何值。在计算差分估计值d( x, y)之后,运动检测部22根据如下等式2来计算坐标(x, y)处的反馈系数a (x, y)。a (x, y) = g(d(x, y)) · · ·⑵也就是说，运动检测部22通过将根据等式I获得的差分估计值d(x，y)替代预定函数g(k)中的k来计算反馈系数α (X，y)。例如，函数g(k)是用于根据差分估计值d(x，y)确定IIR反馈量的函数。函数g(k)被配置成减小参考图像中存在运动的部分的IIR反馈量，并且输出应用于当前帧的输入图像的反馈系数α (x, y) ο具体地，函数g(k)是由例如如下等式3表达的函数。
ia(k<k0)
O(ki<k)
35在等式3中，α是当参考图像的帧之间不存在运动时的反馈系数a (x，y)，例如，α =0. 9375。另外，k0和Ii1是表示通过检测参考图像的巾贞之间的运动而连续地减小反馈系数的差分估计值的范围的阈值，例如，k0=5, 1^=15。因此，例如，如图3所示，差分估计值d(x，y)越小，函数g(k)的值就越大，即，反馈系数α (χ, y)就越大。在图3中，横轴表示差分估计值d(x，y)，而纵轴表示函数g(k)的值。例如，在图3中，对于在O与1 之间的差分估计值d (X，y)，函数g (k) = α。对于在1^与1^ 之间的差分估计值d(x, y), BP,k0<d(x, y) ( k1；函数g(k) = a (l-((k_k0)/(k「k0)))。也就是说，随着差分估计值增大，函数g(k)线性减小。对于大于Ic1的差分估计值d(x，y)，函数 g(k) =O0运动检测部22将这样获得的反馈系数a (χ, y)作为在前帧的滤波输出图像的反馈调整量提供给乘法器32。另外，运动检测部22将通过从I减去反馈系数a (x, y)所获得的值(1-a (x, y))作为输入图像的反馈调整量提供给乘法器31。参考图像的帧之间的差越大，即，参考图像中对象的运动越大，与在前帧的滤波输出图像相乘的反馈调整量a (x, y)就越小。也就是说，在参考图像中存在较大运动的区域中，在前帧的滤波输出图像对当前帧的滤波输出图像的生成的贡献率降低，从而抑制了在滤波输出图像中出现运动模糊。返回参照图2的流程图，在步骤S12中，运动补偿部24基于参考图像对在前帧的滤波输出图像执行运动补偿，并且将经运动补偿的滤波输出图像提供给乘法器32。也就是说，运动补偿部24使用当前帧的参考图像的纹理信息来对在前帧的滤波输出图像执行运动补偿。例如，如果当前帧的参考图像被提供给运动补偿部24，则帧存储器23将已从加法器33提供并存储在其中的在前帧的滤波输出图像提供给运动补偿部24。帧存储器24也将在前帧的参考图像提供给运动补偿部24。
运动补偿部24基于所提供的当前帧的参考图像、来自帧存储器21的在前帧的参考图像以及来自帧存储器23的在前帧的滤波输出图像，根据等式4获得经运动补偿的在前帧的滤波输出图像。也就是说，计算在经运动补偿的在前帧的滤波输出图像的坐标(χ, y)处的像素的像素值Itjl/ (x，y)。
权利要求
1.一种图像处理设备，包括 计算部，被配置成基于在空间上与输入图像相关的参考图像在时间方向上的变化来计算反馈调整量； 运动补偿部，被配置成基于所述参考图像的空间信息，对输出图像执行运动补偿以获得插值输出图像，其中所述输出图像是从与期望处理的当前帧紧邻的在前帧的所述输入图像获得的；以及 混合部，被配置成通过基于所述反馈调整量将通过所述运动补偿获得的所述插值输出图像与所述当前帧的输入图像混合，生成所述当前帧的输出图像。
2.根据权利要求I所述的图像处理设备， 其中，所述运动补偿部被配置成通过将权重应用于所述在前帧的输出图像中与所述当前帧的参考图像上的关注像素相邻的像素来生成所述插值输出图像，其中所述权重是由所述关注像素与所述在前帧的参考图像上与所述关注像素相邻的像素之间的亮度差来确定的。
3.根据权利要求I或2所述的图像处理设备，还包括 视差检测部，被配置成生成视差图像作为所述输入图像，所述视差图像表示用于显示立体图像的右图像与左图像之间的视差；以及 生成部，被配置成基于所述右图像或所述左图像生成所述参考图像。
4.一种图像处理方法，包括 基于在空间上与输入图像相关的参考图像在时间方向上的变化来计算反馈调整量； 基于所述参考图像的空间信息，对输出图像执行运动补偿，其中所述输出图像是从与期望处理的当前帧紧邻的在前帧的所述输入图像获得的；以及 通过基于所述反馈调整量将通过所述运动补偿获得的插值输出图像与所述当前帧的输入图像混合，生成所述当前帧的输出图像。
5.一种被配置为供计算机执行处理的程序，所述处理包括 基于在空间上与输入图像相关的参考图像在时间方向上的变化来计算反馈调整量； 基于所述参考图像的空间信息，对输出图像执行运动补偿，其中所述输出图像是从与期望处理的当前帧紧邻的在前帧的所述输入图像获得的；以及 通过基于所述反馈调整量将通过所述运动补偿获得的插值输出图像与所述当前帧的输入图像混合，生成所述当前帧的输出图像。
全文摘要
本发明提供了一种图像处理设备、图像处理方法和图像处理程序，该图像处理设备包括计算部，被配置成基于在空间上与输入图像相关的参考图像在时间方向上的变化来计算反馈调整量；运动补偿部，被配置成基于参考图像的空间信息，对输出图像执行运动补偿，其中该输出图像是从与期望处理的当前帧紧邻的在前帧的输入图像获得的；以及混合部，被配置成通过基于反馈调整量将通过运动补偿获得的插值输出图像与当前帧的输入图像混合，生成当前帧的输出图像。
文档编号H04N5/21GK102957844SQ20121027422
公开日2013年3月6日 申请日期2012年8月3日 优先权日2011年8月12日
发明者明官佳宏 申请人:索尼公司