专利名称：图像处理设备和方法,数据处理设备和方法,存储介质的制作方法
技术领域：
本发明涉及图像处理设备，图像处理方法，数据处理设备，数据处理方法，和存储介质，特别是涉及一种可以更有效地消除数据(如运动图像)中的噪声的图像处理设备，图像处理方法，数据处理设备，数据处理方法，和存储介质。
通常，数据(如传输或重现的图像数据和声音数据)中，会含有随时间推进而变化的噪声。为了消除这些数据中所包含的噪声，现有方法是求所有输入数据的平均值，也就是总平均值；及求部分输入数据的平均值，称为移动平均值。
计算总平均值的方法适用于数据中所含噪声程度即数据的信噪比(s/n比)固定的情况。然而，当数据s/n比变化时，数据中低s/n比的部分会对高s/n比的部分产生影响，使得某些情况下很难有效的消除噪声。
对于计算移动平均值的方法，因为要计算时域中位置接近当前输入数据的数据的平均值，因而处理结果受到该数据的s/n比变化的影响。也就是说，对于有高s/n比的数据部分，该处理结果就有高s/n比，但是对于低s/n比的数据部分，该处理结果就有低的s/n比。
据此，本发明的目的在于解决前面所提到的缺点。
本发明一方面是通过提供一种用于处理输入像素数据以及将处理后的输入像素数据作为输出像素数据输出的图像处理设备实现了前述目的，包括输入可靠性计算装置，用于计算表示输入像素数据的可靠性的输入可靠性；输出可靠性计算装置，用于计算表示输出像素数据的可靠性的输出可靠性；运动量检测装置，用于检测输入像素数据运动量；运动量可靠性计算装置，用于计算表示运动量可靠性的运动量可靠性；补偿装置，根据运动量可靠性补偿输出可靠性；处理装置，根据输入可靠性和补偿后的输出可靠性处理输入像素数据、以及将输出像素数据输出。
本发明另一方面是通过提供一种用于处理输入数据和将处理后的数据作为输出数据输出的数据处理设备实现了上述目的，包括噪声量估计装置，估计输入数据中所包含噪声量；输入可靠性计算装置，根据噪声量、计算表示输入数据可靠性的输入可靠性；输出可靠性计算装置，计算表示输出数据可靠性的输出可靠性；补偿装置，根据噪声量补偿输出可靠性；处理装置，根据输入可靠性和补偿后的输出可靠性处理输入数据、以及将输出数据输出。
本发明另一方面是通过提供一种用于处理输入像素数据和将处理后的输入数据像素数据作为输出像素数据输出的图像处理方法实现了上述目的，包括下列步骤计算表示输入像素数据的可靠性的输入可靠性；计算表示输出像素数据可靠性的输出可靠性；检测输入像素数据的运动量；计算表示运动量可靠性的运动量可靠性；根据运动量可靠性补偿输出可靠性；和根据输入可靠性和补偿后的输出可靠性处理输入像素数据、并将输出像素数据输出的步骤。
本发明还有另一方面是通过提供一种用于处理数据和将处理后的数据作为输出数据输出的数据处理方法实现了上述目的，包括下列步骤估计输入数据中包含的噪声量；根据噪声量、计算表示输入数据可靠性的输入可靠性；计算表示输出数据的可靠性的输出可靠性；根据噪声量补偿输出可靠性；根据输入可靠性和补偿后的输出可靠性处理输入数据、并将输出数据输出的步骤。
本发明还有另一方面是通过提供一种用于存储一个计算机控制程序的存储介质实现了上述目的，该计算机控制程序是用于处理输入像素数据和将处理后的输入像素数据作为输出像素数据输出。该程序包括下列步骤计算表示输入像素数据的可靠性的输入可靠性；计算表示输出像素数据可靠性的输出可靠性；检测输入像素数据的运动量；计算表示运动量可靠性的运动量可靠性；根据运动可靠性补偿输出可靠性；根据输入可靠性和补偿后的输出可靠性处理输入像素数据、并将输出像素数据输出的步骤。
本发明还有另一方面是通过提供一种用于存储一个计算机控制程序的存储介质实现了上述目的，该计算机控制程序是用于处理输入数据和将处理后的输入数据作为输出数据输出。该程序包括下列步骤估计输入数据中包含的噪声量；根据噪声量、计算表示输入数据可靠性的输入可靠性；计算表示输出数据可靠性的输出可靠性；根据噪声量补偿输出可靠性；根据输入可靠性和补偿后的输出可靠性处理输入数据、并将输出数据输出的步骤。
图1A示出输入数据的波形；图1B示出图1所示输入数据的可靠性；图2是基于本发明实施例的噪声消除设备的框图；图3是由图2所示噪声消除设备执行的处理的流程图；图4是图2所示的一个ME部分1的框图；图5A示出当目标中包括一个检测块和一个参考块时执行的可变块大小的块匹配；图5B示出当检测块和参考块扩展时执行的可变块大小的块匹配；图6是由图4所示的ME部分1执行的处理的流程图；图7是图2所示噪声量估计部分2的框图；图8是由图7所示的噪声量估计部分2执行的处理的流程图；图9是图2所示噪声降低部分3的框图；图10是由图9所示的噪声量降低部分3执行的处理的流程图；图11示出真值X和假定真值X′之间的关系；图12是基于本发明另一实施例的计算机的框图。
下面将参照附图对基于本发明一个实施例的噪声消除设备作详细的描述。首先将描述本发明中消除噪声的原理。
简单来说，将检查下列情形累加具有恒定真值、并有随时间波动的噪声叠置其上的输入数据(如图1A所示)，以消除随时间波动的噪声。对于具有大噪声级也就是有低s/n比的输入数据，累加时将该输入数据的加权值设为小值，而对于具有小噪声级也就是有高s/n比的输入数据，则在累加时将该输入数据的加权值设为大值，通过执行上述累加，该噪声被有效的消除了。
如图1B所示，将表示输入数据和真值相差多少的可靠度，即该输入数据相对于真值的可靠度作为对输入数据的评价。为有效的消除噪声，将相应于可靠性的加权值应用到输入数据，计算输入数据的平均值(加权和)。
下述表达式通过使用相应于输入数据x(t)可靠性的加权值对输入数据x(t)求加权和，求得有效消除噪声后的输出数据y(t)。其中x(t),y(t)和αx(t)分别表示t时刻的输入数据，输出数据，输入数据的可靠性。y(t)Σi=0tαx(i)x(i)Σi=0tαx(i)---(1)]]>
假定式(1)中表示对具有较高可靠性αx(t)的输入数据x(t)使用较大的加权值。
由式(1)，通过下式求得当前时刻t之前一个抽样的输出数据y(t-1)。y(t-1)=Σi=0t-1αx(i)x(i)Σi=0t-1αx(i)---(2)]]>对于输出数据y(t)，可靠性的程度αy(t)表示输出数据y(t)和真值相差多少的可靠度，即该输出数据y(t)相对于真值的可靠度，并将其作为输出数据y(t)的评价值。含有在当前时刻t之前的一个抽样获得的输出数据y(t-1)的可靠性αy(t-1)由下式定义αy(t-1)=Σi=0t-1αx(i)---(3)]]>根据式(3)，输出数据y(t-1)的可靠性αy(t-1)是迄今处理过的输入数据x(i)(i=0,1,2,…,t-1)的可靠性αx(i)的总和。因此当许多情况下迄今输入数据和已经输入的真值接近时，输出数据y(t-1)的可靠性αy(t-1)是大的；当在较少情况下迄今输入数据和已经输入的真值接近时，输出数据y(t-1)的可靠性αy(t-1)是小的。也就是说，输出数据y(t-1)的可靠性αy(t-1)反映了迄今已输入的输入数据和真值的接近程度(可靠性)。当迄今已经输入的输入数据和真值接近时，就意味着输出数据y(t-1)也和真值接近。相反，当迄今已经输入的输入数据和真值相差较远时，就意味着输出值y(t-1)也和真值相差较远。因此，由式(3)所表示的可靠性αy(t-1)，表示了输出数据y(t-1)和真值的接近程度。
由式(1)至式(3)可知，输出数据y(t)和它的可靠性αy(t)可由式(4)和式(5)表示。
αy(t)=αy(t-1)+αx(t)---(5)]]>
用于求得t时刻输出数据y(t)的加权值由w(t)表示，由下式表示。
w(t)=αy(t-1)/(αy(t-1)+αx(t))(6)从表达式(6)，得下列表达式1-w(t)=αx(t)/(αy(t-1)+αx(t))(7)由表达式(6)和(7)，表达式(4)中的输出数据y(t)可通过下列由乘法和一次加法获得的加权平均(加权加法)求得y(t)=w(t)y(t-1)+(1-w(t))x(t) (8)表达式(8)中使用的加权值w(t)和1-w(t)可从表达式(6)使用当前时刻之前一个抽样获得的输出数据y(t-1)的可靠性αy(t-1)和当前输入数据x(t)的可靠性αy(t)获得。通过使用当前输入数据之前一个抽样的输出数据y(t-1)的可靠性αy(t-1)和当前输入数据x(t)的可靠性αy(t)，也可获得式(5)中当前输出数据y(t)的可靠性αy(t-1)。
当输入数据x(t)的可靠性αx(t)和输出数据的可靠性αy(t)分别由每一输入数据的邻近时间上的几个输入数据项、或由相应方差σx(t)2和σy(t)2的倒数表示时，也就是说当可靠性αx(t)和αy(t)由下式表示时αx(t)=1/σx(t)2αy(t)=1/σy(t)2(9)式(8)中的加权值w(t)可以由下式得到w(t)=σx(t)2/(σy(t-1)2+σx(t)2) (10)此时，式(8)中1-w(t)可以由下式得到1-w(t)=σy(t-1)2/(σy(t-1)2+σx(t)2) (11)项σy(t)2可以由下式得到σy(t)2=w(t)2σy(t-1)2+(1-w(t))2σx(t)2(12)由式(4)可清楚知道，由式(4)和式(5)所得到的式(8)表示，用对应于输入数据x(t)的可靠性αx(t)的加权值对输入数据x(t)进行加权，同时用对应于可靠性αy(t-1)的加权值对前一个抽样得到的输出数据y(t-1)也进行加权，加权后的输入数据和加权后的输出数据相加后，其和用作通过从输入数据x(t)中消除噪声得到的输出数据y(t)。
对应于输入数据x(t)加权值的可靠性αx(t)表示输入数据和真值间的接近程度，而对应于前一个抽样得到的输出数据y(t-1)加权值的可靠性αy(t)表示了输出数据y(t-1)和真值间的接近程度。因为这个例子中真值是恒定的，当根据式(8)(式中执行加法，更接近输入数据x(t)和输出数据y(t-1)的任何一个，都认为更重要)求输出数据y(t)时，这时输出数据更加接近真值。
换句话说，小的加权值用于已经输入的可靠性小的输入数据上，而大的加权值用在已经输入的可靠性大的输入数据上。以上述方式加权后的输入数据根据由式(1)导出的式(8)(相当于式(1))相加后的总和即为输出数据y(t)。更直观的来说，输出数据是通过输入数据相加获得的，相加时带有噪声大的输入数据影响不大而带有噪声小的输入数据影响大。
因此，当获得总平均值时，无论是低s/n比的输入数据还是高s/n比的数据，对输出数据的影响都在同一水平上。而在本实施例中，根据式(8)，具有低s/n比的输入数据对输出数据影响小，而具有高s/n比的输入数据对输出数据影响大。结果得到的输出数据比总平均值情况下更有效的消除了噪声。
当获得移动平均值时，对于时间相距较远的输入数据，即使有较高的s/n比，也根本不会对输出数据有影响；而对于时间相距较近的输入数据，即使有较低的s/n比，也会对输出数据影响很大。而在本实施例中，根据式(8)，输入数据对输出数据的影响只与s/n比有关，而与时间的接近程度无关。结果得到的输出数据比移动平均值情况下更有效的消除了噪声。
如上所述，根据式(8)，在具有高可靠性(接近真值)的输入数据的影响下，输出数据开始接近真值。因此，由于许多情况下处理的输入数据具有高可靠性，输出数据就接近真值了。结果随时间推进输出数据的s/n比提高了。
上述情况中假定真值是恒定的。对于真值变化的数据，例如需要将数据分割成不同区域，在每一区域中假定真值是恒定的，并对每一区域执行上述处理。
在上述情况中在邻近时间内处理的一些输入数据项的方差作为输入数据的可靠性(此后称为输入可靠性)。这时要等这些输入数据项输入后，才能得到输入可靠性，输出数据，或是输出数据的可靠性(此后称为输出可靠性)。在用于获得输入可靠性的输入数据项输入之前，能够例如不用计算输入可靠性或输出可靠性，并且求得迄今已经输入的输入数据的简单平均值，并作为输出数据输出。在用于求得输入可靠性的输入数据项输入之前所使用的方法并不局限于上述一种方法。
当输入数据x(t)为一维数据(如音频数据)时，输出数据y(t-1)为输入数据x(t)前一个抽样得到的输入数据x(t-1)处理后获得的结果。当输入数据x(t)为二维数据(如图像数据)时，输出数据y(t-1)为输入数据x(t)前一帧(或一场)得到的输入数据x(t-1)处理后获得的结果。
特别是，当第t帧中的一个像素(确切的说是该像素的像素值)被称为x(t)时，根据式(8)消除这个作为输入像素的像素x(t)中的噪声。作为结果产生的输出像素被输出，而输入像素x(t-1)表示在第t-1帧中相应于输入像素x(t)的一个像素。输出像素y(t-1)表示从输入像素x(t-1)中消除噪声后获得的像素。
因为一幅图像中通常有一次运动，因此输入像素x(t)的位置可能和前一帧获得的输出像素y(t-1)的位置并不相同。因此，当根据式(8)消除噪声时，需要检测相应于该输入像素x(t)的输出像素y(t-1)。
相应于该输入像素x(t)的输出像素y(t-1)可以根据该输入数据x(t)的检测运动向量(参照输入像素x(t)表示输出像素y(t-1)的位置的向量)来获得，但是该运动向量并不需要取得很准确。因此，即使当根据这样的运动向量检测这个输出像素y(t-1)时，也可以准确地由前一帧中的像素转换得到对应于输入像素x(t)的输出像素y(t-1)。
因为这样的输出像素y(t-1)是从应该用于式(8)中计算的值移位(shift)而来的，因此认为经过这次转换，该输出像素y(t-1)的输出可靠性αy(t-1)降低了。
换言之，当输入像素x(t)有运动，运动影响输出像素y(t-1)的输出可靠性αy(t-1)。
因此引入了表示运动向量的可靠性(与真值的接近程度)的可靠度“m”(后面需要的话称为向量可靠性)，用“m”补偿输出可靠性αy(t-1)，即m×αy(t-1)。
这里，由式(5)得到的输出可靠性αy(t)将通过下式得到。
αy(t)=mαy(t-1)+αx(t)(13)由式(6)得到的加权值w(t)将由下式得到。
w(t)=mαy(t-1)/(mαy(t-1)+αx(t)) (14)如上所述，由于是通过乘以向量可靠性“m”补偿输出可靠性αy(t-1)，因此需要当运动向量接近真值时，可靠性“m”接近1，而当运动向量远离真值时，可靠性为一个小于1的小值。假定向量可靠性“m”由下式定义。
m=N(t)/D(t) (15)这里N(t)表示输入像素x(t)中噪声的(估计)量，而D(t)表示用输入像素x(t)的运动向量作了运动补偿后得到的余量。该余量为输入像素x(t)和相应于该输入像素x(t)前一帧的输出像素y(t-1)(在从输入像素x(t)的位置移位运动矢量的位置、前一帧得到的输出像素y(t-1))之间的差的绝对值。
这时，由于D(t)是用带噪声的输入像素x(t)和噪声消除后的输出像素y(t-1)计算而得的，D(t)中既包含噪声又包含真余量。因此由式(15)可知，向量可靠性“m”是由下述计算获得[噪声量]/([噪声量]+[真余量])。因此，当真余量接近零时，向量可靠性接近1；而当真余量为大值时，向量可靠性为小于1的小值。
图2为一个实施例中运用上述原理消除一幅图像中噪声的噪声消除设备的结构示例。在这个噪声消除设备中，检测输入像素x(t)的运动向量，并由式(15)获得它的向量可靠性“m”。将该向量可靠性“m”作为补偿系数补偿输出可靠性αy(t-1)，由式(14)求得加权值w(t)，最后通过式(8)计算输入像素x(t)中有效消除噪声后的输出像素y(t)并输出该输出像素y(t)。
构成一幅输入图像、并被消除噪声后的输入像素被输出到ME(运动检测)部分1，噪声量估计部分2和噪声降低部分3。
除了输入像素外，ME部分1同样也接收存储在存储器5中的前一帧的输出像素。ME部分1检测输入像素的运动向量，并将该运动向量输出到噪声量估计部分2和噪声降低部分3。噪声量估计部分2估计所接收的输入图像(如一组帧中)中噪声的多少，并将其输出到噪声减少部分3。
除了接收上述的输入像素、输入像素的运动向量和噪声量外，噪声减少部分3还从存储器4中接收前一帧获得的输出像素的输出可靠性，并从存储器5中接收前一帧的输出像素。噪声减少部分3计算输入像素的输入可靠性，根据式(8)、(13)、(14)和(15)处理输入像素，然后将消除输入像素中噪声后获得的输出像素输出。输出像素作为输入像素处理结果输出，同时输出到存储器5。如上所述，噪声减少部分3根据式(14)执行处理操作，以获得输出像素的输出可靠性。该输出可靠性输出到存储器4。
存储器4和存储器5分别存储由噪声减少部分3输出的输出可靠性和输出像素。
下面将参照图3中的流程图说明图1中所示的噪声消除设备执行的处理操作。
当一帧的输入像素开始输入到ME部分1时，存储于存储器5中的、前一帧获得的输出像素被读出，并被输出到ME部分1。在步骤S1中，ME部分1例如通过使用接收到的输入像素和前一帧获得的输出像素进行可变块大小块匹配，检测该输入像素的运动向量，并将该运动向量输出到噪声量估计部分2和噪声减少部分3。
在步骤S2中，噪声量估计部分2根据输入像素的运动向量判断该帧中含有该输入像素的一个静止部分(以后，如需要称为目标帧)，并通过使用该静止部分中的输入像素估计目标帧中的噪声量。噪声量的估计结果输出到噪声减少部分3。
噪声减少部分3根据从噪声量估计部分2输出的噪声量得到该输入像素x(t)的输入可靠性αx(t)，并使用分别存储于存储器4和存储器5中的前一帧获得的输出可靠性αy(t-1)和输出像素y(t-1)计算式(8)、(13)、(14)和(15)。经过这些运算，就得到了消除了输入像素x(t)中噪声后的输出像素y(t)和它的可靠性αy(t)。输出像素y(t)和它的可靠性αy(t)分别输出到并存储在存储器5和存储器4。
当构成目标帧的所有输入像素都经过上述的处理后，该处理操作进行到步骤S4，并由一个控制部分(没有在图中表示出来)判断是否发现下一帧。当其判断发现下一帧时，该处理回到步骤S1并重复上述的处理过程。而当在步骤S4中该控制判断没发现下一帧时，该处理操作将结束。
图4中示出图2所示的ME部分1的结构的一个示例。
当前帧存储器11顺序接收和存储构成目标帧的输入像素x(t)。当前帧存储器11根据地址输出部分21输出的地址，从所存储的输入像素x(t)中读取构成事先预定大小、且中央置有预定目标输入像素的块(此后称为参考块)的像素，并将这些像素输出到绝对差总和计算部分13。
先前帧存储器12顺序接收存储器5中存储的构成目标帧前一帧的输出像素y(t-1)，并将前一帧(目标帧的前一帧)消除噪声后获得的输出像素y(t-1)存储在噪声降低部分3中。先前帧存储器12根据地址输出部分21输出的地址，从所存储的输出像素y(t-1)中读取构成与参考块相同大小的块(之后称为检测块)的像素，并将这些像素输出到绝对差总和计算部分13。
绝对差总和计算部分13计算在块中相同位置，由当前帧存储器11输出的构成参考块的输入像素和由先前帧存储器12输出的构成检测块的输出像素之间的差，求得这些差的绝对值的和，并将其作为余量输出到余量存储器14。余量存储器14中存储由绝对差总和计算部分13输出的余量。
最小值检测部分15检测余量存储器14中所存储余量的最小值(之后称为最小余量)，并将最小余量输出到差计算部分17。最小值检测部分15同时还将最小余量在余量存储器14中的存储地址输出到控制器20。
次最小值检测部分16检测存储在余量存储器14中的余量的次最小值(之后称为次最小余量)，并将其输出到差值计算部分17。差值计算部分17计算从次最小值检测部分16输出的次最小余量与从最小值检测部分15输出的最小余量之间的差值，也就是从最小余量中减去次最小余量，并将差值输出到判断部分18。
判断部分18根据差值计算部分17输出的差值判断参考块和检测块的块大小是否扩展了，并将判断结果输出到块大小扩展命令部分19。根据检测结果，判断部分18还输出一个从控制器20输入的候选向量，作为输入像素的运动向量。
块大小扩展命令部分19根据判断部分18的判断结果，命令控制器20将参考块和检测块的大小扩展。
控制器20将当前帧存储器11中存储的目标帧的每一输入像素顺序设置为目标输入像素，并控制地址输出部分21，使其输出构成参考块(块中央为目标输入像素)的输入像素在当前帧存储器11中的存储地址。控制器20同时还顺序规定了多个作为输入像素的候选运动向量的向量(候选向量)，并控制地址输出部分21，使其输出构成检测块(块中央为根据每一候选向量从目标输入像素位置移到当前位置的输出像素)的输出像素在先前帧存储器12中的存储地址。这时，参考块和检测块的块大小是根据块大小扩展命令部分19中的命令规定的。
根据最小值检测部分15输出的最小余量在余量存储器14中的存储地址，控制器20进一步检测获得最小余量时使用的候选向量，并将该候选向量输出到判断部分18。
地址输出部分21根据控制器20的控制，将输入像素和将要被读取的输出像素的地址分别输出到当前帧存储器11和先前帧存储器12。
上述的ME部分1的结构，是通过可变块大小的块匹配来检测构成目标帧的每一输入像素的运动向量。
当第n帧和第(n-1)帧中的图像中显示了一个大到一定程度的物体，而对作为目标帧的第n帧执行运动检测操作时，如果检测块和参考块的尺寸小于这个几乎有均匀像素值的大物体的尺寸(如图5A所示)，由于在任何位置的余量(由绝对差总和计算部分13计算的差值的绝对值总和)不会变化太大，因此检测到高精度的运动向量很困难。
因此，在这种情况下，检测块和参考块的块大小将会如图5所示的增加(扩展)。然后该检测块或参考块不能包括在该物体中，而扩展出该物体。因此，在检测块是否处于根据参考块所定的位置的两种情况下，余量变化很大。结果就有可能检测到高精度的运动向量。
正如所要求的那样，在可变块大小的块匹配中，块大小是按需变化的，并且执行上述的块匹配(最小余量的检测)。
下面将参照图6所示的流程图说明由图4所示的ME部分1执行的运动向量检测处理操作。
当前帧存储器11顺序接收和存储输入像素x(t)，而先前帧存储器12顺序接收和存储由存储器5存储的输出像素y(t-1)。
在运动向量检测处理中，首先，块大小扩展命令部分19将块大小设置为预定的初始值，并将其输出到步骤S11中的控制器20。控制器20控制输出地址部分21，使其输出从当前帧存储器11和先前帧存储器12中读取参考块和检测块中的像素所需地址，其中参考块和检测块的块大小都是由块大小扩展命令部分19规定的。
特别是，控制器20将存储在当前帧存储器11中的目标帧中的一个输入像素设为目标输入像素，并控制地址输出部分21，使其输出参考块(具有规定大小、该目标输入像素位于块中央位置)中的输入像素在当前帧存储器11中的存储地址。控制器20同时还顺序规定多个作为输入像素的候选运动向量的候选向量，并控制地址输出部分21，使其输出构成检测块(块中央为根据每一候选向量从目标输入像素位置移到当有前位置的输出像素)的输出像素在先前帧存储器12中的存储地址。
通过上述操作，目标输入像素位于中央位置的参考块中的输入像素从当前帧存储器11中读出，并输出到绝对差总和计算部分13。此外，检测块中(块中央为根据每一候选向量从目标输入像素位置移到当前位置的输出像素)的输出像素，顺序从先前帧存储器12中读出，并输出到绝对差总和计算部分13。随后的处理操作是在参考块(由当前帧存储器11输出)与每一个检测块(由先前帧存储器12输出的、对应于多个候选向量)间执行块匹配操作。
更特别是，在步骤S12中，绝对差总和计算部分13计算参考块中和对应于多个候选向量的多检测块的每一个中相应像素间的差值的绝对值总和。该差值的绝对值总和作为相应于多个候选向量的余量被输入到余量存储器14。余量存储器14在相应地址存储相应于多个候选向量的余量。
然后，处理操作进行到步骤S13。最小值检测部分15检测存储于余量存储器14中的余量的最小余量ε1，次最小值检测部分16检测次最小余量ε2。最小余量ε1和次最小余量ε2输出到差值计算部分17，计算两者的差值ε1-ε2。通过差值计算部分17求得的差值ε1-ε2输出到判断部分18。在步骤S14中，判断部分18判断差值ε1-ε2是否大于预定阀值e。
当步骤S14中判断出差值ε2-ε1不大于预定阀值e，也就是说，最小余量ε1与次最小余量ε2间只有很小的差值时，可见该块的尺寸就如图5A所示，是一个小值，处理操作继续到步骤S15。块大小扩展命令部分19命令控制器20扩展块的大小。这种情况下，控制器20控制地址输出部分21，使其输出块大小已经根据块大小扩展命令部分19输出指令扩展后的参考块和检测块的地址。
通过这些操作，目标输入像素位于中央位置的扩展参考块中的输入像素从当前帧存储器11中读出，而扩展检测块中(块中央为根据每一候选向量从目标输入像素位置移到当前位置的输出像素)的输出像素顺序从先前帧存储器12中读出。处理操作返回到步骤S12，重复上述的处理过程。换句话说，就是在同样具有较大块尺寸的参考块和每一个检测部分间执行块匹配。
当步骤S14中判断部分18判断差值ε2-ε1大于预定阀值e，也就是说，最小余量ε1与次最小余量ε2间有较大差值时，可见该块的尺寸就如图5B所示，处理操作继续到步骤S16。判断部分18输出已获得最小余量ε1的候选向量，作为目标输入像素的运动向量。
更特别是，最小值检测部分15将最小余量ε1在余量存储器14中的存储地址输出到控制器20。控制器20根据该地址识别该最小余量ε1所用于的候选向量。然后，控制器20将候选向量输出到判断部分18。判断部分18将控制器20输出的候选向量作为目标输入像素的运动向量输出。
处理操作进行到步骤S17，控制器20判断存储于当前帧存储器11中的帧中的所有输入像素是否都曾被设置为目标输入像素，以及它们的运动向量是否都曾被检测过。当在步骤S17控制器20判断存储于当前帧存储器11中的所述帧中，不是所有输入像素都曾被设置为目标输入像素，处理操作返回到步骤S11，而不曾被设置为目标输入像素的输入像素被设置目标输入像素，然后重复上述的处理过程。
当控制器20在步骤S17判断存储于当前帧存储器11中的所述帧的所有输入像素都曾被设置为目标输入像素，处理操作继续到步骤S18，然后控制器20判断是否发现需要被处理的下一帧。当在步骤S18中控制器20判断发现了需要被处理的下一帧，也就是说，当下一帧被发送到当前帧存储器11时，处理操作继续到步骤S11，然后重复上述的处理过程。
当在步骤S18中控制器20判断没有发现需要被处理的下一帧，运动向量检测处理就结束了。
运动向量通过可变块大小的块匹配检测。运动向量可以通过固定参考块和检测块的块大小检测。
图7示出图2中所示噪声量估计部分2的结构的一个例子。
将要处理的输入像素x(t)被输入到延迟电路31和方差计算部分39。由ME部分1检测的输入像素x(t)的运动向量被输入到延迟电路35和静止像素判断部分42。
延迟电路31将输入像素x(t)延迟一帧长的时间，然后作为输入像素x(t-1)输出到延迟电路32和方差计算部分39。延迟电路32将延迟电路31输出的输入像素x(t-1)延迟一帧长的时间，然后作为输入像素x(t-2)输出到延迟电路33和方差计算部分39。延迟电路33将延迟电路32输出的输入像素x(t-2)延迟一帧长的时间，然后作为输入像素x(t-3)输出到延迟电路34和方差计算部分39。延迟电路34将延迟电路33输出的输入像素x(t-3)延迟一帧长的时间，然后作为输入像素x(t-4)输出到方差计算部分39。
延迟电路35至38中的每一电路对运动向量都进行了同延迟电路31至34一样的延迟处理。因此当输入像素x(t)的运动向量被称为v(t)，例如延迟电路35至38分别输出运动向量v(t-1)至v(t-4)。运动向量v(t-1)至v(t-4)分别输出到静止像素判断部分43至46。
方差计算部分39计算所接收到的输入像素x(t)至x(t-4)的方差，然后将其输出到方差累加存储器40。方差累加存储器40在存储器控制器48的控制下累加方差计算部分39输出的方差。帧平均方差计算部分41计算方差累加存储器40中累加的方差的平均值(用累加的方差值除以累加的方差的数目)，然后将其作为输入像素x(t)的噪声量输出。
静止像素判断部分42根据接收到的运动向量v(t)判断该输入像素x(t)是否属于静止部分，并将判断结果输出到连续静止像素位置检测部分47。静止像素判断部分43到46也按照从延迟电路35到38输出的运动向量v(t-1)到v(t-4)确定输入像素x(t-1)到x(t-4)是否属于静止部分，并且发送判断结果到连续静止像素位置检测部分47。
连续静止像素位置检测部分47根据静止像素判断部分42至46输出的判断结果，检测连续帧中属于静止部分的像素位置。具体地说，连续静止像素位置检测部分47检测位于从静止像素判断部分42至46输出的所有判断结果指示静止部分的位置的输入像素x(t)，并将该部分输出到存储器控制器48。
存储器控制器48控制方差累加存储器40，使其在方差计算部分39输出的方差中，仅累加位于连续静止像素位置检测部分47输出的静止部分的像素的方差。表示一个新帧起始的输入像素开始输入的帧重置信号被传输到存储器控制器48。当存储器控制器48接收到帧重置信号后，将命令帧平均方差计算部分41计算方差累加存储器40存储的方差的平均值，然后将方差累加存储器40中的存储值置为零。
对于上述结构的噪声量估计部分2中，在需被处理(被噪声消除处理)的所有构成帧(目标帧)的输入像素中，只有静止部分的输入像素用于执行噪声量估计的处理，以估计输入像素中的噪声量。
图8为估计噪声量处理过程的流程图。
在估计噪声量处理过程中，首先在步骤S21中，构成目标帧的预定输入像素被设为目标输入像素x(t)，计算五个像素(目标输入像素x(t)，前四帧中与目标输入像素x(t)处于相同位置的输入像素x(t-1)至x(t-4)的方差，并判断这五个像素x(t)至x(t-4)是否为属于一个静止部分的一个像素(静止像素)。
具体地说，延迟电路31和方差计算部分39接收构成目标帧的输入像素x(t)，而延迟电路35和静止像素判断部分42接收该输入像素x(t)由ME部分1检测的运动向量v(t)。
延迟电路31至34中的每一延迟都将输入像素延迟一帧长的时间，并将其输出到方差计算部分39。通过这些操作，方差计算部分39在同一时间内接收输入像素x(t)至x(t-4)，并将其输出到方差累加存储器40。
延迟电路35至38将接收到的运动向量延迟一帧长的时间，并分别将其输出到静止像素判断部分43至46。因此，静止像素判断部分42至46以相同定时接收输入像素x(t)至x(t-4)的运动向量v(t)至v(t-4)。静止像素判断部分42至46根据所接收到的运动向量v(t)至v(t-4)判断输入像素x(t-1)至x(t-4)是否属于静止部分，并将判断结果输出到连续静止像素位置检测部分47。
连续静止像素位置检测部分47根据静止像素判断部分42至46对静止像素的判断结果，检测连续帧(这里为五帧，从第(t-4)帧到第t帧)中目标输入像素x(t)的静止位置。检测结果输出到存储器控制器48。
在步骤S22中，存储器控制器48根据连续静止像素位置检测部分47的输出判断目标输入像素x(t)的位置是否属于连续帧中的静止部分。当在步骤S22中存储器控制器48判断目标输入像素x(t)的位置不属于连续帧中的静止部分时，也就是说，当与目标输入像素x(t)处于相同位置的输入像素x(t-1)至x(t-4)任何一个有运动时，存储器控制器48将命令方差累加存储器40放弃方差计算部分39输入的方差，而处理跳过步骤S23而继续步骤S24。因此，在这种情况下，方差累加存储器40放弃方差计算部分39输入的方差，也就意味着，当方差是由有运动的像素求得的时候，不累加这个方差。
在步骤S22中，当存储器控制器48判断目标输入像素x(t)的位置属于连续帧中的静止部分时，也就是说，当与目标输入像素x(t)处于相同位置的输入像素x(t-1)至x(t-4)的任何一个没有运动时，处理继续步骤S23，存储器控制器48将命令方差累加存储器40累加从方差计算部分39输入的方差。然后，处理继续步骤S24。因此，在这种情况下，方差累加存储器40累加方差计算部分39输入的方差，也就意味着，将由静止像素求得的方差加到已经累加的方差值中，并存储该累加值。
在步骤S24中，控制器(没有在图中表示出来)判断构成目标帧的所有输入像素是否都曾被设置为目标输入像素并被处理过。当判断不是所有的输入像素都曾被设置过，处理返回到步骤S21，而不曾被设置为目标输入像素的输入像素被设置成一个新目标输入像素，然后重复步骤S21以及随后的步骤。
当在步骤S24中，控制器(没有在图中表示出来)判断构成目标帧的所有输入像素都曾被设置为目标输入像素并被处理过，该处理进行到步骤S25，帧平均方差计算部分41求得构成目标帧的每一个输入像素中的噪声量。
特别是当目标帧的所有输入像素都被处理过时，存储器控制器48接收一个帧重置信号，当存储器控制器48接收到帧重置信号时，存储器控制器48命令帧平均方差计算部分41计算方差累加存储器40中存储的累加的方差的平均值，然后将方差累加存储器40中的存储值置为零。
帧平均方差计算部分41在存储器控制器48的命令下计算方差累加存储器40中存储的一帧的累加方差的平均值。如上所述，方差累加存储器40仅累加静止像素的方差，并存储累加的方差值。因此，帧平均方差计算部分41计算这些静止像素(在连续五帧中都静止的像素)的方差的平均值。平均值作为构成目标帧(第t帧)的输入像素中包括的噪声量N(t)输出。
然后，处理继续到步骤S26，控制器(没有在图中表示出来)判断是否发现下一帧的输入像素及其运动向量。当判断发现时，处理返回到步骤S21，该帧被设为一个新的目标帧，然后重复上述的相同的处理。
当步骤S26中控制器判断没有发现下一帧的输入像素及其运动向量时，该估计噪声量的处理过程将终止。
如上所述，噪声量估计部分2检测在五帧(从目标帧前四帧到目标帧)中连续静止、并处于相同位置的五个像素，然后将这五个输入像素的方差的平均值作为目标帧的输入像素的估计噪声量。因此，在这种情况下，由于有运动的像素没有被用来估计噪声量，因此有效的防止了图像中的运动影响噪声量的估计。也就是说，估计的噪声量(接近真实的噪声量)几乎不被图像中的运动影响。
在上述的情况中，方差是由五帧(从目标帧前四帧到目标帧)中连续静止、并处于相同位置的五个像素求得的。用于求方差的像素并不只限于五个像素。
图9示出图2所示噪声降低部分3的结构的一个例子。噪声减少部分3执行消除输入像素x(t)中噪声的噪声降低处理。
具体地说，存储器控制器51至52接收经ME部分1检测的输入像素x(t)运动向量v(t)。存储器控制器51至52根据运动向量v(t)规定存储器4和存储器5的读取地址，并分别读出存储器4中的前一帧的输出像素y(t-1)的输出可靠性αy(t-1)和存储器5中的输出像素y(t-1)。存储器控制器51将存储器4中读出的输出可靠性αy(t-1)输出到加权值和可靠性计算部分55，而存储器控制器52将存储器5中读出的输出像素y(t-1)输出到帧间差值计算部分53和加权平均值计算部分56。
帧间差值计算部分53接收输入像素x(t)和上述存储器控制器52输出的输出像素y(t-1)。帧间差值计算部分53计算此刻的输入像素x(t)和前一帧获得的输出像素y(t-1)之间的差值的绝对值，即检测的输入像素x(t)的运动向量V(t)的余量D(t)，并将其输出到向量可靠性计算部分54。
向量可靠性计算部分54接收来自上述帧间差值计算部分53的余量D(t)和噪声量估计部分2输出的输入像素x(t)的噪声量N(t)。向量可靠性计算部分54用余量D(t)和噪声量N(t)根据式(15)计算表示运动向量v(t)可靠性的向量可靠性“m”，并将其输出到加权值和可靠性计算部分55。
加权值和可靠性计算部分55接收上述存储器控制器51输出的输出可靠性αy(t-1)，向量可靠性计算部分54输出的向量可靠性“m”和噪声估计部分2输出的输入像素x(t)的噪声量N(t)。加加权值和可靠性计算部分55根据噪声量N(t)求得输入像素x(t)的输入可靠性αx(t)，并用该输入可靠性αx(t)，以及存储器控制器51输出的输出可靠性αy(t-1)和向量可靠性计算部分54输出的向量可靠性“m”根据式(13)和(14)求得相应于该输入像素x(t)的输出像素y(t)的输出可靠性αy(t)和用于求得该输出像素y(t)的加权值w(t)。由加权值和可靠性计算部分55求得的输出可靠性αy(t)被输出到存储器4并存储与其中，而加权值w(t)被输出到加权平均值计算部分56。
加权平均值计算部分56根据式(8)用接收到的输入像素x(t)，输出像素y(t-1)和加权值w(t)计算加权平均值(加权和)，并将求得的值作为从输入像素x(t)中消除噪声后获得的输出像素y(t)(相应于输入像素x(t)的输出像素y(t))输出。
下面将参照图10所示流程图详细说明图3中所示噪声降低部分3所执行的噪声降低处理。
目标输入像素x(t)，是将被处理的输入像素x(t)，被输入到帧间差值计算部分53和加权平均值计算部分56。同时在步骤S31中，相应于目标输入像素x(t)的前一帧获得的输出像素y(t-1)被输出到帧间差值计算部分53和加权平均值计算部分56，而其输出可靠性αy(t-1)被输出到加权值和可靠性计算部分55。
具体地说，目标输入像素x(t)被输出到帧间差值计算部分53和加权平均值计算部分56，同时目标输入像素x(t)的运动可靠性输出到存储器控制器51至52。
存储器控制器51根据运动向量v(t)计算前一帧获得的输出像素y(t-1)的输出可靠性αy(t-1)在存储器4中的存储地址，然后读取该地址处的输出可靠性αy(t-1)，并将其输出到加权值和可靠性计算部分55。存储器控制器52根据运动向量v(t)计算相应于目标像素x(t)的前一帧获得的输出像素y(t-1)在存储器5中的存储地址，然后读取该地址的输出像素y(t-1)，并将其输出到帧间差值计算部分53和加权平均值计算部分56。
处理继续到步骤S32。帧间差值计算部分53计算由存储器控制器52输出的输出像素y(t-1)和输入像素x(t)之间的差值的绝对值，即检测的目标输入像素x(t)的运动向量V(t)的余量D(t)，并将其输出到向量可靠性计算部分54。
向量可靠性计算部分54在对包含目标输入像素x(t)的帧(目标帧)的处理开始时，接收噪声量估计部分2输出的噪声量N(t)。向量可靠性计算部分54用余量D(t)和噪声量N(t)根据式(15)计算表示运动向量V(t)可靠性的向量可靠性“m”。向量可靠性“m”被输出到加权值和可靠性计算部分55，处理继续到步骤S34。
在步骤S34中，加权值和可靠性计算部分55计算目标输入像素x(t)的输入可靠性αx(t)，并进一步求得相应于该输入像素x(t)的输出像素y(t)的输出可靠性αy(t)和用于求得该输出像素y(t)的加权值w(t)。
具体地说，加权值和可靠性计算部分55根据下式，使用噪声量N(t)求得输入像素x(t)的输入可靠性αx(t)。
αx(t)=1/N(t) (16)因为如上所述，N(t)表示几乎不被图像中运动影响的噪声量(接近真实的噪声量)，因此可如(16)式所示，用噪声量定义输入可靠性αx(t)以求得能精确表示目标输入像素x(t)的输入可靠性αx(t)的输入可靠度。如上所述，噪声量N(t)是五帧(从目标帧前四帧到目标帧)中连续静止、并处于相同位置的五个像素求得的方差平均值。因此，只求得了目标帧中的一个噪声量。于是，由于输入可靠性αx(t)是从噪声量求得的，因此只求得了目标帧中的一个输入可靠性。也就是说，输入可靠性αx(t)是在目标帧中每一个输入像素都包括该噪声量N(t)的情况下求得的。
加权值和可靠性计算部分55使用由式(16)计算所得的输入可靠性αx(t)，以及存储器控制器51输出的输出可靠性αy(t-1)和向量可靠性计算部分54输出的向量可靠性“m”根据式(13)和(14)求得相应于该输入像素x(t)的输出像素y(t)的输出可靠性αy(t)和用于求得该输出像素y(t)的加权值w(t)。该输出可靠性αy(t)被输出到存储器4并存储与其中，而加权值w(t)被输出到加权平均值计算部分56。
在步骤S35中，加权平均值计算部分56根据式(8)用目标输入像素x(t)，存储器控制器52输出的输出像素y(t-1)和加权值和可靠性计算部分55输出的加权值w(t)计算加权平均值。特别是，加权平均值计算部分56用(1-w(t))和w(t)作为加权值，计算目标输入像素x(t)和前一帧获得的输出像素y(t-1)(相应于目标输入像素x(t))的加权和，并将求得的和值作为从输入像素x(t)中消除噪声后获得的输出像素y(t)输出。输出像素y(t)被输出到存储器5并存储与其中。
然后，处理继续到步骤S36，并且控制器(没有在图中表示出来)判断构成目标帧的所有输入像素是否都曾被处理过。当判断不是所有的输入像素都曾被处理过，处理返回到步骤S31，而不曾被设置为目标输入像素的输入像素被设置新目标输入像素，然后重复步骤S31以及随后的步骤。
当在步骤S36控制器判断目标帧的所有输入像素都曾被处理过，该处理进行到步骤S37，继续判断是否发现需要被处理的下一帧。当步骤S37中，控制器判断发现需要被处理的下一帧时，处理返回到步骤S31，该帧被设为一个新的目标帧，然后重复上述的处理。
当在步骤S36中控制器判断没有发现需要被处理的下一帧的输入像素，该降低噪声的处理过程将终止。
如上所示，通过只使用静止部分的像素，估计出输入像素x(t)中包括的噪声量，通过该噪声量求得输入可靠性αx(t)，然后求得运动向量v(t)可靠性的向量可靠性“m”，并以此向量可靠性“m”作为补偿系数补偿输出可靠性αy(t-1)。因此进一步有效的消除了运动图像中的噪声。
在上述的例子中，是用向量可靠性“m”补偿输出可靠性αy(t-1)。另外，也可以补偿输入可靠性αx(t)。
具体地说，在上述例子中，噪声量估计部分2计算时间轴方向上连续静止的输入向量的方差平均值，并设其倒数为输入像素x(t)的输入可靠性αx(t)。这时，静止输入像素的平均值设为树值(tree value)。而该平均值并不需要和输入像素的真值相匹配。因此理想情况是，如式17所示，对于表示输入像素具有真值的可靠性，代表该可靠性的输入可靠性αx(t)用一个直接反映输入像素x(t)与真值X间误差的值来表示(在式(17)中，输入可靠性αx(t)设为输入像素x(t)与真值X间误差的平方的倒数，并且这是包含在输入像素x(t)中的噪声功率平方的倒数)。
αx(t)=1/(x(t)-x)2(17)由于式(17)中输入像素x(t)的真值X为未知的，因此输入可靠性αx(t)需在不使用真值X的情况下求得。因此，在上述的例子中，输入可靠性αx(t)是在静止输入像素的平均值为输入像素x(t)的真值的假设下求得的。
因此，如果静止输入像素的平均值偏移输入像素x(t)的真值时，由输入可靠性αx(t)表示的输入像素x(t)的可靠性将不可靠该偏移值。
具体地说，当静止输入像素的平均值用作假定真值X′，而将输入像素x(t)与该假定真值间X＇误差的平方的倒数用作输入可靠性αx(t)时，输入可靠性可用下式表示。
αx(t)=1/(Δx(t))2=1/(x(t)-x＇)2(18)由于式(18)中的(Δx(t))2为输入像素x(t)与该假定真值X′间误差的平方((x(t)-X′)2)，输入像素x(t)中的噪声也几乎被估计出了。然而，(Δx(t))2并不包括假定真值X′和真值间的误差。因此，如图11所示，该误差平方和输入像素x(t)相对于真值X的误差平方((x(t)-X)2是根本不同的。
表示输入像素x(t)与该假定真值X′间误差平方(Δx(t))2的可靠性等于输入像素x(t)相对于真值X的误差平方((x(t)-X)2，即表示假定真值X′等于真值X的可靠性，将作为补偿系数(σx′)2被引入，用于补偿输入可靠性αx(t)。由输入像素x(t)与假定真值间X＇间误差平方(Δx(t))2的倒数表示的输入可靠性αx(t)被补偿，以获得更加可靠的输入可靠性αx(t)(更可靠的代表输入像素x(t)为真值的可靠性的输入可靠性αx(t))。
假如假定使用式(19)所示的前N个输入像素x(t)至x(t-(N-1))(包括输入像素x(t))的平均值(运动平均值)作为假定真值。X′=x-=Σn=0N-1x(t-1)N---(19)]]>在式(19)中，上带一横线的x表示输入像素x(t)至x(t-(N-1))的平均值。在本说明书中，上带一横线的x表示为 。
这里，同补偿系数(σx＇)2一样，前N个输入像素x(t)至x(t-(N-1))(包括输入像素x(t))的方差的平均值 ，可用于下述表达式中。σx′2=σx~2=Σn=0N-1(x(t-n)′-x~)2N(N-1)---(20)]]>式(20)中，用右侧分子除以(N-1)而获得的值为输入像素x(t)至x(t-(N-1))的方差。在式(20)中，将该值除以N就得到了前N个输入像素x(t)至x(t-(N-1))的方差的平均值 。由式(20)求得的平均值 在统计学中称为均方差。因此在本说明书中也称为均方差。
这里，根据下式补偿输入可靠性αx(t)。
αx(t)=1/((Δx(t))2+(σx＇)2) (21)在式(21)中，输入像素x(t)与该假定真值X＇间误差平方(Δx(t))2(补偿前的输入可靠性的倒数)通过补偿系数(σx＇)2补偿后，其倒数就作为补偿后的输入可靠性αx(t)。也就是说，误差平方(Δx(t))2和补偿系数(σx＇)2的和的倒数作为补偿后的输入可靠性αx(t)。
在统计学中，由于在某些情况下，所估计的输入像素x(t)与该假定真值X＇间误差平方(Δx(t))2要小于输入像素x(t)相对于真值X的误差平方((x(t)-X)2，因此如式(21)所示将误差平方(Δx(t))2和补偿系数(σx＇)2的和的倒数作为补偿后的输入可靠性αx(t)。然后，输入可靠性αx(t)更精确的表示输入像素x(t)为真值的可靠性。
在式(17)至(21)中，由输入像素x(t)与该假定真值X′间误差平方()2的倒数定义的输入可靠性αx(t)得到了补偿。除了上述的方式外，式(16)所示的输入可靠性αx(t)还可以将补偿系数(σx′)2加到αx(t)=1/N(t)的分母N(t)，以获得更加可靠的输入可靠性αx(t)。
本发明还可以应用到下列情况中从图像数据，声音数据和其他数据项中消除噪声。
在本实施例中，前面描述了本发明消除噪声方面的内容。如上所述，由于在本发明中，随着输入数据的处理，输出数据随时间的推后而逐渐改善，本发明同样是用于输入数据的波形成形(波形均等化)。
上述的一系列处理可以由软件或硬件实现。当通过软件实现这些处理时，将构成该软件的程序安装到噪声消除设备中作为专门硬件的计算机中或是一般用途的计算机中。
对于安装了执行上述系列处理的程序的计算机。图12示出这种计算机结构的一个例子。
该程序预先存储到计算机中作为存储介质的硬盘405或是只读存储器(ROM)403中。
另一种选择是将该程序暂时或永久的存储到可移动存储介质411中，如软盘，只读光盘(CD-ROM)，光磁(MO)盘，数字化通用盘(DVD)，或是半导体存储器。这种可移动记录介质411可以软件包方式来提供。
程序可以从上述可移动存储介质411中安装到计算机中。另一种选择是利用无线电波，通过一个用于数字卫星广播的人造卫星，或是利用线缆，通过一个网络(如局域网(LAN)，或互联网)，从一个下载站点将该程序传输到计算机中。传输到的程序由通讯部分408接收并被安装到内置硬盘405中。
该计算机包括一个中央处理器(CPU)402。该CPU 402通过总线401与一个输入和输出接口410连接。当用户操作键盘、鼠标和麦克风构成的输入部分407、通过输入和输出接口410输入指令时，CPU 402根据该指令运行存储与ROM 403中的程序。另一种选择是，CPU 402将存储于硬盘405的程序(该程序是通过卫星或网络传输到、由通信部分408接收、并被安装到硬盘405中的，或是从可移动存储介质411中读出、并被安装到硬盘405中的)。装入随机存储器(RAM)404中，并运行该程序。通过这些操作，CPU 402根据图3、图6、图8和图10中的流程图执行处理。然后CPU 402通过输入输出接口406，根据需要将处理结果输出到液晶显示器(LCD)和话筒构成的输出部分406，或是将其通过通讯部分408传输出去，或是将其存储到硬盘405中。
在本说明书中，计算机中执行各类处理的程序步骤，并不需要按照流程图所描述步骤的顺序依时间顺序处理。处理还可以并行或单独处理，如并行处理或对象处理。
该程序可以只由一台计算机处理，也可以由多台计算机分布处理。该程序还可传输到远端计算机中处理。
本发明中的图像处理设备和图像处理方法对每一个输入像素的运动都进行判断，并根据判断结果估计属于静止部分的输入像素中的噪声量。然后根据噪声量，计算表示输入像素可靠性的输入可靠性，和表示输入像素可靠性的输出可靠性。根据输入可靠性和输出可靠性处理输入像素，以输出相应的输出像素。因此，更有效的消除了运动图像中的噪声。
本发明中的图像处理设备和图像处理方法计算表示输入数据可靠性的输入可靠性，和表示输入数据可靠性的输出可靠性。还计算了用于补偿输出可靠性的输出补偿系数。然后根据该输出补偿系数补偿输出可靠性。根据输入可靠性和补偿后的输出可靠性处理输入数据，并输出相应的输出数据。因此，获得了更精确的表示了指示输出数据为真值的输出可靠性。通过使用该输出可靠性，噪声被有效的消除了。
权利要求
1．一种用于处理输入像素数据、并将处理后的输入像素数据作为输出像素数据输出的图像处理设备，包括输入可靠性计算装置，用于计算表示输入像素数据可靠性的输入可靠性；输出可靠性计算装置，用于计算表示输出像素数据可靠性的输出可靠性；运动量检测装置，用于检测输入像素数据运动量；运动量可靠性计算装置，用于计算表示运动量可靠性的运动量可靠性；补偿装置，根据运动量可靠性补偿输出可靠性；处理装置，根据输入可靠性和补偿后的输出可靠性处理输入像素数据、以及将输出像素数据输出。
2．如权利要求1所述的图像处理设备，其中，所述运动量检测装置检测输入像素数据的运动向量。
3．如权利要求2所述的图像处理设备，其中，所述运动量检测装置计算由输入像素周围、包括该输入像素数据的预定数目像素构成的图像块，和前一屏中与该图像块大小相同的另一图像块之间相应像素的差值，并根据该差值在前一屏中查找另一图像块的位置，以检测所述运动向量。
4．如权利要求3所述的图像处理设备，其中，所述运动量检测装置在图像块间的相应像素的差值总和的最小值和次最小值间的差值等于或小于预定值时扩展图像块的大小，而在差值总和的最小值和差值总和的次最小值间的差值大于预定值时，根据差值总和变成最小值的前一屏中另一图像块的位置检测所述运动向量。
5．如权利要求3所述的图像处理设备，其中，所述运动量可靠性计算装置根据差值计算所述运动向量的可靠性。
6．如权利要求4所述的图像处理设备，其中，所述运动量可靠性计算装置根据差值总和的最小值计算所述运动向量的可靠性。
7．如权利要求5所述的图像处理设备，还包括噪声量估计装置，用于估计包括在输入像素数据中的噪声量，其中，所述运动量可靠性计算装置根据噪声量计算运动向量的可靠性。
8．如权利要求7所述的图像处理设备，还包括输入像素数据存储装置，用于存储位于屏中相同位置、按时间顺序输入的预定数目输入像素数据，其中所述噪声量估计装置根据所存储的输入图像数据的方差估计噪声量，并且所述运动量可靠性计算装置根据所估计的噪声量计算运动向量的可靠性。
9．如权利要求8所述的图像处理设备，其中，当所述运动量检测装置判断所存储的输入像素数据全是静止的时候，所述噪声量估计装置计算所存储的输入图像数据的方差以估计噪声量。
10．如权利要求9所述的图像处理设备，其中，所述噪声量估计装置使用通过将同一屏中计算的各方差平均所求得的均方差，作为该屏的估计噪声量。
11．如权利要求7所述的图像处理设备，其中，所述输入可靠性计算装置计算估计噪声量的余量，作为输入可靠性。
12．如权利要求11所述的图像处理设备，其中，所述输入可靠性计算装置计算估计噪声量与所存储的输入像素数据的均方差的和的倒数，作为输入可靠性。
13．如权利要求12所述的图像处理设备，其中，还包括输出像素数据存储装置，用于存储预定数目的、随时间输出的输出像素数据，其中，所述输出可靠性计算装置计算所存储的输出像素数据方差的倒数，作为输出可靠性。
14．如权利要求13所述的图像处理设备，其中，所述补偿装置用运动量可靠性乘以输出可靠性，以补偿输出可靠性。
15．如权利要求13所述的图像处理设备，其中，所述处理装置包括加权系数计算装置，用于根据输入可靠性和输出可靠性求得预定加权系数，并且所述处理装置用该加权系数，将输入像素数据和前一屏中相应于该输入像素数据的输出像素数据进行加权相加，以获得当前输出像素数据。
16．一种用于处理输入数据并且将处理后的数据作为输出数据输出的数据处理设备，包括噪声量估计装置，估计输入数据中所包含的噪声量；输入可靠性计算装置，根据噪声量、计算表示输入数据可靠性的输入可靠性；输出可靠性计算装置，计算表示输出数据可靠性的输出可靠性；补偿装置，根据噪声量补偿输出可靠性；处理装置，根据输入可靠性和补偿后的输出可靠性处理输入数据、以及将输出数据输出。
17．一种用于处理输入像素数据并且将处理后的输入像素数据作为输出像素数据输出的图像处理方法，包括下列步骤计算表示输入像素数据可靠性的输入可靠性；计算表示输出像素数据可靠性的输出可靠性；检测输入像素数据的运动量；计算表示运动量可靠性的运动量可靠性；根据运动量可靠性补偿输出可靠性；根据输入可靠性和补偿后的输出可靠性处理输入像素数据、并将输出像素数据输出。
18．一种用于处理数据并且将处理后的数据作为输出数据输出数据的处理方法，包括下列步骤估计输入数据中包含的噪声量；根据噪声量、计算表示输入数据的可靠性的输入可靠性；计算表示输出数据的可靠性的输出可靠性；根据噪声量补偿输出可靠性；根据输入可靠性和补偿后的输出可靠性处理输入数据、并将输出数据输出。
19．一种用于存储计算机控制程序的存储介质，该程序用于处理输入像素数据并且将处理后的输入像素数据作为输出数据输出，该程序包括下列步骤计算表示输入像素数据的可靠性的输入可靠性；计算表示输出像素数据的可靠性的输出可靠性；检测输入像素数据的运动量；计算表示运动量可靠性的运动量可靠性；根据运动量可靠性补偿输出可靠性；根据输入可靠性和补偿后的输出可靠性处理输入像素数据、并将输出像素数据输出。
20．一种用于存储计算机控制程序的存储介质，该程序用于处理输入数据和将处理后的输入数据作为输出数据输出，所述程序包括下列步骤估计输入数据中包含的噪声量；根据噪声量、计算表示输入数据的可靠性的输入可靠性；计算表示输出数据的可靠性的输出可靠性；根据噪声量补偿输出可靠性；根据输入可靠性和补偿后的输出可靠性处理输入数据、并将输出数据输出。
全文摘要
一种图像处理设备,处理输入像素数据并输出输出像素数据。包括:输入可靠性计算部,计算表示输入像素数据的可靠性的输入可靠性;输出可靠性计算部,计算表示输出像素数据的可靠性的输出可靠性;运动量检测部,检测输入像素数据运动量;运动量可靠性计算部,计算表示运动量可靠性的运动量可靠性;补偿部,根据运动量可靠性补偿输出可靠性;处理部,根据输入可靠性和补偿后的输出可靠性处理输入像素数据并将输出像素数据输出。该设备可有效消除噪声。
文档编号G06T5/00GK1297304SQ0013664
公开日2001年5月30日 申请日期2000年10月28日 优先权日1999年10月28日
发明者近藤哲二郎, 安藤一隆 申请人:索尼公司