图像处理设备的制造方法
【专利摘要】该图像处理设备以如下装置来配置：针对成像元件以预定的成像周期循环性地对物体成像的有效像素区域中的每个像素，计算从成像元件输出的当前成像周期的像素信号与紧接的之前成像周期的像素信号之间的差值的装置；利用整个有效像素区域作为范围来检测物体的运动的装置；将有效像素区域中的每个像素顺序地设置为感兴趣像素的装置；利用包括顺序设置的感兴趣像素的局部像素区作为范围来检测物体的运动的装置；基于两个检测结果来确定当前成像周期的像素信号与紧接的之前成像周期的像素信号的混合比例的装置；以及针对每个感兴趣像素，基于确定的混合比例来校正当前成像周期的像素信号的装置。
【专利说明】
图像处理设备
技术领域
[0001]本发明涉及通过处理从成像元件输出的信号来产生图像的图像处理设备。
【背景技术】
[0002]通过处理从成像元件输出的信号来产生图像的图像处理设备是已知的。这种图像处理设备的一种已知的示例抑制了处于运动的物体的残像，同时还降低了图像中的噪声。例如，在JP 2000-209507A(在下文中，被称作为“专利文献I”)中记载了这种类型的图像处理设备的具体配置。
[0003]记载在专利文献I中的图像处理设备包括循环噪声降低电路。记载在专利文献I中的循环噪声降低电路利用减法器来获得从成像元件输出的当前图像信号与更早一个帧或者更早一个场的图像信号之间的差，利用乘法器来将该差值乘以反馈系数，并且利用加法器来将乘法的结果与当前图像信号相加，因而降低图像信号中的噪声成分。循环噪声降低电路还根据来自减法器的差值来控制每个像素的反馈系数。如果来自减法器的差值较大，则通过减小反馈系数来降低残像，如果该差值较小，则通过增加反馈系数来降低噪声。
【发明内容】
[0004]然而，利用记载在专利文献I中的配置，不可能充分地将物体运动成分与随机噪声分开，且因此不可能充分地抑制处于运动的物体的残像。
[0005]本发明是鉴于上述情况来实现的，并且本发明的目标是提供适用于抑制处于运动的物体的残像，同时降低图像中的噪声的图像处理设备。
[0006]根据本发明的一个实施方案的图像处理设备包括:差值计算装置，其用于针对成像元件以预定的成像周期循环性地对物体成像的有效像素区域中的每个像素，计算由成像元件输出的当前成像周期的像素信号与更早一个成像周期的像素信号之间的差值;第一运动检测装置，其用于利用整个有效像素区域作为范围来检测物体的运动;感兴趣像素设置装置，其用于将有效像素区域中的每个像素依次地设置为感兴趣像素;第二运动检测装置，用于利用包括依次设置的感兴趣像素的局部像素区作为范围来检测物体的运动;混合比例确定装置，其用于针对每个感兴趣像素，基于第一运动检测装置的检测结果和第二运动检测装置的检测结果，来确定当前成像周期的像素信号与更早一个成像周期的像素信号的混合比例；以及像素信号校正装置，其用于针对每个感兴趣像素，基于通过混合比例确定装置所确定的混合比例来校正当前成像周期的像素信号。
[0007]此外，根据本发明的一个实施方案的图像处理设备包括:差值计算装置，其用于针对成像元件以预定的成像周期循环性地对物体成像的有效像素区域中的每个像素，计算由成像元件输出的当前成像周期的像素信号与更早一个成像周期的像素信号之间的差值;第一计数装置，其用于对在有效像素区域中差值满足第一条件的像素的数目进行计数，并且将计数的像素数目设置为第一计数值;感兴趣像素设置装置，其用于将有效像素区域中的每个像素依次地设置为感兴趣像素;第二计数装置，其用于对在由依次设置的感兴趣像素和在感兴趣像素周围的周围像素组成的像素组中的差值满足第二条件的像素的数目进行计数，并且将计数的像素数目设置为第二计数值;混合比例确定装置，其用于针对每个感兴趣像素，基于感兴趣像素所属的像素组中的第二计数值以及第一计数值，来确定当前成像周期的像素信号和更早一个成像周期的像素信号的混合比例；以及像素信号校正装置，其用于针对每个感兴趣像素，基于由混合比例确定装置所确定的混合比例来校正当前成像周期的像素信号。
[0008]混合比例确定装置可以配置成将第一计数值转换成第一值，并且将第二计数值转换成第二值。在这种情况下，混合比例确定装置基于第一值和第二值的差值来确定当前成像周期的像素信号和更早一个成像周期的像素信号的混合比例。
[0009]此外，第一值的数值范围和第二值的数值范围可以是相同的。
[0010]此外，例如，第一条件为由差值计算装置计算出的差值大于第一阈值。此外，例如，第二条件为该差值小于第二阈值。在这种情况下，如果第一计数值小于或等于固定值，则第一计数值转换成数值范围中的最大值，而第一计数值大于固定值，则第一计数值转换成相对最大值较小的值。此外，第二计数值照第二计数值的原样转换。然后，混合比例确定装置在第一值和第二值之间的差值大于或等于第三阈值的情况下，基于第一值和第二值来确定混合比例，而在第一值和第二值之间的差值小于第三阈值的情况下，基于第一值或者第二值来确定混合比例。
[0011]例如，成像元件的成像周期为一个场周期或者一个帧周期。
[0012]根据本发明的一个实施方案，提供了这样一种图像处理设备，其适用于抑制处于运动的物体的残像，并且还降低了图像中的噪声。
【附图说明】
[0013]图1为根据本发明的实施方案的电子内窥镜系统的外部图。
[0014]图2为根据本发明的实施方案的电子内窥镜系统的框图。
[0015]图3为示出根据本发明的实施方案的包括在处理器中的噪声降低电路的配置的框图。
[0016]图4为示出根据本发明的实施方案的包括在噪声降低电路中的反馈系数计算单元的工作的流程图。
[0017]图5为在概念上示出在整个场中的运动检测的图(图5(a))和在概念上示出局部区域中的运动检测的图(图5(b))。
[0018]图6为示出用于在第一计数值和第一值ml之间转换的函数的曲线图(图6(a))和示出用于在第二计数值和第二值m2之间转换的函数的曲线图(图6(b))。
【具体实施方式】
[0019]在下文中，将参照附图来描述本发明的实施方案。注意的是，在以下描述中，采用电子内窥镜系统作为本发明的一个实施方案的;^例。
[0020]图1为本实施方案的电子内窥镜系统I的外部图。如图1中所不，本实施方案的电子内窥镜系统I包括电子内窥镜100和处理器200。处理器200为整体地包括信号处理设备和光源设备的设备，所述信号处理设备处理来自电子内窥镜100的信号，所述光源设备通过电子内窥镜100来对自然光不能到达的体腔的内部照明。在另一个实施方案中，信号处理设备和光源设备可以分开地进行配置。
[0021]如图1中所示，电子内窥镜100包括插入部分柔性管11，其被柔性护套覆盖。插入部分柔性管11的尖端部分(弯曲部分14)根据来自与插入部分柔性管11的基端部连接的手操作部分13的远程操作而弯曲。弯曲机构是合并在通常的内窥镜中的已知机构，并且结合手操作部分13的曲率操作旋钮的旋转操作，使得弯曲部分14利用操作线的拉伸而弯曲。尖端部分12的被硬树脂套覆盖的基端部与弯曲部分14的尖端部分连接。尖端部分12的方向根据利用曲率操作旋钮的旋转操作所执行的弯曲操作而改变，因而移动电子内窥镜100的成像区域。
[0022]处理器200设置有连接器部分20，所述连接器部分20具有对应于设置在电子内窥镜100的基端部上的连接器部分1的连接结构。通过将连接器部分20与连接器部分1机械地连接而将电子内窥镜100和处理器200电连接和光连接。
[0023]图2为示出本发明的电子内窥镜系统I的配置的框图。如图2中所示，在电子内窥镜系统I中，监控器300与处理器200连接。
[0024]如图2中所示，处理器200具有系统控制器202和时序控制器204。系统控制器202通过执行存储在存储器222中的各种程序来执行整个电子内窥镜系统I的总体控制。系统控制器202还根据由用户(操作员或者助理)输入至操作面板218的指令来改变电子内窥镜系统I的各种设置。注意的是，操作面板218的配置可以采用各种形式。可设想出的操作面板218的具体配置的示例包括:在处理器200的前表面上实施的特定功能的硬件按键或者触摸面板型的GUI(图形用户界面)、以及硬件按键和GUI的组合。时序控制器204输出时钟脉冲至电子内窥镜系统I中的电路，所述时钟脉冲用于调节部分操作的时序。
[0025]灯208由灯电源启动器206来启动，并且此后发射具有主要从可见光区域扩展至不可见的红外光区域的光谱的光(或者至少包括可见光区域的光)。例如氙灯、卤素灯或金属卤化物灯的高强度灯适用于作为灯208。由灯208发射的照射光通过聚光透镜210来汇聚并且通过光圈212而限制为合适的光量。
[0026]电机214通过传动机构与光圈212机械连接，所述传动机构例如在附图中未示出的臂或者齿轮。电机214例如为DC电机，并且在驱动器216的驱动控制下被驱动。光圈212通过电机214来致动，以改变光圈的开度，从而将显示在监控器300的显示屏上的图像设置至合适的亮度。根据光圈212的开度来限制由灯208发射的光的光量。由操作员根据在操作面板218上执行的强度调节操作来设置被视为合适的参考图像亮度。注意的是，控制驱动器216来执行强度调节的光控制电路是已知的电路，并且将在本说明书中不再描述。
[0027 ]已穿通光圈212的照射光进入LCB (载光束)102的入口端部。经由入口端部进入LCB102的照射光通过在LCB 102内部反复地经受全反射而传播。在LCB 102内部传播的照射光经由布置在电子内窥镜100的尖端部分12内部的LCB 102的出口端部离开，并且通过配光透镜104对物体照明。
[0028]来自物体的返回光穿过物镜106，并且利用固态成像元件108的光接收表面上的像素而形成为光学图像。固态成像元件108为交错型的单板彩色CCD(电荷耦合设备)图像传感器，其具有互补的彩色方格的像素布置。固态成像元件108根据由光接收表面上的像素所形成的光学图像的光量，通过累积电荷来产生黄色Ye、蓝绿色Cy、绿色G和洋红Mg的互补彩色信号，并且顺序地输出通过将由在垂直方向上相邻的两个像素产生的互补彩色信号相加而获得的混合信号。在下文中，对应于相应场中水平线上的像素并且通过固态成像元件108顺序输出的混合信号将被称作为“成像信号”。注意的是，固态成像元件108不限制于CCD图像传感器，并且可以利用CMOS(互补金属氧化物半导体)图像传感器或者其它类型的成像设备。固态成像元件108还可以为包括原色滤色器(拜耳阵列滤色器)的元件。
[0029]从固态成像元件108输出的成像信号通过前置放大器110来进行信号放大，然后通过驱动器信号处理电路112输入至信号处理电路220。
[0030]电子内窥镜100包括驱动器信号处理电路112和存储器114。驱动器信号处理电路112存取存储器114，并且读出关于电子内窥镜100的唯一信息。记录在存储器114中的关于电子内窥镜100的唯一信息包括，例如像素计数、敏感性、可操作的场速率(帧速率)以及固态成像元件108的模型数目。从存储器114读出的唯一信息通过驱动器信号处理电路112输出至系统控制器202。
[0031]系统控制器202通过基于关于电子内窥镜100的唯一信息来执行各种算术运算而产生控制信号。系统控制器202利用产生的控制信号来控制处理器200中的各种电路的操作和时序，以执行适用于当前与处理器200连接的电子内窥镜的处理。
[0032]时序控制器204根据通过系统控制器202执行的时序控制，来将时钟脉冲供应至驱动器信号处理电路112和信号处理电路220。根据从时序控制器204供应的时钟脉冲，驱动器信号处理电路112基于与由处理器200处理的图像的场速率(帧速率)同步的时序来控制固态成像元件108的驱动。
[0033]如图2中所示，信号处理电路220包括:前置阶段信号处理电路220A、噪声降低电路220B以及后置阶段信号处理电路220C。
[0034]前置阶段信号处理电路220A通过对从驱动器信号处理电路112接收到的成像信号执行预定的信号处理(例如，色彩内插和Y/C分离)来产生像素信号(亮度信号Y以及色差信号U和V)，并且将产生的像素信号输出至噪声降低电路220B。
[0035 ]图3为示出噪声降低电路220B的配置的框图。如图3中所示，噪声降低电路220B包括:第一场存储器220Ba、反馈系数计算单元220Bb、乘法电路220Bcl至220Bc3、第二场存储器220Bd、乘法电路220Bel至220Be3、以及加法电路220ΒΠ至220Bf3。
[0036]第一场存储器220Ba从前置阶段信号处理电路220A接收像素信号(亮度信号Y)。在第一场存储器220Ba中缓冲了至少一个场的像素信号(有效像素区域中的像素信号)。
[0037]反馈系数计算单元220Bb从前置阶段信号处理电路220A顺序地接收当前场的像素信号(亮度信号Y)，并且同时从第一场存储器220Ba顺序地接收更早一个场中对应于这些像素信号的像素信号(亮度信号Y)。这里，在同一线上和具有相同地址的像素的像素信号将被称作为“相应的像素信号”。例如，更早一个场中对应于在奇数编号场的第二水平线上首先输出的像素信号的像素信号为紧接的之前的偶数编号场的第二水平线上首先输出的像素信号。
[0038]反馈系数计算单元22(Bb的操作描述
[0039]图4为示出反馈系数计算单元220Bb的操作的流程图。
[0040]图4中的SII (亮度差值的计算)
[0041]如图4中所示，在处理步骤Sll中，针对有效像素区域中的每个像素，计算当前场的像素信号(亮度信号Y)与更早一个场的像素信号(亮度信号Y)之间的差值。在下文中，为了便于描述，在处理步骤Sll中计算出的像素信号(亮度信号Y)的差值将被称作为“亮度差值”。此外，当前场的像素信号(亮度信号Y、色差信号U和V)将被称作为“当前场像素信号nfs”，并且更早一个场的像素信号(亮度信号Y、色差信号U和V)将被称作为“之前场像素信号pfs，，ο
[0042]图4中的S12(第一计数值的计算)
[0043]图5(a)为在概念上示出在整个场中的运动检测的图。在处理步骤S12中，执行以下处理以执行如在图5(a)中所示的在整个场中的运动检测。
[0044]处理步骤S12为如下的步骤，其用于对有效像素区域中的像素之中的，在处理步骤Sll计算出的亮度差值大于第一阈值的像素的数目进行计数。具体地，在处理步骤S12中，为了执行在整个场中的运动检测，针对两个连续的场，利用整个场作为范围，对亮度差值大于第一阈值的像素数目进行计数。在下文中，为了便于描述，在处理步骤S12中计数的像素数目将被称作为“第一计数值”。
[0045]图4中的S13(转换成第一值ml)
[0046]在处理步骤S13中，将在处理步骤S12中计数的第一计数值转换成第一值ml。这里，图6(a)示出在第一计数值和第一值ml之间转换的函数的曲线图表示。在图6(a)中，垂直轴表示第一值ml，而水平轴表示第一计数值。第一值ml取从O至9的值。
[0047]如图6(a)中所示，如果第一计数值小于或等于固定值C，则第一计数值转换成固定值(这里，“9”)，如果第一计数值大于固定值C，则第一计数值转换成较小的值。更具体地，如果第一计数值大于固定值C，则第一计数值转换成相对于“9”较小的值，如果第一计数值具有最大值(即，如果在有效像素区域中的全部像素中，亮度差值大于第一阈值)，则第一计数值转换成“O”。
[0048]作为趋势，如果在整个场中存在很多物体运动的区域(如果存在很多亮度差值大于第一阈值的像素)，则第一值ml采用小的值，而如果在整个场中存在很少物体运动的区域(如果存在很少亮度差值大于第一阈值的像素)，则第一值ml采用大的值。更简明地，在整个场为检测范围的情况下，如果物体移动，则第一值ml采用小的值，如果物体不移动，则第一值ml采用大的值。
[0049]图4中的S14(感兴趣像素的设置)
[0050]在处理步骤S14中，在有效像素区域中的一个像素被设置为感兴趣像素。
[0051]图4中的S15(局部区域(像素组)的设置)
[0052]处理步骤S15为用于设置由在处理步骤S14中设置的感兴趣像素和在感兴趣像素周围的周围像素组成的像素组的步骤。注意的是，在本实施方案中，周围像素涉及总共八个像素，它们位于相邻于感兴趣像素的上、下、左和右方向以及沿对角线右上方向、沿对角线右下方向、沿对角线左上方向以及沿对角线左下方向。换言之，像素组由布置成3X3矩阵的九个像素组成。
[0053]图4中的S16(第二计数值的计算)
[0054]图5(b)为在概念上示出在局部区域(由对应于像素组的3X 3个像素组成的区域)中的运动检测的图。在处理步骤S16中，执行以下处理以执行如在图5(b)中所示的在局部区域中的运动检测。
[0055]处理步骤S16为用于在像素组(I个感兴趣像素+8个周围像素)中，对在处理步骤Sll中计算出的亮度差值小于第二阈值的像素的数目进行计数的步骤。具体地，在处理步骤S16中，为了执行在局部区域中的运动检测，针对两个连续的场，利用在处理步骤S15中设置的像素组作为范围，对亮度差值小于第二阈值的像素的数目进行计数。在下文中，为了便于描述，在处理步骤S16中计数的像素的数目将被称作为“第二计数值”。
[0056]图4中的S17(转换成第二值m2)
[0057]在处理步骤S17中，将在处理步骤S16中计数的第二计数值转换成第二值m2。这里，图6(b)示出在第二计数值和第二值m2之间转换的函数的曲线图表示。在图6(b)中，垂直轴表示第二值m2，而水平轴表示第二计数值。类似于第一值ml，第二值m2也取从O至9的值。
[0058]如图6(b)中所示，将第二计数值转换成亮度差值小于第二阈值(从O至9的值)的像素的数目。换言之，第二值ml照原样地采用第二计数值的值。
[0059]如果在局部区域中存在很多物体运动的区域(如果存在很多亮度差值大于第二阈值的像素)，则第二值m2采用小的值，而如果在局部区域中存在很少物体运动的区域(如果存在很少亮度差值大于第二阈值的像素)，则第二值m2采用大的值。更简明地，在局部区域为检测范围的情况下，如果物体移动，则第二值m2采用小的值，如果物体不移动，则第二值m2采用大的值。
[0060]图4中的S18(第一值ml和第二值m2的比较)
[0061]在处理步骤S18中，计算第一值ml和第二值m2之间的差值。接着，确定计算出的差值是否大于或等于第三阈值。
[0062]图4中的S19(反馈系数K的计算)
[0063]如果在处理步骤S18中计算出的差值大于或等于第三阈值(S18，是)，则执行处理步骤S19。在以下所述的情况I和情况2中，在处理步骤S18中计算出的差值通常大于或等于第三阈值。
[0064]情况I
[0065]情况I为在整个场中存在很多物体运动的区域，并且在局部区域中存在很少物体运动的区域的情况。在情况I中，例如，物体运动的部分广泛地分布在场中，但是当观察局部区域时物体移动不很多，因此尽管检测出物体在整个场中移动，但也检测出物体在局部区域中不移动。
[0066]情况2
[0067]情况2为在整个场中存在很少物体运动的区域，并且在局部区域中存在很多物体运动的区域的情况。在情况2中，例如，当观察整个场时，物体移动不很多，但是当观察局部区域时物体移动，因此，尽管检测出物体在局部区域中移动，但也检测出物体在整个场不移动。
[0068]以这种方式，在处理步骤S18中计算出的差值大于或等于第三阈值的情况下，物体运动检测的结果在观察整个场时和观察局部区域时之间是不同的。针对该原因，期望的是，针对属于局部区域(像素组)的感兴趣像素的像素信号，考虑观察在整个场中的物体运动的情况和观察在局部区域中的物体运动的情况二者。鉴于此，在处理步骤S19中，利用以下表达式来计算要施加至属于局部区域(像素组)的感兴趣像素的像素信号的反馈系数K。
[0069]K=[(ml+m2)/2]/9
[0070]图4中的S20(反馈系数K的计算)
[0071]如果在处理步骤S18中计算出的差值小于第三阈值(S18:否)，则执行处理步骤S20。在以下所述的情况3和情况4中，在处理步骤S18中计算出的差值通常小于第三阈值。
[0072]情况3
[0073]情况3为在整个场中存在很少物体运动的区域，并且在局部区域中存在很少物体运动的区域的情况。在情况3中，例如，当不仅观察整个场，还观察局部区域时，物体移动不很多，因此检测出物体在任何检测范围中不移动。
[0074]情况4
[0075]情况4为在整个场中存在很多物体运动的区域，并且在局部区域中也存在很多物体运动的区域的情况。在情况4中，例如，移动物体广泛地分布在场中，并且当观察局部区域时物体也移动，因此检测出物体在任何检测范围中移动。
[0076]以这种方式，在处理步骤S18中计算出的差值小于第三阈值的情况下，物体运动检测的结果在观察整个场和观察局部区域时是相同的。针对该原因，期望的是，针对属于局部区域(像素组)的感兴趣像素的像素信号，考虑观察在整个场中的物体运动的情况或者观察在局部区域中的物体运动的情况。鉴于此，在处理步骤S20中，利用以下表达式来计算要施加至属于局部区域(像素组)的感兴趣像素的像素信号的反馈系数K。
[0077]K=ml/9
[0078]注意的是，在另一个实施方案中，以上表达式可以用以下表达式来代替。
[0079]K=m2/9
[0080]图4中的S21和S22(未处理的像素确定)
[0081]在处理步骤S21中，确定未计算出要施加的反馈系数K的像素是否保留在有效像素区域中。如果未计算出要施加的反馈系数K的像素保留(S21:是)，则感兴趣像素被设置成下一个像素(例如，在水平线方向相邻上的像素)(S22)。当设置了下一个感兴趣像素时，该流程返回至处理步骤S15。通过循环处理步骤S15至S22，针对有效像素区域中的每个像素顺序地计算反馈系数K。当针对有效像素区域中的全部像素而已计算出反馈系数K时(S21:否)，该流程脱离循环并且结束。
[0082]在反馈系数计算单元220Bb中计算出的反馈系数K被输入至乘法电路220Bcl至220Bc3 和乘法电路 220Bel 至 220Be3。
[0083]乘法电路220Bcl至220Bc3从前置阶段信号处理电路220A分别接收当前场的像素信号nfs(亮度信号Y)、当前场的像素信号nfs(色差信号U)、以及当前场的像素信号nfs(色差信号V)。输入至乘法电路220Bcl至220Bc3的当前场的像素信号nfs(亮度信号Y)、当前场的像素信号nfs(色差信号U)、以及当前场的像素信号nfs(色差信号V)分别乘以值(1-反馈系数K)。在下文中，为了便于描述，通过乘法电路220Bcl至220Bc3获得的相乘值分别被称作为“相乘值(亮度信号Y) [nfs X (1-K)]”、“相乘值(色差信号U) [nfs X (1-K)]”以及“相乘值(色差信号 V)[nfsX(l-K)]”。
[0084]相乘值(亮度信号Y)[nfs X(1-K)]、相乘值(色差信号U) [nfs X(1-K)]以及相乘值(色差信号V) [nfs X (1-K)]分别被输入至加法电路220Bf I至220Bf3。
[0085]第二场存储器220Bd接收从加法电路220ΒΠ至220Bf3输出的校正的图像信号(亮度信号Y以及色差信号U和V)。注意的是，校正的图像信号为经历噪声降低的图像信号，并且随后将详细地描述。在第二场存储器220Bd中缓冲至少一个场的像素信号(有效像素区域中的像素信号)。
[0086]乘法电路220Bel至220Be3从第二场存储器220Bd分别接收之前场的像素信号pfs(校正的亮度信号Y)、之前场的像素信号PfS(校正的色差信号U)以及之前场的像素信号Pfs(校正的色差信号￥)。输入至乘法电路220861至22(?63的之前场的像素信号？€8(校正的亮度信号Y)、之前场的像素信号Pfs(校正的色差信号U)以及之前场的像素信号pfs(校正的色差信号V)分别乘以反馈系数K。在下文中，为了便于描述，通过乘法电路220Bel至220Be3获得的相乘值分别被称作为“相乘值(亮度信号Y)[pfsXK]”、“相乘值(色差信号U)[pfsXK]”以及“相乘值(色差信号V)[pfsXK]”。
[0087]相乘值(亮度信号Y)[pfs XK]、相乘值(色差信号U) [pfs XK]以及相乘值(色差信号￥)[?€8\1(]分别被输入至加法电路22(?€1至22(?€3。
[0088]加法电路22080将从乘法电路22(?(31接收的相乘值(亮度信号￥)[11&\(1-10]和从乘法电路220Bel接收的相乘值(亮度信号Y)[pfsXK]相加，并且将结果输出至后置阶段信号处理电路220(:。加法电路22(?€2将从乘法电路22(?02接收的相乘值(色差信号1])[11&X (1-K)]和从乘法电路220Be2接收的相乘值(色差信号U) [pfs XK]相加，并且将结果输出至后置阶段信号处理电路220C。加法电路220Bf3将从乘法电路220Bc3接收的相乘值(色差信号V) [nfs X (1-K)]和从乘法电路220Be3接收的相乘值(色差信号V)[pfs XK]相加，并且将结果输出至后置阶段信号处理电路220C。
[0089]换言之，加法电路Bfl至Bf3通过利用以下所示的表达式以混合当前场的像素信号nfs和之前场的像素信号pfs，从而校正当前场的像素信号nfs。如以下表达式所示，当前场的像素信号nfs和之前场的像素信号pfs的混合比例根据反馈系数K来确定。当物体移动较多时，反馈系数K采用较小的值，当物体移动较少时，反馈系数K采用较大的值。反馈系数K越接近0，当前场的像素信号nfs的比例变得越高，且因此在相应像素中，噪声降低效果减小，但是残像被抑制。此外，反馈系数K越接近1，之前场的像素信号pfs的比例变得越高，且因此在相应像素中，噪声降低效果增大。
[°09°]校正的当前场的像素信号nfs’ =[nfsX (l-K)] + [pfsXK]
[0091]后置阶段信号处理电路220C将从加法电路220ΒΠ至220Bf3接收的校正的当前场的像素信号nfs’(亮度信号Y以及色差信号U和V)转换成符合预定标准的视频信号，并且将转换的视频信号输出至监控器300，所述预定标准例如NTSC(国家电视系统委员会)或者PAL(逐行倒相)。视频信号顺序地输入至监控器300，且因而物体的彩色图像显示在监控器300的显示屏上。
[0092]以这种方式，根据本实施方案，考虑在整个场中物体运动检测的结果和在局部区域中物体运动检测的结果二者来计算针对每个像素的反馈系数K，因而抑制了处于运动的物体的残像，同时还降低了图像中的噪声。
[0093]之前的描述是本发明的说明性实施方案的描述。本发明的实施方案不限制于之前的描述，并且在本发明的技术构思的范围内可以进行各种修改。例如，本申请的实施方案还包括在本说明书中明确指定的实施方案等以及显而易见的实施方案等的适当组合。
[0094]尽管在以上实施例中，固态成像元件108的成像周期为场周期，但是在另一个实施例中，其可以为帧周期。
【主权项】
1.一种图像处理设备，其包括； 差值计算装置，其用于针对成像元件以预定的成像周期循环性地对物体成像的有效像素区域中的每个像素，计算由成像元件输出的当前成像周期的像素信号与更早一个成像周期的像素信号之间的差值； 第一运动检测装置，其用于利用整个有效像素区域作为范围来检测物体的运动； 感兴趣像素设置装置，其用于将有效像素区域中的每个像素依次地设置为感兴趣像素； 第二运动检测装置，用于利用包括依次设置的感兴趣像素的局部像素区作为范围来检测物体的运动； 混合比例确定装置，其用于针对每个感兴趣像素，基于第一运动检测装置的检测结果和第二运动检测装置的检测结果，来确定当前成像周期的像素信号与更早一个成像周期的像素信号的混合比例；以及 像素信号校正装置，其用于针对每个感兴趣像素，基于通过混合比例确定装置所确定的混合比例来校正当前成像周期的像素信号。2.—种图像处理设备，包括； 差值计算装置，其用于针对成像元件以预定的成像周期循环性地对物体成像的有效像素区域中的每个像素，计算由成像元件输出的当前成像周期的像素信号与更早一个成像周期的像素信号之间的差值； 第一计数装置，其用于对在有效像素区域中差值满足第一条件的像素的数目进行计数，并且将计数的像素数目设置为第一计数值； 感兴趣像素设置装置，其用于将有效像素区域中的每个像素依次地设置为感兴趣像素； 第二计数装置，其用于对在由依次设置的感兴趣像素和在感兴趣像素周围的周围像素组成的像素组中的差值满足第二条件的像素的数目进行计数，并且将计数的像素数目设置为第二计数值； 混合比例确定装置，其用于针对每个感兴趣像素，基于感兴趣像素所属的像素组中的第二计数值以及第一计数值，来确定当前成像周期的像素信号和更早一个成像周期的像素信号的混合比例；以及 像素信号校正装置，其用于针对每个感兴趣像素，基于由混合比例确定装置所确定的混合比例来校正当前成像周期的像素信号。3.根据权利要求2所述的图像处理设备， 其中，混合比例确定装置: 将第一计数值转换成第一值， 将第二计数值转换成第二值，以及 基于第一值和第二值之间的差值来确定当前成像周期的像素信号和更早一个成像周期的像素信号的混合比例。4.根据权利按要求3所述的图像处理设备，其中，第一值的数值范围和第二值的数值范围是相同的。5.根据权利要求4所述的图像处理设备， 其中，第一条件为差值大于第一阈值， 第二条件为差值小于第二阈值， 如果第一计数值小于或等于固定值，则第一计数值转换成数值范围中的最大值，而第一计数值大于固定值，则第一计数值转换成相对最大值较小的值， 第二计数值照原样转换为第二计数值，以及 混合比例确定装置: 在第一值和第二值之间的差值大于或等于第三阈值的情况下，基于第一值和第二值来确定混合比例，以及 在第一值和第二值之间的差值小于第三阈值的情况下，基于第一值或者第二值来确定混合比例。6.根据权利要求1至5中的任一项所述的图像处理设备，其中，成像周期为一个场周期或者一个帧周期。
【文档编号】H04N5/357GK105830433SQ201580003142
【公开日】2016年8月3日
【申请日】2015年3月26日
【发明人】横内文香
【申请人】Hoya株式会社