图像处理装置、图像处理方法、图像处理程序及记录介质的制作方法_4

文档序号:9278635阅读:来源:国知局
的输出帧图像。校正部12例如通 过使用了对象帧图像的对象像素的像素值及对象帧图像的前1帧的先前帧图像的对应像 素的像素值的加权平均、和对象帧图像的前1帧的先前帧图像的输出帧图像的递归型滤波 器,进行时间性校正处理。
[0077] 关于使用该递归型滤波器的时间性校正处理,使用第j个输入帧图像 像素Pjln的像素值I jIn、对像素Piln进行了校正后得到的像素P iOut的像素值I iOut、对像素PHln 进行了校正后得到的像素像素值I Htxit、各像素值Ijln的权重Wj、及递归型滤波器的 系数a,由式(1)表示。此处,将对象帧图像作为第i个输入帧图像。
[0078] [数学式1]
[0080] 式(1)的右边第1项中,使用包含对象帧图像的n个输入帧图像,运算对象帧图像 的像素值及时间上距对象帧图像较近的过去的先前帧图像的像素的像素值的加权平均值 I wave。在该运算中,不受时间上距对象帧图像较远的过去的先前帧图像的影响,故而权重Wj 设定为较大。式(1)的右边第2项中,使用将对象帧图像的前1帧的先前帧图像的像素进 行了校正后得到的像素,且导入递归型滤波器的特征。由此,时间上距对象帧图像较远的过 去的先前帧图像的像素的像素值被用于对象像素的像素值的平均化。此外,式(1)的右边 第1项所使用的输入帧图像的个数n是考虑图像处理装置1的性能与处理负荷的平衡而确 定的。若增大个数n,则缓冲器的容量变大,处理时间变长,因此个数n例如为2~3左右。
[0081] 权重Wj也可以为预定的常数。在时间性校正处理中,由于使用时间上不同的位置 的信息,故而在描绘有运动被摄体的帧图像的情况下,若将权重W j作为常数进行运算,则有 可能成为不自然的图像。因此,校正部12也可以根据对象帧图像^ameiln的对象像素P、 的像素值Iiln、与时间上距对象帧图像framed较近的过去的先前帧图像frame ^ln的对应 像素Pln的像素值Pln之间的差分,动态地计算权重W j。例如,也可以是,在上述差分(差 的绝对值)为规定值以上的情况下,为了减小对应像素Pt的像素值Pln对时间性校正处理 造成的影响,校正部12将权重W j设定为较小,或者,在差分为规定值以上的情况下,校正部 12以不将对应像素Pln的像素值P ln用于时间性校正处理的方式设定权重Wj。此外,在计 算差分时,对时间上距对象帧图像frame1+;^较近的过去的先前帧图像frame ^ln进行相对于 对象帧图像frame1#的位置对准。
[0082] 系数a为0~1的值。系数a也可以为预定的常数。与权重%同样地,在描绘 有运动被摄体的帧图像的情况下,若将系数a作为常数进行运算,则有可能成为不自然的 图像。因此,校正部12也可以根据对象帧图像的前1帧的先前帧图像输出帧 图像frameH Qut的对应像素PHqu,像素值I HQut与加权平均值I wave之间的差分,动态地计 算系数a。例如,也可以是,在上述差分(差的绝对值)为规定值以上的情况下,为了减小 对应像素?"_的像素值I "_对时间性校正处理造成的影响,校正部12将系数a设定为 较小,或者,在差分为规定值以上的情况下,校正部12以不将对应像素像素值I Hait 用于时间性校正处理的方式设定系数a。此外,在计算差分时,对输出帧图像 行相对于对象帧图像frame^ln的位置对准。
[0083] 另外,当存在运动被摄体的情况下,也可以以加强空间性校正处理的方式设定系 数。另外,时间性校正处理也可以以块单位进行。作为块,可使用成为对象的像素的附近8 像素、24像素、48像素等规定的像素。
[0084] 图11是表示输入帧图像的权重的另一例的图。通过在式(1)中将个数n设为2, 将系数a设为1/2,将权重Wi设为2/3,将权重w H设为1/3,获得图11所示的权重的分 布。在该情况下,针对对象帧图像及对象帧图像的前1帧的先前帧图像的像素的像素值,将 权重设定为1/3,针对与对象帧图像相隔2帧以上的之前的先前帧图像的像素的像素值,以 随着追溯过去而权重变小的方式设定。
[0085] 校正部12采用上述时间性校正处理或组合上述空间性校正处理及时间性校正处 理而进行噪声去除。校正部12通过组合空间性校正处理及时间性校正处理进行校正,可发 挥相互的处理的优点,而进行更适当的校正。校正部12将校正后的对象帧图像输出至生成 部13。
[0086] 接下来,对第2实施方式的图像处理装置1的动作进行说明。图像处理装置1的动 作与第1实施方式的图像处理装置1的动作(图3)相比,在时间性校正处理S16中不同。 此处,仅对时间性校正处理S16进行说明。
[0087] 图12是表示第2实施方式的图像处理装置1的时间性校正处理S16的详细情 况的流程图。如图12所示,首先,校正部12确定加权平均值I wave的计算中使用的对象帧 图像frame、及时间上距对象帧图像frame 1Jn较近的过去的先前帧图像frame ^ln的权重 Wj(S20)。在S20的处理中,例如,校正部12根据对象帧图像frame 1In的对象像素P、的像 素值Iiln、与时间上距对象帧图像frame、较近的过去的先前帧图像frame jIn的对应像素 Pjln的像素值Pln之间的差分,动态地计算权重W j。若S20的处理结束,则转移至输入帧图 像的平均计算处理(S22)。
[0088] 在S22的处理中,校正部12使用S20中所确定的权重Wj,计算上述式(1)的第1 项。也即,校正部12运算对象帧图像frame 1In的对象像素P、的像素值I、、与时间上距对 象帧图像^ameiln较近的过去的先前帧图像frame ^ln的对应像素Vln的像素值Pln的加权 平均值I wave。若S22的处理结束,则转移至系数a的确定处理(S24)。
[0089] 在S24的处理中,例如,校正部12根据先前帧图像frameH In的输出帧图像 frameH,的对应像素P 像素值I H0ut、与加权平均值Iwave之间的差分,动态地计算系 数a。若S24的处理结束,则转移至合成处理(S26)。
[0090] 在S26的处理中,校正部12使用位置对准后的先前帧图像frameH In的输出帧图 像framed1 Qut的对应像素P Htot的像素值I Htot、加权平均值Iwave、以及S24中所确定的系数 a,来计算上述式(1)。
[0091] 以上,结束对1个对象像素Piln的时间性校正处理。对各对象像素P、反复进行以 上的一系列处理。然后,若S16的处理结束,则转移至输出帧图像生成处理(S18)。
[0092] 接下来,与使用递归型滤波器的图像处理装置相比,说明第2实施方式的图像处 理装置1的作用效果。比较例的图像处理装置例如使用式(2)所示的递归型滤波器,进行 时间性校正处理。也即,比较例的图像处理装置使用对象帧图像的对象像素的像素值和对 象帧图像的前1帧的先前帧图像的输出帧图像的对应像素的像素值,对对象像素进行时间 性校正处理。
[0093] [数学式2]
[0094] Ii〇ut=IiInX(l-a)+Ii- 1(XitXa…⑵
[0095] 图13是表示使用递归型滤波器的情况下的输入帧图像的权重的一例的图。在图 13中,曲线Rl表示将系数a设定为较大的情况下的输入帧图像的权重,曲线R2表示将系 数a设定为较小的情况下的输入帧图像的权重。如曲线Rl所示,系数a越大,则越能提 高输入帧图像的平均效果,但由于过去的输入帧图像的影响变大,故而重像也变大。另外, 如曲线R2所示,系数a越小,则由于过去的输入帧图像的影响变小而越能抑制重像,但输 入帧图像的平均效果变弱。
[0096] 另一方面,如图10所示,在第2实施方式的图像处理装置1中,输入帧图像的对应 像素的像素值的权重被设定为越早之前的输入帧图像则权重越小,关于多个输入帧图像中 的、与对象帧图像相隔规定帧数的过去的先前帧图像的对应像素的像素值的权重,设定为: 该权重与该先前帧图像的下1帧的先前帧图像的对应像素的像素值的权重或对象像素的 像素值的权重之间的差分,小于与对象帧图像相隔规定帧数的之前的先前帧图像的对应像 素的像素值的权重与相隔规定帧数的之前的先前帧图像的前1帧的先前帧图像的对应像 素的像素值的权重之间的差分。因此,可在某种程度上抑制过去的输入帧图像的权重,且将 与对象帧相隔规定帧数的过去的先前帧图像的权重设为与对象帧的权重大致相同。通过在 某种程度上抑制过去的输入帧图像的权重,可减轻重像。另外,通过将与对象帧相隔规定帧 数的过去的先前帧图像的权重设为与对象帧的权重相同程度,可获得平均效果。其结果为, 可在不会生成重像的情况下去除闪烁等振幅较大的噪声。
[0097] 另外,图像处理装置1直接对包含对象帧图像的n个输入帧图像的对应像素的像 素值赋予权重而计算加权平均值,且使用加权平均值及对象帧图像的前1帧的先前帧图像 的输出帧图像的对应像素的像素值,对对象像素进行时间性校正处理。因此,仅保存n个输 入帧图像及输出帧图像即可。因此,通过适当地设定加权平均值计算中使用的输入帧图像 的数量,可减少所要保存的输入帧图像的数量,并且减少处理量。由此,可谋求资源削减及 处理效率化。
[0098] 此外,上述实施方式是表示本发明的图像处理装置的一例的实施方式。本发明的 图像处理装置并不限于实施方式的图像处理装置1,也可以在不变更各权利要求所记载的 主旨的范围内,进行实施方式的图像处理装置的变形,或应用于其他装置中。
[0099] 例如,上述实施方式中说明了动态图像摄像头20拍摄动态图像的例子,但动态图 像摄像头20也可以为连续拍摄静止图像的部件。帧图像输入部10所要输入的图像也可以 为从其他设备经由网络发送来的图像。
[0100] 另外,上述实施方式中说明为由动态图像摄像头20拍摄的图像的大小相同,但所 拍摄的图像的大小也可以为每次拍摄时不同的大小。
[0101] 另外,上述实施方式中说明了校正部12进行时间性校正处理及空间性校正处理 的2个校正处理的例子,但也可以为校正部12进行时间性校正处理及空间性校正处理中的 任一处理的情况。
[0102] 另外,上述实施方式中说明了校正部12在图3的处理中在位置对准处理(S12)之 后进行空间性校正处理(S14)的例子,但空间性校正处理(S14)既可在位置对准处理(S12) 之前进行,也可以在时间性校正处理(S16)之后进行。
[0103] 另外,在上述实施方式中,也可以是,在位置对准处理部之后,由生成部13确定切 出区域,然后由校正部12进行噪声去除。在该情况下,校正部12也可以至少将切出区域内 的像素作为对象进行校正。即,校正部12对于对
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1