图像处理装置和图像处理方法
【专利摘要】本发明是一种对输入帧图像进行图像处理的图像处理装置，对比度分析部(13)生成输入帧图像的直方图并根据该直方图来计算对比度。运动检测阈值设定部(12)利用进行输入操作而输入的运动检测水平和计算出的对比度来计算运动检测阈值的阈值下限和阈值上限。在帧间差值比阈值上限大的情况下运动检测部(14)视为关注像素大幅地运动，从而将合成比率(K)设定为不将前帧图像进行合成。在差值比阈值下限小的情况下，运动检测部(14)视为关注像素静止，从而将合成比率(K)设定为将前帧图像以最大的比例进行合成。在差值为阈值上限以下且阈值下限以上的情况下，运动检测部(14)将合成比率设定为以与关注像素的运动情形相应的比例将前帧图像合成到输入帧图像。
【专利说明】
图像处理装置和图像处理方法
技术领域
[0001]本发明涉及一种对输入帧图像进行图像处理的图像处理装置和图像处理方法。
【背景技术】
[0002]以往，已知一种为了改善S/N而将输入帧图像与降低了噪声的前帧图像进行合成来生成合成图像的图像处理装置(例如参照专利文献I)。
[0003]专利文献I所示的图像处理装置利用输入帧图像与降低了噪声的前帧图像的差值(具体地说，亮度的差值)，在帧图像间的差值比阈值大的情况下判定为存在运动，在帧图像间的差值比阈值小的情况下判定为静止。并且，图像处理装置基于判定结果，针对存在运动的图像区域，将与输入帧图像进行合成的前帧图像的合成比例的值调小，由此减轻运动物体的余像。
[0004]专利文献I:日本特开平6-225178号公报
【发明内容】
[0005]但是，在专利文献I的结构中，根据输入帧图像的对比度，有时运动物体的帧图像间的亮度的差值并非一律固定，例如在对比度低的帧图像中，运动物体的帧图像间的亮度的差值比阈值低，难以检测运动物体。因此，运动物体被误检测为静止物体，运动物体的余像加重。另一方面，在对比度高的帧图像中，易于检测运动物体，因此运动物体的余像减轻。即，在专利文献I的结构中，存在如下情况:运动物体的余像根据对比度的高低而出现或消失。
[0006]另外，当在一个帧图像内存在对比度的高低时，在对比度低的图像区域中如上所述那样难以检测运动物体，从而产生同样的问题。这样，存在以下问题:当在输入帧图像与前帧图像之间或在一个输入帧图像内存在对比度的高低时，难以一律地检测出运动物体，在基于专利文献I的用于改善S/N的合成图像中出现运动物体的余像。
[0007]本发明为了解决上述的以往的问题，目的在于提供一种即使在对比度存在高低的情况下也减轻合成图像中的运动物体的余像的图像处理装置和图像处理方法。
[0008]本发明是一种对输入帧图像进行图像处理的图像处理装置，该图像处理装置具备:对比度计算部，其计算所述输入帧图像的对比度;第一输入操作部，其受理针对所述输入帧图像的运动检测水平的输入；阈值计算部，其计算与所述运动检测水平及所述对比度相对应的运动检测阈值；存储部，其存储所述图像处理后的前帧图像；以及合成图像生成部，其基于所述输入帧图像与所述前帧图像的差值同所述运动检测阈值的比较结果来生成所述输入帧图像与所述前帧图像的合成图像。
[0009]本发明是一种对输入帧图像进行图像处理的图像处理装置的图像处理方法，该图像处理方法包括以下步骤:计算所述输入帧图像的对比度;受理针对所述输入帧图像的运动检测水平的输入;计算与所述运动检测水平及所述对比度相对应的运动检测阈值；以及基于所述输入帧图像与所述图像处理后的前帧图像的差值同所述运动检测阈值的比较结果来生成所述输入帧图像与所述前帧图像的合成图像。
[0010]根据本发明，即使在对比度存在高低的情况下，也能够减轻合成图像中的运动物体的余像。
【附图说明】
[0011]图1是表示第一实施方式的图像处理装置的结构的框图。
[0012]图2是表示由对比度分析部计算对比度时使用的直方图的曲线图。
[0013]图3是表示运动检测水平设定UI的图。
[0014]图4是表示设定有与运动检测水平相对应的运动检测阈值的运动检测阈值表的登记内容的图。
[0015]图5是表示合成比率K的曲线图。
[0016]图6是说明帧图像处理过程的流程图。
[0017]图7是说明继图6之后的帧图像处理过程的流程图。
[0018]图8是表示第二实施方式的图像处理装置的结构的框图。
[0019]图9A是说明对被分割为多个区域的图像中的关注像素设定阈值的图。
[0020]图9B是说明对被分割为多个区域的图像中的关注像素设定阈值的图。
[0021]图10是说明帧图像处理过程的流程图。
[0022]图11是表示第三实施方式的图像处理装置的结构的框图。
[0023]图12是说明区域和对比度设定UI的输入操作过程的流程图。
[0024]图13A是表示区域和对比度设定UI的画面的图。
[0025]图13B是表示区域和对比度设定UI的画面的图。
[0026]图13C是表示区域和对比度设定UI的画面的图。
[0027]图13D是表示区域和对比度设定UI的画面的图。
[0028]图13E是表示区域和对比度设定UI的画面的图。
[0029]图13F是表示区域和对比度设定UI的画面的图。
[0030]图14是说明帧图像处理过程的流程图。
[0031]图15是表示运动图像的查看器的显示区域和图像处理菜单的显示区域显示在同一画面上且显示紧挨着再现之前的运动图像的例子的图。
[0032]图16是表示运动图像的查看器的显示区域和图像处理菜单的显示区域显示在同一画面上且显示紧接在再现之后的运动图像的例子的图。
[0033]图17是表示运动图像的查看器的显示区域和图像处理菜单的显示区域显示在同一画面上且显示多张合成NR处理后的运动图像的例子的图。
[0034]图18是表示运动图像的查看器的显示区域和图像处理菜单的显示区域显示在同一画面上且示出了多张合成NR菜单的详细内容的例子的图。
[0035]图19是表示运动图像的查看器的显示区域和图像处理菜单的显示区域显示在同一画面上且示出了多张合成NR菜单的详细内容的例子的图。
[0036]图20是表示运动图像的查看器的显示区域和图像处理菜单的显示区域显示在同一画面上且示出了多张合成NR菜单的详细内容的例子的图。
[0037]图21是表示运动图像的查看器的显示区域和各图像处理菜单的显示区域显示在同一画面上且显示空间色阶校正、多张合成NR以及雨雪去除的各图像处理后的运动图像的例子的图。
【具体实施方式】
[0038]参照附图来说明本发明所涉及的图像处理装置和图像处理方法的各实施方式。各实施方式的图像处理装置对从摄像机、记录器等电子设备输出的输入帧图像进行图像处理。另外，本发明并不限于图像处理装置和图像处理方法，也可以表现为用于使计算机执行由图像处理方法规定的动作的程序或计算机可读记录介质。
[0039](第一实施方式)
[0040]图1是表示第一实施方式的图像处理装置I的结构的框图。图像处理装置I具有运动检测水平设定UI 11、运动检测阈值设定部12、对比度分析部13、运动检测部14、图像合成部15、差计算部16、平滑化处理部17、帧缓冲器18以及存储部19。
[0041 ]在存储部19中存储输入帧图像和图像处理后的输出帧图像。在帧缓冲器18中存储上次进行图像处理后的帧图像(前帧图像)。
[0042]作为对比度计算部的一例的对比度分析部13被输入存储部19中存储的输入帧图像来计算图像的对比度。
[0043]运动检测水平设定UI(User Interface，用户界面)11用于设定由用户指定的运动检测水平。后文叙述运动检测水平设定UI 11的详细内容。
[0044]作为阈值计算部的一例的运动检测阈值设定部12根据由对比度分析部13计算出的对比度和由运动检测水平设定UI 11设定的运动检测水平来计算运动检测阈值，并将该运动检测阈值输出到运动检测部14。后文叙述运动检测阈值的计算的详细内容。
[0045]从存储部19向平滑化处理部17输入输入帧图像，另外，从帧缓冲器18向平滑化处理部17输入前帧图像，该平滑化处理部17对这些图像进行用于空间平滑化的二维低通滤波处理，并将进行该处理所得到的结果输出到差计算部16。
[0046]差计算部16计算进行了二维低通滤波处理后的输入帧图像与前帧图像的每个像素或每个区域的差值(在此为亮度差)，并将得到的结果(帧间差值)输出到运动检测部14。
[0047]运动检测部14将每个像素或每个区域的帧间差值与运动检测阈值进行比较，基于该比较结果来计算输入帧图像与前帧图像的合成比率K。
[0048]作为合成图像生成部的一例的图像合成部15被输入存储部19中存储的输入帧图像和帧缓冲器18中存储的前帧图像，按照合成比率K将前帧图像合成到输入帧图像来生成合成图像，并将作为该合成图像的输出帧图像存储到存储部19，并且将该合成图像作为下一次的前帧图像而存储到帧缓冲器18。
[0049]图2是表示由对比度分析部13计算对比度时使用的直方图的曲线图。横轴表示色阶，纵轴表示像素数。直方图的总面积是图像的总像素数。在本实施方式中，对比度被定义为直方图的累计上限和累计下限的宽度。累计上限是与总像素数的95%相当的色阶。累计下限是与总像素数的5%相当的色阶。此外，累计上限的95%和累计下限的5%是一例，也可以分别被设定为其它值。
[0050]图3是表示运动检测水平设定UI11的图。运动检测水平设定UI 11具有显示部和输入操作部，例如由触摸面板、显示器以及鼠标等输入设备构成。
[0051]在运动检测水平设定UI 11的画面中显示用户能够操作的、用于设定运动检测水平的滑动条31和数值显示部32。当用户操作滑动条31上的滑块31a时，运动检测水平被变更。
[0052]图4是表示设定有与运动检测水平相对应的运动检测阈值的运动检测阈值表41的登记内容的图。该运动检测阈值表41被保持在运动检测阈值设定部12中。运动检测阈值设定部12参照运动检测阈值表41来求出与所输入的运动检测水平相对应的运动检测阈值的基准值。作为运动检测阈值的基准值，求出阈值下限和阈值上限(参照图5)的基准值。例如，在运动检测水平是值I的情况下，阈值下限和阈值上限的基准值分别被设定为“127”和“255”。基准值的最大值是“255”，最小值是“O”。
[0053]相对于作为运动检测阈值的基准值而求出的阈值下限和阈值上限的基准值，运动检测阈值设定部12使用由对比度分析部13计算出的对比度，按照数式(I)来调整运动检测阈值。
[0054][数式I]
[0055]运动检测阈值=运动检测阈值X对比度值...( I)
[0056]在此，对比度值是将图像的对比度以值0.0?1.0进行标准化而得到的值。对比度值0.0表示对比度的最小值，对比度值1.0表示对比度的最大值。
[0057]图5是表示合成比率K的曲线图。横轴表示差值，纵轴表示合成比率K。在此，合成比率K表示前帧图像的合成比率。因而，用“1.0-K”表示输入帧图像的合成比率。
[0058]当每个像素或每个区域的帧间差值比阈值下限小时，视为静止，合成比率K被设定为值Kmax Imax是大于0.0且小于1.0的值。另一方面，当每个像素或每个区域的帧间差值比阈值上限大时，视为大幅地运动，合成比率K被设定为值0.0。
[0059]在帧间差值处于阈值下限与阈值上限之间的情况下，通过对它们的线性插值来设定合成比率K。在此，以直线进行了插值，但也可以以曲线进行插值。
[0060]示出具有上述结构的图像处理装置I的动作。图6和图7是说明帧图像处理过程的流程图。对比度分析部13和平滑化处理部17读入存储部19中存储的输入帧图像(SI)。平滑化处理部17对输入帧图像进行用于空间平滑化的二维低通滤波处理(S2)。并且，平滑化处理部17从帧缓冲器18读入前帧图像的处理结果(S3)，对其进行用于空间平滑化的二维低通滤波处理(S4)。
[0061]对比度分析部13生成输入帧图像的直方图(参照图2)(S5)，根据该直方图来计算输入帧图像的对比度(S6)。并且，对比度分析部13将该对比度在时间轴上进行平滑化后计算对比度值(S7)。
[0062]运动检测阈值设定部12从运动检测水平设定UI11读入所设定的运动检测水平
(58)。运动检测阈值设定部12使用根据该运动检测水平获得的运动检测阈值的基准值和在步骤S7中计算出的对比度值，按照数式(I)来计算运动检测阈值中的阈值下限和阈值上限
(59)。
[0063]差计算部16读入输入帧图像和图像处理后的前帧图像中处于相同位置的关注像素的像素值(SlO)。差计算部16计算关注像素的帧间差值(Sll)。
[0064]运动检测部14判别该差值是否比阈值上限大(S12)。在比阈值上限大的情况下，运动检测部14将前帧图像的合成比率K设定为值0(S13)。即，视为关注像素大幅地运动，从而设定为不将前帧图像进行合成。
[0065]另一方面，在步骤S12中差值为阈值上限以下的情况下，运动检测部14判别差值是否比阈值下限小(S14)。在差值比阈值下限小的情况下，运动检测部14将前帧图像的合成比率K设定为值Kmax(S15)。即，视为关注像素静止，从而设定为将图像处理后的前帧图像以最大比例进行合成。
[0066]另一方面，在步骤S14中差值为阈值下限以上的情况下，运动检测部14将前帧图像的合成比率K设定为通过值O与值Kmax之间的插值(参照图5)而计算出的与差值相应的值(S16)。即，设定为以与关注像素的运动情形相应的比例将前帧图像合成到输入帧图像。
[0067]当通过步骤S13、S15或S16设定了合成比率K时，图像合成部15使用合成比率K将关注像素处的输入帧图像与前帧图像进行合成(S17)。
[0068]图像处理装置I判别是否针对输入帧图像的所有像素均完成了合成处理(S18)。在尚未针对所有像素均完成合成处理的情况下，图像处理装置I返回到步骤SlO的处理，对下一个关注像素进行同样的处理。
[0069]另一方面，在针对所有像素均完成了合成处理的情况下，图像合成部15将作为合成结果的合成图像作为输出帧图像存储到存储部19，并且将合成图像作为下一次的前帧图像存储到帧缓冲器18(S19)。之后，图像处理装置I结束本处理。
[0070]根据以上内容，在第一实施方式的图像处理装置I中，运动检测阈值能够与输入帧图像的对比度相应地自动变化，因此即使在帧间在对比度上存在高低差，也易于检测运动物体。因而，针对具有检测到运动物体的像素或区域的输入帧图像，降低与该输入帧图像进行合成的前帧图像的比例，由此，即使在对比度存在高低的情况下，也能够减轻合成后的图像中的运动物体的余像。
[0071]另外，通过用户从运动检测水平设定UI对运动检测水平进行输入操作，能够调整输入帧图像与前帧图像的合成比率，因此能够使合成图像反映用户的意图。
[0072](第二实施方式)
[0073]在第二实施方式中示出将输入帧图像分割为多个区域并针对分割出的每个区域计算对比度的情况。第二实施方式的图像处理装置具有与第一实施方式的图像处理装置大致相同的结构。对与所述第一实施方式相同的结构要素使用相同的附图标记，由此省略其说明。
[0074]图8是表示第二实施方式的图像处理装置IA的结构的框图。图像处理装置IA除了具有与所述第一实施方式的图像处理装置相同的结构以外，还具有图像分割部20。
[0075]图像分割部20将输入帧图像分割为多个区域。关于该分割方法，例如既可以将图像分割为相同尺寸的块，也可以对图像中的运动矢量、亮度分布进行分析并通过其分组(grouping)来分割区域。
[0076]对比度分析部13计算每个区域的对比度，运动检测阈值设定部12利用每个区域的对比度来设定运动检测阈值。
[0077]图9A和图9B是说明对被分割为多个区域的图像中的关注像素设定阈值的图。在输入帧图像50中包括三个分割出的区域Gl、G2、G3。对区域Gl、G2、G3分别设定了与对比度相对应的运动检测阈值Thd(Gl)、Thd(G2)、Thd(G3)。
[0078]在图9A中，关注像素P属于区域Gl，因此关注像素P的运动检测阈值Thd(P)为区域Gl的运动检测阈值Thd(Gl)。
[0079]另一方面，在图9B中，关注像素P处于分割出的区域G1、G2、G3之外。关注像素P的运动检测阈值Thd(P)可以被设定为离关注像素P最近的区域G3的运动检测阈值Thd(G3)。
[0080]另外，关注像素P的运动检测阈值Thd(P)也可以被设定为使用关注像素P的周边的多个区域(在此为区域G1、G2、G3)的运动检测阈值Thd(Gl)、Thd(G2)、Thd(G3)并通过数式
(2)计算出的插值计算值。
[0081][数式2]
[0082]Thd(P)
[0083]=[(Thd(Gl)/dl)+(Thd(G2)/d2)+(Thd(G3)/d3)]/[(l/dl)+(l/d2)+(l/d3)]...(2)
[0084]在此，dl、d2、d3分别表示从关注像素P到区域G1、G2、G3的重心的距离。
[0085]此外，在关注像素位于区域的边界的情况下，为了降低运动检测阈值的急剧变化，也可以对运动检测阈值的分布进行二维低通滤波处理后计算关注像素的运动检测阈值。
[0086]图10是说明帧图像处理过程的流程图。此外，步骤SlO之后的处理与所述第一实施方式的处理相同，因此省略其说明。另外，在此对与所述第一实施方式不同的步骤处理进行说明。
[0087]在步骤S4中，平滑化处理部17对从帧缓冲器18读入的前帧图像进行用于空间平滑化的二维低通滤波处理。
[0088]之后，图像分割部20在输入帧图像中设定多个分割出的区域(S4A)。对比度分析部13针对分割出的每个区域生成直方图(S5A)，根据该直方图计算分割出的每个区域的对比度(S6A)。
[0089]运动检测阈值设定部12当在步骤S8中从运动检测水平设定UI 11读入所设定的运动检测水平时，使用根据该运动检测水平获得的运动检测阈值的基准值和在步骤S7中计算出的对比度值，按照所述数式(I)来计算分割出的每个区域的运动检测阈值的阈值下限和阈值上限(S9A)。
[0090]根据以上内容，在第二实施方式的图像处理装置IA中，针对输入帧图像中的分割出的每个区域，运动检测阈值能够与每个区域的对比度相应地自动变化。由此，即使在一张输入帧图像中对比度存在高低差，也易于检测运动物体。因而，即使在输入帧图像中对比度低的区域、对比度高的区域混合存在，也能够减轻运动物体的余像。
[0091](第三实施方式)
[0092]在第三实施方式中示出用户设定输入帧图像中的区域和对比度的情况。第三实施方式的图像处理装置IB具有与所述第一实施方式的图像处理装置大致相同的结构。对与所述第一实施方式相同的结构要素使用相同的附图标记，由此省略其说明。
[0093]图11是表示第三实施方式的图像处理装置IB的结构的框图。图像处理装置IB除了具有所述第一实施方式的结构以外，还具有区域和对比度设定UI 21、直方图生成部22，并且具有对比度设定部13A来代替对比度分析部13。
[0094]区域和对比度设定UI21用于进行关注区域的选择、对比度的设定，具有输入操作部和能够显示直方图的显示部。区域和对比度设定UI 21例如由触摸面板、显示器以及鼠标等输入设备构成。
[0095]直方图生成部22生成由用户指定的关注区域的直方图。对比度设定部13A设定关注区域的由用户指定的对比度。
[0096]用户参照区域和对比度设定UI21的画面(参照图13)中显示的代表帧图像及其直方图并指定关注区域(规定的区域)。所指定的关注区域的信息被输入到直方图生成部22。当直方图生成部22生成了关注区域的直方图时，区域和对比度设定UI 21将关注区域的直方图叠加于代表帧的直方图来进行显示。
[0097]进而，用户参照关注区域的直方图并指定该区域的累计下限和累计上限，由此，所指定的累计下限和累计上限被输入到对比度设定部13A。对比度设定部13A根据所输入的累计下限和累计上限的信息来计算关注区域的对比度。
[0098]用户选择多个关注区域，并指定各个区域的对比度。所设定的每个关注区域的对比度被输入到运动检测阈值设定部12。
[0099]图12是说明区域和对比度设定UI21的输入操作过程的流程图。图13A?图13F是表示区域和对比度设定UI 21的画面的图。
[0100]首先，区域和对比度设定UI21打开输入帧图像50(S31)。当输入帧图像50被打开时，如图13A所示那样在区域和对比度设定UI 21的画面中显示输入帧图像50。
[0101]并且，直方图生成部22生成与输入帧图像50的整个区域相对应的直方图61，区域和对比度设定UI 21如图13B所示那样在画面中显示所生成的与整个区域相对应的该直方图61(S32)。
[0102]对比度设定部13A设定直方图61的对比度71(S33)。例如，通过将累计下限和累计上限分别指定为总像素数的2%、98%来设定对比度71。
[0103]区域和对比度设定UI21受理由用户选择的、输入帧图像中的关注区域53(S34)。当如图13C所示那样选择了关注区域53时，直方图生成部22生成与关注区域53相对应的直方图63，区域和对比度设定UI 21如图13D所示那样将所生成的与关注区域53相对应的该直方图63以叠加于与整个区域相对应的直方图61的方式显示在画面(S35)。
[0104]对比度设定部13A设定直方图63的对比度73(S36)。例如，通过将累计下限和累计上限分别指定为总像素数的2%、98%来设定对比度73。
[0105]区域和对比度设定UI21判别是否已完成全部的关注区域的选择(S37)。在尚未完成全部的关注区域的选择的情况下，区域和对比度设定UI 21返回到步骤34的处理，重复进行同样的处理。
[0106]当如图13E所示那样第二次选择关注区域55时，区域和对比度设定UI21受理由用户选择的、输入帧图像中的关注区域55(S34)。然后，如图13F所示，直方图生成部22生成与关注区域55相对应的直方图65，区域和对比度设定UI 21将所生成的与关注区域55相对应的该直方图65以叠加于与整个区域相对应的直方图61的方式显示在画面(S35)。
[0107]对比度设定部13A设定直方图65的对比度75(S36)。例如，通过将累计下限和累计上限分别指定为总像素数的2%、98%来设定对比度75。
[0108]第一次选择的关注区域53是整体上暗的区域，对比度73为小的值。另一方面，第二次选择的关注区域55是有明暗的区域，对比度75为大的值。
[0109]图14是说明帧图像处理过程的流程图。此外，步骤SlO之后的处理与所述第一实施方式相同，因此省略其说明。另外，在此对与所述第一实施方式不同的步骤处理进行说明。
[0110]在步骤S4中，平滑化处理部17对从帧缓冲器18读入的前帧图像进行用于空间平滑化的二维低通滤波处理。
[0111]之后，区域和对比度设定UI21按照图12示出的过程来设定由用户选择出的关注区域以及与该关注区域对应的对比度(S6B)。
[0112]运动检测阈值设定部12当在步骤S8中从运动检测水平设定UI 11读入所设定的运动检测水平时，使用根据该运动检测水平获得的运动检测阈值的基准值和在步骤S7中计算出的对比度值，按照所述数式(I)来计算所选择出的每个关注区域的运动检测阈值的阈值下限和阈值上限(S9B)。
[0113]根据以上内容，在第三实施方式的图像处理装置IB中，用户能够一边参照输入帧图像一边选择关注区域，并且指定在该关注区域中用于计算运动检测阈值的对比度。
[0114]因而，即使在输入帧图像中对比度低的区域、对比度高的区域混合存在，也能够充分反映用户的意图，易于检测运动物体。针对具有检测到该运动物体的关注区域的输入帧图像，降低与该输入帧图像进行合成的前帧图像的比例，由此能够如用户所意图的那样减轻运动物体的余像。
[0115]此外，关于关注区域的指定和对比度的设定，也可以不全由用户进行，可以如所述第二实施方式所示那样，针对自动分割出的区域和所设定的对比度，用户一边参照其结果一边进行修正，由此进行指定和设定。
[0116]以上，参照附图对各种实施方式进行了说明，但是本发明并不限定于上述例子，这是不言而喻的。本领域技术人员显然明白，在权利要求书中记载的范畴内能够想到各种变更例或修正例，并了解这些变更例和修正例当然也属于本发明的技术范围。
[0117]例如，各实施方式的图像处理装置1、1A、IB的显示控制部CT也可以读出存储部19中存储的运动图像的图像数据，将各实施方式中的使用合成比率K进行的前帧图像与输入帧图像(当前帧图像)的图像合成(以下称为“多张合成NR”)处理的菜单画面和从存储部19读出的运动图像的图像数据显示在显示器DP的同一画面上(参照图15?图20)。此外，虽然在上述各实施方式中省略了说明，但在各图像处理装置1、1A、1B中也可以还设置用于显示画面的显示器DP和用于对显示器DP的显示进行控制的显示控制部CT(参照图1、图8、图11)。以下，参照图15?图20来说明在显示器DP的同一画面WDl?WD6中显示的画面例。
[0118]图15是表示运动图像的查看器(viewer)的显示区域VIW和图像处理菜单的显示区ii|MNU显示在同一画面WDl上且显示紧挨着再现之前的运动图像的例子的图。图16是表示运动图像的查看器的显示区域VIW和图像处理菜单的显示区域MNU显示在同一画面WD2上且显示紧接在再现之后的运动图像的例子的图。图17是表示运动图像的查看器的显示区域VIW和图像处理菜单的显示区域MNU显示在同一画面WD3上且显示多张合成NR处理后的运动图像的例子的图。
[0119]在图15中，从存储部19读出的时间点处于紧挨着再现之前的状态的运动图像的图像数据的查看器的显示区域VIW、以及图像处理装置1、1A、1B能够执行的图像处理(具体地说，空间色阶校正、多张合成NR(Noise Reduct1n:噪声降低)、雨雪去除)的菜单(图像处理菜单)的显示区域MNU示出在同一画面WDl上。在图15中，不显示这些图像处理菜单各自的详细内容，仅显示各图像处理菜单的名称，从而对于用户而言能够一目了然地视觉确认作为图像处理装置1、1A、IB的图像处理的对象的运动图像的图像数据与图像处理装置1、1A、IB能够执行的图像处理的菜单的一览的关系。因而，用户能够对比地确认作为图像处理的对象的运动图像的图像数据与图像处理菜单。
[0120]在图15?图20所示的画面WDl?WD9的下部共通地显示了与运动图像的再现、暂停、停止、快进、倒回、录像、返回操作等有关的操作按钮集BST、可视地示出运动图像的再现时刻的再现条BAR、示出运动图像的起点时刻和结束时刻的运动图像时间区STE、以及直接示出由在再现条BAR内显示的指示器IND表示的实际的再现时刻(也就是说从起点时刻起的经过时间)的再现时刻区CRT。当通过用户的操作而利用光标CSR按下再现按钮RP时，图像处理装置I的显示控制部CT再现从存储部19读出的运动图像的图像数据(参照图16?图21)。在该情况下，图像处理装置I的显示控制部CT在画面WD2上将再现按钮RP变更为暂停按钮HL来进行显示。
[0121]在此，当通过用户的操作而利用光标CSR例如将图像处理菜单的显示区域MNU中的多张合成NR的菜单栏MNU2按一次时，图像处理装置1、1A、IB的图像合成部15按照对应的各实施方式的方法(例如分别参照图6和图7的组合、图10和图7的组合、图14和图7的组合)来对显示区域VIW中显示的运动图像的图像数据进行多张合成NR的处理。另一方面，当利用光标CSR再一次按下多张合成NR的菜单栏MNU2时，图像处理装置1、1A、IB的图像合成部15中断对显示区域VIW中显示的运动图像的图像数据进行的多张合成NR的处理。由此，图像处理装置1、1A、1B能够在对显示区域VIW中显示的运动图像的图像数据进行再现的状态下，通过用户的简单操作(即，是否按下菜单栏MNU2)来准确地执行或中断执行与显示区域MNU中显示的任一图像处理菜单相对应的图像处理，能够使用户简单地确认图像处理前后的处理结果。此外，图像处理装置1、1A、1B的显示控制部CT可以在光标CSR处于图像处理菜单中的任一菜单栏上或该菜单栏的附近的情况下显示不同形状的光标CSRl，也可以显示原来的光标CSR0
[0122]另外，当通过用户的操作而利用光标CSRl按下图17所示的多张合成NR的菜单栏MNU2的右端部显示的标记DTl时，图像处理装置1、1A、IB的显示控制部CT将用于设定与多张合成NR有关的多个输入参数(例如NR水平、检测水平)的详细的操作画面的显示区域MNU2D展开并显示在画面WD4上(参照图18?图20)。图18?图20分别是表示运动图像的查看器的显示区域VIW和图像处理菜单的显示区域MNU2D显示在同一画面WD4?WD6上且示出了多张合成NR菜单的详细内容的例子的图。
[0123]如图18?图20所示，图像处理装置1、1A、IB的显示控制部CT在显示区域MNU2D中显示与用于设定与多张合成NR有关的输入参数的详细的操作画面(参照图3)同样的画面。在图18?图20所示的显示区域MNU2D中以能够输入或指定的方式显示了作为与多张合成NR有关的输入参数的摄像机动作、NR水平、检测水平、是否对移动物体应用平滑化滤波的复选框FCB、摄像机运动检测的检测精度及检测范围。
[0124]在图18?图20中同样地通过用户针对按NR水平、检测水平、检测精度以及检测范围设置的拖动条(seek bar)(例如参照图3所示的滑块3Ia)使光标CSR向左右移动的操作，图像处理装置1、1A、1B对显示区域VIW中正在再现的运动图像的图像数据进行与移动操作后的输入参数相应的多张合成NR的处理。
[0125]图18?图20所示的“NR水平”是用于决定前帧图像与当前帧图像的合成比率K的参数，用于降低帧图像中的噪声。图18?图20所示的“检测水平”与图3所示的被摄体检测运动检测水平对应，用于运动检测阈值设定部12中的运动检测阈值的计算。图18?图20所示的“检测精度”和“检测范围”分别表示图像处理装置1、1A、IB检测摄像机运动时的检测精度和检测摄像机运动时的检测范围。
[0126]当通过用户的操作而利用光标CSR按下复选框FCB时，图像处理装置1、1A、1B在图像合成部15中对由运动检测部14检测到的运动像素进行用于空间平滑化的二维低通滤波处理。
[0127]在图18中NR水平为“6”，但在图19中NR水平变更为“15”，因此与图18所示的运动图像的图像数据的噪声成分相比，图19所示的运动图像的图像数据的噪声成分降低，因此用户能够充分地掌握运动图像的内容。
[0128]在图18中检测水平为“7”，但在图20中检测水平变更为“2”，因此与图18所示的运动图像的图像数据相比，图20所示的运动图像的图像数据中移动物体的检测水平降低，因此运动检测阈值上升，通过多张合成NR而出现移动物体的余像，但例如在存在用户需要特别监视不包含移动物体的背景等情形的情况下，也可以将检测水平设定得较低。
[0129]另外，各实施方式的图像处理装置1、1A、1B也可以将从存储部19读出的运动图像的图像数据和包括多张合成NR在内的多个图像处理的菜单画面显示在显示器DP的同一画面上(参照图21)。以下，参照图21来说明在显示器DP的同一画面WD7上显示的画面例。
[0130]图21是表示运动图像的查看器的显示区域VIW和各图像处理菜单的显示区域丽U1、MNU2、MNU3显示在同一画面WD7上且显示空间色阶校正、多张合成NR以及雨雪去除的各图像处理后的运动图像的例子的图。在图21中，通过用户的操作来利用光标CSRl分别按下空间色阶校正的菜单栏MNUl、多张合成NR的菜单栏MNU2以及雨雪去除的菜单栏MNU3，由此在显示区域VIW中显示由图像处理装置1、1A、1B实施了与各菜单栏对应的图像处理后的运动图像的图像数据。也就是说，本实施方式的图像处理装置1、1A、1B并不限定于参照图15?图20说明的单一的图像处理(例如多张合成NR)，能够一边在显示区域VIW中显示运动图像的图像数据，一边与用户的简单操作相应地执行多个图像处理，从而能够直观且可视地向用户示出多个图像处理结果。
[0131]此外，空间色阶校正是如下的图像处理:根据规定的参数(例如校正方式、校正强度、颜色增强度、明亮度以及校正范围)的输入或指定，变换为相应的另外的参数(例如加权系数、加权范围、直方图上限限幅(clip)量、直方图下限限幅量、直方图分配系数设定值、分配开始和结束位置、图像混合(blend)率、颜色增益)，使用变换后得到的参数来针对输入帧进行局部直方图的生成和整形，进而生成色调曲线来进行色阶变换和颜色增强。另外，雨雪去除是如下的图像处理:根据所输入的帧的图像中的动态区域(即存在运动的区域)是否为与用于去除雨雪的校正参数相应的指定尺寸以上，来将滤波处理后的图像或当前帧的图像中的对应位置的图像用作动态区域的图像。
[0132]另外，在图21中，与图18同样地，当通过用户的操作而利用光标CSRl按下与图17所示的标记DTI对应的空间色阶校正的菜单栏MNU1、多张合成NR的菜单栏MNU2以及雨雪去除的菜单栏MNU3的各标记时，图像处理装置1、1A、IB的显示控制部CT将用于设定与空间色阶校正、多张合成NR以及雨雪去除有关的各自的多个输入参数的详细的操作画面的显示区域MNUlD等展开并显示在画面上。此外，省略了用于设定与空间色阶校正和雨雪去除有关的各自的多个输入参数的详细的操作画面的显示区域的图示。例如，通过用户的操作而在空间色阶校正中分别输入或指定上述校正方式、校正强度、颜色增强度、明亮度以及校正范围)。另外，在雨雪去除中输入或指定用于去除雨雪的校正参数(即校正强度)。
[0133]由此，图像处理装置1、1A、1B能够在对显示区域VIW中显示的运动图像的图像数据进行再现的状态下，通过用户的简单操作(也就是说，是否按下与多个图像处理有关的菜单栏MNUl、MNU2、MNU3)来准确地执行或中断执行与显示区域MNUl、MNU2、MNU3的按下操作相对应的图像处理，能够使用户简单地确认图像处理前后的处理结果。另外，图像处理装置1、1A、1B能够准确地执行或中断执行与用于设定多个图像处理中的各参数的详细的操作画面的显示区域(例如显示区域MNU2D)中显示的任一参数的变更操作相应的图像处理，能够使用户简单地确认图像处理前后的处理结果。
[0134]产业上的可利用性
[0135]本发明对于即使在对比度存在高低的情况下也减轻合成图像中的运动物体的余像的图像处理装置和图像处理方法是有用的。
[0136]附图标记的说明
[0137]1、1A、1B:图像处理装置；11:运动检测水平设定UI; 12:运动检测阈值设定部；13:对比度分析部；13A:对比度设定部；14:运动检测部；15:图像合成部；16:差计算部；17:平滑化处理部；18:帧缓冲器；19:存储部;20:图像分割部;21:区域和对比度设定UI; 22:直方图生成部；31:滑动条；3Ia:滑块；32:数值显示部；41:运动检测阈值表;50:输入帧图像;53、55:关注区域;61、63、65:直方图；71、73、75:对比度;(:1':显示控制部;0?:显示器;101、仰2、WD3、WD4、WD5、WD6、WD7:画面。
【主权项】
1.一种图像处理装置，对输入帧图像进行图像处理，该图像处理装置具备: 对比度计算部，其计算所述输入帧图像的对比度； 第一输入操作部，其受理针对所述输入帧图像的运动检测水平的输入； 阈值计算部，其计算与所述运动检测水平及所述对比度相对应的运动检测阈值； 存储部，其存储所述图像处理后的前帧图像；以及 合成图像生成部，其基于所述输入帧图像与所述前帧图像的差值同所述运动检测阈值的比较结果来生成所述输入帧图像与所述前帧图像的合成图像。2.根据权利要求1所述的图像处理装置，其特征在于， 还具备图像分割部，该图像分割部将所述输入帧图像分割成各个区域， 所述对比度计算部针对由所述图像分割部分割出的每个区域计算所述输入帧图像的对比度， 所述阈值计算部针对由所述图像分割部分割出的每个区域计算所述运动检测阈值。3.根据权利要求1所述的图像处理装置，其特征在于， 还具备第二输入操作部，该第二输入操作部受理针对所述输入帧图像进行的规定区域的选择和所述规定区域的对比度的指定， 所述阈值计算部针对通过所述第二输入操作部选择出的每个所述规定区域计算所述运动检测阈值。4.根据权利要求1所述的图像处理装置，其特征在于， 所述显示部将所述图像数据和包括所述运动检测水平的操作画面的图像合成处理的菜单画面显示在同一画面上。5.根据权利要求1所述的图像处理装置，其特征在于， 所述显示部将所述图像数据和包括所述运动检测水平的操作画面的、具有图像合成处理的多个图像处理的菜单画面显示在同一画面上。6.根据权利要求4或5所述的图像处理装置，其特征在于， 所述阈值计算部根据对所述图像合成处理的菜单画面进行的所述运动检测水平的变更操作来计算所述运动检测阈值， 所述合成图像生成部根据由所述阈值计算部计算出的所述运动检测阈值来生成所述输入帧图像与所述前帧图像的合成图像。7.—种图像处理方法，是对输入帧图像进行图像处理的图像处理装置的图像处理方法，该图像处理方法包括以下步骤: 计算所述输入帧图像的对比度； 受理针对所述输入帧图像的运动检测水平的输入； 计算与所述运动检测水平及所述对比度相对应的运动检测阈值；以及基于所述输入帧图像与所述图像处理后的前帧图像的差值同所述运动检测阈值的比较结果来生成所述输入帧图像与所述前帧图像的合成图像。
【文档编号】H04N5/21GK106031145SQ201580009883
【公开日】2016年10月12日
【申请日】2015年2月25日
【发明人】王亲和, 古田晓广
【申请人】松下知识产权经营株式会社