图像处理设备、图像处理方法,以及记录介质的制作方法

专利名称：图像处理设备、图像处理方法,以及记录介质的制作方法
技术领域：
本发明涉及用于向运动图像中添加运动模糊的图像处理设备和图像处理方法，以及存储使计算机或其他计算设#行这样的图像处理的程序的记录介质。
背景技术：
考虑由具有快门功能的成像设备形成的一系列运动图像，其中，相对于由帧速率确定的时间段，每一帧的有效曝光时间都比较短。当使用显示设备显示这样的运动图像时，运动图像中的活动物体的运动将以不连续的方式显示，而在某些情况下导致图片的视觉质量的降^f氐，其中，查看运动图像的查看者察觉到重叠的图像。
这样的由于不自然的运动导致的运动图像质量降低通常称为运动急动(motion jerkiness)，在ANSI Tl.801.02-1996标准中对此进行了定义。
现在将使用如图20所示的运动图像成像设备500和运动图像播放设备600描^动急动的产生的具体示例。
运动图像成像设备500根据诸如MPEG (运动图像专家组)的标准进行成像并对运动图像进行编码，然后，将经过编码的图像数据记录到诸如DVD (数字通用光盘)的记录介质700上。
更具体地说，运动图像成像设备500包括聚焦发自物体的光的成像光学元件510，接收由成像光学元件510聚焦的光并将其转换为图傳_信号的成像元件520，以及对由成像元件520输出的图像信号进行编码的编码处理器530。
此外，还为运动图像成像设备500提供了传输处理器540，它通过传输#从外部传输经过编码处理器530编码的图像数据，以及记录处理器550，它将经过编码处理器530编码的图〗象数据记录到DVD或类似的记录^h质700上。
成像光学元件510包括光團机构511，用于对入射物体的光量进行调节，以及光学透镜系统512，用于使物体的光(其光量由光團机构511调节)被聚焦到成l象元件520的受M面上。
同时，运动图像播放设备600对经过编码的图像数据进行解码，然后，向显示器或类似的i殳备输出结果。
更具体地说，运动图像播放设备600包括用于接^过传输路径传输的经过编码的图像数据的接收处理器610，以及用于从记录介质700读取经过编码的图像数据的读取处理器620。
此外，还为运动图像播放设备600提供了解码处理器630，用于对从接收处理器610和读取处理器620输出的经过编码的图像数据进行解码，以及输出单元640，用于向显示器或类似的设备输出经过解码处理器630解码的图像信号。
当例如在明亮的环境中的户外形成运动图4象时，类似于上文所描述的那种相关技术的运动图像成像设备500适当地控制膝光量，以便通过使光團机构511变窄来限制入射到成4象元件520上的光量。
然而，通常，如果光團机构511过分地变窄，由于衍射现象而使图像模糊。因此，除利用光围机构511调节光量之外，运动图像成像设备500还通过增大快门il^来进行适当的膝光控制。
还通过修改没有提供光團机构的运动图像成像设备中的快门速度来进行曝光控制。
通过以此方式增大快门速度，运动图像成像设备500能够对于室外的成像和类似的情况进行适当的膝光控制。
然而，当相关技术的运动图像成像设备500过分地增大快门速度时，产生图像运动对人眼不再显得平滑的现象。
这样的由于不自然的运动而产生的图片质量降低通常称为运动急动。换句话说，如果运动图像成像设备500获取运动图像使得产生急动，那么，运动图像播放设备600将对急动的图傳教据进行解码并在输出单元640上照原样显示。

发明内容
如上文所描述的，使用相对于运动图像帧速率而言非常快的快 门速度成像的图像当显示为静止图像时，非常锐利，但是当显示为一 系列运动图像时，运动图像中物体的运动不平滑，人眼看起来不自然。
因此，申请人以前提出了用来对于运动图^^测运动矢量的技 术，然后使用运动矢量适当地向运动图像添加运动模糊(参见日本未
经审查的专利申请出版物No. 2007-274299，相当于EP2003876/A2 )。
然而，例如，导致用于检测构成一系列运动图像的每一帧中的 相应的区域的运动矢量的显著的处理负荷，在某些情况下，这样的处 理可能对于筒单设备或系统不适宜。
如此，需要提供这样的图像处理设备、图像处理方法以及记录 介质，使得可使用带有轻的处理负荷的简单技术适当地向运动图像添 加运动模糊并减小急动。
根据本发明的实施例的图像处理设备包括用于对于构成运动 图像数据的相应的单位图像的每一个区域进行静止/运动确定的静止/ 运动确定装置；以及，运动模糊添加装置，用于根据所述静止/运动确 定的结果和表达了通过成像设备成像而生成所述运动图傳Jt据所采用 的^!t的成像信息来向所g动图傳教据添加运动模糊。
运动模糊添加装置也可以向被静止/运动确定装置确定为运动区 域的相应的单位图像的区域添加运动模糊。
静止/运动确定装置也可以根据成《象信息和有关给定区域是静止 区域还是运动区域的确定的结果，生成每个区域的分数值。然后，运 动模糊添加装置可以根据分数值向运动图像的相应的单位图像添加运 动模糊。
静止/运动确定装置也可以借助于使用多种成像信息的加权加法 来生成分数值。
运动模糊添加装置也可以如此添加运动模糊，以使得运动模糊 的量随着如所述成像信息中包括的快门速度信息所指定的快门速度加快而增大。
运动模糊添加装置也可以如此添加运动模糊，以使得运动模糊 的量随着如所述成像信息中包括的光團值信息所指定的光團值增大而 增大。
运动模糊添加装置也可以如此添加运动模糊，以使得运动模糊 的量随着如所述成像信息中包括的焦距信息所指定的焦距增大而增 大。
运动模糊添加装置也可以如此添加运动模糊，以使得运动模糊 的量随着如所述成像信息中包括的陀螺仪旋转信息所指定的陀螺仪旋 转增大而增大。
运动模糊添加装置可以包括缩小图像生成器，被配置为从所 述单位图像生成一个或更多个具有不同的分辨率的缩小图像；以及， 像素合成处理器，被配置为从一个或多个缩小图像提取在位置上对应 于单位图像中的对象像素的像素，并且根据静止/运动确定和成像信 息，通过对于对象像素和从一个或更多个缩小图像中提取的一个或更 多个提取的像素执行加^法，向单位图像添加运动模糊。
也可以为图像处理设备提供用于对物体进行成像以生成运动图 ^Jt据的成像装置。然后，由成像装置获得的运动图傳教据可以被输 入到静止/运动确定装置和运动模糊添加装置。
也可以为图像处理设备提供用于通过记录介质播放操作播放运 动图傳教据的播放装置。然后，由播放装置播放的运动图傳教据可以 被输入到静止/运动确定装置和运动模糊添加装置。
也可以为图像处理设备提供用于接收运动图像数据的接收装 置。然后，由接收装置接收到的数据的运动图傳教据可以被输入到静 止/运动确定装置和运动;^糊添加装置。
根据本发明的另外的实施例的图像处理方法包括下列步骤对 于构成运动图像数据的相应的单位图像的每一个区域进行静止/运动 确定；以及，根据所述静止/运动确定的结果和表达了通过成像而生成 了所&逸动图傳教据所用的^*的成像信息，向所述运动图《象数据添 加运动^^糊。根据本发明的另外的实施例的记录介质存储使得计算机执行上 面的静止/运动确定步骤和运动模糊添加步骤的程序。
在本发明的实施例中，在输入运动图像数据中执行向单位图像 (例如，单帧的图^lt据)添加运动模糊的处理。根据每个区域的静 止/运动确定，以M达了形成单位图像所用的^t的成像信息来添加 运动模糊。进行静止/运动确定处理，以便逐个区域地确定帧中的给定 区域(即，像素单位或由多个像素构成的像素块单位)是运动区域还 是静止区域。例如，也可以使用简单的过程，如通过与相邻帧相比来 进行静止/运动确定。
例如，成像信息是指诸如快门速度信息、光團值信息、焦距信 息以及陀螺仪旋转信息(例如，表示成像设备的水平和垂直运动的信 息)的信息。
才艮据上面的静止/运动确定和成《象信息，可以向可能产生急动的 运动图像中的区域添加适量的运动模糊。这样，可以添加运动模糊而 没有由于检测帧内的每一个区域的运动矢量而导致的沉重的处理负 荷。
如此，根据本发明的实施例，可以根据静止/运动确定和表达了
形成运动图^象所用的^!t的成像信息，向 一 系列运动图4象中的各个单 位图像中添加适当的运动模糊。结果，输出对人眼显得更自然的急动 减小的运动图像。
更具体来说，可以简单地添加适当的运动模糊，而没有与诸如
运动矢量检测的方法关联的沉重的处理负荷，从而，设备可以简化， 成本可以降低。


图l是根据本发明的实施例的基本配置的图像处理设备的方
框图2是根据本发明的第一实施例的运动图像成像设备的方框
图；图3A是说明本发明的实施例中的成像信息的图形；
图3B是说明本发明的实施例中的成^象信息的图形；
图4A是说明本发明的实施例中的成像信息的图形；
图4B是说明本发明的实施例中的成4象信息的图形；
图4C是说明本发明的实施例中的成像信息的图形；
图5是根据本发明的实施例的运动区域确定单元的方框图6是根据本发明的实施例的运动模糊添加器的方框图7是说明使用根据本发明的实施例的使用缩小图像的加权 加法的图形；
图8是说明根据本发明的实施例的生成缩小图像的处理的图
形；
图9是说明根据本发明的实施例的生成水平地缩小的图像的 处理的图形；
图10是说明根据本发明的实施例的生成垂直地缩小的图像的 处理的图形；
图11是说明根据本发明的实施例的由缩小图像生成器执行的 处理的图形；
图12是说明根据本发明的实施例的由缩小图像生成器执行的 处理的一般化图形；
图13是说明根据本发明的实施例的缩小图像生成器中的滤波 器的图形；
图14是说明根据本发明的实施例的缩小图像生成器的图形；
图15是说明根据本发明的实施例的由运动模糊添加器执行的 处理的图形；
图16是显示了根据本发明的实施例的运动模糊添加器的配置 的方才匡图17是说明根据本发明的实施例的像素合成和像素加权的图形；
图18是说明根据本发明的实施例的加权信息表的图形；
图19是根据本发明的实施例的播放和接收设备的方框图；以
及
图20是相关技术的运动图像成像设备和运动图像播放设备的
方框图。
具体实施例方式
下面，将参考附图详细描述用于执行本发明的优选实施例。根 据本发明的实施例的图像处理设备向人眼看起来不自然的具有急跳动 作的图像添加运动模糊，从而减少这样的急动。
将按如下进行描述。
[2-3:运动模糊添加器的示范性配置和操作
[2-4:小结和结论
[3.第二实施例播放和接收设备
4.记录介质
[1.基本配置示例
首先，将参考图1描述根据本发明的实施例的图像处理设备的 基本配置示例。下面所描述的第一实施例是包含如图1所示的图像处 理设备100的配置的运动图像成像设备，而第二实施例是包含如图1 所示的图〗象处理诏:备100的配置的播放和接收i殳备。
根据本发明的实施例的基本配置的图像处理设备100通过进行图像处理生成急动减小的图像。当使用显示设备显示形成的运动图 像时，运动图像可能显得是急跳的，人眼看起来不自然。因此，在本 发明的实施例中，通过使用表达了对输入的运动图傳进行成像所用的 参数的成像信息适当地添加运动模糊来降低急动。这样，可以生成并 输出缺陷很少的高质量图像信号。如此，实现了改善图像质量的处理。
给如图1所示的图像处理设备100配备了图像捕获器1、运 动区域确定单元2,以及运动^^添加器3。图像捕获器1被配置为 获取图像数据，并将其导入到图l象处理i殳备100中。例如，图像捕获 器1可以从成像设备或类似设备获取表达了运动图像的图像数据 DD。 ^，图像捕获器1将图^Jt据DD提供到运动区域确定单元 2和运动模糊添加器3。
与获取的图^Nt据DD相关联，还有表达形成了图^lt据DD 所用的M的信息。这样的信息以成像信息CI的形式存在，并包括 例如快门速度、光團值、焦距以及陀螺仪信息。图像捕获器l提取关 于获取的图像数据DD的各种成像信息CI，然后，将提取的信息提 供到运动区域确定单元2。
运动区域确定单元2根据图像数据DD中的相邻的帧之间的 差异来检测移动物体。例如，给定了要处理的帧内的特定区域(即， 像素单位或由多个像素构成的像素块单位)，运动区域确定单元2可 以确定该区域是运动区域还是静止区域。运动区域确定单元2逐个 区域地进行这样的静止/运动确定。此外，根据成像信息CI，运动区 域确定单元2生成表达移动物体的急动程度的分数值，然后，将分数 值提供到运动模糊添加器3。
运动模糊添加器3根据由运动区域确定单元2所提供的分数 值，生成关于输入图傳教据DD的伪运动模糊。结果，输出急动减少 的输出图^Jt据。虽然可以考虑用于生成运动模糊的各种算法，下面 给出将一个特定示例，作为第一实施例的描述的一部分。
在如上文所描述的图像处理设备100中，运动模糊添加器3 向输入图像数据DD中的单位图像(例如，用于单帧的图^Jt据)添 加运动模糊。根据由运动区域确定单元2进行的针对每个区域的静止 /运动确定的结果以及根据成〗象信息CI，添加运动模糊。更具体地i兌，根据静止/运动确定和成l象信息CI两者，运动模糊添加器3向运动 图像中的可能产生急动的区域添加运动模糊。这样，添加了适当的模 糊，减少了急动，而没有由于检测帧内的每一个区域的运动矢量而导 致的沉重的处理负荷。
[2.第一实施例运动图像成像设备
[2-1:运动图<象成#^殳备的一般配置
现在将参考图2描述根据第一实施例的运动图像成像设备 200的配置。这里的运动图像成像设备200使物体成像，如上文所描 述的那样进行处理以向所成像的运动图像添加运动模糊，然后输出结 果。
更具体地说，运动图像成像设备200通过使物体成像来获M 动图像，随后，将成像的图像记录到DVD或类似的记录介质卯， 或将成像的图像传输到外部设备。如图2所示，给运动图像成像设备 200配备了成像光学元件10，包括光團机构11、光学透镜系统12 以及成《象元件13。
光闺机构11调节入射的物体的光的量。光学透镜系统12使 物体的光(其光量由光團机构11调节)被聚焦到成像元件13的受 光表面上。
成像元件13接收由光学透镜系统12聚焦到其受光表面上的 光，并将接收到的光转换为图像信号。然后，成像元件13进行预定 的信号处理，并以图傳教据DD的形式输出所产生的运动图像。然后， 将从成像元件13输出的图像数据DD提供到运动模糊添加器30 和运动区域确定单元40。
这里，假定图像数据DD例如按60 fps的帧速率、以逐行扫描 格式由单位图像构成。然而，应该认识到，图像数据DD不仅限于逐 行扫描格式，也可以由以隔行扫描格式形成一 系列运动图像的单位图 糾成。
还为运动图像成像设备200配备了陀螺仪传感器14，用于检 测运动图像成像设备200本身的运动。例如，陀螺仪传感器14可以检测水平和垂直方向的旋转信息。此旋转信息用于诸如图像稳定的特
征，而在本示例中另外还被用作用来添加运动模糊的成像信息CI的
一个分量。
控制器20控制运动图像成像设备200的总体^Mt。可以利用 例如微控制器来实现控制器20。控制器20进行各种控制，如控制成 像操作、控制信号处理、控制记录到记录介质90上的过程以及控制 传输到外部i殳备。
由控制器20对成像操作进行的控制包括当进行成像时通it^目 对于成像光学元件10驱动镜头来控制聚焦和变焦。此外，例如，控 制器20还控制光闺机构11的打开和关闭、成l象元件13中的快门 速度、以及利用信号增益控制来进行的曝光调节。例如，控制器20也 可以根据通过陀螺仪传感器14检测到的运动图像成像设备200本身 的运动来进行图像稳定化控制。
虽然这里省略了各种控制操作的详细描述，但是由控制器20 进行的与本示例的图像处理相关的一个处理是输出成像信息CI。更具 体地说，如上文所描述的，控制器20能够从在成像过程中执行的控 制操作中获取关于所获得的图像数据DD的信息。例如，信息可以包 括快门速度信息、光圏值信息、焦距信息以及陀螺仪旋转信息。然后， 控制器20将这些各种信息以成像信息CI的形式提供到运动区域确 定单元40。
如稍后参考图5所描述的，运动区域确定单元40获取帧内的 给定区域(即，像素单位或由多个像素构成的像素块单位)，并根据图 像数据DD中的相邻的帧之间的差异来确定该区域是运动区域还是 静止区域。此外，根据成像信息CI,运动区域确定单元40生成表达 移动物体的急动程度的分数值E，然后将分数值提供到运动模糊添加 器30。
稍后将参考图6到18详细描述运动模糊添加器30的配置 和处理。简单来说，运动模糊添加器30根据由运动区域确定单元40 所提供的分数值，生成关于输入图像数据DD的伪运动模糊。在此情 况下，运动模糊添加器30才艮据急动的幅度，向可能产生急动的区域 添加运动模糊。通过如此自适应地添加运动;^糊，运动模糊添加器30输出其中急动已经减少的输出图像数据OD。
在运动模糊添加器30自适应地添加运动模糊之后，由运动图 像编码处理器50压缩所产生的输出图像数据OD。然后将已压缩数 据流41供到传输处理器60或记录处理器70。
传输处理器60对已压缩数据流进行编码和调制以用于进行传 输，然后通过向外部设M输来输出数据流。
记录处理器70对已压缩数据流进行编码和调制以用于进行记 录，然后将数据流记录到例如光盘或其他记录介质卯中。
控制器20另外还向传输处理器60和记录处理器70提供成 像信息CI。如此，传输处理器60和记录处理器70能够分别传输或 记录在其上叠加了成像信息CI的传输数据或记录数据。
[2-2:成像信息和分数值生成
在如上文那样配置的运动图像成像设备200中，运动区域确定 单元40确定图^lt据DD的每一帧中的运动区域，I^L#，由运动模 糊添加器30向运动区域添加运动模糊。然而，运动区域确定单元40 还生成用于添加运动模糊的分数值，然后，将分数值提供到运动模糊 添加器30。使用成傳4f息CI来生成分lt值。
这里假定由控制器20给运动区域确定单元40提供的成像信 息CI是快门速度信息S、光圉值信息F、焦距信息D以及陀螺仪 旋转信息GX (水平旋转)和GY (垂直旋转)。
另夕卜，这里还假定由运动区域确定单元40生成的分数值E是 例如表示要向帧内的每一个运动区域添加多少运动模糊的信息。
图3A、 3B以及图4A到4C显示了运动区域确定单元40根 据成像信息CI生成分数值的概念。图3A、 3B和图4A到4C是 运动区域确定单元40根据由控制器20所提供的成像信息CI来控 制分数值E所使用的图。在如图3A、 3B以及图4A到4C所示的 每一个图中，垂直轴代表特定分数值E以及高值和低值的范围。这 里，高分数值E表示物体的运动是大的，急动是显著的，因此要添加大量的运动模糊。
在图3A中，水平轴代表快门速度S，作为成像信息CI中包 括的一种信息类型。如上文所描述的，控制器20能够从当驱动成4象 元件13时所使用的电子快门功能控制信息中获取用于进行成像的快 门狄'
当由所提供的快门速度信息表示的快门速度比图像数据DD 的帧速率更快时，运动区域确定单元40使运动区域的分数值增大速 度的幂。当由快门速度信息表示的快门速度等于帧速率时，分数值降 低，使添加运动模糊的处理失效。
这里，帧速率用帧每秒(fps)表示。如此，60 fps的帧速率等 同于1秒60帧。在此情况下，成《象元件中的用于单帧的电子快门的 啄光时间通常最大值为1/60秒。这是这里所称的快门速度。通常，对 于诸如曝光控制的功能进行电子快门控制。在目前的情况下，曝光时 间段在单个帧时间段之间是变化的。例如，可以进行膝光调节，以便 例如1/60秒内的啄光时间(即，快门速度)在1/120秒、1/180秒以 及1/1000秒之间变化。如此，运动区域确定单元40通过将上文的 快门速度S与表达帧速率(如1/60秒)的原始快门速度进行比较来 生成分lt值E。
以S作为快门M， Es表示取决于快门iUL S的分数值，那
么
Es = fs(S)
可以用来操纵分数值。如果函数fs(x)是线性递增函数，那么，可 以实现类似于图3A中的实线所显示的图形。然而，也可以4吏用非 线性函数，例如，也可以类似于图3A中的虚线所显示的那样生成 取决于快门iUL S的分数值E。
图3B是运动区域确定单元40根据由控制器20所提供的光 圏值F来控制分数值所使用的图表。控制器20能够从成像光学元件 10的控制信息中获取用于进行成像的光團值F。
当光围值F小时，运动区域确定单元40确定景深是浅的，物 体周围的区域容易变模糊，如此，不太可能产生急动。因此，运动区域确定单元40降低分数值E。相比之下，当光團值F大时，运动 区域确定单元40确定景深是深的，图像从全体上是锐利的，如此， 可能产生急动。因此，运动区域确定单元40提高分数值E。
如果这里以Ef表示取决于光團值F的分数值，那么
Ef=ff(F)
可以用来操纵分数值。应该认识到，函数ff(x)不仅限于是如图3B 所示的线性递增函数，也可以是非线性函数。
图4A是运动区域确定单元40根据由控制器20所提供的焦 距D来控制分数值所使用的图。控制器20能够从成像光学元件10 的控制信息中获取用于进行成像的焦距D。
当焦距D短时(即，广角)，景深加深，当只考虑此因素时， 可能产生急动。然而，在此情况下，照^^L不稳定性和物体运动在屏 幕上相对较小，如此，运动区域确定单元40确定总体上不太可能产 生急动，并降低分数值。
相比之下，当焦距D长时(即，望远的)，景深变窄，当只考 虑此因素时不太可能产生急动。然而，在此情况下，照傳水不稳定性 和物体运动在屏幕上相对来说比较大，如此，运动区域确定单元40确 定总体上可能产生急动，并提高分数值。
如果这里以Ed表示焦距用于D的分数值，那么
Ed = fd(D)
可以用来操纵分数值。应该认识到，fd(x)不仅限于是如图4A所 示的线性递增函数，也可以使用非线性函数。
图4B是运动区域确定单元40根据由控制器20所提供的陀 螺仪信息(具体来说，水平旋转GX)来控制水平分数值EX所使用 的图。控制器20能够从由陀螺仪传感器14检测到的信息获取运动 图像成像设备200本身的水平运动。
当水平旋转GX (即，围绕垂直轴的旋转)小时，运动区域确 定单元40确定屏幕上的运动小，不太可能产生急动，如此，降低水 平分数值EX。相比之下，当旋转GX大时，运动区域确定单元40确定可能产生急动，如此，提高水平分数值EX。如果这里以Egx表示 旋转GX的水平分lt值，那么
Egx = fgx(GX)
可以用来操纵分数值。应该认识到，函数fgx(x)不仅限于是如图 4B所示的线性递增函数，也可以是非线性函数。
图4C是运动区域确定单元40根据控制器20所提供的陀螺 仪信息(具体来说，垂直旋转GY)来控制垂直分数值EY所使用的 图。类似地，控制器20能够从由陀螺仪传感器14检测到的信息获 取运动图像成像设备200本身的垂直运动。
当垂直旋转GY (即，围绕水平轴的旋转)小时，运动区域确 定单元40确定屏幕上的运动小，不太可能产生急动，如此，降低垂 直分数值EY。相比之下，当旋转GY大时，运动区域确定单元40确 定可能产生急动，如此，提高垂直分数值EY。如果这里以Egy表示 旋转GY的水平分数值，那么
Egy = fgy(GY)
可以用来操纵分数值。应该认识到，函数fgy(y)不仅限于是如图 4B所示的线性递增函数，也可以是非线性函数。
如此，运动区域确定单元40使用类似于上文作为示例所描述 的方法，根据成像信息CI生成分数值E。
图5显示了运动区域确定单元40的示范性配置。给运动区域 确定单元40配备了运动区域检测器41、帧存储器42以及分数值生 成器43。
运动区域检测器41通过求出输入图像数据DD中的当前帧 图像和紧前面的帧图像之间的差异，检测带有移动的区域(即，运动 区域)。这里，区域可以是像素单位，或由多个像素构成的像素块单位。
更具体地说，当将当前帧的图^^储在帧存储器42时，运动 区域检测器41从帧存储器42中读取前一帧的图4象，然后，逐个区 域地进行差分计算。随后，使用计算结果输出表示每一个相应的区域 是运动区域还是静止区域的检测结果值。例如，运动区域检测器41可以生成用于当前帧中的每一个区域的检测结果信息，其中，运动区域
被表示为1，而静止区域M示0。然后，将此检测结果信息提供到 分数值生成器43。
然后，分数值生成器43生成关于由从运动区域检测器41输 出的检测结果所指定的运动区域(即，检测结果中的值为1的区域) 的分数值.分数值生成器43根据由控制器20所提供的成傳一信息CI (即，快门速度S、光團值F、焦距D以及旋转GX和GY)生成 分数值。
此时，针对成像信息CI的每一个子集的控制遵循如图3A到 4C所示的图。通itl且^^吏用上面的图的操作，输出最后的分数值。
作为一个示例，可以使用下列公式，求出最后的分数值Ex和
Ey
Ex = ws * Es + wf * Ef + wd * Ed + wgx * Egx
Ey = ws * Es + wf * Ef + wd * Ed + wgy * Egy
其中，分数值Ex是表示要在水平方向添加的运动;^糊的量的值， 而分数值Ey a示要在垂直方向添加的运动模糊的量的值。在上 面的公式中，ws是基于快门速度S应用于分数值Es的加权系 数，wf A^于光團值F应用于分数值Ef的加权系数，wd U 于焦距D应用于分数值Ed的加权系数，wgx U于水平旋转 GX应用于分数值Egx的加权系数，而wgy ;^于垂直旋转GY 应用于分数值Egy的加权系数。
通过使用类似于上面通过示例所显示的加权加法，分数值生成 器43生成用于水平方向的分数值Ex，以及用于垂直方向的分数值 Ey,然后，将这些值输出到运动模糊添加器30。根据所提供的分数 值E (在此情况下为Ex和Ey)，如下面所描述的，运动模糊添加器 30添加运动模糊。
如此，运动区域确定单元40首先检测帧内的运动区域，然后 生成每一个运动区域的分数值，根据成像信息CI对该值进行调节。
例如，对于帧内的静止区域，来自运动区域检测器41的检测 结果(0)可以照原样用作分数值E (即，E = 0)，从而，允许运动模糊添加器30将静止区域识别为不添加运动模糊的区域。
对于运动区域，分数值生成器43可以使用来自运动区域检测 器41的检测结果(1)，根据成像信息CI进行计算，如上面对于Ex 和Ey的公式给出的那样，从而根据成像信息CI对分数值进行调节。
换句话说，对于运动区域，根据成像信息CI求出的上面的值 Ex和Ey被作为分数值，然后，作为表示要添加的运动模糊的量的 信息被传递到运动模糊添加器30。
应该认识到，如上所述的用于求出分数值Ex和Ey的计算只 是示例，还采用各种其他计算方法。例如，可以使用加权乘法。
此外，虽然这里通过使用由陀螺仪传感器14检测到的旋转作 为水平和垂直旋转来求水平和垂直分数值Ex和Ey，但是也可以计 算单一分数值E,而不进行方向的区别。
相比之下，也可以想到检测诸如45°和135。的运动方向，然 后，计算水平、垂直、45。以及135。方向的相应的分lt值。
此外，也可以在计算分数值时不使用快门速度信息S、光團值 信息F、焦距信息D以及陀螺仪旋转信息GX (水平旋转)和GY (垂直旋转)中的全部。换句话说，可以只使用上面的各项中的一部 分来计算分数值E。
此外，也可以不将来自运动区域检测器的检测结果作为二进制 值(即，0或1)，而是将方向结果当做是多值的。在此情况下，对于 静止区域，检测结果可以是0，对于运动量大的区域，值可以大一些， 对于运动量小的区域，值可以小一些。假i殳检测结果为M，可以通过 将如上所述求出的分数值Ex和Ey乘以值M来计算最后的分数值。
此外，在上面的示例中，相应的分数值Es、 Ef、 Ed、 Egx以及 Egy是利用函数由快门速度信息S、光围值信息F、焦距信息D以 及陀螺仪旋转信息GX和GY派生而来的，分数值Es、 Ef、 Ed、 Egx以及Egy随后通it^权加法组^^来。然而，也可以通过直接地 使用快门速度信息S、光團值信息F、焦距信息D以及陀螺仪旋转信 息GX和GY来计算分数值E。[2-3:运动模糊加法器的示范性配置和操作I
运动模糊添加器30获取由成像元件13所提供的图像数据 DD，然后，根据来自运动区域确定单元40的分数值E添加运动模 糊。现在将描述运动模糊添加器30的示范性配置和^Mt。
图6显示了运动模糊添加器30的示范性配置。运动模糊添加 器30从运动区域确定单元40接受图像数据DD和分数值E作为 输入，向构成输入运动图像的每一帧的图像数据DD添加运动模糊， 然后输出急动已经减小的输出图^lt据OD。
如图6所示，给运动模糊添加器30配备了缩小图像生成器 32。缩小图像生成器32向从通过滤波或类似的处理而处理过的帧中 选择的像素添加运动模糊，然后生成由作为结果获得的像素构成的一 个或多个缩小的层。
此外，还给运动模糊添加器30配备了运动模糊呈现 (rendering)处理器31。运动模糊呈现处理器31计算并输出构成 输出图像的每一个像素的像素值。运动模糊呈现处理器31根据来自 处理过的帧中的对应的4象素以及来自由缩小图4象生成器32生成的缩 小层中的对应的像素、基于分数值E来计算像素值。
在描述由上面的每一个组件执行的特定处理之前，将概述由运 动模糊添加器30执行的添加运动模糊的处理。
运动模糊添加器30使用缩小图像生成器32和运动模糊呈现 处理器31向每一个像素添加适量的运动模糊，然后，输出急动减小 的图像。图7概述了添加运动模糊的处理。更具体地说，图7概述 了在如图6所示的缩小图像生成器32和运动模糊呈现处理器31 中执行的处理。
如图7所示的原始图像(基层)是指以输入图^lt据DD为的 形式的、单个处理过的帧的图傳Jt据。缩小图^^生成器32首先对于 表达了处理过的帧的原始图像执行空间滤波处理(稍后详细描述)，并 作为结果创建缩小层1。缩小层1是原始图像按照固定比率缩小的图 像，其中减少了像素量。
随后，缩小图像生成器32对于获得的缩小层1执 类似的空间滤波处理，并作为结果创建缩小层2。通过4吏用上面的过程，缩小 图像生成器32使用递归滤波处理来生成预定数量的缩小图像层(即， 缩小层的数量为1到n)。
通过使用上面的过程生成的缩小图像的叠层(即，缩小层1到 n)，运动模糊呈现处理器31生成并输出对人眼更自然的图像，其中， 已经自适应地添加了运动模糊，且急动已经减小。
例如，给定如图7所示的原始图像中相应的像素，运动模糊呈 现处理器31 M层(即，原始图像)、缩小层1以及缩小层2提取 像素值，其中，提取的像素值是位于对应于要向其中添加运动模糊的 特定像素的位置的位置处的像素的像素值。然后，运动模糊呈现处理 器31根据给定呈现方法来执行提取的像素值的加权加法。
由于每一个层的像素的数量不同，位于对应于要添加运动模糊 的特定像素的位置的位置处的像素可能不存在于每一个缩小层中。在 此情况下，使用内插处理(下面详细描述)进行插值，并从周围的4象 素提取像素值。
对应于从基层和每一个缩小层中提取的相应的像素值的加权系 数(w。， wj乂及w2)取决于分数值E，并由分数值E确定。
例如，当分数值E大时(即，当要添加的运动模糊的量大时)， 对于从上层中的缩小层中提取的像素，增大加权系数。在如图7所示 的示例中，上述的情况对应于增大从缩小层2中提取的l象素的加权系 数。
相比之下，当分数值E小时(即，当要添加的运动^^的量小 时)，对于从较低层中的缩小层中提取的像素，增大加权系数。在如图 7所示的示例中，上述的情况对应于增大^层中提取的像素的加权 系数。
通过这样的加权加法，生成急动减小的图寸象。
现在描述由缩小图像生成器32执行的特定处理。由缩小图像 生成器32执行的处理涉及对于输入图傳Jt据DD执行空间滤波。此 外，对于作为结果获得的缩小图像，重复类似的空间滤波(即使第一 次空间滤波的结果没有形成图像，也使用作为其结果获得的多个像素)。这样一来，生成缩小图傳Jt据RSD的叠层。
使用预滤波的图像中包含多个像素的区域的像素信息，执行上 面的空间滤波。然后，将图傳"換固定比率缩小(将处理之前和之后的 图^ii行比较)，生成带有减小的像素量的图像。因此，每一个经滤波 的像素都作为预滤波图像中的对应的区域的近似值被输出。
下面，将使用非常基本的滤波方法作为示例，详细描述上面的 空间滤波。图8显示了用于生成缩小图4象的滤波处理的具体示例中的 缩小之前和之后的像素之间的关系。
在如图8所示的示例中，4吏用这里标记为分区Rll的4x4 像素块，对于缩小前的图像执行滤波，其中，缩小图像中的像素Pll被 作为结果输出。像素P12和P21之间的关系被示出类似于分区R12 和R21之间的关系。结果，缩小图像的像素量在垂直和水平方向变 为缩小前的图像的像素量的1/4。
应该认识到，使用4x4像素块只是一个示例。如果使用Nx N 4象素块执行类似的处理，那么，可以生成具有在垂直和水平方向都 为1/N的像素量的缩小图像。
作为示例，假设对于分区Rll执行箱式滤波(boxfilter)或类 似的低通滤波，则附近的像素的像素值被求平均，作为结果，生成模 糊的像素Pl。
如果以如图7所示的缩小层1作为如上所述获得的缩小图 像，那么，对于缩小层1执行类似于图8中所显示的空间滤波，从 而生成缩小层2。
在此情况下，通过使用4x4像素分区来对缩小层l进行滤波， 生成缩小层2中的每一个像素，作为代表原始图像中的16x16像素 区内的4象素值的平均值的^^的4象素。
在生成缩小层2之后，也可以使用相同的过程，相应地生成缩 小层3和随后的层。即使层的数量增大，处理过程本身不会变化。
以此方式，通过对于缩小图像生成器32中的输入图像执行空 间低通滤波，作为结果生成低分辨率图像，通过对于生成的低分辨率 图像执行类似的处理，生成分辨率甚至更低的另外的图4象。如此，通过如上文描述的那样执行多分辨率滤波，生成缩小图像数据RSD的 叠层。
作为另一个示例，现在将参考图9和10描述生成方向选定的 缩小图像的滤波方法。图8作为示例显示了以4x4像素的正方形区 间的形式存在的分区。然而，用于执行滤波的分区不仅限于是正方形 的。
相反，如果使用如图8所示的4x4〗象素在利用正方形或类似 的滤波器的随后的运动模糊呈现过程中添加运动模糊，则可能产生与 图像质量相关的问题。这样的问^1因为这样的现象而产生的，其中， 不只是所希望的运动模糊，垂直于运动的方向中的、并且由于降低分 辨率而生成的运动模糊变得占优势。
例如，考虑希望在水平方向添加对应于运动的运动模糊的情况。 然而，所使用的缩小图像不仅在水平方向(即，运动模糊的方向)，而 且在垂直方向经历低通滤波。因此，所产生的图像的垂直分辨率降低。
换句话说，当通过添加与图像中所显示的运动的方向相对应的 运动模糊来减小急动时，在运动方向和垂直方向都添加模糊，可能会 导致在视觉上不适当的图像。
为了避免这样的事件，在考虑最后要添加的运动模糊的方向的 情况下执行用于生成缩小层的滤波。利用此方法，对于要添加运动模 糊的每一个方向，独立地准备缩小层。
图9显示了生成用于在水平方向添加运动模糊的缩小图像的 滤波处理的具体示例中的缩小之前和之后的像素之间的关系。在图9 中，向输入图INt据DD (即，基层)施加4xl抽头(tap)矩形滤 波，从而生成水平地缩小的1/4图像，其像素量在水平方向M层的 1/4，而在垂直方向保持不变。
例如，通过对基层中的区域Roll、 Ro12和Ro21进行滤波， 会得到在水平地缩小的1/4图4象中的《象素PJ1、 PJ2以及PJ1。应 该认识到，使用4xl像素区域只是一个示例，并可以更改，以适合 所希望的缩小比例。滤波器本身可以是例如箱式滤波器或类似的低通然后，对于上面生成的水平地缩小的1/4图l象执行类似的滤波 处理，从而生成水平地缩小的1/16图像，其像素量在水平方向U 层的1/16，而在垂直方向保持不变。
例如，通过对水平地缩小的1/4图4象中的区域PJ1进行滤波， 导致水平地缩小的1/16图4象中的4象素P211。如此，生成只在水平方 向缩小的多层图像的叠层。然后，可以使用图#^水平方向添加运动， 同时还防止垂直方向上的分辨率损失。
图10显示了生成用于在垂直方向上添加运动模糊的缩小图像 的滤波处理的具体示例中的缩小之前和之后的^象素之间的关系。类似 于图9，图10显示了首先向输入图像数据DD(即基层)施加1x4 抽头矩形滤波，从而生成垂直地缩小的1/4图像，其像素量在垂直方 向U层的1/4，而在水平方向保持不变。滤波器本身可以是例如箱 式滤波器或类似的低通滤波器。例如，通过对基层中的区域Roll， Rol2以及Ro21进行滤波，会导致在垂直地缩小的1/4图4象中的像素 Pdl,Pd2以及PJ1。
然后，对于上面生成的垂直地缩小的1/4图l象执行类似的滤波 处理，从而生成垂直地缩小的1/16图像，其像素量在垂直方向U 层的1/16，而在水平方向保持不变。例如，通过对垂直地缩小的1/4图 像中的区域PJ1进行滤波，得到垂直地缩小的1/16图像中的像素 P211。如此，生成只在垂直方向缩小的多层图像的叠层。然后，可以 使用该图像在垂直方向添加运动，同时还防止水平方向上的分辨率损 失。
上文作为示例描述了垂直和水平方向，但是，应该理解，也可 以采用在其他方向生成缩小图像的滤波器，如用于对角线45°和 135°或其他任意角度的滤波器。
在到目前为止所描述的方法中，独立地生成用于在相应的方向 添加运动模糊的缩小图像。因此，在l^的运动模糊呈现过程中，根 据要向每一个特定像素添加的运动模糊的方向，W目应的方向的缩小 图像自适应地选择像素或合成像素。将在运动模糊呈现处理器31的 描述中给出用于上述的方法。如此，前面描述了用于生成缩小层的滤波，同时考虑了要添加 的运动模糊的方向。为了进一步详细地描述上面的过程，现在将给出 一个具体示范性配置，下面的描述将连续地4吏用该配置。下面将描述 具体示例。
<具体示例M 1>
生成缩小图4象的方向水平，垂直
缩小图像层的数量三个水平和三个垂直(即，直到缩小层3)
生成的运动模糊的方向在运动模糊呈现(稍后详细描述)时 水平和垂直移动速度的绝对值中较大的
滤波之后的缩小比例(相对于滤波前的图像)
缩小层1: 1/4
缩小层2: 1/16
缩小层3: 1/64
给定上面的规范，可以添加的运动模糊的最大量相当于分别在 水平和垂直方向平移±64 4象素。
图11显示了在给定了由上面的参数1表示的设置的情况下， 缩小图像生成器32的示范性配置。图11显示了在分别在水平和垂 直方向使用一维滤波器对生成的缩小层执行处理的情况下的处理流 程。然后，作为缩小图4象数据RSD，输出分别生成的缩小层。
更具体地i兌，由1D滤波器21-1对输入图^Jt据DD进行滤 波以生成水平地缩小的1/4图〗象。由1D滤波器21-2对1D滤波器
21- 1的结果另外进行滤波，生成水平地缩小的1/16图像。由1D滤 波器21-3对1D滤波器21-2的结果进一步进行滤波以生成水平地 缩小的1/64图像。
同时，还由1D滤波器22-1对输入图傳Jt据DD进行滤波以 生成垂直地缩小的1/4图像。由1D滤波器21-2对1D滤波器
22- 1的结果进一步进行滤波以生成垂直地缩小的1/16图像。由1D滤波器22-3对ID滤波器22-2的结果另外进行滤波，生成垂直地 缩小的1/64图像。然后，输出作为上面的操作的结果获得的缩小图 像数据RSD的六个集合。
由如图11所示的1D滤波器(21-1到22-3)执行的处理是通 过基于软件的计算实现的递归滤波处理，并作为使用方框表达的处理 流程来显示。然而，上面的配置也可以;l硬件配置。下面的图12类 似。
图12是如图11所示的处理流程的延伸的广义化。给定由上 面的参数1表示的设置，要在水平和垂直方向生成的层的数量固定为 三个。然而，图12显示了不仅限于上面的^的一般化处理流程， 其中，水平地缩小的层的数量^^达为Mx，而垂直地缩小的层的数 量#^达为My。
利用1D滤波器21-1到21-Mx来生成Mx层水平地缩小的 图像。同样，利用1D滤波器22-1到22-My来生成My层垂直地 缩小的图像。然后，输出所产生的图像作为缩小图^Jt据RSD。
此外，虽然图12和这里的描述省略了，但是，也可以扩展配 置，以便生成的缩小的图像的方向不仅包括水平和垂直，而且还包括 对角线方向。
如此，前面描述了与独立地生成用于在相应的方向添加运动模 糊的缩小图^L的方法相关的处理序列。下面，将描述当生成用于相应 的方向的缩小图# 时^_用的实际滤波器。
在到目前为止的描述中，作为示例，给出了使用4抽头箱式滤 波器的情况。这是因为，当使用对应于1/4缩小比例的4像素块滤波 器时4抽头箱式滤波器是最易于实现的方法之一。当考虑运动模糊背 后的基本原理时，原理上，相当于移动平均滤波器的箱式滤波器应该 与真实运动模糊特别相似。然而，也可以修改滤波器，以便改善最终 获得的图像质量。
图13显示了用于缩小图像生成处理的滤波形状的具体示例。 给定前面描述的M 1,假设滤波器在水平或者垂直方向将图像缩小 到1/4大小。水平轴表示4个像素的集合被视为单个块的情况下的坐标，而垂直轴表示在滤波器中乘以各个像素所采用的权重。
除4抽头箱式滤波器之外，图13还作为示例显示了 7抽头帐 篷(tent)滤波器，10抽头排序(rank)滤波器，以及13抽头高斯 滤波器，还显示了在可用的情况下也可以采用FIR低通滤波器。
当缩小滤波器的缩小比例是1/N时，滤波器抽头数量是N抽 头或更大。(例如，4抽头滤波器用于1/4的缩小比例，其中，相对于 4个输入像素，输出1个像素。)通过进一步增大抽头的数量，期望 改善图像质量。这是因为，抽头数量增大，减轻了由于折叠现象导致 的图像质量损失，抽头数量低时更可能会发生这种现象。此外，除增 大滤波器抽头数量之外，属于相邻分区的像素变得重叠并被滤波，但 是这不会带来问题。
图14是说明了当进行滤波时使用的相应的缩小图像中的像素 的位置关系的图形。现在将参考图14描i^每一个缩小图像中的像 素进行加权加法以便计算输出像素的像素值并生成水平地缩小的图像 的方式。作为示例，这里使用的滤波器抽头数量为7。由于根据相同 的过程也可以生成垂直地缩小的图像，因此，省略垂直情况的进一步 的描述。
在图14中，每一个缩小图像中的像素都带有编号。下面，将 使用这些编号来表示特定层的缩小的图像中的特定像素。例如，1/16 缩小图像中的第79像素M示为L2(79)。输入图傳Jt据DD (即， 基层)中的《象素^L^达为L0(n)，其中，n是4象素编号。
每一个缩小图像中的像素编号都对应于基层上的位置，并通过 执行滤波来创建，其相位以每一个缩小层中的带阴影的像素为中心。 例如，作为向基层上的〗象素L0(4)到LO(IO)施加7抽头滤波的结 果，生成第一 1/4缩小层中的《象素Ll(7)。
以此方式，在执行过程中，滤波在相应的缩小图像中被移位4 个像素。这样，即使所使用的像素与相邻滤波器的像素重叠，也不会 带来问题，创建下一层的缩小层(作为施加滤波的结果被缩小1/4)。 显然，也可以利用类似的方法实现不同的缩小比例。
现在将描述由运动模糊呈现处理器31执行的特定处理。运动模糊呈现处理器31取得输入图像数据DD以及由缩小图像生成器 32生成的缩小图像的叠层，并使用图像来计算包^动^K糊的输出图 像中的每一个像素的值。
图15是显示了运动模糊呈现的处理流程的示意图。图像数据 DD、缩小图^Jt据RSD以及分数值E(如水平分数值Ex和垂直分 数值Ey)被输入到运动模糊呈现处理器31，然后，输出其中已经向 每一个像素添加了适量的运动模糊的输出图^lt据OD。
首先，从分数值Ex和Ey中提取呈现参数(S1)。呈现^指 定要添加到特定像素的运动模糊(即，运动模糊的方向、运动模糊转 换所涉及的像素的数量)。
换句话说，呈现参数是指定在随后的呈现过程的加权加法中乘 以图像数据DD和缩小图像数据RSD中的各个像素所用的权重大 小的数据。稍后将通过具体示例比较全面地描述呈现M。
然后，对于缩小图像数据RSD进行像素合成，其中，通过对 每一个缩小图像中的在位置上对应于图像数据DD中的特定像素的 像素进行内插法来生成像素值(S2 )。稍后将详细给出上面的处理背后 的原因以及其具体示例。
最后，执行呈现，其中，分别向图傳JL据DD中的特定l象素以 及向从缩小图像数据RSD生成的各个合成像素应用权重。然后，将 加权后的像素相加在一起，以计算对应于图傳教据DD中的特定像素 的输出像素的像素值。权重信息是先前输入的其中一个呈现^lt。
图16是运动模糊添加器30的配置的图，详细地显示了当给 定了先前指定的参数1时运动模糊呈现处理器31的处理块。如图 16所示，由缩小图像生成器32创建的缩小图傳Jt据RSD分别包含 用于水平和垂直方向的三层缩小图^L。
在运动模糊呈现处理器31中，当输入要从图4象数据DD处理 的特定像素时，来自三层水平地缩小的图像的像素同时被分别输入到 像素合成器33-1到33-3，执行计算合成像素值(下面将描述)的处 理。
此外，当输入要从图像数据DD处理的特定像素时，来自三层垂直地缩小的图像的像素同时被分别输入到像素合成器32-1到 32-3，执行计算合成像素值(下面将描述)的处理。
然后，将由像素合成器33-1到33-3和32-1到32-3计算出 的对应于每一个缩小图像的输入到选择器34。
同时，分数值E (在此情况下为Ex和Ey)被输入到分数值确 定单元35。先前指定的^lt 1是运动模糊有选择地被添加到水平方 向或者垂直方向的一个方向中的每一个像素所采用的M。因此，根 据分数值Ex和Ey，分数值确定单元35生成指定是在水平方向还 是在垂直方向添加运动模糊的选择信息，以及指定乘以运动模糊的给 定方向的每一个合成像素值所采用的权重的权重信息。随后，将选择 信息提供到选择器34，而将权重信息提供到像素加权处理器36。
根据从分数值确定单元35输入的选择信息，选择器34从合 成像素值中选择只用于水平方向或者垂直方向中的一个方向的像素 值，然后，将选定像素值输出到像素加权处理器36。换句话说，当给 定M 1时，六个像素值被输入到选择器34，并输出三个像素值。
然后，将要从先前输入的输入图像数据DD处理的特定像素输 入到像素加权处理器36。另夕卜，如上文所描述的，还输入按照方向从 合成像素值中选定的相应的像素值。ii^分数值确定单元35输入对
应于每一个像素值的权重信息。根据权重信息，像素加权处理器36执 行稍后详细描述的像素加;Ma法，从而计算输出像素值。
现在将参考图17描述像素合成器33-1到33-3和32-1到 32-3执行的处理。图17是说明像素合成和像素加权加法的具体示例 的图形。图傳教据DD和缩小图傳教据RSD中的各个像素类似于图 14中所显示的那些。
虽然由像素合成器33-1到33-3和32-1到32-3执行的合成 像素值的计算是分别对于从水平地和垂直地缩小的图像输入的像素执 行的，但是，图17只显示了在水平方向施加运动模糊的情况(即， 只有像素合成器33-1到33-3)。然而，下面的描述也可以类似地应 用于垂直的情况(即，像素合成器32-1到32-3)。
首先，将给出合成像素值的计算背后的原因。如上文所描述的，随后的像素加权处理器36分别向图像数据DD中的特定l象素以及 向缩小图傳教据RSD生成的相应的合成〗象素应用权重。然后，将加 权后的像素相加在一起，计算对应于图像数据DD中的特定4象素的输 出像素的像素值。然而，在某些情况下，对应于图傳Jt据DD中的特 定像素的像素并不存在于每一个缩小图像中。因此，优选情况下，通 过内插法来计算每一个缩小图像中的对应的《象素。
例如，在图17中，在相应的缩小图像中不存在在位置上对应 于图^Jt据DD中的像素L0(20)的像素。这是因为，当对图^Jt据 DD进行滤波并且生成第一1/4缩小图像时，像素L0(20)不是滤波 器的相位中心。结果，在位置上对应的〗象素不^^存在于1/4缩小层和 1^的层中。
因此，使用某种类型的内插法来估计缩小图像中的对应于图像 数据DD中的特定像素的像素值Ll(20)'、 L2(20)，和L3(20)'。这里， 作为示例考虑了^f吏用线性内插法来计算Ll(20)'、 L2(20)，和L3(20)' 的情况。
此时，特定像素和当生成相应的缩小图像时被用作相位中心的 输入图像数据DD中的像素的坐标之间的距离可以^L^达为d"20)， d2(20)和d3(20)，如图17所示。测量存在于当前4象素的左边的最靠 近的相位中心像素的上述的距离。在目前的情况下，存在于相应的缩 小图像中并对应于输入图像数据DD中的像素L0(20)的合成像素 值L"20)'、 L2(20)，和L3(20)'可以#^达为
(公式1)
1/4缩小图像中的合成像素的示例
1/16缩小图〗象中的合成《象素的示例^^21 ，
a 716 2 16 2
1/64缩小图像中的合成像素的示例
，
3V 764 3 64 3
一般而言，存在于第K个缩小图像(1/R缩小层)并对应于输 入图像数据DD中的第N个像素L。(N)的合成像素的像素值 LK(N)'可以^^达为
(公式2)
，=^|^"飛)+ ，*丄教"l)
其中，<N>K是第K个缩小图像中与N最靠近的并存在于输入图 寸Ut据DD中的对应的第N个像素左边的相位中心像素。
如公式(2)所示，可以通过2抽头滤波，使用存在于每一个缩 小层中的两个像素(即，在位置上对应于图傳Jt据DD中的特定4象素 的最靠近的两个像素)，计算线性地内插的像素值.虽然这里显示了使 用线性内插法来计算合成像素值的方法，但是，也可以使用仿样内插 法或其他高阶方法作为内插法来计算合成像素值。
现在将描述在分数值确定单元35中执行的处理。为了根据参 数1在水平方向或垂直方向两者的一个方向中向每一个像素有选择 地添加运动模糊，分数值确定单元35使用先前输入的分数值Ex和 Ey作为基础来生成指定是在水平方向还是在垂直方向添加运动模糊 的选择信息，以及指定用来乘以运动模糊的给定方向的每一合成像素 值的权重的权重信息。
分数值确定单元35用来选择要添加运动模糊的方向的方法可 能涉及比较输入分数值Ex和Ey。更具体地说，分数值确定单元35比较水平和垂直方向的运动的幅度，然后决定在运动更大的方向添加 运动模糊。换句话说，
当Ex》Ey时添加水平;^糊；以及
当Ex<Ey时添加垂直模糊。
根据上面的描述，分数值确定单元35向选择器34输出指定要添 加运动模糊的方向的选择信息。在本示例中，发送到选择器34的 信息的大小可以是对于要向其中添加运动模糊的每一个像素为一 个比特。
分数值确定单元35的另一个作用是计算有关用来乘以每一个 合成像素值的权重的信息，然后，向像素加权处理器36输出计算出 的信息。在^象素加权处理器36的详细描述中将作为示例阐明用于确 定权重的方法。
现在将描述在像素加权处理器36中执行的处理。像素加权处 理器36接收图像数据DD的特定像素L。(N)作为输入，连同从水 平方向或者垂直方向两者中的一个方向的每一缩小图4象生成的相应的 合成像素。
下面，假设生成根据参数1的水平和垂直方向的三层缩小图 像，此外，还假设由选择器34确定的要添加运动模糊的方向是水平 方向。这里，从每一个水平地缩小的图像中的像素生成的合成像素被 表达为Li(N)'、 L2(N)'，以及L3(N)，。
此时，根据从分数值确定单元35输入的权重信息，类似地计 算输出像素值L。ut(N),其中，根据公式(3)执行上面的像素值的线性<formula>formula see original document page 33</formula>其中，w。到w3是乘以每一个像素值所采用的权重。更一般地，
上面的公式可以M达为(公式4)
其中，M是在给定方向生成的缩小图像的数量，其中，L。(N)= Lo(N)'。
根据输入分数值Ex和Ey，分数值确定单元35对于每一个缩 小图像和对于图像数据DD中的每一个像素计算权重wk。然后，分 数值确定单元35将计算出的权重提供到像素加权处理器36。
这里生成应用于每一个像素值的权重的过程假设使用参数1。 现在将给出用于确定权重w。到w3的示范性方法。
给定在位置上对应于特定像素的分数值Ex和Ey，分量值中较 大的#^示为V。随后，才艮据下列权重确定规则，连续地分布Ex和 Ey的这些分量值。
步骤l:w。 = l;如果V《l，那么，i殳置Wi = 0，w2 = 0,w3 = 0，并 l步骤5。
步骤2:如果V-w0>4-l，那么，设置\￥1 = 3。否则，设置Wi = V-wO， w2 = 0, w3 = 0，并ii^步骤5。
步骤3:如果V画(w。 + w0〉16誦4，那么，i殳置w2 = 12。 否贝'J， 设置w2 = V-(w。 +wO, w3 = 0，并i^V步骤5。
步棵4: w3 = V誦(Wo + Wi + w2)。
步骤5:通过#^一个值w。到w3除以V来进行规范化。
应该理解，上面的描述只是一个示例，本发明不仅限于此。具 体来说，由于在步骤5中产生了除法运算，当利用硬件来实现时，增 大了处理成本。因此，可以通过以表的形式定义相对于V的相应的
权重Wk来降低处理成本。
图18显示了这样的加权信息表的示例。在如图18所示的表 中，第一列表示选定方向的分数值E (Ex或Ey)，而第二到第五列 表示用来乘以从每一缩小层中提取的相应的像素的权重值。图18给出的数值只是作为示例给出的，不作为限制。然而， 较小的分数值E优选情况下导致上层(即，基层和缩小层1)中的 较大的权重值，而相比之下，较大的绝对向量值优选情况下导致较低 层(即，缩小层2和3)中的较大的权重值。
以此方式，权重信息在分数值确定单元35中被生成，然后被 提供到像素加权处理器36。随后，像素加权处理器36例如执行通过 公式3给出的线性的加;M^法，从而计算出输出像素值L。ut(N)。如 此，像素加权处理器36产生其中急动减小的输出图像数据OD。
[2-4:小结和结论
如此，前面描述了根据本发明的第一实施例的运动图像成像设 备200。根据上面的实施例，输出对人眼显得更自然的急动减小的运 动图像。
更具体来说，在本实施例中，向已经成像并输入的图^Nt据DD 中的单位图像(例如，单帧的图像数据)中添加运动模糊。根据每个
区域的静止/运动确定，以;MJi了形成单位图像所用的^故的成像信
息CI，添加运动模糊。在运动区域确定单元40中进行静止/运动确 定，以逐个区域地确定帧中的给定区域(即，像素单位或由多个像素 构成的像素块单位)是运动区域还是静止区域。例如，也可以使用简 单的过程如通过与相邻帧相比来进行静止/运动确定。
通过使用成像信息CI来生成表示要添加的运动模糊量的分数 值E，成像信息CI可以包括例如快门速度信息、光團值信息、焦距 信息以及陀螺仪旋转信息(例如，表示成像设备的水平和垂直运动的 信息)。
更具体地说，对于通过静止/运动确定而检测到的运动区域，生 成使得根据成像信息添加适量的运动模糊的分数值E。这样一来，可 以向可能产生急动的运动图像中的区域添加适量的运动模糊。
因此，可以输出对人眼显得更自然的急动减小的运动图像，而 没有由于检测帧内的每一个区域的运动矢量而产生的沉重的处理负 荷。此外，由于可以简单地添加适当的运动模糊，而没有与诸如运动矢量检测之类的方法关联的沉重的处理负载，设备可以简化，成本可 以降低。
此外，添加运动模糊的处理主要是利用空间滤波来实现的，由 于没有生成中间的帧，在处理序列中用于存储图傳Jt据的存储器的量 也可以缩小。
空间滤波过程输出通过执行由于进行分层的滤波而获得的每一 层中的像素值的加权加法而获得的结果。因此，利用小的抽头数量， 就可以实现每一层中的滤波。此外，滤波器抽头数量不取决于要添加 的运动模糊的量，如此，也可以使用固定抽头数量。
通过这样的递归处理实现实施例的过程特别适合于基于硬件的 处理设备。然而，显然，也可以利用软件或通过软件和硬件的组合来 实现上面的实施例。
如参考图2所描述的，经过运动模糊添加器30处理的图傳教 据OD可以通it^传输处理器60进行传输而输出，或通过记录处理 器70记录到记录^h质卯上。因此，播放设备可以只需执行现有的 播放处理步骤以播放由运动图像成像设备200传输的数据或者记录 在记录介质90上的记录数据，而无需执行类似于在本实施例中所描 述的添加运动模糊的处理。这样一来，这样的^MB更备能够^吏急动减 小的运动图像显示在显示设备上。
[3.第二实施例播放和接收设备
图19显示了根据本发明的第二实施例的播放和接收设备300 的配置。播放和接收设备300能够接收通过广播或其他介质发送的图 像数据，^Nt记录到记录^h质91上的图像数据，然后显示这样的图
例如，接收处理器110接收利用电视广播传输的传入的图^Jt 据。接收处理器110也可以被配置为在网络上进行通信，并通过下栽 或其他分发格式接收图像数据。接收处理器110执行接收和解调处 理，然后将接收到的数据流提供到运动图像解码处理器130和控制器 170。播放处理器120对于记录介质91执行播放图像数据的操作， 然后，将所产生的数据流提供到运动图像解码处理器130和控制器 170。
由接收处理器110接收到的图像数据和从记录介质91播放 的图像数据是其上已经叠加了成像信息的经过编码的图傳教据。作为 示例，假设用于获取图像数据的关于成像设备^的信息附加到其上 作为元数据。成像信息元数据可以包括例如快门速度信息、光團值信 息、焦距信息以及陀螺仪旋转信息。
控制器170从图^lt据中提取这样的成像信息。^，将提取 的成像信息CI提供到运动区域确定单元150。
运动图像解码处理器展开从接收处理器110或播放处理器 120提供的经过压缩编码的图傳Jt据，然后，将经过解码的图傳Jt据 DD提供到运动区域确定单元150和运动模糊添加器140。
运动区域确定单元150和运动模糊添加器140类似于前面所 描述的第一实施例中的运动区域确定单元40和运动模糊添加器30。 换句话说，运动区域确定单元150逐个区域地执行静止/运动确定处 理，以确定相应的帧中的区域是运动区域还是静止区域。此外，运动 区域确定单元150通过使用成像信息CI (即，例如诸如快门速度信 息、光團值信息、焦距信息以及陀螺仪旋转信息的信息)，生成表示要 添加的运动模糊量的分lt值E。
根据分数值E，运动模糊添加器140向输入图像数据DD添 加运动模糊，^输出其中急动已经减小的输出图像数据OD。
然后，图像显示单元160输出并显示经过运动模糊添加器140 处理的输出图傳Jt据OD。
在根据第二实施例的上面的播放和接收设备300中，在已经接 收或从记录介质播放的图像数据中适当地减小急动，从而实现高质量 图像显示。另外，由于可以类似于第一实施例添加运动模糊而没有运 动矢量检测或类似的方法的沉重的处理负荷，可以使用简单的处理添 加适当的运动模糊，从而可以简化播放和接收设备，降低成本。
如此，前面描述了本发明的第一和第二实施例。然而，应该理解，本发明的图像处理设备和图像处理方法不仅限于前面的示例，在 不偏离本发明的范围和精神的情况下可以进行各种修改。
此外，虽然前面的实施例描述了包括图1中所显示的基本配置
的运动图像成像设备200和播放和接收i殳备300作为图4象处理i殳备 100，但是，本发明的图像处理设备也可以应用于执行图像处理的各种 设备。例如，将本发明的实施例应用于例如图像传送设备、图像记录 设备、游戏设备、运动图像编辑设备或移动电话也是可行的。
前面所描述的图像处理设备100、运动图像成像设备200以及 播放和接收设备300被配置为多个处理组件的逻辑组*。然而，应 该理解，上面的相应的配置中所显示的处理组件不仅限于被封装在单 个的物理单元中。
[4. 记录介质
当然，本发明的实施例也可以想到通过存储与前面的图像处理 设备100的操作相当的操作的指令的记录介质来实现。于是，可以从
记录介质中读取^Mt指令，并例如在记录或播放运动图4象时，在通用 计算机或类似的信息处理设备上执行这些操作。
更具体地i兌，虽然前面所描述的构成图像处理设备ioo的相应
的处理组件可以通过例如使用FPGA设计的硬件来实现，但是，也 可以使计算机或其他信息处理设备从记录介质读取指令，并由此执行 通iit目应的处理组件实现的图像处理。
例如，可以提供存储以图像处理应用程序软件的形式存在的程 序的记录介质。例如，程序使计算处理设^L行上面的运动区域确定 单元2 (40， 150)的操作、获取成像信息CI的图^Mt获器1的操 作、以;^运动模糊添加器3 (30， 140)的操作。如此，通过提供这样 的记录介质，可以在个人计算机或类似的设备上实现适当的图像处理。
更具体地说，存储在记录介质上的程序使计算处理设备(如 CPU)执行下列步骤。
首先，程序使计算处理设备对于构成运动图像数据的相应的单 位图像的每一个区域进行静止/运动确定。然后，程序使计算处理设备获取表达了通过成像设备的成像而 生成运动图傳教据所釆用的^故的成^象信息。
然后，程序使计算处理设^^艮据静止/运动确定的结果和在获取 步骤中获取的成像信息，向运动图傳教据添加运动模糊。
利用存储了这样的程序的记录介质，可以在个人计算机、移动
电话、PDA (个人数字助理)、以及利用图傳Jt据的各种其他信息处理 设备上执行与根据本发明的实施例的设备的图像处理相当的图像处 理。
存储这样的程序的记录介质可以是封装在个人计算机或类似的 设备中的HDD。记录介质也可以是集成到包括CPU的微控制器中 的ROM或闪速存储器。
可替选地，记录介质可以是临时或永久地存储程序的可移动的 记录^h质。在此情况下，例如，记录^h质可以是软盘、CD-ROM(光盘 只读存储器)、MO (磁光盘)、DVD、蓝光(Blu-ray)光盘、磁盘、 半导体存储器或存储卡。可以作为封装软件来提供这样的可移动的记
录介质。
此外，程序也可以从可活动的记录介质安装到个人计算机或类 似的设备上，或通过诸如LAN(局域网)或因特网的网络从下载站点 下栽。
本申请包含涉及2008年7月29日在日本专利局提交的日 本专利申请JP2008-194876的主题，该专利申请的全部内容以引用的 方式并入本文中。
那些精通本技术的人员应该理解，可以根据设计要求及其他因 素，进行各种修改、组合、子组合和更改，只要它们在所附的权利要 求或其等同内容的范围内。
权利要求
1.一种图像处理设备，包括静止/运动确定装置，用于对构成运动图像数据的相应的单位图像的每一个区域进行静止/运动确定；以及运动模糊添加装置，用于根据所述静止/运动确定的结果和表达了通过成像设备的成像而生成所述运动图像数据所采用的参数的成像信息，向所述运动图像数据添加运动模糊。
2.根据权利要求1所述的图像处理设备，其中，所述运动模糊添加装置向被所述静止/运动确定装置确定为运动区域的相应的单位图像的区域添加运动模糊。
3.根据权利要求2所述的图像处理设备，其中所述静止/运动确定装置根据所述成像信息和给定区域是静止区域还是运动区域的确定结果来生成每个区域的分数值，以及所述运动模糊添加装置根据所述分数值向所述运动图像的相应的单位图像添加运动模糊。
4.根据权利要求3所述的图像处理设备，其中，所述静止/运动确定装置通过使用多种成像信息的加权加法来生成所述分数值。
5.根据权利要求1所述的图像处理设备，其中，所親动模糊添加装置按如下方式来添加运动模糊使得运动模糊的量随着如所述成像信息中包括的快门iiJL信息所指定的快门iiJL的加快而增大。
6.根据权利要求1所述的图像处理设备，其中，所^动模糊添加装置按如下方式来添加运动模糊使得运动模糊的量随着如所述成4象信息中包括的光團值信息所指定的光團值的增大而增大。
7.根据权利要求1所述的图像处理设备，其中，所述运动模糊添加装置按如下方式来来添加运动模糊使得运动;^糊的量随着如所述成像信息中包括的焦距信息所指定的焦距的增大而增大。
8.根据权利要求1所述的图像处理设备，其中，所述运动模糊添加装置按如下方式来添加运动模糊使得运动模糊的量随着如所述成像信息中包括的陀螺仪旋转信息所指定的陀螺仪旋转的增大而增大。
9. 根据权利要求1所述的图像处理设备，其中，所述运动模糊添加装置包括缩小图像生成器，被配置为从所述单位图4象生成一个或更多个具有不同的分辨率的缩小图像，以及像素合成处理器，被配置为从一个或更多个缩小图像提取在位置上对应于单位图像中的对象像素的像素，以及根据成像信息和静止/运动确定结果的值，通过对于对象像素和从一个或更多个缩小图像中提取的一个或更多个提取的像素执行加权加法来向单位图像添加运动模糊。
10. 根据权利要求1所述的图像处理设备，进一步包括用于对物体进行成像以生成所述运动图像数据的成像装置；其中，由所述成像装置获得的所腿动图像数据被输入到所述静止/运动确定装置和所述运动模糊添加装置。
11. 根据权利要求1所述的图像处理设备，进一步包括用于通过记录介质播放操作播放运动图傳教据的播放装置；其中，由所述播錄置播放的所艇动图^Jt据被输入到所述静止/运动确定装置和所^动模糊添加装置。
12.根据权利要求1所述的图像处理设备，进一步包括:用于接收运动图^JL据的接M置；其中，由所述接收装置接收的所述运动图像数据被输入到所述静止/运动确定装置和所述运动模糊添加装置。
13. —种图4象处理方法，包括下列步猓对构成运动图像数据的相应的单位图像的每一个区域进行静止/运动确定；以及根据所述静止/运动确定的结果和表达了通过成像而生成所述运动图傳教据所采用的^lt的成像信息，向所述运动图傳Jt据添加运动模糊。
14. 一种存储了使计算机执行图像处理方法的程序的记录介质，所述图像处理方法包括下列步骤对构成运动图像数据的相应的单位图像的每一个区域进行静止/运动确定；以及根据所述静止/运动确定的结果和表达了通过成〗象而生成所述运动图傳教据所采用的^lt的成像信息，向所&逸动图傳Ji:据添加运动模糊。
全文摘要
本发明提供一种图像处理设备、图像处理方法和记录介质。该图像处理设备包括静止/运动确定单元和运动模糊添加器。静止/运动确定单元对于构成运动图像数据的相应的单位图像的每一个区域进行静止/运动确定。然后，运动模糊添加器，根据所述静止/运动确定和表达了由于成像设备的成像而生成所述运动图像数据的所采用参数的成像信息，向所述运动图像数据添加运动模糊。
文档编号H04N5/14GK101640759SQ200910159010
公开日2010年2月3日 申请日期2009年7月29日 优先权日2008年7月29日
发明者伊藤厚史, 小林诚司 申请人:索尼株式会社