专利名称：图像处理设备、图像处理方法和程序的制作方法
技术领域：
本申请涉及图像处理设备、图像处理方法和程序。
背景技术：
近年来，能够拍摄运动图像的摄像功能被例如装设在诸如数字静态摄像机的各种设备和诸如便携式电话的通信设备上，增加了用户拍摄运动图像的机会。在这种情况下，当例如通过卷帘快门(rolling shutter)系统实现摄像功能时，即，当由顺次拍摄每根线的图像的摄像元件拍摄图像时，存在在图像中发生畸变(被称为焦平面畸变)的可能性。在这种情况下，已经发展出了用于减小在运动图像中发生的畸变的可能性的技术。作为用于减小在运动图像中发生的畸变的可能性的技术，可以使用在日本专利申请公 报No. 2006-148496中描述的技术。
发明内容
根据在日本专利申请公报No. 2006-148496中描述用于减小在运动图像中发生的畸变的可能性的在先技术(下文中，也常作为“过去的技术”)，例如，当发生焦平面畸变时，构成运动图像的、在时间上连续的两个巾贞图像(frame image)的信息被混合。因此,在使用过去的技术时，存在可以减小在运动图像中发生的焦平面畸变的可能性。根据过去的技术，例如，两个帧图像的信息通过简单的线性插值而混合，插值比率对于每根线而改变。然而，根据过去的技术，线性插值是通过使用下述图像信号来执行的该信号对应于与两个帧图像相同的位置处的像素。因此，难以基于运动图像中包含的对象(subject)的运动来高精确度地执行插值。因此，即使使用这种过去的技术，可能也不能充分地减小焦平面畸变。在本申请中，提出了新颖的并经改善的图像处理设备、图像处理方法和程序，能够校正焦平面畸变。根据本申请，提供了一种图像处理设备，包括运动检测单元，该单元基于图像信号(表示包括帧图像的运动图像)以及延迟时间信息(表示摄像中的延迟时间)，通过多个帧图像来检测运动图像中包含的对象的运动；校正单元，其基于图像信号和运动信息(表示所检测到的对象的运动)来校正图像信号。以上构造实现了校正焦平面畸变的效果。该图像处理设备还可以包括延迟时间计算单元，该单元基于摄像设备的摄像参数来计算对于每个像素的延迟时间，该摄像设备具有对于每根线顺次拍摄图像的摄像元件。该运动检测单元可以基于延迟时间信息来指定拍摄运动图像的时间相位(timephase)，并且基于所指定的时间相位来检测对于每个像素的对象的运动。该运动检测单元可以基于延迟时间信息来调整所指定的时间相位。该运动检测单元可以包括参照比率(reference ratio)计算单元和第一检测单元，该参照比率计算单元基于延迟时间信息来计算参照比率(表示用于对多个帧图像中每一者进行参照的比率)，并且第一检测单元基于所计算的参照比率来检测对象的运动。该运动检测单元可以包括第二检测单元和第三检测单元，该第二检测单元基于图像信号来检测对象的运动，该第三检测单元基于运动信息(表示由第一检测单元检测到的运动)、图像信号和延迟时间信息来重新检测对象的运动。该校正单元可以基于一个或多个运动信息来校正图像信号。该运动信息可以包括参照比率，该参照比率表示用于对多个帧图像中每一者进行参照的比率。该图像处理设备还可以包括取得摄像参数的参数取得单元。该参数取得单元可以从图像信号或者从存储了识别信息的记录介质取得用于识别摄像设备的识别信息，并且从与识别信息和摄像参数相关的数据库取得与所取得的识别 信息相对应的摄像参数。基于由运动检测单元检测到的运动信息，该参数取得单元可以通过估计摄像参数来取得摄像参数。该参数取得单元可以从图像信号取得摄像参数。该图像处理设备还可以包括拍摄运动图像的摄像单元。根据本申请的实施例，还提供了一种图像处理方法，包括基于图像信号(表示包括帧图像的运动图像)以及延迟时间信息(表示摄像中的延迟时间)，通过多个帧图像来检测运动图像中包含的对象的运动；基于图像信号和运动信息(表示所检测到的对象的运动)来校正图像信号。通过使用这种方法，可以校正焦平面畸变。根据本申请的实施例，还提供了一种使得计算机执行的程序，其使得计算机执行下述操作基于图像信号(表示包括帧图像的运动图像)以及延迟时间信息(表示摄像中的延迟时间)，通过多个帧图像来检测运动图像中包含的对象的运动；基于图像信号和运动信息(表示所检测到的对象的运动)来校正图像信号。通过使用这种程序，可以校正焦平面畸变。根据本申请，可以校正焦平面畸变。
图I是用于解释焦平面畸变的说明图；图2是用于解释焦平面畸变的说明图；图3的A到图3的D是用于解释焦平面畸变的说明图；图4是用于解释焦平面畸变的说明图；图5是示出了根据本实施例的图像处理方法的概述的说明图；图6是示出了根据本实施例的图像处理设备的构造示例的框图；图7是用于解释根据本实施例的，估计基于运动信息摄像参数的方法的示例的说明图；图8是用于解释在根据本实施例的图像处理设备中计算延迟时间的方法的示例的说明图；图9是示出了在根据本实施例的图像处理设备中包括的运动检测单元的第一构造示例中的处理的概述的说明图；图10是示出了包括在根据本实施例的图像处理设备中的运动检测单元的第一构造示例的框图；图11是用于解释由按照包括在根据本实施例的图像处理设备中的第一构造示例的运动检测单元进行的参照比率的计算处理的示例的说明图；图12是用于解释由按照包括在根据本实施例的图像处理设备中的第一构造示例的运动检测单元进行的参照比率的计算处理的其他示例的说明图；图13是用于解释根据本实施例的摄像延迟时间的其他示例的说明图；图14是用于解释根据本实施例的摄像延迟时间的其他示例的说明图；图15是用于解释由按照包括在根据本实施例的图像处理设备中的第一构造示例 的运动检测单元进行的参照比率的计算处理的其他示例的说明图；图16是用于解释按照包括在根据本实施例的图像处理设备中的第一构造示例的运动检测单元的运动检测处理的示例的说明图；图17是示出了包括在根据本实施例的图像处理设备中的运动检测单元的第二构造示例中的处理的概述的说明图；图18是示出了包括在根据本实施例的图像处理设备中的运动检测单元的第二构造示例的框图；图19是用于解释由按照包括在根据本实施例的图像处理设备中的第二构造示例的运动检测单元进行的参照比率的计算处理的示例的说明图；图20的A和图20的B是示出了由按照包括在根据本实施例的图像处理设备中的第二构造示例的运动检测单元进行的参照比率的计算处理的处理中发生困难的可能性的示例的说明图；图21是用于解释由按照包括在根据本实施例的图像处理设备中的第二构造示例的运动检测单元进行的参照比率的计算处理的其他示例的说明图；图22是示出了由包括在根据本实施例的图像处理设备中的校正单元进行的处理的示例的说明图；以及图23的A和图23的B是示出了由根据本实施例的图像处理设备进行的处理的结果示例的说明图。
具体实施例方式下文中，将会具体参照附图详细描述本发明的优选实施例。注意，在该说明书和附图中，具有基本相同功能和结构的结构元件由相同的附图标记表示，并且省略对于这些结构元件的重复解释。在下文中按照以下顺序进行解释。I.根据本实施例的图像处理方法2.根据本实施例的图像处理设备3.根据本实施例的程序(根据本实施例的图像处理方法)在解释根据本实施例的图像处理设备(下文中也称为“图像处理设备100”)之前，解释根据本实施例的图像处理方法的概述。下文中的解释假设按照根据本实施例的图像处理方法的处理由图像处理设备100执行。下文中的解释也假设图像 处理设备100处理表示包括帧图像的运动图像的图像信号。在以下的解释中，由通过图像处理设备100处理的图像信号表示的每个帧图像也被表述为“输入图像”，并且通过对图像信号进行校正而获得的图像也被表述为“经校正的图像”。在这种情况下，作为根据本实施例的图像信号，存在这样的图像信号(模拟信号/数字信号)该信号表示由使用摄像设备拍摄图像的人获得的运动图像。然而，根据本实施例的图像信号不局限于该图像。例如，根据本实施例的图像信号可以是这样的信号该信号表示由被安装在车辆等中的摄像设备拍摄的运动图像，或者由安装在固定位置的摄像设备(诸如被称为安保相机)拍摄的运动图像。此外，作为根据本实施例的图像信号，存在这样的图像信号该信号例如是通过由图像处理设备100由于接收(直接地、或经由机顶盒等而间接地)从电视塔等发射的广播电波并且将所接收到的广播电波进行解码而获得的图像。图像处理设备100也可以处理从外部设备经由网络(或直接地)发送的图像信号。图像处理设备100也可以处理通过将存储在记录单元(下文中进行描述)或(可以从图像处理设备100卸下的)外部记录介质中的图像数据解码而获得的图像信号。此外，当图像处理设备100包括可以拍摄的运动图像的摄像单元(对应于摄像设备的装置，下文中进行描述)时，即，当图像处理设备100具有摄像设备的功能时，图像处理设备100可以被布置为处理与由摄像单元拍摄的运动图像相对应的图像信号。[关于焦平面畸变]首先，解释由根据本实施例的图像处理设备100校正的焦平面畸变。图I到图4是用于解释焦平面畸变的说明图。当CMOS(互补金属氧化物半导体)被用作多个摄像元件(构成摄像设备的图像传感器)时，在许多情况下采用卷帘快门系统(线曝光顺次读取系统)。在这种情况下，卷帘快门系统是以光栅(raster)顺序从摄像元件的左上起曝光并且传递数据的系统。在使用卷帘快门系统时，摄像设备顺次针对每根线(例如，沿着水平方向的线)拍摄图像。因此，当如由卷帘快门系统所执行的那样对于每根线顺次拍摄图像时，例如，如图I所示获得了在相同帧内对于每根线时间不同的帧图像。因为如图I所示拍摄了在相同帧内对于每根线时间不同的帧图像，所以当使用CMOS的摄像元件来拍摄例如从左向右运动的矩形物体(运动物体，作为对象的示例)的运动图像时，物体在帧图像中被表现为平行四边形的物体，例如如图2所示。当使用CMOS的摄像元件来拍摄例如从上向下运动的矩形物体(运动物体)的运动图像时，物体在帧图像中被表现为比实际物体具有更长的横向长度的物体。在例如上述运动图像中拍摄的物体(下文中称为“对象”)中发生的畸变是根据本实施例的“焦平面畸变”。不仅在被摄像的物体如上所述地运动时，而且在摄像设备运动时，也存在发生焦平面畸变的可能性。图3的A到图3的D示出了当摄像设备(例如，当摄像设备摇摄(pan)或倾斜时)运动时可能发生的焦平面畸变的示例。即，如图2和图3的A到图3的D所示，存在当对象相对于摄像元件运动时发生焦平面畸变的可能性。
另一方面，当CCD (电荷耦合器件)被用作为构成摄像设备的图像传感器的多个摄像元件时，采用全局快门系统(同时曝光批读取系统)。全局快门系统是同时地传输相同帧内的数据的系统，例如如图4所示。因此，当使用全局快门系统时，不发生焦平面畸变。如上所述，在由能够实现全局快门系统的摄像元件(例如CCD)实现由摄像设备所具有的摄像功能时，可以由自身防止焦平面畸变的发生。然而，CMOS的摄像元件相比于例如CCD的摄像元件具有以下优点节省能量、能够以高速读取并且成本较低。因此，CMOS被用作为普及的许多摄像设备中的摄像元件。因此，为了实现运动图像的高质量的再现，期望通过校正畸变来减小可能发生的焦平面畸变，而不是自身防止焦平面畸变的发生。作为通过校正减小焦平面畸变的方法，存在通过使用由 摄像设备所包括的传感器来检测运动信息以校正焦平面畸变的方法。然而，在使用上述方法时，只能校正由于相机机件(work)所引起的全局畸变,该畸变表示拍摄运动图像的摄像设备的运动。此外，如上所述，即使在使用这种过去的技术时，也存在不能充分地减小焦平面畸变的风险。[根据本实施例的图像处理方法的概述]根据本实施例的图像处理设备100通过考虑摄像延迟时间来从多个帧图像检测容纳在运动图像中的对象的运动。图像处理设备100通过基于所检测的运动校正图像信号来补偿所检测到的运动。因为图像处理设备100考虑到了摄像延迟时间，所以图像处理设备100可以校正每个像素对于局部运动的畸变。因为图像处理设备100通过如上所述地考虑摄像延迟时间来校正图像信号，所以图像处理设备100可以处理全局畸变和局部畸变。S卩，因为图像处理设备100通过如上所述地考虑摄像延迟时间来校正图像信号，所以即使运动图像中的运动是摄像机件的运动或者物体(对象)的运动，图像处理设备100也可以校正运动。因此，包括在由根据本实施例的图像处理设备100检测的运动图像中的对象的运动不仅包括物体(对象)自身的运动，还包括摄像机件的运动。因此，图像处理设备100可以仅校正在运动图像中可能发生的焦平面畸变。图像处理设备100通过基于摄像设备的摄像参数来计算对于每个像素拍摄图像的延迟时间，并通过获得延迟时间信息(延迟时间数据)来规定延迟时间，该信息例如表示摄像中的延迟时间。根据本实施例的摄像参数是表示具有顺次拍摄每根线(例如，水平方向上的线，并且在下文中类似地适用)的图像的摄像元件的摄像设备的摄像特性的值。摄像参数例如包括表示关于每个像素的曝光和读出的延迟时间的值(下文中也称为“延迟时间Rpix”)，以及对于每根线的延迟时间的值(下文中也称为“延迟时间Rlin/’)。根据本实施的摄像延迟时间例如是用于每个像素的曝光和读出的延迟时间。通过例如使用摄像参数来计算在帧像素中的任意位置(例如，由像素的坐标表示的位置)处的延迟时间。图像处理设备100可以例如通过所获得的延迟时间信息来规定在帧图像中的任意位置处的延迟时间。之后描述根据本实施例的计算延迟时间的方法的示例。图5是示出了根据本实施例的图像处理方法的概述的示例的说明图。例如，如图5所示，图像处理设备100通过基于多个帧图像(输入图像)产生经校正的图像来校正可能发生的焦平面畸变。下文中解释根据本实施例的图像处理设备100的构造的示例，并且也在下文中解释按照根据本实施例的图像处理方法的处理的具体示例。在下文中，通过主要采用图像处理设备100基于摄像参数来计算摄像延迟时间的示例，描述了根据本实施例的图像处理设备100的构造的示例以及按照根据本实施例的图像处理方法的处理的具体示例。在以下的解释中，输入到图像处理设备100的图像信号，即，要被处理的图像信号，也被描述为“输入图像信号”。(根据本实施例的图像处理设备)图6是示出了根据本实施例的图像处理设备100的构造的示例的框图。图像处理设备100例如包括参数取得单元102、延迟时间计算单元104、运动检测单元106和校正单元 108。图像处理设备100也可以被布置为包括控制单元(未示出)、R0M(只读存储器，未示出)、RAM(随机访问存储器，未示出)、存储单元(未示出)、用户可以操作的操作单元(未示出)、在显示屏上显示各种屏幕的显示单元(未示出)以及与外部设备通信的通信单元(未示出)。图像处理设备100使得上文中描述的构成元件通过例如总线作为数据传输 路径而彼此连接。由MPU(微处理单元)和各种处理电路构成的控制单元(未示出)控制图像处理设备100的整体。控制单元(未示出)可以被设置为具有参数取得单元102、延迟时间计算单元104、运动检测单元106和校正单元108的作用。控制单元(未示出)也可以设置为对于图像信号执行由根据本实施例中的图像处理方法的处理所执行的处理的作用，诸如对由校正单元108处理的图像信号进行编码(输出图像信号)、在记录单元(未示出)中记录经编码的图像信号和/或使得由图像信号表示的图像显示在显示单元(未示出)上或外部显示设备的显示屏上。ROM(未示出)存储了控制数据，例如由控制单元(未示出)使用的程序和算法参数。RAM(未示出)临时地存储由控制单元(未示出)执行的程序等。存储单元(未示出)是包括在图像处理设备100中的存储单元并且存储例如图像数据和应用的各种数据。存储单元(未示出)包括诸如硬盘的磁性记录介质以及诸如EEPROM(电可擦除可编程只读存储器)和闪存存储器的非易失性存储器。存储单元(未示出)可以被布置为可以从图像处理设备100卸下。操作单元(未示出)包括诸如按钮、方向键和摇杆的旋转式选择器或者这些单元的组合。图像处理设备100也可以被连接到作为图像处理设备100的外部设备的操作输入装置(例如，键盘和鼠标)。显示单元(未示出)例如包括液晶显示器(IXD)、有机EL显示器(有机电致发光显示器，或者也被称作为OLED显示器(有机发光二极管显示器))。显示单元(未示出)也可以是进行显示并且用户可以在其上进行操作的装置，例如触摸屏。图像处理设备100也可以连接到作为图像处理设备100的外部设备的显示装置(例如，外部显示器)，而不论是否存在显示单元(未示出)。通信单元(未示出)是包括在图像处理设备100中的通信单元并且通过有线或无线方式经由网络(或者直接地)与外部设备执行通信。通信单元(未示出)例如包括通信天线及RF (射频)电路(无线通信)、ΙΕΕΕ802· 15. I端口及发射/接收电路(无线通信)、IEEE 802. Ilb端口及发射/接收电路(无线通信)或者LAN(局域网)端子及发射/接收电路(有线通信)。根据本实施例的网络包括诸如LAN和WAN (广域网)的有线网络、诸如无线WAN(WffAN :无线广域网)的无线网络或者使用诸如TCP/IP (传输控制协议/互联网协议)通信协议的互联网。下文中通过解释根据图6中示出的本实施例的图像处理设备100的构造示例，来解释图像处理设备100的处理的示例。 参数取得单元102取得摄像参数。[取得摄像参数的处理的示例]⑴第一示例参数取得单元102例如从存储输入图像信号或识别信息的记录介质取得用于识别摄像设备的识别信息。参数取得单元102例如从与识别信息和摄像参数相关的数据库取得与所取得的识别信息相对应的摄像参数。作为从输入图像信号取得识别信息的方法，存在参数取得单元102例如对容纳在输入图像信号中(或嵌入在输入图像信号中)的元数据或水印进行解码(或者使得解码器进行解码)的方法。根据本实施例的识别信息包括识别摄像设备的类型的型号数字。任意的信息可以被用作为识别信息，只要该信息可以识别摄像设备。虽然参数取得单元102从存储在存储单元(未示出)中的数据库取得对应与识别信息的摄像参数，但是参数取得单元102的处理不局限于该处理。例如，参数取得单元102可以被设置为从诸如服务器的外部设备获得与识别信息相对应的摄像参数。在这种情况下，在从外部设备取得摄像参数时，参数取得单元102经由通信单元(未示出)与外部设备通信，将识别信息和要求发送摄像参数的发送请求发送给外部设备，并且从而获得例如摄像参数。在图像处理设备100中，参数取得单元102可以具有例如通信功能。在以上情况中，参数取得单元102通过与外部设备通信来取得摄像参数，而不论图像处理设备100是否包括通信单元(未示出)。存储识别信息的记录介质例如包括存储单元(未示出)或R0M(未示出)。然而，存储识别信息的记录介质不局限于这些单元。例如，存储识别信息的记录介质可以是能够从图像处理设备100卸下的外部记录介质。外部记录介质包括诸如闪存的非易失性存储器。记录在记录介质中的识别信息可以被预先记录，或者可以根据例如用户操作来记录。(ii)第二示例参数取得单元102可以被设置为例如从输入图像信号取得摄像参数。作为从输入图像信号取得摄像参数的方法，存在参数取得单元102例如对容纳在输入图像信号中(或嵌入在输入图像信号中)的元数据或水印进行解码(或者使得解码器进行解码)的方法。(iii)第三示例由根据本实施例的参数取得单元102取得摄像参数的处理不局限于在第一和第二示例中解释的这些。例如，参数取得单元102可以被设置为基于表示所检测到的对象运动的运动信息来估计摄像参数并且获得所估计的摄像参数来作为摄像参数。图7是用于解释根据本实施例的基于运动信息来估计摄像参数的方法的示例的说明图。当如图7中的A所示发生焦平面畸变时，例如，在帧图像中首先拍摄的图像的线与最后拍摄的图像的线之间迅速广生偏差时间Δ t。图像处理设备100例如基于偏差时间At和线的数目来估计延迟时间Rline。更具体地，图像处理设备100通过例如计算“ At/线的数目”来估计延迟时间Rline。根据本实施例的估计摄像参数的方法不局限于上述方法。例如，图像处理设备100可以被设置为从表示畸变的任意信息估计摄像参数。再次参照图6解释根据本实施例的图像处理设备100的构造的示例。参数取得单元102例如通过执行在上文中的第一示例到第三示例中解释的处理来取得摄像参数。更不必说由根据本实施例的参数取得单元102取得的摄像参数的处理不局限于在第一示例到第三示例中解释的那些。虽然参数取得单元102可以通过具有任意构造以执行如上所述的取得摄像参数的处理的专用处理电路来实现，但是参数取得单元102的构造不局限于上述构造。在图像处理设备100中，控制单元(未示出)也可以被布置为具有参数取得单元102的作用，并且参数取得单元102可以是能够执行例如其他处理的通用目的处理电路。虽然图6示出了图像处理设备100包括参数取得单元102的构造，但是根据本实施例的图像处理设备100的构造不局限于上述构造。例如，图像处理设备100可以被设置 为通过使用由与图像处理设备100分离的参数取得设备所取得的摄像参数来执行处理，而不包括参数取得单元102。虽然图6示出了图像处理设备100包括取得摄像参数的参数取得单元102的示例，但是根据本实施例的图像处理设备100的构造不局限于上述构造。例如，图像处理设备100可以被设置为包括获取延迟时间信息的延迟时间信息获取单元(未示出)，以代替参数取得单元102。在这种情况下,延迟时间信息取得单元(未示出)通过执行与取得摄像参数的处理的第一示例和第二示例相似的处理来取得延迟时间信息。然而，根据本实施例的用于取得延迟时间信息的处理不局限于上述处理。更不必说根据本实施例的图像处理设备100可以被布置为除了图6中示出的构造之外还包括延迟时间信息去的单元(未示出)。基于由参数取得单元102取得的摄像参数，延迟时间计算单元104计算对于每个像素的摄像延迟时间。图8是用于解释在根据本实施例的图像处理设备100中计算延迟时间的方法的示例的说明图。当摄像设备以光栅扫描顺序执行扫描和读出时，在图8中示出的左上侧处的像素中的延迟可以被设置为“O”。在以上情况下，当像素坐标为例如(x，y)时，通过下文中示出的公式I来计算任意像素的延迟时间。在这种情况下，公式I中示出的“Rpix”是相同线中的相邻像素之间的延迟时间，并且公式I中示出的“Rline”是相邻线之间的延迟时间。r(x, y) = RpixX x+RlineX y 公式 I延迟时间计算单元104例如通过公示I来计算每个像素的延迟时间，并且将表示所计算的延迟时间的延迟时间信息发送到运动检测单元106。由延迟时间计算单元104计算延迟时间的方法不局限于以上所述的方法。例如，当参数取得单元102取得表示摄像元件开始曝光和读出的位置的摄像参数(例如表示从摄像元件的左上侧和从摄像元件的左下侧起执行曝光和读出的摄像参数)时，延迟时间计算单元104可以被设置为通过将对应于该位置的多个像素中每一者的延迟设置为“O”来计算延迟时间r(x，y)。延迟时间计算单元104可以通过具有专用于执行根据上述计算延迟时间的方法的处理的构造的专用处理电路来实现。然而，延迟时间计算单元104的构造不局限于以上构造。例如，在图像处理设备100中，控制单元(未示出)可以被布置为具有延迟时间计算单元104的作用，或者可以是能够执行其他处理的一般用途处理电路。虽然图6示出了图像处理设备100包括由图像处理设备100对于每个像素的摄像延迟时间的延迟时间计算单元104的示例，但是根据本实施例的图像处理设备100的构造不局限于上述构造。例如，当图像处理设备100包括延迟时间信息取得单元(未示出)时，图像处理设备100可以被设置为不包括延迟时间计算单元104。在上述构造的情况下，在图像处理设备100中，延迟时间信息取得单元(未示出)将延迟时间信息例如发送到运动检测单元106。基于输入图像信号和延迟时间信息，运动检测单元106通过多个帧图像检测包括在运动图像中的对象的运动。运动检测单元106所使用的延迟时间信息包括从延迟时间计算单元104发送的延迟时间信息和从延迟时间信息取得单元(未示出)发送的延迟时间信
肩、O
(I)第一构造示例根据第一构造示例的运动检测单元106基于延迟时间信息来指定拍摄运动图像的时间相位，并且基于所指定的时间相位来对于每个像素检测对象的运动。根据第一构造示例的运动检测单元106的处理对应于基于经校正的图像来检测运动的处理。图9是示出了在根据本实施例的图像处理设备100中包括的运动检测单元106的第一构造示例中的处理的概述的说明图。对于例如与连续的两个帧相对应的两个帧图像，根据第一构造示例的运动检测单元106把针对每个像素对两个帧图像中的每一者进行参照的参照比率(I α)指定为时间相位。之后，根据第一构造的运动检测单元106通过使用所指定的参照比率来检测对象。虽然图9示出了根据第一构造示例的运动检测单元106将用于对对应于连续两个帧的两个帧图像进行参照的参照比率指定为时间相位的示例，但是根据第一构造示例的运动检测单元106的处理不局限于如上所述的处理。例如，根据第一构造示例的运动检测单元106也可以将用于对对应于连续三个以上帧的三个以上帧图像进行参照的参照比率指定为时间相位。在下文中例如如图9所示，解释了根据第一构造示例的运动检测单元106将用于对对应于连续两个帧的两个帧图像进行参照的参照比率指定为时间相位的示例。图10是示出了包括在根据本实施例的图像处理设备100中的运动检测单元106的第一构造示例的框图。根据第一构造示例的运动检测单元106例如包括参照比率计算单元110和检测单元112 (第一检测单元)。参照比率计算单元110基于输入图像信号和从延迟时间计算单元104发送的延迟时间信息来对每个像素计算参照比率。参照比率计算单元110把表示所计算的参照比率的信息(数据)发送到检测单元112。图11是用于解释由按照包括在根据本实施例的图像处理设备100中的第一构造示例的运动检测单元106进行的参照比率的计算处理的示例的说明图。图11中示出的经校正的像素是在经校正的图像中的像素(下文中也类似适用)。下文中，存在输入图像(帧图像)中的经校正的像素相对应的像素被表示为“参照像素”的情况，其中，该输入图像与该经校正的像素相对应。用在例如帧速率转换等中的一般的运动检测是在全局快门系统中以时间相位的方式执行的。另一方面，按照根据本实施例的第一构造示例的运动检测单元106 (更严格地说，例如参照比率计算单元110)通过把摄像设备(该设备使用延迟时间信息来拍摄与输入图像信号相对应的运动图像)中的延迟时间考虑在内，对于每个像素检测对象的运动。例如，假设如图11所示，从经校正的像素到输入图像A的参照像素的时间与从经校正的像素到输入图像B的参照像素的时间的比率为“I α ”，并且从经校正的像素到输入图像A的参照像素的向量为“(xSMh，Ysrch) ”。基于这些假设，由以下的公式2到5表示输入图像A的参照像素的坐标(xMf，yMf)、输入图像B的参照像素的坐标(xto，ytJ、输入图像A的参照像素的延迟时间rref以及输入图像B的参照像素的延迟时间rm。(xrefJ yref) — (x+xsrchj y+ysrch)公式 2(Xtar，ytar) = (χ-α Xxsrch, X-a Xysrch)公式 3rref = r (x+xsrch, y+ysrch)公式 4
rtar = r (x- α X Xsrch, y-a X ysrch) 公式 5在这种情况下，假设输入图像信号的帧周期为“ Λ Tref",则输入图像B的参照像素的延迟时间例如由以下示出的公式6表示。rtar = ( A TrefTref) X a公式 6此外，通过公式1、3、4和6，涉及从经校正的像素到输入图像B的参照像素的时间的比率的“ a ”由以下示出的公式7表示。
权利要求
1.ー种图像处理设备，包括 运动检测单元，其基于图像信号和延迟时间信息，通过多个帧图像来检测运动图像中包含的对象的运动，所述图像信号表示包括所述帧图像的所述运动图像，所述延迟时间信息表示摄像中的延迟时间；以及 校正単元，其基于所述图像信号和运动信息来校正所述图像信号，所述运动信息表示所检测到的对象的运动。
2.根据权利要求I所述的图像处理设备，还包括 延迟时间计算単元，其基于摄像设备的摄像參数来计算对于每个像素的所述延迟时间，所述摄像设备具有对于每根线顺次拍摄图像的摄像元件。
3.根据权利要求I所述的图像处理设备， 其中，所述运动检测单元基于所述延迟时间信息来指定拍摄所述运动图像的时间相位，并且基于所指定的时间相位来针对每个像素检测所述对象的运动。
4.根据权利要求3所述的图像处理设备， 其中，所述运动检测单元对基于所述延迟时间信息而指定的时间相位进行调整。
5.根据权利要求I所述的图像处理设备， 其中，所述运动检测单元包括 參照比率计算单元，其基于所述延迟时间信息来计算參照比率，所述參照比率表示用于对多个帧图像中每ー者进行參照的比率，以及 第一检测单元，其基于所计算的參照比率来检测所述对象的运动。
6.根据权利要求I所述的图像处理设备， 其中，所述运动检测单元包括 第二检测单元，其基于所述图像信号来检测所述对象的运动，以及第三检测单元，其基于运动信息、所述图像信号和所述延迟时间信息来重新检测所述对象的运动，所述运动信息表示由所述第一检测单元检测到的运动。
7.根据权利要求I所述的图像处理设备， 其中，所述校正単元基于ー个或多个运动信息来校正所述图像信号。
8.根据权利要求7所述的图像处理设备， 其中，所述运动信息包括參照比率，所述參照比率表示用于对多个帧图像中的每ー者进行參照的比率。
9.根据权利要求2所述的图像处理设备，还包括 參数取得単元，其取得所述摄像參数。
10.根据权利要求9所述的图像处理设备， 其中，所述參数取得单元 从所述图像信号或者从存储了识别信息的记录介质取得用于识别所述摄像设备的所述识别信息，并且 从与所述识别信息和所述摄像參数相关的数据库取得与所取得的识别信息相对应的摄像參数。
11.根据权利要求9所述的图像处理设备， 其中，所述參数取得単元基于由所述运动检测单元检测到的运动信息，通过估计所述摄像參数来取得所述摄像參数。
12.根据权利要求9所述的图像处理设备， 其中，所述參数取得单元从所述图像信号取得所述摄像參数。
13.根据权利要求I所述的图像处理设备，还包括拍摄所述运动图像的摄像单元。
14.ー种图像处理方法，包括 基于图像信号以及延迟时间信息，通过多个帧图像来检测运动图像中包含的对象的运动，所述图像信号表示包括所述巾贞图像的所述运动图像，所述延迟时间信息表示摄像中的延迟时间；以及 基于所述图像信号和运动信息来校正所述图像信号，所述运动信息表示所检测到的对象的运动。
15.—种程序，其使得计算机执行下述操作 基于图像信号以及延迟时间信息，通过多个帧图像来检测运动图像中包含的对象的运动，所述图像信号表示包括所述巾贞图像的所述运动图像，所述延迟时间信息表示摄像中的延迟时间；以及 基于所述图像信号和运动信息来校正所述图像信号，所述运动信息表示所检测到的对象的运动。
全文摘要
本申请提供了图像处理设备、图像处理方法和程序。该图像处理设备包括运动检测单元，基于表示包括帧图像的运动图像的图像信号以及表示摄像延迟时间的延迟时间信息，所述运动检测单元通过多个帧图像来检测包括在运动图像中的对象的运动；校正单元，其基于所述图像信号和表示所检测的对象的运动的运动信息来校正所述图像信号。
文档编号H04N5/21GK102739923SQ20121009876
公开日2012年10月17日 申请日期2012年3月31日 优先权日2011年4月8日
发明者安藤裕司, 小林刚也 申请人:索尼公司