专利名称：图像处理设备和方法、学习设备和方法、程序及记录介质的制作方法
技术领域：
本技术涉及图像处理设备和方法、学习设备和方法、程序以及记录介质，并且具体地涉及能够以高精确度容易地检测使用具有不同曝光时间的图像传感器捕捉的图像的运动的图像处理设备和方法、学习设备和方法、程序以及记录介质。
背景技术：
固态图像传感器如CCD用作用于图像捕捉设备如视频摄影机的图像传感器。然而，与银盐类型的图像捕捉设备相比，使用固态图像传感器的图像捕捉设备对于入射光的量具有较窄的动态范围。图像捕捉设备的窄的动态范围可能在捕捉的图像中造成堵塞阴影(曝光不足)或爆裂加亮(曝光过度)。在现有技术中已知的是，某种图像捕捉设备可以通过以下来扩展其动态范围在 不同的曝光量之下，使用复数个图像信号，将图像与宽的动态范围合成。这种过去的图像捕捉设备基于图像传感器在第一个帧捕捉的图像信号和在那时的曝光量来计算适当的曝光量。然后，基于适当曝光量下的这个或者曝光过度和曝光不足，执行图像传感器在第二个帧的捕捉。接下来，将第一个和第二个帧的图像信号存储在存储器中，并且合成存储器中存储的第一个和第二个帧的图像信号，以生成具有扩展的动态范围的一个图像。还提议了这样一种技术，在所述技术中，图像传感器由所有像素都划分在其中的两个像素组构成，能够在一个帧从各自两个像素组中读出具有不同曝光时间的视频信号，并且每一帧都交换用于两个像素组的曝光时间(例如参见日本专利申请公布第2007-221423号，其在下文中被称为专利文件I)。此外，例如当实现用于视频摄影机等的图像稳定功能时，对图像的运动量的检测是重要的。在过去，使用时间序列的两个图像来检测运动量。当以这种方式检测运动量时，例如像专利文件I那样针对两个图像配置不同的曝光时间可能造成检测精确度的恶化。因此，还建议将复数个像素组集成为一个高清晰度像素组，并且每次在不同的捕捉条件下相继执行复数次的捕捉，目的是为了能够扩展动态范围的图像捕捉设备增强运动量的检测精确度(例如参见日本专利申请公布第2010-219940号，其在下文中被称为专利文件2)。根据专利文件2的技术，可以通过一次性曝光针对图像传感器的每个像素组使用不同的曝光时间来执行捕捉。例如，面A的像素组和面B的像素值可以同时开始曝光，并且面A的像素组可以在面B的像素组完成曝光之后再完成曝光。
发明内容
然而，当目标像素朝向在曝光时间方面与其自身不同的像素移动时，例如根据专利文件2技术的运动量检测仍然可能造成检测精确度的恶化。例如使用块匹配方法或梯度方法的运动检测导致了曝光较长时间的像素和曝光较短时间的像素之间的差异提取的困难。
考虑到前述境况公开了本技术，并且希望以高精确度容易地检测由具有不同曝光时间的图像传感器捕捉的图像的运动。根据本技术的第一方面，提供了一种图像处理设备，该图像处理设备包括计算部，其基于在曝光时间方面与通过图像捕捉部捕捉的图像中的目标像素不同的多个其它像素的值和对应于各个其它像素的预测系数，计算所述目标像素的预测值，所述图像捕捉部使用通过有规则地布置具有多个曝光时间的多个像素而配置的图像传感器来捕捉图像；以及运动量识别部，其基于计算的所述目标像素的预测值和所述目标像素的值，识别每单位时间的所述目标像素的运动量。图像处理设备可以进一步包括系数供应部，其将所述预测系数供应给所述计算部，其中，所述系数供应部将与预置的运动模式相对应的预测系数供应给所述计算部，并且所述计算部使用基于所述多个其它像素的值和对应于各个其它像素的预测系数的预测表达式，针对每个运动模式计算所述目标像素的预测值。
运动量识别部可以配置成基于针对每个预置的运动模式而计算的所述目标像素的预测值和所述目标像素的值之间的预测误差来识别每单位时间的所述目标像素的运动量。预测系数可以是通过学习设备预先学习的预测系数，并且该学习设备可以包括模糊图像生成部，其生成通过将与多个预置的运动模式相对应的运动模糊添加到通过所述图像传感器捕捉的图像而获得的模糊图像；以及系数计算部，其对应于各自的多个运动模式计算所述预测系数，以便基于在曝光时间方面与所述目标像素不同的多个其它像素的值来计算捕捉的图像中的所述目标像素的预测值。根据本技术的第一方面，提供了一种图像处理方法，该方法包括基于在曝光时间方面与通过图像捕捉部捕捉的图像中的目标像素不同的多个其它像素的值和对应于各个其它像素的预测系数，使用计算部来计算所述目标像素的预测值，所述图像捕捉部使用通过有规则地布置具有多个曝光时间的多个像素而配置的图像传感器来捕捉图像；以及基于计算的所述目标像素的预测值和所述目标像素的值，使用运动量识别部来识别每单位时间的所述目标像素的运动量。根据本技术的第一方面，提供了一种使计算机起到图像处理设备的作用的程序，所述图像处理设备包括计算部，其基于在曝光时间方面与通过图像捕捉部捕捉的图像中的目标像素不同的多个其它像素的值和对应于各个其它像素的预测系数，计算所述目标像素的预测值，所述图像捕捉部使用通过有规则地布置具有多个曝光时间的多个像素而配置的图像传感器来捕捉图像；以及运动量识别部，其基于计算的所述目标像素的预测值和所述目标像素的值，识别每单位时间的所述目标像素的运动量。在本技术的第一方面中，基于在曝光时间方面与通过图像捕捉部捕捉的图像中的目标像素不同的多个其它像素的值和对应于各个其它像素的预测系数，计算目标像素的预测值，所述图像捕捉部使用通过有规则地布置具有多个曝光时间的多个像素而配置的图像传感器来捕捉图像；并且基于计算的目标像素的预测值和目标像素的值，识别每单位时间的目标像素的运动量。根据本技术的第二方面，提供了一种学习设备，该学习设备包括模糊图像生成部，其生成通过将与多个预置的运动模式相对应的运动模糊添加到通过图像捕捉部捕捉的图像而获得的模糊图像，所述图像捕捉部使用通过有规则地布置具有多个曝光时间的多个像素而配置的图像传感器来捕捉图像；以及系数计算部，其对应于各自的多个运动模式计算预测系数，以便基于在曝光时间方面与目标像素不同的多个其它像素的值来计算捕捉的图像中的目标像素的预测值。学习设备可以进一步包括预测表达式生成部，其生成预测表达式，以便在每个模糊图像中基于所述多个其它像素的值来预测所述目标像素的值，其中，所述系数计算部计算在生成的预测表达式中所述多个其它像素的值与之相乘的系数的值作为所述预测系数。学习设备可以进一步包括存储部，其与所述多个运动模式和所述多个其它像素的位置相关联地存储计算的预测系数。根据本技术的第二方面，提供了一种学习方法，该方法包括使用模糊图像生成部生成通过将与多个预置的运动模式相对应的运动模糊添加到通过图像捕捉部捕捉的图像 而获得的模糊图像，所述图像捕捉部使用通过有规则地布置具有多个曝光时间的多个像素而配置的图像传感器来捕捉图像；以及对应于各自的多个运动模式使用系数计算部来计算预测系数，以便基于在曝光时间方面与目标像素不同的多个其它像素的值来计算捕捉的图像中的目标像素的预测值。根据本技术的第二方面，提供了一种使计算机起到学习设备的作用的程序，所述学习设备包括模糊图像生成部，其生成通过将与多个预置的运动模式相对应的运动模糊添加到通过图像捕捉部捕捉的图像而获得的模糊图像，所述图像捕捉部使用通过有规则地布置具有多个曝光时间的多个像素而配置的图像传感器来捕捉图像；以及系数计算部，其对应于各自的多个运动模式计算预测系数，以便基于在曝光时间方面与所述目标像素不同的多个其它像素的值来计算捕捉的图像中的所述目标像素的预测值。在本技术的第二方面中，生成通过将与多个预置的运动模式相对应的运动模糊添加到通过图像捕捉部捕捉的图像而获得的模糊图像，所述图像捕捉部使用通过有规则地布置具有多个曝光时间的多个像素而配置的图像传感器来捕捉图像；并且对应于各自的多个运动模式计算预测系数，以便基于在曝光时间方面与目标像素不同的多个其它像素的值来计算捕捉的图像中的目标像素的预测值。根据本技术，可以以高精确度容易地检测由具有不同曝光时间的图像传感器捕捉的图像的运动。
图I是图示根据对其应用本技术的图像捕捉控制系统的一个实施例的配置例子的框图；图2是图示图I中的图像传感器的光接收平面的配置例子的示图；图3是图示目标像素的配置例子的示图；图4是图示目标像素的配置的另一个例子的示图；图5是图示极坐标系中的显示的示图；图6是图示图I中的系数计算部的配置的详细例子的框图；图7是图示图I中的运动量检测部的配置的详细例子的框图；图8是用于说明通过图7中的最小值选择部进行的对最小预测误差的选择的示图；图9是图示系数学习过程的例子的流程图；图10是图示运动量检测过程的例子的流程图；图11是图示图I中的图像传感器的光接收平面的配置的另一个例子的示图；以及图12是图示个人计算机的配置例子的框图。
具体实施例方式在下文中，参考附图来详细地描述本公开的优选实施例。注意，在本说明书和附图中，具有基本上相同的功能和结构的结构性元件用相同的标号来指示，并且省略对这些结构性元件的重复说明。
图I是图示根据对其应用本技术的图像捕捉控制系统的一个实施例的配置例子的框图。这个图像捕捉控制系统配置成包括例如由数字摄影机(数字静止摄影机)等构成的图像捕捉设备11和学习设备12。图I中的图像捕捉设备11配置成包括操作部20、图像捕捉部41、同步动态随机存取存储器(SDRAM) 54、运动量检测部55、校正部57、显示控制部60和显示部61。操作部20配置成例如包括释放开关21和与下面提到的显示部61叠加的触摸面板等，并且由用户操作。操作部20将响应于用户操作的操作信号供应给图像捕捉设备11的适当模块。通过对接收的入射到其中的光执行光电转换，图像捕捉部41捕捉对象的图像，并且将作为结果的捕捉的图像供应给SDRAM 54以使其(临时)存储。在这一点上，图像捕捉部41配置成包括成像透镜51、图像传感器52和摄影机信号处理部53，并且成像透镜51将对象的图像形成在图像传感器52的光接收平面上。图像传感器52配置成例如包括电荷耦合器件(CXD)传感器或互补金属氧化物半导体(CMOS)传感器等。图像传感器52通过光电转换将形成在其光接收平面上的对象的图像(光)供应给摄影机信号处理部53作为模拟图像信号。另外，下面将会描述图像传感器52的配置的详细例子。摄影机信号处理部53对从图像传感器52供应的模拟图像信号例如执行伽玛校正处理和/或白平衡处理。其后，摄影机信号处理部53对模拟图像信号执行模拟/数字(A/D)转换，并且将作为结果的数字图像信号(捕捉图像)供应给SDRAM 54，以使其存储在其中。SDRAM 54存储从摄影机信号处理部53 (图像捕捉部41)供应的捕捉图像。运动量检测部55从SDRAM 54中读出由图像捕捉部41捕捉的捕捉图像。运动量检测部55检测关于从SDRAM 54中读出的捕捉图像的运动量。使用目标像素周围的像素的值和下面提到的学习设备12的系数存储部83中存储的系数，运动量检测部55生成用于预测目标像素的值的预测表达式，并且基于目标像素的预测值和观察值之间的误差(预测误差)来检测运动量。基于从相同的运动量检测部55供应的捕捉图像的运动量,校正部57校正从运动量检测部55供应的捕捉图像，并且将校正之后的捕捉图像供应给显示控制部60。显示控制部60将从校正部57供应的捕捉图像供应给显示部61以使其显示。根据显示控制部61的控制，显示部61显示捕捉图像等。例如，液晶显示器(IXD)等可以用作显示部61。图I中的学习设备12配置成包括像素值获取控制部81、系数计算部82和系数存储部83。像素值获取控制部81控制输入到学习设备12中的图像数据中的预定像素的值的获取。系数计算部82计算关于下面提到的运动预测的系数。系数存储部83存储由系数计算部82计算的系数，并且在需要时将系数供应给图像捕捉设备11。学习设备12配置成例如接收通过图像捕捉设备11捕捉的静止图像的数据(图像 数据)，学习用于预测表达式的系数，所述预测表达式用于预测像素值，如下面提到的那样。像素值获取控制部81获取向学习设备12供应的图像数据中的目标像素和在目标像素周围的像素的像素值。如下面提到的那样，生成具有对应于多个运动模式的运动模糊的图像。然后，基于生成的图像，生成每个对应于每个运动的预测表达式。例如使用最小二乘法等来计算用于预测表达式的系数的值。这些构成了通过学习设备12进行的对系数的学习。通过学习获得的系数存储在系数存储部83中，并且供应给图像捕捉设备11的运动量检测部55。图2是图示作为光接收平面配置例子的图I中的图像传感器52的配置的详细例子的示图。如图中图示的那样，具有较长曝光时间的像素和具有较短曝光时间的像素有规则地布置在图像传感器的成像平面中。在此，具有较长曝光时间的像素基于它们积累通过光电转换获得的电荷较长时间而被称为较长积累像素，并且在附图中用符号“Lx”来表达，其中作为后缀的X指示自然数。而且，具有较短曝光时间的像素基于它们积累通过光电转换获得的电荷较短时间而被称为较短积累像素，并且在附图中用符号“sx”来表达，其中作为后缀的X指示自然数。在图2的例子中，25 (5X5)个像素布置成方形，并且在其中交替地布置较长积累像素和较短积累像素。在这个例子中，布置了 13个较长积累像素和12个较短积累像素。尽管为了简单起见，布置在图像传感器52中的像素的数目为25个，但实际上布置了更多像素。图像捕捉设备11配置成通过使用如图2所示的图像传感器52来捕捉具有宽动态范围的图像。接下来详细地描述通过学习设备12进行的对系数的学习。例如，准备作为用于学习的图像数据的如图2所示的图像传感器52所捕捉的静止图像的图像数据，并且配置通过图像数据表达的图像中的目标像素。例如，像素L12，其为图3所示的用厚边框指示的像素，被配置为目标像素。在这种情况下，希望作为图像数据中目标像素的像素L12具有与作为构成图像传感器52的较长积累像素的像素L12中积累的电荷相对应地获得的像素值。在此，例如当假定目标像素在水平方向上移动一个运动量mx，并且在垂直方向上移动一个运动量my时，将会生成对应于运动量获得的具有运动模糊的图像(称之为模糊图像)。运动量(mx，my)被定义为矢量，其表示以像素数目计的对象在水平方向(X轴方向)和垂直方向(y轴方向)上的单位时间内移动的距离。当对象在图像传感器中的像素曝光期间移动时，与对象的静止图像中的一个像素相对应的光积累在复数个像素中，这样一来就出现了运动模糊。同时，例如可以通过以下来生成模糊图像的像素值根据水平或垂直方向上的运动量(mx，my)来位移静止图像中的各个像素，并且相加通过位移获得的像素值和原始像素值以规范化，等等。另外，当生成模糊图像的像素值时，认为图3所示的图像传感器包括较长积累像素和较短积累像素。亦即，将对应于运动量指定的速度和针对各个像素的曝光时间纳入考虑，生成像素值。例如，假定在水平方向上有5个运动，并且在垂直方向上有5个运动，这样一来总共就有25个运动量(mx，my) (25个模式)。例如，可以假定诸如(_2，-2)、(-2，-1)，……和(2，2)之类的运动量。对应于这些复数个的运动模式，生成各个模糊图像。在通过学习设备12进行的对系数的学习中，首先，如上面那样生成对应于复数个运动模式的模糊图像。 在如上面提到的那样获得模糊图像之后，生成预测表达式，以便基于作为较短积
累像素的像素Si、像素S3、......和像素s23，预测作为较长积累像素的像素L12的像素值。
在这种情况下，方程(I)被生成作为预测表达式，以便基于12个较短积累像素的像素值来预测像素L12的像素值。[表达式I]
11— XL. mx, my. 2k+1' 2k+1 ^ L, mx, my, L12/ ,、
k=0...... ( I )在此，通过方程(2)来表达方程(I)中的系数。[表达式2]—L, ,my,2k+1 = ……(2)方程(I)中的系数Co表示用于当给出运动量(mX，my)时基于较短积累像素的像素值来计算较长积累像素的像素值的系数，亦即后缀为2k+l (其中k为0至11的整数)的较短积累像素的像素值与之相乘的系数。换言之，方程(I)是用于通过以下来预测目标像素值的针对通过抽头乘以系数《而获得的各个值的总和，使用线性表达式来计算像素L12的值，其中抽头是存在于像素L12周围的12个较短积累像素的值。此外，方程(3 )表示了方程(I)的右手侧的最右项。[表达式3]es^LjmXjmy = e ...... (3)方程(I)右手侧的项e表示当给出运动量(mX，my)时基于较短积累像素的像素值来计算(预测)较长积累像素L12的像素值中的预测误差。从输入到学习设备12中的多个图像数据中生成方程(I)和方程(3)的集合作为样本，使得能够例如使用最小二乘法来计算对其而言预测误差在方程(I)中处于最小的系数。这样一来，就可以分别针对像素Si、像素S3、……和像素s23的乘法来计算系数。例如，针对一个运动量(mx, my)计算12个系数。并且类似地,例如分别针对25个运动量(mx, my)计算12个系数的集合。通过这样做，获得的是用于基于较短积累像素的像素值来计算较长积累像素的像素值的系数，亦即例如对应于25个运动量(mx，my)的系数的集合。
接下来，以与上面提到的情况相同的方式，估计用于基于较长积累像素的像素值来预测较短积累像素的像素值的系数。亦即，例如准备作为用于学习的图像数据的如图4所示的图像传感器52所捕捉的静止图像的图像数据，并且配置通过图像数据表达的图像中的目标像素。例如，像素sl2，其为图4所示的用厚边框指示的像素，被配置为目标像素。在这种情况下，希望作为图像数据中目标像素的像素sl2具有与作为构成图像传感器52的较短积累像素的像素sl2中积累的电荷相对应地获得的像素值。然后，如上面提到的情况下那样，生成对应于复数个运动模式的模糊图像。在获得模糊图像之后，生成预测表达式，以便基于作为较长积累像素的像素LI、像
素L3、......和像素L23，预测作为较短积累像素的像素sl2的像素值。在这种情况下，方程
(4)被生成作为预测表达式，以便基于12个较长积累像素的像素值来预测像素sl2的像素值。[表达式4]
权利要求
1.一种图像处理设备，包括 计算部，其基于在曝光时间方面与通过图像捕捉部捕捉的图像中的目标像素不同的多个其它像素的值和对应于各个其它像素的预测系数，计算所述目标像素的预测值，所述图像捕捉部使用通过有规则地布置具有多个曝光时间的多个像素而配置的图像传感器来捕捉图像；以及 运动量识别部，其基于计算的所述目标像素的预测值和所述目标像素的值，识别每单位时间的所述目标像素的运动量。
2.根据权利要求I所述的图像处理设备，进一步包括 系数供应部，其将所述预测系数供应给所述计算部，其中， 所述系数供应部将与预置的运动模式相对应的预测系数供应给所述计算部，并且 所述计算部使用基于所述多个其它像素的值和对应于各个其它像素的预测系数的预测表达式，针对每个运动模式计算所述目标像素的预测值。
3.根据权利要求I所述的图像处理设备，其中，基于针对每个预置的运动模式而计算的所述目标像素的预测值和所述目标像素的值之间的预测误差，所述运动量识别部识别每单位时间的所述目标像素的运动量。
4.根据权利要求3所述的图像处理设备，进一步包括 最小值选择部，其从所述预测误差当中选择绝对值处于最小的预测误差，其中， 所述运动量识别部识别与所述最小值选择部选择的预测误差相对应的运动量作为所述目标像素的运动量。
5.根据权利要求I所述的图像处理设备，其中，所述预测系数是通过学习设备预先学习的预测系数，并且 所述学习设备包括 模糊图像生成部，其生成通过将与多个预置的运动模式相对应的运动模糊添加到通过所述图像传感器捕捉的图像而获得的模糊图像；以及 系数计算部，其对应于各自的多个运动模式计算所述预测系数，以便基于在曝光时间方面与所述目标像素不同的多个其它像素的值来计算捕捉的图像中的所述目标像素的预测值。
6.—种图像处理方法,包括 基于在曝光时间方面与通过图像捕捉部捕捉的图像中的目标像素不同的多个其它像素的值和对应于各个其它像素的预测系数，使用计算部来计算所述目标像素的预测值，所述图像捕捉部使用通过有规则地布置具有多个曝光时间的多个像素而配置的图像传感器来捕捉图像；以及 基于计算的所述目标像素的预测值和所述目标像素的值，使用运动量识别部来识别每单位时间的所述目标像素的运动量。
7.一种使计算机起到图像处理设备的作用的程序，所述图像处理设备包括 计算部，其基于在曝光时间方面与通过图像捕捉部捕捉的图像中的目标像素不同的多个其它像素的值和对应于各个其它像素的预测系数，计算所述目标像素的预测值，所述图像捕捉部使用通过有规则地布置具有多个曝光时间的多个像素而配置的图像传感器来捕捉图像；以及运动量识别部，其基于计算的所述目标像素的预测值和所述目标像素的值，识别每单位时间的所述目标像素的运动量。
8.—种记录介质，在所述记录介质中存储了根据权利要求7所述的程序。
9.一种学习设备,包括 模糊图像生成部，其生成通过将与多个预置的运动模式相对应的运动模糊添加到通过图像捕捉部捕捉的图像而获得的模糊图像，所述图像捕捉部使用通过有规则地布置具有多个曝光时间的多个像素而配置的图像传感器来捕捉图像；以及 系数计算部，其对应于各自的多个运动模式计算预测系数，以便基于在曝光时间方面与目标像素不同的多个其它像素的值来计算捕捉的图像中的目标像素的预测值。
10.根据权利要求9所述的学习设备，进一步包括 预测表达式生成部，其生成预测表达式，以便在每个模糊图像中基于所述多个其它像素的值来预测目标像素的值，其中， 所述系数计算部计算在生成的预测表达式中所述多个其它像素的值与之相乘的系数的值作为所述预测系数。
11.根据权利要求10所述的学习设备，进一步包括 运算处理部，其计算在所述预测表达式中对其而言预测误差处于最小的系数作为所述预测系数。
12.根据权利要求9所述的学习设备，进一步包括 存储部，其与所述多个运动模式和所述多个其它像素的位置相关联地存储计算的预测系数。
13.—种学习方法,包括 使用模糊图像生成部生成通过将与多个预置的运动模式相对应的运动模糊添加到通过图像捕捉部捕捉的图像而获得的模糊图像，所述图像捕捉部使用通过有规则地布置具有多个曝光时间的多个像素而配置的图像传感器来捕捉图像；以及 对应于各自的多个运动模式使用系数计算部来计算预测系数，以便基于在曝光时间方面与目标像素不同的多个其它像素的值来计算捕捉的图像中的目标像素的预测值。
14.一种使计算机起到学习设备的作用的程序，所述学习设备包括 模糊图像生成部，其生成通过将与多个预置的运动模式相对应的运动模糊添加到通过图像捕捉部捕捉的图像而获得的模糊图像，所述图像捕捉部使用通过有规则地布置具有多个曝光时间的多个像素而配置的图像传感器来捕捉图像；以及 系数计算部，其对应于各自的多个运动模式计算预测系数，以便基于在曝光时间方面与目标像素不同的多个其它像素的值来计算捕捉的图像中的目标像素的预测值。
15.一种记录介质，在所述记录介质中存储了根据权利要求14所述的程序。
全文摘要
本公开涉及图像处理设备和方法、学习设备和方法、程序及记录介质。根据本公开的图像处理设备包括计算部，其基于在曝光时间方面与通过图像捕捉部捕捉的图像中的目标像素不同的多个其它像素的值和对应于各个其它像素的预测系数，计算所述目标像素的预测值，所述图像捕捉部使用通过有规则地布置具有多个曝光时间的多个像素而配置的图像传感器来捕捉图像；以及运动量识别部，其基于计算的所述目标像素的预测值和所述目标像素的值，识别每单位时间的所述目标像素的运动量。
文档编号H04N5/355GK102984460SQ201210235879
公开日2013年3月20日 申请日期2012年7月6日 优先权日2011年7月14日
发明者高桥纪晃, 永野隆浩 申请人:索尼公司