专利名称：图像处理装置、摄像装置以及图像处理方法
技术领域：
本发明涉及对通过摇摄被摄体而得到的输入图像的晃动进行校正的图像处理装置、摄像装置以及图像处理方法。
背景技术：
近些年，随着相机向多功能化发展，相机变得愈益简便。用户的需求转向了相机的功能所支持的摄影技术。摇摄是这样的摄影技术之一。摇摄是指，将透镜朝向欲在图像内的特定的位置将其像进行固定的被摄体，并在快门开放期间，配合该被摄体的运动而移动相机来进行拍摄，以使被摄体的位置不偏移。通过摇摄而得到的图像，被拍摄为背景晃动了在曝光期间相机被移动的部分而被摄体似乎是静止的。其结果，通过摇摄而得到的图像，能够表现起飞降落或低空飞行中的飞机、或者运行中的列车、汽车或摩托车等运动快速的被摄体的速度感。在用户用手移动相机来进行摇摄的情况下，多出现因大幅度的手的晃动而使被摄体的像也变得不鲜明的情况。尤其在用户不是手持摄影熟练的摄影师的情况下，摇摄是很难的摄影技术。即便是在利用独脚架或三脚架这样的器具来进行摇摄的情况下，也存在与被摄体的移动方向不同方向的晃动(纵向晃动)出现于被摄体的像的情况。以往，提出了对通过摇摄(流撮>9 )而得到的图像的晃动进行校正的方法(例如参照专利文献1)。图1是示出专利文献1所记载的以往的摄像装置的框图。图1中，摄像装置具备摄像部11、控制系统部12、原因信息保存部13、检测部14、 处理部15以及记录部16。摄像部11拍摄图像。控制系统部12驱动摄像部11。原因信息保存部13保存使图像劣化等的已知的变化原因信息(例如摄影光学系统的象差等)。检测部14由角速度传感器等构成，其检测作为图像劣化等的变化原因的变化原因信息。处理部 15处理由摄像部11拍摄的图像。记录部16记录由处理部15处理后的图像。并且，处理部15判定摄影图像是否是摇摄的摄影图像。并且，处理部15，在判定为摄影图像是摇摄的摄影图像的情况下，利用从原因信息保存部13中保存的变化原因信息中除去摇摄的方向的变化原因信息后的数据，来进行晃动的校正。并且，以往还提出了基于连拍的多个图像来生成摇摄的图像的方法(例如参照专利文献幻。图2是示出专利文献2记载的以往的摄像装置的框图。图2中，摄像装置具备摄像部21、背景获得部22、处理部23以及合成部M。摄像部21拍摄包括运动的被摄体的像的多个帧。背景获得部22计算多个帧间的图像的差分， 以便从多个帧除去运动的被摄体的像。处理部23，通过对除去被摄体的像之后的图像进行模糊处理，从而能够生成使背景模糊的图像。合成部对，通过将被摄体的像重合在模糊处理的结果中，从而生成背景模糊且被摄体鲜明的图像。专利文献1 (日本)特开2OO7-OM269号公报专利文献2 (日本)特开2006-339784号公报然而，专利文献1所示的方法不能校正摇摄的方向的晃动。因此，在作为摇摄的对象的被摄体的像具有摇摄方向的晃动的情况下，不能有效地对晃动进行校正。并且，专利文献2所示的方法，因为对不存在晃动的背景图像进行模糊处理，因此不能得到具有被摄体的移动方向上的晃动的背景图像。也就是说，专利文献2所示的方法， 不能得到表现了被摄体的速度感的摇摄图像。
发明内容
本发明用于解决上述以往的课题，目的在于提供这样一种图像处理装置、摄像装置以及图像处理方法对通过摇摄被摄体而得到的图像的晃动进行校正，从而能够生成被摄体的像的晃动被抑制且表现出被摄体的速度感的图像。为了解决以往的课题，本发明的一个实施例所涉及的图像处理装置，对通过摇摄被摄体而得到的输入图像的晃动进行校正，该图像处理装置具备晃动推定部，针对所述输入图像内的多个区域的每一个区域，推定晃动的方向以及晃动的大小；分簇部，基于被推定出的所述晃动的方向以及所述晃动的大小中的至少一方的相似性，对所述多个区域进行分簇(clusting)；被摄体区域确定部，从通过进行所述分簇而得到的多个簇中，确定与所述被摄体对应的至少一个簇；以及晃动校正部，基于被推定出的所述晃动的方向以及所述晃动的大小，对属于被确定的所述簇的区域的晃动进行校正。根据此构成，能够基于晃动的相似性，对输入图像内的多个区域进行分簇。在对运动的被摄体进行摇摄的情况下，被摄体的像与背景的像具有不同的晃动。因此，基于晃动的相似性，通过对输入图像内的多个区域进行分簇，从而能够划分为与被摄体对应的簇(区域的集合)以及与背景对应的簇。因此，通过基于属于该簇的区域来推定的晃动的方向以及晃动的大小，对属于与被摄体对应的簇的区域的晃动进行校正，从而能够生成被摄体的像的晃动被抑制且被摄体的速度感被表现出的图像。并且，最好是，所述晃动推定部，通过针对所述输入图像内的多个区域的每一个区域推定点扩散函数(PSF :Point Spread Function)，从而推定所述晃动的方向以及所述晃动的大小。根据此构成，通过针对输入图像内的多个区域的每一个区域推定PSF，从而能够高精确度地推定晃动的方向以及晃动的大小。并且，最好是，所述晃动推定部具有点扩散函数大小决定部，将点扩散函数的大小决定为，所述点扩散函数的大小按照所述输入图像的特征以及所述输入图像被拍摄时的摄影条件的至少一方而适应性地变化；以及点扩散函数推定部，针对所述输入图像内的多个区域的每一个区域，推定所决定的大小的点扩散函数。根据此构成，能够按照摄影条件或者输入图像的特征来使PSF的大小适应性地变化。最好是，为了得到与被摄体的像的形状一致的簇，使各区域的大小小。各区域的大小须在PSF的大小以上。因此，最好是，PSF的大小越小越好。但是，在PSF的大小比晃动的大小还小的情况下，PSF就不能恰当地表现晃动。并且，因为区域内的图像的特征而存在如果不使PSF的大小变大则不能恰当地推定PSF的情况。因此，通过按照摄影条件或输入图像的特征来使PSF的大小适应性地变化，从而能够推定恰当的大小的PSF。并且，最好是，所述点扩散函数大小决定部，将所述点扩散函数的大小决定为，所述被摄体的像的轮廓形状越复杂则所述点扩散函数的大小越小。
根据此构成，能够基于被摄体的像的轮廓形状的复杂度来决定PSF的大小。在被摄体的像的轮廓形状不复杂的情况下，区域内的特征少，难以高精确度地推定大小小的 PSF0因此，通过将PSF的大小决定为，被摄体的像的轮廓形状越复杂则PSF的大小越小，从而能够高精确度地推定PSF。并且，最好是，所述点扩散函数大小决定部，将所述点扩散函数的大小决定为，所述输入图像被拍摄时的曝光时间越长则所述点扩散函数的大小越大。根据此构成，能够将PSF的大小决定为，曝光时间越长则PSF的大小越大。存在曝光时间越长则晃动的大小越大的倾向。因此，通过使曝光时间越长则PSF的大小越大，从而能够使PSF的大小比晃动的大小还小的可能性减低。并且，最好是，所述分簇部，对所述多个区域进行分簇而使两个区域的点扩散函数间的L2范数或者Ll范数越小则该两个区域就越属于同一个簇。根据此构成，能够基于PSF间的L2范数或Ll范数来正确地对多个区域进行分簇。并且，最好是，所述分簇部，对所述多个区域进行分簇而使表示两个区域的晃动的方向以及晃动的大小的矢量的差分越小则该两个区域就越属于同一个簇。根据此构成，能够基于表示晃动的矢量的差分来正确地对多个区域进行分簇。并且，最好是，所述被摄体区域确定部，将位于距所述输入图像的中央的距离在阈值以内的位置的簇，作为与所述被摄体对应的簇来确定。根据此构成，能够利用主要的被摄体多被摄在图像的中心这一特征，自动地容易地确定与被摄体对应的簇。 并且，最好是，所述被摄体区域确定部，基于输入信息来确定与所述被摄体对应的簇，所述输入信息是从用户接受的输入信息且该输入信息示出所述输入图像内的所述被摄体的像的位置。根据此构成，能够基于来自用户的输入信息来正确地确定与被摄体对应的簇。并且，最好是，所述被摄体区域确定部，将晃动的大小比阈值小的簇，作为与所述被摄体对应的簇来确定。根据此构成，能够利用背景的像具有的晃动比被摄体的像具有的晃动多这一特征，来自动地正确地确定与被摄体对应的簇。并且，最好是，所述晃动校正部，按照属于被确定的所述簇的每一个区域，利用该区域的被推定的所述晃动的方向及所述晃动的大小，对该区域的晃动进行校正。根据此构成，能够按照每一个区域对晃动进行校正，能够更加高精确度地对晃动进行校正。并且，最好是，所述晃动校正部，利用按照属于被确定的所述簇的每一个区域被推定的所述晃动的方向及所述晃动的大小的平均，对属于被确定的所述簇的区域的晃动进行校正。根据此构成，能够统一对属于簇的区域的晃动进行校正，能够减低计算负荷。并且，最好是，所述晃动校正部，进一步，利用属于与所述被摄体对应的簇的区域的被推定的所述晃动的方向以及所述晃动的大小，对属于与所述被摄体对应的簇之外的簇的区域的晃动进行加工。根据此构成，能够对晃动进行校正，以使属于与被摄体对应的簇之外的簇(即，与背景对应的簇)的区域的图像在被摄体的晃动方向晃动。因此，能够生成更加强调了被摄体的速度感的图像。并且，也可以是，所述图像处理装置作为集成电路来构成。并且，本发明的一个实施例所涉及的摄像装置具备上述图像处理装置；以及摄像部，生成所述输入图像。根据此构成，能够得到与上述图像处理装置同样的效果。另外，本发明不仅能够作为这样的图像处理装置来实现，还能够作为以这样的图像处理装置所具备的具有特征的构成要素的工作作为步骤的图像处理方法来实现。并且， 本发明也能够作为使计算机执行图像处理方法所包括的各步骤的程序来实现。并且，不言而喻，能够使这样的程序通过CD-ROM (Compact Disc Read Only Memory :只读存储光盘)等非暂时性的记录介质或互联网等传输介质来分发。根据本发明，能够对通过摇摄被摄体而得到的图像的晃动进行校正，从而生成被摄体的像的晃动被抑制且表现出了被摄体的速度感的图像。
图1是用于说明以往的晃动校正处理的一个例子的图。图2是用于说明以往的晃动校正处理的另外一个例子的图。图3A是本发明的实施例的摄像装置的外观图。图;3B是示出本发明的实施例的摄像装置的功能构成的框图。图4是用于说明PSF的图。图5是示出本发明的实施例的PSF推定部的功能构成的框图。图6是用于说明本发明的实施例的图像处理装置的工作的图。
具体实施例方式以下，参照附图来说明本发明的实施例。图3A是本发明的实施例的摄像装置30的外观图。图:3B是示出本发明的实施例的摄像装置30的功能构成的框图。图;3B中，摄像装置30具备摄像部31和图像处理装置36。摄像部31生成图像。 具体而言，摄像部31具备未图示的光学系统以及摄像元件等，将经由光学系统入射的光通过摄像元件转换为电信号，从而生成图像。本实施例中，摄像部31例如由用户来移动以追踪被摄体。其结果，摄像部31生成通过摇摄被摄体而得到的输入图像。这样生成的输入图像中，背景的像具有摄像部31被移动的方向的晃动，而被摄体的像具有摄像部31的移动和被摄体的移动被相加后的晃动。在此，晃动意味着出现于图像中的模糊(blur)中的、因被摄体或摄像装置的移动而产生的模糊(motion blur 运动模糊)。图像处理装置36对通过摇摄被摄体而得到的输入图像的晃动进行校正。对晃动进行校正是指使晃动减低的图像处理。如图3B所示，图像处理装置36具备晃动推定部32、 分簇部33、被摄体区域确定部34以及晃动校正部35。
晃动推定部32，针对输入图像内的多个区域的每一个区域，推定晃动的方向以及晃动的大小。在本实施例中，晃动推定部32，通过按照输入图像内的每个区域来推定该区域的PSF(Point Spread Function 点扩散函数)，从而推定晃动的方向以及晃动的大小。一般而言，如图4所示，PSF作为运动的轨迹来被表现，被作为在白色部分具有值的图像来被表现。也就是说，PSF表示晃动的方向以及晃动的大小。在图4中，PSF41表示横向的晃动，PSF42表示斜向的晃动，PSF43表示圆状的晃动。图5是示出本发明的实施例的晃动推定部32的详细的功能构成的框图。如图5 所示，晃动推定部32具备图像输入部51、PSF大小决定部52以及PSF推定部53。图像输入部51从摄像部31取得输入图像。并且，图像输入部51设定输入图像内的多个区域。本实施例中，图像输入部51，通过将输入图像分割为互不重复的多个矩形区域，从而设定多个区域。所有的区域的区域的大小相同，与后述的PSF的大小(例如20X20 像素)相同。另外，多个区域并非一定是互不重复的区域，也可以是与其他区域重复一部分的区域。例如，图像输入部51，通过按照每一个像素对输入图像进行光栅扫描，从而设定多个区域。PSF大小决定部52决定PSF的大小。一般而言，PSF的大小是20X20像素这样的程度，就被认为是能够充分地表现晃动的大小。因此，本实施例中，PSF大小决定部52，将能够表现一般的晃动的预先规定的大小且与区域的大小相同的大小(例如20X20像素)，作为PSF的大小来决定。另外，PSF的形状，并非一定要是正方形，但最好是矩形。PSF推定部53按每个区域推定被决定的大小的PSF。该PSF的推定方法有各种各样的方法。但是，图像内的各区域的PSF不能利用陀螺仪传感器等传感信息来推定。因此， 本实施例中，PSF推定部53通过图像处理来推定各区域的PSF。也就是说，PSF推定部53， 按照每个区域，利用构成该区域的像素的像素值来推定PSF。具体而言，例如，PSF推定部53利用非专利文献1( “High-Quality Motion Deblurring From a Single Image，，, Siggraph2008, Qi, Shen etc,)中记载的方法，来推定各区域的PSF。据此，PSF推定部53能够基于一个输入图像来推定各区域的晃动的方向以及晃动的大小。因此，不必为了推定晃动的方向以及晃动的大小而连拍多个图像，因此能够减轻处理负荷且能够使摄像部31的构成简易。接着，说明分簇部33。分簇部33，基于被推定的晃动的方向以及晃动的大小中的至少一方的相似性，来对多个区域进行分簇。也就是说，分簇部33对多个区域进行分簇使晃动的方向以及晃动的大小中的至少一方相似的互相相邻的区域属于同一个簇。在此，进行分簇是指将数据的集合划分为特征互相相似的数据的子集。这样的子集称为簇。也就是说，通过进行分簇而得到的多个簇的每一个簇中，包括特征互相相似的数据。本实施例中，分簇部33，基于PSF的相似性，对多个区域进行分簇。PSF是以如图5 所示的直线或曲线表示的函数，可视作图像。因此，分簇部33，如以下的(式1)，对多个区域进行分簇而使两个区域的PSF间的L2范数(norm)越小则该两个区域越属于同一个簇。[算式1]
权利要求
1.一种图像处理装置，对通过摇摄被摄体而得到的输入图像的晃动进行校正，该图像处理装置具备晃动推定部，针对所述输入图像内的多个区域的每一个区域，推定晃动的方向以及晃动的大小；分簇部，基于被推定出的所述晃动的方向以及所述晃动的大小中的至少一方的相似性，对所述多个区域进行分簇；被摄体区域确定部，从通过进行所述分簇而得到的多个簇中，确定与所述被摄体对应的至少一个簇；以及晃动校正部，基于被推定出的所述晃动的方向以及所述晃动的大小，对属于被确定的所述簇的区域的晃动进行校正。
2.如权利要求1所述的图像处理装置，所述晃动推定部，通过针对所述输入图像内的多个区域的每一个区域推定点扩散函数，从而推定所述晃动的方向以及所述晃动的大小。
3.如权利要求2所述的图像处理装置，所述晃动推定部具有点扩散函数大小决定部，将点扩散函数的大小决定为，所述点扩散函数的大小按照所述输入图像的特征以及所述输入图像被拍摄时的摄影条件的至少一方而适应性地变化；以及点扩散函数推定部，针对所述输入图像内的多个区域的每一个区域，推定所决定的大小的点扩散函数。
4.如权利要求3所述的图像处理装置，所述点扩散函数大小决定部，将所述点扩散函数的大小决定为，所述被摄体的像的轮廓形状越复杂则所述点扩散函数的大小越小。
5.如权利要求3所述的图像处理装置，所述点扩散函数大小决定部，将所述点扩散函数的大小决定为，所述输入图像被拍摄时的曝光时间越长则所述点扩散函数的大小越大。
6.如权利要求2至5中的任一项所述的图像处理装置，所述分簇部，对所述多个区域进行分簇而使两个区域的点扩散函数间的L2范数或者 Ll范数越小则该两个区域就越属于同一个簇。
7.如权利要求1至6中的任一项所述的图像处理装置，所述分簇部，对所述多个区域进行分簇而使表示两个区域的晃动的方向以及晃动的大小的矢量的差分越小则该两个区域就越属于同一个簇。
8.如权利要求1至7中的任一项所述的图像处理装置，所述被摄体区域确定部，将位于距所述输入图像的中央的距离在阈值以内的位置的簇，作为与所述被摄体对应的簇来确定。
9.如权利要求1至8中的任一项所述的图像处理装置，所述被摄体区域确定部，基于输入信息来确定与所述被摄体对应的簇，所述输入信息是从用户接受的输入信息且该输入信息示出所述输入图像内的所述被摄体的像的位置。
10.如权利要求1至9的任一项所述的图像处理装置，所述被摄体区域确定部，将晃动的大小比阈值小的簇，作为与所述被摄体对应的簇来确定。
11.如权利要求1至10中的任一项所述的图像处理装置，所述晃动校正部，按照属于被确定的所述簇的每一个区域，利用该区域的被推定的所述晃动的方向及所述晃动的大小，对该区域的晃动进行校正。
12.如权利要求1至11中的任一项所述的图像处理装置，所述晃动校正部，利用按照属于被确定的所述簇的每一个区域被推定的所述晃动的方向及所述晃动的大小的平均，对属于被确定的所述簇的区域的晃动进行校正。
13.如权利要求1至12中的任一项所述的图像处理装置，所述晃动校正部，进一步，利用属于与所述被摄体对应的簇的区域的被推定的所述晃动的方向以及所述晃动的大小，对属于与所述被摄体对应的簇之外的簇的区域的晃动进行加工。
14.如权利要求1至13中的任一项所述的图像处理装置， 所述图像处理装置作为集成电路来构成。
15.一种摄像装置，该摄像装置具备权利要求1至14中的任一项所述的图像处理装置；以及摄像部，生成所述输入图像。
16.一种图像处理方法，对通过摇摄被摄体而得到的输入图像的晃动进行校正，该图像处理方法包括晃动推定步骤，针对所述输入图像内的多个区域的每一个区域，推定晃动的方向以及晃动的大小；分簇步骤，基于被推定出的所述晃动的方向以及所述晃动的大小中的至少一方的相似性，对所述多个区域进行分簇；被摄体区域确定步骤，从通过进行所述分簇而得到的多个簇中，确定与所述被摄体对应的至少一个簇；以及晃动校正步骤，基于被推定出的所述晃动的方向以及所述晃动的大小，对属于被确定的所述簇的区域的晃动进行校正。
17.一种程序，该程序用于使计算机执行权利要求16所述的图像处理方法。
全文摘要
一种图像处理装置(36)，对通过摇摄被摄体而得到的输入图像的晃动进行校正，该图像处理装置(36)具备晃动推定部(32)，针对所述输入图像内的多个区域的每一个区域，推定晃动的方向以及晃动的大小；分簇部(33)，基于被推定出的晃动的方向以及晃动的大小中的至少一方的相似性，对多个区域进行分簇；被摄体区域确定部(34)，从通过进行分簇而得到的多个簇中，确定与被摄体对应的至少一个簇；以及晃动校正部(35)，基于被推定出的晃动的方向以及晃动的大小，对属于被确定的簇的区域的晃动进行校正。
文档编号H04N5/232GK102318334SQ20108000809
公开日2012年1月11日 申请日期2010年12月13日 优先权日2009年12月22日
发明者物部祐亮, 石井育规 申请人:松下电器产业株式会社