专利名称：摄像装置以及摄像方法、和用于所述摄像装置的图像处理方法
技术领域：
本发明涉及用于去除振铃(ringing)的图像处理装置以及图像处理方法。
背景技术：
若用数码照相机来拍摄图像，则由于CCD (Charge-Coupled Device)或CMOS的读出电路的特性或传输路径的特性，会在图像中加入噪声。另外，在进行拍摄时，还会发生由于偏离焦点(离焦0Ut-0f-f0CUS)而引起的图像的模糊(blur)、由于手抖(camera shake) 等而引起图像的模糊。如此，在拍摄图像中，由于在拍摄图像固有的特性引起的噪声中加入了摄影时的人为操作引起的模糊，因此会导致图像的劣化。将这些“模糊”中的由于摄影 (曝光)中的照相机的移动造成的图像的模糊称为“抖动(motionblur)”，将其和由离焦而引起的模糊(out-of-focus blur)区别开来。近年来，特别是由于高灵敏度摄影的需要增大，需要将由于模糊而导致劣化的图像(下面称为“劣化图像”)复原成尽可能与原始的图像(下面称为“理想图像”)接近的图像。为了实现高灵敏度摄影所要求的、明亮且没有噪声或模糊的图像，大致上有提高灵敏度的思路和延长曝光时间的思路。但是，若提高灵敏度，则噪声也会被放大，为此，信号被埋没在噪声中，很多情况下会成为噪声占大半的图像。另一方面，通过延长曝光时间，较多地积蓄了摄影时的光，能获得噪声较少的图像。这种情况下，虽然信号不会被埋没在噪声中，但存在由于手抖而在图像中产生抖动的问题。因此，过去，在2种思路下采用使曝光时间较长的情况的应对法。一种是镜头移位或传感器移位的所谓的光学式手抖补正。另一种是从获得的图像中求取抖动的方向/大小，并据此通过信号处理来复原图像的方法(基于信号处理的复原方法)。例如在专利文献 1、专利文献2、非专利文献1 5等公开了基于信号处理的复原方法。现有技术文献专利文献专利文献1 JP特开2006-U9236号公报专利文献2 JP特表2009-522825号公报非专利文献非专利文献 1 :Qi Shan, Jiaya Jia, and Aseem Agarwala, "High-qualityMotion Deblurring from a Single Image", SIGGRAPH 2008非专利文献2 米司·田中·奥富共著，「直線的手名扎画像復元O tz^^) psf “ ，乂一夕估计手法」，情報処理学会研究報告，第2005卷，第38号，p. 47-52，2005年(米司、 田中、奥富共通著作“用于直线的手抖图像复原的psf参数估计方法”，信息处理学会研究报告，第2005卷，第38号，第47 52页，2005年):J. Bioucas-Dias,Bayesian wavelet-based imagedeconvolution a gem algorithm exploiting a class of heavy-tailed priors“ ，IEEETrans. Image Proc.，vol. 4，pp.937-951，April 2006:Levin, " Blind Motion Deblurring Using Image Statistics"， Advances in Neural Information Processing Systems(NIPS), Dec 2006非专利文献 5 :Rob Fergus et al. , " Removing camera shake from a singleimage" , Barun Singh Aaron Hertzmann" , SIGGRAPH 200
发明内容
发明要解决的课题光学式手抖补正在补正范围上存在极限，在比过去暗的环境中聚集了足够的光量的情况下，必需使运转范围变大。但是，运转范围变大则会产生移动时的时间延迟，另外，在大型化中也有尺寸的物理极限。另外，在通过信号处理而将劣化图像复原为理想图像的方法中，存在会在复原后的图像中存在振铃等的噪声的问题。“振铃(ringing)”是指在图像中使亮度等相同一样的部分(平坦部)看不到平坦的噪声。图1(a)是表示亮度阶梯状变化的图像(边缘附近的理想图像)的平面图，图1(b) 是示意性地表示其亮度分布的曲线图。图2(a)是表示通过用照相机对图1(a)的图像进行拍摄而得到劣化图像(模糊图像blurred image)平面图，图2(b)是示意性地表示其亮度分布的曲线图。在此设在进行照相机拍摄时，在水平横方向上产生了手抖的情况。图2(a) 的劣化图像由于手抖而产生了模糊(抖动)而会失去边缘的锐利。图3(a)是表示通过信号处理来复原图2(a)的劣化图像后的图像的平面图，图3(b)是示意性地表示复原图像的亮度分布的曲线图。在图3(a)的复原图像中，存在着亮度周期性地变化的部分。这样的亮度变化是被称为“振铃”的噪声。在专利文献1所示的方法中，为了抑制在边缘附近产生的振铃，在边缘附近不利用复原的结果，而利用模糊图像的数据。在该方法中，根据画面内边缘的强度，来决定利用模糊图像的数据的权重。但是，必须决定了手抖的量才能决定边缘的强度。必须决定了边缘的强度，才能决定利用模糊图像的数据的权重。因此，存在不能去除振铃的问题。本发明为了解决上述课题而提出，考虑了人的知觉特性，提高一种摄像装置，进行降低特性的平坦部中的振铃的图像处理。解决课题的手段本发明的摄像装置具备第1摄像元件以及第2摄像元件；光学系统，其形成焦点在所述第1摄像元件的摄像面上的第1像，且形成焦点不在所述第2摄像元件的摄像面上的第2像；和图像处理部，其对从所述第1摄像元件以及所述第2摄像元件所获得的信号进行处理，所述图像处理部生成从由所述第1摄像元件以及第2摄像元件所取得的图像中减少了由手抖而引起的模糊以及由离焦而引起的模糊的复原图像。在优选的实施方式中，所述摄像装置具备存储器，其记录用于规定所述第2摄像元件中的由离焦而引起的模糊的点扩散函数，所述图像处理部从所述存储器中读出用于规定拍摄时的由离焦而引起的模糊的点扩散函数，将其用于复原图像的生成。在优选的实施方式中，所述光学系统具有成像透镜；和分光器，其将透过所述成像透镜的光分离成2个方向，被分离的一方的光入射到所述第1摄像元件，且被分离的另一方的光入射到所述第2摄像元件。在优选的实施方式中，从所述成像透镜到所述第1摄像元件的光学距离与从所述成像透镜到所述第2摄像元件的光学距离不同。在优选的实施方式中，所述光学系统具有分光器，其将入射光分离成2个方向； 第1成像透镜，其将分离的一方的光聚集到所述第1摄像元件上；和第2成像透镜，其将分离的另一方的光聚集到所述第2摄像元件上。在优选的实施方式中，所述摄像装置还具备显示部，在所述显示部上显示由所述第1摄像元件所取得的图像。本发明的程序控制摄像装置的动作，所述摄像装置具备第1摄像元件以及第2摄像元件；光学系统，其形成焦点在所述第1摄像元件的摄像面上的第1像，且形成焦点不在所述第2摄像元件的摄像面上的第2像；和图像处理部，其对从所述第1摄像元件以及所述第2摄像元件所获得的信号进行处理；所述程序执行如下步骤通过所述光学系统，形成焦点在所述第1摄像元件的摄像面上的第1像，且形成焦点不在所述第2摄像元件的摄像面上的第2像的步骤；和通过所述图像处理部，生成从由所述第1摄像元件以及所述第2摄像元件所取得的图像中减少了由手抖而引起的模糊以及由离焦而引起的模糊的复原图像。本发明的图像处理方法是摄像装置中的图像处理方法，所述摄像装置具备第1 摄像元件以及第2摄像元件；光学系统，其形成焦点在所述第1摄像元件的摄像面上的第1 像，且形成焦点不在所述第2摄像元件的摄像面上的第2像；和图像处理部，其对从所述第 1摄像元件以及所述第2摄像元件所获得的信号进行处理；所述图像处理方法包括如下步骤通过所述光学系统，形成焦点在所述第1摄像元件的摄像面上的第1像，且形成焦点不在所述第2摄像元件的摄像面上的第2像；和通过所述图像处理部，生成从由所述第1摄像元件以及所述第2摄像元件所取得的图像中减少了由手抖而引起的模糊以及由离焦而引起的模糊的复原图像。本发明的另外的图像处理方法是摄像装置中的图像处理方法，所述摄像装置具备第1摄像元件以及第2摄像元件；光学系统，其形成焦点在所述第1摄像元件的摄像面上的第1像，且形成焦点不在所述第2摄像元件的摄像面上的第2像；和图像处理部，其对从所述第1摄像元件以及所述第2摄像元件所获得的信号进行处理；所述图像处理方法执行如下步骤通过所述光学系统，形成焦点不在所述第1摄像元件的摄像面上的第1像，且也形成焦点不在所述第2摄像元件的摄像面上的第2像；和通过所述图像处理部，生成从由所述第1摄像元件以及所述第2摄像元件所取得的图像中减少了由手抖而引起的模糊以及由离焦而引起的模糊的复原图像。发明的效果根据本发明，能降低特别是图像的平坦部分的振铃。
图1 (a)是表示亮度呈阶梯状变化的图像(边缘附近的理想图像)的平面图；(b) 是示意性地表示其亮度分布的曲线图。图2 (a)是表示通过用照相机对图1 (a)的图像进行拍摄而得到的劣化图像(模糊图像blurred image)的平面图；(b)是示意性地表示其亮度分布的曲线图。图3(a)是表示通过信号处理来复原图2(a)的劣化图像后的图像的平面图；(b) 是示意性地表示复原图像的亮度分布的曲线图。图4(a)是示意性地表示特定的像素具有不是零的亮度，其它的像素具有零的亮度的图像(点像)的图；(b)是表示由离焦而引起模糊的点扩散函数PSF的图；(c)是表示对(a)的图像进行由离焦而引起的模糊的点扩散函数PSF卷积而获得的图像的图。图5 (a)是表示通过成像透镜而焦点对准的情况下的光线图；(b)是焦点偏离的情况下的光线图。图6是表示摄像部100的构成的图。图7(a) (c)分别是表示摄像部1000的构成的具体例的图。图8是表示本实施方式中的摄像装置的概略构成的框图。图9(a)是表示背景为黑色、在中心具有小的亮点的图案的图，(b)是表示在摄像元件IOA的摄像面上对准焦点时的像的图，(c)是表示在摄像元件IOB的摄像面上偏离焦点时的像的图。图10是表示图8所示的图像处理部220的构成例的框图。图11是表示在本发明的上述方式执行的复原处理的例子的流程图。
具体实施例方式在说明本发明的实施方式之前，先说明本发明的基本的原理。在本说明书中，用i(x，y)来表示形成于摄像面的图像的亮度分布。坐标(X，y) 是表示摄像面的像素(光感知单元)的位置的二维坐标。在图像例如是由排列成矩阵状的 MXN个的像素构成的情况下，若设χ以及y分别为满足0彡χ彡M-1、0彡y彡N-I的关系的整数，则能用坐标(x，y)来特定构成图像的各个像素的位置。在此，将坐标的原点(0，0) 置于图像的左上角，设χ轴在垂直方向上延伸，y轴在水平方向上延伸。其中，取坐标的方式是任意的。设没有模糊(blur)的图像(理想图像或原始图像)的亮度分布为s (X，y)，设规定了模糊的PSF即“点扩散函数(Point Spread Function”为f (x，y)，则下述式1成立。[数1]i(x, y) = s (χ, y)*f (χ, y)(式 1)在此，记号“*”表示卷积运算(convolution)。一般用下面的式2来表示式1。[数2]
权利要求
1.一种摄像装置，具备第1摄像元件以及第2摄像元件；光学系统，其形成焦点在所述第1摄像元件的摄像面上的第1像，且形成焦点不在所述第2摄像元件的摄像面上的第2像；和图像处理部，其对从所述第1摄像元件以及所述第2摄像元件所获得的信号进行处理， 所述图像处理部生成从由所述第1摄像元件以及第2摄像元件所取得的图像中减少了由手抖而引起的模糊以及由离焦而引起的模糊的复原图像。
2.根据权利要求1所述的摄像装置，其中，所述摄像装置具备存储器，其记录用于规定所述第2摄像元件中的由离焦而引起的模糊的点扩散函数，所述图像处理部从所述存储器中读出用于规定拍摄时的由离焦而引起的模糊的点扩散函数，将其用于复原图像的生成。
3.根据权利要求1或2所述的摄像装置，其中， 所述光学系统具有成像透镜；和分光器，其将透过所述成像透镜的光分离成2个方向，被分离的一方的光入射到所述第1摄像元件，且被分离的另一方的光入射到所述第2 摄像元件。
4.根据权利要求3所述的摄像装置，其中，从所述成像透镜到所述第1摄像元件的光学距离与从所述成像透镜到所述第2摄像元件的光学距离不同。
5.根据权利要求1或2所述的摄像装置，其中， 所述光学系统具有分光器，其将入射光分离成2个方向；第1成像透镜，其将分离的一方的光聚集到所述第1摄像元件上；和第2成像透镜，其将分离的另一方的光聚集到所述第2摄像元件上。
6.根据权利要求1 4中任一项所述的摄像装置，其中， 所述摄像装置还具备显示部，在所述显示部上显示由所述第1摄像元件所取得的图像。
7.一种程序，控制摄像装置的动作， 所述摄像装置具备第1摄像元件以及第2摄像元件；光学系统，其形成焦点在所述第1摄像元件的摄像面上的第1像，且形成焦点不在所述第2摄像元件的摄像面上的第2像；和图像处理部，其对从所述第1摄像元件以及所述第2摄像元件所获得的信号进行处理；所述程序执行如下步骤通过所述光学系统，形成焦点在所述第1摄像元件的摄像面上的第1像，且形成焦点不在所述第2摄像元件的摄像面上的第2像；和通过所述图像处理部，生成从由所述第1摄像元件以及所述第2摄像元件所取得的图像中减少了由手抖而引起的模糊以及由离焦而引起的模糊的复原图像。
8.一种图像处理方法，是摄像装置中的图像处理方法， 所述摄像装置具备第1摄像元件以及第2摄像元件；光学系统，其形成焦点在所述第1摄像元件的摄像面上的第1像，且形成焦点不在所述第2摄像元件的摄像面上的第2像；和图像处理部，其对从所述第1摄像元件以及所述第2摄像元件所获得的信号进行处理， 所述图像处理方法包括如下步骤通过所述光学系统，形成焦点在所述第1摄像元件的摄像面上的第1像，且形成焦点不在所述第2摄像元件的摄像面上的第2像；和通过所述图像处理部，生成从由所述第1摄像元件以及所述第2摄像元件所取得的图像中减少了由手抖而引起的模糊以及由离焦而引起的模糊的复原图像。
9.一种图像处理方法，是摄像装置中的图像处理方法， 所述摄像装置具备第1摄像元件以及第2摄像元件；光学系统，其形成焦点在所述第1摄像元件的摄像面上的第1像，且形成焦点不在所述第2摄像元件的摄像面上的第2像；和图像处理部，其对从所述第1摄像元件以及所述第2摄像元件所获得的信号进行处理；所述图像处理方法包括如下步骤通过所述光学系统，形成焦点不在所述第1摄像元件的摄像面上的第1像，且形成焦点不在所述第2摄像元件的摄像面上的第2像；和通过所述图像处理部，生成从由所述第1摄像元件以及所述第2摄像元件所取得的图像中减少了由手抖而引起的模糊以及由离焦而引起的模糊的复原图像。
全文摘要
本发明的摄像装置具备第1摄像元件(10A)以及第2摄像元件(10B)；和光学系统，其形成焦点在第1摄像元件(10A)的摄像面上的第1像，且形成焦点不在第2摄像元件(10B)的摄像面上的第2像。图像处理部(220)对从第1摄像元件(10A)以及第2摄像元件(10B)所获得的信号进行处理，生成从由第2摄像元件(10B)所获得的图像中减少了由手抖引起的模糊以及由离焦而引起的模糊的复原图像。
文档编号H04N101/00GK102369722SQ201180001619
公开日2012年3月7日 申请日期2011年1月25日 优先权日2010年2月12日
发明者物部祐亮, 石井育规 申请人:松下电器产业株式会社