摄像装置、图像取得方法、图像取得程序以及存储介质与流程

本发明涉及摄像装置、图像取得方法以及图像取得程序以及存储介质。

背景技术：

公知有如下的摄像装置：通过使对被摄体进行摄像的摄像元件的一部分像素(以下，称为相位差像素。)的光学特性与其他的摄像像素不同以用于焦点检测，而不需要用于焦点检测的2次光学系统(例如，参照专利文献1。)。

相位差像素与通常的摄像像素开口等不同，由于取得与摄像像素不同的像素值，因此，失去了与周边的像素值的连续性，当继续进行通常的图像化处理时，会发现存在伤痕。作为解决该问题的方法，公知有通过使用了周边的摄像像素的像素值的插值对与相位差像素的位置相当的像素值进行校正的方法。

此外，公知有将使摄像元件偏移地进行拍摄而得的多张低分辨率的拜耳排列图像配置于高分辨率区域上，来取得更高分辨率的图像的技术(以下，称为像素偏移超分辨率重构。)(例如，参照专利文献2。)。

现有技术文献

专利文献

专利文献1：日本特许第5371331号公报

专利文献2：日本特开2015-076796号公报

技术实现要素：

发明要解决的课题

当通过能够进行基于相位差像素的像面焦点检测的装置执行像素偏移超分辨率重构时，不容易将相位差像素变更为通常的摄像像素，不得不利用通过插值进行校正而得的像素值。但是，在像素值的空间的变动剧烈的被摄体区域中，如果是摄像像素，则对于得到的像素值，大多数情况下具有误差，有时通过像素偏移超分辨率重构得到的高分辨率图像的分辨率劣化。此外，在像素偏移超分辨率重构中，有时会产生由于多张低分辨率图像的拍摄时间不同而产生的像素值变动所导致的伪像。

本发明是鉴于上述情况而完成的，其目的在于提供能够对相位差像素的插值误差导致的分辨率劣化以及低分辨率图像间的像素值变动导致的伪像的双方进行校正的摄像装置、图像取得方法、图像取得程序以及存储介质。

用于解决课题的手段

本发明的一个方式是摄像装置，其中，该摄像装置具有：摄像元件，其具有通常摄像像素和相位差检测像素，该通常摄像像素周期性地具有包含多个颜色的滤色器，该相位差检测像素用于焦点检测；移位部，其使该摄像元件以小数像素单位的移位量向规定的移位方向移位；相位差像素校正部，其通过插值将利用所述相位差检测像素取得的像素值校正为与通常摄像像素相当；像素存储部，其将该相位差像素校正部进行校正后的所述摄像元件的各所述像素的像素值配置于与所述移位部的移位方向和移位量对应的存储区域来存储；以及高分辨率图像合成部，其通过对存储于该像素存储部的多个像素的像素值进行合成来生成分辨率比所述摄像元件的分辨率高的高分辨率图像，所述移位部使所述摄像元件移位，以使得对于设置于所述通常摄像像素的至少1种滤色器的特定颜色，在所述高分辨率图像中的与所述相位差检测像素相同的像素位置处，存在与所述特定颜色对应的包含至少1个所述通常摄像像素的像素值在内的多个像素值，所述高分辨率图像合成部以规定的合成比率将与所述特定颜色对应的多个像素值合成。

根据本方式，通过移位部使具有通常摄像像素和相位差检测像素的摄像元件移位而反复摄像，在通过相位差像素校正部将利用相位差像素而取得的像素值校正为与通常摄像像素相当之后，通过像素存储部将其配置于与移位部的移位方向和移位量对应的存储区域来存储，通过高分辨率图像合成部将存储于存储区域的多个像素的像素值合成，由此，生成分辨率比摄像元件的分辨率高的高分辨率图像。

在该情况下，移位部使摄像元件移位，以使得与特定颜色对应的包含通常摄像像素的像素值在内的多个像素值存在于高分辨率图像中的与相位差检测像素相同的像素位置，高分辨率图像合成部以规定的合成比率将与特定颜色对应的多个像素值合成，因此，在高分辨率图像的合成中，能够不使用相位差检测像素的像素值而使用通常摄像像素的像素值来合成高分辨率图像，能够防止分辨率的劣化。此外，通过将未在同一时刻取得的多个像素的像素值合成，能够降低照明等的变动导致的像素值差的产生，抑制伪像的产生。

在上述方式中，可以是，所述高分辨率图像合成部在所述高分辨率图像中的至少与相位差检测像素对应的位置，根据该位置的对比度对所述合成比率进行控制。

在对比度大的区域，相位差检测像素的插值导致的校正误差容易变大，照明等的变动导致的像素值差不容易明显。此外，在对比度小的区域，相位差检测像素的插值导致的校正误差小，照明等的变动导致的像素值差容易明显。因此，通过根据对比度来控制合成比率，能够抑制由校正的误差和照明等的变动而导致的像素值差的影响。

在上述方式中，可以是，该摄像装置具有运动物体检测部，该运动物体检测部根据在相同颜色中存在多个像素值的像素的像素值来检测其位置的运动物体程度，所述高分辨率图像合成部根据其位置的运动物体程度来对所述合成比率进行控制。

这样，在存在运动物体的区域，由于根据摄像时刻与配置的关系，运动物体的像素值与背景的像素值在空间方向上不连续地配置，因此，通过根据运动物体程度控制多个像素值的合成比率，能够使图像的混乱平均而降低混乱情况。

此外，在上述方式中，可以是，所述运动物体检测部不将所述相位差检测像素的校正后的像素值用于所述运动物体程度的检测。

这样，由于在相位差检测像素的位置，运动物体检测的精度下降，因此，通过不使用该像素值，能够高精度地进行运动物体程度的检测。

此外，本发明的其他的方式是图像取得方法，其中，该图像取得方法包含如下步骤：移位步骤，使摄像元件以小数像素单位的移位量向规定的移位方向移位，该摄像元件具有通常摄像像素和相位差检测像素，该通常摄像像素周期性地具有包含多个颜色的滤色器，该相位差检测像素用于焦点检测；相位差像素校正步骤，通过插值将利用所述相位差检测像素取得的像素值校正为与通常摄像像素相当；像素存储步骤，将在该相位差像素校正步骤中进行校正后的所述摄像元件的各所述像素的像素值配置于与所述移位步骤的移位方向和移位量对应的存储区域来存储；以及高分辨率图像合成步骤，对通过该像素存储步骤存储的多个像素的像素值进行合成，由此，生成分辨率比所述摄像元件的分辨率高的高分辨率图像，在所述移位步骤中，使所述摄像元件移位，以使得对于设置于所述通常摄像像素的至少1种滤色器的特定颜色，在所述高分辨率图像中的与所述相位差检测像素相同的像素位置处，存在与所述特定颜色对应的包含至少1个所述通常摄像像素的像素值在内的多个像素值，在所述高分辨率图像合成步骤中，以规定的合成比率将与所述特定颜色对应的多个像素值合成。

此外，本发明的其他的方式是图像取得程序，其使计算机执行如下步骤：移位步骤，使摄像元件以小数像素单位的移位量向规定的移位方向移位，该摄像元件具有通常摄像像素和相位差检测像素，该通常摄像像素周期性地具有包含多个颜色的滤色器，该相位差检测像素用于焦点检测；相位差像素校正步骤，通过插值将利用所述相位差检测像素取得的像素值校正为与通常摄像像素相当；像素存储步骤，将在该相位差像素校正步骤中进行校正后的所述摄像元件的各所述像素的像素值配置于与所述移位步骤的移位方向和移位量对应的存储区域来存储；以及高分辨率图像合成步骤，对通过该像素存储步骤存储的多个像素的像素值进行合成，由此，生成分辨率比所述摄像元件的分辨率高的高分辨率图像，其中，在所述移位步骤中，使所述摄像元件移位，以使得对于设置于所述通常摄像像素的至少1种滤色器的特定颜色，在所述高分辨率图像中的与所述相位差检测像素相同的像素位置处，存在与所述特定颜色对应的包含至少1个所述通常摄像像素的像素值在内的多个像素值，在所述高分辨率图像合成步骤中，以规定的合成比率将与所述特定颜色对应的多个像素值合成。

此外，本发明的其他的方式是存储介质，其是存储图像取得程序的非暂时的计算机可读取的存储介质，该图像取得程序使计算机执行如下步骤：移位步骤，使摄像元件以小数像素单位的移位量向规定的移位方向移位，该摄像元件具有通常摄像像素和相位差检测像素，该通常摄像像素周期性地具有包含多个颜色的滤色器，该相位差检测像素用于焦点检测；相位差像素校正步骤，通过插值将利用所述相位差检测像素取得的像素值校正为与通常摄像像素相当；像素存储步骤，将在该相位差像素校正步骤中进行校正后的所述摄像元件的各所述像素的像素值配置于与所述移位步骤的移位方向和移位量对应的存储区域来存储；以及高分辨率图像合成步骤，对通过该像素存储步骤存储的多个像素的像素值进行合成，由此，生成分辨率比所述摄像元件的分辨率高的高分辨率图像，其中，在所述移位步骤中，使所述摄像元件移位，以使得对于设置于所述通常摄像像素的至少1种滤色器的特定颜色，在所述高分辨率图像中的与所述相位差检测像素相同的像素位置处，存在与所述特定颜色对应的包含至少1个所述通常摄像像素的像素值在内的多个像素值，在所述高分辨率图像合成步骤中，以规定的合成比率将与所述特定颜色对应的多个像素值合成。

发明效果

根据本发明，发挥了能够对相位差像素的插值误差导致的分辨率劣化以及低分辨率图像间的像素值变动导致的伪像的双方进行校正的效果。

附图说明

图1是示出本发明的一个实施方式的摄像装置的框图。

图2是局部地示出图1的摄像装置的摄像元件的像素配置的一例的图。

图3是示出通过图1的摄像装置的相位差像素校正部输出的像素值的一例的图。

图4是示出图1的摄像装置中的移位控制部的移位控制的一例的时序图。

图5A是示出通过图4的移位控制得到的Gr像素或者Gp像素的高分辨率配置数据的像素配置例的图。

图5B是示出通过图4的移位控制得到的Gb像素的高分辨率配置数据的像素配置例的图。

图5C是示出通过图4的移位控制得到的R像素的高分辨率配置数据的像素配置例的图。

图5D是示出通过图4的移位控制得到的B像素的高分辨率配置数据的像素配置例的图。

图6是示出图5A以及图5B所示的Gr像素或者Gp像素的像素值和Gb像素的像素值的加权平均中使用的权重与对比度的关系的图。

图7是示出图1的摄像装置的变形例的框图。

图8是示出通过图7的运动物体检测部检测的运动物体程度与Gb的权重的关系的图。

具体实施方式

以下，参照附图对本发明的一个实施方式的摄像装置100以及图像取得方法进行说明。

本实施方式的摄像装置100如图1所示具有摄像元件101、相位差像素校正部102、移位机构(移位部)200、移位控制部201、像素存储部202以及高分辨率图像合成部203。

摄像元件101如图2所示具有：包含多个颜色Gr、Gb、R、B的滤色器的拜耳排列的摄像像素(以下，称为Gr像素、Gb像素、R像素、B像素。)；以及将Gr像素的一部分在纵横上隔开1个进行置换而得的相位差像素Ph。例如通过配置偏移的缝(省略图示)而替代滤色器，相位差像素Ph能够取得相位差图像信息。

相位差像素校正部102根据从摄像元件101接受的像素值来通过插值对相位差像素的像素值进行校正(相位差像素校正步骤)。

移位机构200能够使摄像元件101在与其光轴中心垂直的2方向上，例如，在摄像元件101的中心轴如图1所示那样配置为大致水平的情况下，与中心轴垂直的水平方向以及铅直方向上以小数像素单位移位。

移位控制部201按照每次摄像来对通过移位机构200使摄像元件101移位的方向和移位量进行控制(移位步骤)。

像素存储部202根据通过移位控制部201控制的移位方向以及移位量将来自相位差像素校正部102的像素值数据配置于规定的位置(像素存储步骤)。

高分辨率图像合成部203对由像素存储部202配置的像素值实施后述的合成处理，合成高分辨率的静止图像并输出(高分辨率图像合成步骤)。

未图示的光学系统对来自被摄体的光进行聚光，当在摄像元件101的像面上形成被摄体的光学像时，摄像元件101按照每个像素，输出与在其位置入射的被摄体的光学像对应的像素值。

相位差像素校正部102对来自摄像元件101的像素值中的相位差像素Ph的像素值使用其附近的通常摄像像素的像素值进行插值，计算像素值Gp。

插值方法存在对在倾斜方向上相邻的4个Gb像素的像素值进行平均的简单的方法和检测像素值的连续方向来选择用于插值的像素值的复杂的方法等。由于越是复杂的方法，越能够抑制插值误差，但向装置的安装变得困难，因此，可以按照与画质劣化的平衡来进行选择。

移位控制部201进行控制，以使得如图5A以及图5B所示，在构成为棋盘形图案的高分辨率配置区域的同一位置上分别配置1个Gr像素或者Gp像素以及Gb像素。Gr像素、Gp像素以及Gb像素是与特定颜色G对应的像素。

在图4中示出本实施方式的摄像装置100中的移位控制部201的控制方法。

在摄像张数N为N＝8且生成纵横2倍的高分辨率图像时，如图4所示那样，使具有图2的拜耳排列构造的摄像元件101以1张为基准，移位并且按时间序列拍摄8张，取得低分辨率图像，该移位的量相当于：

第2张是在X方向上0.5像素，在Y方向上0.5像素，

第3张是在X方向上1.0像素，在Y方向上0.0像素，

第4张是在X方向上1.5像素，在Y方向上0.5像素，

第5张是在X方向上1.0像素，在Y方向上1.0像素，

第6张是在X方向上1.5像素，在Y方向上1.5像素，

第7张是在X方向上0.0像素，在Y方向上1.0像素，

第8张是在X方向上0.5像素，在Y方向上1.5像素。

当在通过相位差像素校正部102对这样取得的低分辨率图像进行校正后，通过像素存储部202进行像素配置时，成为图5A至图5D所示的高分辨率配置数据。图5A至图5D示出配置有图3的纵横4像素的范围。

图5A表示配置有第1张至第8张的Gr像素或者Gp像素的高分辨率配置数据(像素内的数值表示摄像张数)。此外，图5B表示配置有第1张至第8张的Gb像素的高分辨率配置数据。

在同一位置分别配置1个Gr像素或者Gp像素和Gb像素，至少1个是基于通常的摄像像素的颜色G的像素。此外，对于R像素和B像素，也能够得到同样地配置为棋盘形图案的高分辨率配置数据(图5C以及图5D)。

高分辨率图像合成部203根据像素存储部202所生成的(Gr或者Gp、Gb、R、B的棋盘状的)高分辨率配置数据生成RGB三板数据。

这里，RGB颜色中的G的值是对同一位置的Gr或者Gp和Gb进行加权平均而成为1个像素值Gs。

来自相位差像素的Gp像素的位置中的Gb像素的加法权重W＿Gb(0至1)如以下那样计算。

首先，根据Gp像素位置附近的Gb像素的像素值计算该位置的局部对比度值。这里，利用Gb像素是由于，一般情况下G颜色能够代用作亮度值，并且在本实施方式中不存在相位差像素。

这里，找出以该位置为中心的5×5像素的范围的最大值Gb＿max和最小值Gb_min，

作为对比度值contr＝Gb＿max-Gb＿min

进行计算。

Gb侧的权重：W＿Gb＝f1(contr)

这里，函数f1如图6那样是对比度越大则越接近1.0，对比度越小则越接近0.5的函数。函数f1根据图像的噪声电平和插值的方法等进行调整即可。

此外，在不来自相位差像素的Gr像素的位置，W＿Gb＝0.5。

而且，加权平均值Gs为，

Gs＝Gb*W_Gb+Gr*(1.0-W_Gb) (1)。

在理想的状况下，在相位差像素位置，只利用Gb即可，但由于同一位置的Gr像素和Gb像素在结构上未在同一时刻取得，因此，有时因照明等的变动而产生像素值差，通过对Gr像素和Gb像素的像素值进行平均，具有如下效果：抑制该像素值差作为伪像而显现于输出图像上。

在对比度大的区域，由于相位差像素插值的误差容易变大，因此，通过使Gb像素的像素值的权重变大，能够接近本来的值，使被摄体本来的分辨率再现。另一方面，照明等的变动导致的像素值差在对比度高的区域不容易明显。

相反地，在对比度小的区域，插值导致的误差小，相反地，在仅相位差像素位置成为Gb像素时，照明等的变动导致的差在与Gb像素和Gr像素的像素值均等平均的周边之间变得明显，因此，优选与周围同样地，与Gr像素的像素值均等地进行平均。

高分辨率图像合成部203对在这样生成的Gs、R、B的棋盘形图案上不存在像素值的位置进行插值而作为RGB三板数据而输出。最后，未图示的图像处理部接受RGB三板数据，进行灰度转换等处理，生成显示或保存用的输出图像。

这样，根据本实施方式的摄像装置100，具有如下优点：以在构成为棋盘形图案的高分辨率配置数据的同一位置分别配置1个Gr像素或者Gp像素和Gb像素的方式，控制移位方向以及移位量，将得到的像素值以与该像素的局部对比度对应的权重进行加权平均，因此，能够校正相位差像素的插值误差，并且也能够有效校正在低分辨率图像之间产生的变动。由此，能够抑制伪像的产生并且防止分辨率的劣化。

与此相对，在专利文献1中，通过相位差像素的校正控制利用空间频率的高度(标准偏差/平均值)。空间频率是与对比度一部分类似的概念，但相比于对比度，需要计算方法复杂且大量的计算。根据本实施方式，在即使频率高振幅成分也小的情况下，由于校正导致的误差具有不太明显的倾向，因此，在对比度的利用上具有优点。

此外，基于G像素的对比度的加权平均无需仅限于相位差像素，为了提高图像的连续性，可以对全部G像素进行。即使在该情况下，当仅利用Gb像素时，各像素位置的摄像时刻不同，因此，照明等的变动导致的差在Gb高分辨率配置数据上作为相邻像素间的像素值差而显现，因此，与Gr像素的像素值的平均有效。

另外，在本实施方式中，如图7所示。可以还具有运动物体检测部204。

运动物体检测部204按照每个像素从来自像素存储部202的高分辨率配置数据检测在多张低分辨率图像拍摄中是否存在运动物体。

而且，在运动物体检测部204中，在检测为存在运动物体的区域，根据低分辨率图像的摄像与运动物体的移动的时刻，利用存在Gb像素和Gr像素的像素值能够区分是运动物体与背景中的哪一个的像素、且其差分值变大的情况，来按照每个像素生成运动物体存在的可能性越高则越大的值(运动物体程度，Pmove)。

此时，在相位差像素的位置，有时差分值由于像素值的插值误差而变大，从而运动物体不存在但运动物体程度变大，因此，期望不进行运动物体检测。如果需要的话，也可以在相位差像素的位置进行运动物体程度的空间插值。

在检测到存在运动物体的区域中，根据摄像时刻与配置的关系，运动物体与背景的像素值在空间方向上不连续地配置，因此，Gb像素的高分辨率配置数据成为运动物体与背景在空间方向上混入而得的混乱图像，并且，根据Gb像素计算的对比度有时成为大的值。

例如，在低分辨率摄像中的第1张至第4张是背景，第5张至第8张是运动物体的区域中，在图5B的Gb像素的高分辨率配置数据中，背景的像素值与运动物体的像素值每隔2行交替配置。此外，此时，在图5A的Gr像素的高分辨率配置数据中，背景与运动物体相反。

在该区域中，Gr像素的高分辨率配置数据也同样地混乱，但由于拍摄时刻与同一像素位置的Gb像素不同，因此，通过将Gb像素的像素值与Gr像素的像素值均等地进行平均，能够降低混乱情况。

为了实现上述目的，进行使基于式(1)中的对比度的Gb权重W＿Gb随着运动物体程度Pmove变大而接近0.5的处理即可。

W_Gb＝f2(W_Gb，Pmove)

在图8中示出函数f2的例子。函数f2只要根据运动物体的性质等而调整即可。

在上述实施方式中，对放大成纵横2倍的分辨率的情况进行了说明，但如果移位机构200的亚像素移位的控制精度充分，则放大倍率也可以设定为2倍以上。此外，摄像元件101的移位控制部201的移位方向的顺序和移位量也可以设定为任意的方式。

而且，在上述实施方式中，示出仅在G像素中存在相位差像素的情况，但本发明不仅限于G像素，也能够应用于在其他的滤色器中存在相位差像素的摄像元件。

此外，除了通过上述那样的摄像装置100实施本实施方式的图像取得方法的情况之外，也能够通过能够由计算机执行的图像取得程序来实施。在该情况下，CPU等处理器执行图像取得程序，由此，实施本实施方式的图像取得方法。

具体而言，读出在存储介质中存储的图像取得程序，通过CPU等处理器执行所读出的图像取得程序。这里，存储介质存储程序或数据等，其功能能够通过光盘(DVD、CD等)、硬盘驱动器或者存储器(卡片型存储器、ROM等)等实现。

标号说明

100：摄像装置；101：摄像元件；102：相位差像素校正部；200：移位机构(移位部)；202：像素存储部；203：高分辨率图像合成部；204：运动物体检测部。