摄像装置和摄像装置的控制方法与流程

本发明涉及摄像装置和摄像装置的控制方法。

背景技术：

公知有利用摄像元件的一部分像素作为焦点检测元件来检测焦点状态的摄像装置。这种摄像装置将摄像元件的一部分像素设定为焦点检测像素，使穿过关于摄影镜头的光轴中心对称的不同光瞳区域后的被摄体光束在多个焦点检测像素中成像，通过检测该被摄体光束之间的相位差，检测摄影镜头的焦点状态。

另一方面，在摄像装置中公知有被称为实时取景显示等的技术。实时取景显示是在显示部中实时显示基于由摄像元件的各像素得到的像素信号的图像的技术。

作为用于同时实现这种实时取景显示和焦点检测的技术，例如公知有日本特开2014-56088号公报和日本特开2013-178564号公报的技术。日本特开2014-56088号公报和日本特开2013-178564号公报中提出的摄像装置交替进行从实时取景显示用的摄像像素中读出像素信号的读出和从焦点检测用的焦点检测像素中读出像素信号的读出。

当要在低亮度时确保一定以上的实时取景显示的帧率时，很难确保充分执行焦点检测的亮度。相反，当要在低亮度时确保充分执行焦点检测的亮度时，帧率降低。

技术实现要素：

本发明是鉴于所述情况而完成的，其目的在于，提供能够同时实现高速的实时取景显示和高精度的焦点检测的摄像装置及其控制方法。

第1方式的摄像装置具有摄像元件，该摄像元件具备具有受光部的多个摄像像素和受光部的开口位置相对于所述摄像像素偏移的多个焦点检测像素，其中，所述摄像装置具有：读出部，其从所述摄像像素和所述焦点检测像素中读出像素信号；显示部，其显示基于从所述摄像像素中读出的像素信号的图像；以及控制部，其进行控制，使 得在与所述显示部的显示帧率对应的时间内进行所述显示部中的图像的显示和所述焦点检测像素的像素信号的读出动作，在能够在与所述显示部的显示帧率对应的时间内进行所述摄像像素的曝光及像素信号的读出和所述焦点检测像素的曝光及像素信号的读出这双方时，所述控制部进行控制，使得交替进行所述摄像像素的曝光及像素信号的读出和所述焦点检测像素的曝光及像素信号的读出，在无法在与所述显示部的显示帧率对应的时间内进行所述摄像像素的曝光及像素信号的读出和所述焦点检测像素的曝光及像素信号的读出这双方时，所述控制部进行控制，使得同时进行所述摄像像素和所述焦点检测像素的曝光，在所述摄像像素和所述焦点检测像素的曝光结束后，读出所述摄像像素的像素信号和所述焦点检测像素的像素信号。

在第2方式的摄像装置的控制方法中，该摄像装置具有摄像元件，该摄像元件具备具有受光部的多个摄像像素和受光部的开口位置相对于所述摄像像素偏移的多个焦点检测像素，其中，所述摄像装置的控制方法具有以下步骤：如果能够在与显示部的显示帧率对应的时间内进行所述摄像像素的曝光及像素信号的读出和所述焦点检测像素的曝光及像素信号的读出这双方，则设定为交替进行所述摄像像素的曝光及像素信号的读出和所述焦点检测像素的曝光及像素信号的读出，如果无法在与所述显示部的显示帧率对应的时间内进行所述摄像像素的曝光及像素信号的读出和所述焦点检测像素的曝光及像素信号的读出这双方，则设定为同时进行所述摄像像素和所述焦点检测像素的曝光，并以在所述摄像像素和所述焦点检测像素的曝光结束后读出所述摄像像素的像素信号和所述焦点检测像素的像素信号的方式，从所述摄像像素和所述焦点检测像素中读出像素信号；根据所述设定进行所述摄像像素的曝光及像素信号的读出和所述焦点检测像素的曝光及读出；以及显示基于从所述摄像像素中读出的像素信号的图像。

附图说明

图1是示出本发明的一个实施方式的照相机系统的一例的结构的框图。

图2是示出作为一例的摄像元件的焦点检测像素的配置的图。

图3是示出照相机系统中的AF动作的流程图。

图4是摄像元件的像素排列的例子。

图5A是用于说明交替读出模式的图。

图5B是用于说明水平期间后半读出模式的图。

图6是示出曝光时间t与摄像驱动模式、像素相加数和曝光时间ts之间的关系的图。

图7是用于说明像素相加的图。

具体实施方式

下面，参照附图对本发明的实施方式进行说明。图1是示出本发明的一个实施方式的照相机系统的一例的结构的框图。这里，在图1中，带箭头的实线表示数据流，带箭头的虚线表示控制信号流。

图1所示的照相机系统1具有更换镜头100和照相机主体200。更换镜头100构成为相对于照相机主体200进行拆装。在更换镜头100装配在照相机主体200上时，更换镜头100和照相机主体200以通信自如的方式连接。另外，照相机系统1也可以不是镜头更换式的照相机系统。例如，照相机系统1可以是镜头一体型的照相机系统。

更换镜头100具有摄影镜头102、驱动部104、镜头CPU106、镜头侧存储部108。

摄影镜头102是用于使被摄体光束在照相机主体200的摄像元件208上成像的摄影光学系统。该摄影镜头102具有对焦镜头1021和光圈1022。对焦镜头1021构成为通过在光轴方向上移动，对摄影镜头102的焦点位置进行调节。光圈1022配置在对焦镜头1021的光轴上，构成为其口径可变。光圈1022限制穿过对焦镜头1021的被摄体光束的量。驱动部104根据来自镜头CPU106的控制信号对对焦镜头1021、光圈1022进行驱动。这里，摄影镜头102也可以构成为变焦镜头，该情况下，驱动部104还进行变焦驱动。

镜头CPU106构成为经由接口(I/F)110而与照相机主体200的CPU216通信自如。该镜头CPU106根据CPU216的控制进行驱动部104的控制。并且，镜头CPU106还经由接口110将光圈1022的光圈值(F值)和存储在镜头侧存储部108中的镜头数据这样的信息发送到CPU216。

镜头侧存储部108存储与更换镜头100有关的镜头数据。镜头数据例如包括摄影镜头102的焦距的信息和像差的信息。

照相机主体200具有机械快门202、驱动部204、操作部206、摄像元件208、摄像控制电路210、模拟处理部212、模拟数字转换部(ADC)214、CPU216、图像处 理部218、图像压缩解压缩部220、焦点检测电路222、显示部224、总线226、DRAM228、主体侧存储部230、记录介质232。

机械快门202构成为开闭自如，对来自被摄体的被摄体光束入射到摄像元件208的入射时间(摄像元件208的曝光时间)进行调节。作为机械快门202，可以采用公知的焦面快门、中心式快门等。驱动部204根据来自CPU216的控制信号对机械快门202进行驱动。

操作部206包括电源按钮、释放按钮、动态图像按钮、再现按钮、菜单按钮这样的各种操作按钮和触摸面板等各种操作部件。该操作部206检测各种操作部件的操作状态，将表示检测结果的信号输出到CPU216。

摄像元件208配置在摄影镜头102的光轴上的机械快门202的后方且通过摄影镜头102使被摄体光束成像的位置。摄像元件208构成为二维配置有构成像素的受光部(例如光电二极管)。构成摄像元件208的受光部生成与受光量对应的电荷。受光部中产生的电荷蓄积在与各受光部连接的电容器中。根据来自摄像控制电路210的控制信号，读出该电容器中蓄积的电荷作为像素信号。这里，在本实施方式中，以能够以行单位读出像素信号的方式构成摄像元件208。

并且，本实施方式中的摄像元件208具有用于取得记录和显示用的图像的摄像像素和用于进行焦点检测的焦点检测像素作为像素。焦点检测像素是受光部的开口位置相对于摄像像素偏移的像素。图2是示出作为一例的摄像元件208的焦点检测像素的配置的图。作为一例的摄像元件208的滤色器排列是拜耳排列。通过在二维方向上排列由R、Gr、Gb、B这4个像素构成的滤色器单位来构成拜耳排列。

在图2的例子中，在特定的Gr像素的位置形成水平像素列。水平像素列具有右开口焦点检测像素208r和左开口焦点检测像素208l。右开口焦点检测像素208r(图中表记为Fr)是左半面的区域被遮光、且在右半面的区域形成开口的像素。左开口焦点检测像素208l(图中表记为Fl)是右半面的区域被遮光、且在左半面的区域形成开口的像素。当以一个水平像素列进行观察时，右开口焦点检测像素208r和左开口焦点检测像素208l配置成在水平方向和垂直方向上分离4个像素间距。并且，奇数行的水平像素列和偶数行的水平像素列配置成分离2个像素间距。

并且，如图2所示，在特定的B像素的位置形成垂直像素列。垂直像素列具有上开口焦点检测像素208t和下开口焦点检测像素208b。上开口焦点检测像素208t(图 中表记为Ft)是形成下半面的区域被遮光、且在上半面的区域形成开口的像素。下开口焦点检测像素208b(图中表记为Fb)是形成上半面的区域被遮光、且在下半面的区域形成开口的像素。在一个垂直像素列内，上开口焦点检测像素208t和下开口焦点检测像素208b配置成在水平方向和垂直方向上分离4个像素间距。并且，奇数列的垂直像素列和偶数列的垂直像素列配置成分离2个像素间距。即，在图2的例子中，垂直像素列配置在使水平像素列旋转90度而得到的位置。

作为读出部的摄像控制电路210根据来自摄像元件208的像素信号的读出的设定，对摄像元件208的曝光和来自摄像元件208的像素信号的读出进行控制。这里，本实施方式的摄像元件208构成为能够对来自多个相同颜色像素的像素信号进行相加(或混合)并读出。摄像控制电路210还进行摄像元件208的像素信号的相加数的控制。

模拟处理部212根据摄像控制电路210的控制，对从摄像元件208读出的像素信号进行放大处理等模拟处理。ADC214将从模拟处理部212输出的像素信号转换为数字形式的像素信号(像素数据)。下面，在本说明书中，将多个像素数据的集合记载为摄像数据。

CPU216是根据存储在主体侧存储部230中的程序进行照相机系统1的整体控制的控制部。图像处理部218对摄像数据实施各种图像处理而生成图像数据。例如，在静态图像的记录时，图像处理部218实施静态图像记录用的图像处理而生成静态图像数据。同样，在动态图像的记录时，图像处理部218实施动态图像记录用的图像处理而生成动态图像数据。进而，在实时取景显示时，图像处理部218实施显示用的图像处理而生成显示用图像数据。在该实时取景显示时，图像处理部218还对来自焦点检测像素的像素数据进行校正处理。如上所述，焦点检测像素的一部分区域被遮光。因此，在焦点检测像素中产生光量的降低。图像处理部218对该光量的降低进行校正。该校正例如包括对来自焦点检测像素的像素数据施加与光量降低对应的增益的处理、使用焦点检测像素周围的相同颜色的摄像像素的像素数据的插值处理。

在记录图像数据时，图像压缩解压缩部220对图像处理部218生成的图像数据(静态图像数据或动态图像数据)进行压缩。并且，在图像数据的再现时，对以压缩状态记录在记录介质232中的图像数据进行解压缩。

焦点检测电路222取得来自焦点检测像素的像素数据，根据所取得的像素数据， 使用公知的相位差方式计算对焦镜头1021相对于对焦位置的焦点偏移方向和焦点偏移量。即，焦点检测电路222根据从水平像素列所包含的各个右开口焦点检测像素208r取得的像素数据与从各个左开口焦点检测像素208l取得的像素数据之间的相位差，计算对焦镜头1021相对于对焦位置的焦点偏移方向和焦点偏移量。并且，焦点检测电路222根据从垂直像素列所包含的各个上开口焦点检测像素208t取得的像素数据与从各个下开口焦点检测像素208b取得的像素数据之间的相位差，计算对焦镜头1021相对于对焦位置的焦点偏移方向和焦点偏移量。

显示部224例如是液晶显示器或有机EL显示器这样的显示部，例如配置在照相机主体200的背面。该显示部224根据CPU216的控制来显示图像。显示部224用于实时取景显示和已记录图像的显示等。

总线226与ADC214、CPU216、图像处理部218、图像压缩解压缩部220、焦点检测电路222、DRAM228、主体侧存储部230、记录介质232连接，作为用于转送在这些块中产生的各种数据的转送路发挥功能。

DRAM228是可电改写的存储器，暂时存储所述摄像数据(像素数据)、记录用图像数据、显示用图像数据、CPU216中的处理数据这样的各种数据。另外，作为暂时存储用，也可以使用SDRAM。

主体侧存储部230存储CPU216中使用的程序、照相机主体200的调整值等各种数据。

记录介质232构成为内置或装填在照相机主体200中，将记录用图像数据记录为规定形式的图像文件。

下面，对本实施方式的照相机系统1中的AF动作进行说明。图3是示出照相机系统1中的AF动作的流程图。根据存储在主体侧存储部230中的程序，通过CPU216执行图3所示的流程图的处理。在对照相机系统1的AF动作进行说明时，如图4所示定义摄像元件208的像素排列。即，以下的例子中说明的摄像元件208具有4000像素×3000像素的范围A的像素。左上端的像素的坐标是(1,1)，右下端的像素的坐标是(4000,3000)。并且，如图2中说明的那样，焦点检测像素配置在左上端的坐标为(4000,300)、右下端的坐标为(3600,2700)的范围B内。

例如在照相机主体200的电源接通后，图3的流程图的处理开始。在步骤S101中，CPU216以水平期间后半读出模式取入实时取景用的图像数据。本实施方式中的 摄像元件208具有交替读出模式和水平期间后半读出模式作为摄像驱动模式。

如图5A所示，交替读出模式是将实时取景(LV)用的曝光和读出、与焦点检测(AF)用的曝光和读出分开而进行的摄像驱动模式。在交替读出模式中，在与实时取景显示的显示帧率相当的期间(例如在显示帧率为30fps的情况下为1/30秒)中，进行LV用的曝光和AF用的曝光这双方。并且，在LV用的曝光中，摄像控制电路210对曝光结束后的像素中的相邻的多个相同颜色的像素(例如水平2像素×垂直2像素这4个像素)的像素信号进行相加并读出。另一方面，在AF用的曝光中，摄像控制电路210仅对来自曝光结束后的焦点检测像素的像素信号进行相加并读出。在这种交替读出模式中，在LV用曝光和AF用曝光中，能够单独设定曝光时间。

并且，如图5B所示，水平期间读出模式是同时进行实时取景(LV)用的曝光和焦点检测(AF)用的曝光的驱动模式。在水平期间后半读出模式中，与交替读出模式同样，摄像控制电路210对摄像像素的像素信号进行相加并读出。并且，摄像控制电路210将焦点检测像素的像素信号暂时保持在行存储器中，在摄像像素的像素信号的读出后(水平期间的后半)，对焦点检测像素的像素信号中的同一开口的焦点检测像素的像素信号进行相加并从行存储器中读出。这种水平期间读出模式能够使帧率高速化。在本实施方式中，在进行第1释放操作之前，以水平期间读出模式进行曝光，以使得优先维持显示的帧率。另外，在读出摄像像素的像素信号后读出焦点检测像素的像素信号，但是，可以使该顺序相反，在读出焦点检测像素的像素信号后读出摄像像素的像素信号。

在步骤S102中，图像处理部218对来自焦点检测像素的像素数据进行校正处理。通过该校正处理，能够与来自摄像像素的像素数据同样地使用来自焦点检测像素的像素数据。在该校正处理后，图像处理部218进行显示用图像数据的生成所需要的其他处理，生成显示用图像数据。

在步骤S103中，CPU216进行实时取景显示。即，CPU216根据图像处理部218生成的显示用图像数据，使显示部224显示实时取景图像。

在步骤S104中，CPU216决定焦点检测像素的曝光量(曝光时间t[ms])。焦点检测像素的曝光时间t[ms]由被摄体亮度决定。即，曝光时间t是使根据被摄体亮度计算出的焦点检测像素的对比度值(相邻焦点检测像素之间的像素值之差)成为充分实施相位差AF的规定对比度值所需要的曝光时间。当设充分实施相位差AF的对比度 值例如为中间亮度(最小亮度与最大亮度的正中间的值)时，如果像素信号的AD转换分辨率为10位，则充分实施相位差AF的规定对比度值成为对比度值512。根据以下的(式1)计算该情况下的曝光时间t。另外，根据实时取景显示时的被摄体亮度计算以下的式子中的曝光时间tl。

曝光时间t＝实时取景用曝光时间tl×[512/对比度值](式1)

另外，不仅在低对比度的情况下，在焦点检测像素饱和的情况下也无法实施相位差AF。因此，在决定曝光时间t时，还需要满足“曝光时间t经过后的焦点检测像素的像素数据的最大值×[512/对比度值]不超过AD转换范围的最大值(在AD转换分辨率为10位的情况下为1023)”这样的条件。

在步骤S105中，CPU216判定用户是否进行了第1释放操作。第1释放操作例如是释放按钮的半按操作。在步骤S105中判定为未进行第1释放操作的情况下，处理返回步骤S101。在步骤S105中判定为进行了第1释放操作的情况下，处理转移到步骤S106。

在步骤S106中，CPU216在摄像控制电路210中分别设定摄像驱动模式、像素相加数、AF动作中实际在摄像元件208中设定的曝光时间ts。根据步骤S104中决定的曝光时间t来设定摄像驱动模式、像素相加数、实际的曝光时间。

图6是示出曝光时间t与摄像驱动模式、像素相加数和曝光时间ts之间的关系的图。在图6的例子中，CPU216在曝光时间t为比较短的时间的情况下，将摄像驱动模式设为交替读出模式，并且，设定像素相加数以使得实时取景显示的显示帧率维持60fps。并且，CPU216在曝光时间t变长，仅通过像素相加数的设定无法使实时取景显示的显示帧率维持60fps时，将显示帧率切换为30fps。进而，CPU216在设摄像驱动模式为交替读出模式的状态下无法使实时取景显示的显示帧率维持最低限度的显示帧率即例如30fps时，将摄像驱动模式切换为水平期间后半读出模式。下面具体进行说明。

例如，在曝光时间t为8ms以下的情况下，摄像驱动模式设定为交替读出模式。并且，像素相加数设定为4像素相加。例如如右开口焦点检测像素和左开口焦点检测像素的例子所示，通过对图7的参照标号302所示的范围内包含的接近的4个右开口焦点检测像素的像素信号进行相加、并且对接近的4个左开口焦点检测像素的像素信号进行相加，来进行焦点检测像素的像素信号的4像素相加。另外，设各焦点检测像 素中入射有基本上来自被摄体的同一部分的光。通过进行这种4像素相加，像素信号的大小大致成为4倍。此时，在图6的例子中，设定为曝光时间ts＝t。由于曝光时间ts为8ms以下，所以，显示帧率能够维持60fps。

并且，例如，在曝光时间t为8ms以上且12ms以下的情况下，摄像驱动模式也设定为交替读出模式。并且，像素相加数设定为6像素相加。关于焦点检测像素的像素信号的6像素相加，例如如右开口焦点检测像素和左开口焦点检测像素的例子所示，对图7的参照标号304所示的范围内包含的接近的6个右开口焦点检测像素的像素信号进行相加，并且对接近的6个左开口焦点检测像素的像素信号进行相加。通过进行这种6像素相加，像素信号的大小大致成为6倍。因此，能够缩短到曝光时间ts＝t×4/6。由此，曝光时间ts成为8ms以下，显示帧率能够维持60fps。

并且，例如，在曝光时间t为12ms以上且16ms以下的情况下，摄像驱动模式也设定为交替读出模式。并且，像素相加数设定为8像素相加。关于焦点检测像素的像素信号的8像素相加，例如如右开口焦点检测像素和左开口焦点检测像素的例子所示，对图7的参照标号306所示的范围内包含的接近的8个右开口焦点检测像素的像素信号进行相加，并且对接近的8个左开口焦点检测像素的像素信号进行相加。通过进行这种8像素相加，像素信号的大小大致成为8倍。因此，能够缩短到曝光时间ts＝t×4/8。由此，曝光时间ts成为8ms以下，显示帧率能够维持60fps。

并且，例如，在曝光时间t为16ms以上且33ms以下的情况下，摄像驱动模式也设定为交替读出模式。并且，像素相加数设定为8像素相加。这是因为，当进行8像素以上的相加时，焦点检测结果中的误差增大。该情况下，能够缩短到曝光时间ts＝t×4/8。但是，由于t比16ms长，所以，显示帧率不维持60fps而切换为30fps。

并且，例如，在曝光时间t超过33ms的情况下，摄像驱动模式设定为水平期间后半读出模式。并且，像素相加数设定为8像素相加。该情况下，在交替读出模式中，曝光时间增加必要程度以上，所以，切换为水平期间后半读出模式，由此抑制曝光时间的增大。由此，显示帧率能够维持30fps。

在步骤S107中，CPU216设定针对焦点检测像素的像素输出的数字增益。该数字增益是如下的增益：该增益例如在曝光时间t超过33ms、并且即使摄像驱动模式设定为水平期间后半读出模式且像素相加数设定为8像素相加也会使曝光量不足的情况下，对像素信号进行放大。根据以下的(式2)计算该增益。

设定增益量＝场景整体的平均亮度/焦点检测区域内的平均亮度

另外，当进行增益放大时，噪声也被放大，所以，期望以适当值对数字增益的值进行钳位。例如，设设定增益量的最大值为2倍。当然可以适当变更该值。并且，示出在步骤S107中以数字方式对像素信号进行放大的例子。像素信号当然也可以以模拟方式进行放大。该情况下，在步骤S106中，与摄像驱动模式、像素相加数一起设定模拟增益。

在步骤S108中，焦点检测电路222使用从焦点检测像素取得的像素数据，使用公知的相位差方式计算对焦镜头1021相对于对焦位置的焦点偏移方向和焦点偏移量。根据步骤S106中设定的摄像驱动模式、像素相加数、曝光时间ts进行焦点偏移量的检测时的曝光。因此，在步骤S108中以交替读出模式或水平期间后半读出模式中的任意一个模式进行曝光。并且，在进行了数字增益的设定的情况下，来自焦点检测像素的像素数据例如在焦点检测电路222中进行数字放大。并且，在进行了模拟增益的设定的情况下，来自焦点检测像素的像素数据例如在模拟处理部212中进行放大。

在步骤S109中，CPU216判定对焦镜头1021是否是对焦状态。例如通过判定焦点偏移量是否在预定的容许范围内，来判定是否是对焦状态。在步骤S109中未判定为对焦镜头1021是对焦状态的情况下，处理转移到步骤S110。在步骤S109中判定为对焦镜头1021是对焦状态的情况下，处理转移到步骤S111。

在步骤S110中，CPU216对镜头CPU106发送指示，以使对焦镜头1021根据焦点偏移方向和焦点偏移量进行驱动。接受该指示，镜头CPU106经由驱动部104对对焦镜头1021进行驱动。然后，处理返回步骤S101。

在步骤S111中，CPU216判定用户是否进行了第2释放操作。第2释放操作例如是释放按钮的全按操作。在步骤S111中判定为未进行第2释放操作的情况下，处理返回步骤S106。在步骤S111中判定为进行了第2释放操作的情况下，处理转移到步骤S112。

在步骤S112中，CPU216开始进行正式曝光。正式曝光是用于取得记录用的摄像数据的曝光处理。在正式曝光中，CPU216对摄像控制电路210发送控制信号。摄像控制电路210接受控制信号，开始进行摄像元件208的曝光。在曝光结束后，摄像控制电路210读出来自摄像元件208的各像素的像素信号。其结果，在DRAM228 中存储摄像数据。然后，图像处理部218进行焦点检测像素的像素输出的校正和用于生成其他记录用图像数据的处理。接着，图像压缩解压缩部220对记录用图像数据进行压缩。然后，CPU216将压缩后的记录用图像数据作为图像文件记录在记录介质232中。

在步骤S113中，CPU216判定是否断开照相机主体200的电源。例如，在通过用户对操作部206的操作而指示了电源断开的情况下或用户在规定时间内未进行操作部206的操作的情况下，判定为断开电源。在步骤S113中判定为未断开照相机主体200的电源的情况下，处理返回步骤S101。在步骤S113中判定为断开照相机主体200的电源的情况下，处理结束。

如以上说明的那样，根据本实施方式，在进行相位差AF时的来自焦点检测像素的像素信号的读出中，通过根据曝光时间来选择交替读出和水平期间后半读出，能够尽可能地维持实时取景显示的显示帧率，并且还能够确保相位差AF的精度。并且，在交替读出或水平期间后半读出中缩短曝光时间的情况下，即使增加像素相加数，也能够尽可能地维持实时取景显示的显示帧率，并且还能够确保相位差AF的精度。进而，通过一并使用数字或模拟的增益放大，能够更加容易地同时实现实时取景显示的显示帧率的维持和相位差AF的精度的提高这双方。

所述实施方式的各处理也可以作为能够由作为计算机的CPU等执行的程序来存储。除此之外，可以存储在存储卡、磁盘、光盘、半导体存储器等外部存储装置的存储介质中进行发布。而且，CPU等通过读入该外部存储装置的存储介质中存储的程序并根据该读入的程序来控制动作，能够执行所述处理。