摄影设备及图像数据的记录方法

专利名称：摄影设备及图像数据的记录方法
技术领域：
该发明涉及摄影设备及图像数据的记录方法，详细地说，涉及摄影者不必手持设备，且不必采用操作部件就可以执行摄影，获得反映摄影者的意图的摄影结果的摄影设备和采用该摄影设备的图像数据的记录方法。
背景技术：
采用传统的摄影设备进行摄影时，通常，摄影者必须首先手持摄影设备，通过目视确认取景器或显示装置等，任意确定期望摄影的构图，然后，用摄影设备具备的操作部件进行使摄影开始的操作等一系列操作步骤。另一方面，近年，例如特开2009-10987号公报(专利第4449082号公报)等提出 了各种摄影者不必手持摄影设备就可以进行期望的摄影的技术。上述特开2009-10987号公报等公开的摄影设备具备安装在头部的摄影设备；安装在摄影者的手指等上的座标检测标记；根据摄影者的手的位置、形状等的信息，控制摄像单元的摄影动作、摄影结果(摄影图像)的图像处理的控制单元，从由摄像单元取得的全摄影范围的图像将切出范围的图像切出并记录。专利文献I日本特开2009-10987号公报(专利第4449082号)

发明内容
但是，上述日本特开2009-10987号公报等公开的摄影设备的问题在于，必须具备安装在头部的构造的专用构造的摄影设备和为了进行摄影动作的指示和摄影范围的指定等而安装在摄影者的手指等上的座标检测标记等的专用构成部件。另一方面，近年，提出了各种根据由摄像元件等取得的图像数据识别人的手或手指的动作、手势(gesture)等，不接触设备本身、操作部件等就可以进行设备的操作的所谓非接触型界面的技术。若有效利用这样的技术，可以不需要在基于上述公报等的手段中必需的座标检测标记等的构成，变得更加便利。本发明鉴于上述问题而提出，其目的是提供即使是通常形态的摄影设备，摄影时摄影者也不必手持摄影设备或者操作各种的操作部件就可以进行期望的摄影的摄影设备。为了达成上述目的，本发明一形态的摄影设备，其特征在于，具备具备摄像元件及摄影镜头的摄像部；控制设备全体的控制单元；根据由上述摄像部取得的图像数据，进行手势解析的手势解析部；根据上述手势解析部的数据解析结果，判定上述摄像部的全摄影范围中的部分摄影范围的范围判定部；记录与由上述范围判定部判定出的摄影范围对应的图像数据的记录部，上述控制单元记录在该设备前方检测到的该设备使用者的手指形状及其位置信息；上述摄像部的位置与该设备使用者的视线位置的距离信息；由上述设备使用者的手指形状及位置信息指示的摄影范围的被摄体。根据本发明，能够提供即使是通常形态的摄影设备，摄影时摄影者也不必手持摄影设备或者操作各种操作部件就可以进行期望的摄影的摄影设备。


图I是示出本发明一实施方式的摄影设备(照相机)的内部构成的概略的结构框图。图2是示出用图I的摄影设备(照相机)摄影时摄影者进行的摄影指示用手势的一例的概念图。图3是示出图I的摄影设备(照相机)的全摄影范围和实际的摄影范围的概念图。图4是示出图I的摄影设备(照相机)的照相机控制主程序的流程图。图5是示出图4的步骤S126的处理的子例程的流程图。
图6是示出图4的预定形状手指图像判定处理(步骤S112的处理)的子例程的流程图。图7是说明采用图I的摄影设备(照相机)的无取景摄影模式时的摄影状况的概念图，是示出摄影者和照相机和被摄体的位置关系的概略的图。图8是说明用图I的摄影设备(照相机)摄影时的状况的概念图，(A)是示出通常摄影时的图，(B)是示出无取景摄影模式时的图。图9是放大表示采用图I的摄影设备(照相机)的无取景摄影模式时的摄影者的视线和照相机光轴的关系的概念的概念图。图10是采用以与光轴及视线轴同方向为Z轴，与该Z轴正交的垂直方向的轴为Y轴的座标轴示出图9的状况的图。图11是采用图I的摄影设备(照相机)的无取景摄影模式时，从前面侧观察一个手指和该手指经由摄影镜头在摄像元件的受光面上成像的状态的概念图。图12是在用X轴及Z轴表示的座标轴观察图11的状况时的概念图。图13是说明采用图I的摄影设备(照相机)的无取景摄影模式时的摄影状况的概念图，是对摄影者指示的摄影范围进行无取景摄影时的情形的概念图。图14是采用图I的摄影设备(照相机)的无取景摄影模式时的全摄影范围的图像的概念图。图15是采用图I的摄影设备(照相机)的无取景摄影模式时预定形状手指图像判定处理的执行时的全摄影范围的图像的概念图。标号说明10...照相机，11...信号处理&控制部，Ila...手势解析部，Ilb...范围判定部，lie...超分辨率处理部，12...摄像部，13...高度&位置信息取得部，14...记录部，18...显示部。
具体实施例方式以下，根据图示的实施方式说明本发明。本发明的一实施方式是向摄影设备即照相机适用本发明的构成时的例示，该摄影设备构成为，用固体摄像元件对例如由光学镜头形成的光学像进行光电变换，将这样获得的图像信号变换为表示静态图像或运动图像等的数字图像数据，在记录介质中记录这样生成的数字数据，并根据在记录介质中记录的数字图像数据，在显示装置上再现显示静态图像、运动图像等。另外，本实施方式中，用摄影设备(以下称为照相机)进行摄影时与被摄体相向的照相机的面称为照相机前面。同样，用照相机进行摄影时摄影者面对的照相机的面称为照相机背面。另外，设置了在通常摄影时进行摄影操作的释放按钮等操作部件的面称为顶面。照相机的与顶面相向的面称为底面。而且，在照相机的通常的使用状态下，配置在两侧的面称为左侧面及右侧面。该场合中的左右的判别是将从被摄体侧朝向照相机的前面观察时的左侧或右侧分别区别为左或右。另外，本实施方式中，设置在照相机的前面侧的摄影镜头的光轴用符号0表示。把沿着该光轴0的方向上，与照相机的前面相向的位置上被摄体存在的一侧称为前方。另外，照相机使用时，摄影者存在的一侧称为后方。以下的说明中采用的各附图中，为了使各构成要素成为在附图上可识别的程度的大小，有时各构成要素可能以不同比例尺表示。从而，本发明在这些附图中记载的构成要素·的数量、构成要素的形状、构成要素的大小的比率及各构成要素的相对位置关系等不仅仅限于图示的形态。首先，以下用图I说明本实施方式的照相机的内部构成中的与本发明直接相关的主要构成部。图I是示出本发明的一实施方式的摄影设备(照相机)的内部构成的概略的结构框图。照相机10具备信号处理&控制部11、摄像部12、高度&位置信息取得部13、记录部14、显示部18等。信号处理&控制部11是统一控制照相机10的全体的控制电路，是接受从照相机10内的各种构成单元输入的各种信号，进行与各信号对应的各种控制处理的电路部。信号处理&控制部11在内部具备手势解析部11a、范围判定部lib、超分辨率处理部Ilc等。手势解析部Ila是包含软件的电路部，该软件具有进行基于由摄像部12取得的图像数据的图像解析处理，识别摄影者的手指等的手势等的功能。范围判定部Ilb是包含软件的电路部，该软件具有接受上述手势解析部Ila的解析结果并判定摄影者利用手指的手势所指示的摄影范围的功能。超分辨率处理部Ilc是包含软件的电路部，该软件具有根据上述范围判定部Ilb的判定结果对摄影取得的图像数据进行提高分辨率的高分辨率化处理(例如像素补全处理等)而生成高分辨率图像数据的功能。另外，本实施方式的照相机10中的信号处理&控制部11除了上述的构成部外，还具有例如驱动控制显示部18的显示控制电路、进行摄像部12的驱动控制的拍摄控制电路、对摄像部12取得的图像数据进行压缩解压缩处理、加工处理等的图像数据处理电路等。这些未图示的处理电路、控制电路与传统的一般照相机中采用的构成同样，其详细构成的说明省略。摄像部12由接受来自被摄体的光束而形成光学像的摄影镜头(也包含其镜头驱动机构等)、接受由该摄影镜头形成的光学像并进行光电变换的光电变换元件、进行由该光电变换元件生成的图像信号的预处理而生成预定的文件形态的图像数据的信号处理电路等构成。由摄像部12生成的图像数据向上述信号处理&控制部11输出。另外，上述光电变换兀件可以米用 CCD (Charge Coupled Device ;电荷稱合兀件)、CMOS (ComplementaryMetal Oxide Semiconductor ;互补型金属氧化物半导体)等固体摄像元件。另外，本照相机10的摄像部12中采用的摄影镜头采用视场角比较广的镜头，即一般称为广角镜头或超广角镜头的具备广视场角(具体为例如视场角100度以上)的光学系
统。其理由后述。高度&位置信息取得部13是具有作为取得本照相机10的高度信息、纬度、经度等位置信息的高度信息取得单元的功能的构成部。具体地说，例如是采用全球定位系统(Global Positioning System (GPS);全球测位系统)，取得该照相机10的当前位置的高度、纬度、经度等位置信息的构成部。另外，作为取得高度信息的单元，不限于此，例如也可以具备测定气压变化，或利用电波计测照相机10自身的绝对高度的高度计。记录部14由用于记录蓄积由上述摄像部12取得并在上述信号处理&控制部11中实施了各种信号处理后的记录用图像数据的记录介质和驱动该记录介质的驱动电路等组成。显示部18是接受在信号处理&控制部11中生成的显示用图像信号，显示对应的图像显示、预先准备的设定用菜单显示等的显示装置。显示部18由上述信号处理&控制部11的显示控制部(未图示)驱动控制。另外，显示部18采用例如液晶显示装置(IXD)、有机EL显示器等。另外，进行一般摄影时，显示部18连续地显示来自摄像部12的输出，进行实时取景显示，起到电子取景器的功能。如后述，在用本照相机10进行无取景摄影时，该电子取景器功能设为关闭状态。本照相机10虽然具备其他各种构成部件，但是上述以外的构成部件采用与传统的一般照相机具有的构成同样的构成，它们的图示及详细构成的说明省略。以下说明使用这样构成的本实施方式的照相机10进行摄影时的作用的概略。图2表示采用本实施方式的照相机10进行摄影时，摄影者进行的摄影指示的手势的一例。首先，100如图2所示，摄影者不通过手持保持照相机10，而是采用例如颈带、夹子等保持在自身的胸前附近等的状态。从而，该状态时摄影者的两手成为自由状态。另外，此时，假定照相机10的电源为接通状态，处于可执行摄影动作的摄影待机状态。该状态中，摄影者100进行用两手指示期望的摄影范围的手势。例如，图2所示例中，摄影者100以向照相机10的前方伸出两手的状态，用两手手指的食指和拇指形成2个大致L字形状100a、100b，形成使这2个大致L字形状100a、100b位于假定了期望的摄影范围的大致矩形状的对角处的手势。通过在照相机10的前方进行这样的手势，摄影者100指示期望的摄影范围。本实施方式中的照相机10在信号处理&控制部11的控制下，通过执行如下一系列处理，摄影者100取得期望的摄影图像。详细情况将后述，简略地说，(I)摄像部12连续地取得包含用摄影者100的手指等进行的上述手势的图像数据，(2)手势解析部Ila根据由上述摄像部12连续地取得的图像数据进行图像解析处理，(3)范围判定部Ilb根据上述手势解析部Ila的解析结果，判定由上述摄像部12取得的图像数据中的摄影者100期望的摄影范围、摄影定时等，
(4)超分辨率处理部Ilc从由上述摄像部12获得的全图像数据对由上述范围判定部Ilb判定出的摄影范围进行摄影，对取得的图像数据进行适宜的必要的数据处理(图像切出处理、超分辨率处理等)，(5)信号处理&控制部11执行接受来自上述超分辨率处理部Ilc的输出数据，生成预定的形态的记录用数据并在记录部14的记录介质中记录等的一系列处理。这里，为了实现上述(I)项、(2)项的处理，本实施方式的照相机10中，作为为了获得广视野的单元，如上所述采用视场角比较广的光学系统作为摄像部12中的摄影镜头。S卩，如图3所示，本实施方式的照相机10中，根据由本照相机10摄影获得的全摄影范围的图像数据，将摄影者100用手指等任意指示的摄影范围(图3同时表示了二种范围)的图像数据作为摄影图像取出。该场合中，例如根据指示的摄影范围的视场角进行摄影镜头的变焦(光学变焦)即可。另外，也可以进行从全摄影范围的图像数据中切出指示的摄影范围的图像数据并适宜放大等图像处理(所谓电子变焦处理等)。 另外，在图2所示的状况下，摄影者100在照相机10的前方伸手，进行上述的手势时，为了使摄影者100的手指等包含在该照相机10的全摄影范围内，也优选采用可获得广视野的广视场角光学系统。例如，考虑拍摄与图2所示状态的摄影者(在胸前附近保持照相机10的摄影者)100隔预定的距离且与其面对面存在的人物等被摄体的情况。该场合中，将保持在摄影者100的胸前附近的照相机10(参照图2)拍摄获得的全摄影范围设为图3的符号Al表示的大致矩形状的范围，假定作为摄影对象的人物等被摄体101位于充分收于该全摄影范围Al内的位置。此时，如上所述，当摄影者100用手指等进行手势指示而指定了摄影范围后，例如图3的符号A2、A3等表示的大致矩形状的范围成为取得的摄影图像的摄影范围。这样，与设定成比较广的范围的全摄影范围相比，摄影者100指示的摄影范围变小，因此取得的摄影图像存在如下问题。例如，即使照相机10的摄像部12采用的摄像元件的像素数，即全摄影范围的分辨率足够高，由于从其中指示的摄影范围变窄，因此最终取得并记录的摄影图像也成为低分辨率，从而，根据情况，可能获得不适合于印刷打印的劣化图像。具体地说，例如，近年的照相机中，摄像元件的有效像素数设定为约1000万 1600万像素的程度的照相机已经普遍普及。另一方面，进行通常质量的印刷打印，或进行大画面显示所需的像素数一般为200万像素程度(与高清晰电视图像同等的图像尺寸)。从而，例如全摄影范围的分辨率为1000万像素的照相机的场合，指示的摄影范围若为1/9程度的面积，则这样只能形成100万像素程度的图像数据。因而，在指示的摄影范围的图像数据为这样低分辨率的场合，通过对该图像数据进行超分辨率处理部Ilc的补全处理等超分辨率处理(上述(4)项的处理)，变换为印刷打印和放大显示所需的最低限度的图像数据。从而，在摄影范围小的场合，可以防止画质劣化。另外，作为超分辨率处理的一例，例如，也可以通过多次的连续摄影取得多幅摄影数据，对这些多个图像进行重合处理等而进行图像数据的补全。另外，该场合中，在记录部14中记录的图像数据可以仅仅记录上述重合处理的结果的图像数据(一个)，也可以记录仅仅多个图像数据，也可以记录多个图像数据和重合处理结果的图像数据两方。另一方面，在摄影时，如上所述，摄影者100向照相机10的前方伸手，进行上述的手势。该场合中，摄影者100的手指形成的大致L字形状100a、IOOb包含在照相机10的全摄影范围Al内。通过解析该手势，确定摄影范围和摄影定时等。从而，为此在本照相机10中也必须确保摄像部12的广视野。另一方面，本实施方式的照相机10中，作为摄影者100进行的范围指示用的手势，如上述，例示了用两手的手指等形成大致L字形状，使该2个L字形状位于假定了期望的摄影范围的大致矩形状的对角的手势。
接着，以下用图4 图6说明本实施方式的照相机10摄影时的作用的详细情况。图4是示出本照相机10的照相机控制主程序的流程图。图5是示出图4的步骤S126的处理的子例程的流程图。图6是示出图4的步骤S112的处理的子例程的流程图。首先，在照相机10的电源为接通状态时，图4的步骤SlOl中，信号处理&控制部11确认设定的动作模式是否为摄影模式。这里，当确认了设定为摄影模式时，进入后续步骤S102的处理。另外，在设定了摄影模式以外的动作模式的场合，进入步骤S131的处理。步骤S102中，信号处理&控制部11确认是否设定为摄影模式时的动作模式中的无取景摄影模式。这里，无取景摄影模式是指不确认在显示部18上显示的实时取景显示等而执行摄影动作的场合的动作模式。该步骤S102的处理中，在设定了无取景摄影模式的场合，进入后续的步骤Slll的处理。另外，在未设定无取景摄影模式的场合，即设定为通常摄影模式的场合，进入步骤S103的处理。从该步骤S103的处理起到步骤S108为止的处理程序是与传统的照相机中通常进行的通常摄影模式大致同样的程序，是与本发明无直接关联的部分，因此仅仅简单说明。S卩，步骤S103中，信号处理&控制部11控制摄像部12、显示部18，执行实时取景显示处理。接着，步骤S104中，信号处理&控制部11根据来自高度&位置信息取得部13的输出，取得本照相机10的高度信息、纬度、经度等的位置信息。接着，步骤S105中，信号处理&控制部11进行来自操作部(未图示)中的使摄影开始指示发生的快门释放开关的指示信号的确认。这里，在确认了摄影开始指示信号的场合，进入后续的步骤S106的处理。另外，未确认摄影开始指示信号的场合，进入步骤S108的处理。步骤S106中，信号处理&控制部11控制摄像部12、显示部18等，执行预定的摄影动作处理。接着，步骤S107中，信号处理&控制部11控制记录部14，取得上述的步骤S106的处理结果，执行暂时存储的图像数据的记录保存处理(图像文件化处理)。步骤S108中，信号处理&控制部11确认来自电源开关的接通断开信号的输出。这里，在确认了电源断开信号的场合，进入后续的步骤SllO的处理。另外，在未确认到电源断开信号的场合，进入步骤S109的处理。步骤S109中，信号处理&控制部11进行接受动作模式的变更操作的模式变更操作受理处理。从而，照相机10成为摄影待机状态。然后，返回步骤SlOl的处理，反复进行以后的处理。步骤SI 10中，信号处理&控制部11接受上述的步骤S108的处理中的电源断开信号，执行将电源状态切换为断开状态的电源断开处理。然后，结束一系列处理程序(结束)。另一方面，以下说明在上述的步骤SlOl的处理中确认了设定动作模式是摄影模式以外的模式时进入步骤S131的处理时的处理程序。另外，图4中的从步骤S131的处理到步骤S135的处理为止的处理程序是与本发明无直接关联的部分，因此仅仅简单说明。步骤S131中，信号处理&控制部11确认设定的动作模式是否为再现模式。这里，当确认了设定为再现模式后，进入后续的步骤S132的处理。另外，在设定为再现模式以外的动作模式的场合，转移到与对应的其他动作模式相应的处理程序。另外，本实施方式中，其他动作模式的说明省略。步骤S132中，信号处理&控制部11控制记录部14、显示部18，读出记录部14中已记录的图像数据，执行用显示部18进行已记录的图像数据的一览显示的显示处理。然后， 进入步骤S133的处理。步骤S133中，信号处理&控制部11确认是否选择了再现用图像数据。例如，照相机10的使用者用对应的操作部件(未图示)进行用于选择期望再现的图像数据的预定的操作后，生成再现图像数据选择指示信号。信号处理&控制部11监视该指示信号。然后，在确认了在上述的步骤S133的处理中选择了再现用图像数据后，进入后续的步骤S134的处理。另外，未确认该数据的选择操作的场合，进入后续的步骤S135的处理。步骤S134中，信号处理&控制部11控制记录部14，读入与在上述的步骤S133的处理中确认的再现用图像数据选择指示信号对应的选择图像数据，控制显示部18，执行对应图像的再现显示处理。然后，返回上述的步骤S131的处理，反复进行以后的处理。步骤S135中，信号处理&控制部11确认是否生成了使再现模式处理结束的指示信号。这里，在确认了结束指示信号的场合，进入步骤S108的处理。另一方面，在上述的步骤S102的处理中确认了无取景摄影模式的设定，进入后续的步骤Slll的处理后，在该步骤Slll中，信号处理&控制部11控制摄像部12，执行定期的拍摄动作。这里进行的拍摄动作是指由摄像部12进行的包含光电变换处理等在内的一系列处理，但是，在该步骤Slll的处理中的拍摄动作中，不伴随记录部14的记录处理和显示部18进行的实时取景显示处理。另外，一般的拍摄动作以例如30fps或60fps等间隔进行，但是在该步骤Slll的处理中的拍摄动作中，例如可以以上述一般的间隔以下的短间隔定期进行，也可以以一般的拍摄间隔定期进行。步骤SI 12中，信号处理&控制部11执行预定形状手指图像判定处理。该预定形状手指图像判定处理是指通过图像解析识别出形成预定形状(例如大致L字形状；参照图2)的摄影者100的手指等侵入到基于摄像部12可取得的图像数据的全摄影图像内的情况，而且判定该手指等在图像内的位置的处理。从而，判定摄影者指示的摄影范围。另外，该预定形状手指图像判定处理的详细如图6的子程序所示(详细说明后述)。然后，进入步骤SI 13的处理。这里，本实施方式的照相机10中，通过图4的步骤S112的处理(预定形状手指图像判定处理；参照图6)和图4的步骤S113的处理 步骤S127的处理(包含图5的子例程(图4的步骤S126))，手势解析部Ila根据由摄像部12取得的图像数据执行图像解析处理，进行无取景摄影模式时的摄影。另外，作为该无取景摄影模式时的摄影状况，假定了上述图2所示的状况。另外，图7 图15中，进一步详细示出了上述的图2所示的状况。图7表示图2的状况中的摄影者100和照相机10和被摄体101 (图2中未图示)的位置关系的概略。该场合中，被摄体101以与摄影者100面对的方式存在于从该摄影者100分离开的位置上。照相机10配置在摄影者100和被摄体101之间的空间中接近摄影者100的位置。详细地说，照相机10配置在摄影者100的手可到达的范围内。图7所示各符号如下。即，设为Dl :从摄影者100到摄影者100的手指100a、IOOb的距离D2 :从摄影者100到被摄体101的距离Tl :摄影者100的手指100a、IOOb指示的摄影范围的纵向(Y轴方向)的画面尺寸T2 :被摄体101上与上述尺寸Tl对应的摄影区域的纵向(Y轴方向)的尺寸A H :照相机10的摄影镜头中心轴(光轴)01和摄影者100的视线的延长轴(摄影范围中心)02之间的位置偏移尺寸(垂直方向(Y轴方向)的隔开距离)9:由指示的摄影范围规定的(画面纵向(Y轴方向)的)摄影视场角。以这样的状况进行摄影时，摄影者100通过使用手指的手势所指示的摄影范围自然成为大致以该摄影者100的视线的延长线为中心，从摄影者100隔开预定距离的空间上的大致矩形状的范围(例如，参照图7中符号Gl)。此时，为了利用由摄像部12取得的图像数据来识别由摄影者100的手指的手势指示的摄影范围，手指等必须包含在全摄影范围内。如上所述，图2、图7所示状况中，摄影者100在伸出两手的状态下形成2个大致L字形状100a、100b，利用任意配置这2个大致L字形状100a、IOOb的手势来指示摄影范围。从而，摄影者100作出指示上述摄影范围的手势时，以摄影者100的手指等包含在该照相机10的摄像部12的全摄影范围内为前提。为此，本实施方式的摄影镜头也需要采用如上所述视场角比较广的光学系统。另一方面，图2、图7所示状况中，如上所述，照相机10成为保持在摄影者100的胸前附近的状态，因此，在可由该照相机10摄影的全摄影范围的中心轴(光轴)01与摄影者100的视线的延长轴(摄影范围中心)02之间，在图2的箭头Y方向上，产生由图7的符号AH表示的位置偏移。作为该符号AH表示的位置偏移尺寸，例如当用颈带保持照相机10时，可以假定为AH=约40cm程度。另外，由该符号A H表示的位置偏移可以如下表示。例如，图8(A)所示的状况表示了用手保持照相机10，在摄影者100的视线的延长线上配置照相机10的显示部而构成的通常摄影时的状况。另外，图8 (A)所示符号HO表示照相机10本身离地面的高度尺寸。另一方面，图8(B)所示的状况表示了用紧固夹板等将照相机10保持在摄影者100的胸前附近的无取景摄影时的状况。根据该状况，上述位置偏移尺寸AH是图8(A)所示一般的通常摄影时的状况下的照相机位置与图2、图7、图8(B)所示的本实施方式的无取景摄影状况下的照相机位置、(HO-AH)的高度差尺寸。这里，图8 (A)的通常照相机位置HO和图8 (B)的无取景摄影的照相机位置也可以设为根据来自高度&位置信息取得部13的输出而取得的各自位置上的照相机10的高度信息，将两者的差作为高度差尺寸AH。该场合，通常照相机位置HO的高度信息在特定摄影者和特定照相机的组合中考虑设为预定的信息即可，因此也可以预先设定。但是，用照相机10进行摄影时，摄影者除了以站立状态进行摄影的状况外，或坐或蹲地进行摄影等照相机的高度发生变动是经常有的事情。从而，在根据来自高度&位置信息取得部13的输出，设定照相机光轴01和视线轴02的高度差的场合，优选采用最高位置。这样，可以设定照相机10的光轴01和摄影者100的视线轴02的差AH。另一方面，手指指示的摄影范围和实际的被摄体上的摄影范围中，Dl Tl = D2 T2 的关系成立。由此，可导出D1XT2 = D2XT1T2 = D2XT1/D1的关系。而且，O arctanTl/Dl。从而，为了检测手指的位置，必须求出上述距离信息D1、T1。而且，到被摄体101的距离D2可以根据例如焦点调节动作的信息求出。图9是放大表示图2、图7、图8 (B)的状况(无取景摄影)中的摄影者的视线和照相机光轴的关系的概念图。图9中，摄影者100的眼睛用符号IOOc表示，照相机10的摄像部12中符号12a表示摄像元件，符号12b表示摄影镜头。图9中，伸手时的手指和摄影镜头12b的隔开距离Dl假定为例如约40Cm程度。另夕卜，照相机光轴01和视线轴02的距离(AH)如上所述假定为约40cm程度。该场合，摄影范围由摄影者100用手指IOOaUOOb指示，但是该场合的两手指IOOaUOOb之间的垂直方向(Y轴方向)的间隔未成为大的距离(几cm程度)。从而，照相机光轴01和上侧的手指IOOa的距离可以假定为与上述AH =约40cm大致相等。由此，照相机光轴01与从手指IOOa入射的光束的角度为45度以上，因此，作为照相机10的摄影镜头12b的摄影视场角，可以假定为约90度。另外，视场角约90度在采用例如35mm幅度的胶片的照相机(摄影画面36mmX24mm)的场合，与焦距20mm程度的镜头的视场角相当。因而，本照相机10中，例如摄影镜头12b的焦距若设为F = 4mm，则摄像元件12a的纵向(Y轴方向)的尺寸YO (图9)必须为YO彡8mm。这里，图10是在图9的场合中，考虑采用将与光轴01及视线轴02相同的方向设为Z轴，与该Z轴正交的垂直方向的轴设为Y轴(也参照图2)的座标轴。图9、图10的状态中，来自手指100a、IOOb的光束入射到摄影镜头12b，在摄像元件12a的受光面上成像。从而，摄像元件12b进行光电变换，输出对应的图像数据。若在图10的座标轴上考虑该情况，则可以根据摄像元件12a的受光面上的像的大小，求出手指和照相机之间的距离Zl的概略值(详细后述。参照图11、图12)。而且，根据这样求出的Zl和摄影镜头12b的焦距F(即摄影镜头12b和摄像元件12a的受光面间距离)和手指的像在受光面上的位置(画面中心=光轴Ol到像位置为止的距离)Y1、Y2，可以求出图10的座标轴上的Y轴上的手指的位置(手指的Y座标)Y3、Y4。这里，为了求出上述Zl的概略值，进行如下处理。图11、图12概念地表示了图2等的状况下的一个手指IOOa和该手指IOOa经由摄影镜头12b在摄像元件12a的受光面上成像的状态。另外，图11是从摄影镜头12b、摄像元件12a的前面侧观察时的概念图，图12是在用X轴及Z轴表示的座标轴观察图11时的概念图。这里，设为摄影者100的手指IOOa的食指部分的实际的长度尺寸=符号AX1。该场合，手指IOOa经由摄影镜头12b在摄像元件12a的受光面上成像。此时的该受光面上成像的手指像IOOaa的食指部分的长度尺寸=AX2。如上所述，若设摄影镜头12b和摄像元件12a的隔开距离(焦距)为F，从摄影镜头12b到手指IOOa的隔开距尚为Zl,则两者的关系可以由Zl = FX A Xl/ A X2表不。该场 合，也可以设为近似为Zl Dl (图7)。这里，例如假定食指的长度AXl =约8cm(成人手指的食指长度的平均值)，则上述F、AX2已知，因此上述Zl容易求出。例如考虑设为F = 4_、摄像元件12a的横幅尺寸XO (图11、图12) = 12_，手指像的长度A X2在画面横向(X轴方向)上为1/15的场合，A X2 = 0. 8mm的像长度。因而，根据上式，Zl = FX A Xl/A X2= 4X80/0. 8 (mm)= 400mm = 40cm另外，手指IOOa的成像位置在摄像元件12a的受光面上位于周边部附近位置，因此也可以考虑图像失真等的影响。这样，求出Zl = 40cm，从而，可以求出图10的Y座标Y3、Y4。即，Y3 = Y1XZ1/FY4 = Y2XZ1/F。从而，手指的Y轴方向的间隔Tl可以求出为Tl = Y4-Y3= (Y1-Y2) XZ1/F这样，通过求出摄影者100指示的2个手指100a、IOOb的位置，可以算出指示的摄影范围的视场角9。图13是对摄影者指示的摄影范围进行无取景摄影时的情形的概念图。如图13所示，照相机10以成为算出的视场角9的方式进行摄影镜头12b的变焦(光学变焦或电子变焦)，拍摄成为摄影对象的被摄体101的预定的摄影区域T2。但是，该场合中，考虑光轴01和视线轴02的高度差(位置偏移)AH，必须对比视线低的位置处的照相机10的光轴01设置仰角。这里，到被摄体101的距离=D2时的仰角Acp通过
A(p=arctanAH/D2
求出。另外，在用上述的图11的说明中，手指和照相机间的距离Zl作为成人手指的平均长度(食指长度AXl ^ 8cm)求出。同样，在被摄体101为人物的场合，为了求出到被摄体的距离D2，也可以利用成人的脸的大小的平均值来求出。例如，若设图13所示被摄体101的脸的纵向(Y轴方向)的长度尺寸=K1，与其对应的摄像元件上的脸的像的长度尺寸=K2，则D2 = FXK1/K2另外，该场合，若利用近年实用化的脸检测功能，则可以容易识别被摄体是否为人。另一方面，在成为被摄体的摄影范围内不存在人而仅仅存在风景的场合，到被摄体的距离D2也可以采用足够大的值，例如IOm等的数值。
·
按照图4的流程图说明以上说明的情况。首先，图4的步骤S113中，信号处理&控制部11的手势解析部11a、范围判定部Ilb进行手指的长度AXl的判定，根据该判定结果AXl算出手指和摄影镜头12b的隔开距离D1。接着，步骤S114中，信号处理&控制部11求出手指的位置Y3、Y4，并根据该结果算出手指的Y轴方向的间隔Tl。接着，步骤S115中，信号处理&控制部11根据通过上述的步骤S113、S114的处理分别算出的D1、Tl，算出摄影范围的Y轴方向的摄影视场角(P。步骤S116中，信号处理&控制部11确认被摄体是否为人。该场合的确认采用例如未图示的脸识别技术。这里，在摄影范围的图像中确认了人脸的场合，进入步骤S121的处理。另外，未确认到人脸的场合，进入步骤S117的处理。步骤SI 17中，信号处理&控制部11设定摄影时的仰角A(p=0，进入步骤S124的处理。另外，步骤S121中，信号处理&控制部11对通过上述的步骤S116的处理所确认的人脸算出脸尺寸，即纵向(Y轴方向)的长度尺寸，根据该算出结果，算出到被摄体的距离D2。接着，步骤S122中，信号处理&控制部11判定与通常摄影时的高度差，算出该高度差AH0接着，步骤S123中，信号处理&控制部11根据通过上述的步骤S122的处理算出的高度差八11，算出仰角八9。接着,步骤S124中，信号处理&控制部11为了设定摄影定时，确认在摄影图像内是否重叠摄入了手指的图像。这里，在有手指图像的场合，进入步骤S125的处理。另外，在无手指图像的场合，进入步骤S127的处理。接着，步骤S127中，信号处理&控制部11执行用于取得设定了仰角AqK视场角9的图像的摄影动作。然后，进入步骤S107的处理。以下的处理同样。步骤S125中，信号处理&控制部11进行警告处理。作为该警告处理，用显示部18进行预定的警告显示，例如进行手指被摄入摄影图像范围内的警告显示等。然后，进入步骤S126的处理。
步骤S126中，信号处理&控制部11再度进行摄影范围内的手指图像的确认(无手指判定)，然后，在预定时间后，执行用于取得设定了仰角A(P、视场角9的图像的摄影动作。然后，进入步骤S107的处理。以后的处理同样。这里，以下通过图5的子例程说明上述图4的步骤S126的处理的详细情况。如上所述，图4的步骤S126的处理是在无手指判定的2秒后，取得以仰角Acp为中心的9的图像的处理。S卩，步骤S201中，信号处理&控制部11进行在指示的摄影范围内是否有手指图像的确认(手指存在与否的判定)，在摄影范围内无手指图像(无手指)的场合，进入步骤S210的处理，该步骤S210中，信号处理&控制部11参照自身的内部时钟(未图示)，待机直到经过2秒为止，经过2秒后(无手指判定的2秒后)，执行步骤S211起的处理，即以仰角A9为中心的9的图像取得处理(与步骤S127的处理同样的处理)。
此时的全摄影范围的图像的概念图如图14所示。图14中，符号Al所示的全摄影范围框内，图示了表示摄影者用手指IOOaUOOb指示摄影范围的状况的手指图像和表示由此指示的摄影范围的框AX。图14中，表示了手指图像侵入到摄影范围框AX内的状态。这样的状况下，若执行摄影动作，则将拍摄到摄影者的手指等，会变得不合适。因而，在这样的场合，如上所述，确认摄影者的手指是否处于摄影范围内等，在处于摄影范围内的场合将手指等从该范围内除去后，在经过预定时间后的定时执行实际的摄影动作(快门释放)。从而，可以可靠地取得仅指定的摄影范围的图像数据。步骤S211中，信号处理&控制部11确认与由摄影者100指示的摄影范围对应的视场角(P。这里，在视场角9小于画面内的1/9的场合(视场角9<画面内的1/9)，进入步骤S212的处理。另外，在视场角9为画面内的1/9以上的场合(视场角忙画面内的1/9)，进入步骤S214的处理。步骤S214中，信号处理&控制部11执行I次摄影动作处理，然后，返回原来的处理(返回)。另一方面，步骤S212中，信号处理&控制部11连续地执行4次摄影动作处理。接着，步骤S213中，信号处理&控制部11进行通过上述的步骤S212的处理得到的由4次摄影获得的图像数据的重合处理，然后返回原来的处理(返回)。上述的步骤S211 S212的处理是由摄影者100指示的摄影范围相对于全摄影范围比较小的场合进行的图像数据补全处理的一例。该流程图中，在指示的摄影范围小的场合，进行多次(本实施方式中4次)的连续摄影，通过对获得的多个图像进行重合处理，来补全图像。作为该重合处理的结果获得的图像数据记录在记录部14。另外，该场合，记录在记录部14中的图像数据可以仅仅是重合处理的结果的图像数据，也可以仅仅是多个图像数据，也可以记录两方的图像数据。该补全处理不限于该例，例如在指示的摄影范围小的场合也可以设为仅仅进行一次摄影，对该低分辨率的图像数据执行超分辨率处理部Ilc的补全处理等。另一方面，在上述的步骤S201的处理中，确认了摄影范围内存在手指图像的场合，进入步骤S202的处理，该步骤S202中，信号处理&控制部11参照自身的内部时钟(未图示)，进行是否经过了 30秒的确认。这里，在经过30秒之前，反复进行上述的步骤S201起的处理，经过了 30秒后，进入后续的步骤S203的处理。
步骤S203中，信号处理&控制部11进行警告处理。该警告处理可以采用显示部18进行预定的警告显示，例如进行手指被摄入摄影图像范围内的警告显示等。然后，返回步骤S201的处理，反复进行以后的处理。接着，以下通过图6的子例程说明上述图4的步骤S112的处理，即预定形状手指图像判定处理的详细情况。步骤S301中，信号处理&控制部11确认在摄像部12的摄像元件的全摄影范围内是否有来自画面的左右方向的侵入物。与此时的状况对应的概念图如图15所示。图15中，符号Al表示的框表示本照相机10的全摄影范围。假定了相对于该全摄影范围Al，从该画面的左右方向即箭头X1、X2方向存在侵入物的情况。图15所示例中，表示了手指100a、IOOb分别形成大致L字形状时的手势。而且，本照相机10中，如上所述，也可以考虑用于指示摄影范围的手指等从画面上端附近侵入。在该步骤S301的处理中，当确认了有侵入物时，进入后续的步骤S302的处理。另 夕卜，未确认到侵入物的场合，进入步骤S317的处理，在该步骤S317中，信号处理&控制部11判断为在全摄影范围内未检测到手指等(无手指判定)，返回原来的处理(返回)。步骤S302中，信号处理&控制部11确认在上述步骤S301的处理中确认的画面内的侵入物是否停止。这里，在确认了侵入物停止的场合，进入后续的步骤S303的处理。另夕卜，未确认到侵入物停止的场合，进入步骤S317的处理，该步骤S317中，信号处理&控制部11认为侵入物不是手指等(无手指判定)，返回原来的处理(返回)。步骤S303中，信号处理&控制部11开始侵入物的形状比较处理。该侵入物形状比较处理通过例如手势解析部Ila等进行。首先，步骤S304中，信号处理&控制部11的手势解析部Ila进行从画面右方向(箭头XI)侵入的右侧侵入物的左端部的判定处理。图15所示例中，右侧侵入物是手指IOOa0该步骤中的判定处理进行图15的符号IOOax表示的位置，即手指IOOa的食指前端部位的判定。接着，步骤S305中，信号处理&控制部11的手势解析部Ila进行画面上侧存在的侵入物的下端部的判定处理。图15所示例中，画面上侧存在的侵入物是手指100a。该步骤中的判定处理进行图15的符号IOOaw表示的位置即手指IOOa的拇指前端部位的判定。同样，步骤S306中，信号处理&控制部11的手势解析部Ila进行从画面左方向(箭头X2)侵入的左侧侵入物的右端部的判定处理。图15所示例中，左侧侵入物是手指IOOb0该步骤中的判定处理进行图15的符号IOObx表示的位置即手指IOOb的食指前端部位的判定。接着，步骤S307中，信号处理&控制部11的手势解析部Ila进行画面下侧存在的侵入物的上端部的判定处理。图15所示例中，画面下侧存在的侵入物是手指100b。该步骤中的判定处理进行图15的符号IOObw表示的位置即手指IOOb的拇指前端部位的判定。接着，步骤S311中，信号处理&控制部11确认将图15所示右侧侵入物IOOa的左端部IOOax延长得到的直线Xll与将画面下侧侵入物IOOb的上端部IOObw延长得到的直线Yll是否交叉。这里，确认为交叉的场合，进入步骤S312的处理。另外，未交叉的场合，进入步骤S313的处理。步骤S312中，信号处理&控制部11确认将图15所示左侧侵入物IOOb的右端部IOObx延长得到的直线X12与将画面上侧侵入物IOOa的下端部IOOaw延长得到的直线Y12是否交叉。这里，确认为交叉的场合，进入步骤S315的处理。另外，未交叉的场合，进入步骤S313的处理。步骤S313中，信号处理&控制部11确认将图15所示右侧侵入物IOOa的左端部IOOax延长得到的直线Xll与将画面上侧侵入物IOOa的下端部IOOaw延长得到的直线Y12是否交叉。这里，确认为交叉的场合，进入步骤S314的处理。另外，未交叉的场合，进入步骤S317的处理，该步骤S317中，信号处理&控制部11认为未判定到手指等(无手指判定)，返回原来的处理(返回)。步骤S314中，信号处理&控制部11确认将图15所示左侧侵入物IOOb的右端部IOObx延长得到的直线X12与将画面下侧侵入物IOOb的上端部IOObw延长得到的直线Yll是否交叉。这里，确认为交叉的场合，进入步骤S315的处理。另外，未交叉的场合，进入步骤S317的处理，该步骤S317中，信号处理&控制部11认为未判定到手指等(无手指判定)，返回原来的处理(返回)。 步骤S315中，信号处理&控制部11在设为左侧交叉点X21 (即直线Xll与直线Yll的交点X21)与右侧侵入物IOOa的左端部IOOax的距离=XL，右侧交叉点X22(即直线X12与直线Y12的交点X22)与左侧侵入物IOOb的右端部IOObx的距离=XR时，确认是否距离XL 距离XR。这里，在XL XR的场合，判断为有手指判定。然后，返回原来的处理(返回)。另外，XL ^ XR不成立的场合，进入步骤S317的处理，该步骤S317中，信号处理&控制部11认为未判定到手指等(无手指判定)，返回原来的处理(返回)。如以上说明，根据上述第I实施方式，尽管是通常形态的摄影设备，即使不手持摄影设备而通过例如颈带、夹子等便携保持的状态下，摄影者通过在摄影设备的前方(该摄影设备的全摄影范围内)作出预定的手势来取代操作摄影设备的操作部件，也可以获得反映摄影者的意图的构图，且可以在期望的定时执行摄影，因此可以获得反映摄影者意图的摄影结果。另外，摄影者通过利用手势任意指定期望的摄影范围，从摄影设备的全摄影范围内取出指定的范围的图像。该场合，在取出指示的摄影范围的图像时，除了进行摄影镜头的变焦(光学变焦)的手段外，还可以考虑进行图像切出处理及放大补全处理等并进行电子变焦处理的手段等各种构成。另外，当然本发明不限于上述实施方式，在不脱离发明的主旨的范围内可以实施各种变形、应用。而且，上述实施方式包含各种等级的发明，通过公开的多个构成要件的适宜组合，可以提取获得各种发明。例如，即使从上述一实施方式所示的全部构成要件中削除几个构成要件，也可以解决发明要解决的问题，为了获得发明的效果，削除该构成要件的构成也可以作为发明提取出。本发明不限于数字照相机等作为专用于摄影功能的电子设备的摄影设备，也可以适用于具备摄影功能的其他形态的电子设备，例如便携电话、录音设备、电子手册、个人电脑、游戏设备、电视机、时钟、利用GPS(Global Positioning System)的导航设备等各种的带摄影功能的电子设备。
权利要求
1.一种摄影设备，其特征在于，具备 具备摄像元件及摄影镜头的摄像部； 控制设备全体的控制单元； 根据由上述摄像部取得的图像数据，进行手势解析的手势解析部； 根据上述手势解析部的数据解析结果，判定上述摄像部的全摄影范围中的部分摄影范围的范围判定部; 记录与由上述范围判定部判定出的摄影范围对应的图像数据的记录部， 上述控制单元记录 在该设备前方检测到的该设备使用者的手指形状及其位置信息； 上述摄像部的位置与该设备使用者的视线位置的距离信息； 由上述设备使用者的手指形状及位置信息指示的摄影范围的被摄体。
2.根据权利要求I所述的摄影设备，其特征在于， 上述摄影设备还具备检测通常摄影时与无取景摄影时的高度变化的高度信息取得单元， 上述控制单元根据由上述高度信息取得单元取得的高度信息，设定无取景摄影时的摄影区域。
3.根据权利要求I所述的摄影设备，其特征在于， 上述控制单元根据由上述范围判定部判定出的摄影范围信息，切换摄影次数。
4.根据权利要求3所述的摄影设备，其特征在于， 上述控制单元在由上述范围判定部判定出的摄影范围与上述摄像部的全摄影范围相比足够小的场合，进行多次的摄影，并进行由此获得的多个图像的重合处理。
5.一种图像数据的记录方法，其特征在于，包含 由摄像部取得包含使用者的手势的图像数据的拍摄步骤； 根据由上述摄像部取得的图像数据进行图像解析处理的解析步骤； 根据上述图像解析处理的结果，判定由上述摄像部取得的图像数据中的与使用者的手势对应的摄影范围的判定步骤； 从由上述摄像部取得的图像数据的全摄影范围取得由上述判定步骤判定出的摄影范围的图像数据的图像取得步骤； 对由上述图像取得步骤取得的图像数据实施数据处理的超分辨率处理步骤； 记录通过上述超分辨率处理步骤处理完毕的图像数据的记录步骤。
全文摘要
本发明提供摄影时摄影者不必手持摄影设备或者操作各种操作部件就可以获得期望的摄影的通常形态的摄影设备及图像数据的记录方法。具备具备摄像元件及摄影镜头的摄像部(12)；控制设备全体的控制单元(11)；根据由摄像部取得的图像数据，进行手势解析的手势解析部(11a)；根据手势解析部的数据解析结果，判定摄像部的全摄影范围中的部分摄影范围的范围判定部(11b)；记录与范围判定部判定出的摄影范围对应的图像数据的记录部(14)，控制单元记录在设备前方检测到的设备使用者的手指形状及其位置信息；摄像部的位置与设备使用者的视线位置的距离信息；由设备使用者的手指形状及位置信息指示的摄影范围的被摄体。
文档编号H04N5/225GK102761684SQ201210045508
公开日2012年10月31日 申请日期2012年2月24日 优先权日2011年4月28日
发明者伊藤健世, 堀江健一, 松音英明, 福谷佳之, 野中修 申请人:奥林巴斯映像株式会社