摄像控制装置、摄像控制方法以及存储介质与流程

文档序号:16466629发布日期:2019-01-02 22:49阅读:193来源:国知局
摄像控制装置、摄像控制方法以及存储介质与流程

本发明涉及用于进行与摄像相关的控制的摄像控制装置、摄像控制方法以及存储介质。



背景技术:

以往,作为摄像装置,已知有根据各种传感器信息进行自动摄像的摄像装置。

例如,在日本特开2016-072673号公报中公开了如下内容:收容在与摄像部不同的框体中,在与摄像部无线连接的可携带的装置中设置传感器部,根据该传感器部测定的测定结果来自动地控制摄像部的摄像定时。

本发明所要解决的问题

在上述的专利文献中,公开了在使用传感器检测到某个决定的传感器值时进行自动摄像的技术。

但是,希望进行自动摄像的定时不一定一致,如专利文献1所公开的技术那样在一致的条件下执行自动摄像的结构对于用户来说有时欠缺便利性。



技术实现要素:

本发明是鉴于这样的状况而作出的,本发明的目的在于,在适于用户的条件下自动进行图像的取得。

本发明提供一种摄像控制装置,其特征在于,具备:

检测机构,检测用户对记录机构的摄像数据取得操作;

取得机构,基于所述摄像数据取得操作的检测,取得与用于自动取得摄像数据的触发相关的观测信息;

设定机构,根据检测到所述摄像数据取得操作时的所述观测信息,设定用于自动取得摄像数据的阈值;以及

控制机构,根据所述观测信息的阈值,进行用于自动取得摄像数据的控制。

本发明还提供一种摄像控制方法,是摄像控制装置执行的摄像控制方法,其特征在于,

检测步骤,检测用户对记录机构的摄像数据取得操作;

取得步骤,基于所述摄像数据取得操作的检测,取得与用于自动取得摄像数据的触发相关的观测信息;

设定步骤,根据检测到所述摄像数据取得操作时的所述观测信息,设定用于自动取得摄像数据的阈值;以及

控制步骤,基于所述观测信息的阈值,进行用于自动取得摄像数据的控制。

本发明还提供一种存储有摄像控制程序的存储介质,其特征在于,

该摄像控制程序在控制摄像控制装置的计算机中实现如下功能:

检测功能,检测用户对记录机构的摄像数据取得操作;

取得功能,基于所述摄像数据取得操作的检测,取得与用于自动取得摄像数据的触发相关的观测信息;

设定功能,根据检测到所述摄像数据取得操作时的所述观测信息,设定用于自动取得摄像数据的阈值;以及

控制功能,根据所述观测信息的阈值,进行用于自动取得摄像数据的控制。

发明效果

根据本发明,能够在适合于用户的条件下自动地进行图像的取得。

附图说明

图1是表示本发明的实施方式的自动摄像系统的结构的系统结构图。

图2是表示本发明的实施方式的自动摄像系统的处理的概要的变化图。

图3是表示本发明的实施方式的摄像装置的硬件结构的框图。

图4是表示本发明的实施方式的控制装置的硬件结构的框图。

图5是表示本发明的实施方式所涉及的控制装置的功能性构成中的执行行动推定处理和学习处理的功能性结构的功能框图。

图6是表示本发明的实施方式的控制装置和摄像装置的行动推定处理和学习处理时的动作的时序图。

图7是表示本发明的实施方式的控制装置的行动推定处理时的动作的流程图。

图8是表示本发明的实施方式的控制装置的学习处理时的动作的流程图。

图9是表示本发明的实施方式的变形例1至变形例3的系统结构的系统结构图。

图10是表示本发明的实施方式的变形例3的便携终端装置的硬件的结构的框图。

图11是表示用于执行本发明的实施方式的变形例6的摄像装置的功能性结构中的行动推定处理以及学习处理的功能性结构的功能框图。

具体实施方式

以下,使用附图对本发明的实施方式进行说明。

[系统结构]

图1是表示本发明的一个实施方式的自动摄像系统s的结构的系统结构图。如图1所示,自动摄像系统s包括摄像装置10和控制装置20地构成。摄像装置10以及控制装置20分别例如被作为自动摄像系统s的用户的用户50使用。

摄像装置10通过能够进行自动摄像的照相机来实现,例如佩戴在用户50的身上被使用。例如,摄像装置10在摄像部的镜头安装在朝向成为摄像对象的被摄像体上这样的位置的状态下被使用。

控制装置20通过具备用于测定用户50的动作的传感器的可佩戴终端来实现,佩戴在用户50的身上来使用。例如,控制装置20为了测定用户50的躯干的运动,安装在用户50的腰上来使用。

摄像装置10和控制装置20以能够通信的方式连接。摄像装置10和控制装置20之间的通信例如通过基于蓝牙(注册商标)lowenergy(以下,称为“ble”)的通信、基于wi-fi(wirelessfidelity)的通信来实现。

在自动摄像系统s中,与用户50的动作对应地进行自动摄像。为此,自动摄像系统s设定“触发动作”。然后,自动摄像系统s在用户50的动作中检测到该触发动作的情况下进行自动摄像。

这样,在本实施方式中,基于与用户50的动作对应地设定的触发动作执行自动摄像。因此,在本实施方式中,可以在适合用户的条件下进行自动摄像。

[状态变化]

对于该自动摄像系统s中的自动摄像时,参照图2的状态变化图进行说明。另外,图1中图示了用户50,因此在上述的说明书中的说明中也记载为“用户50”,但在以下的说明中省略标号,仅简称为“用户”。

作为进行自动摄像的前提,摄像装置10和控制装置20在无线连接时进行时刻的同步。另外,摄像装置10和控制装置20定期地双向交换时刻信息,由此始终维持时刻的同步。在该情况下,摄像装置10和控制装置20例如使用基于sntp(simplenetworktimeprotocol)进行时刻的同步。

在本实施方式中,摄像装置10和控制装置20进行的处理分为“学习处理”和“行动推定处理”这两个处理。这里,在学习处理中,学习用于检测触发动作的信息即“触发动作检测用信息”。另外,在行动推定处理中,使用学习的触发动作检测用信息检测触发动作,以检测出该触发动作为契机执行自动摄像。

以下,对这两个处理分别进行说明。另外,这两个处理不一定需要交替地进行,有时在连续进行任一方的处理之后,再进行另一方的处理。

首先,对用于学习触发动作检测用信息的学习处理进行说明。

在状态s1下,用户在任意的定时与规定的动作一起进行摄像装置10的快门操作。对规定的动作没有特别限定,例如,以规定的动作移动某一个臂,也可以是进行跳跃等动作。快门操作例如是通过手动(手动操作)按下摄像装置10所具备的快门按钮来进行的。

接受了快门操作的摄像装置10执行手动摄像。当进行手动摄像时,变化到状态s2。

在状态s2下,摄像装置10对控制装置20发送作为执行了手动摄像的时刻的手动摄像时刻。控制装置20根据该手动摄像时刻的n秒(n为任意的正值)前到手动摄像时刻之间测定的n秒期间的传感器的测定数据,学习触发检测用信息。当学习结束时,变化到状态s3。

在状态s3中,控制装置20基于学习的结果来更新触发动作检测用信息。由此,学习处理结束。

摄像装置10和控制装置20在每次执行由用户进行的手动摄像时都进行这样的学习处理。由此,反复进行触发动作检测用信息的更新,能够提高触发动作的检测精度。

接下来,对行动推定处理进行说明。

在状态s4中,控制装置20进行行动推定。具体而言,控制装置20解析传感器的测定数据。然后,控制装置20基于解析后的测定数据和触发动作检测用信息,判定是否检测到触发动作。即,进行用户50是否进行了触发动作的行动推定。当执行行动推定时,状态变化到状态s5。

在状态s5中,控制装置20在检测到触发动作的情况下,生成作为摄像执行指示的快门触发。然后,控制装置20将生成的快门触发向摄像装置10发送。在进行了快门触发的发送后,变化到状态s6。

在状态s6中,摄像装置10接收快门触发,并以接收到快门触发为契机执行自动摄像。

通过上述学习处理和行动推定处理,自动成像系统s与用户的动作相对应地执行自动摄像。因此,根据自动摄像系统s,能够在适合用户的条件下进行自动摄像。

[硬件结构]

接着,参照图3以及图4,对摄像装置10和控制装置20的硬件结构进行说明。

图3是示出摄像装置10的硬件结构的框图。摄像装置10具备图像的摄像功能,例如由数码相机构成。控制装置20可以通过一个框体来实现,但也可以通过例如显示器被单元化的框体和摄像功能单元化的框体这样的分开的框体来实现。

如图3所示,摄像装置10包括cpu(中央处理部)111、rom(只读存储器)112和ram(随机存取存储器)113、总线114和输入/输出接口115、摄像部116、输入部117、输出部118、存储部119、通信部120和驱动器121。

cpu111根据记录在rom112中的程序或从存储部119加载到ram113中的程序执行各种处理。

ram113还在cpu111执行各种处理的基础上适当保存所需的数据等。

cpu111、rom112和ram113经由总线114相互连接。输入/输出接口115也连接到该总线114。输入/输出接口115与摄像部116、输入部117、输出部118和存储部119、通信部120以及驱动器121连接。

虽然未图示,但摄像部116具备光学透镜部和图像传感器。

光学透镜部由为了摄像被摄像体而使光会聚的透镜、例如聚焦透镜、变焦透镜等构成。

聚焦透镜是使被摄像体像成像于图像传感器的受光面的透镜。

变焦透镜是使焦距在一定范围内自由变化的透镜。

光学透镜部中根据需要还可以设有调整焦点、曝光、白平衡等设定参数的周边电路。

图像传感器由光电转换元件、afe(analogfrontend,模拟前端)等构成。

光电转换元件例如由cmos(complementarymetaloxidesemiconductor,互补金属氧化物半导体)型的光电转换元件等构成。光电转换元件中,从光学透镜部射入被摄像体像。因此,光电转换元件对被摄像体像进行光电转换(摄像),将图像信号蓄积一定时间,将蓄积的图像信号作为模拟信号依次提供给afe。

afe对该模拟的图像信号进行a/d(analog/digital)转换处理等各种信号处理。通过各种信号处理,生成数字信号,作为摄像部116的输出信号输出。

这样的摄像部116的输出信号被适当地提供给cpu211等。

输入部117由快门按钮等各种按钮或触摸面板等构成,根据用户的指示操作输入各种信息。

输出部118由显示器、扬声器或灯等构成,输出图像或声音或光等。

存储部119由dram(dynamicrandomaccessmemory自动随机存取存储器)等半导体存储器构成,存储各种数据。

通信部120控制与其他装置之间进行的通信。在本实施方式中,通信部120例如基于ble(注册商标)这样的标准或wi-fi中的ad-hoc模式或被称为wi-fidirect的标准与控制装置20进行通信。另外,通信可以通过装置间的直接的无线通信来进行,也可以经由因特网等网络或中继装置进行。

驱动器121中适当地安装有由磁盘、光盘、磁光盘或半导体存储器等构成的可移动介质131。通过驱动器121从可移动介质131读出的程序和各种数据根据需要而被安装在存储部219中。另外,可移动介质131还可以与存储部219同样地存储存储部219中存储的图像的数据等各种数据。

图4是表示控制装置20的硬件结构的框图。控制装置20构成为具备检测作为计测对象的用户的动作的各种传感器的装置。

如图4所示,控制装置20具有cpu211、rom212、ram213、总线214、输入/输出接口215、传感器部216、输入部217、输出部218、存储部219、通信部220。其中,除传感器部216以外的结构与参照图3说明的摄像装置10的同名的各部分相同。另外,与参照图3说明的摄像装置10的驱动器121同样地,在控制装置20中,也可以设置能够安装由半导体存储器等构成的可移动介质的驱动器。

传感器部216至少包括用于测定随着用户的移动而改变的物理量的动作传感器。作为动作传感器,例如具有测定三轴方向的加速度的三轴加速度传感器、测定三轴方向的角速度的三轴角速度传感器和测定三轴方向的地磁的三轴地磁传感器。传感器部216在预先设定的每个采样周期(例如,0.001秒),通过三轴加速度传感器、三轴角速度传感器以及三轴地磁传感器测定三轴方向的加速度、角速度以及地磁。由传感器部216所测定的加速度、角速度以及地磁的数据与测定时刻的数据相对应地存储在存储部219中或者向cpu311输出。

另外,在传感器部216中,也可以包含例如气压传感器、紫外线传感器、温度传感器、湿度传感器等用于测定环境条件的传感器。另外,在传感器部216中也可以包含gps(globalpositioningsystem,全球定位系统)等位置测定用传感器。

[功能性结构]

接着,参照图5对控制装置20的功能性结构进行说明。图5是表示摄像装置10的功能性结构中的用于执行学习处理和行动推定处理的功能性结构的功能框图。这些学习处理和行动推定处理是参照图2所述的上述处理。

当执行学习处理和行动推定处理时,如图5所示,在cpu211中,测定信息取得部251、学习部252和快门触发生成部253发挥功能。

另外,在存储部219的一个区域中,设定测定信息存储部254和触发动作检测用信息存储部255。

测定信息取得部251是取得传感器部216所包含的各传感器测定的测定值的部分。作为测定值,例如有加速度、角速度以及地磁的测定值以及各个测定值的测定时刻的组合。测定信息取得部251使取得的测定值存储于测定信息存储部254。

另外,测定信息取得部251在使测定值向测定信息存储部254中存储的情况下,为了防止测定值的数据的偏差而进行数据的平滑化。具体而言,通过分别对各种传感器的输出信号进行滤波,来抑制噪声的影响。

学习部252是基于传感器部216所包含的各传感器测定出的测定值来学习触发动作检测用信息的部分。

具体而言,学习部252从摄像装置10接收作为执行了手动摄像的时刻的手动摄像时刻。然后,学习部252从测定信息存储部254读出从该手动摄像时刻的n秒前到手动摄像时刻为止的n秒期间的测定值。接着,学习模型252基于该n秒期间的测定值,进行关于触发动作检测用信息的学习。

关于该触发动作检测用信息的学习能够通过各种方法进行。例如,学习部252学习表示n秒期间的测定值的变动的波形作为触发动作。在该情况下,不是简单地学习波形本身,而是将波形的特征部分作为触发动作检测用信息进行学习。因此,学习部252通过例如在每次进行手动摄像时进行学习,生成多个与多次手动摄像分别对应的n秒期间的测定值的波形。然后,学习部252比较该多个波形,由此,将各波形中共同的特征部分作为触发动作检测用信息进行学习。然后,学习部252将学习到的触发动作检测用信息存储在动作检测用信息存储部255中。另外,动作用检测用信息例如是表示学习到的波形本身或波形的特征部分的阈值。

此外,学习部252可以执行机器学习来作为学习。这种情况下,学习部252通过例如组合感知器(perceptron)而构成的神经网络进行有教师学习。

因此,学习部252从n秒期间的测定值中提取特征量。例如学习部252将n秒期间内测定的合成加速度的大小、水平方向的移动量等作为特征量进行提取。此外,学习部252将执行了手动摄像的情况作为表示有教师学习中的正解的标签。

并且,学习部252将该特征量和标签的组作为教师数据向神经网络供给,以使神经网络的输出与标签相同的方式在改变对各感知器的加权的同时重复学习。这样,学习部252学习教师数据的特征,归纳地获得用于从输入推定结果的学习模型。并且,学习部252将该学习模型作为触发动作检测用信息,存储在触发动作检测用信息存储部255中。

快门触发生成部253基于传感器部216中包括的传感器测定的测定值和触发动作检测用信息存储部255存储的触发动作检测用信息进行是否检测到触发动作的行动推定。

例如,在学习部252将表示各波形共同的特征部分的阈值作为触发动作检测用信息而学习的情况下,快门触发生成部253将传感器部216包含的各传感器测定出的测定值与作为触发动作检测用信息的阈值进行比较。然后,例如,当测定值超过阈值时,快门触发生成部253判定为检测到触发动作。

此外,例如,在学习部252作为动作检测用信息学习机器学习的学习模型的情况下,快门触发生成部253将包括在传感器部216中的各传感器测定的测定值的特征量作为学习模型的输入。然后,快门触发生成部253基于学习模型的输出,判定为检测到触发动作。例如,在学习模型的输出超过表示检测到触发动作的情况的阈值的情况下,判定为检测到触发动作。

然后,作为行动推定的结果,快门触发生成部253在检测到触发动作的情况下,生成用于执行自动摄像的快门触发。然后,快门触发生成部253经由通信部220将生成的快门触发对摄像装置10进行发送。

控制装置20通过这些功能块,基于传感器的测定值和触发动作检测用信息进行行动推定,在检测到用户的触发动作的情况下进行自动摄像。

[动作]

接着,说明自动摄像系统s的动作。

图6是表示自动摄像系统s中的摄像装置10和控制装置20的动作的时序图。

在步骤s11中,控制装置20发送用于与摄像装置10建立连接的连接请求。

在步骤s12中,摄像装置10接受来自控制装置20的连接请求,进行连接认证处理。

在步骤s13中,摄像装置10向控制装置20发送连接许可。

通过以上的处理,建立摄像装置10与控制装置20之间的通信连接。另外,从步骤s11到步骤s13的处理按照通信标准进行,由于本领域技术人员熟知,因此省略详细的说明。

接着,进行学习处理和行动推定处理。在此,如参照图2进行的说明中已经说明的那样,这两个处理不是必须交替进行,有时也在连续进行任意一个处理之后,进行另一个处理。

首先说明学习处理。

在步骤s21中,摄像装置10判定是否从用户受理到快门操作。在没有从用户受理到快门操作的情况下,步骤s21为“否”,重复进行判定。另一方面,在从用户受理到快门操作的情况下,在步骤s21中为“是”,处理进入步骤s22。

在步骤s22中,摄像装置10执行手动摄像。

在步骤s23中,摄像装置10向控制装置20发送手动摄像时刻。

在步骤s24中,摄像装置10基于从手动摄像时的n秒前至手动摄像时刻为止的n秒期间的传感器的测定值进行学习。另外,步骤s24的更详细的动作,参照图7在后面叙述。

在步骤s25中,摄像装置10基于学习结果来记录触发动作检测用信息。

接下来,说明行动推定处理。

在步骤s31中,控制装置20每隔一定时间使用传感器的测定值和触发动作检测用信息进行行动推定。另外,参照图8在后面叙述步骤s31的更详细的动作。

在步骤s32中,控制装置20判定是否生成快门触发。在步骤s31中的行动推定中未检测到触发动作的情况下,在步骤s32中判定为否,处理再次进入步骤s31。另一方面,在步骤s31中的行动推定中检测到触发动作的情况下,在步骤s32中判断为是,处理再次进入步骤s33。

在步骤s33中,控制装置20生成快门触发。

在步骤s34中,控制装置20将生成的快门触发发送给摄像装置10。

在步骤s35中,摄像装置10以快门触发的接收为契机执行自动摄像。

反复进行以上的学习处理以及行动推定处理。并且,当伴随用户的操作等这些处理结束时,在步骤s14中,从摄像装置10对控制装置20发送切断请求。

在步骤s15中,从控制装置20对摄像装置10发送承认切断的响应。

由此,本处理结束。

接着,参照图7,更详细地说明图6的步骤s24中的动作。在此,图7的步骤s41至步骤s45的处理相当于图6的步骤s24。另外,在图7中,作为学习,以进行有教师的机器学习的情况为例进行说明。

在步骤s41中,学习部252从摄像装置10接收执行手动摄像的时刻即手动摄像时刻。

在步骤s42中,学习部252从测定信息存储部254检索并取得从该手动摄像时刻的n秒前至手动摄像时刻为止的n秒期间的测定值。

在步骤s43中,学习部252根据该n秒期间的测定值,对触发动作检测用信息进行学习。因此,学习部252从n秒期间的测定值提取成为特征量的数据。例如,作为特征量,提取合成加速度、水平/垂直加速度的方差或标准偏差等。

在步骤s44中,学习部252判定是否将在步骤s43中提取的特征量作为有教师的机器学习中的教师数据来更新学习模型。该判定以特征量的值是否在一定的范围内或作为数据的要素是否不足等为基准进行。

在更新学习模型的情况下,在步骤s45中判定为是的处理进入步骤s46。另一方面,在不更新学习模型的情况下,在步骤s45中判定为否并且步骤s24结束。然后,不进行步骤s25,而返回到步骤21,反复处理。

在步骤s46中,学习部252更新学习模型。由此,步骤s24结束。然后,处理进入步骤s25。另外,在步骤s25中,将在步骤s24中更新的学习模型作为触发动作检测用信息存储在触发动作检测用信息存储部255中。

另外,在上述的说明中,假设每次取得教师数据都进行机械学习。但是,这样,各种动作分别作为触发动作被处理,这有时导致机器学习不收敛。因此,学习部252对用于机器学习的教师数据的数量确定一定程度的上限。这样,能够使用最近的关于行动的教师数据进行机器学习。

接着,参照图8,更详细地说明图6的步骤s31的动作。在此,图8的步骤s51至步骤s56的处理相当于图6的步骤s31。

在步骤s51中,快门触发生成部253从测定信息存储部254读入新近的n秒期间的传感器的测定值。

在步骤s52中,快门触发生成部253通过解析新近的n秒期间的传感器的测定值来提取特征量。例如,与步骤s43同样地提取合成加速度、水平/垂直加速度的方差或标准偏差等作为行动推定用的数据。

在步骤s53中,快门触发生成部253从触发动作检测用信息存储部255取得作为触发动作检测用信息的学习模型。

在步骤s54中,快门触发生成部253基于在步骤s52中提取的特征量和在步骤s53中取得的学习模型,对是否检测触发动作进行行动推定。

由此,步骤s31结束,处理进入步骤s32。

以上,通过参照图6、图7以及图8的处理,在本实施方式中,能够按照适合用户的条件进行自动摄像。

接着,参照图9对变形例1至变形例3的3个变形例进行说明。

[变形例1]

在所述实施方式中,自动摄像系统s包括摄像装置10和控制装置20这两个装置而构成。也可以将其变形,使用一个装置实现摄像装置10和控制装置20双方的功能。

例如,如图9中作为<变形例1>所示,可以通过由摄像部和显示器构成的便携终端30a,实现摄像装置10和控制装置20两者的功能。另外,除此之外,如图9中作为<变形例1>所示,也可以在作为常用的智能手机的便携终端30b中装入用于实现本实施方式特有的功能的软件,由此实现摄像装置10和控制装置20双方的功能。

参照图10说明本变形例中的便携终端装置30的硬件结构。如上所述,便携终端装置30构成为兼具摄像装置10的功能以及控制装置20的功能的装置。

如图10所示,便携终端装置30具有cpu311、rom312、ram313、总线314、输入输出接口315、摄像部316、传感器部317、输入部318、输出部319、存储部320、通信部321和驱动器322。这些结构与参照图3说明的摄像装置10的同名的各部分或参照图4说明的控制装置20同名的各部分相同。

根据本变形例,能够在不进行无线通信的情况下实现自动摄像系统s。

例如,在上述实施方式中,将快门触发生成部253设置于控制装置20,将快门触发生成部253生成的快门触发发送到摄像装置10,接收到该快门触发的摄像装置10进行摄像。与此相对,根据本变形例,在便携终端30这样的一个装置内,能够生成快门触发,并能够进行基于生成的快门触发的摄像。

这样,根据本变形例,在任一个装置中设置了快门触发生成部的情况下,可以任意地选择进行使用该任一个装置自身进行摄像的控制的结构,或者进行使用该任一个装置以外的装置进行摄像的控制的结构。

[变形例2]

在上述实施方式中,自动摄像系统s包括摄像装置10和控制装置20这两个装置而构成。这里,如图9中作为<变形例2>所示,摄像装置10也可以不是通过佩戴在用户身上的照相机来实现的,而是用户手持进行摄像,或者通过固定在三脚架上进行摄像的照相机来实现的。由此,例如用户能够在确认取景器并调整透镜方向等的状态下进行自动摄像。另外,也可以通过具备传感器的智能手表来实现控制装置20。由此,由于能够通过传感器检测手腕的活动等,所以能够将手腕的活动等作为触发动作。

[变形例3]

在上述实施方式中,自动摄像系统s包括摄像装置10和控制装置20这两个装置而构成。在此,如图9中作为<变形例3>所示,功能也可以分散在多个的装置中。

例如,可以由智能手机实现摄像装置10中的对来自用户的快门操作进行受理的功能来作为摄像装置11,由照相机实现摄像装置10中的摄像的功能来作为摄像装置12,由此,摄像装置10的功能被分散到两个装置中。

另外,例如,也可以将控制装置20的功能分散到具备图5所示的cpu211或存储部219所实现的各功能块的装置和具备图5所示的传感器部216的装置这两个装置中。

由此,能够提高自动摄像系统s的结构的自由度。

[变形例4]

在上述的实施方式中,基于进行了手动摄像时的传感器的测定值而学习触发动作检测用信息。另外,基于学习的触发动作检测用信息和传感器的测定值进行行动推定,由此检测出触发动作。也可以将其变形,不是使用传感器进行测定,而是通过对摄像数据进行图像解析来学习触发动作检测用信息,或者进行行动推定来检测触发动作。

在这种情况下,通过摄像装置10按照规定的周期以动态图像或者静止画面拍摄用户。并且,通过对进行了手动摄像时的摄像图像进行图像解析,从而学习触发动作检测用信息。进而,以动态图像或静止图像按照规定的周期对用户进行拍摄,基于对摄像图像进行图像解析得到的信息和触发动作检测用信息进行行动推定,由此,检测触发动作。另外,为了这些处理而周期性地拍摄的动态图像或静止图像在进行图像解析并成为这些处理的对象后成为不需要的数据,因此逐次删除。

由此,即使是基于传感器的测定值较困难的状况,也能够应用本实施方式。

[变形例5]

在所述的实施方式中,基于进行了手动摄像时的传感器的测定值进行学习,由此,学习了触发动作检测用信息。在该情况下,也可以预先准备成为基准的触发动作检测用信息。然后,也可以基于进行手动摄像时的传感器的测定值进行学习,从而修正成为该基准的触发动作检测用信息。

由此,与从什么都没有的状况生成触发动作检测用信息的情况相比,能够尽早提高触发动作检测用信息的精度。

另外,即使成为基准的触发动作检测用信息相同,也能够通过之后的修正修正为适合于各个用户的触发动作检测用信息,因此能够检测出适合各个用户的触发动作。

[使用状况的例子]

上述的本实施方式能够在多种状况下使用。

例如,考虑如下情况:在正在登山的用户转向后方的情况下,对位于后方的同行者作为被摄像体进行拍摄。在该情况下,用户在转向后方时,通过手动进行快门操作。于是,由学习部252进行学习,基于测定了用户转向后方时的动作(即,触发动作)的测定数据来记录触发动作检测用信息。以后,通过基于该触发动作检测用信息的行动推定,在用户每次转向后方时进行自动摄像。

由此,用户能够不进行快门操作即可将位于后方的同行者作为被摄像体进行拍摄。

在此,触发动作可以由用户无意识地进行,也可以由用户有意地进行。例如,用户可以有意地将晃动右手或左手等特征性动作作为触发动作进行,将该特征性动作记录于控制装置20。

作为有意记录的例子,例如,考虑正在登山的用户拍摄背景的情况。在该情况下,用户站定并有意地进行特征性动作,并且手动进行快门操作。于是,进行基于学习部252的学习,基于测定了站定而有意进行具有特征性动作时的动作(即,触发动作)的测定数据,记录触发动作检测用信息。以后,通过基于该触发动作检测用信息的行动推定,每次站定并有意地进行特征性动作时,都进行自动摄像。由此,用户能够不进行快门操作即可实现在任意的场所进行摄像。

例如,作为其他例子,也可以是摄像装置10和控制装置20由不同的用户使用。例如,将控制装置20佩戴在作为被摄像体的用户身上,摄像装置10由作为摄像者的用户保持。并且,成为摄像者的用户在成为被摄像体的用户进行了规定的动作(例如跳跃)的情况下,为了拍摄成为被摄像体的用户而手动进行快门操作。于是,通过学习部252进行学习,基于测定成为被摄像体的用户跳跃时的动作(即,触发动作)的测定数据,触发动作检测用信息被记录。以后,通过基于该触发动作检测用信息的行动推定,每当成为被摄像体的用户进行跳跃时,进行自动摄像。

例如,作为其他例子考虑拍摄集体照片的情况。在这种情况下,成为摄像者的用户有意地对成为被摄像体的用户进行规定的动作(例如,招手),并且通过手动进行快门操作。于是,通过学习部252进行学习,基于测定对成为被摄像体的用户招手时的动作(即触发动作)的测定数据,记录触发动作检测用信息。以后,通过基于该触发动作检测用信息的行动推定,每次对成为被摄像体的用户有意地进行招手时,都进行自动摄像。在该情况下,也可以将摄像装置10固定于三脚架等,成为摄像者的用户进一步成为被摄像体。

另外,进行触发动作的也可以不是人,而是动物或装置等的动作。例如,也可以在宠物等身上穿戴控制装置20,基于该宠物等的触发动作进行摄像该宠物等的自动摄像。此外,例如,也可以在铁道口的横断杆上安装控制装置20,将横断杆的开闭动作作为触发动作,进行拍摄通过的电车这样的自动摄像。另外,例如,将相当于控制装置20的传感器部216的功能块安装于钓竿的浮起部分,将钓起鱼时的钓竿的浮起部分的动作设为触发动作。这样,能够将把鱼钓起的样子作为自动摄像的对象。在该情况下,摄像装置10既可以配置在拍摄被钓起的鱼的位置,也可以配置在摄像钓鱼的用户的位置。

另外,也可以在进行运动的状况下进行自动摄像。例如,将进行滑雪或冲浪运动的用户的动作作为触发动作,通过这些用户佩戴在身上的摄像装置10进行自动摄像。或者,也可以将进行滑雪或冲浪运动的用户的动作作为触发动作,将这些用户作为被摄像体进行自动摄像。在该情况下,也可以在能够拍摄这些用户的位置设置摄像装置10。

另外,也可以将进行滑雪或冲浪的用户的动作作为触发动作,由这些用户以外的其他用户进行向控制装置20记录时的手动摄像。

另外,在以上说明的状况下进行自动摄像的情况下,是图9所示的变形例,可以使用与状况对应的变形例。另外,除了这些例示的状况以外的状况下,也可以使用上述的实施方式。

[摄像者、被摄像体以及触发体的关系]

如在上述的变形例中例示的那样,在本实施方式中,使用摄像装置10进行手动摄像的“摄像者”和成为摄像装置10的手动摄像或自动摄像的摄像对象的“被摄像体”和进行作为控制装置20的检测对象的触发动作的“触发体”可以一致,也可以分别不同。

例如,摄像者、被摄像体以及触发体可以全部一致。另外,摄像者也可以与被摄像体及触发体不同。此外,摄像者和被摄像体也可以与触发体是不同的。另外,摄像者以及触发体也可以和被摄像体不同。另外,摄像者、被摄像体以及触发体也可以全部不同。

并且,在本实施方式中,与使用通常的摄像装置的情况相同,对作为摄像者或被摄像体的对象没有特别限定。

另外,对作为触发体的对象也没有特别限定。在上述实施方式中,以作为人的用户为触发体的情况为例进行了说明,但除人以外的动物或装置或自然现象等的触发动作的能够成为测定对象的实体也能够作为触发体。

[变形例6]

在上述实施方式中,以检测到用户等触发体的“触发动作”作为契机,通过实时地进行自动摄像来取得摄像数据。

在本变形例中,将其变形。具体而言,不是以触发动作的检测为契机,而是变形为以拍摄到触发体(触发)为契机。另外,产生契机的情况下,不是通过实时地进行自动摄像来取得摄像数据,而是变形为取得通过常时摄像而在过去拍摄的摄像数据。在此,本变形例中,不需要进行例如触发体的动作的检测,因此,例如也可以将不是检测动作的对象的背景等(触发)作为触发体进行处理。

参照附图11对用于实现这样的变形后的处理的摄像装置10的功能性结构进行说明。另外,在本变形中,由于不需要通过控制装置20进行触发动作的检测,因此能够仅通过摄像装置10来实现本变形。

在执行本变形中的学习处理和行动推定处理的情况下,如图11所示,在cpu211中,摄像数据取得部151、学习部152和存储触发生成部153发挥功能。

另外,在存储部219的一个区域中,设定摄像数据暂时保存部154和触发体检测用信息存储部155和摄影数据存储部156。

摄像数据取得部151是获取摄像部116摄像到的摄像数据的部分。在本变形中,摄像部116进行常时摄像。然后,摄像部116摄像所生成的摄像数据由摄像数据取得部151逐次取得。摄像数据取得部151将所取得的摄像数据存储在摄像数据暂时保存部154中。

摄像数据暂时保存部154是暂时保存摄像数据的部分。摄像数据暂时保存部154设为规定的存储容量。然后,摄像数据取得部151将新的摄像数据保存到摄像数据暂时保存部154时,对于超过该规定的存储容量的摄像数据,从旧的摄像数据开始依次删除。由此,摄像数据暂时保存部154始终保存在新近的规定期间拍摄的摄像数据的状态。另外,新近的规定期间的长度由摄像数据暂时保存部154的存储容量的大小和摄像数据的分辨率等决定的摄像数据的大小来决定。

学习部152是根据摄像部116拍摄到的摄像数据来对触发体检测用信息进行学习的部分。

具体而言,学习部152如果检测到用户为了进行手动摄像而按下快门按钮,则将该检测时的时刻作为执行了手动摄像的时刻即手动摄像时的时刻而取得。另外,快门按钮由输入部117实现。

在此,在本变形例中,在摄像数据暂时保存部154中,始终保存有在新近的规定期间内拍摄的摄像数据。因此,在本变形例中,与上述的实施方式同样地,当用户按下快门按钮时,可以将摄像部116摄像的摄像数据记录在摄像数据存储部156中的情况设为手动摄像,但用户选择摄像数据也可以作为手动摄像来处理。即,可以将用户参照保存在摄像数据暂时保存部154中的摄像数据,并将从该摄像数据中选择的摄像数据记录在摄像数据存储部156中的情况作为手动摄像来处理。另外,由用户进行的这些操作相当于本发明的“用户对记录机构的摄像数据取得操作”。

接着,学习部152从摄像数据暂时保存部154取得在手动摄像时刻拍摄的摄像数据。然后,学习部152解析所获取的摄像数据,由此,确定摄像数据中拍摄的被摄像体。解析方法可以是公知的方法,例如,通过基于摄像数据的rgb值或亮度的值的图案匹配、基于图像处理的轮廓点或特征点提取等方法,来确定摄像数据内拍入的被摄像体。确定例如可以在“人物”、“动物”、“植物”、“风景”等大的分类中进行,也可以按照更细小的分类进行。例如,使用面部识别技术确定作为被摄像体的个人。另外,例如也可以确定动物的种类、植物的种类。另外,例如,也可以确定图像是在明亮的场所拍摄的图像,还是在暗的场所拍摄的图像。

学习部152将表示所确定的被摄像体的信息作为触发体检测用信息而存储在触发体检测用信息存储部155中。另外,在本变形中,也可以通过重复上述的确定来进行学习,提高触发体检测用信息的精度。

存储触发生成部153基于存储在摄像数据暂时保存部154中的各摄像数据和触发体检测用信息存储部155存储的触发体检测用信息,判定是否从某个摄像数据检测到触发体。

然后,存储触发生成部153以判定的结果为从摄像数据检测到触发体作为触发(契机),从摄像数据暂时保存部154取得检测到该触发体的摄像数据并存储到摄像数据存储部156中。

由此,在本变形中,用户通过手动摄像而拍摄的触发体,在常时摄像中也被拍摄的情况下,能够存储摄像到该触发体的摄像数据。

例如,在用户总是拍摄某种类的花的情况下,不需要由用户进行快门操作,就能够自动地记录该某个种类的花的摄像数据,进行积累。

即,在本变形中,能够在适合用户的条件下进行自动摄像。另外,上述实施方式中的测定数据、通过本变形中的常时摄像取得的摄像数据相当于本发明的“观测信息”。

以上,对多个变形例进行了说明,但也可以将上述的实施方式、各变形例中的结构适当地进行组合。

如上述那样构成的控制装置20(摄像装置10)具有测定信息取得部251(输入部117)、测定信息取得部251(摄像数据取得部151)、学习部252(学习部152)和快门触发生成部253(存储触发生成部153)。

测定信息取得部251(输入部117)检测用户对记录机构的摄像数据取得操作。

测定信息取得部251(摄像数据取得部151)基于摄像数据取得操作的检测,取得与用于自动取得摄像数据的触发相关的观测信息。

学习部252(学习部152)基于检测到摄像数据取得操作时的观测信息,设定用于自动获取摄像数据的阈值。

快门触发生成部253(存储触发生成部153)基于观测信息的阈值,进行用于自动取得摄像数据的控制。

由此,能够基于观测信息高精度地取得摄像数据。

基于快门触发生成部253(存储触发生成部153)进行的自动取得摄像数据的控制,该控制装置20(摄像装置10)或该控制装置20(摄像装置10)以外的装置自动取得摄像数据。

由此,能够根据观测信息自动取得摄像数据。

快门触发生成部253(存储触发生成部153)根据没有检测摄像数据取得操作时的观测信息与阈值的比较结果,进行用于自动取得摄像数据的控制。

由此,在用户进行与检测到摄像数据取得操作时相同的动作的情况下,能够取得摄像数据。

测定信息取得部251(摄像数据取得部151)取得将触发的动作作为观测信息进行测定的动作传感器的测定结果,快门触发生成部253(存储触发生成部153)基于动作传感器的测定结果确定触发的动作,并根据该确定的触发的动作,进行用于自动取得摄像数据的控制。

由此,能够基于动作传感器的推定结果,取得摄像数据。

测定信息取得部251(摄像数据取得部151)获取摄像部116拍摄的摄像数据作为观测信息,快门触发生成部253(存储触发生成部153)通过对由摄像部116拍摄的摄像数据进行解析来确定触发的动作,基于该确定的触发的动作,进行用于自动取得摄像数据的控制。

由此,能够根据摄像数据的解析结果取得摄像数据。

测定信息取得部251(摄像数据取得部151)获取摄像部116拍摄的摄像数据作为观测信息,快门触发生成部253(存储触发生成部153)通过解析由摄像部116拍摄的摄像数据,判定是否拍摄到了触发,基于该判定的结果,进行用于自动取得摄像数据的控制。

由此,能够基于是否摄像到触发体而取得摄像数据。

学习部252(学习部152)积累检测到用户的快门操作时的观测信息,学习使用该积累的观测信息来设定的阈值。

由此,使用学习结果,能够高精度地取得摄像数据。

学习部252(学习部152)基于累积的观测信息,确定与检测到快门操作时的观测信息对应的模式,在该确定的模式中也进行基于该特征性模式进行学习。

由此,不使用非特征性的动作模式的数据,就能够更高精度地取得摄像数据。

学习部252(学习部152)存储成为观测信息的基准的基准信息,通过基于测定信息取得部251(摄像数据取得部151)获取的观测信息来修正基准信息,从而进行学习,在存在多个触发的情况下,按每个触发分别进行学习。

由此,能够进行适合于各个用户的学习。

触发体是用户。

由此,能够进行适于进行快门操作的用户的学习。

摄像部116通过与该控制装置20(摄像装置10)不同的装置来实现,快门触发生成部253(存储触发生成部153)与通过另外的装置来实现的摄像部116进行通信,由此,来进行用于自动获取摄像数据的控制。

由此,通过不具备摄像部的装置,能够实现控制装置20。

快门触发生成部253(存储触发生成部153)通过自动控制摄像部116的快门操作来取得摄像数据。

由此,能够重新取得拍摄到的新的摄像数据。

摄像部116还具有暂时保存拍摄到的摄像数据的摄像数据暂时保存部154,快门触发生成部253(存储触发生成部153)通过自动控制取得在拍摄数据暂时保存部154中保存的摄像数据。

由此,能够取得暂时保存的摄像数据。

另外,本发明并不限定于上述的实施方式,在能够达成本发明的目的范围内的变形、改良等都包含在本发明中。

另外,在本实施方式中,与触发体相关的观测信息是从图像数据中提取的观测信息(例如,关于被摄像体的动作的信息、关于图像的rgb信息和亮度值的信息。但是,与触发体相关的观测信息不限于从图像数据提取出的观测信息,也可以是图像数据本身。

上述一系列处理可以由硬件执行,也可以由软件执行。

换言之,例如图5的功能性结构只不过是例示,没有特别限定。即,只要在自动摄像系统s中具备能够整体执行上述一系列的处理的功能即可,为了实现该功能,使用怎样的功能块并不特别限定于图5的例子。

另外,一个功能块可以由硬件单体构成,也可以由软件单体构成,也可以由它们的组合构成。

本实施方式中的功能性结构通过执行运算处理的处理器来实现,能够用于本实施方式的处理器包括单处理器、多处理器、以及由多核处理器等各种处理装置单体构成的装置,此外,还包括这些处理装置和asic(applicationspecificintegratedcircuit,专用集成电路)和fpga(field‐programmablegatearray,可现场编程门阵列)等处理电路组合而成的装置。

在通过软件执行一系列的处理的情况下,构成该软件的程序从网络或记录介质安装到计算机等中。

计算机也可以是组装在专用的硬件中的计算机。

此外,计算机可以是通过安装各种程序来实现各种功能的计算机,例如通用的个人计算机。

包括这样的程序的记录介质不仅由为了向用户提供程序而与装置本体分开配置的可移动介质构成,还可以由在装置主体中进行预组装状态下向用户提供的记录介质等构成。可移动介质231、331例如由磁盘(包括软盘)、光盘、或者磁光盘等构成。光盘例如是cd-rom(compactdisk-readonlymemory)、dvd(digitalversatiledisc)、blu-ray(注册商标)disc(蓝光盘)等构成。光磁盘由md(mini-disk)等构成。另外,在预先组装于装置主体的状态下向用户提供的记录介质例如由记录有程序的rom112、212、312或存储部119、219、320中包含的硬盘等构成。

在本说明书中,描述记录在记录介质中的程序的步骤当然是按照其顺序依时间序列执行的处理,但并不一定按时间序列进行处理,也包括并行或单独执行的处理。

另外,在本说明书中,系统的用语意味着由多个装置、多个机构等构成的整体的装置。

以上,对本发明的几个实施方式进行了说明,但这些实施方式不过是例示,并不限定本发明的技术范围。本发明可以由其他各种实施方式,另外,在不脱离本发明的主旨的范围内,可以进行省略或置换等各种变更。这些实施方式及其变形包含于本说明书等中记载的发明的范围和主旨中,并且包含于本发明的范围及其均等的范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1