操作装置、跟踪系统、操作方法及程序与流程

本发明涉及一种操作装置、跟踪系统、操作方法及程序，尤其涉及一种用于跟踪被摄体的操作装置、跟踪系统、操作方法及程序。

背景技术：

一边跟踪特定的被摄体，一边连续进行拍摄的跟踪摄像技术，在监控摄像机或通常的数码相机等领域中被广泛使用。作为确定成为跟踪对象的特定的被摄体的位置的方法提出有各种方法，例如已知有通过进行使跟踪对象的特征与摄像图像匹配的图像处理而确定图像内的跟踪对象的位置的方法。

并且，已知有使具有跟踪跟踪对象的功能的相机与远程操作装置之间互换信息，以跟踪跟踪对象的技术。

并且，提出有根据跟踪对象的动作而跟踪跟踪对象的技术。

例如，在专利文献1中公开了带自动跟踪功能的相机和操作装置(远程操作装置)，并公开了在跟踪对象的移动速度小于阈值的情况下进行图像的高分辨率化的技术。

以往技术文献

专利文献

专利文献1：日本特开2014-216694号公报

技术实现要素：

发明要解决的技术课题

然而，由于相机与操作装置之间的通信速度有限，因此从相机发送到操作装置的图像的尺寸(像素数)与利用操作装置接收的帧率构成权衡关系。即，若将图像的尺寸设为较大，则有可能在操作装置侧无法接收所有帧，利用操作装置接收的帧率有下降的倾向。

另一方面，若将图像的尺寸设为较小，则导致判别较小的跟踪对象与其它被摄体的精度降低，因此有时进行自动跟踪的相机难以以高精度持续跟踪跟踪对象。

若帧率下降，则在跟踪动作较快的跟踪对象的情况下，由于跟踪对象在图像之间的移动量变大，因此有可能进行自动跟踪的相机难以以高精度持续跟踪跟踪对象。

本发明是鉴于这种情况而完成的，其目的在于提供一种即使为较小的跟踪对象或移动量较大的跟踪对象，也能够以高精度持续跟踪的操作装置、跟踪系统、操作方法及程序。

用于解决技术课题的手段

本发明的一方式的操作装置为对具备自动跟踪功能的相机发送自动跟踪功能用控制信息的操作装置，其具备：接收部，接收从相机连续发送的图像；跟踪对象接受部，接受相机进行跟踪的特定的跟踪对象；移动量计算部，根据由接收部连续接收的图像，计算连续的图像之间的跟踪对象的移动量；移动量判定部，判定利用移动量计算部算出的移动量是否为第1移动量阈值以上；及尺寸命令发送部，在由移动量判定部判定移动量为第1移动量阈值以上的情况下，向相机发送将相机所发送图像的尺寸从第1尺寸变更为小于第1尺寸的第2尺寸的命令。

根据本方式，在跟踪对象的移动量为第1移动量阈值以上的情况下，发送将从相机所发送图像的尺寸变更为较小尺寸的命令，因此可抑制操作装置接收的帧率下降，即使为移动量较大的跟踪对象，也能够以高精度持续进行跟踪。

并且，根据本方式，在跟踪对象的移动量小于第1移动量阈值的情况下，不发送将从相机所发送图像的尺寸变更为较小尺寸的命令，因此图像的尺寸不会变小，即使为较小的跟踪对象，也能够以高精度持续进行跟踪。

优选操作装置还具备：跟踪处理部，其跟踪处理部通过图像的图像处理而进行跟踪对象的跟踪，所述跟踪处理部包括：评价值生成部，生成表示跟踪的准确度的评价值；及评价值判定部，判定利用评价值生成部生成的评价值是否为评价值阈值以上，尺寸命令发送部在发送将图像的尺寸变更为第2尺寸的命令之后，在由移动量判定部判定移动量小于第1移动量阈值且由评价值判定部判定评价值为评价值阈值以上的情况下，发送将图像的尺寸从第2尺寸变更为第1尺寸的命令。

根据本方式，在判定为被摄体的移动量小于第1移动量阈值且跟踪的评价值为评价值阈值以上的情况下，发送图像的尺寸变更为原来的较大尺寸的命令。由此，在本方式中，操作装置能够通过较大尺寸的图像进行跟踪处理，因此能够进行高精度的跟踪。

优选操作装置还具备：跟踪处理部，其跟踪处理部通过图像处理而进行跟踪对象的跟踪，所述跟踪处理还部包括：评价值生成部，生成表示跟踪的准确度的评价值；及评价值判定部，判定利用评价值生成部生成的评价值是否为评价值阈值以上，移动量判定部判定移动量是否小于比第1移动量阈值还小的第2移动量阈值，在由移动量判定部判定移动量小于第2移动量阈值且由评价值判定部判定评价值为评价值阈值以上的情况下，尺寸命令发送部生成将图像的尺寸变更为大于第1尺寸的第3尺寸的命令。

根据本方式，在判定为被摄体的移动量小于第2移动量阈值且跟踪的评价值为评价值阈值以上的情况下，发送图像的尺寸变更为原来的较大尺寸的命令。由此，在本方式中，操作装置能够通过较大尺寸的图像进行跟踪处理，因此能够进行高精度的跟踪。

优选评价值生成部根据块匹配中模板图像和与模板图像对应区域的图像的各像素差分的绝对值的总和而生成评价值。

根据本方式，跟踪的评价是根据块匹配中模板图像和与模板图像对应区域的图像的各像素差分的绝对值的总和而进行的。由此，本方式以高精度进行跟踪的评价，因此能够进行更高精度的跟踪。

优选操作装置具备：帧率检测部，从由接收部连续接收的图像中检测所接收到的图像的帧率；及帧率判定部，判定由帧率检测部检测到的帧率是否小于帧率阈值，在由帧率判定部判定帧率小于帧率阈值的情况下，尺寸命令发送部发送将图像的尺寸变更为第2尺寸的命令。

根据本方式，在帧率小于帧率阈值的情况下，发送将图像的尺寸变更为第2尺寸的命令，因此发送较小尺寸的图像，能够提高已下降的帧率。由此，在本方式中，即使为移动量较大的跟踪对象，也能够以高精度进行跟踪。

优选还具备通信速度获取部，其根据帧率检测部检测到的帧率而获取与相机的通信速度。

根据本方式，根据帧率而获取相机与操作装置的通信速度，因此以更高精度获取通信速度。

优选操作装置还具备通信信息发送部，其向相机发送与相机的通信状态有关的信息，在由帧率判定部判定帧率小于帧率阈值的情况下，通信信息发送部发送有关通信错误的信息作为有关通信状态的信息。

根据本方式，在帧率小于帧率阈值的情况下，向相机发送有关通信错误的信息，因此相机能够掌握操作装置中的通信状态。

优选帧率阈值根据相机所发送图像的尺寸而设定。

根据本方式，帧率阈值根据图像的尺寸而设定，因此能够以更高精度进行帧率的判定。

优选操作装置还具备：显示部，显示从相机连续的发送的图像；及输入部，指定显示部的画面上的输入位置，跟踪对象接受部接受由输入部指定的输入位置上的被摄体作为跟踪对象。

根据本方式，通过由输入部指定显示部显示画面上的位置而接受跟踪对象，因此可以更简单地确定跟踪对象。

本发明的另一方式的跟踪系统为具备相机和用于操作相机的操作装置的跟踪系统，相机具备：摄像部，获取图像；摄像方向切换机构，切换摄像部的摄像方向；图像发送部，发送图像；命令接收部，接收来自操作装置的命令；及尺寸变更部，根据来自操作装置的命令而变更从图像发送部向操作装置发送的图像的尺寸，所述操作装置根据由图像发送部发送的图像的接收状况而发送图像的尺寸的变更命令，操作装置具备：接收部，接收从相机连续发送的图像；跟踪对象接受部，接受相机进行跟踪的特定的跟踪对象；移动量计算部，根据由接收部连续接收到的图像，计算跟踪对象在连续的图像之间的移动量；移动量判定部，判定利用移动量计算部算出的移动量是否为第1移动量阈值以上；及尺寸命令发送部，在由移动量判定部判定移动量为第1移动量阈值以上的情况下，向相机发送将相机发送的图像的分辨率从第1尺寸变更为小于第1尺寸的第2尺寸的命令。

本发明的另一方式的操作方法为向具备自动跟踪功能的相机发送自动跟踪功能用控制信息的操作方法，其包括：接收步骤，接收从相机连续发送的图像；跟踪对象接受步骤，接受相机进行跟踪的特定的跟踪对象；移动量计算步骤，根据由接收步骤连续接收到的图像，计算连续的图像之间的跟踪对象的移动量；移动量判定步骤，判定利用移动量计算步骤算出的移动量是否为第1移动量阈值以上；及尺寸命令发送步骤，在由移动量判定步骤判定移动量为第1移动量阈值以上的情况下，向相机发送将相机所发送图像的尺寸从第1尺寸变更为小于第1尺寸的第2尺寸的命令。

优选操作方法还具备：跟踪处理步骤，其跟踪处理步骤通过图像的图像处理而进行跟踪对象的跟踪，所述跟踪处理步骤包括：评价值生成步骤，生成表示跟踪的准确度的评价值；及评价值判定步骤，判定由评价值生成步骤生成的评价值是否为评价值阈值以上，尺寸命令发送步骤在发送将图像的尺寸变更为第2尺寸的命令之后，在由移动量判定步骤判定移动量小于第1移动量阈值且由评价值判定步骤判定评价值为评价值阈值以上的情况下，发送将图像的尺寸从第2尺寸变更为第1尺寸的命令。

优选操作方法还具备：跟踪处理步骤，其跟踪处理步骤通过图像处理而进行跟踪对象的跟踪，所述跟踪处理步骤包括：评价值生成步骤，生成表示跟踪的准确度的评价值；及评价值判定步骤，判定利用评价值生成步骤生成的评价值是否为评价值阈值以上，移动量判定步骤判定移动量是否小于比第1移动量阈值小的第2移动量阈值，在由移动量判定步骤判定移动量小于第2移动量阈值且由评价值判定步骤判定评价值为评价值阈值以上的情况下，尺寸命令发送步骤生成将图像的尺寸变更为大于第1尺寸的第3尺寸的命令。

优选评价值生成步骤根据块匹配中模板图像和与模板图像对应区域的图像的各像素差分的绝对值的总和而生成评价值。

优选操作方法包括：帧率检测步骤，从由接收步骤连续接收到的图像中检测所接收到的图像的帧率；及帧率判定步骤，判定由帧率检测步骤检测到的帧率是否小于帧率阈值，在由帧率判定步骤判定帧率小于帧率阈值的情况下，尺寸命令发送步骤发送将图像的尺寸变更为第2尺寸的命令。

优选操作方法还包括通信速度获取步骤，其根据帧率检测步骤所检测到的帧率而获取与相机的通信速度。

优选操作方法还包括通信信息发送步骤，其向相机发送与相机的通信状态有关的信息，在由帧率判定步骤判定帧率小于帧率阈值的情况下，通信信息发送步骤发送有关通信错误的信息作为有关通信状态的信息。

优选帧率阈值根据相机所发送图像的尺寸而设定。

优选操作方法还包括：显示步骤，显示从相机连续发送的图像；及输入步骤，指定显示步骤画面上的输入位置，跟踪对象接受步骤接受利用输入步骤指定的输入位置的被摄体作为跟踪对象。

本发明的另一方式的程序为使计算机执行向具备自动跟踪功能的相机发送自动跟踪功能用控制信息的操作方法的程序，所述操作方法包括：接收步骤，接收从相机连续发送的图像；跟踪对象接受步骤，接受相机进行跟踪的特定的跟踪对象；移动量计算步骤，根据由接收步骤连续接收到的图像，计算连续的图像之间的跟踪对象的移动量；移动量判定步骤，判定利用移动量计算步骤算出的移动量是否为第1移动量阈值以上；及尺寸命令发送步骤，在由移动量判定步骤判定移动量为第1移动量阈值以上的情况下，发送将相机所发送图像的尺寸从第1尺寸变更为小于第1尺寸的第2尺寸的命令。

发明效果

根据本发明，在跟踪对象的移动量为第1移动量阈值以上的情况下，发送将从相机所发送图像的尺寸变更为较小尺寸的命令，因此可抑制操作装置接收的帧率下降，即使为移动量较大的跟踪对象，也能够以高精度持续进行跟踪。并且，根据本发明，在跟踪对象的移动量小于第1移动量阈值的情况下，不会发送将相机所发送图像的尺寸变更为较小尺寸的命令，因此图像尺寸不会变小，即使为较小的跟踪对象，也能够以高精度持续进行跟踪。

附图说明

图1是表示跟踪系统的一例的外观立体图。

图2是表示相机的功能结构的例子的框图。

图3是表示操作装置的功能结构的例子的框图。

图4是表示第1实施方式中的操作装置的动作的流程图。

图5是表示第2实施方式的操作装置的动作的流程图。

图6是表示第3实施方式的操作装置的动作的流程图。

图7是表示第4实施方式的操作装置的功能结构的例子的框图。

图8是表示第4实施方式中的操作装置的动作的流程图。

具体实施方式

以下，根据附图对本发明所涉及的摄像装置及摄像方法的优选实施方式进行说明。

以下，根据附图对本发明的优选实施方式进行说明。

图1是表示本发明的一方式的跟踪系统300的一例的外观立体图。跟踪系统300具备操作装置100(智能手机)和相机10(具备自动跟踪功能的云台摄像机)。

操作装置100是用于操作相机10的装置。另外，在图1所示情况下，示出操作装置100以无线的方式操作相机10的例子，但并不限定于此，操作装置100和相机10也可以以有线的方式连接。

相机10主要具有装置主体12、底座14、固定于底座14且将摄像部20保持成转动自如的保持部16、覆盖摄像部20的球形罩18。

底座14配设成以装置主体12的垂直方向z的轴为中心旋转自如，通过平摇驱动部34(图2)以垂直方向z的轴为中心旋转。

保持部16具有与水平方向x的轴设置于同轴上的齿轮16a，从俯仰驱动部36(图2)经由齿轮16a而传递驱动力，由此使摄像部20在上下方向上转动(俯仰动作)。

球形罩18为防尘及防滴用罩，为了使摄像部20的光学性能不变，而与摄像部20的光轴方向l无关，优选为将水平方向x的轴与垂直方向z的轴的交点作为曲率中心的恒定壁厚的球壳形状。

并且，优选在装置主体12的背面设置未图示的三脚架安装部(三脚架螺孔等)。

相机10上设置有命令摄像开始的摄像开始按钮19、电源开关(未图示)，但相机10具有相机侧通信部50(图2)，主要通过与外部的操作装置(本例中为智能手机)100的无线通信从操作装置100能够附加各种操作用命令输入。并且，相机10通过无线通信从操作装置100获取对摄像图像数据进行分析而得到的与跟踪对象的位置有关的信息。另外，有关操作装置100的说明按照图3进行。并且，相机10可以具备进行有关通信状态错误的警告显示的警告显示部(未图示)。

图2是表示相机10(云台摄像机)的功能结构的例子的框图。

相机10也能够进行静止图像及动态图像的拍摄，大致具备摄像部20、摄像方向调整部30、控制部40、信号处理部41、相机侧显示部61、操作部60、存储器62、相机侧通信部50及尺寸变更部65。

摄像部20具有成像透镜22及成像元件(cmos)24等，并连续获取摄像图像数据。成像透镜22由单焦透镜或变焦透镜构成，使被摄体像成像于成像元件24的成像面上。另外，成像透镜22中所包含的聚焦透镜、变倍透镜(变焦透镜的情况)及光圈23分别由透镜驱动部26驱动。

成像元件24是按每一个像素红(r)、绿(g)、蓝(b)这3原色的原色滤色器以规定的图案排列(拜耳排列、g条纹r/b完整方格、x-trans(注册商标)排列、蜂窝状排列等)的彩色成像元件，由cmos(complementarymetaloxidesemiconductor)型图像传感器构成。另外，并不限定于cmos型图像传感器，也可以是ccd(charge-coupleddevice)型图像传感器。

成像元件24由具有垂直驱动器及水平驱动器等的cmos驱动器28、以及定时信号发生器(tg：timinggenerator)29驱动，从成像元件24读取与被摄体光的入射光量相应的像素信号(与蓄积在每一个像素中的信号电荷对应的数字信号)。

摄像方向调整部30具备云台机构32、平摇驱动部34及俯仰驱动部36等，并调整摄像部20的摄像方向。另外，如图1所示，云台机构(摄像方向切换机构)32由使摄像部20相对于装置主体12向水平方向(平摇方向)旋转的平摇机构、以及向垂直方向(俯仰方向)转动的俯仰机构32构成。云台机构32具有检测平摇方向的旋转角度(平摇角)的基准位置的原位传感器、检测俯仰方向的倾斜角(俯仰角)的基准位置的原位传感器。由云台机构32切换摄像部20的摄像方向。

平摇驱动部34及俯仰驱动部36分别具有步进电机及电机驱动器，对云台机构32输出驱动力，驱动云台机构32。

信号处理部41对从摄像部20被输入的数字图像信号(摄像图像数据)进行偏移处理、包括白平衡校正及灵敏度校正的增益/控制处理、伽马校正处理、去马赛克处理(颜色插值处理)、rgb/yc转换处理等信号处理。其中，去马赛克处理是从与单板式彩色成像元件的滤色器排列对应的马赛克图像按每一个像素算出所有颜色信息的处理，也称为同步处理。例如是包括rgb三色滤色器的成像元件的情况下，从包括rgb的马赛克图像按每一个像素算出rgb所有颜色信息的处理。并且，rgb/yc转换处理是由已进行去马赛克处理的rgb图像数据生成亮度数据y、色差数据cb、cr的处理。信号处理部41发送实施上述处理后的摄像图像数据。

尺寸变更部65变更用于向操作装置100发送图像的尺寸。即，尺寸变更部65为了将作为即时预览图像而显示于操作装置100的图像尺寸发送到操作装置100而进行变更。例如尺寸变更部65在从信号处理部41中获取的图像为记录用全hd(highdifinition)(1920×1080)的情况下，使全hd的图像缩小为vga(videographicsarray)(640×480)的尺寸。并且，尺寸变更部65也可以根据来自操作装置100的命令而变更从图像发送部向操作装置100发送图像的尺寸，所述操作装置100根据由图像发送部发送图像的接收状况而发送图像的尺寸的变更命令。例如在向操作装置100发送了vga图像的情况下，若从操作装置100经由相机侧通信部50而接收缩小尺寸的命令，则尺寸变更部65将图像的尺寸所缩小为qvga(quartervideographicsarray)(320×240)的尺寸。另外，关于图像的尺寸，并不限定于上述全hd、vga、qvga，而可以使用各种图像的尺寸。并且，尺寸变更部65也能够以与缩小尺寸相同的方式增大尺寸。

控制部40主要具备摄像控制部42、透镜控制部43、方向控制部44及动作控制部46。

摄像控制部42是命令经由cmos驱动器28、tg29而排出蓄积在成像元件24的每一个像素的电容器中的电荷、或者读取与蓄积在电容器中的电荷对应的信号等的部分，进行摄像控制。

透镜控制部43是经由透镜驱动部26而控制成像透镜22中所包含的聚焦透镜、变倍透镜及光圈23的部分，进行使聚焦透镜移动到对焦位置的自动对焦(af：autofocus)控制等。将与af区域对应的数字信号的高频成分的绝对值进行累计，并检测该累计值(af评价值)成为最大的对焦位置，使聚焦透镜移动到检测到的对焦位置，由此进行af控制。

方向控制部44为控制摄像方向调整部30的部分。具体而言，在设定为自动跟踪模式的情况下，方向控制部44以被摄体(跟踪对象)成为视场角的中心的方式控制摄像方向调整部30。并且在未设定有自动跟踪模式的情况下，方向控制部44按照从操作部60或操作装置100发送过来的命令而控制摄像方向调整部30。

动作控制部46控制摄像控制部42、透镜控制部43及方向控制部44的动作。例如动作控制部46控制方向控制部44以使云台机构32工作或停止。并且，动作控制部46将跟踪功能用控制信息发送到方向控制部44，以跟踪跟踪对象的方式经由向控制部44而控制云台机构32。并且，动作控制部46使被拍摄动态图像的图像停止记录于存储器62或者解除该停止。另外，动作控制部46使摄像部20中的动态图像拍摄停止并设为省电模式，或者解除省电模式。

相机侧通信部50是与图1所示的外部的操作装置100之间进行无线通信的部分，作为将图像发送到操作装置100的图像发送部及接收来自操作装置100的命令的命令接收部而发挥功能。例如相机侧通信部50将记录用图像等发送到操作装置100，进而，由摄像部20拍摄动态图像，能够将由信号处理部41处理的图像(摄像图像数据)发送到操作装置100。由此，能够将动态图像等记录用图像记录于操作装置100的内部或外置记录介质，或者将即时预览图像显示于操作装置100的显示部(显示输入部120)。并且，例如相机侧通信部50能够接收从操作装置100发送的图像尺寸的变更命令。

操作部60包括设置于装置主体12的摄像开始按钮19(图1)、电源开关等，能够进行与来自操作装置100的操作用命令输入相同的操作用命令输入。

相机侧显示部61作为显示即时预览图像、重放图像等的图像显示部而发挥功能，并且与操作部60协同作用，作为菜单画面的显示、用于设定及输入各种参数的用户界面部而发挥功能。

存储器62包括构成临时存储静止图像或动态图像的存储区域、进行各种运算处理等的工作用区域的sdram(synchronousdynamicrandomaccessmemory)、或存储拍摄用程序及控制中需要的各种数据等的rom(readonlymemory)等。通过摄像部20而被拍摄动态图像的图像记录于存储器62是由动作控制部46来控制的。

图3是表示操作装置100的功能结构的例子的框图。

如图3所示，作为操作装置100的主要的构成要件，具备：终端侧通信部(接收部)110、显示输入部120、通话部130、操作部140、相机部141、存储部150、外部输入输出部160、gps(globalpositioningsystem)接收部170、动作传感器部180、电源部190、移动量判定部193、移动量计算部191、跟踪处理部197及主控制部101。并且，作为操作装置100的主要功能，具备经由基站装置bs和移动通信网nw进行移动无线通信的无线通信功能。

终端侧通信部110按照主控制部101的命令，对容纳于移动通信网nw的基站装置bs进行无线通信。使用该无线通信来进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发以及web数据或流数据等的接收。本例中，操作装置100的终端侧通信部110对相机10发送各种操作用命令输入，或者作为从相机10接收连续发送的图像(即时预览图像)、记录用图像等作为接收部而发挥功能。

显示输入部120通过主控制部101的控制而显示图像(静止图像及动态图像)和文字信息等来视觉性地向用户传递信息，并且检测用户对所显示的信息的操作。显示输入部120具备显示面板121和操作面板(触摸面板)122。在用户欣赏3d图像的情况下，优选显示面板121为3d显示面板。并且，显示输入部120也作为接受相机10进行跟踪的特定的跟踪对象的跟踪对象接受部而发挥功能。

显示面板121将lcd(liquidcrystaldisplay)、oeld(organicelectro-luminescencedisplay)等用作显示设备，作为显示从相机10连续发送的图像的显示部而发挥功能。

操作面板(输入部)122是以能够视觉辨认显示于显示面板121的显示面上的图像的方式载置，并检测通过用户的手指或尖笔来操作的一个或多个坐标的设备。若通过用户的手指或尖笔来操作该设备，则将因操作而产生的检测信号输出至主控制部101。接着，主控制部101根据接收到的检测信号来检测显示面板121上的操作位置(坐标)，指定显示部的画面上的输入位置。

如图1所示，操作装置100的显示面板121和操作面板122成为一体而构成显示输入部120，配置成操作面板122完全覆盖显示面板121。采用该配置的情况下，操作面板122可以对显示面板121以外的区域也具备检测用户操作的功能。换言之，操作面板122可以具备针对与显示面板121重叠的重叠部分的检测区域(以下，称为显示区域)、及针对除此以外的与显示面板121不重叠的外缘部分的检测区域(以下，称为非显示区域)。

另外，可以使显示区域的大小和显示面板121的大小完全一致，但无需一定要使两者一致。并且，操作面板122可以具备外缘部分和除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度按照框体102的大小等而可以适当地设计。此外，作为在操作面板122中采用的位置检测方式，可以举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，还可以采用任意方式。

通话部130具备扬声器131和麦克风132，所述通话部将通过麦克风132输入的用户的语音转换成能够在主控制部101中处理的语音数据并输出至主控制部101，或者对通过终端侧通信部110或外部输入输出部160而接收到的语音数据进行解码并从扬声器131输出。并且，如图1所示，例如，能够将扬声器131及麦克风132搭载于与设置有显示输入部120的面相同的面。

操作部140为使用键开关等的硬件键，接受来自用户的命令。例如，操作部140搭载于操作装置100的框体102的显示输入部120的下部、下侧面，是若手指等按下则开启，若手指离开则通过弹簧等的复原力而成为关闭状态的按钮式开关。

存储部150存储主控制部101的控制程序和控制数据、与通信对方的名称、电话号码等建立了对应关联的地址数据、收发的电子邮件的数据、通过web浏览下载的web数据以及已下载的内容数据，并且临时存储流数据等。并且，存储部150由智能手机内置的内部存储部151和具有装卸自如的外部存储器插槽的外部存储部152构成。另外，构成存储部150的各内部存储部151和外部存储部152使用闪存类型(flashmemorytype)、硬盘类型(harddisktype)、微型多介质卡类型(multimediacardmicrotype)、卡类型的存储器(例如microsd(注册商标)存储器等)、ram(randomaccessmemory)、rom(readonlymemory)等存放介质来实现。

外部输入输出部160起到与连结于操作装置100的所有外部设备的接口的作用，用于通过通信等(例如通用串行总线(usb(universalsirialbus)等)或网络(例如因特网、无线lan(localareanetwork)、蓝牙(bluetooth)(注册商标)、rfid(radiofrequencyidentification)、红外线通信(infrareddataassociation：irda)(注册商标)、uwb(ultrawideband)(注册商标)、紫蜂(zigbee)(注册商标)等)直接或间接地与其他外部设备连接。

作为与操作装置100连结的外部设备，例如有：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(memorycard)或sim(subscriberidentitymodulecard)/uim(useridentitymodulecard)卡、经由音频视频i/o(input/output)端子连接的外部音频视频设备、无线连接的外部音频视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的pda(personaldigitalassistant)及耳机等。外部输入输出部160能够将从这种外部设备接收到传送的数据传递至操作装置100内部的各构成要件，或者将操作装置100内部的数据传送至外部设备。

gps接收部170按照主控制部101的命令，接收从gps卫星st1～stn发送的gps信号，并执行基于接收到的多个gps信号的定位运算处理，检测包括该操作装置100的纬度、经度、高度的位置。gps接收部170在能够从终端侧通信部110或外部输入输出部160(例如，无线lan)获取位置信息时，还能够使用该位置信息来检测位置。

动作传感器部180例如具备3轴加速度传感器等，按照主控制部101的命令而检测操作装置100的物理动作。通过检测操作装置100的物理动作来检测操作装置100的运动方向、加速度。该检测结果被输出至主控制部101。

电源部190按照主控制部101的命令，向操作装置100的各部供给电池(未图示)中蓄积的电力。

主控制部101具备微处理器，按照存储部150所存储的控制程序、控制数据进行动作，统一控制操作装置100的各部。并且，主控制部101为了通过终端侧通信部110进行语音通信、数据通信而具备控制通信系统的各部的移动通信控制功能和应用处理功能。

应用处理功能通过主控制部101按照存储部150所存储的应用软件进行动作来实现。作为应用处理功能，例如有控制外部输入输出部160而与对象设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览web页的web浏览功能等。

并且，主控制部101具备根据接收数据、已下载的流数据等图像数据(静止图像和动态图像的数据)将影像显示于显示输入部120等的图像处理功能。图像处理功能是指，主控制部101将上述图像数据进行解码，并对该解码结果进行图像处理，从而将图像显示于显示输入部120的功能。

另外，主控制部101执行对显示面板121的显示控制和对通过操作部140、操作面板122进行的用户操作进行检测的操作检测控制。

通过执行显示控制，主控制部101显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指针对无法完全收进显示面板121的显示区域的较大的图像等，用于接受使图像的显示部分移动的命令的软件键。

而且，主控制部101执行对通过操作部140、操作面板122进行的用户操作进行检测的操作检测控制。

主控制部101通过执行操作检测控制而检测通过操作部140进行的用户操作，或者通过操作面板122来接受对上述图标的操作或对上述窗口的输入栏的字符串的输入，或者接受通过滚动条进行的显示图像的滚动请求。

而且，通过执行操作检测控制，主控制部101判定对操作面板122的操作位置是与显示面板121重叠的重叠部分(显示区域)，还是除此以外的与显示面板121不重叠的外缘部分(非显示区域)，并具备控制操作面板122的感应区域或软件键的显示位置的触摸面板控制功能。

并且，主控制部101还能够检测对操作面板122的手势操作，并按照检测出的手势操作来执行预先设定的功能。手势操作并非是以往的简单的触摸操作，而是表示利用手指等描绘轨迹、或者同时指定多个位置、或者组合这些对多个位置中的至少一个描绘轨迹的操作。

相机部141是使用cmos(complementarymetaloxidesemiconductor)或ccd(charge-coupleddevice)等成像元件来进行电子摄像(摄像)的数码相机。

并且，相机部141通过主控制部101的控制能够将通过拍摄而得到的图像数据转换成例如jpeg(jointphotographiccodingexpertsgroup)等压缩的图像数据，并记录于存储部150，或者通过外部输入输出部160及终端侧通信部110而进行输出。

在图1所示的操作装置100中，相机部141搭载于与显示输入部120相同的面，但相机部141的搭載位置并不限定于此，也可以搭载于显示输入部120的背面、或者搭载有多个相机部141。另外，在搭载有多个相机部141的情况下，还能够切换用于摄像的相机部141来单独进行拍摄、或者同时使用多个相机部141来进行拍摄。

并且，相机部141能够利用于操作装置100的各种功能。例如，能够在显示面板121上显示利用相机部141获取的图像、或者作为操作面板122的操作输入之一而利用相机部141的图像。并且，在gps接收部170检测位置时，还能够参照来自相机部141的图像来检测位置。而且，还能够参照来自相机部141的图像，不使用3轴加速度传感器或者与3轴加速度传感器同时使用，来判断操作装置100的相机部141的光轴方向、判断当前的使用环境。当然，还能够在应用软件内利用来自相机部141的图像。

在本例中，经由网络等下载用于操作相机10的应用软件并存储于存储部150，通过操作装置100的应用处理功能，使主控制部101按照所下载的应用软件进行动作，由此使通用的操作装置100作为用于操作相机10的用户界面部而发挥功能。

移动量计算部191根据由终端侧通信部110连续接收到的图像来计算连续的图像之间的跟踪对象的移动量。移动量计算部191能够以公知的各种方法计算跟踪对象的移动量。例如移动量计算部191获取第1时间上的图像中跟踪对象的坐标和第2时间上的图像中跟踪对象的坐标，通过计算两个坐标的距离而能够算出移动量。

移动量判定部193判定利用移动量计算部191算出的移动量是否为第1移动量阈值以上。即，移动量判定部193通过比较利用移动量计算部191算出的移动量和第1移动量阈值而进行判定，判定跟踪对象的移动量是否较大(动作较快)或者移动量是否较小(动作较慢)。另外，第1移动量阈值是任意设定的阈值，且无特别的限定。例如第1移动量阈值是考虑利用跟踪处理部197进行的跟踪处理(跟踪运算)的性能和帧率而决定的。

在由移动量判定部193判定移动量为第1移动量阈值以上的情况下，尺寸命令发送部195向相机10发送将相机10发送的图像的尺寸从第1尺寸变更为小于第1尺寸的第2尺寸的命令。即，在由移动量判定部193判定移动量为第1阈值以上的情况下，跟踪对象较快，因此尺寸命令发送部195发送缩小相机10发送的图像的尺寸的命令，以维持操作装置100接收的帧率(防止下降)。由此，即使在相机跟踪动作较快的跟踪对象的情况下，也能够以高精度持续进行跟踪。并且，在跟踪对象的移动量小于第1移动量阈值的情况下，尺寸命令发送部195不发送将从相机10发送的图像的尺寸变更为较小尺寸的命令。由此，图像的尺寸不会变小，即使是较小的跟踪对象，也能够以高精度持续进行跟踪。

跟踪处理部197进行通过对从相机10连续发送的图像进行图像处理而被确定的跟踪对象的跟踪。例如跟踪处理部197利用块匹配处理、图案匹配处理、或脸部检测处理的方法进行跟踪对象的检测，并获取跟踪对象的坐标。另外，关于块匹配处理、图案匹配处理或脸部检测处理，因众所周知而省略说明。跟踪处理部197经由终端侧通信部110向相机10发送所获取的跟踪对象的坐标作为用于控制云台机构32的信息(跟踪功能用控制信息)。另外，跟踪处理部197能够通过自动或手动的方式进行跟踪，在自动跟踪的情况下，跟踪处理部197持续检测临时被确定的跟踪对象，在手动跟踪的情况下，跟踪处理部197依次检测被确定的跟踪对象。

跟踪处理部197具有评价值生成部199及评价值判定部201。评价值生成部199生成表示跟踪的准确度的评价值。例如评价值生成部199根据块匹配中模板图像与对应于模板图像的区域的图像之间的各像素差分的绝对值的总和而生成评价值。在此，块匹配中模板图像与对应于模板图像的区域的图像之间的各像素差分的绝对值的总和通常被称作ssd(sumofsquareddifferences)或sad(sumofabsolutedifferences)。另外，关于ssd及sad的具体的计算方法，可以使用公知的方法。

评价值判定部201判定利用评价值生成部199生成的评价值是否为评价值阈值以上。即，评价值判定部201通过比较利用评价值生成部199算出的评价值和评价值阈值而进行判定，判定是否以高精度进行跟踪。例如在评价值为评价值阈值以上的情况下，评价值判定部201判定并没有以高精度进行跟踪，在评价值小于评价值阈值的情况下，评价值判定部201判定以高精度进行跟踪。在此，评价值阈值也可以考虑所希望的跟踪性能而决定。

(第1实施方式)

图4是表示第1实施方式中的操作装置100的动作的流程图。

首先，操作装置100由终端侧通信部110接收从相机10的相机侧通信部50连续发送过来的图像(步骤s10)。之后，由跟踪对象接受部接受特定的跟踪对象(步骤s11)。而且，计算由移动量计算部191接受的跟踪对象在连续的图像之间的移动量(步骤s12)，由移动量判定部193判定所算出的移动量是否为第1移动量阈值以上(步骤s13)。

在由移动量判定部193判定移动量为第1阈值以上的情况下，由尺寸命令发送部195向相机10发送将图像的尺寸从第1尺寸变更为小于第1尺寸的第2尺寸的命令(步骤s14)。并且，在由移动量判定部193判定移动量小于第1阈值的情况下，不发送来自尺寸命令发送部195的命令(步骤s15)。

如以上说明，本实施方式在跟踪对象的移动量为第1移动量阈值以上的情况下，发送将从相机10发送的图像的尺寸变更为较小尺寸的命令，因此可抑制操作装置100接收的帧率下降，即使为移动量较大的跟踪对象，也能够以高精度持续进行跟踪。并且，本实施方式在跟踪对象的移动量小于第1移动量阈值的情况下，不发送将从相机10发送的图像的尺寸变更为较小尺寸的命令，因此图像的尺寸不会变小，即使为较小的跟踪对象，也能够以高精度持续进行跟踪。

并且，上述各结构及功能通过适当地组合任意的硬件、软件或者两者的组合而可以实现。例如可以将本发明应用于使计算机执行上述处理步骤(处理顺序)的程序、记录有这种程序的计算机可读取的记录介质(非临时性有形介质)或者可以安装这种程序的计算机。

(第2实施方式)

接着，作为第2实施方式，关于尺寸命令发送部195发送从第2尺寸向第1尺寸的命令的情况进行说明。图5是表示第2实施方式的操作装置100的动作的流程图。

首先，由终端侧通信部110接收从相机侧通信部50连续发送过来的图像(步骤s20)，并由跟踪对象接受部接受特定的跟踪对象(步骤s21)，由移动量计算部191计算所接受的跟踪对象在连续的图像之间的移动量(步骤s22)，由移动量判定部193判定所算出的移动量是否为第1移动量阈值以上(步骤s23)。

在由移动量判定部193判定移动量为第1阈值以上的情况下，由尺寸命令发送部195向相机10发送将图像的尺寸从第1尺寸变更为小于第1尺寸的第2尺寸的命令(步骤s24)。并且，在由移动量判定部193判定移动量小于第1阈值的情况下，不发送来自尺寸命令发送部195的命令(步骤s25)。

在由尺寸命令发送部195发送从第1尺寸向第2尺寸缩小尺寸的命令之后，由移动量计算部191计算跟踪对象的移动量。而且，由移动量判定部193判定所算出的移动量(步骤s26)，由评价值判定部201判定利用跟踪处理部197进行跟踪的评价值是否为评价值阈值以上(步骤s27)。之后，在判断评价值为评价值阈值以上的情况下，尺寸命令发送部195命令从第2尺寸变更为大于第2尺寸的第1尺寸(步骤s28)。

如以上说明，本实施方式在判定被摄体的移动量小于第2移动量阈值且跟踪的评价值为评价值阈值以上的情况下，发送图像的尺寸变更为原来的较大尺寸的命令。由此，在本实施方式中，操作装置100能够通过较大尺寸的图像而进行跟踪处理，因此能够以高精度进行跟踪。

(第3实施方式)

接着，作为第3实施方式，关于尺寸命令发送部195发送从第1尺寸向第3尺寸的命令的情况进行说明。图6是表示第3实施方式的操作装置100的动作的流程图。

首先，由终端侧通信部110接收从相机侧通信部50连续发送过来的图像(步骤s30)，由跟踪对象接受部接受特定的跟踪对象(步骤s31)，由移动量计算部191计算所接受的跟踪对象在连续的图像之间的移动量(步骤s32)，由移动量判定部193判定所算出的移动量是否为第1移动量阈值以上(步骤s33)。

在由移动量判定部193判定移动量为第1阈值以上的情况下，由尺寸命令发送部195向相机10发送将图像的尺寸从第1尺寸变更为小于第1尺寸的第2尺寸的命令(步骤s34)。并且，在由移动量判定部193判定移动量小于第1阈值的情况下，不发送来自尺寸命令发送部195的命令(步骤s35)。

在从尺寸命令发送部195未发送图像尺寸变更的命令之后，由移动量判定部193判定跟踪对象的移动量是否小于第2移动量阈值(步骤s36)。之后，在跟踪对象的移动量小于第2移动量阈值的情况下，由评价值判定部201判定评价值是否为评价值阈值以上(步骤s37)。而且，在评价值为评价值阈值以上的情况下，发送将图像的尺寸从第1尺寸变更为大于第1尺寸的第3尺寸的命令(步骤s38)。

如以上说明，本实施方式在判定被摄体的移动量小于第2移动量阈值且跟踪的评价值为评价值阈值以上的情况下，发送图像的尺寸变更为较大尺寸的命令。由此，在本实施方式中，操作装置100通过较大尺寸的图像而能够进行跟踪处理，因此能够以高精度进行跟踪。

(第4实施方式)

接着，关于第4实施方式进行说明。

图7是表示第4实施方式的操作装置100的功能结构的例子的框图。另外，对于在图3中已进行说明的功能块标注相同的符号并省略说明。

与图3所示的操作装置100相比，第4实施方式的操作装置100中被追加帧率检测部203、帧率判定部205、通信信息发送部207及通信速度获取部209。

帧率检测部203检测接收部连续接收的图像的帧率。即，帧率检测部203检测从相机10的相机侧通信部50连续发送过来的图像的终端侧通信部110所接收的帧率。

帧率判定部205判定由帧率检测部203检测到的帧率是否小于帧率阈值。在帧率小于帧率阈值的情况下，是相机10的相机侧通信部50与操作装置100的终端侧通信部110之间的通信不良的状态，在帧率为帧率阈值以上的情况下，是相机10的相机侧通信部50与操作装置100的终端侧通信部110之间的通信良好的状态。另外，帧率阈值也可以根据相机10发送的图像的尺寸而设定。由此，由于帧率阈值根据图像的尺寸而设定，因此能够以更高精度进行帧率的判定。

通信信息发送部207向相机10发送与相机10的通信状态有关的信息。即，在由帧率判定部205判定帧率小于帧率阈值的情况下，通信信息发送部207发送有关通信错误的信息作为有关通信状态的信息。由此，在帧率小于帧率阈值的情况下，有关通信错误的信息被发送到相机10，因此相机10能够掌握操作装置100中的通信状态。

通信速度获取部209根据帧率检测部203检测到的帧率而获取与相机10的通信速度。具体而言，通信速度获取部209根据帧率检测部203检测到的帧率的数值而获取相机10与操作装置100的通信速度。例如通信速度获取部209具有帧率与通信速度对应的表格数据，根据该表格数据而获取通信速度。

图8是表示第4实施方式中的操作装置100的动作的流程图。

首先，由终端侧通信部110接收从相机侧通信部50连续发送过来的图像(步骤s40)，由跟踪对象接受部接受特定的跟踪对象(步骤s41)，由移动量计算部191计算所接受的跟踪对象在连续的图像之间的移动量(步骤s42)，由移动量判定部193判定所算出的移动量是否为第1移动量阈值以上(步骤s43)。

而且，在判定移动量为第1阈值以上的情况下，操作装置100向相机10发送将图像的尺寸从第1尺寸变更为小于第1尺寸的第2尺寸的命令(步骤s47)。在由移动量判定部193判定移动量小于第1阈值的情况下，利用帧率检测部203检测操作装置100经由终端侧通信部110而接收的帧率(步骤s44)。之后，由帧率判定部205判定所检测到的帧率是否小于帧率阈值(步骤s45)。在所检测到的帧率小于帧率阈值的情况下，由尺寸命令发送部195发送从第1尺寸变更为第2尺寸的命令。另一方面，在所检测到的帧率为帧率阈值以上的情况下，尺寸命令发送部195不发送尺寸变更的命令(步骤s46)。

如以上说明，本实施方式在帧率小于帧率阈值的情况下发送将图像的尺寸变更为第2尺寸的命令，因此能够提高下降的帧率。由此，在本方式中，即使为移动量较多的跟踪对象，也能够以高精度进行跟踪。

以上，关于本发明的例子进行了说明，但本发明并不限定于上述实施方式，当然，在不脱离本发明的宗旨的范围内可以进行各种变更。

符号说明

10-相机，12-装置主体，14-底座，16-保持部，16a-齿轮，18-球形罩，19-摄像开始按钮，20-摄像部，22-成像透镜，23-光圈，24-成像元件，26-透镜驱动部，28-cmos驱动器，30-摄像方向调整部，32-云台机构，34-平摇驱动部，36-俯仰驱动部，40-控制部，41-信号处理部，42-摄像控制部，43-透镜控制部，44-方向控制部，46-动作控制部，50-相机侧通信部，60-操作部，61-相机侧显示部，62-存储器，65-尺寸变更部，100-操作装置，101-主控制部，102-框体，110-终端侧通信部，120-显示输入部，121-显示面板，122-操作面板，130-通话部，131-扬声器，132-麦克风，140-操作部，141-相机部，150-存储部，151-内部存储部，152-外部存储部，160-外部输入输出部，170-gps接收部，180-动作传感器部，190-电源部，191-移动量计算部，193-移动量判定部，195-尺寸命令发送部，197-跟踪处理部，199-评价值生成部，201-评价值判定部，300-跟踪系统。