相机装置、摄像系统、控制方法及程序与流程

本发明涉及一种相机装置、摄像系统、控制方法及程序，尤其涉及一种具有跟踪被摄体的功能的相机装置、摄像系统、控制方法及程序。

背景技术：

一边跟踪特定的被摄体，一边连续进行拍摄的跟踪摄像技术，在监控摄像机或通常的数码相机等领域中被广泛使用。作为确定成为跟踪目标的特定的被摄体的位置的方法提出有各种方法，例如已知有通过进行使跟踪目标的特征与摄像图像匹配的图像处理而确定图像内的跟踪目标的位置的方法。

并且，已知有使具有跟踪跟踪目标的功能的相机装置与远程终端装置之间互换信息，以跟踪跟踪目标的技术。

例如，在专利文献1中公开了相机装置(相机)和终端装置(监测器)通过传输线而被连接，且在终端装置上设置有进行用于跟踪跟踪目标的图像处理的图像处理部的系统。

并且，近年来，智能手机及平板终端等的计算处理能力飞速提高，通过将智能手机及平板终端用作终端装置而进行用于跟踪跟踪目标的图像处理，可以进行更快速且准确的跟踪。

以往技术文献

专利文献

专利文献1：日本特开2000-032435号公报

技术实现要素：

发明要解决的技术课题

然而，如专利文献1中所记载的技术，在仅在终端装置中设置进行用于跟踪的图像处理的图像处理部的技术中，若相机装置与终端装置的通信状态不良，则有时无法准确地进行跟踪。即，由于相机装置与终端装置的通信状态不良，因此利用在用于跟踪跟踪目标的图像处理(跟踪处理)中所需要的相机装置来拍摄的摄像图像数据的发送、以及在终端装置侧进行的跟踪处理的分析结果的发送变得比较困难，有时无法准确地控制相机装置的摄像方向。

作为相机装置与终端装置的通信状态不良的情况的对策，也可以考虑利用相机装置进行跟踪处理。但多数情况下，通常，相机装置的计算能力比用作终端装置的智能手机或平板终端的计算能力差，因此认为若利用相机装置进行跟踪处理，则跟踪的精度降低。

并且，在相机装置与终端装置的通信状态成为不良的情况下，也可以考虑从利用终端装置的跟踪处理转移到利用相机装置的跟踪处理的方法。但在成为通信不良时，若重新开始利用相机装置的跟踪处理，则在搜寻跟踪目标的初始动作中需要时间，因此难以进行顺畅的跟踪目标的跟踪。

本发明是鉴于这种情况而完成的，其目的在于提供一种在相机装置与终端装置的通信状态良好的情况下，在终端装置中可以快速且准确地进行用于跟踪跟踪目标的图像处理，且在相机装置与终端装置的通信状态不良的情况下，也可以顺畅地持续进行跟踪目标的跟踪的相机装置、摄像系统、控制方法及程序。用于解决技术课题的手段

作为本发明的一方式的相机装置，具备：摄像部，连续获取摄像图像数据；摄像方向调整部，调整摄像部的摄像方向；方向控制部，控制摄像方向调整部；相机侧跟踪运算处理部，分析摄像图像数据而获取表示跟踪目标的位置的第1目标信息，并输出第1目标信息；相机侧通信部，其为与操作相机装置的终端装置可以进行通信的相机侧通信部，并从终端装置接收第2目标信息；及相机侧目标信息修正部，根据第2目标信息而修正第1目标信息，在第1目标信息及第2目标信息这两者被输入的情况下，方向控制部根据第2目标信息而控制摄像方向调整部，在仅输入第1目标信息及第2目标信息中的任一种的情况下，根据第1目标信息及第2目标信息中被输入的信息而控制摄像方向调整部。

根据本方式，摄像部的摄像方向根据利用相机装置进行的摄像图像数据的分析结果即第1目标信息、或者利用终端装置进行的摄像图像数据的分析结果即第2目标信息而被控制。由此，在本方式中，在相机装置与终端装置的通信状态良好的情况下，根据第2目标信息快速且准确地进行跟踪，在相机装置与终端装置的通信状态成为不良的情况下，也根据第1目标信息而持续进行跟踪目标的跟踪。并且，根据本方式，第1目标信息根据第2目标信息而被修正，因此能够提高第1目标信息的准确度，且能够限制重新检测跟踪目标的初始动作中所需时间，因此在相机装置与终端装置的通信状态成为不良的情况下进行的从利用相机装置的跟踪处理向利用终端装置的跟踪处理的转移顺畅地进行。

优选相机侧跟踪运算处理部根据通过分析在第1定时获取的第1摄像图像数据而获取的第1定时上的第1目标信息而分析在第1定时之后的第2定时获取的第2摄像图像数据，从而获取第2定时上的第1目标信息，在第1定时上的第1目标信息根据第2目标信息而被修正的情况下，相机侧跟踪运算处理部根据修正后的第1定时上的第1目标信息而获取第2定时上的第1目标信息。

根据本方式，第1定时上的第1目标信息根据第1定时上的第2目标信息而被修正，根据修正后的第1定时的第1目标信息而获取第2定时上的第1目标信息。由此，本方式在相机装置中根据修正后的第1目标信息进行跟踪处理，因此能够更准确地进行相机装置中的跟踪处理。

优选相机侧目标信息修正部通过将第1目标信息的内容替换为第2目标信息的内容而修正第1目标信息。

根据本方式，第1目标信息的内容被替换为第2目标信息的内容，因此可以更准确且有效地修正第1目标信息的内容。

优选相机侧目标信息修正部根据基于第1目标信息确定的跟踪目标的位置和基于第2目标信息确定的跟踪目标的位置来确定有无执行第1目标信息的修正。

根据本方式，根据第1目标信息的跟踪目标的位置和第2目标信息的跟踪目标的位置来确定有无执行对第1目标信息的修正，因此能够进行更有效的第1目标信息的修正。

优选相机侧目标信息修正部计算表示基于第1目标信息确定的跟踪目标的位置与基于第2目标信息确定的跟踪目标的位置之间的距离的差分距离，在差分距离为第1阈值以上的情况下，进行第1目标信息的修正，在差分距离小于第1阈值的情况下，不进行第1目标信息的修正。

根据本方式，根据第1目标信息中的跟踪目标的位置和第2目标信息中的跟踪目标的位置来确定有无执行对第1目标信息的修正，因此能够进行更有效的第1目标信息的修正。

优选相机侧目标信息修正部具有定时器，并根据来自定时器的信息而确定有无执行第1目标信息的修正。

根据本方式，根据来自定时器的信息而确定执行第1目标信息的修正，因此能够进行更稳定的第1目标信息的修正。

优选相机侧目标信息修正部定期地确定有无执行第1目标信息的修正。

根据本方式，定期地确定有无执行第1目标信息的修正，因此能够进行更稳定的第1目标信息的修正。

优选终端装置还具有帧率监控部，其监测发送到相机侧通信部的摄像图像数据的帧率。

根据本方式，在进行通信的终端装置中设置有帧率监控部，因此能够更准确地掌握相机装置与终端装置的通信状态。

优选在通过帧率监控部而监测的帧率为第2阈值以下的情况下，相机侧目标信息修正部不进行第1目标信息的修正。

根据本方式，在通过帧率监控部而监测的帧率为第2阈值以下的情况下，因第1目标信息的可靠性降低而不进行第1目标信息的修正，因此在利用终端装置算出的第2目标信息的精度较高的情况下，能够进行第1目标信息的修正。

优选终端装置具有根据第1目标信息而修正第2目标信息的终端侧目标信息修正部，在通过帧率监控部而监测的帧率成为第2阈值以下之后成为第3阈值以上的情况下，终端侧目标信息修正部修正第2目标信息。

根据本方式，在相机装置与终端装置的通信成为不良之后，相机装置与终端装置的通信成为良好的情况下，使用相机装置的第1目标信息而修正终端装置的第2目标装置。由此，本方式能够限制检测跟踪目标的终端装置中的初始动作的时间，因此能够更快速且准确地进行终端装置中的跟踪处理。

优选多个终端装置经由多个终端装置的各自的终端侧通信部而连接于相机装置，多个终端装置的各自的终端侧通信部输出帧率监控部进行监测的帧率的信息和第2目标信息，相机侧目标信息修正部将从终端装置的各自的终端侧通信部输出的帧率的信息进行比较，并根据从显示最高帧率的终端装置的终端侧通信部输出的第2目标信息而修正第1目标信息。

根据本方式，在与相机装置进行通信的多个终端装置中，根据显示最高帧率的终端装置的第2目标信息而修正第1目标信息，因此能够进行更准确的第1目标信息的修正。

优选相机装置还具有通信监控部，其监测与终端装置的通信状态。

根据本方式，终端装置中具有监测通信状态的通信监控部，因此能够更准确地检测相机装置与终端装置的通信状态。

优选在通过通信监控部而监测的通信状态成为切断状态的情况下，相机侧目标信息修正部不进行第1目标信息的修正。

根据本方式，在通过终端装置的通信监控部而监测的通信状态成为切断状态的情况下，不进行第1目标信息的修正，因此能够进行更准确的第1目标信息的修正。

优选终端装置具有终端侧目标信息修正部，其根据第1目标信息而修正第2目标信息，在通过通信监控部而监测的通信状态成为切断状态之后，成为再连接状态的情况下，终端侧目标信息修正部修正第2目标信息。

根据本方式，在相机装置与终端装置的通信成为不良之后相机装置与终端装置的通信变得良好的情况下，使用相机装置的第1目标信息而修正终端装置的第2目标装置。由此，本方式能够限制检测跟踪目标的终端装置中的初始动作的时间，因此能够更快速且准确地进行终端装置中的跟踪处理。

作为本发明的另一方式的摄像系统具备相机装置和终端装置，所述相机装置具有：摄像部，连续获取摄像图像数据；摄像方向调整部，调整摄像部的摄像方向；方向控制部，控制摄像方向调整部；相机侧跟踪运算处理部，分析摄像图像数据而获取表示跟踪目标的位置的第1目标信息，并输出第1目标信息；相机侧通信部；及相机侧目标信息修正部，根据第2目标信息而修正第1目标信息，所述终端装置具有：终端侧通信部，与相机侧通信部可以进行通信；及终端侧跟踪运算处理部，分析摄像图像数据而获取表示跟踪目标的位置的第2目标信息，并经由终端侧通信部而输出第2目标信息，相机侧通信部输出所接收到的第2目标信息，方向控制部在接收到第1目标信息及第2目标信息这两者的情况下，根据第2目标信息而控制摄像方向调整部，在仅接收到第1目标信息及第2目标信息中的任一种的情况下，根据第1目标信息及第2目标信息中所接收到的信息而控制摄像方向调整部。

作为本发明的另一方式的控制方法，其为相机装置的控制方法，所述相机装置具备：摄像部，连续获取摄像图像数据；摄像方向调整部，调整摄像部的摄像方向；方向控制部，控制摄像方向调整部；相机侧跟踪运算处理部，分析摄像图像数据而获取表示跟踪目标的位置的第1目标信息，并输出第1目标信息；相机侧通信部，其为与操作相机装置的终端装置可以进行通信的相机侧通信部，并从终端装置接收第2目标信息；及相机侧目标信息修正部，根据第2目标信息而修正第1目标信息，在第1目标信息及第2目标信息这两者被输入的情况下，根据第2目标信息而控制摄像方向调整部，在仅输入第1目标信息及第2目标信息中的任一种的情况下，根据第1目标信息及第2目标信息中被输入的信息而控制摄像方向调整部。

作为本发明的另一方式的程序，其为使计算机执行相机装置的控制方法的程序，所述相机装置具备：摄像部，连续获取摄像图像数据；摄像方向调整部，调整摄像部的摄像方向；方向控制部，控制摄像方向调整部；相机侧跟踪运算处理部，分析摄像图像数据而获取表示跟踪目标的位置的第1目标信息，并输出第1目标信息；相机侧通信部，其为与操作相机装置的终端装置可以进行通信的相机侧通信部，并从终端装置接收第2目标信息；及相机侧目标信息修正部，根据第2目标信息而修正第1目标信息，在第1目标信息及第2目标信息这两者被输入的情况下，根据第2目标信息而控制摄像方向调整部，在仅输入第1目标信息及第2目标信息中的任一种的情况下，使计算机执行根据第1目标信息及第2目标信息中被输入的信息而控制摄像方向调整部。

发明效果

根据本发明，摄像部的摄像方向根据利用相机装置进行的摄像图像数据的分析结果即第1目标信息或者利用终端装置进行的摄像图像数据的分析结果即第2目标信息而被控制。由此，在本发明中，在相机装置与终端装置的通信状态良好的情况下，根据第2目标信息快速且准确地进行跟踪，在相机装置与终端装置的通信状态成为不良的情况下，也根据第1目标信息持续进行跟踪目标的跟踪。并且，根据本发明，第1目标信息根据第2目标信息而被修正，因此能够提高第1目标信息的准确度，且能够限制重新检测跟踪目标的初始动作中所需时间，因此相机装置与终端装置的通信状态成为不良的情况下进行的从相机装置中的跟踪处理向终端装置中的跟踪处理的转移顺畅地进行。

附图说明

图1是表示摄像系统的一例的外观立体图。

图2是表示相机装置的功能结构的例子的框图。

图3是表示终端装置的功能结构的例子的框图。

图4是关于方向控制部进行说明的图。

图5是表示相机侧目标信息修正部的功能结构的例子的框图。

图6是关于相机侧跟踪运算处理部进行说明的图。

图7是表示相机装置及终端装置的动作流程的流程图。

图8是表示相机装置的变形例1中的相机侧目标信息修正部的功能结构的例子的框图。

图9是表示相机装置的变形例2中的相机侧目标信息修正部的功能结构的例子的框图。

图10是表示变形例3的相机装置和终端装置的外观立体图。

具体实施方式

以下，根据附图对本发明的优选实施方式进行说明。

图1是表示作为本发明的一方式的摄像系统300的一例的外观立体图。摄像系统300具备终端装置100(智能手机)和相机装置10(云台摄像机)。

终端装置100是用于操作相机装置10的装置。另外，在图1所示情况下，示出终端装置100以无线的方式操作相机装置10的例子，但并不限定于此，终端装置100和相机装置10也可以以有线的方式连接。

相机装置10主要具有装置主体12、底座14、固定于底座14且将摄像部20保持成转动自如的保持部16、覆盖摄像部20的球形罩18。

底座14配设成以装置主体12的垂直方向z的轴为中心旋转自如，通过平摇驱动部34(图2)以垂直方向z的轴为中心旋转。

保持部16具有与水平方向x的轴设置于同轴上的齿轮16a，从俯仰驱动部36(图2)经由齿轮16a而传递驱动力，由此使摄像部20在上下方向上转动(俯仰动作)。

球形罩18为防尘及防滴用罩，为了使摄像部20的光学性能不变，而与摄像部20的光轴方向l无关，优选为将水平方向x的轴与垂直方向z的轴的交点作为曲率中心的恒定壁厚的球壳形状。

并且，优选在装置主体12的背面设置未图示的三脚架安装部(三脚架螺孔等)。

相机装置10上设置有命令摄像开始的摄像开始按钮19、电源开关(未图示)，但相机装置10具有相机侧通信部50(图2)，主要通过与外部的终端装置(本例中为智能手机)100的无线通信从终端装置100附加各种操作用命令输入。并且，相机装置10通过无线通信从终端装置100获取对摄像图像数据进行分析而得到的与跟踪目标的位置有关的信息。另外，有关终端装置100的说明按照图3进行。

图2是表示相机装置10(云台摄像机)的功能结构的例子的框图。

相机装置10也能够进行静止图像及动态图像的拍摄，大致具备摄像部20、摄像方向调整部30、控制部40、信号处理部41、相机侧跟踪运算处理部65、相机侧目标信息修正部64、相机侧显示部61、操作部60、存储器62、相机侧通信部50及相机侧通信监控部51。

摄像部20具有成像透镜22及成像元件(cmos)24等，并连续获取摄像图像数据。成像透镜22由单焦透镜或变焦透镜构成，使被摄体像成像于成像元件24的成像面上。另外，成像透镜22中所包含的聚焦透镜、变倍透镜(变焦透镜的情况)及光圈23分别由透镜驱动部26驱动。

成像元件24是按每一个像素红(r)、绿(g)、蓝(b)这3原色的原色滤色器以规定的图案排列(拜耳排列、g条纹r/b完整方格、x-trans(注册商标)排列、蜂窝状排列等)的彩色成像元件，由cmos(complementarymetaloxidesemiconductor，互补型金属氧化物半导体)型图像传感器构成。另外，并不限定于cmos型图像传感器，也可以是ccd(charge-coupleddevice，感光耦合设备)型图像传感器。

成像元件24由具有垂直驱动器及水平驱动器等的cmos驱动器28、以及定时信号发生器(tg：timinggenerator)29驱动，从成像元件24读取与被摄体光的入射光量相应的像素信号(与蓄积在每一个像素中的信号电荷对应的数字信号)。

摄像方向调整部30具备云台机构32、平摇驱动部34及俯仰驱动部36等，并调整摄像部20的摄像方向。另外，如图1所示，云台机构32由使摄像部20相对于装置主体12向水平方向(平摇方向)旋转的平摇机构、以及向垂直方向(俯仰方向)转动的俯仰机构32构成。云台机构32具有检测平摇方向的旋转角度(平摇角)的基准位置的原位传感器、检测俯仰方向的倾斜角(俯仰角)的基准位置的原位传感器。

平摇驱动部34及俯仰驱动部36分别具有步进电机及电机驱动器，对云台机构32输出驱动力，驱动云台机构32。

信号处理部41对从摄像部20被输入的数字图像信号(摄像图像数据)进行偏移处理、包括白平衡校正及灵敏度校正的增益/控制处理、伽马校正处理、去马赛克处理(颜色插值处理)、rgb/yc转换处理等信号处理。其中，去马赛克处理是从与单板式彩色成像元件的滤色器排列对应的马赛克图像按每一个像素算出所有颜色信息的处理，也称为同步处理。例如是包括rgb三色滤色器的成像元件的情况下，从包括rgb的马赛克图像按每一个像素算出rgb所有颜色信息的处理。并且，rgb/yc转换处理是由已进行去马赛克处理的rgb图像数据生成亮度数据y、色差数据cb、cr的处理。信号处理部41将实施上述处理后的摄像图像数据发送到相机侧跟踪运算处理部65。

相机侧跟踪运算处理部65通过分析从信号处理部41获取的摄像图像数据而获取表示跟踪目标的位置的第1目标信息。

相机侧跟踪运算处理部65具备如下功能：若作为跟踪对象的被摄体(跟踪目标)被确定，则即使跟踪目标移动，也对表示该跟踪目标的位置的坐标进行检测。具体而言，首先，跟踪目标通过自动或手动的方式而被设定，接着，从信号处理部41依次得到的摄像动态图像(摄像图像数据)中，跟踪目标的图像通过脸部检测处理或图案匹配处理而被检测。另外，关于在相机侧跟踪运算处理部65中进行的脸部检测处理或图案匹配处理，因众所周知而在此省略说明。并且，作为被摄体检测的其它方法，在将运动物体作为被摄体的情况下，也可以通过运动物体检测而检测被摄体。

相机侧目标信息修正部64根据在终端装置100的终端侧跟踪运算处理部191(图3)中算出的第2目标信息来修正由相机侧跟踪运算处理部65算出的第1目标信息。相机侧目标信息修正部64可以直接从相机侧跟踪运算处理部65获取第1目标信息，也可以经由控制部40而获取。并且，相机侧目标信息修正部64经由控制部40而获取第2目标信息。关于相机侧目标信息修正部64的详细说明将进行后述。

控制部40主要具备摄像控制部42、透镜控制部43、方向控制部44及动作控制部46。

摄像控制部42是命令经由cmos驱动器28、tg29而排出蓄积在成像元件24的每一个像素的电容器中的电荷、或者读取与蓄积在电容器中的电荷对应的信号等的部分，进行摄像控制。

透镜控制部43是经由透镜驱动部26而控制成像透镜22中所包含的聚焦透镜、变倍透镜及光圈23的部分，进行使聚焦透镜移动到对焦位置的自动对焦(af：autofocus)控制等。将与af区域对应的数字信号的高频成分的绝对值进行累计，并检测该累计值(af评价值)成为最大的对焦位置，使聚焦透镜移动到检测到的对焦位置，由此进行af控制。

方向控制部44为控制摄像方向调整部30的部分。具体而言，在设定为自动跟踪模式的情况下，方向控制部44以由相机侧跟踪运算处理部65检测的被摄体(跟踪目标)成为视场角的中心的方式控制摄像方向调整部30。并且在未设定有自动跟踪模式的情况下，方向控制部44按照从操作部60或终端装置100发送过来的命令而控制摄像方向调整部30。与有无设定自动跟踪模式无关，方向控制部44根据第1目标信息或第2目标信息来控制摄像方向调整部30。

动作控制部46控制摄像控制部42、透镜控制部43及方向控制部44的动作。例如动作控制部46控制方向控制部44以使云台机构32工作或停止。并且，动作控制部46将第1目标信息及第2目标信息发送到方向控制部44，以跟踪跟踪目标的方式经由方向控制部44而控制云台机构32。并且，动作控制部46使被拍摄动态图像的图像停止记录于存储器62或者解除该停止。另外，动作控制部46使摄像部20中的动态图像拍摄停止而设为省电模式，或者解除省电模式。

相机侧通信部50是与图1所示的外部的终端装置100之间进行无线通信的部分，通过无线通信而从终端装置100接收各种操作用命令。例如相机侧通信部50接收在终端装置100的终端侧跟踪运算处理部191(图3)中算出的第2目标信息。并且，相机侧通信部50将记录用图像等发送到终端装置100，进而，由摄像部20拍摄动态图像，能够将由信号处理部41处理的图像(摄像图像数据)发送到终端装置100。由此，能够将动态图像等记录用图像记录于终端装置100的内部或外置记录介质，或者将即时预览图像显示于终端装置100的显示部(显示输入部120)。

相机侧通信监控部51监测相机侧通信部50与终端侧通信部110的通信状态。相机侧通信监控部51能够通过公知的方法来监测相机侧通信部50与终端侧通信部110的通信状态。例如相机侧通信监控部51能够根据从终端侧通信部110发送过来的电波而监测相机侧通信部50与终端侧通信部110的通信状态。

操作部60包括设置于装置主体12的摄像开始按钮19(图1)、电源开关等，能够进行与来自终端装置100的操作用命令输入相同的操作用命令输入。

相机侧显示部61作为显示即时预览图像、重放图像等的图像显示部而发挥功能，并且与操作部60协同作用，作为菜单画面的显示、用于设定及输入各种参数的用户界面部而发挥功能。

存储器62包括构成临时存储静止图像或动态图像的存储区域、进行各种运算处理等的作业用区域的sdram(synchronousdynamicrandomaccessmemory，同步动态随机存储器)、或存储拍摄用程序及控制中需要的各种数据等的rom(readonlymemory，只读存储器)等。通过摄像部20而被拍摄动态图像的图像记录于存储器62是由动作控制部46来控制的。

图3是表示终端装置100的功能结构的例子的框图。

如图3所示，作为终端装置100的主要的构成要件，具备：终端侧通信部110、显示输入部120、通话部130、操作部140、相机部141、存储部150、外部输入输出部160、gps(globalpositioningsystem，全球定位系统)接收部170、动作传感器部180、电源部190、终端侧跟踪运算处理部191、终端侧目标信息修正部193、终端侧通信监控部195及主控制部101。并且，作为终端装置100的主要功能，具备经由基站装置bs和移动通信网nw进行移动无线通信的无线通信功能。

终端侧通信部110按照主控制部101的命令，对容纳于移动通信网nw的基站装置bs进行无线通信。使用该无线通信来进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发以及web数据或流数据等的接收。本例中，终端装置100的终端侧通信部110对相机装置10发送各种操作用命令输入，或者从相机装置10接收即时预览图像(摄像图像数据)及记录用图像等。

显示输入部120通过主控制部101的控制而显示图像(静止图像及动态图像)和文字信息等来视觉性地向用户传递信息，并且检测用户对所显示的信息的操作。显示输入部120具备显示面板121和操作面板(触摸面板)122。在用户欣赏3d图像的情况下，优选显示面板121为3d显示面板。

显示面板121将lcd(liquidcrystaldisplay，液晶显示器)、oeld(organicelectro-luminescencedisplay，有机电致发光显示器)等用作显示设备。

操作面板122是以能够视觉辨认显示于显示面板121的显示面上的图像的方式载置，并检测通过用户的手指或尖笔来操作的一个或多个坐标的设备。若通过用户的手指或尖笔来操作该设备，则将因操作而产生的检测信号输出至主控制部101。接着，主控制部101根据接收到的检测信号来检测显示面板121上的操作位置(坐标)。

如图1所示，终端装置100的显示面板121和操作面板122成为一体而构成显示输入部120，配置成操作面板122完全覆盖显示面板121。采用该配置的情况下，操作面板122可以对显示面板121以外的区域也具备检测用户操作的功能。换言之，操作面板122可以具备针对与显示面板121重叠的重叠部分的检测区域(以下，称为显示区域)、及针对除此以外的与显示面板121不重叠的外缘部分的检测区域(以下，称为非显示区域)。

另外，可以使显示区域的大小和显示面板121的大小完全一致，但无需一定要使两者一致。并且，操作面板122可以具备外缘部分和除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度按照框体102的大小等而可以适当地设计。此外，作为在操作面板122中采用的位置检测方式，可以举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，还可以采用任意方式。

通话部130具备扬声器131和麦克风132，所述通话部将通过麦克风132输入的用户的语音转换成能够在主控制部101中处理的语音数据并输出至主控制部101，或者对通过终端侧通信部110或外部输入输出部160而接收到的语音数据进行解码并从扬声器131输出。并且，如图1所示，例如，能够将扬声器131及麦克风132搭载于与设置有显示输入部120的面相同的面。

操作部140为使用键开关等的硬件键，接受来自用户的命令。例如，操作部140搭载于终端装置100的框体102的显示输入部120的下部、下侧面，是若手指等按下则开启，若手指离开则通过弹簧等的复原力而成为关闭状态的按钮式开关。

存储部150存储主控制部101的控制程序和控制数据、与通信对方的名称、电话号码等建立了对应关联的地址数据、收发的电子邮件的数据、通过web浏览下载的web数据以及已下载的内容数据，并且临时存储流数据等。并且，存储部150由智能手机内置的内部存储部151和具有装卸自如的外部存储器插槽的外部存储部152构成。另外，构成存储部150的各内部存储部151和外部存储部152使用闪存类型(flashmemorytype)、硬盘类型(harddisktype)、微型多介质卡类型(multimediacardmicrotype)、卡类型的存储器(例如microsd(注册商标)存储器等)、ram(randomaccessmemory)、rom(readonlymemory)等存放介质来实现。

外部输入输出部160起到与连结于终端装置100的所有外部设备的接口的作用，用于通过通信等(例如通用串行总线(usb(universalsirialbus)等)或网络(例如因特网、无线lan(localareanetwork)、蓝牙(bluetooth)(注册商标)、rfid(radiofrequencyidentification，射频识别)、红外线通信(infrareddataassociation：irda)(注册商标)、uwb(ultrawideband)(注册商标)、紫蜂(zigbee)(注册商标)等)直接或间接地与其他外部设备连接。

作为与终端装置100连结的外部设备，例如有：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(memorycard)或sim(subscriberidentitymodulecard，用户识别模块卡)/uim(useridentitymodulecard，用户身份模块卡)卡、经由音频视频i/o(input，输入/output，输出)端子连接的外部音频视频设备、无线连接的外部音频视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的pda(personaldigitalassistant，个人数字助理)及耳机等。外部输入输出部160能够将从这种外部设备接收到传送的数据传递至终端装置100内部的各构成要件，或者将终端装置100内部的数据传送至外部设备。

gps接收部170按照主控制部101的命令，接收从gps卫星st1～stn发送的gps信号，并执行基于接收到的多个gps信号的定位运算处理，检测包括该终端装置100的纬度、经度、高度的位置。gps接收部170在能够从终端侧通信部110或外部输入输出部160(例如，无线lan)获取位置信息时，还能够使用该位置信息来检测位置。

动作传感器部180例如具备3轴加速度传感器等，按照主控制部101的命令而检测终端装置100的物理动作。通过检测终端装置100的物理动作来检测终端装置100的运动方向、加速度。该检测结果被输出至主控制部101。

电源部190按照主控制部101的命令，向终端装置100的各部供给电池(未图示)中蓄积的电力。

主控制部101具备微处理器，按照存储部150所存储的控制程序、控制数据进行动作，统一控制终端装置100的各部。并且，主控制部101为了通过终端侧通信部110进行语音通信、数据通信而具备控制通信系统的各部的移动通信控制功能和应用处理功能。

应用处理功能通过主控制部101按照存储部150所存储的应用软件进行动作来实现。作为应用处理功能，例如有控制外部输入输出部160而与对象设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览web页的web浏览功能等。

并且，主控制部101具备根据接收数据、已下载的流数据等图像数据(静止图像和动态图像的数据)将影像显示于显示输入部120等的图像处理功能。图像处理功能是指，主控制部101将上述图像数据进行解码，并对该解码结果进行图像处理，从而将图像显示于显示输入部120的功能。

另外，主控制部101执行对显示面板121的显示控制和对通过操作部140、操作面板122进行的用户操作进行检测的操作检测控制。

通过执行显示控制，主控制部101显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指针对无法完全收进显示面板121的显示区域的较大的图像等，用于接受使图像的显示部分移动的命令的软件键。

而且，主控制部101执行对通过操作部140、操作面板122进行的用户操作进行检测的操作检测控制。

主控制部101通过执行操作检测控制而检测通过操作部140进行的用户操作，或者通过操作面板122来接受对上述图标的操作或对上述窗口的输入栏的字符串的输入，或者接受通过滚动条进行的显示图像的滚动请求。

而且，通过执行操作检测控制，主控制部101判定对操作面板122的操作位置是与显示面板121重叠的重叠部分(显示区域)，还是除此以外的与显示面板121不重叠的外缘部分(非显示区域)，并具备控制操作面板122的感应区域或软件键的显示位置的触摸面板控制功能。

并且，主控制部101还能够检测对操作面板122的手势操作，并按照检测出的手势操作来执行预先设定的功能。手势操作并非是以往的简单的触摸操作，而是表示利用手指等描绘轨迹、或者同时指定多个位置、或者组合这些对多个位置中的至少一个描绘轨迹的操作。

相机部141是使用cmos(complementarymetaloxidesemiconductor，互补金属氧化物半导体)或ccd(charge-coupleddevice，感光耦合设备)等成像元件来进行电子摄像(摄像)的数码相机。

并且，相机部141通过主控制部101的控制能够将通过拍摄而得到的图像数据转换成例如jpeg(jointphotographiccodingexpertsgroup，联合图像专家组)等压缩的图像数据，并记录于存储部150，或者通过外部输入输出部160、终端侧通信部110而进行输出。

在图1所示的终端装置100中，相机部141搭载于与显示输入部120相同的面，但相机部141的搭载位置并不限定于此，也可以搭载于显示输入部120的背面、或者搭载有多个相机部141。另外，在搭载有多个相机部141的情况下，还能够切换用于摄像的相机部141来单独进行拍摄、或者同时使用多个相机部141来进行拍摄。

并且，相机部141能够利用于终端装置100的各种功能。例如，能够在显示面板121上显示利用相机部141获取的图像、或者作为操作面板122的操作输入之一而利用相机部141的图像。并且，在gps接收部170检测位置时，还能够参照来自相机部141的图像来检测位置。而且，还能够参照来自相机部141的图像，不使用3轴加速度传感器或者与3轴加速度传感器同时使用，来判断终端装置100的相机部141的光轴方向、判断当前的使用环境。当然，还能够在应用软件内利用来自相机部141的图像。

在本例中，经由网络等下载用于操作相机装置10的应用软件并存储于存储部150，通过终端装置100的应用处理功能，使主控制部101按照所下载的应用软件进行动作，由此使通用的终端装置100作为用于操作相机装置10的用户界面部而发挥功能。

终端侧跟踪运算处理部191分析摄像图像数据而获取表示跟踪目标的位置的第2目标信息，并经由终端侧通信部110向相机装置10输出第2目标信息。即，与相机侧跟踪运算处理部65同样地，终端侧跟踪运算处理部191具备检测表示跟踪目标的位置的坐标的功能。具体而言，终端侧跟踪运算处理部191通过脸部检测处理或图案匹配处理而检测跟踪目标。另外，关于脸部检测处理或图案匹配处理，因众所周知而省略说明。

如上所述，在相机装置10中，也通过利用相机侧跟踪运算处理部65分析摄像图像数据而算出第1目标信息，在终端装置100中也通过利用终端侧跟踪运算处理部191分析摄像图像数据而算出第2目标信息。

作为终端装置100的具体例，可以举出智能手机及平板终端。通常，将智能手机或平板终端用作终端装置100的情况下，近年来，智能手机及平板终端的计算能力的进展速度快，因此终端装置100的终端侧跟踪运算处理部191的计算能力在多数情况下比相机装置10的相机侧跟踪运算处理部65的计算能力高。从而，在本发明中，在相机装置10与终端装置100的通信状态良好的情况下，根据第2目标信息快速且准确地进行跟踪，在相机装置10与终端装置100的通信状态成为不良的情况下，也可以根据第1目标信息持续进行跟踪目标的跟踪。

终端侧目标信息修正部193根据第1目标信息而修正第2目标信息。终端侧目标信息修正部193可以始终修正第2目标信息，也可以在某一特定的情况下修正第2目标信息。例如在通过相机侧通信监控部51或终端侧通信监控部195而监测的通信状态成为切断状态之后成为再连接状态的情况下修正第2目标信息。并且，例如终端侧目标信息修正部193在通过帧率监控部197而监测的帧率成为第2阈值以下之后成为第3阈值以上的情况下，利用第1目标信息来修正第2目标信息。终端侧目标信息修正部193能够以各种方法并利用第1目标信息来修正第2目标信息。例如终端侧目标信息修正部193通过将第2目标信息的内容(坐标)替换为第1目标信息的内容(坐标)而进行修正。在此，第2阈值及第3阈值是任意值，但例如以设置滞后为目的，第2阈值能够设定为小于第3阈值。

终端侧通信监控部195监测与相机侧通信部50的通信状态。即，终端侧通信监控部195监控相机侧通信部50与终端侧通信部110的通信状态。终端侧通信监控部195能够通过各种方法而监控相机侧通信部50与终端侧通信部110的通信状态。例如终端侧通信监控部195具有帧率监控部197，也可以通过由帧率监控部197监控相机装置侧通信部与终端侧通信部110的帧率而监控通信状态。

接着，关于设置于相机装置10的方向控制部44(参考图2)进行说明。

图4是关于被输入到方向控制部44的跟踪目标信息进行说明的图。在方向控制部44中输入第1目标信息及第2目标信息中的至少一种。方向控制部44可以从相机侧跟踪运算处理部65获取第1目标信息，也可以从相机侧目标信息修正部64进行获取。并且，方向控制部44也可以从相机侧通信部50获取第2目标信息。

在图4(a)部分示出例如相机装置10与终端装置100的通信状态良好的情况。该情况下，在方向控制部44中输入被相机侧目标信息修正部64修正的第1目标信息和利用终端侧跟踪运算处理部191算出的第2目标信息。而且，方向控制部44在输入第1目标信息及第2目标信息这两者的情况下，根据第2目标信息而控制摄像方向调整部30。

如上所述，通常，关于用于进行跟踪处理的计算能力，终端装置100比较优异，且第2目标信息为可靠性较高的信息，因此在方向控制部44在获取了第1目标信息和第2目标信息的情况下，将第2目标信息输出到摄像方向调整部30的平摇驱动部34及俯仰驱动部36。由此，在相机装置10与终端装置100的通信状态良好的情况下，使用第2目标信息而调节摄像方向调整部30，从而能够进行更准确且快速的跟踪。

在图4(b)部分中示出例如相机装置10与终端装置100的通信状态不良的情况。在相机装置10与终端装置100的通信状态不良的情况下，相机装置10难以从终端装置100获取第2目标信息。从而，在方向控制部44中仅输入利用相机侧跟踪运算处理部65算出的第1目标信息。而且，方向控制部44根据所输入的第1目标信息而控制摄像方向调整部30。

另外，在第1目标信息被相机侧目标信息修正部64修正的情况下，被修正的第1目标信息输入到方向控制部44，在第1目标信息未被修正的情况下，未被修正的第1目标信息输入到方向控制部44。

接着，关于相机侧目标信息修正部64进行说明。

图5是表示相机侧目标信息修正部64的功能结构的例子的框图。相机侧目标信息修正部64主要由第1目标信息获取部72、第2目标信息获取部74及修正部76构成。

第1目标信息获取部72从相机侧跟踪运算处理部65获取第1目标信息。第2目标信息获取部74经由控制部40而获取相机侧通信部50从终端装置100获取的第2目标信息。

修正部76根据第2目标信息而修正第1目标信息。修正部76以各种方法并根据第2目标信息能够修正第1目标信息。例如修正部76通过将第1目标信息的内容替换为第2目标信息的内容而修正第1目标信息。即，在利用相机侧跟踪运算处理部65算出的跟踪目标的坐标作为第1目标信息的内容，且利用终端侧跟踪运算处理部191算出的跟踪目标的坐标作为第2目标信息的内容的情况下，通过将第1目标信息的内容的坐标替换为第2目标信息的坐标，修正部76也可以进行修正。

利用修正部76修正的第1目标信息被发送到相机侧跟踪运算处理部65，以便在之后的跟踪运算中进行利用。

接着，关于利用相机侧目标信息修正部64而被修正的第1目标信息的利用方式进行说明。被修正的第1目标信息的利用方式主要有两种。作为第1利用方式，在相机装置10与终端装置100的通信状态不良的情况下，方向控制部44利用被修正的第1目标信息来控制摄像方向调整部30。作为第2利用方式，相机侧跟踪运算处理部65利用被修正的第1目标信息进行跟踪目标的跟踪。以下，关于相机侧跟踪运算处理部65利用被修正的第1目标信息而跟踪跟踪目标进行说明。

图6是根据相机侧跟踪运算处理部65在第1定时获取的目标信息在检测第1定时之后的第2定时进行跟踪目标的检测进行说明的图。

在图6(a)部分示出与在第1定时获取的第1摄像图像数据对应的第1摄像图像78。在图6(a)部分所示出的情况下，跟踪目标是c点83。通过相机侧跟踪运算处理部65分析第1摄像图像数据而获取作为第1目标信息的a点80的坐标。并且，通过终端侧跟踪运算处理部191分析第1摄像图像数据而获取作为第2目标信息的b点82的坐标。在此，理想的是准确地确定跟踪目标(c点83)的坐标，但有时因各种要因而无法准确地确定跟踪目标(c点83)的坐标(参考图6(a)部分的a点80、b点82、c点83)。并且，因相机侧跟踪运算处理部65与终端侧跟踪运算处理部191的计算能力等，而有时会引起利用相机侧跟踪运算处理部65算出的第1目标信息(a点80的坐标)与利用终端侧跟踪运算处理部191算出的第2目标信息(b点82的坐标)不同。另外，终端装置100的计算能力通常比相机装置10高，因此多数情况下第2目标信息显示出接近跟踪目标的坐标。

于是，相机侧目标信息修正部64根据第2目标信息而修正第1目标信息。由此，即使利用相机侧跟踪运算处理部65算出的第1目标信息不准确，第1目标信息根据第2目标信息而被修正，因此能够进行更准确的跟踪目标的跟踪。

并且，相机侧目标信息修正部64根据第2目标信息而修正第1目标信息，因此能够提高第1目标信息的准确度，在相机装置10与终端装置100的通信状态成为不良的情况下进行的从相机装置10中的跟踪处理向远程装置中的跟踪处理的转移顺畅地进行。

在图6(b)部分及图6(c)部分示出与在第2定时获取的第1摄像图像数据对应的第2摄像图像79。在此，在第2摄像图像数据中检测跟踪目标的情况下，根据在第1定时获取的跟踪目标的坐标而进行跟踪目标的检测。

在图6(b)部分示出的情况下，以b点82为中心在扫描区域85内扫描被摄体检测区域84而进行跟踪目标的检测。即，相机侧跟踪运算处理部65使用利用相机侧目标信息修正部64修正的第1目标信息(b点82的坐标)进行第2定时上的跟踪目标(c点83)的检测。另一方面，在图6(c)部分示出的情况下，以a点80为中心在扫描区域85内扫描被摄体检测区域84而进行跟踪目标的检测。即，相机侧跟踪运算处理部65使用未被相机侧目标信息修正部64修正的第1目标信息(a点80的坐标)进行第2定时上的跟踪目标(c点83)的检测。

如图6(b)部分所示，若第1定时上的跟踪目标的位置信息(坐标)的精度高，则第2定时上的跟踪目标的检测快速且准确。另一方面，如图6(c)部分所示，若第1定时上的跟踪目标的位置信息(坐标)的精度低，则第2定时上的跟踪目标的检测中需要时间，或者第2定时上的跟踪目标的检测变得不准确或无法进行。从而，相机侧目标信息修正部64利用第2目标信息来修正第1目标信息，相机侧跟踪运算处理部65使用被修正的第1目标信息进行跟踪目标的跟踪，由此能够进行更准确且快速的跟踪。

图7是表示相机装置10及终端装置100的动作流程的流程图。首先，由相机装置10的摄像部20获取摄像图像数据(步骤s11)。之后，由相机装置10的相机侧通信部50向终端装置100发送所获取的摄像图像数据(步骤s12)。并且，由相机侧跟踪运算处理部65从摄像图像数据中获取第1目标信息(步骤s13)。

接着，由终端装置100的终端侧通信部110接收摄像图像数据(步骤s16)，终端侧跟踪运算处理部191通过分析所接收到的摄像图像数据而获取第2目标信息(步骤s17)。之后，由终端侧通信部110向相机装置10发送第2目标信息(步骤s18)。

被发送的第2目标信息由相机装置10的相机侧通信部50来接收(步骤s14)。而且，由相机侧目标信息修正部64根据第2目标信息而修正第1目标信息(步骤s15)。

如以上说明，根据本实施方式，摄像部20的摄像方向根据利用相机装置10进行的摄像图像数据的分析结果即第1目标信息，或者利用终端装置100进行的摄像图像数据的分析结果即第2目标信息而被控制。由此，本实施方式在相机装置10与终端装置100的通信状态良好的情况下，根据第2目标信息快速且准确地进行跟踪，在相机装置10与终端装置100的通信状态成为不良的情况下，可以根据第1目标信息持续进行跟踪目标的跟踪。

另外，根据本实施方式，第1目标信息根据第2目标信息而被修正，因此能够提高第1目标信息的准确度，在相机装置10与终端装置100的通信状态成为不良的情况下进行的从相机装置10中的跟踪处理向远程装置中的跟踪处理的转移顺畅地进行。

并且，上述各结构及功能通过适当地组合任意的硬件、软件或者两者的组合而可以实现。例如可以将本发明应用于使计算机执行上述处理步骤(处理顺序)的程序、记录有这种程序的计算机可读取的记录介质(非临时性有形介质)或者可以安装这种程序的计算机。

(变形例1)

接着，关于相机装置10的变形例(变形例1)进行说明。

图8是表示相机装置10的变形例1中的相机侧目标信息修正部64的功能结构的例子的框图。变形例1的相机侧目标信息修正部64具备第1目标信息获取部72、第2目标信息获取部74及修正部76，修正部76具有确定部86。另外，在图5中已进行说明的功能块标注相同的符号并省略说明。

确定部86确定利用相机侧目标信息修正部64进行的第1目标的修正的执行。例如确定部86根据基于第1目标信息确定的跟踪目标的位置和基于第2目标信息确定的跟踪目标的位置来确定有无执行第1目标信息的修正。即，在第1目标信息与第2目标信息的差分距离为第1阈值以上的情况下，确定部86进行第1目标信息的修正，在差分距离小于第1阈值的情况下，不进行第1目标信息的修正。在此，差分距离表示基于第1目标信息确定的跟踪目标的位置与基于第2目标信息确定的跟踪目标的位置之间的距离。

并且，确定部86根据作为相机装置10与终端装置100的通信状态的指标之一的帧率的数值，也可以确定有无利用相机侧目标信息修正部64执行的修正。例如相机侧目标信息修正部64经由相机侧通信部50而获取通过帧率监控部197而监测的帧率，在所获取的帧率为第2阈值以下的情况下，不进行第1目标信息的修正。由此，相机装置10能够更准确地进行第1目标信息的修正。在此，第1阈值及第2阈值为任意地设定的数值，也可以考虑修正第1目标信息的主旨而设定。

并且，在通过相机侧通信监控部51而监测的相机装置10与终端装置100的通信状态成为切断状态的情况下，确定部86也可以确定为不进行第1目标信息的修正。

(变形例2)

接着，关于相机装置10的变形例(变形例2)进行说明。

图9是表示相机装置10的变形例2中的相机侧目标信息修正部64的功能结构的例子的框图。变形例2的相机侧目标信息修正部64具备第1目标信息获取部72、第2目标信息获取部74及修正部76，修正部76具有定时器88。另外，图5中已进行说明的功能块标注相同的符号并省略说明。

相机侧目标信息修正部64具有定时器88，根据来自定时器88的信息而确定有无执行第1目标信息的修正。即，相机侧目标信息修正部64也可以根据定时器88的信息(时间)进行第1目标信息的修正。例如相机侧目标信息修正部64也可以通过定时器88的信息而定期地进行第1目标信息的修正。

如此，相机侧目标信息修正部64根据定时器88的信息而修正第1目标信息，由此能够进行稳定的第1目标信息的修正。

(变形例3)

接着，关于相机装置10与终端装置100的连接方式的变形例(变形例3)进行说明。

图10是表示变形例3的相机装置10和终端装置100的外观立体图。图10所示的情况下，相机装置10连接于多个终端装置(终端装置100a、终端装置100b及终端装置100c)。

相机侧目标信息修正部64将从终端装置的各个通信部输出的帧率的信息进行比较，从而根据从显示最高帧率的终端装置的通信部输出的第2目标信息而修正第1目标信息。即，相机侧目标信息修正部64从终端装置100a、终端装置100b及终端装置100c中显示最高帧率的终端装置获取第2目标信息，由此能够进行更准确的跟踪目标的跟踪。

例如在终端装置100a的帧率为24fps(framepersecond，帧每秒)、终端装置100b的帧率为12fps、以及终端装置100c的帧率为8fps的情况下，由相机装置10的控制部40比较各终端装置(终端装置100a、终端装置100b及终端装置100c)的帧率，而获取显示最高帧率的终端装置100a的第2目标信息。另外，终端装置100a、终端装置100b及终端装置100c的帧率利用各终端装置的帧率监控部197(参考图3)而被获取，并经由终端侧通信部110而发送到相机装置10。

如此，根据与相机装置10进行通信的多个终端装置中显示最高帧率的终端装置的第2目标信息来修正第1目标信息，因此能够进行更准确的第1目标信息的修正。

以上，关于本发明的例子进行了说明，但本发明并不限定于上述实施方式，当然，在不脱离本发明的宗旨的范围内可以进行各种变更。

符号说明

10-相机装置，12-装置主体，14-底座，16-保持部，16a-齿轮，18-球形罩，19-摄像开始按钮，20-摄像部，22-成像透镜，23-光圈，24-成像元件，26-透镜驱动部，28-cmos驱动器，30-摄像方向调整部，32-云台机构，34-平摇驱动部，36-俯仰驱动部，40-控制部，41-信号处理部，42-摄像控制部，43-透镜控制部，44-方向控制部，46-动作控制部，50-相机侧通信部，51-相机侧通信监控部，60-操作部，61-相机侧显示部，62-存储器，64-相机侧目标信息修正部，65-相机侧跟踪运算处理部，100-终端装置，101-主控制部，102-框体，110-终端侧通信部，120-显示输入部，121-显示面板，122-操作面板，130-通话部，131-扬声器，132-麦克风，140-操作部，141-相机部，150-存储部，151-内部存储部，152-外部存储部，160-外部输入输出部，170-接收部，170-gps接收部，180-动作传感器部，190-电源部，191-终端侧跟踪运算处理部，193-终端侧目标信息修正部，195-终端侧通信监控部，197-帧率监控部，300-摄像系统。