跟踪系统、终端装置、相机装置、跟踪摄影方法及程序与流程

本发明涉及一种根据已调整分辨率的跟踪图像数据获取跟踪目标的位置的跟踪系统、终端装置、相机装置、跟踪摄影方法及程序。

背景技术：

跟踪特定的被摄体的同时进行连续摄影的跟踪摄影技术广泛使用于监视摄像机或通常的数码相机等领域。作为确定成为跟踪目标的特定被摄体的位置的方法，提出有各种方法，例如已知有通过对照跟踪目标的特征与摄影图像来确定图像内的跟踪目标的位置的方法。

从提高跟踪目标的识别率的观点考虑，优选根据高分辨率图像确定跟踪目标的位置，但是通常，图像的分辨率越高，处理负荷越增大。因此，即使在使用分辨率较高的图像确定跟踪目标的位置的例子中，这种高分辨率图像的分析处理的能力不充分的跟踪系统中，也会在图像分析处理中产生延迟，其结果有时会导致跟踪精度下降。尤其，跟踪目标的移动较快时，具有处理运算量增加而处理所需的时间变长的趋势，可想到会导致摄影图像的帧率下降等，不仅对跟踪处理带来不良影响，还会对跟踪处理以外的处理也带来不良影响。

在这种背景下，专利文献1中公开的附带跟踪功能的摄影装置中，仅对跟踪对象物及形成于跟踪对象周围的跟踪框内部进行高分辨率处理，并根据该已进行高分辨率处理的图像确定跟踪对象的位置。

以往技术文献

专利文献

专利文献1：日本特开2014-216694号公报

技术实现要素：

发明要解决的技术课题

如上所述，从摄影图像数据生成适于跟踪处理的图像数据(以下，还称作“跟踪图像数据”)，根据该跟踪图像数据确定跟踪目标的位置，由此能够进行适应跟踪系统的处理能力的跟踪处理。

然而，根据跟踪图像数据确定跟踪目标的位置时，需要进行生成跟踪图像数据的处理，与根据摄影图像数据确定跟踪目标的位置的情况相比，处理工序增加。

尤其，如专利文献1的摄影装置那样根据跟踪目标的位置调整跟踪图像数据的分辨率时，需在“根据跟踪图像数据确定跟踪目标的位置的处理”之后进行“根据跟踪目标的位置生成跟踪图像数据的处理”。并且，需在“根据跟踪目标的位置生成跟踪图像数据的处理”之后进行“根据跟踪图像数据确定跟踪目标的位置的处理”。如此，串行执行“确定跟踪目标的位置的处理”及“生成跟踪图像数据的处理”时，若在处理中途产生延迟，则该延迟会影响后期阶段的所有其他处理，导致跟踪精度下降。

本发明是鉴于上述情况而完成的，其目的在于提供一种能够在确保良好的跟踪精度的同时实现用于对跟踪目标进行跟踪摄影的处理的高速化的技术。

用于解决技术课题的手段

本发明的一方式涉及一种跟踪系统，其具备：相机装置，具有获取摄影图像数据的摄像部、调整摄像部的拍摄方向的拍摄方向调整部、根据表示跟踪目标的位置的目标信息控制拍摄方向调整部的相机侧控制器及连接于相机侧控制器的相机侧通信部；及终端装置，具有能够与相机侧通信部通信的终端侧通信部、连接于终端侧通信部的终端侧控制器及连接于终端侧控制器的用户界面，由相机侧控制器及终端侧控制器中的至少任一个进行从摄影图像数据生成跟踪图像数据的跟踪图像生成处理，由相机侧控制器及终端侧控制器中的至少任一个进行根据跟踪图像数据获取目标信息的跟踪运算处理，跟踪图像数据为包含分辨率相对较高的高分辨率区域与分辨率相对较低的低分辨率区域的图像数据，跟踪图像生成处理中，获取包含跟踪目标的尺寸及速度中的至少任一个信息的跟踪基础信息，根据跟踪基础信息确定高分辨率区域及低分辨率区域，从而生成跟踪图像数据，并行进行跟踪图像生成处理与跟踪运算处理。

根据本方式，根据跟踪目标的尺寸及速度中的至少任一个信息生成跟踪图像数据，并且，并行进行跟踪图像生成处理与跟踪运算处理，因此能够在确保良好的跟踪精度的同时有效地实现用于对跟踪目标进行跟踪摄影的处理的高速化。

优选跟踪运算处理的至少一部分与跟踪图像生成处理的至少一部分同时进行，所述跟踪运算处理中，根据从在第1时刻获取的摄影图像数据生成的跟踪图像数据，获取表示第1时刻的跟踪目标的位置的目标信息，所述跟踪图像生成处理中，从在第2时刻获取的摄影图像数据生成为了获取表示第1时刻之后的第2时刻的跟踪目标的位置的目标信息而使用的跟踪图像数据。

根据本方式，获取表示第1时刻的跟踪目标的位置的目标信息的跟踪运算处理的至少一部分与生成为了获取表示第2时刻的跟踪目标的位置的目标信息而使用的跟踪图像数据的跟踪图像生成处理的至少一部分同时进行，能够实现用于对跟踪目标进行跟踪摄影的处理的高速化。

另外，“获取表示第1时刻的跟踪目标的位置的目标信息的跟踪运算处理”及“生成为了获取表示第2时刻的跟踪目标的位置的目标信息而使用的跟踪图像数据的跟踪图像生成处理”可同时开始，也可在一个处理开始之后且结束之前开始另一个处理。

优选跟踪图像生成处理及跟踪运算处理在相机侧控制器及终端侧控制器中的一个控制器中进行。

根据本方式，通过在相机侧控制器及终端侧控制器中的一个控制器中进行跟踪图像生成处理及跟踪运算处理，能够简化跟踪图像生成处理及跟踪运算处理的处理流程。

优选跟踪图像生成处理及跟踪运算处理中的一个处理在相机侧控制器及终端侧控制器中的一个控制器中进行，跟踪图像生成处理及跟踪运算处理中的另一个处理在相机侧控制器及终端侧控制器中的另一个控制器中进行。

根据本方式，通过相机侧控制器及终端侧控制器分散进行跟踪图像生成处理及跟踪运算处理，能够有效地利用资源。

优选跟踪运算处理通过相机侧控制器及终端侧控制器双方进行，相机侧控制器及终端侧控制器中处理能力相对较高的控制器进行高分辨率区域的跟踪运算处理，相机侧控制器及终端侧控制器中处理能力相对较低的控制器进行低分辨率区域的跟踪运算处理。

根据本方式，能够根据相机侧控制器及终端侧控制器的处理能力有效地进行高分辨率区域的跟踪运算处理及低分辨率区域的跟踪运算处理。

优选相机侧控制器及终端侧控制器中的至少任一个进行获取能够通过相机装置拍摄的范围的至少一部分摄影图像数据的空间频率的预搜索处理，跟踪图像生成处理中，根据通过预搜索处理获取的空间频率，确定跟踪图像数据的分辨率。

根据本方式，能够根据能够通过相机装置拍摄的范围的至少一部分的空间频率适当确定跟踪图像数据的分辨率，能够根据摄影环境减轻处理负荷。

优选跟踪图像生成处理中，通过预搜索处理获取的空间频率相对较低时，与空间频率相对较高时相比，将跟踪图像数据的分辨率设定为更低。

根据本方式，能够通过相机装置拍摄的范围的至少一部分的空间频率相对较低时，能够比该能够拍摄的范围的至少一部分的空间频率相对较高时更减轻处理负荷，并能够实现用于对跟踪目标进行跟踪摄影的处理的高速化。

本发明的另一方式涉及一种终端装置，其能够与相机装置连接，该相机装置具有获取摄影图像数据的摄像部、调整摄像部的拍摄方向的拍摄方向调整部、根据表示跟踪目标的位置的目标信息控制拍摄方向调整部的相机侧控制器及连接于相机侧控制器的相机侧通信部，所述终端装置具备：终端侧通信部，能够与相机侧通信部通信；终端侧控制器，连接于终端侧通信部；及用户界面，连接于终端侧控制器，由相机侧控制器及终端侧控制器中的至少任一个进行从摄影图像数据生成跟踪图像数据的跟踪图像生成处理，终端侧控制器进行根据跟踪图像数据获取目标信息的跟踪运算处理，经由终端侧通信部及相机侧通信部将目标信息发送至相机侧控制器，跟踪图像数据为包含分辨率相对较高的高分辨率区域与分辨率相对较低的低分辨率区域的图像数据，跟踪图像生成处理中，获取包含跟踪目标的尺寸及速度中的至少任一个信息的跟踪基础信息，根据跟踪基础信息确定高分辨率区域及低分辨率区域，从而生成跟踪图像数据，并行进行跟踪图像生成处理与跟踪运算处理。

根据本方式，根据跟踪目标的尺寸及速度中的至少任一个信息生成跟踪图像数据，并且，并行进行跟踪图像生成处理与跟踪运算处理，因此能够在确保良好的跟踪精度的同时有效地实现用于对跟踪目标进行跟踪摄影的处理的高速化。

本发明的另一方式涉及一种相机装置，其能够与终端装置连接，该终端装置具有终端侧通信部、连接于终端侧通信部的终端侧控制器及连接于终端侧控制器的用户界面，所述相机装置具备：摄像部，获取摄影图像数据；拍摄方向调整部，调整摄像部的拍摄方向；及相机侧控制器，其为根据表示跟踪目标的位置的目标信息控制拍摄方向调整部的相机侧控制部，其并行进行从摄影图像数据生成跟踪图像数据的跟踪图像生成处理与根据跟踪图像数据获取目标信息的跟踪运算处理，跟踪图像数据为包含分辨率相对较高的高分辨率区域与分辨率相对较低的低分辨率区域的图像数据，跟踪图像生成处理中，获取包含跟踪目标的尺寸及速度中的至少任一个信息的跟踪基础信息，根据跟踪基础信息确定高分辨率区域及低分辨率区域，从而生成跟踪图像数据。

根据本方式，根据跟踪目标的尺寸及速度中的至少任一个信息生成跟踪图像数据，并且，并行进行跟踪图像生成处理与跟踪运算处理，因此能够在确保良好的跟踪精度的同时有效地实现用于对跟踪目标进行跟踪摄影的处理的高速化。

本发明的另一方式涉及一种跟踪系统的跟踪摄影方法，所述跟踪系统具备：相机装置，具有获取摄影图像数据的摄像部、调整摄像部的拍摄方向的拍摄方向调整部、根据表示跟踪目标的位置的目标信息控制拍摄方向调整部的相机侧控制器及连接于相机侧控制器的相机侧通信部；及终端装置，具有能够与相机侧通信部通信的终端侧通信部、连接于终端侧通信部的终端侧控制器及连接于终端侧控制器的用户界面，所述跟踪摄影方法具备：通过相机侧控制器及终端侧控制器中的至少任一个进行从摄影图像数据生成跟踪图像数据的跟踪图像生成处理的步骤；及通过相机侧控制器及终端侧控制器中的至少任一个进行根据跟踪图像数据获取目标信息的跟踪运算处理的步骤，跟踪图像数据为包含分辨率相对较高的高分辨率区域与分辨率相对较低的低分辨率区域的图像数据，跟踪图像生成处理中，获取包含跟踪目标的尺寸及速度中的至少任一个信息的跟踪基础信息，根据该跟踪基础信息确定高分辨率区域及低分辨率区域，从而生成跟踪图像数据，并行进行跟踪图像生成处理与跟踪运算处理。

本发明的另一方式涉及一种程序，其用于控制跟踪系统，所述跟踪系统具备：相机装置，具有获取摄影图像数据的摄像部、调整摄像部的拍摄方向的拍摄方向调整部、根据表示跟踪目标的位置的目标信息控制拍摄方向调整部的相机侧控制器及连接于相机侧控制器的相机侧通信部；及终端装置，具有能够与相机侧通信部通信的终端侧通信部、连接于终端侧通信部的终端侧控制器及连接于终端侧控制器的用户界面，所述程序使计算机执行如下步骤：通过相机侧控制器及终端侧控制器中的至少任一个进行从摄影图像数据生成跟踪图像数据的跟踪图像生成处理的步骤；及通过相机侧控制器及终端侧控制器中的至少任一个进行根据跟踪图像数据获取目标信息的跟踪运算处理的步骤，跟踪图像数据为包含分辨率相对较高的高分辨率区域与分辨率相对较低的低分辨率区域的图像数据，跟踪图像生成处理中，获取包含跟踪目标的尺寸及速度中的至少任一个信息的跟踪基础信息，根据跟踪基础信息确定高分辨率区域及低分辨率区域，从而生成跟踪图像数据，并行进行跟踪图像生成处理与跟踪运算处理。

发明效果

根据本发明，根据跟踪目标的尺寸及速度中的至少任一个信息生成跟踪图像数据，并且，并行进行跟踪图像生成处理与跟踪运算处理，因此能够在确保良好的跟踪精度的同时实现用于对跟踪目标进行跟踪摄影的处理的高速化。

附图说明

图1是表示能够适用本发明的跟踪系统的一例的外观立体图。

图2是表示跟踪系统的功能结构中与跟踪摄影相关的功能的一例的框图。

图3是跟踪图像生成处理的示意图。

图4是跟踪运算处理的示意图。

图5的(a)部分是表示摄影图像数据的一例的示意图，图5的(b)部分是表示跟踪图像数据的一例的示意图。

图6是表示跟踪图像生成处理的一例的示意图。

图7是表示根据跟踪基础信息调整了分辨率的跟踪图像数据的图像例的图。

图8是用于说明串行进行跟踪图像生成处理及跟踪运算处理的例子的图。

图9是用于说明并行进行跟踪图像生成处理及跟踪运算处理的例子的图。

图10是表示第1实施方式所涉及的跟踪处理流程的一例的图。

图11是表示第2实施方式所涉及的跟踪处理流程的一例的图。

图12是表示第3实施方式所涉及的跟踪处理流程的一例的图。

图13是表示第4实施方式所涉及的跟踪处理流程的一例的图。

图14是表示预搜索处理的一例的示意图。

图15是表示第5实施方式所涉及的预搜索处理～分辨率确定处理的处理流程的一例的图。

图16是表示第6实施方式所涉及的预搜索处理～分辨率确定处理的处理流程的一例的图。

图17是表示第7实施方式所涉及的预搜索处理～分辨率确定处理的处理流程的一例的图。

具体实施方式

图1是表示能够适用本发明的跟踪系统10的一例的外观立体图。

本例的跟踪系统10具备具有智能手机形态的终端装置11及具有云台相机系统形态且能够与终端装置11连接的相机装置20。

相机装置20中，包含齿轮26的保持部25与安装于保持部25的摄影光学系统21固定装配于设置在装置主体22上的底座23。底座23设置成以装置主体22的垂直方向的轴z为中心旋转自如，通过未图示的摇摄驱动部进行以垂直方向的轴z为中心的摇摄动作。齿轮26设置于与水平方向的轴x相同的轴上，通过从未图示的俯仰驱动部经由齿轮26传递驱动力，使摄影光学系统21沿上下方向转动而进行俯仰动作。这种摄影光学系统21、保持部25(齿轮26)及底座23被防尘及防滴用球形罩24覆盖。另外，图1中，以符号“l”表示摄影光学系统21的光轴。

另一方面，本例的终端装置11的框体12中容纳有显示器13、操作面板14、操作按钮16、扬声器17、麦克风18及终端相机19。显示器13作为显示从相机装置20发送的图像和各种信息的显示部发挥作用，并且，与操作面板14一同构成触摸面板15。操作面板14及操作按钮16作为接收来自用户的命令的命令接收部发挥作用，用户能够经由操作面板14(触摸面板15)及操作按钮16操作终端装置11及连接于终端装置11的相机装置20。扬声器17及麦克风18作为通话部发挥作用，用户能够经由扬声器17及麦克风18与其他电话机用户进行对话。终端相机19能够根据经由操作按钮16和操作面板14(触摸面板15)的来自用户的命令进行摄影。

用户能够使用上述终端装置11控制相机装置20的动作，例如能够将摄影图像从相机装置20发送至终端装置11来显示于显示器13，或改变相机装置20的拍摄方向(摄影光学系统21的光轴l的方向)。尤其，本例的跟踪系统10能够执行在跟踪特定目标的同时进行连续摄影的跟踪摄影，用户对该跟踪摄影也能够使用终端装置11进行控制。以下，对跟踪摄影进行说明。

图2是表示跟踪系统10的功能结构中与跟踪摄影相关的功能的一例的框图。

相机装置20具有摄像部30、拍摄方向调整部32、相机侧通信部36、及集中控制这些摄像部30、拍摄方向调整部32及相机侧通信部36的相机侧控制器34。

摄像部30包含摄影光学系统21(参考图1)及成像元件(省略图示)，获取摄影图像数据。尤其，本例的相机装置20为连续进行被摄体的摄影的跟踪相机，因此摄像部30能够输出在相机侧控制器34的控制下定期进行摄影来获取的摄影图像数据。

本例的拍摄方向调整部32构成为除了图1所示的底座23、保持部25及齿轮26以外，还包含未图示的摇摄驱动部及俯仰驱动部的云台机构，能够调整摄像部30的拍摄方向(即，摄影光学系统21的光轴l的方向)。

相机侧控制器34根据表示跟踪目标的位置的目标信息控制拍摄方向调整部32。尤其，本例的相机侧控制器34控制拍摄方向调整部32，以跟踪目标配置于摄影图像中的特定位置或特定范围的方式调整拍摄方向。在此所说的“特定位置”或“特定范围”并无特别限定，从确保跟踪目标的良好的辨识性的观点考虑，优选设定为与摄影图像的中央部对应的位置或范围(即，与光轴l对应的位置或范围)。另外，目标信息通过后述的跟踪运算处理算出并提供至相机侧控制器34。

因此，例如跟踪目标沿水平方向移动时，拍摄方向调整部32在相机侧控制器34的控制下对摄像部30进行摇摄驱动，以使拍摄方向根据该跟踪目标的移动沿水平方向移动。同样地，跟踪目标沿垂直方向移动时，拍摄方向调整部32在相机侧控制器34的控制下对摄像部30进行俯仰驱动，以使拍摄方向根据该跟踪目标的移动沿垂直方向移动。通过如此调整拍摄方向的同时连续进行跟踪目标的摄影来进行跟踪摄影。

相机侧通信部36连接于相机侧控制器34，在与终端装置11(尤其是后述的终端侧通信部44)之间进行通信(参考图2的箭头“c”)，进行从相机装置20发送至终端装置11的数据类的发送，并且，进行从终端装置11发送至相机装置20的数据类的接收。即，相机侧通信部36将从相机侧控制器34送来的数据类发送至终端装置11(终端侧通信部44)，接收从终端装置11(终端侧通信部44)送来的数据类并发送至相机侧控制器34。

在相机装置20(相机侧通信部36)与终端装置11(终端侧通信部44)之间收发的数据类并无特别限定。例如，能够根据需要在相机装置20与终端装置11之间收发通过摄像部30获取的摄影图像数据、通过后述的跟踪图像生成处理生成的跟踪图像数据、包含上述目标信息、跟踪目标的尺寸及速度中的至少任一个信息的跟踪基础信息及各种命令。

另一方面，能够与相机装置20连接的终端装置11具有用户界面42、终端侧通信部44及集中控制这些用户界面42及终端侧通信部44的终端侧控制器40。

终端侧通信部44能够与相机侧通信部36通信，接收从相机侧通信部36送来的数据类并发送至终端侧控制器40，并将从终端侧控制器40送来的数据类发送至相机侧通信部36。另外，终端侧通信部44与相机侧通信部36之间的通信方法并无特别限定，可以是有线连接方式也可以是无线连接方式，并且也可以是通过依据ieee(theinstituteofelectricalandelectronicsengineers，inc.)所规定的ieee802.11a/b/g/n规格等的无线lan(localareanetwork)进行的通信方式，还可以是通过依据bluetooth(注册商标)规格等的近距离无线进行的通信方式。而且，终端侧通信部44可根据依据imt-2000规格的第3代移动通信系统或依据imt-advance规格的第4代移动通信系统，在与未图示的基站之间进行数据的收发。

终端侧控制器40连接于终端侧通信部44及用户界面42，根据从用户界面42送来的命令等数据类进行各种控制，并且，根据需要控制终端侧通信部44，将数据类发送至相机侧通信部36。

用户界面42构成终端装置11相对于用户的界面。因此，例如接收来自用户的命令的操作按钮16及触摸面板15(操作面板14)、能够显示图像等的显示器13、向用户提供语音的扬声器17及获取语音的麦克风18可包含于该用户界面42中。

具有上述功能结构的跟踪系统10中，由相机侧控制器34及终端侧控制器40中的至少任一个进行从摄影图像数据生成跟踪图像数据的跟踪图像生成处理。并且，由相机侧控制器34及终端侧控制器40中的至少任一个进行根据跟踪图像数据获取目标信息的跟踪运算处理。

图3是跟踪图像生成处理p1的示意图。图4是跟踪运算处理p2的示意图。跟踪图像生成处理p1中，从摄影图像数据d1生成跟踪图像数据d2，跟踪运算处理p2中，从跟踪图像数据d2获取目标信息d3。跟踪图像生成处理p1及跟踪运算处理p2的具体算法并无特别限定，能够依据任意方法生成跟踪图像数据d2来获取目标信息d3。例如跟踪图像生成处理p1中，能够通过改变摄影图像数据d1的一部分分辨率来生成适于获取目标信息d3的跟踪图像数据d2。

图5是表示摄影图像数据d1及跟踪图像数据d2的一例的示意图，图5的(a)部分表示摄影图像数据d1，图5的(b)部分表示跟踪图像数据d2。本例的摄影图像数据d1为遍及整个图像而具有相同分辨率的图像数据，而跟踪图像数据d2为包含分辨率相对较高的高分辨率区域rh与分辨率相对较低的低分辨率区域rl的图像数据。即，摄影图像数据d1由具有恒定大小的第1像素ps的集合构成，而跟踪图像数据d2包含由具有像素尺寸相对较小的第2像素ph的集合构成的高分辨率区域rh与由像素尺寸相对较大的第3像素pl的集合构成的低分辨率区域rl。

高分辨率区域rh及低分辨率区域rl的具体的设定方法并无特别限定。例如，可由与摄影图像数据d1的第1像素ps相同的像素构成高分辨率区域rh的第2像素ph，而由“从摄影图像数据d1的第1像素ps中选择的一部分像素”或“从相邻的多个像素导出的代表性像素”构成低分辨率区域rl的第3像素pl。本例中，将图像的每单位面积中包含的像素数相对较多的区域称作高分辨率区域rh，将图像的每单位面积中包含的像素数相对较少的区域称作低分辨率区域rl。

该跟踪图像数据d2中的高分辨率区域rh及低分辨率区域rl的位置及范围并无特别限定，本例中，在跟踪图像生成处理p1中根据跟踪基础信息确定。

图6是表示跟踪图像生成处理p1的一例的示意图。本例的跟踪图像生成处理p1包含分辨率确定处理p3及分辨率调整处理p4。分辨率确定处理p3中，根据包含跟踪目标的尺寸及速度中的至少任一个信息的跟踪基础信息d4求出确定跟踪图像数据d2中的高分辨率区域rh及低分辨率区域rl的分辨率信息d5。分辨率调整处理p4中，根据分辨率信息d5及摄影图像数据d1生成跟踪图像数据d2。如此，本例的跟踪图像生成处理p1中，获取包含跟踪目标的尺寸及速度中的至少任一个信息的跟踪基础信息d4，根据该跟踪基础信息d4确定高分辨率区域rh及低分辨率区域rl，从而生成跟踪图像数据d2。

另外，跟踪图像生成处理p1中的跟踪基础信息d4及摄影图像数据d1的获取方法并无特别限定，例如可适当读取保存于未图示的存储器的跟踪基础信息d4及摄影图像数据d1，也可适当获取从终端装置11和/或相机装置20的各部输出的跟踪基础信息d4及摄影图像数据d1。例如，相机侧控制器34和/或终端侧控制器40中，根据摄影图像数据d1获取跟踪目标的尺寸及速度，将该获取的跟踪目标的尺寸及速度的信息用作跟踪基础信息d4。

并且，跟踪基础信息d4可包含跟踪目标的尺寸及速度以外的信息，例如表示实际使用的相机装置20(相机侧控制器34及相机侧通信部36)及终端装置11(终端侧通信部44及终端侧控制器40)的处理能力的信息可包含在跟踪基础信息d4中。

而且，指定跟踪目标的方法也并无特别限定。例如，通过相机装置20(相机侧控制器34)或终端装置11(终端侧控制器40)从摄影图像数据d1生成实时预览图像，该实时预览图像显示于终端装置11的显示器13(用户界面42)时，可使用户能够经由触摸面板15指定跟踪目标的位置。此时，跟踪目标的位置指定信息从触摸面板15(用户界面42)发送至终端侧控制器40和/或相机侧控制器34，该终端侧控制器40和/或相机侧控制器34可根据跟踪目标的位置指定信息确定具体的跟踪目标。并且，也可通过相机侧控制器34和/或终端侧控制器40，根据摄影图像数据d1自动确定脸部等特定的被摄体，将该确定的特定被摄体设定为跟踪目标。并且，也可通过相机侧控制器34和/或终端侧控制器40进行确定移动的被摄体的运动物体检测处理，由此将例如首次闯进摄像部30的摄影范围内的被摄体设定为跟踪目标。

图7是表示根据跟踪基础信息d4已调整分辨率的跟踪图像数据d2的图像例的图。本例中，将人物的脸部图像设定为跟踪目标t，跟踪基础信息d4包含跟踪目标t的位置及速度的信息，将跟踪图像数据d2中以跟踪目标t为基准的某一附近范围设定为高分辨率区域rh，其他范围设定为低分辨率区域rl。通过如此设定跟踪图像数据d2的高分辨率区域rh及低分辨率区域rl，能够将推断为跟踪目标t的存在概率比较高而要求高度的跟踪精度的范围作为高分辨率区域rh。并且，能够将推断为跟踪目标t的存在概率比较低的范围作为低分辨率区域rl，能够有效地减少处理负荷及处理时间。

另外，根据跟踪基础信息d4确定的高分辨率区域rh的范围并无特别限定，例如可仅根据跟踪目标t的位置设定，也可根据跟踪目标t的速度可变地设定，还可根据跟踪目标t的位置及速度以外的元素可变地设定。例如在跟踪目标t存在于跟踪图像数据d2(及摄影图像数据d1)的中央部的情况与存在于端部的情况下，高分辨率区域rh的范围可不同。并且，跟踪目标t的速度相对较快时，与跟踪目标t的速度相对较慢的情况相比，可加宽高分辨率区域rh的范围。并且，除了跟踪目标t的位置和/或速度以外，例如还可根据跟踪目标t的加速度、跟踪目标t的移动方向和/或跟踪目标t的其他特征可变地确定高分辨率区域rh的范围。而且，跟踪基础信息d4包含与相机装置20及终端装置11的处理能力相关的信息时，例如可根据相机装置20及终端装置11的处理能力确定高分辨率区域rh及低分辨率区域rl的范围。

并且，高分辨率区域rh的形状也不限定于四边形，高分辨率区域rh例如可设定为其他多边形或圆形。并且，可根据跟踪目标t的位置、速度和/或其他元素设定高分辨率区域rh的形状。

接着，对跟踪图像生成处理p1及跟踪运算处理p2的具体实施方式进行说明。本例的跟踪系统10并行进行上述跟踪图像生成处理p1与跟踪运算处理p2。

图8是用于说明串行进行跟踪图像生成处理p1及跟踪运算处理p2的例子的图。图8中，符号“p1-1”、“p1-2”及“p1-3”分别表示与第1时刻、第2时刻及第3时刻相关的跟踪图像生成处理p1，符号“p2-1”、“p2-2”及“p2-3”分别表示与第1时刻、第2时刻及第3时刻相关的跟踪运算处理p2。另外，第2时刻表示比第1时刻更靠后的时刻，第3时刻表示比第2时刻更靠后的时刻。

在与第1时刻相关的跟踪图像生成处理p1-1中，从在第1时刻获取的摄影图像数据d1生成跟踪图像数据d2，在与第2时刻相关的跟踪图像生成处理p1-2中，从在第2时刻获取的摄影图像数据d1生成跟踪图像数据d2，在与第3时刻相关的跟踪图像生成处理p1-3中，从在第3时刻获取的摄影图像数据d1生成跟踪图像数据d2。并且，在与第1时刻相关的跟踪运算处理p2-1中，根据通过与第1时刻相关的跟踪图像生成处理p1-1生成的跟踪图像数据d2获取表示第1时刻的跟踪目标的位置的目标信息d3，在与第2时刻相关的跟踪运算处理p2-2中，根据通过与第2时刻相关的跟踪图像生成处理p1-2生成的跟踪图像数据d2获取表示第2时刻的跟踪目标的位置的目标信息d3，在与第3时刻相关的跟踪运算处理p2-3中，根据通过与第3时刻相关的跟踪图像生成处理p1-3生成的跟踪图像数据d2获取表示第3时刻的跟踪目标的位置的目标信息d3。

如此串行进行跟踪图像生成处理p1及跟踪运算处理p2时，作为整个处理时间，需要跟踪图像生成处理p1的处理时间与跟踪运算处理p2的处理时间的总计以上的时间。即，图8所示的例子中，为了获取第1时刻～第3时刻的目标信息d3，需要与第1时刻相关的跟踪图像生成处理p1-1所需的时间(t1～t2)、与第1时刻相关的跟踪运算处理p2-1所需的时间(t2～t3)、与第2时刻相关的跟踪图像生成处理p1-2所需的时间(t3～t4)、与第2时刻相关的跟踪运算处理p2-2所需的时间(t4～t5)、与第3时刻相关的跟踪图像生成处理p1-3所需的时间(t5～t6)及与第3时刻相关的跟踪运算处理p2-3所需的时间(t6～t7)的总计(t1～t7)以上的处理时间。

另一方面，本例的跟踪系统10中，并行进行跟踪图像生成处理p1及跟踪运算处理p2，能够大幅减少整个处理时间。

图9是用于说明并行进行跟踪图像生成处理p1及跟踪运算处理p2的例子的图。图9所示的例子中，并行进行与第1时刻相关的跟踪运算处理p2-1和与第2时刻相关的跟踪图像生成处理p1-2，并行进行与第2时刻相关的跟踪运算处理p2-2和与第3时刻相关的跟踪图像生成处理p1-3，并行进行与第3时刻相关的跟踪运算处理p2-3和与第4时刻相关的跟踪图像生成处理p1-4。

图9所示的例子中，时间“t1～t2”表示为与第1时刻相关的跟踪图像生成处理p1-1所需的时间，时间“t2～t3”表示为与第1时刻相关的跟踪运算处理p2-1及与第2时刻相关的跟踪图像生成处理p1-2所需的时间，时间“t3～t4”表示为与第2时刻相关的跟踪运算处理p2-2及与第3时刻相关的跟踪图像生成处理p1-3所需的时间，时间“t4～t5”表示为与第3时刻相关的跟踪运算处理p2-3及与第4时刻相关的跟踪图像生成处理p1-4所需的时间。

尤其，本例的跟踪系统10中，以跟踪目标配置于摄影图像中的特定位置或特定范围的方式调整拍摄方向。因此，能够以该特定位置或特定范围为基准确定通过跟踪图像生成处理p1生成的跟踪图像数据d2的高分辨率区域rh及低分辨率区域rl，能够进行如图9所示的跟踪图像生成处理p1及跟踪运算处理p2的并列处理。

例如，不将跟踪目标配置于图像中的特定位置或特定范围时，无法得知跟踪目标向图像中的哪一位置移动，因此在跟踪运算处理p2完全结束之前无法确定高分辨率区域rh，需串行进行跟踪图像生成处理p1及跟踪运算处理p2。另一方面，如本例那样通过云台机构等拍摄方向调整部32调整拍摄方向并将跟踪目标配置于摄影图像中的特定位置或特定范围时，通过跟踪摄影，跟踪目标的位置基本上维持在特定位置或特定范围。因此，跟踪目标配置于摄影图像中的特定位置或特定范围时，即使不确定各时刻的跟踪目标的严格的位置，也能够根据预计跟踪目标会被配置的摄影图像中的特定位置或特定范围，从摄影图像数据d1生成跟踪图像数据d2。如此在跟踪摄影时以跟踪目标配置于摄影图像中的特定位置或特定范围的方式控制拍摄方向的例子中，无需等待与前一时刻(帧)相关的跟踪运算处理p2结束，就能够进行与下一时刻(帧)相关的跟踪图像生成处理p1，因此能够进行跟踪图像生成处理p1及跟踪运算处理p2的并列处理。

另外，只要通过同时进行跟踪运算处理p2-1的至少一部分与跟踪图像生成处理p1-2的至少一部分来进行并列处理即可，并不限定于图9所示的例子，跟踪运算处理p2-1中，根据从在第1时刻获取的摄影图像数据d1生成的跟踪图像数据d2获取表示第1时刻的跟踪目标的位置的目标信息d3，跟踪图像生成处理p1-2中，从在第2时刻获取的摄影图像数据d1生成为了获取表示第1时刻之后的第2时刻的跟踪目标的位置的目标信息d3而使用的跟踪图像数据d2。即，“跟踪图像生成处理p1的至少一部分”和与不同于该跟踪图像生成处理p1的时刻相关的“跟踪运算处理p2的至少一部分”在时间上重叠即可。因此，例如，可在不同时刻的跟踪图像生成处理p1及跟踪运算处理p2中的一个处理全部进行期间进行另一个处理的全部。

通过如此并行进行跟踪图像生成处理p1及跟踪运算处理p2，与串行进行跟踪图像生成处理p1及跟踪运算处理p2时(参考图8)相比，能够大幅缩短整个跟踪处理所需的时间。

这些跟踪图像生成处理p1及跟踪运算处理p2可在相机侧控制器34及终端侧控制器40中的任一控制器中进行，也可在双方中进行。

以下，对跟踪系统10的代表性实施方式进行说明。

＜第1实施方式＞

本实施方式中，通过终端装置11(终端侧控制器40)进行跟踪图像生成处理p1及跟踪运算处理p2双方。即，终端侧控制器40进行从摄影图像数据d1生成跟踪图像数据d2的跟踪图像生成处理p1。并且，终端侧控制器40进行根据跟踪图像数据d2获取目标信息d3的跟踪运算处理p2，将目标信息d3经由终端侧通信部44及相机侧通信部36发送至相机侧控制器34。

图10是表示第1实施方式所涉及的跟踪处理流程的一例的图。

跟踪摄影时，通过相机装置20的摄像部30获取的摄影图像数据d1在相机侧控制器34的控制下从相机侧通信部36发送(图10的s11)，由终端装置11的终端侧通信部44接收(s12)，并通过终端侧控制器40获取。

并且，通过终端侧控制器40进行从摄影图像数据d1生成跟踪图像数据d2的跟踪图像生成处理p1(s13)，之后，进行根据跟踪图像数据d2获取目标信息d3的跟踪运算处理p2(s14)。

通过终端侧控制器40获取的目标信息d3从终端侧通信部44发送(s15)，由相机侧通信部36接收(s16)，并通过相机侧控制器34获取。

相机侧控制器34根据如此获取的目标信息d3控制拍摄方向调整部32来调整摄像部30的拍摄方向(摄影光学系统21的光轴l的方向)(s17)，由此能够在跟踪跟踪目标的同时进行摄影。另外，本实施方式中，以跟踪目标配置于摄影图像中的特定位置或特定范围的方式调整拍摄方向。

图10所示的上述处理(s11～s17)在各摄影时刻(参考上述“第1时刻”～“第4时刻”)进行，上述步骤s11、s16及s17在相机装置20侧进行，步骤s12～s15在终端装置11侧进行。并且，并行进行跟踪图像生成处理p1(s13)及跟踪运算处理p2(s14)，例如同时进行与第1时刻相关的跟踪运算处理p2-1(s14)的至少一部分和与第2时刻相关的跟踪图像生成处理p1-2(s13)的至少一部分(参考图9)。

由此能够大幅缩短整个跟踪处理的处理时间来实现跟踪处理的高速化，其结果，即使是移动较快的跟踪目标，也能够适当跟踪，能够确保良好的跟踪精度。

＜第2实施方式＞

上述跟踪图像生成处理p1及跟踪运算处理p2中的一个可在相机侧控制器34及终端侧控制器40中的一个控制器中进行，跟踪图像生成处理p1及跟踪运算处理p2中的另一个可在相机侧控制器34及终端侧控制器40中的另一个控制器中进行。

本实施方式中，作为一例，对跟踪图像生成处理p1在相机侧控制器34中进行，跟踪运算处理p2在终端侧控制器40中进行的例子进行说明。另外，本实施方式中，对与上述第1实施方式相同或类似的结构，省略其详细说明。

图11是表示第2实施方式所涉及的跟踪处理流程的一例的图。

跟踪摄影时，相机装置20的相机侧控制器34进行从通过摄像部30获取的摄影图像数据d1生成跟踪图像数据d2的跟踪图像生成处理p1(图11的s21)。通过跟踪图像生成处理p1生成的跟踪图像数据d2在相机侧控制器34的控制下从相机侧通信部36发送(s22)，由终端装置11的终端侧通信部44接收(s23)，并通过终端侧控制器40获取。另外，也可以是摄影图像数据d1等其他数据与跟踪图像数据d2一同从相机侧通信部36发送至终端侧通信部44。

并且，通过终端侧控制器40进行根据跟踪图像数据d2获取目标信息d3的跟踪运算处理p2(s24)。所获取的目标信息d3从终端侧通信部44发送(s25)，由相机侧通信部36接收(s26)，并通过相机侧控制器34获取。

相机侧控制器34根据如此获取的目标信息d3控制拍摄方向调整部32，以跟踪目标配置于摄影图像中的特定位置或特定范围的方式调整摄像部30的拍摄方向(s27)。

图11所示的上述处理(s21～s27)与上述第1实施方式同样地在各摄影时刻(参考上述“第1时刻”～“第4时刻”)进行。并且，并行进行相机侧控制器34中的跟踪图像生成处理p1(s21)与终端侧控制器40中的跟踪运算处理p2(s24)，例如同时进行与第1时刻相关的跟踪运算处理p2-1(s24)的至少一部分和与第2时刻相关的跟踪图像生成处理p1-2(s21)的至少一部分(参考图9)。

＜第3实施方式＞

本实施方式中，对跟踪图像生成处理p1及跟踪运算处理p2在相机侧控制器34中进行的例子进行说明。即，本实施方式的相机侧控制器34并行进行从摄影图像数据d1生成跟踪图像数据d2的跟踪图像生成处理p1与根据跟踪图像数据d2获取目标信息d3的跟踪运算处理p2。

本实施方式中，对与上述第1实施方式相同或类似的结构，省略其详细说明。

图12是表示第3实施方式所涉及的跟踪处理流程的一例的图。

跟踪摄影时，相机装置20的相机侧控制器34进行从通过摄像部30获取的摄影图像数据d1生成跟踪图像数据d2的跟踪图像生成处理p1(图12的s31)。并且，相机侧控制器34进行根据跟踪图像数据d2获取目标信息d3的跟踪运算处理p2(s32)。并且，相机侧控制器34根据如此获取的目标信息d3控制拍摄方向调整部32，以跟踪目标配置于摄影图像中的特定位置或特定范围的方式调整摄像部30的拍摄方向(s33)。

图12所示的上述处理(s31～s33)与上述第1实施方式同样地在各摄影时刻(参考上述“第1时刻”～“第4时刻”)进行。并且，并行进行相机侧控制器34中的跟踪图像生成处理p1(s31)与跟踪运算处理p2(s32)，例如同时进行与第1时刻相关的跟踪运算处理p2-1(s32)的至少一部分和与第2时刻相关的跟踪图像生成处理p1-2(s31)的至少一部分(参考图9)。

＜第4实施方式＞

跟踪运算处理p2可通过相机侧控制器34及终端侧控制器40双方进行。此时，优选相机侧控制器34及终端侧控制器40中处理能力相对较高的控制器进行高分辨率区域rh的跟踪运算处理p2，相机侧控制器34及终端侧控制器40中处理能力相对较低的控制器进行低分辨率区域rl的跟踪运算处理p2。

本实施方式中，对如下例子进行说明，即，终端侧控制器40的处理能力高于相机侧控制器34，终端侧控制器40进行高分辨率区域rh的跟踪运算处理p2，相机侧控制器34进行低分辨率区域rl的跟踪运算处理p2。本实施方式中，对与上述第1实施方式相同或类似的结构，省略其详细说明。

图13是表示第4实施方式所涉及的跟踪处理流程的一例的图。

跟踪摄影时，相机装置20的相机侧控制器34进行从通过摄像部30获取的摄影图像数据d1生成跟踪图像数据d2的跟踪图像生成处理p1(图13的s41)。通过跟踪图像生成处理p1生成的跟踪图像数据d2在相机侧控制器34的控制下从相机侧通信部36发送(s42)，由终端装置11的终端侧通信部44接收(s43)，并通过终端侧控制器40获取。

并且，通过终端侧控制器40，对跟踪图像数据d2中的高分辨率区域rh进行跟踪运算处理p2(s44)。该与高分辨率区域rh相关的跟踪运算处理p2的结果从终端侧通信部44发送(s45)，经由相机侧通信部36通过相机侧控制器34获取(s47)。

另一方面，相机侧控制器34中，在进行跟踪图像生成处理p1(s41)之后，对跟踪图像数据d2中的低分辨率区域rl进行跟踪运算处理p2(s46)，获取与低分辨率区域rl相关的跟踪运算处理p2的结果(s47)。

并且，相机侧控制器34根据“与跟踪图像数据d2的高分辨率区域rh相关的跟踪运算处理p2的结果”及“与跟踪图像数据d2的低分辨率区域rl相关的跟踪运算处理p2的结果”，获取目标信息d3(s48)。相机侧控制器34根据如此获取的目标信息d3控制拍摄方向调整部32，以跟踪目标配置于摄影图像中的特定位置或特定范围的方式调整摄像部30的拍摄方向(s49)。

图13所示的上述处理(s41～s49)与上述第1实施方式同样地在各摄影时刻(参考上述“第1时刻”～“第4时刻”)进行。并且，并行进行“相机侧控制器34中的跟踪图像生成处理p1(s41)”与“相机侧控制器34及终端侧控制器40中的跟踪运算处理p2(s44及s46)”。例如，同时进行与第1时刻相关的跟踪运算处理p2-1(s44及s46)的至少一部分和与第2时刻相关的跟踪图像生成处理p1-2(s41)的至少一部分(参考图9)。

＜第5实施方式＞

本实施方式中，在跟踪摄影之前，进行获取能够通过相机装置20拍摄的范围的至少一部分摄影图像数据d1的空间频率的预搜索处理，根据该预搜索处理的结果确定跟踪图像数据d2的分辨率。

另外，在此所说的“能够通过相机装置20拍摄的范围”能够根据拍摄方向(摄影光学系统21的光轴l的方向)的可变范围确定，例如在采用图1所示的云台机构的跟踪系统10中，根据能够进行摇摄动作及俯仰动作的范围确定“能够通过相机装置20拍摄的范围”。

本实施方式中，对与上述第1实施方式相同或类似的结构，省略其详细说明。

图14是表示预搜索处理p5的一例的示意图。

获取能够通过相机装置20拍摄的范围的至少一部分摄影图像数据d1的空间频率的预搜索处理p5通过相机侧控制器34及终端侧控制器40中的至少任一个进行。具体而言，在事前进行将能够通过相机装置20拍摄的范围即摄影环境作为对象的摄影，获取摄影环境的摄影图像数据d1，在预搜索处理p5中分析该摄影环境的摄影图像数据d1，由此获取表示摄影环境的空间频率的环境频率信息d6。

另外，预搜索处理p5中使用的摄影图像数据d1及通过预搜索处理p5获取的环境频率信息d6可以是与能够通过相机装置20拍摄的范围的一部分相关的信息，也可以是与能够拍摄的整个范围相关的信息。因此，从缩短预搜索处理p5所需的时间的观点考虑，例如可仅将能够通过相机装置20拍摄的范围的中央部作为预搜索处理p5中的摄影图像数据d1及环境频率信息d6的对象。

并且，摄影环境的摄影图像数据d1的获取可自动进行，也可手动进行。例如，可由相机装置20(相机侧控制器34)及终端装置11(终端侧控制器40)自动协同作用来获取摄影环境的摄影图像数据d1，也可对由用户操作终端装置11(参考图1及图2)来手动指定的摄影环境的特定范围获取摄影图像数据d1。

通过预搜索处理p5获取的环境频率信息d6用于上述分辨率确定处理p3(参考图6)，分辨率确定处理p3(跟踪图像生成处理p1)中，根据通过预搜索处理p5获取的摄影环境的空间频率(环境频率信息d6)，确定跟踪图像数据d2的分辨率。图14所示的例子中的分辨率确定处理p3中，根据跟踪基础信息d4及环境频率信息d6，求出确定跟踪图像数据d2中的高分辨率区域rh及低分辨率区域rl的分辨率信息d5。

分辨率调整处理p4(跟踪图像生成处理p1)中，根据如此确定的分辨率信息d5与摄影图像数据d1生成跟踪图像数据d2，例如通过预搜索处理p5获取的摄影环境的空间频率相对较低时，与摄影环境的空间频率相对较高时相比，将跟踪图像数据d2的分辨率设定为更低。该跟踪图像数据d2的分辨率的设定方法并无特别限定，例如摄影环境的空间频率相对较低时，关于“跟踪图像数据d2的高分辨率区域rh”及“跟踪图像数据d2的低分辨率区域rl”中的一个或双方，与摄影环境的空间频率相对较高时相比，可将分辨率设定为更低。

另外，如固定设置相机装置20时那样，能够通过相机装置20拍摄的范围不产生变动的环境下，可在跟踪摄影之前仅进行1次预搜索处理p5。并且，通过预搜索处理p5获取的环境频率信息d6可存储于未图示的存储器。分辨率确定处理p3(跟踪图像生成处理p1)中，可读取存储于存储器的环境频率信息d6来使用，由此获取分辨率信息d5。

关于预搜索处理p5～分辨率确定处理p3的一系列处理流程，作为一例，以下对预搜索处理p5在相机侧控制器34(相机装置20)中进行，分辨率确定处理p3(跟踪图像生成处理p1)在终端侧控制器40(终端装置11)中进行的例子进行说明。

图15是表示第5实施方式所涉及的预搜索处理p5～分辨率确定处理p3的处理流程的一例的图。

首先，通过相机装置20的云台机构调整拍摄方向的同时通过摄像部30对摄影环境进行摄影，并通过相机侧控制器34获取摄影环境的摄影图像数据d1(图15的s51)。相机侧控制器34中，根据该摄影环境的摄影图像数据d1进行预搜索处理p5来获取环境频率信息d6(s52)，该环境频率信息d6从相机侧通信部36发送(s53)，由终端装置11的终端侧通信部44接收(s54)，并通过终端侧控制器40获取。

并且，若开始跟踪摄影，则终端侧控制器40在每个摄影时刻(参考上述的“第1时刻”～“第4时刻”)获取跟踪基础信息d4(s55)，根据该跟踪基础信息d4及环境频率信息d6进行分辨率确定处理p3来获取分辨率信息d5(s56)。如此获取的分辨率信息d5提供至后期阶段的分辨率调整处理p4。

＜第6实施方式＞

本实施方式中，对预搜索处理p5及分辨率确定处理p3在终端侧控制器40(终端装置11)中进行的例子进行说明。本实施方式中，对与上述第5实施方式相同或类似的结构，省略其详细说明。

图16是表示第6实施方式所涉及的预搜索处理p5～分辨率确定处理p3的处理流程的一例的图。

本实施方式中，首先，通过相机装置20的云台机构调整拍摄方向的同时通过摄像部30对摄影环境进行摄影，通过相机侧控制器34获取摄影环境的摄影图像数据d1(图16的s61)。该摄影环境的摄影图像数据d1从相机侧通信部36发送(s62)，由终端装置11的终端侧通信部44接收(s63)，并通过终端侧控制器40获取。

并且，终端侧控制器40中，进行预搜索处理p5来获取环境频率信息d6(s64)。

并且，若开始跟踪摄影，则终端侧控制器40在每个摄影时刻(参考上述“第1时刻”～“第4时刻”)获取跟踪基础信息d4(s65)，根据该跟踪基础信息d4及环境频率信息d6进行分辨率确定处理p3来获取分辨率信息d5(s66)。

＜第7实施方式＞

本实施方式中，对预搜索处理p5及分辨率确定处理p3在相机侧控制器34(相机装置20)中进行的例子进行说明。本实施方式中，对与上述第5实施方式相同或类似的结构，省略其详细说明。

图17是表示第7实施方式所涉及的预搜索处理p5～分辨率确定处理p3的处理流程的一例的图。

本实施方式中，首先，通过相机装置20的云台机构调整拍摄方向的同时通过摄像部30对摄影环境进行摄影，通过相机侧控制器34获取摄影环境的摄影图像数据d1(图17的s71)。并且，相机侧控制器34中进行预搜索处理p5来获取环境频率信息d6(s72)。

并且，若开始跟踪摄影，则相机侧控制器34在每个摄影时刻(参考上述“第1时刻”～“第4时刻”)获取跟踪基础信息d4(s73)，根据该跟踪基础信息d4及环境频率信息d6进行分辨率确定处理p3来获取分辨率信息d5(s74)。

＜其他变形例＞

上述各功能结构能够通过任意的硬件、软件或双方的组合来实现，例如能够通过适当组合cpu(centralprocessingunit)、易失性ram(randomaccessmemory)、eeprom(electricallyerasableprogrammableread-onlymemory)等非易失性存储器和/或os(operatingsystem)或应用程序等各种操作程序来实现。并且，还能够对使计算机执行与上述终端装置11及相机装置20的各部的图像处理方法及跟踪摄影方法相关的各种处理的步骤的程序、记录该程序的计算机可读记录介质(非暂时性有形介质)或者能够安装该程序的计算机适用本发明。尤其，终端装置11中的上述各处理可在专用应用程序上执行，也可在浏览器上执行。

并且，本发明的终端装置11的形态并无特别限定，可由移动电话、智能手机、平板终端、pda(personaldigitalassistants)或便携式游戏机构成终端装置11。

符号说明

10-跟踪系统，11-终端装置，12-框体，13-显示器，14-操作面板，15-触摸面板，16-操作按钮，17-扬声器，18-麦克风，19-终端相机，20-相机装置，21-摄影光学系统，22-装置主体，23-底座，24-球形罩，25-保持部，26-齿轮，30-摄像部，32-拍摄方向调整部，34-相机侧控制器，36-相机侧通信部，40-终端侧控制器，42-用户界面，44-终端侧通信部。