本发明涉及使多个设备协作来实现期望功能的、适合于所谓iot(internetofthings：物联网)的信息处理的信息终端装置、信息处理系统、信息处理方法以及记录有信息处理程序的记录介质。
背景技术：
近年来，正摸索使智能手机、平板pc或笔记本pc等便携信息终端与其它设备(外部设备)协作来进行远程操作或信息管理的一元化、超越之前的各种限制的设备控制的技术。
例如，考虑有利用智能手机等信息终端装置来控制由图像传感器或麦克风等传感器取得图像信息或声音信息等信息的摄影设备或录音设备。能够利用智能手机作为遥控装置，在显示面板上显示摄影设备或录音设备等的控制用画面，通过触摸操作控制拍摄或录音的动作。
并且，在iot中，不仅用作经由无线、有线来操作其它设备的遥控装置，还考虑根据需要，通过有效使用智能手机或平板pc等的内置功能、或者一并使用如用作控制设备而从外部设备进行信息收集的使用方法，能够实现仅靠外部设备无法实现的功能或规格。
作为这样的设备协作的一个例子，例如在日本特开2009-267666号公报中公开了判别所搜索到的无线通信设备是否存在于自己车辆内并进行控制的技术。
技术实现要素：
本发明的一个方式的信息终端装置具有：功能执行部，其替代外部设备来执行与所述外部设备具有的声音或图像的取得功能相同种类的声音或图像的取得功能，作为替代功能；显示部；通信部，其与协作的1个以上的外部设备之间进行通信；以及控制部，其在协作模式下，在经由所述通信部使所述外部设备具有的所述声音或图像的取得功能协作地执行之前，执行协作准备模式，该协作准备模式包含使所述功能执行部的所述替代功能执行、以及用于进行与所述声音或图像的取得功能相关的设定的显示控制。
此外，本发明的一个方式的信息处理系统具有：1个以上的外部设备，其执行声音或图像的取得功能；以及信息终端装置，其具有：功能执行部，其替代外部设备来执行与所述外部设备具有的声音或图像的取得功能相同种类的声音或图像的取得功能，作为替代功能；显示部；通信部，其与协作的1个以上的外部设备之间进行通信；以及控制部，其在协作模式下，在经由所述通信部使所述外部设备具有的所述声音或图像的取得功能协作地执行之前，执行协作准备模式，该协作准备模式包含使所述功能执行部的所述替代功能执行、以及用于进行与所述声音或图像的取得功能相关的设定的显示控制。
此外，本发明的一个方式的信息处理方法具有以下步骤：利用通信部与执行声音或图像的取得功能的1个以上的外部设备之间进行通信；以及在协作模式下，执行协作准备模式，该协作准备模式包含替代所述外部设备来执行与所述声音或图像的取得功能相同种类的声音或图像的取得功能作为替代功能、以及用于经由所述通信部进行与所述外部设备的声音或图像的取得功能相关的设定的显示控制。
此外，本发明的一个方式的记录有信息处理程序的介质记录，该信息处理程序用于使计算机执行以下步骤：利用通信部与执行声音或图像的取得功能的1个以上的外部设备之间进行通信；以及在协作模式下，执行协作准备模式，该协作准备模式包含替代所述外部设备来执行与所述声音或图像的取得功能相同种类的声音或图像的取得功能作为替代功能、以及用于经由所述通信部进行与所述外部设备的声音或图像的取得功能相关的设定的显示控制。
根据参照附图的以下描述，本发明的上述及其它目标、特征和优点将被更清楚地理解。
附图说明
图1是示出包含本发明第1实施方式的信息终端装置的信息处理系统的框图。
图2是示出摄影设备10和智能手机30的外观的说明图。
图3是示出记录器20的外观的说明图。
图4是用于说明声音收集范围的判定方法的流程图。
图5是用于说明声音收集范围的判定方法的说明图。
图6a是示出摄影的情形的说明图。
图6b是示出摄影的情形的说明图。
图6c是示出摄影的情形的说明图。
图7是示出由智能手机30进行的控制(智能手机控制)的流程图。
图8是示出协作设备的控制的流程图。
图9a是示出智能手机30的画面显示的说明图。
图9b是示出智能手机30的画面显示的说明图。
图9c是示出智能手机30的画面显示的说明图。
图9d是示出智能手机30的画面显示的说明图。
图9e是示出智能手机30的画面显示的说明图。
具体实施方式
下面，参照附图详细说明本发明的实施方式。
图1是示出包含本发明的一个实施方式的信息终端装置的信息处理系统的框图。图1示出了由构成信息终端装置的平板pc或智能手机30、作为外部设备的摄影设备10及记录器20构成了信息处理系统的例子。图2是示出摄影设备10和智能手机30的外观的说明图，图3是示出记录器20的外观的说明图。
在本实施方式中，外部设备是具有通信功能并能够与其它设备进行通信而进行协作的处理的设备。信息终端装置不仅具有信息处理功能，近年来，还增加了各种功能发展而来，还存在通过与其它设备的协作进一步扩展其使用场景的倾向。即，这里也能够与该外部设备之间进行通信，能够以不仅使用自身设备的功能还活用外部设备的功能来进行有效的协作处理的协作模式进行动作。在该情况下，信息终端装置对于各外部设备的各种功能于自身设备功能相同的或者关联的功能，通过考虑、判定并设想起动所需的时间或性能等，优化例如与各外部设备之间的通信的顺序的控制或功能的切换控制等，得到高的效果或性能。
例如，在协作的外部照相机或外部记录器分担拍摄或录音的情况下，信息终端装置通过一边采用信息终端装置自身具有的拍摄功能或录音功能等，一边进行各外部设备的功能的设定或切换等协作处理，能够进行高画质、高音质的动态图像记录。各设备的功能、性能等可以预先输入到信息终端装置的记录部等中，也可以成为如能够通过通信进行把握、或者根据通信的结果进行判定、或者类推的系统。在该情况下，外部设备发送自身的名称、id或功能、或者发送性能即可。在用通信进行的情况下，例如，如下所述地取得期望的数据。
为了在这样的协作模式中能够实现获得较高的效果或性能的协作，信息终端装置首先以协作准备模式进行动作并执行对有助于协作的外部设备的设定等，使外部设备试运转并确认从外部设备得到期望的数据。对于该进行协作而发挥作用的外部设备，信息终端装置能够利用数据库等根据名称、id等进行判定，也可以在起动了信息终端装置的内置功能时，由外部设备侧根据其功能对其进行确认并自行开始协作。在该情况下，外部设备也可以是如下结构：向信息终端装置输入所得到的信息，在取得之后，信息终端装置对该信息是否有用进行取舍选择。此外，信息终端装置例如也可以在协作准备模式中确认了已得到期望数据的情况之后，转移到实际上利用外部设备的功能的主协作模式。
即，这里的信息终端装置具有内置功能起动用输入部，该内置功能起动用输入部使取得图像、声音或其它特定信息的特定的内置功能起动。而且，通过使用伴随上述特定的内置功能起动而与外部设备之间进行通信的通信部，并具有能够协作记录或者协作再现由上述通信部得到的来自上述外部设备的上述图像、声音、其它信息与由上述内置功能取得的取得信息的控制部，能够有效使用(a)以比通过内置的功能得到的对应的信息更高性能、以更好条件得到的信息、(b)如添加和补充到通过内置的功能得到的信息中的信息、(c)或者，在内置的功能中错过拍摄的信息等。
首先，参照图2和图3，对智能手机30、摄影设备10和记录器20的外观进行说明。
如图2所示，在智能手机30(图1)的壳体30a上装卸自如地安装有安装用具41，在安装用具41中设置有用于安装镜头式照相机10(图1)的安装部42。镜头式照相机10具有收纳有摄像部12的镜筒43，在镜筒43的基端侧设置有安装部44。能够通过嵌入或者拧入等将该安装部44安装于安装用具41的安装部42。此外，在智能手机30中，在壳体30a的背面的两端设置有麦克风(麦克)用的开孔37l、37r，并且，在背面中央设置有镜头32a。另外，照相机不限定于镜头式。
如图3所示，记录器20的壳体20a在侧面的两端设置有立体声麦克风(stereomicrophone)22l、22r，在侧面的中央设置有无指向性的中心麦克风(centermicrophone)22c。
在图1中，在作为信息终端装置的智能手机30中设置有第1通信部33a和第2通信部33b。在作为外部设备并具有拍摄功能的照相机10中设置有第1通信部13a和第2通信部13b。此外，在作为外部设备并具有声音收集功能的记录器20中设置有第1通信部23a和第2通信部23b。第1通信部13a、23a、33a和第2通信部13b、23b、33b能够进行基于有线或者无线的通信。第1通信部13a、23a、33a和第2通信部13b、23b、33b例如能够进行基于wifi等无线lan的高速通信或基于蓝牙(注册商标)等近距离无线的通信。例如，第1通信部13a、23a、33a可以构成为能够进行近距离通信，第2通信部13b、23b、33b可以构成为能够进行wifi通信。
另外，在始终连接的情况下，在电力只能保持短时间的设备的情况下，如果一并使用如间歇地进行wifi并预先提前进行通信开始设定的设计，则可以不使用蓝牙。可以将在不在意电耗的情况下无需配对、能够瞬间进行连接的接近无线通信(nfc或闪传支撑(transferjet)等)用于第1通信部。第1通信想要进行比第2通信更频繁的通信。因此，优选电耗更少。写为近距离是因为想降低通信时的耗电量，且想延长由电池等驱动的设备的电池的续航时间。
智能手机30和照相机10构成为能够经由第1通信部33a、13a相互进行通信，并且构成为能够经由第2通信部33b、13b相互进行通信。此外，智能手机30和记录器20构成为能够经由第1通信部33a、23a相互进行通信，并且构成为能够经由第2通信部33b、23b相互进行通信。
在作为外部设备的照相机10中设置有控制部11。控制部11例如可以由使用了cpu等的处理器构成并依照在未图示的存储器中存储的程序进行动作来控制各部，也可以用硬件的电子电路来置换一部分。控制部11控制照相机10的各部。
在照相机10中设置有在镜筒43内收纳有光学系统12a的摄像部12，光学系统12a在镜筒43内具有为了通过合焦而设定为对焦(合焦)状态可移动的对焦镜头、在对焦状态下进行变倍的变焦镜头等(未图示)。此外，光学系统12a具有驱动这些镜头和光圈的未图示的机构部。
在摄像部12中设置有由ccd或cmos传感器等构成的未图示的摄像元件，利用光学系统12a将被摄体光学像引导至摄像元件的摄像面上。控制部11控制光学系统12a的机构部来驱动控制这些对焦镜头、变焦镜头和光圈。摄像元件对被摄体光学像进行光电转换来获得拍摄图像。
此外，在照相机10中还设置有操作部15，操作部15将基于用户操作的操作信号提供给控制部11。控制部11还能够根据来自操作部15的操作信号，控制照相机10的各部。此外，在照相机10中还设置有钟表部16，钟表部16将时刻信息提供给控制部11。
摄影控制部11a向摄像部12的摄像元件提供驱动信号，使其拍摄被摄体。焦点/视场角控制部11b根据操作部15的用户操作，或者通过基于智能手机30的指定的焦点控制和变焦控制，驱动光学系统12a的各镜头来进行对焦和变焦。
焦点/视场角信息取得部11c取得拍摄信息，该拍摄信息包含变焦镜头、对焦镜头等的镜头状态、光圈状态等与镜头相关的镜头信息和与视场角等的摄影相关的信息等中的至少1个。焦点/视场角信息取得部11c将所取得的信息输出到焦点/视场角控制部11b。焦点/视场角控制部11b根据焦点/视场角信息取得部11c的输出来控制摄像部12，调整焦点及拍摄视场角。
此外，焦点/视场角信息取得部11c能够经由第1通信部13a将所取得的拍摄信息传送到智能手机30。
控制部11被提供来自摄像部12的拍摄图像，在实施了规定的图像信号处理，例如颜色调整处理、矩阵转换处理、噪声去除处理以及其它各种信号处理以后，提供给记录部14进行记录。能够采用例如ic存储器作为记录部14。控制部11还能够经由第2通信部13b向智能手机30传送拍摄图像。
在本实施方式中，记录部14具有记录与协作的智能手机30之间和协作相关的信息的协作信息部14a。
此外，在照相机10中还设置有仰角方位传感器17。仰角方位传感器17检测照相机10的摄像部12的姿势，将检测结果输出到控制部11。控制部11能够根据仰角方位传感器17的检测结果，判定摄像部12的拍摄方向。另外，控制部11将与摄像部12的拍摄方向相关的信息作为拍摄信息输出到智能手机30的控制部31。
此外，在照相机10中设置有图像特征提取部18。图像特征提取部18能够提取摄像部12取得的图像的图像特征，将提取结果提供给控制部11。控制部11能够将所提取的图像特征的信息经由第1通信部13a传送给智能手机30。
第1通信部13a能够经由规定的传输路径与在智能手机30中所设置的第1通信部33a之间进行通信。此外，第2通信部13b能够经由规定的传输路径与在智能手机30中所设置的第2通信部33b之间进行通信。
在经由第2通信部13b、33b与智能手机30之间建立了通信时，控制部11能够依照智能手机30的控制部31来控制拍摄，并且向智能手机30传送与摄影相关的各种信息(拍摄信息)。此外，在通过第2通信部13b、33b与智能手机30之间建立了通信时，控制部11能够将摄像部12取得的拍摄图像传送到智能手机30。
在作为外部设备的记录器20中设置有控制部21。控制部21例如可以由使用了cpu等的处理器构成，依照在未图示的存储器中所存储的程序进行动作并控制各部，也可以利用硬件的电子电路来替换一部分。控制部21控制记录器20的各部。
在记录器20中设置有st(立体声)声音收集部22。st声音收集部22能够利用在壳体20a的外部露出的麦克风22l、22r、22c收集周围声音，将声音信号提供给控制部21。
此外，在记录器20中还设置有操作部25，操作部25将基于用户操作的操作信号提供给控制部21。控制部21还能够根据来自操作部25的操作信号，控制记录器20的各部。此外，在记录器20中还设置有钟表部26，钟表部26将时刻信息提供给控制部21。
声音收集控制部21a能够在对由st声音收集部22收集并取得的声音信号实施规定的信号处理以后，提供给记录部24进行记录。能够采用例如ic存储器作为记录部24。控制部21还能够经由第2通信部23b将所收集到的声音信号传送给智能手机30。
在本实施方式中，记录部24具有记录与协作的智能手机30之间和协作相关的信息的协作信息部24a。
此外，声音收集控制部21a控制波束形成部21b。波束形成部21b被声音收集控制部21a控制，能够控制st声音收集部22中的指向性。即，波束形成部2lb能够控制对于st声音收集部22的输出声音信号而言灵敏度最高的方向(以下称作波束方向)。另外，控制部21也可以将与波束方向相关的信息输出到智能手机30的控制部31。
第1通信部23a能够通过规定的传输路径与设置于智能手机30的第1通信部33a之间进行通信。此外，第2通信部23b能够通过规定的传输路径与设置于智能手机30的第2通信部33b之间进行通信。
在经由第1通信部23a、33a与智能手机30之间建立了通信时，控制部21能够依照智能手机30的控制部31来控制声音收集，并且向智能手机30传送与声音收集相关的各种信息(声音收集信息)。此外，在经由第2通信部23b、33b与智能手机30之间建立了通信时，控制部21能够向智能手机30传送由st声音收集部22取得的声音信号。
在作为信息终端装置的智能手机30中设置有控制部31。控制部31例如可以由使用了cpu等的处理器构成，依照在未图示的存储器中所存储的程序进行动作来控制各部，也可以利用硬件的电子电路来替换一部分。控制部31控制智能手机30的各部。控制部31经由第1通信部33a、13a向照相机10的控制部11发送用于驱动摄像元件的驱动控制信号，并且接收从控制部11发送的拍摄信息。此外，控制部31经由第2通信部33b、13b接收来自照相机10的拍摄图像。
此外，控制部31经由第1通信部33a、23a向记录器20的控制部21发送用于控制声音收集的控制信号，并且接收从控制部21发送的与波束方向相关的信息。此外，控制部31经由第2通信部33b、23b接收来自记录器20的声音信号。
在本实施方式中，在智能手机30中设置有作为功能实现部的内置表照相机部32。内置表照相机部32设置有由ccd或cmos传感器等构成的未图示的摄像元件，经由设置在壳体30a上的镜头32a而入射的被摄体光学像入射到该摄像元件的摄像面上。内置表照相机部32能够被控制部31控制来拍摄被摄体，将拍摄图像输出到控制部31。控制部31能够在内置表照相机部32进行拍摄时，进行焦点控制、曝光控制、白平衡控制、视场角控制等各种摄影控制。
此外，在智能手机30中设置有作为功能实现部的内置声音收集部37。内置声音收集部37具有设置于壳体30a的背面侧的端部的麦克风37al、37ar(参照图5)。内置声音收集部37能够被控制部31控制，利用麦克风37al、37ar收集周围声音，将声音信号输出到控制部31。控制部31能够在内置声音收集部37进行声音收集时，进行基于波束形成的波束方向的调整。
另外，在图1中说明了内置声音收集部37使用了立体声麦克风的例子，但也可以使用单声道麦克风。此外，在图2中示出了将麦克风37al、37ar配置在壳体30a的两端的例子，但也可以将麦克风37al、37ar配置在壳体30a的任意位置。
控制部31对经由第2通信部33b而接收到的拍摄图像(以下，也称作外部照相机图像)和来自内置表照相机部32的拍摄图像(以下，也称作内置照相机图像)进行规定的信号处理，例如颜色调整处理、矩阵转换处理、噪声去除处理及其它各种信号处理。此外，控制部31对经由第2通信部33b而接收到的声音信号(以下，也称作外部收集声音)和来自内置声音收集部37的声音信号(以下，也称作内置收集声音)进行规定的信号处理。
控制部31能够进行与拍摄图像和声音信号的记录及再现相关的处理。例如，控制部31能够对信号处理后的拍摄图像和声音信号进行压缩处理，并将压缩后的图像和声音提供给记录部34使其进行记录。作为记录部34，例如可采用ic存储器等各种记录介质，记录部34能够将图像信息和声音信息等记录到记录介质中。
显示控制部38执行与显示相关的各种处理。显示控制部38能够由控制部31提供信号处理后的拍摄图像，并将其提供给显示部39使其进行显示。显示部39具有lcd等显示画面39a(参照图5)，显示从显示控制部38提供的图像。此外，显示控制部38还能够使显示部39的显示画面39a显示各种菜单显示等。控制部31能够读出在记录部34中所记录的拍摄图像并进行解压缩处理。显示控制部38能够通过将解压缩处理后的拍摄图像提供给显示部39，进行记录图像的再现。
在智能手机30中还配设有操作部35。作为内置功能起动用输入部的操作部35由设置于智能手机30的未图示的开关、键、软键盘等各种操作部构成，产生基于用户操作的操作信号，输出到控制部31。控制部31根据操作信号控制各部。
在显示部39的显示画面39a上，作为操作部35还设置有未图示的触摸面板。触摸面板能够产生与用户用手指指示的显示画面39a上的位置对应的操作信号。该操作信号被提供到控制部31。由此，在用户在显示画面39a上进行了触摸或者滑动的情况下，控制部31能够检测用户的触摸位置、闭合手指并分开的操作(捏合操作)、滑动操作、以及通过滑动操作到达的位置、滑动方向、进行触摸的期间等各种操作，从而能够执行与用户操作对应的处理。
另外，显示画面39a配设成占据智能手机30的壳体30a的例如前表面大致整个范围，用户能够在内置表照相机部32进行拍摄时确认在显示部39的显示画面39a上所显示的拍摄图像，还能够一边确认拍摄图像，一边进行拍摄操作。
在本实施方式中，控制部31能够进行与各外部设备协作来实现各种功能的协作模式下的动作。在本实施方式中，进行了预先确定由外部设备利用的功能能够用哪个内部功能进行辅助的工作。即，在记录部34中设置作为表示对应于外部设备，哪个内部功能能够代用的代用数据库的各功能引导部34a。各功能引导部34a可以通过控制外部设备的应用程序软件等进行写入。此外，也可以在此相关地记录经由第1通信部33a传输的信息。
在本实施方式中，控制部31根据各功能引导部34a的信息，向作为外部设备的照相机10和记录器20的协作信息部14a、24a传送进行协作所需的信息并使其记录。照相机10的控制部11依照在协作信息部14a中所记录的用于协作的信息来控制各部。此外，记录器20的控制部21依照在协作信息部24a中所记录的协作用的信息来控制各部。
例如，控制部31对智能手机30具有的功能与外部设备的功能进行比较，在智能手机30具有与应由协作的外部设备实现的功能相同的功能(以下，称作替代功能)的情况下，根据各功能引导部34a的信息来选择是使用智能手机30的替代功能、还是使用外部设备的功能，并且，在由外部设备实现功能的情况下进行针对外部设备的设定等。
一般而言，智能手机30始终接通电源并处于应用程序的起动状态或者起动等待状态的情况较多，内置表照相机部32和内置声音收集部37能够在用户刚刚进行了用于动态图像拍摄等的操作以后马上进行拍摄和声音收集。与此相对，作为外部设备的照相机10和记录器20的拍摄性能和声音收集性能一般比智能手机30优异，但为了取得用户期望的图像或声音，需要规定的设置。例如，为了使照相机10取得良好的图像，优选周密地进行照相机的配置、朝向、调焦或视场角调整等设置。此外，为了使记录器20也取得良好的声音，优选周密地进行记录器20的位置、朝向或录音等级等的设置。
在本实施方式中，控制部31在协作模式中，首先以协作准备模式进行动作，接下来，转移到主协作模式。控制部31在协作准备模式下，首先一边执行替代功能，一边根据各功能引导部34a的信息来起动规定的应用程序，由此，经由第1通信部33a、13a、23a向外部设备发送各种设定信息，使照相机10和记录器20依次执行这样的各种设定。控制部31在协作准备模式下，利用经由第2通信部33b、13b、13b得到的信息来确认根据外部设备进行设定后的结果而得到了期望的图像和声音的情况。例如，控制部31可以根据后述的外部照相机图像范围或声音收集范围处于规定的范围内而判定为得到了期望的图像和声音，并且，也可以根据例如外部照相机图像是否处于合焦状态或声音收集等级是否处于规定范围内等而判定为得到了期望的图像和声音。
在协作准备模式下判定为得到了期望的图像和声音等的情况下，控制部31判定为可以开始协作，转移到主协作模式，从替代功能切换到外部设备的功能。另外，即使在切换到外部设备的功能之后，控制部31也可以同时使替代功能执行。此外，即使在主协作模式中，控制部31也可以根据接收信息的质量的判定结果或者用户的指示等而适当迁移到协作准备模式，进行对外部设备的重新设定。
另外，控制部31可以通过建立了基于第1通信部33a、13a、23a和第2通信部33b、13b、23b的通信，作为从替代功能向外部设备的功能的切换的准备的完成，进行向外部设备的功能的切换。
智能手机30具有图像特征提取部40a和声音特征提取部40b。图像特征提取部40a能够提取外部照相机图像和内置照相机图像的图像特征，将提取结果提供给控制部31。另外，控制部31可以从照相机10接收关于外部照相机图像的图像特征。在该情况下，图像特征提取部40a中能够省略外部照相机图像的图像特征的提取处理。控制部31能够根据所输入的图像特征的信息，判定内置照相机图像中的外部照相机图像的图像部分的范围(以下，也称作外部照相机图像范围)。
声音特征提取部40b能够提取外部收集声音和内置收集声音的声音特征，将提取结果提供给控制部31。另外，控制部31可以从记录器20接收关于外部收集声音的声音特征。在该情况下，在声音特征提取部40b中能够省略外部收集声音的声音特征的提取处理。控制部31能够根据所输入的2个声音特征的信息和图像特征的信息，判定外部收集声音的声音收集范围。
例如，作为由内置声音收集部37收集的内置收集声音和外部收集声音的声音特征，控制部31可以采用波形或频率分析结果，并进行两者的比较等，判定外部收集声音的声音收集范围。控制部31可以根据外部收集声音的声音收集范围的判定结果，求出用于使声音收集范围位于图像中央等的规定位置的波束形成信息，发送到记录器20。
在实施方式中，控制部31能够在内置照相机图像或者外部照相机图像中显示表示所求出的外部收集声音的声音收集范围，即记录器20的st声音收集部22的声音收集范围的显示。
图4是用于说明声音收集范围的判定方法的流程图，图5是用于说明声音收集范围的判定方法的说明图。
图5将未图示的声音收集对象(例如多个演奏者)位于智能手机30的内置表照相机部32的视场角vr中的拍摄范围为wdisp的位置处的情况作为例子示出。智能手机30的内置声音收集部37在与壳体30a的开孔37l、37r(参照图2)对应的位置处分别配设有左麦克风37al、右麦克风37ar。左麦克风37al在用单点划线表示的声音收集范围内进行声音收集并取得内置收集声音ssl。此外，右麦克风37ar在用虚线表示的声音收集范围内进行声音收集，取得内置收集声音ssr。此外，记录器20通过左右的麦克风22l、22r在虚线所示的声音收集范围内进行声音收集，取得外部收集声音sr。
在图4的步骤s51中，智能手机30的控制部31经由例如第2通信部33b接收并取得记录器20的外部收集声音sr。在步骤s52中，控制部31进行来自记录器20的外部收集声音与左麦克风37al的例如波形比较，从而进行外部收集声音sr与内置收集声音ssl是否大致一致的判定。此外，在步骤s54中，控制部31进行来自记录器20的外部收集声音sr与右麦克风37ar的例如波形比较，从而进行外部收集声音sr与内置收集声音ssr是否大致一致的判定。
控制部31在步骤s52中判定为外部收集声音sr与内置收集声音ssl大致一致的情况下，在接下来的步骤s53中，在与显示内置表照相机部32的拍摄范围wdisp的左侧的位置对应的画面位置处显示表示声音收集范围的辅助显示。此外，控制部31在步骤s54中判定为外部收集声音sr与内置收集声音ssr大致一致的情况下，在接下来的步骤s55中，在与显示内置表照相机部32的拍摄范围wdisp的右侧的位置对应的画面位置处显示表示声音收集范围的辅助显示。
在步骤s52、s54中进行了“否”判定的情况下，控制部31使处理转移到接下来的步骤s56。在步骤s56中，控制部31对来自左麦克风37al的内置收集声音ssl和来自右麦克风37ar的内置收集声音ssr分别进行加权，求出加权平均。控制部31一边变更加权的比例一边调整加权平均结果与外部收集声音sr之间的相似度，与得到最高的相似度的加权的比例对应地确定辅助显示的位置。例如，在加权的比例为1：1的情况下相似度变为最高时，将辅助显示显示于与拍摄范围wdisp的中央位置对应的画面位置处。
接着，参照图6a至图10说明这样构成的实施方式的动作。图6a～图6c是示出摄影的情形的说明图。图7是示出智能手机30的控制(智能手机控制)的流程图，图8是示出协作设备的控制的流程图。图9a～图9e是示出智能手机30的画面显示的说明图，示出了显示部39的显示画面39a上的显示例。
摄影者51将镜头式照相机10安装到在智能手机30中所安装的安装用具41上。图6a～图6c示出了该状态。摄影者51例如用左手52握持智能手机30的壳体30a和镜筒43，在一边观察在显示部39的显示画面39a上所显示的实时取景图像55一边将被摄体60捕捉到视野范围内的状态下，例如进行动态图像拍摄。另外，在图6a～图6c中示出了如下例子：被摄体60是演奏乐器的3个演奏家，利用配置于距演奏家规定距离的位置处的记录器20收集该3个人的演奏。
照相机10能够获得比智能手机30更高画质的被摄体图像。此外，图6a～图6c示出了采用安装于智能手机30的镜头式照相机10的例子，但在采用普通的数字照相机等作为照相机10的情况下，能够利用三脚架等固定配置该照相机10。智能手机30有时由用户保持、被限制相对于被摄体60的位置，与此相对，由三脚架等固定的照相机10有时能够设置于适合于被摄体60的拍摄的位置处，从而能够取得更进一步理想的图像。
记录器20能够进行比智能手机30更高音质的声音收集。记录器20比较容易配置于对于被摄体60理想地进行录音的位置处，能够取得比智能手机30更进一步理想的声音。
但是，即使理论上如此，但在实际使用场景中，有时由三脚架固定的照相机10的三脚的位置也会偏移，或者噪声源来到应该配置于适当位置的记录器20的附近，或者，反而是握持着的智能手机30能够主动进行状况应对。这样，通过协作来进行的功能实现未必与所想的一样，因此，智能手机30可以使相同的功能同时工作，能够在之后对所得的结果进行取舍选择。即，这里的智能手机30具有实现1个以上的替代功能的功能实现部，设想进行协作的1个以上的外部设备，具有与它们之间进行通信的通信部。在该协作模式中，虽然设想了执行协作准备模式，在该协作准备模式中，使所述功能实现部的所述替代功能实现，并经由所述通信部进行与所述外部设备的规定功能相关的设定，但无论协作的结果是否从始至终都良好，在如动态图像中的画面切换那样的情况下，还存在需要双方的图像的情况。因此，具有能够协作记录或者协作再现由通信部得到的来自外部设备的信息和基于上述内置功能的取得信息的控制部。但是，成为预期那样的情况也较多，因此，该控制部也可以进行如在结束所述协作准备模式以后转移到实现所述外部设备的所述规定功能的主协作模式的控制。
(智能手机控制)
在图7的步骤s1中，智能手机30的控制部31进行功能类别图标的一览显示。图9a示出了该情况下的智能手机30的显示画面39a上的功能类别一览显示61的一例。在显示画面39a上所显示的功能类别一览显示61中包含用于选择sns模式的图标61a、选择邮件模式的图标61b、选择电话模式的图标61c、选择照相机模式的图标61e和用于指定协作模式(协作动态图像)的图标61d。
在接下来的步骤s2中，控制部31判定由用户选择出的功能是否是协作模式。在选择了协作模式以外的模式的情况下，控制部31显示与所选择的模式对应的下位功能的图标(省略图示)(步骤s3)。控制部31判定是否选择了下位功能的图标(步骤s4)，在已选择的情况下，起动与所选择的图标对应的功能(步骤s5)。
在接下来的步骤s6中，控制部31判定是否进行了已起动的功能的结束操作，反复进行步骤s6的判定直到进行结束操作为止。在进行了结束操作的情况下，控制部31使处理返回到步骤s1。另外，在步骤s4中未选择图标的情况下，控制部31转移到步骤s7，判断是否进行了返回操作。在进行了返回操作时，控制部31使处理返回到步骤s3，如果未进行返回操作，则使处理返回到步骤s1。
现在，假设用户对功能类别一览显示61上的协作模式用的图标61d进行点击操作。然后，控制部31在步骤s2中判定为指定了协作模式，使处理转移到步骤s11。另外，为了示出所选择的模式，显示控制部38使图标61d成为与其它图标不同的显示。在图9a的例子中利用包围各图标的实线的框表示未选择的模式，利用粗线的框表示选择模式。图9a的例子示出了选择了协作模式。
在协作模式中，控制部31首先通过经由第1通信部33a的通信(以下，称作第1通信)，根据各功能引导部34a的信息来搜索能够与智能手机30协作的协作对象的外部设备(以下，称作协作设备)。接着，在步骤s12中，控制部31根据各功能引导部34a的信息来判定是否能够用智能手机30的内置功能代替协作设备的功能，在判定为能够代替的情况下，用内置功能(即替代功能)进行代替(步骤s13)，转移到步骤s14。另外，在协作的外部设备为照相机或记录器的情况下，替代功能主要是取得声音或图像的功能、记录或者显示所取得的声音或图像的功能。
即，在本实施方式中，通过对图标61d进行点击操作，智能手机30内置的替代功能自动起动。另外，在存在替代功能的情况下，用户也可以通过进行操作部35的操作，明示地起动替代功能。也可以不仅起动替代功能，还起动附加功能。例如，如果取得音乐会的图像，则存在如访问记录有此时的演出节目或演出者的信息等的服务器等来取得其信息的情况。能够访问的服务器可以将该信息传输到智能手机，也可以由智能手机向服务器等询问该消息，由服务器等搜索相应的信息。如果能够进行第1通信，则协作设备可以进行如将自身的名称或id返回到通信对方的处理。由此，智能手机侧观察该自身的名称或id，例如在记录部内的数据库等中，判定该设备是否值得协作。但是，智能手机侧的操作、设定或判断也会存在错误或失败，因此，可以由协作设备侧发布自身的性能等，对智能手机进行展现，由此，发布如辅助协作判定这样的信息。此外，也可以并不将全部的协作或所需信息的取舍选择委托给智能手机侧，而是由协作的外部设备侧的控制部判定协作的必要性并开始协作。通过这样的工作，能够由协作设备替代进行在智能手机中失败的信息取得，作为故障防护，或者作为失败的防止对策。还具有即使协作设备的基本性能良好，根据环境等而无法提供适合所需的协作的性能的设备，因此，也可以一并使用尝试性地发送可取得的信息的控制。智能手机侧对此进行观察，判定是否进行协作。例如，一并设置如对声音进行比较再现并让用户来选择的用户接口即可。此外，此处可以取得外部设备(协作设备)的电池的剩余容量或可连接时间、可从其它设备访问的情况下的占线处理等来判断协作，也可以由用户进行使协作时间缩短的设定或进行协商。在智能手机30中不存在对应的替代功能的情况下，控制部31使处理从步骤s12转移到步骤s14。
但是，作为协作设备，具有仅临时进行通信并进行协作用的设置即可的外部设备(以下，称作临时连接推荐设备)、以及为了协作最好始终进行通信并连接的外部设备(始终连接推荐设备)。例如，对于被摄体的拍摄图像，从拍摄的确认等方面而言，在被摄体60的演奏中始终由智能手机30显示图像是较有效的，为了进行该图像传输，最好始终进行通信并连接。即，照相机10成为始终连接推荐设备。另一方面，针对声音，几乎不需要一边听被摄体60的现场演奏一边听同时收集到的声音。因此，无需始终传输收集声音，记录器20成为临时连接推荐设备。
在考虑传输的限制时，最好首先连接协作的外部设备中的临时连接推荐设备并进行设置，在临时连接推荐设备的设置以后，进行始终连接推荐设备的设置。因此，在步骤s14中，控制部31首先根据各功能引导部34a的信息，判定作为协作设备是否存在临时连接推荐设备。在不存在临时连接推荐设备的情况下，在接下来的步骤s19中，控制部31根据各功能引导部34a的信息，判定是否存在始终连接推荐设备。
在步骤s14中判定为存在临时连接推荐设备的情况下，控制部31通过第1通信与该临时连接推荐设备开始通信。另外，在步骤s11中，控制部31显示图9b所示的协作设备选择显示，使得用户能够选择要连接的协作设备。
图9b示出了协作设备选择显示62的一例。在显示画面39a上所显示的协作设备选择显示62中，包含利用内置照相机图像显示被摄体的区域62a、指定外部照相机的按钮62b、指定外部记录器(rec)的按钮62c、用于确定协作设备的选择按钮62d、返回按钮62e、表示内置收集声音的记录等级的等级显示62f、表示被所选择的协作设备推荐的设定的消息显示62g、以及以一触式执行消息显示62g所示的设定的一触式按钮62h。
按钮62b、62c是表示被选择为协作设备的设备并且用于由用户来选择协作设备的按钮。能够通过用户对按钮62b的操作，选择作为始终连接推荐设备的照相机10，能够通过按钮62c的操作，选择作为临时连接推荐设备的记录器20。
在步骤s14中搜索到的协作设备是临时连接推荐设备的情况下，控制部31进行表示选择了按钮62c的显示。另外，在仅存在始终连接推荐设备的情况下，进行表示选择了按钮62b的显示。
在操作了选择按钮62d时，控制部31确定所选择的外部设备并转移到协作准备模式(步骤s15)。另外，在该阶段中，不利用外部设备的功能，在区域62a中显示内置照相机图像，等级显示62f示出了内置收集声音的记录等级。
此外，利用消息显示62g显示了所选择的协作设备的推荐设定的信息，一触式按钮62h是用于以一触式执行该推荐设定的按钮。
目前，假设在作为外部设备选择了记录器20的状态下，点击选择按钮62d。于是，控制部31设定协作准备模式，显示协作准备模式显示。图9c示出选择了记录器20的情况下的协作准备模式显示63。这时，关于进行什么样的协作，可以自动进行，也可以从显示部一览显示的设备中手动选择。在具有多个候选的情况下，对性能进行比较显示，或者，能够通过尝试性地进行信息取得并比较，来对用户的选择进行辅助。设置选择用的用户接口，由用户进行手动选择、利用声音进行命令等。这样，通过按照此时的每种状况(能够通过图像、声音或日期时间、场所等信息进行判定)来存储、学习用户的选择结果，还能够通过机械学习等进行自动化。当然，也可以用特定程序进行判断、分支并自动选择。也可以一并使用人工智能，也可以在该情况下，进行使用了更多的判定项目的分支。存在若非熟练的用户则难以判断的情况，但可以在反复学习由熟练用户选择的结果的过程中，进行机械学习以使一般用户能够使用。
在步骤s15中转移到了协作准备模式时，在步骤s16中，控制部31开始设定。这里，准备特定的设备彼此进行通信所需的协议、以及发送或接收规定数据等，以便能够可靠地进行设备协作的通信。来自记录器20的声音信号通过经由第2通信部33b的通信(以下，称作第2通信)，传送到智能手机30。在图6b中，利用箭头65b表示从记录器20向智能手机30的声音数据传送。
控制部31能够根据各功能引导部34a的信息，自动地设定最佳的初始设定。例如，关于记录器20的平衡调整和指向性(声音收集范围)调整，控制部31进行基于各功能引导部34a的信息的设定。在图9c中，利用虚线的辅助显示64a示出了该设定前的初始状态下的声音收集范围，利用实线的辅助显示64b示出了校正后的声音收集范围。此外，关于平衡调整，显示了与校正后的平衡对应的等级显示63br、63bl。
在用户想通过用户操作改变设定的情况下，操作平衡按钮63c或者指向性按钮63d来指定所设定的项目。例如，在画面上的区域63a上所显示的内置照相机图像64上进行了触摸操作时，通过显示控制部38使得成为声音收集范围变化到该触摸操作位置的显示。在该状态下操作了指向性按钮63d时，由控制部31将用于设定为与通过触摸操作而指定的内置照相机图像64上的位置对应的声音收集范围的设定信息传送到记录器20。此外，在触摸操作了左右的等级显示63br、63bl的规定位置时，生成用于设定与该位置对应的左右的录音等级的设定信息。在用户在该状态下触摸了平衡按钮63c时，由控制部31将用于指定该平衡的信息传送到记录器20。在图6a中，利用箭头65a示出了从智能手机30向记录器20的数据传送。
协作开始按钮63e是用于确定设定内容并转移到主协作模式、并且返回到图9b的协作设备选择显示62的按钮。在步骤s17中，控制部31判定设定是否已结束，反复步骤s16、s17的处理直到设定结束为止。在用户在图9c的显示状态下点击了协作开始按钮63e时，控制部31确定与平衡和指向性相关的设定信息。此外，通过该协作开始按钮63e的操作，之后，记录器20转移到主协作模式(步骤s18)。
另外，在用户操作了返回按钮63f时，控制部31不确定设定信息，而向记录器20发送用于返回到协作准备模式转移前的设定值的信息，返回到协作设备选择显示62(在图7中省略图示)。另外，在步骤s18中的主协作模式中，无需在智能手机30与记录器20之间进行通信，记录器20依照协作准备模式中的设置进行声音收集。
目前，假设在图9b的协作设备选择显示62被显示的状态下，通过针对外部设备搜索结果的步骤s19的判定或者用户的指定，选择外部照相机。于是，控制部31转移到外部照相机的协作准备模式，显示图9d的协作准备模式显示65(步骤s20)。在协作准备模式显示65中，利用照相机按钮65c和记录器按钮65d示出了转移到主协作模式的外部设备。在图9d中，利用阴影线可知，仅记录器20转移到主协作模式。
在步骤s20中转移到协作准备模式时，在步骤s21中，控制部31开始设定。例如，控制部31根据各功能引导部34a的信息，自动地设定最佳的初始设定。例如，关于照相机10的视场角调整等，控制部31进行基于各功能引导部34a的信息的设定。在图9d中，在区域65a中显示基于各功能引导部34a的信息的初始状态下的外部照相机图像66。即，来自照相机10的拍摄图像通过经由第2通信部33b的第2通信，传送到智能手机30。在图6c中，利用箭头66b示出了从照相机10向智能手机30的外部照相机图像的数据传送。
另外，等级显示65br、65bl示出了已经开始协作的记录器20的声音收集等级。在用户想通过用户操作变更视场角的设定的情况下，例如，能够通过区域65a上的缩小(pinchin)或者扩大(pinchout)操作等变更视场角。此外，还能够通过区域65a上的滑动(swipe)操作变更显示视场角或者录像视场角。另外，在通过用户操作等记录或者显示仅照相机10的拍摄范围的一部分的情况下，可以由智能手机30的内置表照相机部32取得内置照相机图像，记录到记录部34中。由控制部31将基于用户操作的视场角等的设定信息传送到照相机10。
控制部31在步骤s22中判定设定是否已结束，反复步骤s21、s22的处理直到设定结束为止。这里，假设用户对协作开始按钮65f进行点击操作。于是，控制部31确定针对照相机10的设定信息，向照相机10发送所确定的信息。此外，通过该协作开始按钮63e的操作，之后，照相机10转移到主协作模式(步骤s23)。
此外，假设在图9d的显示状态下，用户点击记录器按钮65d。于是，控制部31显示图9c的记录器用的协作准备模式显示63，使记录器20返回到协作准备模式(在图7中省略图示)。此外，假设在图9d的显示状态下，用户点击内置照相机按钮65e。于是，如图9e所示，控制部31在区域65a中显示内置照相机图像68。
另外，在图9e的例子中，在内置照相机图像68中显示有表示声音收集范围的辅助显示68a。此外，在图9e中利用照相机按钮65c的阴影线，可知照相机10被设定为了主协作模式。控制部31可以将表示该声音收集范围的辅助显示显示到图9d的外部照相机图像66中。
在步骤s19中进行了“否”判定的情况或者在步骤s23中开始了主协作模式时，在接下来的步骤s25中，控制部31停止替代功能，或者进行功能限制。由此，控制部31使由智能手机30代替的声音收集及摄影录像功能停止。另外，在声音收集及摄影录像功能中，不仅包含进行声音收集及摄影结果的记录的情况，还包含仅进行基于声音收集的录音的情况或仅进行基于摄影的录像的情况。这样，智能手机30起动这些功能的替代功能，直到开始与记录器20和照相机10的主协作模式为止，即使在对记录器20和照相机10进行期望的设置的期间内，也能够通过替代功能进行拍摄、声音收集、以及拍摄结果或声音收集结果的记录或显示。
并且，即使在主协作模式时，控制部31也可以继续实现替代功能。在该情况下，能够通过利用外部设备与智能手机30的双方来取得并记录信息。例如，还考虑在由照相机10通过图像放大仅拍摄被摄体60的3个演奏家中的一人的过程中，由智能手机30拍摄被摄体60的全体人员。在该情况下，不仅具有能够由智能手机30取得在协作准备模式时未被照相机10拍摄的图像的优点，照相机10和智能手机30还能够一边相互辅助一边获得拍摄图像，能够由对方的设备取得自身设备所无法得到的图像。例如，如果从智能手机30来看，则在内置的功能中错过拍摄的信息能够通过有效利用照相机10的拍摄功能来取得并记录。
此外，在智能手机与外部设备之间，还能够利用相互取得的信息作为添加或补充到由对方设备取得的信息中的信息。例如，设想采用可佩戴型的健康设备作为外部设备而在马拉松比赛中利用的场景。在该情况下，还考虑有如一边利用智能手机30的未图示的gps功能等记录用户行走的速度的信息一边利用健康设备测量脉搏或血压等并结合该信息进行记录的利用法。此外，例如，在用户进行爬山的情况下，利用健康设备测量脉搏或血压等并记录其信息，并且，记录由智能手机30取得的图像，由此，还能够根据图像判断陡的上坡等并确认此时的身体的变化等。
另外，如上所述，即使在主协作模式下，记录器20也无需向智能手机30发送数据，不在智能手机30与记录器20之间进行通信。
在接下来的步骤s26中，控制部31判定照相机10和记录器20中的功能的结束，在功能未结束的期间内，在步骤s27中，如果需要，则控制部31进行照相机10和记录器20的各种设定的调整。在判定为照相机10和记录器20中的功能已结束时，在步骤s28中，控制部31接收应从协作设备取得的关联文件等并记录到记录部34中。例如，控制部31请求在记录器20中所记录的录音数据的传送，将对应于该请求而传送的录音数据记录到记录部34中。此外，在主协作模式时未记录来自照相机10的拍摄图像的情况下，在结束主协作模式之后，控制部31根据需要也请求在照相机10中记录的动态图像等的传送，将根据该请求而传送的图像数据记录到记录部34中。
(协作设备控制)
图8示出了作为协作设备的照相机10的照相机控制和记录器20的记录器控制。
在图8的步骤s31中，照相机10的控制部11和记录器20的控制部21为利用第1通信部13a、23a的第1通信的等待状态。在步骤s32中，控制部11判定是否发生了利用照相机10单体的操作，例如摄影操作等，控制部21判定是否发生了利用记录器20单体的操作，例如录音操作等。在发生了摄影或录音操作等时，控制部11、21从步骤s32转移到步骤s33，在进行了与操作对应的控制以后，使处理返回到步骤s31。
在判定为未发生利用单体的操作的情况下，控制部11、21从步骤s32转移到步骤s34，判定是否发生了第1通信。在步骤s34中的第1通信中，只要能够进行该第1通信，则该协作设备进行将自身的名称或id返回到通信对方这样的处理。由此，智能手机30侧可以对此进行观察，例如根据记录部内的数据库等，判定该设备是否值得协作，也可以由协作设备侧发布自身的性能等，来对此进行辅助。此外，也可以不将全部协作或所需信息的取舍选择委托给智能手机30侧，而判定必要性并开始协作。通过这样的工作，能够由协作设备替代地进行在智能手机30中失败的信息取得，作为故障防护，或者作为失败的防止对策。还具有如下设备：虽然性能良好，但根据环境等而不适合于必要的协作。例如，还存在噪声源位于附近的情况，因此，也可以一并使用短时间内取得可取得的信息并尝试性地发送的控制。此外，还能够进行发送电池的剩余容量或可续航时间来传递协作时的条件的改良。并且，还存在也从与相应的智能手机30不同的其它设备进行访问的情况，因此，也可以在此处传递或者协商它们中的优先级或占线处理等。在未检测出第1通信的情况下，控制部11、21使处理返回到步骤s31。此外，在判定为发生了第1通信的情况下，控制部11、21使处理转移到步骤s35。
在步骤s35中，控制部11、21判定是否开始了协作准备模式。如上所述，在图7的步骤s15中，智能手机30的控制部31首先针对作为临时连接推荐设备的记录器20开始协作准备模式。由此，在步骤s36中，记录器20的控制部21判定是否需要第2通信。在为了进行平衡调整和指向性调整而通过第2通信发送声音的情况下，在步骤s37中，控制部21开始第2通信，在步骤s38中，控制部21向智能手机30发送声音收集中的声音信号，并且接收从智能手机30发送的设定信息等，进行与该设定信息等对应的设置。
智能手机30的控制部31利用各功能引导部34a的信息，把握了外部设备的功能及其特征。但是，考虑到在各功能引导部34a的信息中未保存有要协作的外部设备的功能及其特征的信息的情况，外部设备的控制部11、21向智能手机30发送自身设备具有的功能及其特征的信息。控制部31对智能手机30保持的功能与外部设备的功能进行比较，对于相同功能或者类似的功能，使替代功能激活，一边选择外部设备的功能，并且针对该功能进行设定以便能够获得应达成的特征。由此，各外部设备进行所指定的设定。例如，控制部21进行左右的麦克风22l、22r的录音等级调整等。
在步骤s39中，控制部21判定是否开始了主协作模式。控制部31反复步骤s38的控制，直到主协作模式开始为止，在主协作模式开始后，将处理转移到步骤s40。
另一方面，在图7的步骤s20中，智能手机30的控制部31开始针对照相机10的协作准备模式。在步骤s35中判定为已开始协作准备模式时，在步骤s36中，控制部11判定是否需要第2通信。为了进行焦点或视场角等的调整需要传输图像，在步骤s37中，控制部11开始第2通信，通过第2通信向智能手机30发送拍摄中的拍摄图像(步骤s38)。此外，控制部11接收从智能手机30发送的设定信息等，进行与该设定信息等对应的设置。例如，控制部11利用焦点/视场角控制部11b来调整视场角。
在步骤s39中，控制部11判定是否已开始主协作模式。控制部31反复步骤s38的控制，直到主协作模式开始，在主协作模式开始后，将处理转移到步骤s40。
在步骤s40中，控制部11、21判定是否需要第2通信。如上所述，在作为临时连接推荐设备的记录器20中，即使在执行功能的过程中，与智能手机30之间也无需连接，因此，使处理从步骤s40转移到步骤s41，结束第2通信。另一方面，作为始终连接推荐设备的照相机10为了传输拍摄中的图像而需要与智能手机30连接，因此，使处理从步骤s40转移到步骤s42，继续第2通信。另外，还存在在协作准备模式中未使用第2通信的协作设备。这样的协作设备在步骤s42中开始第2通信。
在步骤s42中，控制部11、21根据需要经由第2通信向智能手机30发送所取得的拍摄图像或收集的声音。另外，记录器20无需发送收集的声音，在步骤s42中，不特别进行数据的发送。另一方面，照相机10在步骤s42中通过第2通信向智能手机30发送拍摄图像。
在步骤s43中，控制部11、21判断是否已结束协作模式。控制部11、21反复步骤s42的处理，直到协作模式结束为止，在协作模式结束后，使处理转移到步骤s44，进行模式的初始化。在协作准备模式中，作为协作设备的照相机10和记录器20由智能手机30的控制部31实施了用户希望的设置。控制部11、21通过在步骤s44中进行模式的初始化，使由智能手机30进行的设定返回原来的状态。
这样，在本实施方式中，使信息终端装置和多个协作设备在协作模式下进行动作的情况下，根据各功能引导部的信息，在信息终端装置具有替代功能的情况下，一边使该替代功能工作一边对各协作设备设定协作准备模式并进行期望的设定，在结束设定以后转移到主协作模式，进行从替代功能向各协作设备的功能的转移。由此，能够对自身设备功能和外部设备的各功能进行与起动所需的时间或性能等对应的最佳的协作控制。此外，在进行协作时，在推荐临时连接的设备之间首先进行协作，然后与推荐始终连接的设备进行协作，从而能够进行有效地使用了协作所需的通信的协作。此外，在进行与具有声音收集功能的外部设备的协作时，能够在信息终端装置中显示表示声音收集范围的辅助显示，能够作为声音收集设备的配置的参考，并且，能够通过声音收集范围的可视化来简化用于理想的声音收集的波束形成控制。
近年来，能够通信的外部设备的种类也在增加，但便携信息终端自身具有的传感器种类、照相机种类等也与操作部或显示部一起发展，这样的iot的环境下的设备协作的优化成为重要的课题，但如以上所说明那样，本发明使这样的最佳的设备协作成为可能，通过激活为了能够有效地达成在与外部设备进行协作时想由协作的外部设备实现的功能所需的功能，来解决这样的课题。
另外，在上述实施方式中，作为协作的外部设备，说明了取得图像的照相机和取得声音的记录器，但能够采用可与信息终端装置进行通信的各种装置。
在上述各实施方式中，使用数字照相机作为用于拍摄的设备进行了说明，但是作为照相机，可以是数字单反照相机，也可以是袖珍数字照相机，可以是摄像机、电影拍摄机这样的动态图像用的照相机，并且当然可以是内置在移动电话或智能手机等便携信息终端(pda，personaldigitalassistants：个人数字助理)等中的照相机。
如果是发送如图像那样的较大容量的数据和其附带的较小容量的数据的系统，则不仅可以在消费领域中使用，也可以在产业用、医疗用的领域中使用。例如，只要是摄像部和显示部或者操作部分体构成的图像设备，都能够应用。例如，在进行身体或机械等的内侧的检查时，将摄像部放入内部，首先在操作部侧拍摄身体或机械等的表面，减少无用的时间。此外，还能够用于如下用途：在利用第2通信进行来自内部摄像部的观察图像传送之前，首先利用第1通信仅给出位置信息，并进行位置对准。在这种情况下，首先进行其它观察，无需第2通信的等待时间，就可尽快进入接下来的观察或诊断。
本发明并不是被原样限定为上述实施方式，在实施阶段能够在不脱离其主旨的范围内对结构要素进行变形并具体化。此外，能够通过上述实施方式公开的多个结构要素的适当组合形成各种发明。例如，可以删除实施方式所示的全部结构要素中的几个结构要素。并且，可以适当组合不同实施方式的结构要素。
另外，在实施例中，记载为“部“(部件或单元)的部分可以组合专用电路或多个通用电路来构成，也可以根据需要，组合依照预先编程的软件进行动作的微型计算机、cpu等处理器、或者fpga等定序器来构成。此外，还能够进行如从外部装置接受该控制的一部分或者全部的设计，在该情况下，介有有线或无线的通信电路。通信可以通过蓝牙、wifi或电话线路等进行，也可以通过usb等进行。可以将专用电路、通用电路或控制部作为一体来构成为asic。移动部等由各种致动器、以及根据需要由移动用的连结机制构成，致动器借助驱动电路进行动作。此外，该驱动电路也依照特定程序由微型计算机或asic等控制。这样的控制能够利用各种传感器及其周边电路输出的信息，进行详细的校正、调整等。
另外，关于权利要求、说明书和附图中的动作流程，即使为了方便，使用“首先”、“接着”等进行了说明，但不是指必须按该顺序进行实施。此外，对于构成这些动作流程的各步骤，当然还能够适当省略不影响发明本质的部分。特别是，简单记载了分支等，但是在使用人工智能等进行机械学习的情况下，设为使用了更多的判定项目的分支。例如，对于在何种状况下、与哪个设备协作等，如上所述，存在难以判断实际取得的信息是否有效等的情况，但可以在反复学习由用户选择的结果的期间内进行机械学习，也可以在该判断根据状况而发生变化的情况等下，进行还考虑了该状况的深层学习。
另外，关于这里所说明的技术中的主要利用流程图说明的控制，多数情况下能够利用程序进行设定，有时也保存在记录介质或记录部中。关于记录到该记录介质、记录部中的方法，可以在产品出厂时进行记录，也可以利用发布的记录介质，还可以经由因特网进行下载。
[附记项1]
一种信息终端装置，其特征在于，具有：
图像取得部，其取得被摄体的拍摄图像；
声音收集部，其收集来自所述被摄体方向的声音，取得内置收集声音；
外部收集声音取得部，其从声音装置取得外部收集声音，所述声音装置收集来自所述被摄体方向的声音，取得所述外部收集声音；
声音收集位置计算部，其通过所述声音收集部收集到的内置收集声音与所述外部收集声音取得部取得的所述外部收集声音的比较，求出所述外部收集声音的声音收集范围与所述拍摄图像的位置关系；以及
显示控制部，其在所述拍摄图像中显示表示所述声音收集位置的辅助显示。
[附记项2]
一种信息终端装置，其特征在于，具有：
内置功能起动用输入部，其起动取得特定信息的特定的内置功能；
通信部，其伴随上述特定的内置功能起动，与外部设备之间进行通信；以及
控制部，其能够协作记录或者协作再现由上述通信部得到的来自上述外部设备的信息、以及通过上述内置功能取得的取得信息。