信息处理装置以及存储程序的计算机可读介质的制作方法

文档序号:17148542发布日期:2019-03-19 23:12阅读:121来源:国知局
本发明涉及一种信息处理装置以及存储程序(program)的计算机可读介质。
背景技术
::专利文献1中揭示了一种技术,其生成使附加信息重叠于与图像形成装置相关的摄像图像的扩展现实图像并予以显示。专利文献2中揭示了一种技术,其是在图像形成装置上安装有操作面板(panel)的状态下,由摄像部件所拍摄并显示于显示部的影像上合成表示操作方法的图像而予以显示。现有技术文献专利文献专利文献1:日本专利特开2014-48672号公报专利文献2:日本专利特开2012-96448号公报技术实现要素:[发明所要解决的问题]本发明的目的在于提供可执行的联动功能的信息。[解决问题的技术手段]技术方案1所述的发明是一种信息处理装置,其包括:控制部件,通过将多个机器的信息发送至操作助理(assistant),从而对可利用多个机器来执行的联动功能的通知进行控制。技术方案2所述的发明是一种信息处理装置,其包括:控制部件,通过将多个功能的信息发送至操作助理,从而对可利用多个功能来执行的联动功能的通知进行控制。技术方案3所述的发明是一种信息处理装置,其包括:控制部件,通过将机器和功能的信息发送至操作助理,从而对利用机器和功能的联动功能的通知进行控制。技术方案4所述的发明是一种信息处理装置,其包括:控制部件,通过将多个文件(file)的信息发送至操作助理,从而对联动功能的通知进行控制。技术方案5所述的发明是一种信息处理装置,其包括:控制部件,通过将多个软件(software)的信息发送至操作助理,从而对可利用多个软件来执行的联动功能的通知进行控制。技术方案6所述的发明是一种信息处理装置,其包括:控制部件,通过将机器、功能、文件及软件中的至少两个的组合的信息发送至操作助理,从而对可利用所述组合来执行的联动功能的通知进行控制。技术方案7所述的发明是根据技术方案1至技术方案6中任一技术方案所述的信息处理装置,所述控制部件在作为所述信息的图像连接于与所述操作助理关联的图像时,对联动功能的通知进行控制。技术方案8所述的发明是根据技术方案1至技术方案6中任一技术方案所述的信息处理装置,所述控制部件在作为所述信息的图像重合于与所述操作助理关联的图像时,对联动功能的通知进行控制。技术方案9所述的发明是根据技术方案8所述的信息处理装置,所述控制部件进而由重合于与所述操作助理关联的图像的作为所述信息的多个图像来生成合成图像。技术方案10所述的发明是根据技术方案8或技术方案9所述的信息处理装置,当由用户进行了将作为所述信息的图像重合于与所述操作助理关联的图像的操作时,所述控制部件进而执行将作为所述信息的图像吸入至与所述操作助理关联的图像中的显示特效。技术方案11所述的发明是根据技术方案10所述的信息处理装置,所述控制部件在无法执行联动功能时,进而执行从与所述操作助理关联的图像中吐出作为所述信息的图像的显示特效。技术方案12所述的发明是根据技术方案8或技术方案9所述的信息处理装置,当由用户进行了将作为所述信息的图像重合于与所述操作助理关联的图像的操作时,所述控制部件进而执行作为所述信息的图像在显示有所述操作助理的位置消失的特效。技术方案13所述的发明是根据技术方案12所述的信息处理装置,所述控制部件在无法执行联动功能时,进而执行从与所述操作助理关联的图像中重新显示作为所述信息的图像的特效。技术方案14所述的发明是根据技术方案1至技术方案13中任一技术方案所述的信息处理装置,当在限制时间内所述信息被发送至所述操作助理时,所述控制部件对联动功能的通知进行控制。技术方案15所述的发明是根据技术方案1至技术方案14中任一技术方案所述的信息处理装置,所述控制部件对与将所述信息发送至所述操作助理的顺序相应的联动功能的通知进行控制。技术方案16所述的发明是根据技术方案1至技术方案15中任一技术方案所述的信息处理装置,所述控制部件在作为所述信息的图像中的部分被发送至所述操作助理时,对与所述部分相应的联动功能的通知进行控制。技术方案17所述的发明是根据技术方案1至技术方案16中任一技术方案所述的信息处理装置,所述操作助理具有学习功能,所述控制部件进而根据所述操作助理所获得的信息来改变联动功能的通知。技术方案18所述的发明是一种存储程序的计算机可读介质,所述程序使计算机(computer)执行信息处理,所述信息处理包括:通过将多个机器的信息提供给操作助理,从而对可利用多个机器来执行的联动功能的通知进行控制。[发明的效果]根据技术方案1、技术方案2、技术方案3、技术方案4、技术方案5、技术方案6、技术方案18所述的发明,提供可执行的联动功能的信息。根据技术方案7所述的发明,通过连接图像的操作,来提供联动功能的信息。根据技术方案8、技术方案9所述的发明,通过重合图像的操作,来提供联动功能的信息。根据技术方案10、技术方案12所述的发明,图像重合于与操作助理关联的图像的样子对于用户而言变得明确。根据技术方案11、技术方案13所述的发明,无法执行联动功能的情况对于用户而言变得明确。根据技术方案14所述的发明,根据限制时间来控制联动功能的通知。根据技术方案15所述的发明,提供与操作顺序相应的联动功能的信息。根据技术方案16所述的发明,提供与部分相应的联动功能的信息。根据技术方案17所述的发明,提供与操作助理所获得的信息相应的联动功能的信息。附图说明图1是表示本发明的第1实施方式的机器系统的结构的框图。图2是表示终端装置的结构的框图。图3是表示图像形成装置的结构的框图。图4是表示服务器的结构的框图。图5是表示图像形成装置的外观的示意图。图6是表示机器功能管理表的图。图7是表示联动功能管理表的图。图8是表示画面的图。图9是表示画面的图。图10是表示机器系统的动作的序列图。图11是表示画面的图。图12是表示画面的图。图13是表示画面的图。图14是表示画面的图。图15是表示画面的图。图16是表示变形例3的联动功能管理表的图。图17是表示画面的图。图18是表示画面的图。图19是表示变形例4的机器功能管理表的图。图20是表示画面的图。图21是表示画面的图。图22是表示变形例4的机器功能管理表的另一例的图。图23是表示变形例4的联动功能管理表的图。图24是表示画面的图。图25是表示第2实施方式的联动功能管理表的图。图26是表示画面的图。图27是表示画面的图。图28是表示第3实施方式的联动功能管理表的图。图29是表示画面的图。图30是表示第4实施方式的联动功能管理表的图。图31是表示画面的图。图32是表示画面的图。符号的说明10:终端装置12、14:机器16:服务器18、30、40:通信部20、36:ui部22:摄像机24、34、42:存储部26、38、44:控制部28:确定部32:图像形成部46:标记48、60:画面50:助理图像52、54、70、74、76、78、82:机器图像54a、54b、70a、70b、70c:部分图像56、58、64、66、72、80、84、86、88、90、96、98、100、102、108、110:箭头62:图像68:合成图像92、94:功能图像104、106:文件图像a:pcb:多功能一体机d:显示器n:通信路径s01~s10:步骤具体实施方式<第1实施方式>参照图1来说明本发明的第1实施方式的作为信息处理系统的机器系统。图1中表示了第1实施方式的机器系统的一例。作为一例,第1实施方式的机器系统包含终端装置10、多个机器(例如机器12、14)、以及作为外部装置的一例的服务器(server)16。图1所示的示例中,终端装置10、机器12、机器14及服务器16具备经由网络(network)等通信路径n而彼此通信的功能。当然,终端装置10、机器12、机器14及服务器16也可不利用通信路径n,而分别经由不同的通信路径来与其他装置进行通信。图1所示的示例中,在机器系统中包含两个机器(机器12、14),但也可在机器系统中包含三个以上的机器。而且,在机器系统中也可包含多个终端装置10或多个服务器16。另外,服务器16也可不包含在机器系统中。终端装置10为个人计算机(personalcomputer,pc)、平板(tablet)pc、智能电话(smartphone)、移动电话等装置,具有与其他装置之间收发数据的功能。而且,终端装置10也可为可穿戴式(wearable)终端(手表型终端、腕带(wristband)型终端、眼镜型终端、戒指型终端、隐形眼镜(contactlens)型终端、体内植入型终端、可听式(hearable)终端等)。终端装置10例如在机器的利用时作为用户接口部(ui(userinterface)部)发挥功能。机器12、14为具有功能的装置,例如为具备图像形成功能的图像形成装置、pc、平板pc、智能电话、移动电话、机器人(robot)(人型机器人、人以外的动物型机器人、除这些以外的机器人等)、投影机(projector)、液晶显示器(display)等显示装置、记录装置、再生装置、摄像机(camera)等摄像装置、冰箱、电饭煲、微波炉、咖啡机(coffeemaker)、吸尘器、洗衣机、空调机、照明机器、时钟、监控摄像机、汽车、二轮车、飞机(例如无人飞机(所谓的遥控无人驾驶飞机(drone)))、游戏机、各种传感(sensing)机器(例如温度传感器(sensor)、湿度传感器、电压传感器、电流传感器等)等装置。机器12、14既可为对用户输出一输出(output)的机器(例如图像形成装置或pc等),也可为不对用户输出一输出的机器(例如传感机器)。而且,既可以是执行后述的联动功能的多个机器中的所有机器为对用户输出一输出的机器,也可以是一部分机器为对用户输出一输出的机器,而其他机器为不对用户输出一输出的机器,还可以是所有机器为不对用户输出一输出的机器。机器12、14的概念范畴也可包含全盘机器。例如,信息机器、影像机器、音响机器、其他机器均可包含在本实施方式的机器的范畴内。而且,机器12、14具有与其他装置之间收发数据的功能。服务器16是进行数据的管理、用户信息的管理、机器12、14的管理等的装置。而且,服务器16具有与其他装置之间收发数据的功能。在终端装置10中,使用辅助用户操作的操作助理(个人助理(personalassistant))。操作助理例如具有下述功能,即,从用户接受询问,对所述询问内容进行分析,由此来制作针对所述询问的回答并提供给用户。操作助理例如是通过执行程序来实现,所述程序例如被安装于终端装置10。当然,也可将与操作助理相关的程序安装于服务器16等外部装置,由服务器16对终端装置10提供操作助理的功能。而且,操作助理也可通过人工智能(artificialintelligence,ai)来实现。例如,操作助理也可具有下述能力,即,具有基于人工智能的学习功能,通过所述学习功能来进行接近人的判断。而且,也可利用神经网络型深度学习(deeplearning),还可利用局部强化学习领域的强化学习等,除此以外,还可利用遗传算法(algorithm)、聚类(cluster)分析、自组织映射(self-organizingmap)、集成(ensemble)学习等。当然,也可利用除这些以外的与人工智能相关的技术。通过利用操作助理,对各机器所具有的功能的显示、或可利用多个功能来执行的联动功能的显示等进行控制。各机器所具有的功能或联动功能的确定处理既可由终端装置10来进行,也可由服务器16等外部装置来进行。以下设为由终端装置10来进行所述确定处理。以下,参照图2来详细说明终端装置10的结构。通信部18为通信接口,具有向其他装置发送数据的功能、以及从其他装置接收数据的功能。通信部18既可为具有无线通信功能的通信接口,也可为具有有线通信功能的通信接口。通信部18例如也可支持一种或多种通信方式,依照适合于通信对方的通信方式(即,通信对方所支持的通信方式)来与通信对方进行通信。通信方式例如为红外线通信、可见光通信、wi-fi(注册商标)通信、接近式无线通信(例如近场通信(nearfieldcommunication,nfc)等)等。作为接近式无线通信,使用felica(注册商标)、蓝牙(bluetooth)(注册商标)、射频识别(radiofrequencyidentifier,rfid)等。当然,也可使用其他方式的无线通信作为接近式无线通信。通信部18例如既可根据通信对方来切换通信方式或频带,也可根据周围环境来切换通信方式或频带。ui部20为用户接口部,包含显示部与操作部。显示部例如为液晶显示器等显示装置。操作部例如为触控面板(touchpanel)或键盘(keyboard)等输入装置。当然,也可为兼作显示部与操作部的用户接口(例如包含触控式显示器、或在显示器上显示电子键盘等的装置等)。而且,ui部20也可包含麦克风(microphone)等拾音部或扬声器(speaker)等声音产生部。此时,既可通过语音输入来将信息输入至终端装置10,也可通过语音来发出信息。在ui部20的显示部上,例如也可显示由摄像机所拍摄的图像、或者与被识别为利用对象机器(例如单独利用的机器或联动对象机器)的机器关联的图像、与功能关联的图像等。与机器关联的图像既可为由摄像机所拍摄的表示所述机器的图像(静态图像或动态图像),也可为示意性地表示所述机器的图像(例如图标(icon))。示意性地表示的图像的数据例如既可由终端装置10的控制部26来制作,也可预先存储在终端装置10的存储部24中,还可存储在服务器16中并从服务器16提供给终端装置10,还可存储在其他装置中并从所述其他装置提供给终端装置10。与功能关联的功能图像例如是表示此功能的图标等图像。作为拍摄部件的摄像机22通过对拍摄对象进行拍摄而生成图像数据(例如静态图像数据或动态图像数据)。图像例如被显示于ui部20的显示部。显示于显示部的图像也可由用户进行操作。另外,也可由外部的摄像机所拍摄的图像数据经由通信路径发送至终端装置10,并将此图像显示于ui部20的显示部。此时,此图像也可由用户进行操作。存储部24是硬盘(harddisk)或存储器(memory)(例如固态硬盘(solidstatedrive,ssd)等)等存储装置。在存储部24中,例如存储有机器功能管理信息、联动功能管理信息、各种数据、各种程序(例如操作系统(operatingsystem,os)、用于实现操作助理的程序、各种应用程序(applicationprogram)等)、表示各机器的地址(address)的信息(机器地址信息)、表示服务器16的地址的信息(服务器地址信息)、与所识别的机器相关的信息、与所识别的联动对象机器相关的信息、与所识别的机器所具有的功能相关的信息、与联动功能相关的信息等。当然,它们既可存储在不同的存储装置中,也可存储在一个存储装置中。另外,用于实现操作助理的程序也可存储在服务器16等外部装置中,通过由外部装置来执行所述程序自身,从而将操作助理的功能从外部装置提供给终端装置10。此时,用于实现操作助理的程序也可不存储在存储部24中。以下,对机器功能管理信息与联动功能管理信息进行说明。机器功能管理信息是用于对各机器所具有的功能进行管理的信息,例如是表示用于识别机器的设备识别信息(机器识别信息)与功能信息的对应的信息,所述功能信息表示所述机器所具有的功能。设备识别信息例如是机器id、机器名称、表示机器种类的信息、机器的型号、用于管理机器的信息(例如资产管理编号等)、表示设置机器的位置的信息(机器的位置信息)、与机器关联的机器图像、机器的地址信息等。机器图像例如是表示机器的外观图像。外观图像既可为表示机器外侧(例如机器的框体)的图像,也可为表示打开框体而从外部看到内部的状态(例如内部结构)的图像,还可为表示由包装用片材(sheet)等覆盖着机器的状态的图像。机器图像既可为通过拍摄机器而生成的图像(表示机器外侧的图像或表示内部的图像等),也可为模仿机器的图像(例如图标等)。功能信息例如为功能id或功能名称等。例如,当机器12为图像形成装置且所述图像形成装置具有打印(print)功能、扫描(scan)功能及复印(copy)功能时,作为一例,所述图像形成装置的设备识别信息对应有表示打印功能的功能信息、表示扫描功能的功能信息、及表示复印功能的功能信息。通过参照机器功能管理信息,来确定(识别)各机器所具有的功能。通过机器功能管理信息而受到管理的机器例如为包含在机器系统中的机器(例如机器12、14)。当然,未包含在机器系统中的机器也可通过机器功能管理信息而受到管理。例如,终端装置10也可获取与未包含在机器系统中的新的机器相关的信息(包含设备识别信息与功能信息的信息),并新登记到机器功能管理信息中。与机器相关的信息例如既可通过利用国际互联网(internet)等来获取,也可由管理者等予以输入。而且,终端装置10也可在任意时机(timing)、定期地或者在由管理者等所指定的时机等,更新机器功能管理信息。由此,有时会将表示在更新前机器不具有而在更新后机器所具有的功能的功能信息登记到机器功能管理信息中。同样,有时将表示在更新前机器具有而在更新后机器不具有的功能的功能信息从机器功能管理信息中予以删除,或者登记为不可用信息。更新用的信息例如既可通过利用国际互联网等而获取,也可由管理者等予以输入。当然,终端装置10自身也可不获取与机器相关的信息来执行机器功能管理信息的生成或更新,而是由服务器16等外部装置获取与机器相关的信息来执行机器功能管理信息的生成或更新。此时,由外部装置所生成或更新的机器功能管理信息是从外部装置发送至终端装置10并存储在存储部24中。联动功能管理信息是用于对通过使多个功能联动而执行的联动功能进行管理的信息。通过使多个功能联动,来执行一个或多个联动功能。联动功能例如既可为通过使一个机器(例如机器12)所具有的多个功能联动而可执行的功能,也可为通过使多个机器(例如机器12、14)所具有的多个功能联动而可执行的功能。而且,发出操作指示的终端装置10也可被用作联动对象机器,终端装置10所具有的功能也可被用作联动功能的一部分。联动功能也可为不利用作为硬件(hardware)的机器而执行的功能。例如,联动功能也可为通过使多个软件联动而执行的功能。当然,联动功能也可为通过使作为硬件的机器所具有的功能、与通过软件来实现的功能联动而执行的功能。联动功能管理信息例如是表示:表示被利用于联动功能的各功能的功能信息的组合、与表示所述联动功能的联动功能信息的对应的信息。联动功能信息例如是联动功能id或联动功能名称等。当单独的功能受到更新时,伴随此更新,联动功能管理信息也得到更新。由此,存在下述情况:在更新前不能彼此联动的多个功能的联动功能在更新后变得可用,或者与此相反地,在更新前可用的联动功能在更新后变得不可用。表示在更新后变得可用的联动功能的联动功能信息登记在联动功能管理信息中,而表示在更新后变得不可用的联动功能的联动功能信息将从联动功能管理信息中删除,或者登记为不可用的信息。联动功能管理信息的更新既可由终端装置10来进行,也可由服务器16等外部装置来进行。当由外部装置执行了联动功能管理信息的更新时,经更新的联动功能管理信息从外部装置发送至终端装置10而存储到存储部24中。当使多个机器联动时,例如,联动功能管理信息是用于对利用多个机器所具有的多个功能的联动功能进行管理的信息,是表示设备识别信息的组合与联动功能信息的对应的信息,所述设备识别信息用于识别用于联动功能的各机器。而且,在使具有多个输出功能的机器(为对用户输出一输出的机器且为具有多个输出功能的机器)与不具有输出功能的传感机器(不对用户输出一输出的机器)联动的情况下,在联动功能管理信息中,也可包含下述信息,所述信息是表示特定的传感机器与所述多个输出功能中的特定输出功能的组合。借此,可从多个输出功能中,确定与特定的传感机器组合使用的输出功能。如上所述,当机器功能管理信息受到更新时,伴随此更新,联动功能管理信息也得到更新。由此,存在下述情况:在更新前不能彼此联动的多个机器的联动功能在更新后变得可用,或者与此相反地,在更新前可用的联动功能在更新后变得不可用。联动功能既可为通过使互不相同的多个功能联动而可执行的功能,也可为通过使同一功能联动而可执行的功能。联动功能也可为在联动前无法利用的功能。在联动前无法利用的功能既可为通过利用联动对象机器所具有的功能中的相同功能而可利用的功能,也可为通过使互不相同的功能组合而可利用的功能。例如,通过使具有打印功能的机器(打印机(printer))与具有扫描功能的机器(扫描仪(scanner))联动,而实现作为联动功能的复印功能。即,通过使打印功能与扫描功能联动而实现复印功能。此时,作为联动功能的复印功能、与打印功能及扫描功能的组合相对应。在联动功能管理信息中,例如表示作为联动功能的复印功能的联动功能信息、与用于对具有打印功能的机器进行识别的设备识别信息及用于对具有扫描功能的机器进行识别的设备识别信息的组合相对应。在联动功能的概念范畴内,也可包含通过使多个功能或多个机器联动而新功能的执行成为可能的合体功能。例如,也可通过将多个显示器予以组合,实现作为合体功能的扩展显示功能。作为另一例,也可通过将电视机(television)与录像机(recorder)加以组合,实现作为合体功能的录像功能。所述录像功能也可为对显示于电视机的图像进行录像的功能。而且,也可通过将多个摄像机予以组合,实现作为合体功能的拍摄区域扩展功能。所述扩展功能例如是将各摄像机的拍摄区域拼接而拍摄的功能。而且,也可通过将电话与翻译机或翻译软件予以组合,实现作为合体功能的翻译通话功能(对经由电话的会话进行翻译的功能)。如此,在联动功能的概念范畴内,包含通过使彼此同一种类的机器或功能联动而可实现的功能、或者通过使彼此不同种类的机器或功能联动而可实现的功能。控制部26控制终端装置10的各部的动作。控制部26例如进行通信部18的通信控制、ui部20的显示部上的信息显示的控制等。而且,控制部26包含确定部28。确定部28具有下述功能,即,确定由用户所指定的机器所具有的功能、或可利用由用户所指定的多个机器来执行的联动功能。确定部28例如通过操作助理来实现。当然,确定部28也可不通过操作助理来实现,而是通过其他程序等来实现。例如,确定部28接受用于对由用户所指定的机器进行识别的设备识别信息,在存储于存储部24中的机器功能管理信息中,确定表示与此设备识别信息对应的功能的功能信息。由此,确定(识别)机器所具有的功能。控制部26进行与由确定部28所确定的功能相关的信息(例如功能信息或功能的说明信息等)的通知(介绍)的控制。作为此通知,控制部26既可使与此功能相关的信息显示于ui部20的显示部,也可通过使用扬声器等来将与此功能相关的信息作为语音信息而发出。而且,控制部26也可控制所述功能的执行。而且,用户对机器的指定既可在ui部20的显示部的画面上进行,也可通过语音来进行。例如,当在ui部20的画面上显示有与机器关联的图像时,用户也可通过在此画面上指定图像来指定机器。作为另一例,无论在ui部20的画面上是否显示有与机器关联的图像,用户均可通过语音来指定机器。例如,当用户通过语音来说出机器名时,其声音被麦克风等拾音部拾取,表示机器名的语音信息被输入至终端装置10。确定部28判断为由用户指定了具有此机器名的机器而确定功能。如此,用于指定机器的操作与功能的通知既可通过画面上的显示来进行,也可通过语音来进行。也可将画面上的显示与语音加以组合。例如,也可通过用户在画面上指定与机器关联的图像来指定机器,并将表示功能的信息显示于画面。作为另一例,也可通过用户在画面上指定与机器关联的图像来指定机器,并将表示功能的信息通过语音而发出。作为又一例,也可通过将机器名作为语音信息输入至终端装置10来指定机器,并将表示功能的信息显示于画面。作为再一例,也可通过将机器名作为语音信息输入至终端装置10来指定机器,并将表示功能的信息通过语音而发出。另外,功能的确定处理也可由服务器16来进行。此时,从终端装置10向服务器16发送设备识别信息,由服务器16中所设的确定部28来确定表示与所述设备识别信息对应的功能的功能信息。另外,当由服务器16进行确定处理时,在服务器16中存储有机器功能管理信息。与功能相关的信息既可从服务器16发送至终端装置10而显示于ui部20的显示部,也可作为语音信息而发出。而且,确定部28接受用于对作为联动对象的各机器进行识别的设备识别信息,并在存储于存储部24中的联动功能管理信息中,确定表示与各设备识别信息的组合对应的联动功能的联动功能信息。由此,确定(识别)通过使作为联动对象的各机器所具有的功能联动而可执行的联动功能。控制部26进行与所确定的联动功能相关的信息(例如联动功能信息或联动功能的说明信息等)的通知(介绍)的控制。控制部26既可使与联动功能相关的信息显示于ui部20的显示部,也可使所述信息作为语音信息而发出。另外,与所述同样,作为联动对象的各机器的指定既可在画面上进行,也可通过语音来进行。另外,联动功能的确定处理也可由服务器16来进行。此时,从终端装置10向服务器16发送多个设备识别信息,由服务器16中所设的确定部28来确定表示与所述多个设备识别信息对应的联动功能的联动功能信息。另外,当由服务器16进行确定处理时,在服务器16中存储有联动功能管理信息。与联动功能相关的信息既可从服务器16发送至终端装置10而显示于ui部20的显示部,也可作为语音信息而发出。例如,当指定有一个机器时,确定此机器所具有的功能,当指定有多个机器时,确定可利用所述多个机器来执行的联动功能。而且,确定部28也可接受表示用于联动功能的各功能的功能信息,并在联动功能管理信息中,确定表示与各功能信息的组合对应的联动功能的联动功能信息。由此,确定(识别)通过使作为联动对象的各功能联动而可执行的联动功能。所述确定处理也可由服务器16来进行,其处理结果既可显示于ui部20的显示部,也可作为语音信息而发出。另外,也可针对每个用户来管理用户可利用的功能(机器所具有的单独功能或联动功能)。此管理既可由终端装置10来进行,也可由服务器16等外部装置来进行。用户可利用的功能例如是无偿提供给用户的功能、有偿提供给用户而由用户购买的功能等。也可针对每个用户而制作表示用户可利用的功能的可利用功能信息(例如功能购买历史信息)来进行管理。当由终端装置10进行可利用功能的管理时,可利用功能信息存储在存储部24中,当由服务器16等外部装置来进行此管理时,可利用功能信息存储在外部装置中。当然,还有可免费利用的功能、追加升级(update)功能、由管理者特别管理的功能等,因此也可不一概地根据有无购买来判断功能的可利用。功能的购买处理例如由服务器16等外部装置来进行。可利用功能管理信息是用于对各用户可利用的功能进行管理的信息,例如是表示用于识别用户的用户识别信息、与表示此用户可利用的功能的功能信息(也可包含联动功能信息)的对应的信息。用户可利用的功能如上所述,例如是无偿提供给用户的功能或用户购买的功能等,既可为单个的功能,也可为联动功能。用户识别信息例如是用户id或姓名等用户账户(account)信息。通过参照可利用功能管理信息,从而确定(识别)各用户可利用的功能。可利用功能管理信息例如也可每当对用户提供功能时(例如每当无偿或有偿地对用户提供功能时)得到更新。在管理有用户可利用的功能的情况下,确定部28也可接受用于识别用户的用户识别信息,并在可利用功能管理信息(例如存储在终端装置10或服务器16中的信息)中,确定表示与所述用户识别信息对应的各功能的功能信息。由此,来确定(识别)所述用户可利用的功能。控制部26既可使与所确定的功能相关的信息显示于ui部20的显示部,也可使所述信息作为语音信息而发出。例如,确定部28接受设备识别信息与用户识别信息,在机器功能管理信息中,确定表示与所述设备识别信息对应的功能的功能信息,进而,在可利用功能管理信息中,确定表示与所述用户识别信息对应的功能的功能信息。由此,确定由所述设备识别信息所确定的机器所具有的功能、且由所述用户识别信息所确定的用户可利用的功能。另外,用户可利用的功能也可由服务器16等外部装置来确定。此时,从终端装置10向服务器16发送用户识别信息,由服务器16中所设的确定部28,来确定表示与所述用户识别信息对应的各功能的功能信息。当由服务器16进行确定处理时,可利用功能信息存储在服务器16中。与用户可利用的各功能相关的信息既可从服务器16发送至终端装置10而显示于ui部20的显示部,也可作为语音信息而发出。以下,参照图3来详细说明机器12的结构。作为一例,设机器12为图像形成装置。以下,有时将机器12称作图像形成装置12。图3中表示了图像形成装置12的结构。通信部30为通信接口,具有向其他装置发送数据的功能、以及从其他装置接收数据的功能。通信部30既可为具有无线通信功能的通信接口,也可为具有有线通信功能的通信接口。通信部30例如也可支持一种或多种通信方式,依照适合于通信对方的通信方式(即,通信对方所支持的通信方式)来与通信对方进行通信。通信方式例如为红外线通信、可见光通信、wi-fi通信、接近式无线通信等。通信部30例如既可根据通信对方来切换通信方式或频带,也可根据周围环境来切换通信方式或频带。图像形成部32具有图像形成功能。具体而言,图像形成部32具有扫描功能、打印功能、复印功能及传真(facsimile)功能中的至少一个功能。通过执行扫描功能,读取原稿而生成扫描数据(图像数据)。通过执行打印功能,在纸张等记录介质上打印图像。通过执行复印功能,读取原稿并打印到记录介质上。通过执行传真功能,对图像数据进行传真发送或传真接收。而且,也可执行利用多个功能的联动功能。例如,也可执行将扫描功能与发送功能(转发功能)予以组合的扫描转发功能。通过执行所述扫描转发功能,读取原稿而生成扫描数据(图像数据),并将所述扫描数据发送至发送目标(例如终端装置10等外部装置)。当然,所述联动功能不过是一例,也可执行其他联动功能。存储部34是硬盘或存储器(例如ssd等)等存储装置。在存储部34中,例如存储表示图像形成命令的信息(例如作业(job)信息等)、成为打印对象的图像数据、通过执行扫描功能而生成的扫描数据、表示其他机器的地址的机器地址信息、表示终端装置10的地址的信息(终端地址信息)、服务器16的服务器地址信息、各种控制数据、各种程序等。当然,它们既可存储在不同的存储装置中,也可存储在一个存储装置中。ui部36为用户接口部,包含显示部与操作部。显示部例如为液晶显示器等显示装置。操作部例如为触控面板或键盘等输入装置。当然,也可为兼作显示部与操作部的用户接口(例如包含触控式显示器、或在显示器上显示电子键盘等的装置等)。另外,图像形成装置12也可不具有ui部36,还可不具备显示部而具备作为硬件的硬件用户接口部(硬件ui部)。硬件ui部例如为专用于数字输入的硬件键(例如数字键)、专用于方向指示的硬件键(例如方向指示键)等。控制部38控制图像形成装置12的各部的动作。以下,参照图4来详细说明服务器16的结构。图4中表示了服务器16的结构。通信部40为通信接口,具有对其他装置发送数据的功能、及从其他装置接收数据的功能。通信部40既可为具有无线通信功能的通信接口,也可为具有有线通信功能的通信接口。存储部42为硬盘或存储器(例如ssd等)等存储装置。在存储部42中,例如存储有各种数据、各种程序、终端装置10的终端地址信息、各机器的机器地址信息、服务器16的服务器地址信息等。当然,它们既可存储在不同的存储装置中,也可存储在一个存储装置中。当由服务器16对各机器所具有的功能与联动功能进行管理时,也可将所述机器功能管理信息与联动功能管理信息存储在存储部42中,且在服务器16中,对机器功能管理信息与联动功能管理信息进行更新。当由终端装置10进行功能的确定处理时,将机器功能管理信息与联动功能管理信息(若信息得到更新,则将更新后的信息)从服务器16发送至终端装置10。所述发送也可定期、或在指定的时机进行。由此,存储在终端装置10中的信息得到更新。当然,终端装置10的确定部28也可参照存储在服务器16中的机器功能管理信息或联动功能管理信息,从而确定机器所具有的功能或联动功能。而且,也可由服务器16来执行功能的确定处理。控制部44控制服务器16的各部的动作。控制部44例如控制通信部40的通信。控制部44也可执行功能的购买处理,对所述购买的历史进行管理。例如,当由用户购买了收费功能时,控制部44也可对此用户适用记账处理。而且,控制部44例如也可执行文字识别功能、翻译功能、图像加工功能、图像形成功能等与图像处理相关的功能。当然,控制部44也可执行与图像处理以外的处理相关的功能。通过执行文字识别功能,识别图像内的文字而生成表示所述文字的文字数据。通过执行翻译功能,将图像内的文字翻译成以特定语言表示的文字,并生成表示所翻译的文字的文字数据。通过执行图像加工功能,对图像进行加工。控制部44例如也可从图像形成装置12接收通过执行扫描功能而生成的扫描数据,并将所述扫描数据作为对象,来执行文字识别功能、翻译功能、图像加工功能等与图像处理相关的功能。控制部44也可从终端装置10接收图像数据,并将所述图像数据作为对象来执行各功能。由控制部44所生成的文字数据或图像数据例如从服务器16发送至终端装置10。服务器16被用作外部装置,联动功能也可为利用包含服务器16的多个机器所具有的功能的功能。如上所述,机器功能管理信息也可存储在服务器16的存储部42中。此时,机器功能管理信息也可不存储在终端装置10的存储部24中。同样,联动功能管理信息也可存储在服务器16的存储部42中。此时,联动功能管理信息也可不存储在终端装置10的存储部24中。服务器16的控制部44也可具有所述确定部28,基于设备识别信息来识别机器,以确定机器所具有的功能,还可确定可利用多个功能来执行的联动功能。此时,终端装置10也可不具有确定部28。当制作有可利用功能管理信息时,所述可利用功能管理信息也可存储在服务器16的存储部42中。此时,可利用功能管理信息也可不存储在终端装置10的存储部24中。终端装置10的控制部26也可对用户的功能购买历史进行管理。此时,服务器16的控制部44也可不具有所述管理功能。作为又一例,也可在机器12、14等机器中存储机器功能管理信息或联动功能管理信息,机器12、14等机器也可具有确定部28。即,确定部28的处理既可在终端装置10中进行,也可在机器12、14等机器中进行,还可在服务器16中进行,进而还可在其他装置中进行。第1实施方式中,作为一例,通过适用增强现实(augmentedreality,ar)技术(扩展现实技术),从而获取设备识别信息以识别机器。例如,通过适用ar技术,从而获取单独使用的机器的设备识别信息以识别所述机器,而且,获取联动对象机器的设备识别信息以识别联动对象机器。作为ar技术,使用公知的ar技术。例如,采用使用二维条形码(barcode)等标记(marker)的标记型ar技术、使用图像识别技术的无标记(markerless)型ar技术、使用位置信息的位置信息ar技术等。当然,也可不适用ar技术而获取设备识别信息来识别机器。例如,若是连接于网络的机器,则也可基于网际协议(internetprotocol,ip)地址来识别机器,还可读出机器id来识别机器。进而,当使用具有红外线通信、可见光通信、wi-fi、蓝牙(bluetooth)等各种无线通信功能的机器或终端装置时,也可通过利用无线通信功能来获取机器的id以识别机器。以下,参照图5来详细说明设备识别信息的获取处理。作为一例,对获取图像形成装置12的设备识别信息的情况进行说明。图5中示意性地表示了图像形成装置12的外观。此处,对用于适用标记型ar技术来获取设备识别信息的处理进行说明。在图像形成装置12的框体上,设有二维条形码等标记46。标记46是对图像形成装置12的设备识别信息进行编码所得的信息。用户启动终端装置10的摄像机22,通过摄像机22对作为利用对象的图像形成装置12上所设的标记46进行拍摄。由此,生成表示标记46的图像数据。终端装置10的控制部26通过对所述图像数据中表示的标记图像适用解码处理而提取设备识别信息。由此,来识别作为利用对象的图像形成装置12(具有所拍摄的标记46的图像形成装置12)。终端装置10的确定部28在机器功能管理信息中,确定表示与所提取的设备识别信息对应的功能的功能信息。由此,来确定(识别)作为利用对象的图像形成装置12所具有的功能。另外,服务器16的控制部44也可通过对表示标记46的图像数据适用解码处理,从而提取设备识别信息。此时,将图像数据从终端装置10发送至服务器16,在服务器16中对所述图像数据适用解码处理。当在服务器16中设有确定部28时,也可在服务器16中确定与设备识别信息对应的功能。标记46也可对表示图像形成装置12所具有的功能的功能信息进行编码而包含。此时,通过对表示标记46的图像数据适用解码处理,从而提取所述图像形成装置12的设备识别信息,并且,也提取表示所述图像形成装置12所具有的功能的功能信息。由此,来确定(识别)图像形成装置12,并且确定(识别)所述图像形成装置12所具有的功能。所述解码处理既可由终端装置10来进行,也可由服务器16来进行。当执行利用多个机器所具有的功能的联动功能时,通过拍摄联动对象的各机器的标记,从而获取各机器的设备识别信息,由此来确定(识别)联动功能。当适用无标记型ar技术而获取设备识别信息时,例如用户通过终端装置10的摄像机22,来拍摄利用对象机器(例如图像形成装置12)的外观的全部或一部分。当然,有用的是:可从外观拍摄而获得利用对象机器的名称(例如商品名)、型号或资产管理编号等用于确定机器的信息。通过拍摄,生成表示利用对象机器的外观的全部或一部分的外观图像数据。终端装置10的控制部26基于所述外观图像数据来识别利用对象机器。例如,在终端装置10的存储部24中,针对每个机器而存储有外观图像对应信息,所述外观图像对应信息表示:表示机器外观的全部或一部分的外观图像数据、与所述机器的设备识别信息的对应。控制部26例如将外观图像数据、与外观图像对应信息中所含的各外观图像数据进行比较,基于其比较结果来确定利用对象机器的设备识别信息。例如,控制部26从外观图像数据中提取利用对象机器的外观特征,并在外观图像对应信息中所含的外观图像数据群中,确定表示与此外观的特征相同或类似的特征的外观图像数据,并确定与所述外观图像数据对应的设备识别信息。由此,来识别利用对象机器(由摄像机22所拍摄的机器)。作为另一例,当拍摄机器的名称(例如商品名)或型号,并生成表示名称或型号的外观图像数据时,也可基于所述外观图像数据中所示的名称或型号来识别利用对象机器。终端装置10的确定部28在机器功能管理信息中,确定表示与所确定的设备识别信息对应的各功能的功能信息。由此,来确定利用对象机器(例如图像形成装置12)所具有的功能。另外,服务器16的控制部44也可将表示利用对象机器(例如图像形成装置12)的外观的全部或一部分的外观图像数据、与外观图像对应信息中所含的各外观图像数据予以比较,并基于其比较结果来确定利用对象机器的设备识别信息。外观图像对应信息是存储在服务器16的存储部42中。此时,服务器16的控制部44通过参照外观图像对应信息,来确定利用对象机器的设备识别信息。当执行利用多个机器所具有的多个功能的联动功能时,通过拍摄联动对象的各机器的外观的全部或一部分,从而获取各机器的设备识别信息,由此来确定(识别)联动功能。当适用位置信息ar技术来获取设备识别信息时,例如,通过利用例如全球定位系统(globalpositioningsystem,gps)功能,来获取表示设置有机器(例如图像形成装置12)的位置的位置信息。例如,各机器具备gps功能,获取表示机器自身位置的设备位置信息。终端装置10对利用对象机器输出表示设备位置信息的获取请求的信息,并从所述机器接收所述机器的设备位置信息,以作为针对所述获取请求的应答。终端装置10的控制部26基于所述设备位置信息来识别利用对象机器。例如,在终端装置10的存储部24中,针对每个机器而存储有位置对应信息,所述位置对应信息表示:表示设置有机器的位置的设备位置信息、与所述机器的设备识别信息的对应。控制部26在所述位置对应信息中,确定与设备位置信息对应的设备识别信息。由此,来确定(识别)利用对象机器。终端装置10的确定部28在机器功能管理信息中,确定表示与所确定的设备识别信息对应的各功能的功能信息。由此,来确定(识别)利用对象机器(例如图像形成装置12)所具有的功能。另外,服务器16的控制部44也可在位置对应信息中,确定与利用对象机器的位置信息对应的设备识别信息。位置对应信息是存储在服务器16的存储部42中。此时,服务器16的控制部44通过参照位置对应信息,来确定利用对象机器的设备识别信息。当执行利用多个机器的联动功能时,获取联动对象的各机器的设备位置信息,并基于各设备位置信息来确定各机器的设备识别信息。由此,来确定(识别)联动功能。另外,也可使用多个识别技术来识别机器。例如,也可使用从标记型ar技术、无标记型ar技术及位置信息ar技术中选择的多个技术来识别机器。而且,若通过某识别技术无法识别机器,则也可使用其他识别技术来识别机器。例如,若通过标记型ar技术或无标记型ar技术无法识别机器,则也可使用位置信息ar技术来识别机器。以下,进一步详细说明第1实施方式的机器系统。参照图6来详细说明机器功能管理信息。图6中表示了作为机器功能管理信息的机器功能管理表的一例。在机器功能管理表中,作为一例,机器id、表示机器名(例如机器的种类)的信息、表示机器所具有的功能的信息(功能信息)与图像id彼此对应。机器id与机器名相当于设备识别信息的一例。图像id是用于对与机器关联的机器图像进行识别的图像识别信息的一例。另外,在机器功能管理表中,也可不含图像id。例如,机器id为“b”的机器是多功能一体机(具有多个图像形成功能的图像形成装置),具有打印功能或扫描功能等功能。对于所述机器,对应有用于对与此机器关联的机器图像进行识别的图像id。与机器关联的机器图像的数据例如既可存储在终端装置10中,也可存储在服务器16中,还可存储在其他装置中。例如,通过适用ar技术,获取用于识别利用对象机器的机器id。终端装置10的确定部28通过参照机器功能管理表,来确定与所述机器id对应的机器名、功能及图像id。由此,来识别利用对象机器。将表示机器名的信息或机器图像显示于ui部20的显示部。当然,也可将由摄像机22所拍摄的图像其自身显示于ui部20的显示部。而且,当在ui部20中,由用户指定了与机器关联的机器图像(例如由摄像机22所拍摄的图像、或示意性地表示机器的图像)时,也可将与此机器所具有的功能相关的信息(例如功能信息或功能的说明信息等)显示于ui部20的显示部。以下,参照图7来详细说明联动功能管理信息。图7中表示了作为联动功能管理信息的联动功能管理表的一例。在联动功能管理表中,作为一例,机器id的组合、表示联动对象机器名(例如各机器的种类)的信息、与表示联动功能的信息(联动功能信息)彼此对应。例如,机器id为“a”的机器是pc(个人计算机(personalcomputer)),机器id为“b”的机器是多功能一体机。通过使pc(a)与多功能一体机(b)联动,作为联动功能,例如实现“扫描转发功能”或“打印功能”。“扫描转发功能”是将通过多功能一体机(b)的扫描而生成的图像数据转发给pc(a)的功能。“打印功能”是将保存在pc(a)中的数据(例如图像数据或文档数据)发送至多功能一体机(b)并通过多功能一体机(b)进行打印的功能。另外,也可规定通过利用三个以上的机器而可执行的联动功能。此时,三个以上的机器的组合与联动功能相对应,所述对应被登记在联动功能管理表中。以下,举具体例来详细说明终端装置10的动作。图8中表示了显示于终端装置10的画面的一例。终端装置10的控制部26使ui部20的显示部显示画面48,并使此画面48上显示各种信息。在画面48上,作为一例,显示有与操作助理关联的助理图像50。操作助理例如具有通过人工智能来与用户进行对话的功能。例如,当用户使用ui部20来通过文字输入或语音输入而输入信息时,操作助理分析所述信息,并输出其分析结果。所述分析结果既可作为字符串或图像而显示于ui部20,也可作为语音而发出。例如,当用户使用ui部20来进行询问时,操作助理对所述询问内容进行分析,并输出作为其分析结果的回答。操作助理既可利用国际互联网(internet)等来检索信息,并对此检索结果进行分析,还可获取与机器12、14相关的信息,并对此信息进行分析。所述分析结果也可反映到针对来自用户的询问的回答中。而且,操作助理也可管理用户对各种应用程序的利用历史、用户对终端装置10的操作历史、用户对机器12、14的利用历史等。而且,操作助理也可通过与保存在其他装置中的其他操作助理之间进行通信,而从其他操作助理获取信息。而且,在画面48上显示有机器图像52、54。机器图像52是与作为机器的多功能一体机b(图像形成装置)关联的图像,机器图像54是与作为机器的pc(a)关联的图像。pc(a)与多功能一体机b是通过利用所述ar技术(标记型ar技术、无标记型ar技术或位置信息ar技术)或其他识别技术,而由确定部28予以识别的机器。当如此般识别出机器时,控制部26使与机器关联的图像显示于画面48。例如,与识别过一次的机器相关的信息存储在存储部24中,随后,即使不重新进行针对所述机器的识别处理,仍将与所述机器关联的图像显示于画面48上。当然,也可通过用户的操作来从存储部24中删除与所识别的机器相关的信息。此时,与所述机器关联的图像也被删除。作为另一例,也可在利用所识别的机器来执行联动功能后、或从识别出机器的时间点开始经过预定时间后,从存储部24中删除与所述所识别的机器相关的信息。机器图像52既可为由摄像机22拍摄多功能一体机b而生成的图像(既可为具有拍摄时的尺寸的图像,也可为经放大或缩小的图像),也可为与多功能一体机b关联的示意性的图像(例如图标)。对于机器图像54也同样,既可为通过拍摄pc(a)而生成的图像,也可为与pc(a)关联的示意性的图像。另外,当利用通过拍摄机器而生成的图像数据时,当前的机器其自身的外观(例如反映出瑕疵、便利贴、粘贴在机器上的贴画(seal)等的外观)将反映在图像中,因此有下述效果,即,对于用户而言,可通过视觉来知晓与其他的同种机器的差异。在使用示意性的图像的情况下,确定部28通过参照图6所示的机器功能管理表,来确定与所识别的机器关联的示意性的图像。所述示意性图像的数据是作为机器图像52、54而显示于画面48。示意性的图像数据既可存储在终端装置10中,也可存储在服务器16等外部装置中。而且,当识别有机器时,也可将表示所述机器名称的信息显示于画面48。图8所示的示例中,作为所述名称,显示有字符串“多功能一体机b”与字符串“pc(a)”。当用户将多个机器的信息发送至操作助理时,确定部28在图7所示的联动功能管理表中,确定与所述多个机器对应的联动功能。控制部26使与所述联动功能相关的信息显示于ui部20。例如,当用户在画面48上如箭头56所示般将机器图像52连接至助理图像50,进而,如箭头58所示般将机器图像54连接至助理图像50时,确定部28(通过操作助理而实现的确定部28)将与机器图像52关联的多功能一体机b和与机器图像54关联的pc(a)识别为联动对象机器。另外,既可先将机器图像52连接至助理图像50,随后将机器图像54连接至助理图像50,也可先将机器图像54连接至助理图像50,随后将机器图像52连接至助理图像50。例如,通过用户在画面48上利用指示器(例如用户的手指、笔、指示笔(stylus)等)将图像(所述示例中为机器图像52、54)绘描(例如通过触摸图像来绘描)至其他图像(所述示例中为助理图像50),从而将图像连接至其他图像。控制部26探测指示器对画面48的接触,并探测指示器在画面48上的移动。如上所述,当将机器图像52、54连接至助理图像50而将多功能一体机b与pc(a)识别为联动对象机器时,确定部28在图7所示的联动功能管理表中,确定跟pc(a)与多功能一体机b的组合对应的联动功能(例如“扫描转发功能”与“打印功能”)。由此,来确定可利用pc(a)与多功能一体机b来执行的联动功能。“扫描转发功能”是将通过多功能一体机b的扫描而生成的图像数据转发至pc(a)的功能。“打印功能”是将存储在pc(a)中的图像数据转发至多功能一体机b并通过多功能一体机b进行打印的功能。与如此般确定的联动功能相关的信息显示于ui部20。另外,机器或联动功能的确定处理也可由服务器16来进行。当如上所述般确定了联动功能时,例如,如图9所示,终端装置10的控制部26使画面60显示于ui部20,并使与联动功能相关的信息显示于所述画面60。控制部26也可使连接至助理图像50的呈气球状形状的图像62显示于画面60,以使得看起来如同是操作助理发表与联动功能相关的信息一般。与联动功能相关的信息被显示于所述图像62内。例如,当用户在画面60上指定作为执行对象的联动功能,并将所述执行指示给予至操作助理时,操作助理接受所述执行指示,并将表示所述执行指示的信息(执行指示信息)发送至联动对象机器。用户通过文字输入或语音输入来对操作助理给予执行指示。作为另一例,也可在画面60上显示用于指示联动功能的执行的按钮(button)图像,用户通过按下所述按钮图像来给予联动功能的执行指示。当选择了pc(a)与多功能一体机b来作为联动对象机器时,将执行指示信息发送至pc(a)与多功能一体机b。收到执行指示信息的pc(a)与多功能一体机b执行所述执行指示信息所示的联动功能(由用户所指定的联动功能)。例如,当给予有“打印功能”的执行指示以作为联动功能时,pc(a)将作为打印对象的图像数据发送至多功能一体机b,多功能一体机b将所述图像数据打印到作为记录介质的纸张上。另外,当通过标记型ar技术或无标记型ar技术来识别作为联动对象的各机器时,所述各机器既可独立地拍摄而识别,也可一起拍摄而识别。例如,在摄像机22的拍摄区域中包含多功能一体机b的状态下拍摄多功能一体机b,接下来,在摄像机22的拍摄区域中包含pc(a)的状态下拍摄pc(a),由此来依次识别多功能一体机b与pc(a)。作为联动对象的各机器未必配置在彼此靠近的位置而多功能一体机b与pc(a)这两者一起包含在摄像机22的拍摄区域中。也有时可通过拍摄区域的角度(angle)变更、拍摄区域的放大或缩小等来应对,但也有时此种操作无法完全应对。此时,通过多次拍摄来识别各机器。作为另一例,也可将联动对象机器预先设定为基本联动机器。例如设为:多功能一体机b被预先设定为基本联动机器。基本联动机器的设备识别信息也可预先存储在终端装置10的存储部24中。用户也可利用ui部20来指定基本联动机器。当设定有基本联动机器时,用户将与基本联动机器以外的联动对象机器关联的图像连接至助理图像。由此,来确定(识别)联动对象机器,并确定(识别)可利用基本联动机器与所述机器来执行的联动功能。以下,对执行联动功能时的动作进行说明。例如,当执行联动功能时,从终端装置10对作为联动对象的各机器发送连接请求,终端装置10与各机器相连接。以下,参照图10来说明此连接处理。图10是表示此处理的序列图。在终端装置10中,当由用户指定了多功能一体机b与pc(a)作为联动对象机器时(即,当将与多功能一体机b关联的图像和与pc(a)关联的图像发送给操作助理时),终端装置10将表示连接请求的信息发送至联动对象机器(多功能一体机b与pc(a))(s01)。所述发送的控制也可由操作助理来进行。例如,当在服务器16中存储有联动对象的各机器的地址信息时,终端装置10从服务器16获取各机器的地址信息。当设备识别信息中含有地址信息时,终端装置10的控制部26从各机器的设备识别信息获取地址信息。地址信息的获取处理也可由操作助理来进行。当然,也可在终端装置10的存储部24中存储各机器的地址信息。终端装置10也可通过其他方法来获取各机器的地址信息。终端装置10使用作为联动对象的各机器(例如多功能一体机b与pc(a))的地址信息,将表示连接请求的信息发送至作为联动对象的各机器。收到表示连接请求的信息的多功能一体机b与pc(a)判断与终端装置10的连接的允许或不允许(s02)。例如,在多功能一体机b与pc(a)相当于不允许连接的机器的情况下、或者相当于请求连接的装置数量超过上限的机器的情况下,则不允许连接。另外,在允许了来自终端装置10的连接的情况下,也可禁止变更操作,以免多功能一体机b与pc(a)各自的固有设定信息从终端装置10受到变更。例如,也可禁止多功能一体机b的色彩参数、或跳转至省电时的设定时间等的变更。由此,对于联动对象机器的安全性(security)提高。作为另一例,当使机器联动时,与不使所述机器联动而单独利用的情况相比,也可限制设定信息的变更。例如,与单独利用机器的情况相比,也可允许更少的设定项目的变更。而且,也可禁止运行历史之类的其他用户的个人信息的阅览。由此,对于用户个人信息的安全性提高。表示连接的允许或不允许的结果信息从多功能一体机b与pc(a)发送至终端装置10(s03)。当允许对多功能一体机b与pc(a)的连接时,在终端装置10与多功能一体机b之间建立通信,进而,在终端装置10与pc(a)之间建立通信。接下来,在终端装置10中,用户指示联动功能(例如“打印功能”)的执行(s04)。终端装置10根据所述指示,将表示联动功能的执行指示的信息(执行指示信息)发送至联动对象的各机器(多功能一体机b与pc(a))(s05)。所述发送的控制也可由操作助理来进行。在发送至多功能一体机b的执行指示信息中,包含表示由多功能一体机b来执行的处理的信息(例如作业(job)信息),在发送至pc(a)的执行指示信息中,包含表示由pc(a)来执行的处理的信息(例如作业信息)。收到执行指示信息的多功能一体机b与pc(a)依照执行指示信息来执行联动功能(例如“打印功能”)(s06)。当执行对象的联动功能中包含在多功能一体机b与pc(a)之间进行数据收发的处理时,在多功能一体机b与pc(a)之间建立通信。例如,在发送至多功能一体机b的执行指示信息中包含pc(a)的地址信息,在发送至pc(a)的执行指示信息中包含多功能一体机b的地址信息。使用这些地址信息,在多功能一体机b与pc(a)之间建立通信。所述通信建立后,pc(a)将作为打印对象的图像数据发送至多功能一体机b,多功能一体机b将所述图像数据打印到作为记录介质的纸张上。当联动功能的执行结束时,表示联动功能的执行完成的信息从多功能一体机b与pc(a)发送至终端装置10(s07)。在终端装置10的ui部20上,显示表示联动功能的执行已完成的信息(s08)。另外,若即使从给予执行指示的时间点经过了预先设定的时间仍未显示表示执行完成的信息,则终端装置10的控制部26也可使表示错误(error)的信息显示于ui部20,并再次将执行指示信息或表示连接请求的信息发送至多功能一体机b与pc(a)。接下来,用户确认是否解除多功能一体机b与pc(a)的联动状态(s09),并执行与解除的有无相应的处理(s10)。当解除联动状态时,用户利用终端装置10来给予解除指示。由此,终端装置10与多功能一体机b之间的通信解除,进而,终端装置10与pc(a)之间的通信解除。同样,多功能一体机b与pc(a)之间的通信也解除。若不解除联动状态,则也可继续给予执行指示。而且,也可增加联动对象机器。例如也可将与第3台机器关联的图像发送给操作助理,使包含多功能一体机b与pc(a)的三台机器联动。另外,将表示多功能一体机b与pc(a)已被识别为联动对象机器的信息存储在终端装置10或服务器16中。表示联动对象机器的设备识别信息、或表示所执行的联动功能的联动功能信息也可存储在终端装置10或服务器16等。例如,也可获取利用终端装置10的用户的用户账户(account)信息(用户识别信息),制作历史信息,并存储在终端装置10或服务器16等中,所述历史信息表示所述用户账户信息、表示联动对象机器的设备识别信息、与表示所执行的联动功能的联动功能信息的对应。历史信息既可由终端装置10来制作,也可由服务器16来制作。通过参照历史信息,来确定哪种联动功能是使用哪种机器群来执行。另外,联动对象机器(例如多功能一体机b与pc(a))也可将请求连接的用户的用户账户信息、或表示连接请求源的终端装置10的终端识别信息存储为历史信息。通过参照所述历史信息来确定利用机器的用户。例如,在确定机器损坏时使用所述机器的用户的情况下、或在对于耗材等进行核款处理的情况等下,也可活用历史信息来确定用户。历史信息既可存储在终端装置10或服务器16中,也可存储在其他装置中。用户账户信息例如预先存储在终端装置10的存储部24中,终端装置10的控制部26作为用户识别部件的一例发挥功能,从存储部24中读取用户的用户账户信息,以识别使用终端装置10的用户。当在存储部24中存储有多个用户的用户账户信息时,用户使用终端装置10来指定自身的用户账户信息。由此,来读取所述用户的用户账户信息,识别所述用户。作为另一例,终端装置10的控制部26也可通过读取登录(login)到终端装置10的用户的用户账户信息来识别用户。作为又一例,当在同一终端装置10中仅存储有一个用户账户信息时,终端装置10的控制部26也可通过读取此用户账户信息来识别用户。另外,在未设定用户账户而未制作用户账户信息的情况下,进行初始设定,由此来制作用户账户信息。也可针对每个用户来管理联动功能的利用历史,将表示由所读取的用户账户信息所表示的用户在过去所利用的联动功能的信息显示于终端装置10的ui部20。所述表示利用历史的信息既可存储在终端装置10中,也可存储在服务器16中。而且,也可显示表示利用频率为预先设定的利用频率以上的联动功能的信息。通过设置此种快捷方式(shortcut)功能,从而减轻与联动功能相关的用户操作的麻烦。如上所述,根据第1实施方式,通过将与成为联动对象的机器关联的机器图像发送给操作助理(例如通过将机器图像连接至助理图像50),由此来提供与联动功能相关的信息。如此,通过利用操作助理的简便操作,来提供与联动功能相关的信息。另外,当将三个以上的机器图像发送给助理图像50时,显示与可利用三个以上的机器来执行的联动功能相关的信息。另外,确定部28也可在预定的限制时间内将多个机器的信息发送给操作助理时,确定可利用所述多个机器来执行的联动功能,当在所述限制时间内将一个机器的信息发送给操作助理时,确定所述机器所具有的功能(单独功能)。此时,将与由确定部28所确定的联动功能或单独功能相关的信息显示于ui部20的显示部。限制时间的开始时间点例如是将最初的机器图像连接至助理图像50的时间点。例如,图8所示的示例中,当用户从将与多功能一体机b关联的机器图像52连接至助理图像50的时间点开始在限制时间内未将其他机器图像连接至助理图像50时,确定部28在图6所示的机器功能管理表中,确定与多功能一体机b对应的功能(单独功能)。控制部26使与所述单独功能相关的信息显示于ui部20的显示部。此时,与图10所示的处理同样,当对多功能一体机b发送了表示连接请求的信息而允许连接时,由多功能一体机b来执行由用户所指定的单独功能。另一方面,当用户从将机器图像52连接至助理图像50的时间点开始在限制时间内将其他机器图像(例如机器图像54)连接至助理图像50时,确定部28在图7所示的联动功能管理表中,确定跟多功能一体机b与pc(a)的组合对应的联动功能。控制部26使与所述联动功能相关的信息显示于ui部20。如上所述,通过设置限制时间,可切换联动功能或单独功能的提供。(变形例1)以下,参照图11来说明变形例1。图11中表示了画面48。在画面48上,与图8同样地,显示有助理图像50与机器图像52、54。当用户在画面48上如箭头64所示,使机器图像52移动至助理图像50而将机器图像52重合于助理图像50时,确定部28(通过操作助理而实现的确定部28)将与机器图像52关联的多功能一体机b识别为联动对象机器。同样,当用户在画面48上如箭头66所示,将机器图像54重合于助理图像50时,确定部28将与机器图像54关联的pc(a)识别为联动对象机器。此时,与所述同样,确定部28在联动功能管理表中,确定跟多功能一体机b与pc(a)的组合对应的联动功能。与所确定的联动功能相关的信息如图9所示般显示于ui部20的显示部。另外,既可先将机器图像52重合于助理图像50,随后将机器图像54重合于助理图像50,也可先将机器图像54重合于助理图像50,随后将机器图像52重合于助理图像50。例如,通过用户使用指示器来进行拖拽和拖放操作,从而将机器图像重合于助理图像50。图11所示的示例中,用户对机器图像52进行拖拽操作(以虚线所示的机器图像52),并在重合于助理图像50的位置对机器图像52进行拖放操作。另外,也可根据用户的语音指示来进行重合操作。而且,确定部28也可在限制时间内有多个机器图像被重合于助理图像50时,确定可利用与所述多个机器图像各自关联的机器来执行的联动功能,而在限制时间内有一个机器图像重合于助理图像50时,确定与所述机器图像关联的机器所具有的功能(单独功能)。限制时间的开始时间点是最初的机器图像重合于助理图像50的时间点。例如图11所示的示例中,当用户从将与多功能一体机b关联的机器图像52重合于助理图像50的时间点开始在限制时间内未将其他机器图像重合于助理图像50时,确定部28在图6所示的机器功能管理表中,确定与多功能一体机b对应的功能(单独功能)。控制部26使与所述单独功能相关的信息显示于ui部20的显示部。此时,与图10所示的处理同样地,当对多功能一体机b发送了表示连接请求的信息而允许连接时,由多功能一体机b来执行由用户所指定的单独功能。另一方面,当用户从将机器图像52重合于助理图像50的时间点开始在限制时间内将其他机器图像(例如机器图像54)重合于助理图像50时,确定部28在图7所示的联动功能管理表中,确定跟多功能一体机b与pc(a)的组合对应的联动功能。控制部26使与所述联动功能相关的信息显示于ui部20。当有多个机器图像重合于助理图像50时,终端装置10的控制部26也可生成表示所述多个机器图像彼此重合的状态的新的合成图像。例如,如图11所示,当机器图像52、54以此顺序重合于助理图像50时,如图12所示,显示通过对机器图像52、54进行编组(grouping)而生成的新的合成图像68。合成图像68例如是由终端装置10的控制部26所生成。合成图像68是表示机器图像54重合于机器图像52上的状态的图像。合成图像68既可为直接表示机器图像54重合于机器图像52上的状态的图像,也可为示意性地表示此状态的图像(例如图标)。另外,即使在生成有合成图像68的情况下,也可将原本的机器图像52、54保持其状态而显示。另外,当以机器图像54、52的顺序而将各机器图像重合于助理图像50时,生成表示机器图像52重合于机器图像54上的状态的合成图像。当如上所述般生成有合成图像68时,终端装置10的控制部26使合成图像68保留在画面48上而显示。当所述合成图像68重合于助理图像50,进而有其他机器图像重合于助理图像50时,将与合成图像68关联的多个机器和与所述其他机器图像关联的机器识别为联动对象机器。例如设为:如图13所示,识别出显示器d,在画面48上显示有与所述显示器d关联的机器图像70。当合成图像68通过用户的操作而重合于助理图像50,进而,机器图像70通过用户的操作而重合于助理图像50时,确定部28将与合成图像68关联的多功能一体机b与pc(a)识别为联动对象机器,进而,将与机器图像70关联的显示器d识别为联动对象机器。此时,确定部28在图7所示的联动功能管理表中,确定跟pc(a)与多功能一体机b与显示器d的组合对应的联动功能。与所述联动功能相关的信息显示于ui部20的显示部。而且,生成表示在合成图像68上重合有机器图像70的状态的新的合成图像而予以显示。如上所述,显示合成图像,将所述合成图像重合于助理图像50,进而将其他机器图像重合于助理图像50,由此,可使联动的机器增加。而且,由于合成图像表示了联动对象机器重合的状态,因此通过显示合成图像,对于用户而言,容易在视觉上了解哪种机器被指定为联动对象机器。所述合成图像也可被用作下次以后执行联动功能时的快捷方式用图像。例如,当用户使用终端装置10来给予将合成图像登记为快捷方式用图像的指示时,将所述登记用画面显示于ui部20的显示部。在所述登记画面上,显示合成图像,并且显示下述信息,所述信息表示可利用作为联动对象的多个机器来执行的联动功能的登记内容。例如,将表示联动功能名、联动功能的概要、及联动所需的机器的信息作为表示登记内容的信息予以显示。用户也可使用终端装置10来编辑登记内容(例如联动功能名、联动功能的概要等)。当用户在登记画面上给予登记指示时,将合成图像登记为快捷方式用图像。而且,当由用户来编辑登记内容时,所述编辑内容也关联于合成图像而登记。生成作为合成图像的快捷方式用图像并显示于ui部20的显示部。快捷方式用图像例如是由终端装置10的控制部26所生成。当生成多个快捷方式用图像并予以登记时,也可在ui部20的显示部上显示快捷方式用图像的一览。另外,快捷方式用图像与表示登记内容的信息存储在终端装置10中。作为另一例,快捷方式用图像与表示登记内容的信息也可关联于用户账户信息而存储在服务器16中。此时,当用户账户信息从终端装置10发送至服务器16时,将与所述用户账户信息关联的信息(快捷方式用图像与表示登记内容的信息)从服务器16发送至终端装置10而予以显示。另外,在快捷方式用图像中,也可针对每个联动对象机器而包含表示机器状态(status)的信息(例如图像等)。例如,当联动对象机器为可执行联动功能的状态时,将表示此意旨的图像(例如绿色或蓝色的图像)作为表示状态的信息予以显示。当联动对象机器并非可执行联动功能的状态时,将表示此意旨的图像(例如白色或红色的图像)作为表示状态的信息予以显示。所谓可执行联动功能的状态,例如是指当前机器未被使用的状态、未发生故障的状态等。所谓无法执行联动功能的状态,例如是指机器正在被使用的状态、发生了故障的状态等。例如,操作助理从联动对象机器获取表示联动对象机器的状态的信息,并基于此信息来显示状态信息。信息的获取也可由服务器16来进行。在终端装置10的ui部20显示有快捷方式用图像的情况下,当用户指定快捷方式用图像来指示联动功能的执行时(例如当用户单击(click)或双击(doubleclick)快捷方式用图像时),既可显示表示与所述快捷方式用图像关联的联动功能的信息,也可控制所述联动功能的执行。而且,当用户将快捷方式用图像重合于助理图像50时、或者将快捷方式用图像连接至助理图像50时,既可显示表示与所述快捷方式用图像关联的联动功能的信息,也可控制所述联动功能的执行。如上所述,通过将联动功能与快捷方式用图像相关联地进行管理,从而减轻下次以后用于执行联动功能的用户的操作负担。另外,作为另一操作例,也可由用户选择多个机器图像(例如,通过进行在画面上圈住多个机器图像的操作来选择所述多个机器图像),并将所述多个机器图像统一连接或重合于助理图像50。通过此种操作,也将与所述多个机器图像各自关联的机器识别为联动对象机器。(变形例2)以下对变形例2进行说明。变形例2中,与变形例1同样地,通过将机器图像重合于助理图像50,从而将与所述机器图像关联的机器识别为联动对象机器。变形例2中,当由用户进行将机器图像重合于助理图像50的操作时,控制部26执行将机器图像吸入助理图像50中的显示特效。图14中表示了此显示例。例如当用户在画面48上如箭头72所示,对机器图像52进行拖拽操作而使其靠近助理图像50时,控制部26使机器图像52的形状发生变形,从而生成例如一部分朝向助理图像50伸展的机器图像74而显示于画面48。机器图像74例如具有朝向助理图像50变尖的形状。例如,当在使机器图像52朝向助理图像50移动的状态下,机器图像52与助理图像50之间的距离(画面48上的距离)达到预定的阈值以下时,控制部26通过使机器图像52变形而生成机器图像74。当用户使机器图像74进一步靠近助理图像50而使其重合于助理图像50上时,将与机器图像74关联的机器识别为联动对象机器,控制部26使机器图像74从画面48消失。即,控制部26执行机器图像74在显示有助理图像50的位置消失的特效。此时,控制部26进行机器图像74被吸入助理图像50中般的显示特效。另外,也可在将机器图像52重合于助理图像50上之后,使机器图像52显示于原本的位置。当然,也可在将机器图像52重合于助理图像50上之后,机器图像52不显示于画面48,而在联动功能的执行结束之后,将机器图像52显示于画面48。通过进行如上所述的特效,将由用户正在操作的机器图像发送给操作助理的样子在视觉上变得明确。而且,若在联动功能管理表中未登记与由用户所选择的多个机器的组合对应的联动功能,则确定部28判断为未登记可用的联动功能。此时,控制部26使表示未登记可用的联动功能的消息(message)显示于ui部20。此种情况下,根据机器的更新状况等,联动功能也有时会变得可用。此时,确定部28确定变得可用的联动功能。而且,控制部26在无法通过发送给操作助理的机器来执行联动功能的情况下,也可执行重新显示与所述机器关联的机器图像的特效。例如,如上所述,当将机器图像重合于助理图像50而在助理图像50的显示位置处消失时,若无法通过与所述机器图像关联的功能来执行联动功能,则控制部26执行重新显示所述机器图像的特效。此时,控制部26也可执行从助理图像50吐出与所述机器关联的机器图像的显示特效。图15中表示了此显示例。例如设为:用户在画面48上将机器图像76重合于助理图像50之后,将机器图像78重合于助理图像50。因所述重合,机器图像76、78在助理图像50的显示位置处消失。另外,机器图像76、78显示在移动源的位置处。若在联动功能管理表中未登记可利用与机器图像76关联的机器和与机器图像78关联的机器来执行的联动功能(与两机器的组合对应的联动功能),则控制部26执行使后来重合的机器图像78重新显示于助理图像50的显示位置的特效。此时,控制部26也可通过使后来重合的机器图像78的形状发生变形,从而生成如箭头80所示般,具有从助理图像50朝向外侧鼓出的形状的机器图像82并使其显示于画面48。控制部26使机器图像82移动至机器图像78的显示位置,随后使机器图像82从画面48消失。当然,控制部26也可不使机器图像78的形状发生变形,而进行使移动至助理图像50上的机器图像78从助理图像50弹回到原本的显示位置般的显示特效。对于机器图像76,也可进行同样的显示特效。通过进行如上所述的特效,无法执行联动功能的情况在视觉上变得明确。(变形例3)以下对变形例3进行说明。变形例3中,对与将机器的信息发送至操作助理的顺序相应的联动功能的显示进行控制。以下,参照图16至图18来详细说明此变形例3。图16中表示了变形例3的联动功能管理表的一例。所述联动功能管理表中,作为一例,表示机器id的组合的信息、表示联动对象机器名(例如各机器的种类)的信息、表示联动功能的信息(联动功能信息)、表示连接顺序的信息、表示优先顺位的信息彼此对应。机器id与机器名相当于设备识别信息的一例。另外,也可规定通过利用三个以上的机器而可执行的联动功能。此时,三个以上的机器的组合与联动功能相对应,并将所述对应登记在联动功能管理表中。连接顺序对应于机器的指定顺序,例如对应于将机器图像连接至助理图像50的顺序或重合于助理图像50的顺序。例如,当用户将多个机器图像依序连接或重合于助理图像50时,此顺序相当于连接顺序。具体而言,当用户先将第1机器图像连接至助理图像50,随后将第2机器图像连接至助理图像50时,与第1机器图像关联的第1机器的指定顺序为1号,与第2机器图像关联的第2机器的指定顺序为2号。而且,当用户先将第1机器图像重合于助理图像50,随后将第2机器图像重合于助理图像50时,与第1机器图像关联的第1机器的指定顺序为1号,与第2机器图像关联的第2机器的指定顺序为2号。优先顺位是与联动功能相关的信息的显示的优先顺位。例如,对于pc(a)与多功能一体机b的组合,作为联动功能而对应有“扫描转发功能”与“打印功能”。例如,当以多功能一体机b、pc(a)的顺序来将与各机器关联的机器图像连接或重合于助理图像50时,“扫描转发功能”的优先顺位成为“第1位”,“打印功能”的优先顺位成为“第2位”。此时,与“扫描转发功能”相关的信息相较与“打印功能”相关的信息而优先进行显示。例如,与“扫描转发功能”相关的信息相较与“打印功能”相关的信息而上位显示,或者先显示。与此相反,当以pc(a)、多功能一体机b的顺序来将与各机器关联的机器图像连接或重合于助理图像50时,“打印功能”的优先顺位成为“第1位”,“扫描转发功能”的优先顺位成为“第2位”。此时,与“打印功能”相关的信息相较与“扫描转发功能”相关的信息而优先显示。图17中表示了依照优先顺位的显示例。例如,当以多功能一体机b、pc(a)的顺序来将机器图像52、54连接或重合于助理图像50时,“扫描转发功能”的优先顺位成为“第1位”,“打印功能”的优先顺位成为“第2位”。因此,与“扫描转发功能”相关的信息相较与“打印功能”相关的信息而优先(例如上位)地显示。当由用户在画面60上指定联动功能并给予执行指示时,执行所指定的联动功能。图18中表示了依照优先顺位的另一显示例。例如,当以pc(a)、多功能一体机b的顺序来将机器图像52、54连接或重合于助理图像50时,“打印功能”的优先顺位成为“第1位”,“扫描转发功能”的优先顺位成为“第2位”。因此,与“打印功能”相关的信息相较与“扫描转发功能”相关的信息而优先(例如上位)地显示。如上所述,根据将与机器相关的信息发送至操作助理的顺序,来变更与联动功能相关的信息的显示顺位。机器的连接顺序(将机器的信息发送至操作助理的顺序)兼作在各机器中利用的功能的顺序、或在联动的机器间移动的数据的移动顺序,指定机器的操作兼作对功能的顺序或数据的移动顺序进行指定的操作。因此,通过根据连接顺序来改变与联动功能相关的信息的显示顺位,从而优先显示与预测为用户可能要利用的联动功能相关的信息。即,优先显示与用户利用的可能性高的联动功能相关的信息。例如,当以多功能一体机b、pc(a)的顺序来将与各机器关联的机器图像发送给助理图像50时,预测为用户将利用“在pc(a)之前先利用多功能一体机b的功能,从多功能一体机b向pc(a)转发数据”这一联动功能。而且,当以pc(a)、多功能一体机b的顺序来将与各机器关联的机器图像发送给助理图像50时,预测为用户将利用“在多功能一体机b之前先利用pc(a)的功能,从pc(a)向多功能一体机b转发数据”这一联动功能。因此,通过根据选择机器的顺序来改变与联动功能相关的信息的显示顺位,从而优先显示与用户利用的可能性高的联动功能相关的信息。(变形例4)以下对变形例4进行说明。变形例4中,对于与机器关联的机器图像内的每个部分分配有不同的功能。当由用户指定机器图像内的部分,并将此部分连接或重合于助理图像50时,显示与可利用分配给此部分的功能来执行的联动功能相关的信息。以下对变形例4进行详细说明。图19中表示了变形例4的机器功能管理表的一例。所述机器功能管理表中,作为一例,机器id、表示机器名(例如机器的种类)的信息、表示机器图像内的位置(部分的位置)的信息、表示与所述机器图像内的位置(部分的位置)对应的功能的信息(功能信息)、与图像id相对应。机器图像内的位置是与机器关联的机器图像内的特定位置(特定部分),例如是示意性地表示机器的机器图像内的特定位置、或由摄像机所拍摄的机器图像内的特定位置。对于机器图像内的每个特定位置(部分),对应有不同的功能。另外,也可规定通过利用三个以上的部分而可执行的联动功能。此时,三个以上的部分的组合与联动功能相对应,且将所述对应登记在联动功能管理表中。当然,也可规定可利用部分和机器整体来执行的联动功能,并将部分和机器全体的组合与联动功能的对应登记在联动功能管理表中。图20中表示了显示于ui部20的显示部的画面的一例。例如,识别出多功能一体机b与pc(a),且在画面48上显示有机器图像70、54。而且,也识别出多功能一体机b与pc(a)中所含的各部分。部分的识别也是通过使用所述的识别技术(例如ar技术等)来实现。例如,通过拍摄机器的各部分来适用无标记型ar技术,从而识别各部分。例如,对于机器图像70中与多功能一体机b的本体部分对应的特定位置(部分图像70a),分配有“打印功能”。对于机器图像70中与多功能一体机b的原稿罩(cover)、原稿玻璃(glass)或自动原稿供纸装置对应的特定位置(部分图像70b),分配有“扫描功能”。对于机器图像70中与后处理装置对应的特定位置(部分图像70c),分配有“装订功能”。“装订功能”是将输出的纸张通过订书机进行固定的功能。而且,对于机器图像54中与pc(a)的本体部分对应的特定位置(部分图像54a),分配有“数据保存功能”。对于机器图像54中与pc(a)的显示部对应的特定位置(部分图像54b),分配有“画面显示功能”。“数据保存功能”是将从其他装置送来的数据保存至pc(a)的功能。“画面显示功能”是将从其他装置送来的数据显示于pc(a)的功能。另外,终端装置10的控制部26也可使对机器图像内的特定位置分配的功能的名称(例如打印或扫描等)显示于画面48。由此,将容易理解特定的位置对应有何种功能的信息提供给用户。当然,也可不显示功能的名称。当由用户在机器图像中指定对应有功能的部分,并将所述部分的图像连接或重合于助理图像50时,将所述部分识别为联动对象部分。例如,当如箭头84所示,将部分图像70b连接至助理图像50,并如箭头86所示,将部分图像54b连接至助理图像50时,将与包含部分图像70b的机器图像70关联的多功能一体机b和与包含部分图像54b的机器图像54关联的pc(a)指定为联动对象机器,并且指定与部分图像70b对应的“扫描功能”和与部分图像54b对应的“画面显示功能”。当识别出联动对象机器(例如pc(a)与多功能一体机b)时,确定部28在图7所示的联动功能管理表中,确定跟pc(a)与多功能一体机b的组合对应的联动功能。而且,确定部28通过参照图19所示的机器功能管理表,从而确定发送给操作助理的机器图像内的部分对应的功能。并且,确定部28在可利用pc(a)与多功能一体机b来执行的联动功能群中,提高利用与此部分对应的功能的联动功能的优先顺位,降低不利用此功能的联动功能的优先顺位。终端装置10的控制部26根据所述优先顺位,使与联动功能相关的信息作为与联动功能候补相关的信息而显示于ui部20。例如,如图21所示,终端装置10的控制部26使画面60显示于ui部20的显示部,并使与联动功能相关的信息显示于所述画面60。由于由用户依次指定了“扫描功能”与“画面显示功能”,因此与可利用“扫描功能”和“画面显示功能”来执行的联动功能“扫描转发显示功能”相关的信息相较与其他联动功能相关的信息而优先(例如上位)显示。例如,与“扫描转发显示功能”相关的信息相较与可利用“扫描功能”和“数据保存功能”来执行的联动功能“扫描转发保存功能”相关的信息而优先显示。另外,“扫描转发显示功能”是将通过多功能一体机b的扫描而生成的数据转发至pc(a)并显示在pc(a)的画面上的功能。“扫描转发保存功能”是将通过多功能一体机b的扫描而生成的数据转发至pc(a)并保存在pc(a)中的功能。根据变形例4,当联动对象机器具有多个功能时,各别地指定功能,并优先显示与可利用所述所指定的功能来执行的联动功能相关的信息。由此,优先显示预测为用户可能要利用的联动功能。另外,联动功能既可为利用彼此相同的机器或互不相同的机器的部分彼此的组合的功能,也可为利用机器整体与机器的部分的组合的功能,还可为利用机器整体彼此的组合的功能。而且,通过组合变形例3、变形例4,也可根据将机器或部分发送给操作助理的顺序,来切换与联动功能相关的信息的显示。而且,当将一个部分的信息发送给助理图像50时,将与可利用所述一个部分来执行的单独功能相关的信息显示于ui部20的显示部。以下,对使用部分图像的处理的另一例进行说明。图22中表示了变形例4的机器功能管理表的另一例。所述机器功能管理表中,作为一例,机器id、表示机器名(例如机器的种类)的信息、表示机器的部分的名称(例如部分的种类)的信息、作为用于识别所述部分的部分识别信息的部分id、表示分配给所述部分的功能(所述部分所具有的功能)的信息、和用于识别与所述部分关联的部分图像的部分图像id彼此对应。部分图像是表示通过摄像机的拍摄而获得的机器的部分的外观的图像。当然,示意性地表示机器的部分的部分图像也可对应于所述部分。例如,对于机器的每个部分分配有不同的功能。若举具体例进行说明,则对于pc(a)的显示部分配有画面显示功能,对于与所述显示部关联的部分图像的部分图像id,对应于有表示画面显示功能的信息。画面显示功能是将信息显示于pc(a)的功能。对于pc(a)的本体部分配有数据保存功能,对于与所述本体部关联的部分图像的部分图像id,对应于有表示数据保存功能的信息。数据保存功能是将数据保存于pc(a)的功能。而且,对于多功能一体机b的本体部分配有打印功能,对于与所述本体部关联的部分图像的部分图像id,对应有表示打印功能的信息。对于多功能一体机b的读取部(例如与多功能一体机b的原稿罩、原稿玻璃或自动原稿供纸装置对应的部分)分配有扫描功能,对于与所述读取部关联的部分图像的部分图像id,对应有表示扫描功能的信息。对于多功能一体机b的后处理装置分配有装订功能,对于与所述后处理装置关联的部分图像的部分图像id,对应有表示装订功能的信息。装订功能是将所输出的纸张通过订书钉进行装订的功能。对机器的部分分配的功能例如通过使用无标记型ar技术来确定(识别)。例如,当通过摄像机(例如终端装置10的摄像机22)而拍摄了机器的部分时,确定部28在图22所示的机器功能管理表中,确定(识别)与所述外观图像数据对应的功能。由此,来确定(识别)分配给所拍摄的部分的功能。例如,当通过摄像机22而拍摄了多功能一体机b的本体部时,确定部28在机器功能管理表中,确定与表示多功能一体机b的本体部的外观图像数据对应的打印功能。由此,来确定分配给多功能一体机b的本体部的功能为打印功能。当然,分配给机器的部分的功能也可通过使用标记型ar技术来确定(识别)。例如,在机器的各部分,设有对用于识别部分的部分识别信息(例如部分id)进行编码所得的二维条形码等标记。当通过摄像机来拍摄设于部分的标记并适用标记型ar技术时,获取此部分的部分识别信息(例如部分id)。当如此般获取部分识别信息时,确定部28在图22所示的机器功能管理表中,确定(识别)与所述部分识别信息(例如部分id)对应的功能。图23中表示了变形例4的联动功能管理表的一例。所述联动功能管理表是表示利用多个部分所具有的功能的联动功能的信息,所述联动功能管理表中,作为一例,表示机器的部分的组合的信息、表示部分id的组合的信息、与表示可利用所述组合中所含的多个部分所具有的功能来执行的联动功能的信息彼此对应。当然,联动功能管理表中,表示机器的部分与机器整体的组合的信息、与表示利用所述机器的部分所具有的功能和机器整体所具有的功能的联动功能的信息也可对应。若举具体例进行说明,则对于pc(a)的显示部与多功能一体机b的本体部的组合,分配有作为联动功能的“打印功能”。作为联动功能的“打印功能”是将保存于pc(a)中的数据发送至多功能一体机b,并通过多功能一体机b来打印所述数据的功能。而且,对于多功能一体机b的本体部与投影机c的本体部的组合,分配有作为联动功能的“打印功能”。作为联动功能的“打印功能”是将由投影机c所投影的数据发送至多功能一体机b,并通过多功能一体机b来打印所述数据的功能。而且,对于多功能一体机b的读取部与投影机c的本体部的组合,分配有作为联动功能的“扫描投影功能”。作为联动功能的“扫描投影功能”例如是将通过多功能一体机b的扫描而生成的数据发送至投影机c,并通过投影机c来投影所述数据的功能。另外,联动功能既可为可利用同一机器中所含的多个部分所具有的功能来执行的功能,也可为可利用互不相同的多个机器的部分所具有的功能来执行的功能。而且,联动功能还可为可利用三个以上的部分所具有的功能来执行的功能。例如,当用户将多个部分图像连接或重合于助理图像50时,确定部28在图23所示的联动功能管理表中,确定(识别)跟与所述多个部分图像各自关联的部分的组合对应的联动功能。例如,当将与多功能一体机b的本体部关联的部分图像和与投影机c的本体部关联的部分图像连接或重合于助理图像50时,确定部28在图23所示的联动功能管理表中,确定跟多功能一体机b的本体部与投影机c的本体部的组合对应的联动功能“打印功能”等。如图21所示,与所述联动功能相关的信息显示于ui部20的显示部内。而且,通过组合变形例3、变形例4,也可根据将机器图像或部分图像连接至助理图像50的顺序或重合于助理图像50的顺序,来切换与联动功能相关的信息的显示。以下,参照图24来说明将部分图像重合于助理图像50时的操作例。例如,当用户如箭头88所示,使部分图像70b移动而重合于助理图像50上时,确定部28将与部分图像70b关联的部分识别为联动对象部分。而且,当用户如箭头90所示,使部分图像54b移动而重合于助理图像50上时,确定部28将与部分图像54b关联的部分识别为联动对象部分。并且,确定部28在图23所示的联动功能管理表中,确定跟与部分图像70b关联的多功能一体机b的读取部和部分图像54b的显示部对应的联动功能。与所述联动功能相关的信息如图21所示,显示于ui部20的显示部。当然,当将部分图像与整体图像连接或重合于助理图像50时,也可确定通过利用与部分图像关联的部分和与机器图像关联的机器而可执行的联动功能,并将与所述联动功能相关的信息显示于ui部20的显示部。(变形例5)以下,对变形例5进行说明。变形例5中,操作助理具有学习功能,根据操作助理所获得的信息来控制联动功能的显示。操作助理通过学习功能来获取例如与用户相关的信息(例如表示终端装置10的操作历史的信息、表示机器的操作历史的信息、表示行动历史的信息等)以及与机器12、14相关的信息(例如表示利用历史的信息、表示机器状态的信息等)等。操作助理既可从终端装置10获取信息,也可从机器12、14等机器获取信息,还可从服务器16获取信息,还可从其他装置(例如云(cloud)等)获取信息,还可从保存于其他装置的其他操作助理(例如保存在其他装置中的人工智能)获取信息。控制部26根据由操作助理所获取的信息,来控制联动功能的显示。例如,当由操作助理获取了表示用户对机器的利用历史的信息、或表示用户的日程(schedule)(预定)的信息(日程信息)时,控制部26通过参照利用历史或日程,使与用户使用的可能性高的联动功能相关的信息优先显示于ui部20的显示部。例如,通过用户将多个机器图像连接或重合于助理图像50,从而确定可利用与所述多个机器图像各自关联的机器来执行的多个联动功能。控制部26分析利用历史或日程,使与所述多个联动功能中用户使用的可能性高的联动功能相关的信息优先显示于ui部20的显示部。例如,控制部26对照在过去多个机器被指定为联动对象机器的时机与日程,使与在当前时间点被使用的可能性高的联动功能相关的信息优先显示于ui部20的显示部。若举具体例进行说明,则假设:在过去,用户在午后外出日的上午,将第1机器图像与第2机器图像发送给助理图像50以执行联动功能z。若存在此种利用历史,则当将第1机器图像与第2机器图像发送给助理图像50的时机是用户预定午后要外出之日的上午时,控制部26判断为使用所述联动功能z的可能性高,而使与所述联动功能z相关的信息优先显示于ui部20的显示部。若举另一具体例进行说明,则假设:在过去,在某时间段将第1机器图像与第2机器图像发送给助理图像50,以执行作为联动功能的录像功能,从而录制频道(channel)x的节目。若存在此种利用历史,则当将第1机器图像与第2机器图像发送给助理图像50的时机包含在所述时间段时,控制部26判断为使用所述录像功能的可能性高,使与所述录像功能相关的信息(例如与录制频道x的功能相关的信息)优先显示于ui部20的显示部。而且,若与发送给助理图像50的机器图像关联的机器处于使用中或故障中,则控制部26也可降低与可利用所述机器来执行的联动功能相关的信息的优先级而使所述信息显示于ui部20的显示部。若所述机器并未发生故障且未处于使用中,则控制部26使与可利用所述机器来执行的联动功能相关的信息优先显示于ui部20的显示部。借此,将与可立即使用的联动功能相关的信息优先提供给用户。(变形例6)以下,对变形例6进行说明。在终端装置10中,也可存在多个操作助理。例如,对每个机器分配操作助理,将与各机器关联的助理图像50显示于ui部20的显示部。例如当识别出多个机器时,将多个助理图像50显示于ui部20的显示部。各操作助理既可对分配给自身的机器进行管理,也可针对与分配给自身的机器相关的来自用户的询问而制作回答并发出。各操作助理也可通过与其他操作助理进行通信,来彼此共享信息。例如,通过将用于实现与多功能一体机b关联的操作助理的程序、或用于实现与pc(a)关联的操作助理的程序等安装于终端装置10,从而与多功能一体机b关联的操作助理或与pc(a)关联的操作助理在终端装置10中发挥功能。当然,也可通过一个程序来实现多个操作助理。控制部26也可与变形例5同样地,根据各操作助理所获取的信息来控制联动功能的显示。例如,控制部26根据多个操作助理所共享的信息(例如机器的利用历史或机器的状态等信息),来改变与联动功能相关的信息。(变形例7)以下对变形例7进行说明。变形例7中,操作助理推荐作为联动对象的机器。例如,当用户将机器图像连接或重合于助理图像50时,确定部28识别与所述机器图像关联的机器,并通过参照联动功能管理表,来确定能以与所述机器的组合来执行联动功能的机器。控制部26使与由确定部28所确定的机器相关的信息显示于ui部20的显示部。例如,当用户将与多功能一体机b关联的机器图像52连接或重合于助理图像50时,确定部28通过参照联动功能管理表,来确定能以与多功能一体机b的组合来执行联动功能的机器(例如pc或投影机等)。将与所述机器(例如pc或投影机)相关的信息显示于ui部20的显示部。借此,将成为联动对象的机器提供给用户。而且,确定部28基于联动功能的使用历史(所述用户的使用历史、或其他用户的利用历史),来确定跟与所述机器图像关联的机器(例如多功能一体机b)组合而实际利用的机器,控制部26也可使与所述机器相关的信息显示于ui部20的显示部。例如,确定部28也可确定以跟与所述机器图像关联的机器(例如多功能一体机b)的组合而利用的频率(例如利用次数)达到预定阈值以上的机器。借此,将利用频率相对较高的机器提供给用户。而且,控制部26也可使与以跟与所述机器图像关联的机器(例如多功能一体机b)的组合而利用的频率越高的机器相关的信息,越优先显示于ui部20的显示部。(变形例8)以下对变形例8进行说明。变形例8中,多个操作助理也可彼此联动。例如,保存在终端装置10中的操作助理也可与保存在其他终端装置中的操作助理共享信息(例如联动功能的使用历史信息、机器的使用历史信息等)。此时,确定部28也可通过使用操作助理所获取的所述共享信息来确定联动功能,还可与变形例7同样,推荐作为联动对象的机器。例如,确定部28也可通过使用共享信息中所含的使用历史信息,来确定能以与用户交给操作助理的机器的组合来执行联动功能的机器。而且,也可针对每个用户来规定操作助理。此时,也可在同一终端装置10中保存有多个操作助理。各操作助理也可对与关联于自身的用户相关的信息(例如终端装置10的操作历史信息、联动功能的使用历史信息、机器的使用历史信息等)进行管理,并与其他操作助理共享信息。此时,各操作助理既可通过使用所述共享信息来推荐作为联动对象的机器,也可推荐联动功能。(变形例9)以下对变形例9进行说明。变形例9中,将与联动对象机器相关的信息通过语音而输入至终端装置10。例如,当用户通过语音来说出作为联动对象的机器名称(例如多功能一体机b、pc(a)等)时,所述语音被输入至终端装置10,确定部28(通过操作助理而实现的确定部28)接受所述语音输入而确定联动功能。与所述联动功能相关的信息既可显示于ui部20的显示部,也可作为语音信息而发出。当使用语音输入时,与助理图像50也可显示于ui部20的显示部。当然,当显示有助理图像50时,也可通过语音输入来将与机器相关的信息输入至终端装置10。而且,在未显示助理图像50的情况下,当使机器图像移动至画面上的特定区域时,也可将与所述机器图像关联的机器识别为联动对象机器。(变形例10)以下对变形例10进行说明。变形例10中,当机器图像(例如机器图像52)在助理图像50上重合预定时间以上的期间时,确定部28将与所述机器图像关联的机器(例如多功能一体机b)识别为联动对象机器。若所述重合时间的长度小于预定时间,则确定部28不将与所述机器图像关联的机器(例如多功能一体机b)识别为联动对象机器。作为另一例,也可当用户指定了机器图像(例如机器图像52)后,在画面48上利用指示器从所述机器图像绘描至助理图像50,并将助理图像50指定预定时间以上的期间时,确定部28将与所述机器图像关联的机器(例如多功能一体机b)识别为联动对象机器。若助理图像50的指定时间的长度小于预定时间,则确定部28不将与所述机器图像关联的机器(例如多功能一体机b)识别为联动对象机器。根据变形例10,若机器图像的重合时间的长度或指定时间的长度小于预定时间,则与所述机器图像关联的机器不会被识别为联动对象机器。因此,难以将用户未意图的机器识别为联动对象机器。<第2实施方式>以下对第2实施方式的机器系统进行说明。所述第1实施方式中,当将与机器关联的机器图像连接或重合于助理图像50时,显示与联动功能相关的信息,但在第2实施方式中,当将与功能关联的功能图像连接或重合于助理图像50时,显示与联动功能相关的信息。功能图像例如既可为与软件(应用程序等)关联的图像,也可为与进行处理的机器(位于现实空间内的机器)关联的图像。功能图像例如是图标等图像,从与表示作为硬件的机器的实际外观的图像(例如照片)或表示机器其自身的图像区别的意义上来说,也可称作虚拟(virtual)图像。例如,当将与软件关联的功能图像发送给助理图像50时,显示表示可利用与所述功能图像关联的软件来执行的联动功能的信息。以下对第2实施方式进行详细说明。图25中表示了第2实施方式的联动功能管理表的一例。所述联动功能管理表是表示可利用多个功能来执行的联动功能的信息。所述联动功能管理表中,作为一例,功能id(例如用于识别软件的id)、表示功能名(例如软件名)的信息、与表示可利用多个功能来执行的联动功能的信息彼此对应。通过参照所述联动功能管理表,从而确定可利用多个功能来执行的联动功能。例如,作为功能的软件α是发送数据的软件,作为功能的软件β是对数据添加密码(password)的软件。通过将软件α、β予以组合,例如实现对数据添加密码后予以发送的联动功能。对于其他软件,也同样规定有可执行的联动功能。另外,也可规定通过利用三个以上的功能(例如软件)而可执行的联动功能。此时,三个以上的功能的组合与联动功能相对应,且将所述对应登记在联动功能管理表中。图26表示了画面48。在所述画面48上,显示一个或多个功能图像。例如,在画面48上显示与安装于终端装置10的软件关联的功能图像。图26所示的示例中,显示有功能图像92、94。而且,与第1实施方式同样地,在画面48上显示有助理图像50。功能图像92是与密码设定功能关联的图像(例如与密码设定软件关联的图像)。当由用户选择了功能图像92并给予密码设定功能的启动指示时,例如密码设定软件启动,以进行针对数据等的密码设定处理。功能图像94是与数据发送功能关联的图像(例如与数据发送软件关联的图像)。当由用户选择了功能图像94并给予数据发送功能的启动指示时,例如数据发送软件启动,而将作为发送对象的数据等发送至发送目标。与第1实施方式同样地,当用户将多个功能图像连接或重合于助理图像50时,确定部28识别所述多个功能图像各自的功能,通过参照图25所示的联动功能管理表,从而确定可利用多个功能来执行的联动功能。表示所述联动功能的信息显示于ui部20的显示部。若以图26所示的示例来进行说明,则当用户如箭头96所示般将功能图像92连接至助理图像50,并如箭头98所示般将功能图像94连接至助理图像50时,显示表示可利用添加密码的功能和发送数据的功能来执行的联动功能的信息。而且,用户将功能图像92、94重合于助理图像50上时也同样。例如,如图27所示,将画面60显示于ui部20的显示部,在所述画面60上,显示与如上所述般经确定的联动功能相关的信息。另外,当将三个以上的功能图像发送给助理图像50时,也可显示表示可利用三个以上的功能来执行的联动功能的信息。如上所述,根据第2实施方式,通过将与作为联动对象的功能关联的功能图像发送给操作助理(例如通过将功能图像连接或重合于助理图像50),来提供与联动功能相关的信息。如此,通过利用操作助理的简便操作,来提供与联动功能相关的信息。另外,在第2实施方式中,也与第1实施方式同样,也可在预定的限制时间内将多个功能的信息发送给操作助理时,显示与可利用所述多个功能来执行的联动功能相关的信息,当在所述限制时间内将一个功能的信息发送给操作助理时,显示与所述功能相关的信息(单独功能的信息)。例如,当用户从将功能图像92连接至助理图像50的时间点开始在限制时间内未将其他功能图像连接至助理图像50时,显示跟与功能图像92关联的功能(单独功能)相关的信息。当用户在所述限制时间内将其他功能图像(例如功能图像94)连接至助理图像50时,显示跟可利用与功能图像92关联的功能和与功能图像94关联的功能来执行的联动功能相关的信息。进行将功能图像重合于助理图像50的操作时也同样。通过如此般设置限制时间,在第2实施方式中,也可切换联动功能或单独功能的提供。而且,在第2实施方式中,也可适用第1实施方式的变形例1至变形例10。例如,通过适用变形例1,在将功能图像重合于助理图像50时,既可显示与联动功能相关的信息,也可生成多个功能图像的重合结果即合成图像,还可生成快捷方式用图像。另外,作为另一操作例,也可由用户选择多个功能图像(例如,通过进行在画面上圈住多个功能图像的操作来选择所述多个功能图像),并将所述多个功能图像统一连接或重合于助理图像50。通过此种操作,也将与所述多个功能图像各自关联的功能识别为联动对象功能。而且,通过适用变形例2,也可执行将功能图像吸入至助理图像50中的显示特效、或不存在可执行的联动功能时将功能图像从助理图像50吐出的显示特效。而且,通过适用变形例3,也可根据将功能图像连接至助理图像50的顺序或重合于助理图像50的顺序,来控制联动功能的显示。此时,与图16所示的联动功能管理表同样地,第2实施方式的联动功能管理表中也规定有功能图像的连接顺序与优先顺位。而且,通过适用变形例4,也可对功能图像内的每个部分进而分配不同的功能。此时,当将与功能关联的部分图像连接或重合于助理图像50时,显示与可利用与所述部分图像关联的功能来执行的联动功能相关的信息。而且,也可将变形例3、变形例4的组合适用于第2实施方式。而且,通过适用变形例5,也可根据操作助理所获得的信息来控制联动功能的显示。例如,操作助理也可通过学习功能来获取表示功能的利用历史的信息、表示用于实现功能的软件的执行状况的信息、与用户相关的信息(表示操作历史或行动历史的信息)、表示用户日程的信息等,并使用这些信息来控制联动功能的显示。而且,通过适用变形例6,也可对每个功能(例如每个软件)分配操作助理,将与各功能关联的助理图像50显示于ui部20的显示部。各操作助理既可对分配给自身的功能(例如软件)进行管理,也可针对与分配给自身的功能相关的来自用户的询问而制作回答并发出。控制部26例如根据多个操作助理所共享的信息(例如软件的利用历史或软件的状态等信息),来改变与联动功能相关的信息。而且,通过适用变形例7,也可推荐作为联动对象的功能。例如,当用户将功能图像连接或重合于助理图像50时,确定部28识别与所述功能图像关联的功能,且通过参照联动功能管理表,来确定能以与所述功能的组合来执行联动功能的功能。而且,确定部28既可基于联动功能的使用历史来推荐功能,也可推荐使用频率相对较高的功能。而且,通过适用变形例8,操作助理也可基于与其他操作助理之间共享的信息,来推荐用于联动功能的功能。而且,通过适用变形例9,也可通过语音输入来将与联动对象功能相关的信息输入至终端装置10。而且,通过适用变形例10,也可当功能图像在助理图像50上重合预定时间以上的期间时,将与所述功能图像关联的功能识别为联动对象功能。而且,在画面48上利用指示器进行绘描时也同样。<第3实施方式>以下对第3实施方式的机器系统进行说明。第3实施方式相当于所述第1实施方式与第2实施方式的组合。即,当由用户将机器图像与功能图像发送给助理图像50时,显示跟可利用与机器图像关联的机器和与功能图像关联的功能来执行的联动功能相关的信息。以下,对第3实施方式进行详细说明。图28中表示了第3实施方式的联动功能管理表的一例。所述联动功能管理表是表示可利用机器与功能(例如软件)来执行的联动功能的信息。所述联动功能管理表中,作为一例,id的组合(机器id与功能id的组合)、表示机器名及功能名的信息、与表示可利用机器和功能来执行的联动功能的信息彼此对应。通过参照所述联动功能管理表,来确定可利用机器与功能来执行的联动功能。例如,通过将作为机器a的pc(a)与作为功能α的数据发送功能予以组合,例如实现利用pc(a)来发送数据的联动功能。对于其他机器与功能,也同样规定有可执行的联动功能。另外,也可规定通过利用合计三个以上的机器或功能而可执行的联动功能。此时,三个以上的机器或功能的组合与联动功能相对应,且将所述对应登记在联动功能管理表中。当用户将机器图像与功能图像连接或重合于助理图像50时,确定部28通过参照图28所示的联动功能管理表,来确定跟与所述机器图像关联的机器和与所述功能图像关联的功能的组合对应的联动功能。表示所述联动功能的信息被显示于ui部20的显示部。另外,当将一个或多个机器图像和一个或多个功能图像连接或重合于助理图像50时,也可显示表示可利用一个或多个机器和一个或多个功能来执行的联动功能的信息。图29中表示了画面48。在画面48上,作为一例,显示有机器图像52与功能图像94。机器图像52是与多功能一体机b关联的图像,功能图像94是与数据发送功能(例如数据发送软件)关联的图像。例如,当通过所述ar技术等而识别出多功能一体机b时,将与所述多功能一体机b关联的机器图像52显示于画面48。而且,当在终端装置10中安装有数据发送软件α时,将与数据发送软件α关联的功能图像94显示于画面48。例如,当用户如箭头100所示般将机器图像52连接至助理图像50,并如箭头102所示般将功能图像94连接至助理图像50时,确定部28将与机器图像52关联的多功能一体机b识别为联动对象机器,并将与功能图像94关联的数据发送软件α识别为联动对象功能。并且,确定部28通过参照图28所示的联动功能管理表,来确定可利用多功能一体机b和数据发送软件α来执行的联动功能。表示所述联动功能的信息被显示于ui部20的显示部。将机器图像52与功能图像94重合于助理图像50上时也同样。另外,将机器图像52与功能图像94连接至助理图像50的顺序或重合于助理图像50的顺序也可与所述顺序相反。另外,当将合计为三个以上的机器图像或功能图像发送给助理图像50时,也可显示表示可利用三个以上的机器图像或功能图像来执行的联动功能的信息。如上所述,根据第3实施方式,通过将机器图像与功能图像发送给操作助理,从而提供与联动功能相关的信息。如此,通过利用操作助理的简便操作,来提供与联动功能相关的信息。而且,当将与数据(也称作文件)关联的图像(例如图标)重合于机器图像上时,控制部26也可将所述数据登记为与所述机器图像关联的机器的处理对象。当由用户给予了处理的执行指示时,所述机器对所登记的数据执行由用户所指定的处理。数据例如为文档数据或图像数据等。例如,当将文档数据重合于与多功能一体机关联的机器图像上时,将所述文档数据登记为多功能一体机的处理对象。当由用户对所述多功能一体机给予有打印指示时,通过所述多功能一体机来打印所登记的所述文档数据。另外,在第1实施方式中,也可执行此种处理。而且,当将与数据关联的图像重合于功能图像上时,控制部26也可将所述数据登记为与所述功能图像关联的功能的处理对象。当由用户给予了处理的执行指示时,对所登记的数据执行基于所述功能的处理。例如,当将文档数据重合于与数据发送软件关联的功能图像上时,将所述文档数据登记为发送对象。当用户给予有发送指示时,将所登记的所述文档数据发送至目的地。另外,在第2实施方式中,也可执行此种处理。而且,当将与数据关联的图像重合于机器图像上而登记为处理对象后,将所述机器图像与功能图像连接或重合于助理图像50时,控制部26将所述数据登记为可利用与所述机器图像关联的机器和与所述功能图像关联的功能来执行的联动功能的处理对象。同样,当将与数据关联的图像重合于功能图像上而登记为处理对象后,将所述功能图像与机器图像连接或重合于助理图像50时,控制部26将所述数据登记为可利用与所述功能图像关联的功能和与所述机器图像关联的机器来执行的联动功能的处理对象。当由用户给予有所述联动功能的执行指示时,对所登记的数据执行基于联动功能的处理。另外,第3实施方式中,也可与第1实施方式同样地,当在预定的限制时间内将与机器相关的信息和与功能相关的信息发送给操作助理时,显示与可利用所述机器和所述功能来执行的联动功能相关的信息,当在所述限制时间内将一个机器或一个功能的信息发送给操作助理时,显示所述机器所具有的单独功能或与所述功能相关的信息。例如,当用户从将机器图像52连接至助理图像50的时间点开始在限制时间内未将功能图像连接至助理图像50时,显示跟与机器图像52关联的功能(单独功能)相关的信息。当用户在所述限制时间内将功能图像(例如功能图像94)连接至助理图像50时,显示跟可利用与机器图像52关联的机器和与功能图像94关联的功能来执行的联动功能相关的信息。将功能图像94先连接至助理图像50时也同样。而且,进行将机器图像或功能图像重合于助理图像50的操作时也同样。通过如此般设置限制时间,从而在第3实施方式中,也可切换联动功能或单独功能的提供。而且,在第3实施方式中,也可适用第1实施方式的变形例1至变形例10。例如,通过适用变形例1,在将机器图像或功能图像重合于助理图像50时,既可显示与联动功能相关的信息,也可生成机器图像与功能图像的重合结果即合成图像,还可生成快捷方式用图像。另外,作为另一操作例,也可由用户选择机器图像与功能图像(例如,通过进行在画面上圈住机器图像与功能图像的操作来选择机器图像与功能图像),并将机器图像与功能图像统一连接或重合于助理图像50。通过此种操作,也将与机器图像关联的功能和与功能图像关联的功能识别为联动对象功能。而且,通过适用变形例2,也可执行将机器图像或功能图像吸入至助理图像50中的显示特效、或不存在可执行的联动功能时将机器图像或功能图像从助理图像50吐出的显示特效。而且,通过适用变形例3,也可根据将机器图像或功能图像连接至助理图像50的顺序或重合于助理图像50的顺序,来控制联动功能的显示。此时,与图16所示的联动功能管理表同样地,第3实施方式的联动功能管理表中也规定有机器图像与功能图像的连接顺序与优先顺位。而且,通过适用变形例4,也可将与机器图像内的部分关联的部分图像连接或重合于助理图像50。此时,显示跟可利用与所述部分图像关联的部分来执行的联动功能相关的信息。而且,也可将变形例3、变形例4的组合适用于第3实施方式。当然,当对功能图像内的每个部分进而分配有功能时,也可将与所述部分关联的部分图像连接或重合于助理图像50。而且,通过适用变形例5,也可根据操作助理所获得的信息来控制联动功能的显示。例如,操作助理也可通过学习功能来获取表示机器或功能的利用历史的信息、表示机器的执行状况的信息、表示用于实现功能的软件的执行状况的信息、与用户相关的信息(表示操作历史或行动历史的信息)、表示用户日程的信息等,并使用这些信息来控制联动功能的显示。而且,通过适用变形例6,也可对每个机器或每个功能(例如每个软件)分配操作助理,将与各机器关联的助理图像50和与各功能关联的助理图像50显示于ui部20的显示部。各操作助理既可对分配给自身的机器或功能(例如软件)进行管理,也可针对与分配给自身的机器或功能相关的来自用户的询问而制作回答并发出。控制部26例如根据多个操作助理所共享的信息(例如机器或软件的利用历史、机器或软件的状态等信息),来改变与联动功能相关的信息。而且,通过适用变形例7,也可推荐作为联动对象的机器或功能。例如,当用户将机器图像或功能图像连接或重合于助理图像50时,确定部28通过参照联动功能管理表,既可确定能以跟与所述机器图像关联的机器的组合来执行联动功能的功能,也可确定能以跟与所述功能图像关联的功能的组合来执行联动功能的机器。而且,确定部28既可基于联动功能的使用历史来推荐机器或功能,也可推荐使用频率相对较高的机器或功能。而且,通过适用变形例8,操作助理也可基于与其他操作助理之间共享的信息,来推荐用于联动功能的机器或功能。而且,通过适用变形例9,也可通过语音输入来将与作为联动对象的机器或功能相关的信息输入至终端装置10。而且,通过适用变形例10,也可当机器图像或功能图像在助理图像50上重合预定时间以上的期间时,将与所述机器图像关联的机器或与所述功能图像关联的功能识别为联动对象机器与功能。而且,在画面48上利用指示器进行绘描时也同样。<第4实施方式>以下对第4实施方式的机器系统进行说明。第4实施方式中,当将文件(数据)发送给操作助理时,显示跟与所述文件相应的联动功能相关的信息。以下,对第4实施方式进行详细说明。第4实施方式的联动功能管理信息是用于对通过使多个功能联动而执行的联动功能进行管理的信息。联动功能是通过使多个软件联动而实现的功能。当然,联动功能也可为通过使作为硬件的机器所具有的功能与借助软件实现的功能联动而实现的功能。对第4实施方式的联动功能作进一步详细说明。联动功能是当由用户选择了多个文件(数据)时,将所述多个文件作为对象来执行的功能。例如,针对各个文件的每一个,而关联有对所述文件执行处理的软件(应用程序)。联动功能是通过使与由用户所选择的多个文件各自关联的应用程序联动而实现的功能。文件例如为文档文件、图像文件、视频文件、电子表格文件、演示文稿(presentation)用文件、图形(图面)文件、音频文件等。文档文件是具有文档格式(documentformat)的文件,是包含字符串或其他信息的文件。图像、表或图形也可作为其他信息而包含在文档文件中。文档格式例如为文本(text)格式或档案(document)格式等。具有文本格式的数据(例如附有字符串“.txt”作为扩展名的数据)、或具有档案格式的数据(例如附有字符串“.doc”或“.docx”作为扩展名的数据)等相当于文档文件。图像文件是具有图像格式(imageformat)的文件。图像文件既可为具有光栅(raster)格式的图像数据,也可为具有矢量(vector)格式的图像数据。图像格式例如为jpeg格式、bmp(位图(bitmap))格式、pdf格式、gif格式、tiff格式、png格式、pict格式等。具有jpeg格式的数据(附有字符串“.jpeg”作为扩展名的数据)、具有bmp格式的数据(附有字符串“.bmp”作为扩展名的数据)、具有pdf格式的数据(附有字符串“.pdf”作为扩展名的数据)、具有gif格式的数据(附有字符串“.gif”作为扩展名的数据)、具有tiff格式的数据(附有字符串“.giff”作为扩展名的数据)、具有png格式的数据(附有字符串“.png”作为扩展名的数据)、具有pict格式的数据(附有字符串“.pict”作为扩展名的数据)等相当于图像文件。当然,具有除这些以外的格式的图像数据也可被用作第4实施方式的图像文件。视频文件是具有视频格式(videoformat)的文件。视频格式例如为avi格式、mp4格式、mov格式、mpeg2-ts格式、mpeg2-ps格式、wmv格式、flv格式等。具有avi格式的数据(附有字符串“.avi”作为扩展名的数据)、具有mp4格式的数据(附有字符串“.mp4”作为扩展名的数据)、具有mov格式的数据(附有字符串“.mov”作为扩展名的数据)、具有mpeg2-ts格式的数据(附有字符串“.m2ts”作为扩展名的数据)、具有mpeg2-ps格式的数据(附有字符串“.mpeg”作为扩展名的数据)、具有wmv格式的数据(附有字符串“.wmv”作为扩展名的数据)、具有flv格式的数据(附有字符串“.flv”作为扩展名的数据)等相当于视频文件。当然,具有除这些以外的格式的视频数据也可被用作第4实施方式的视频文件。电子表格文件是具有表格式(tableformat)的文件,是包含表、图表(graph)或其他信息的文件。字符串、图像或图形也可作为其他信息而包含在电子表格文件中。例如是附有字符串“.csv”、“.xls”或“.xlsx”作为扩展名的数据。演示文稿用文件是具有演示文稿用工作表格式(sheetformat)的文件。例如,附有字符串“.ppt”或“.pptx”作为扩展名的数据相当于演示文稿用文件。演示文稿用文件例如包含字符串、图像(静态图像或动态图像)、图形、音频等。图形文件是具有图形(图面)格式(graphicformat)的文件。图形文件例如是通过图形制作软件(例如二维计算机辅助设计(computeraideddesign,cad)或三维cad等)制作的文件。例如,具有dxf格式(format)的数据(附有字符串“.dxf”作为扩展名的数据)、具有dwg格式的数据(附有字符串“.dwg”作为扩展名的数据)等。除此以外,附有“.vsd”或“.vsdx”作为扩展名的数据也可作为图形文件来处理。音频文件是具有音频格式(audioformat)的文件。音频格式例如为非压缩音频格式(wav格式、aiff格式、bwf格式等)、不可逆压缩音频格式(mp3格式、aac格式、wma格式等)、可逆压缩音频格式(tak格式、flac格式等)等。具有非压缩音频格式的数据(附有“.wav”等作为扩展名的数据)、具有不可逆压缩音频格式的数据(附有字符串“.mp3”等作为扩展名的数据)、具有非压缩音频格式的数据(附有字符串“.tak”等作为扩展名的数据)等相当于音频文件。第4实施方式中,联动功能是针对每种文件格式(属性)而定,联动功能管理信息例如是表示:表示多个文件格式的组合的信息、与表示联动功能的信息(联动功能信息)的对应的信息。联动功能信息例如是联动功能id或联动功能名称等。文件格式为所述文档格式、图像格式、视频格式、表格式、工作表格式、图形格式、音频格式等。通过参照联动功能管理信息,来确定(识别)与多个文件格式的组合对应的联动功能。联动功能既可为通过使互不相同的多个功能(例如互不相同的软件)联动而实现的功能,也可为通过使同一功能(例如同一软件)联动而实现的功能。联动功能也可为在联动前无法利用的功能。在联动前无法利用的功能既可为通过使相同的功能联动而变得可用的功能,也可为通过使互不相同的功能组合而变得可用的功能。例如,通过使文档制作功能(文档制作软件)与图像显示功能(图像显示软件(例如图像查看器(viewer)))联动,从而作为联动功能,实现在文档中插入(添加)图像的功能、或者在图像上重叠文档(字符串、文本)的功能。即,通过使文档制作功能与图像显示功能联动,实现图像插入功能或文本重叠功能。在联动功能的概念范畴内,也可包含通过使多个功能联动而新功能的执行成为可能的合体功能。例如,通过将多个显示功能予以组合,也可实现作为合体功能的扩展显示功能。而且,通过将多个摄影功能予以组合,也可实现作为合体功能的拍摄区域扩展功能。而且,通过将通话功能与翻译功能予以组合,也可实现作为合体功能的翻译通话功能(翻译通话内容的功能)。如此,在联动功能的概念范畴内,也可包含通过使彼此相同种类的功能联动而可实现的功能、或者通过使彼此不同种类的功能联动而可实现的功能。由联动功能管理信息所管理的联动功能既可为可由安装于终端装置10的软件来执行的功能,也可为可由安装于外部装置(例如服务器或其他终端装置等)的软件来执行的功能,还可为可由安装于终端装置10的软件和安装于外部装置的软件来执行的功能。另外,作为联动功能管理信息的另一例,也可将表示多个功能(多个软件)的组合的信息、与表示通过使所述多个功能联动而可执行的联动功能的信息(联动功能信息)相对应。当将与多个文件各自关联的图像连接或重合于助理图像50时,确定部28在联动功能管理表中,确定与所述多个文件的格式(文件格式)的组合对应的联动功能。由此,来确定将多个文件发送给操作助理时可执行的联动功能。以下,参照图30来详细说明第4实施方式的联动功能管理信息。图30中表示了第4实施方式的联动功能管理表的一例。联动功能管理表中,作为一例,表示多个文件格式的组合的信息、与表示联动功能的信息(联动功能信息)彼此对应。例如,当用户将多个文件发送给操作助理时,确定部28在联动功能管理表中,确定与所述多个文件各自的文件格式的组合对应的联动功能。与所述联动功能相关的信息显示于ui部20的显示部。另外,图30中表示了两个文件格式的组合,但也可将三个以上的文件格式的组合与联动功能的对应登记在联动功能管理表中。以下,对图30所示的各联动功能进行说明。图30中的“文档格式”为文本格式(扩展名为“.txt”)或档案格式(扩展名为“.doc”或“.docx”)。“表格式”为扩展名以“.csv”或“.xls”等来表达的格式。图像格式为扩展名以“.jpeg”或“.pdf”等来表达的格式。视频格式为扩展名以“.avi”或“.mpeg”等来表达的格式。工作表格式为扩展名以“.ppt”等来表达的格式。图30中,未表示图形格式或音频格式,但包含它们的组合与联动功能的对应也可登记在联动功能管理表中。当然,也可规定包含图30所示的文件格式以外的文件格式的组合与联动功能的对应,并登记到联动功能管理表中。以下,对图30所示的各联动功能进行说明。当由用户将文档文件a与电子表格文件b发送给操作助理时,确定跟文档格式与表格式的组合对应的“将表插入文档中的功能”与“将文档插入表中的功能”作为联动功能。“将表插入文档中的功能”是指将由电子表格文件b所表示的表插入由文档文件a所表示的文档中的功能。“将文档插入表中的功能”是指将由文档文件a所表示的文档插入由所述电子表格文件b所表示的表中的功能。当由用户将文档文件a与图像文件c发送给操作助理时,确定跟文档格式与图像格式的组合对应的“将图像插入文档中的功能”与“将文档重叠于图像上的功能”作为联动功能。“将图像插入文档中的功能”是指将由图像文件c所表示的图像插入由文档文件a所表示的文档中的功能。“将文档重叠于图像上的功能”是指将由文档文件a所表示的文档重叠于由图像文件c所表示的图像上的功能。当由用户将文档文件a与视频文件d发送给操作助理时,确定跟文档格式与视频格式的组合对应的“将视频插入文档中的功能”与“将静态图像插入文档中的功能”作为联动功能。“将视频插入文档中的功能”是指将由视频文件d所表示的视频插入由文档文件a所表示的文档中的功能。“将静态图像插入文档中的功能”是指将构成视频文件d的一帧或多帧(静态图像)插入由文档文件a所表示的文档中的功能。例如,在文档文件a相当于不支持视频的文档文件,即,无法插入视频的文件的情况下,若执行“将静态图像插入文档中的功能”,则将视频文件d中的一帧或多帧(静态图像)插入由文档文件a所表示的文档中。也可由用户选择具有同一文件格式的多个文件。例如,当由用户将文档文件a1、a2发送给操作助理时,确定跟文档格式与文档格式的组合对应的“将文档彼此合体的功能”作为联动功能。“将文档彼此合体的功能”是指如下所述的功能,即:通过将文档文件a1、a2所表示的文档合体(例如将两个文档结合),从而保留文档文件a1、a2、或者不保留文档文件a1、a2,生成另外的新的文档文件a3。当由用户将电子表格文件b1、b2发送给操作助理时,确定跟表格式与表格式的组合对应的“将表彼此合体的功能”作为联动功能。“将表彼此合体的功能”是指如下所述的功能,即:通过将电子表格文件b1、b2所表示的表合体(例如将两个表结合),从而保留电子表格文件b1、b2、或者不保留电子表格文件b1、b2,生成另外的新的电子表格文件b3。当由用户将视频文件d1、d2发送给操作助理时,确定跟视频格式与视频格式的组合对应的“将视频彼此合体的功能”作为联动功能。“将视频彼此合体的功能”是指如下所述的功能,即:通过将视频文件d1、d2所表示的视频合体(例如将两个视频结合),从而保留视频文件d1、d2、或者不保留视频文件d1、d2,生成另外的新的视频文件d3。除此以外,当由用户将演示文稿用文件e与文档文件a发送给操作助理时,确定跟工作表格式与文档格式的组合对应的“将文档插入演示文稿用工作表中的功能”作为联动功能。“将文档插入演示文稿用工作表中的功能”是指将由文档文件a所表示的文档插入由演示文稿用文件e所表示的工作表中的功能。对第4实施方式的终端装置10的动作进行详细说明。图31中表示了画面48。在画面48上,显示与各种文件关联的图像(例如图标)、或与各种软件关联的图像(例如图标)。图31所示的示例中,在画面48上显示有与文档文件a关联的文件图像104和与图像文件c关联的文件图像106。而且,显示有与操作助理关联的助理图像50。例如,当用户如箭头108所示般将文件图像104连接至助理图像50,并如箭头110所示般,将文件图像106连接至助理图像50时,确定部28将与文件图像104关联的文档文件a和与文件图像106关联的图像文件c识别为联动对象文件。而且,确定部28基于文档文件a的扩展名(例如作为文档文件a的属性信息而与文档文件a关联的扩展名)来识别文档文件a的文件格式。同样,确定部28基于图像文件c的扩展名(例如作为图像文件c的属性信息而与图像文件c关联的扩展名)来识别图像文件c的文件格式。另外,扩展名有时包含在文件名中。当文档文件a的扩展名相当于如“.txt”或“.docx”等般表示文档格式的扩展名时,确定部28识别文档文件a的文件格式为文档格式。当图像文件c的扩展名相当于如“.jpeg”等般表示图像格式的扩展名时,确定部28识别图像文件c的文件格式为图像格式。并且,确定部28在图30所示的联动功能管理表中,确定跟文档格式与图像格式的组合对应的联动功能(“将图像插入文档中的功能”与“将文档重叠于图像上的功能”)。与所述联动功能相关的信息被显示于ui部20的显示部。将文件图像104、106重合于助理图像50上时也同样。另外,将文件图像104、106连接至助理图像50的顺序或重合于助理图像50的顺序也可与所述顺序相反。另外,当将三个以上的文件图像发送给助理图像50时,也可显示跟与三个以上的文件格式的组合对应的联动功能相关的信息。在图32上表示了联动功能的显示例。在画面60上,显示有表示由确定部28所确定的联动功能的信息。所述示例中,在画面60上显示有表示作为联动功能的“将图像插入文档中的功能”的信息、及表示“将文档重叠于图像上的功能”的信息。当用户在画面60上指定联动功能并给予了执行指示时,控制部26执行所述所指定的联动功能。例如,当由用户给予了“将图像插入文档中的功能”的执行指示时,控制部26将由图像文件c所表示的图像插入由文档文件a所表示的文档中。若作进一步详细说明,则控制部26启动文档应用程序与图像应用程序。文档应用程序是具有下述功能的软件(程序),即,进行具有文档格式的文件的生成、编辑或显示。图像应用程序是具有下述功能的软件(程序),即,进行具有图像格式的文件的生成、编辑或显示。另外,文档应用程序也可预先关联于文档文件a,图像应用程序也可预先关联于图像文件c。控制部26通过利用图像应用程序所具有的功能来从图像文件c中复制图像,并通过利用文档应用程序所具有的功能,来将此图像粘贴到由文档文件a所表示的文档中。由此,生成插入有图像的文档。另外,控制部26也可通过利用图像应用程序所具有的功能,从由图像文件c所表示的图像中提取表示特定部分的部分图像,并将此部分图像粘贴到文档中。在文档中粘贴图像的区域既可为预定的区域,也可为由用户所指定的区域,还可为推测为记述有与此图像关联的字符串的区域。例如,控制部26对表达图像所表现的特征部分的字符串进行推测或检索,并将在文档中记述有与此字符串具有相同或类似含义的字符串的区域,推测为记述有与图像关联的字符串的区域。当然,也可通过其他方法来推测此区域。当由用户给予“将文档重叠于图像上的功能”的执行指示时,也与所述同样,通过文档应用程序所具有的功能来复制由文档文件a所表示的文档的全部或一部分,并将所复制的文档重叠于由图像文件c所表示的图像上。在文档中复制的部分既可预先决定,也可由用户来指定。而且,在图像中重叠文档的部分既可预先决定,也可由用户来指定。控制部26也可通过执行联动功能而生成新的文件。此时,作为联动对象而选择的多个文件自身不受到编辑。例如,当选择文档文件a与图像文件c来作为联动对象文件,且例如给予有“将图像插入文档中的功能”的执行指示时,控制部26将由图像文件c所表示的图像粘贴到由文档文件a所表示的文档中,从而生成新的文档文件ac。此时,控制部26生成与文档文件ac关联的新的文件图像(例如图标),并使此文件图像显示于画面48。此时,文档文件a与图像文件c自身不受到编辑,而文件图像104、106显示于画面48。给予有“将文档重叠于图像上的功能”的执行指示时也同样地,控制部26使由文档文件a所表示的文档的全部或一部分重叠于由图像文件c所表示的图像上,从而生成新的图像文件ca,并生成与所述图像文件ca关联的新的图像。所述新的图像被显示于画面48。此时,文档文件a与图像文件c自身也不受到编辑,而文件图像104、106显示于画面48。作为另一例,控制部26也可执行联动功能,由此,不生成新的文件,而对作为联动对象被选择的文件自身进行编辑(包含加工等)。若以所述示例进行说明,则控制部26将由图像文件c所表示的图像粘贴到由文档文件a所表示的文档中,并将反映出此图像粘贴的文档文件保存为文档文件a。此时,文档文件a得到更新。如上所述,根据第4实施方式,通过将文件图像发送给操作助理,从而显示与联动功能相关的信息。如此,通过利用操作助理的简便操作,来提供与联动功能相关的信息。第4实施方式中,根据文件彼此的主从关系来变更与联动功能相关的信息的显示、或所执行的联动功能。例如,文件中表示的内容自身可编辑的文件相当于主文件,内容自身不可编辑的文件相当于从文件。作为一例,若文档文件中表示的文档自身可编辑,则所述文档文件相当于主文件。而且,若图像文件中表示的图像自身不可编辑(即,虽可使内容重叠于图像上,但所述图像自身不可编辑),则所述图像文件相当于从文件。对于其他文件也同样。当然,即使是文档文件,但文档不可编辑的文档文件仍相当于从文件,即使是图像文件,但图像可编辑的图像文件仍相当于主文件。确定部28也可基于文件格式(即扩展名),来判断文件相当于主文件或从文件中的哪一种。例如,确定部28也可判断为具有文档格式的文件、具有表格式的文件、具有工作表格式的文件、以及具有图形格式的文件相当于主文件,且判断为具有图像格式的文件、具有视频格式的文件、以及具有音频格式的文件相当于从文件。当然,对于文件相当于主文件或从文件中的哪一种的判断,也可不根据文件格式来一概地判断,而是通过各别地判断作为联动对象而选择的文件,从而判断所述文件相当于主文件或从文件中的哪一种。例如,即使是具有图像格式的文件,只要是图像可编辑的文件,则所述文件也可相当于主文件。例如,当将与文档文件a关联的文件图像104和与图像文件c关联的文件图像106连接或重合于助理图像50时,确定部28基于与文档文件a关联的扩展名,来判断文档文件a相当于主文件或从文件中的哪一种,并基于与图像文件c关联的扩展名,来判断图像文件c相当于主文件或从文件中的哪一种。设文档文件a的扩展名例如为“.docx”、图像文件c的扩展名例如为“.jpeg”。此时,文档文件a具有文档格式而相当于可编辑的文件,因此确定部28判断为文档文件a相当于主文件。而且,图像文件c具有图像格式而相当于不可编辑的文件,因此确定部28判断为图像文件c相当于从文件。当然,确定部28也可不基于扩展名来进行判断,而是通过各别地判断文档文件a与图像文件c,从而判断文档文件a与图像文件c是否相当于可编辑的文件。由于文档文件a相当于主文件,图像文件c相当于从文件,因此图像文件c中表示的图像相当于粘贴对象内容,文档文件a中表示的文档相当于所述图像的粘贴目标内容。此时,确定部28将“将图像插入文档中的功能”确定为联动功能。控制部26使与“将图像插入文档中的功能”相关的信息显示于ui部20的显示部。在由确定部28确定了多个联动功能的情况下,控制部26使与多个联动功能相关的信息显示于ui部20的显示部。而且,控制部26也可将与登记在图30所示的联动功能管理表中的多个联动功能中的基于文件的主从关系而确定的联动功能相关的信息,优先于与其他联动功能相关的信息而显示于ui部20的显示部。若举文档文件a与图像文件c为例来进行说明,则作为跟文档格式与图像格式的组合对应的联动功能,在联动功能管理表中登记有“将图像插入文档中的功能”与“将文档重叠于图像上的功能”(参照图30)。此时,确定部28将基于文件的主从关系而确定的“将图像插入文档中的功能”确定为优先顺位为“第1位”的联动功能,将“将文档重叠于图像上的功能”确定为优先顺位为“第2位”的联动功能。控制部26根据优先顺位,使与“将图像插入文档中的功能”相关的信息优先(例如上位)于与“将文档重叠于图像上的功能”相关的信息而显示于ui部20的显示部。而且,在基于文件的主从关系而确定了多个联动功能的情况下,控制部26也可基于用户对各联动功能的使用历史来决定各联动功能的优先顺位,并根据各联动功能的优先顺位,来使与各联动功能相关的信息显示于ui部20的显示部。例如,控制部26使与使用频率越高的联动功能相关的信息,越优先(例如上位)显示于ui部20的显示部。而且,在基于文件的主从关系而确定了多个联动功能的情况下,控制部26也可基于作为联动对象而选择的多个文件的关系性(即多个文件格式的关系性)来决定各联动功能的优先顺位,并根据各联动功能的优先顺位而使与各联动功能相关的信息显示于ui部20的显示部。例如,控制部26基于多个文件格式,对于由确定部28所确定的多个联动功能中所含的各联动功能,来决定使用可能性的高低。控制部26使与使用可能性越高的联动功能相关的信息,越优先(例如上位)显示于ui部20的显示部。例如,在文档格式与图像格式的组合中,预测为“将图像插入文档中的功能”的使用可能性要高于“将文档重叠于图像上的功能”。此时,控制部26使与“将图像插入文档中的功能”相关的信息优先于与“将文档重叠于图像上的功能”相关的信息而显示于ui部20的显示部。另外,在第4实施方式中,也与第1实施方式同样,也可在预定的限制时间内将多个文件的信息发送给操作助理时,显示跟与可所述多个文件的格式对应的联动文件相关的信息,当在所述限制时间内将一个文件的信息发送给操作助理时,显示跟与所述文件关联的功能相关的信息(例如与软件相关的信息)。例如,当用户从将文件图像104连接至助理图像50的时间点开始在限制时间内未将其他文件图像连接至助理图像50时,也可显示跟与文件图像104关联的功能(软件)相关的信息,还可启动所述软件。当用户在所述限制时间内将其他文件图像(例如文件图像106)连接至助理图像50时,显示与跟与文件图像104关联的文件的格式和与文件图像106关联的文件的格式的组合对应的联动文件相关的信息。进行将文件图像重合于助理图像50的操作时也同样。通过如此般设置限制时间,在第4实施方式中,也可切换联动功能或单独功能的提供。而且,在第4实施方式中,也可适用第1实施方式的变形例1至变形例10。例如,通过适用变形例1,在将文件图像重合于助理图像50时,既可显示与联动功能相关的信息,也可生成多个文件图像的重合结果即合成图像。另外,作为另一操作例,也可由用户选择多个文件图像(例如,通过进行在画面上圈住多个文件图像的操作来选择所述多个文件图像),并将所述多个文件图像统一连接或重合于助理图像50。通过此种操作,也将与所述多个文件图像各自关联的文件识别为联动对象文件。而且,通过适用变形例2,也可执行将文件图像吸入至助理图像50中的显示特效、或不存在可执行的联动功能时将文件图像从助理图像50吐出的显示特效。而且,通过适用变形例3,也可根据将文件图像连接至助理图像50的顺序或重合于助理图像50的顺序,来控制联动功能的显示。此时,与图16所示的联动功能管理表同样地,第4实施方式的联动功能管理表中也规定有文件图像的连接顺序与优先顺位。而且,通过适用变形例4,也可对文件图像内的每个部分进而分配不同的功能。此时,当将部分图像连接或重合于助理图像50时,显示与可利用与所述部分图像关联的功能来执行的联动功能相关的信息。而且,也可将变形例3、变形例4的组合适用于第4实施方式。而且,通过适用变形例5,也可根据操作助理所获得的信息来控制联动功能的显示。例如,操作助理也可通过学习功能来获取表示文件的利用历史的信息、表示软件的执行状况的信息、与用户相关的信息(表示操作历史或行动历史的信息)、表示用户日程的信息等,并使用这些信息来控制联动功能的显示。而且,通过适用变形例6,也可对每个文件(例如每个软件)分配操作助理,将与各文件关联的助理图像50显示于ui部20的显示部。各操作助理既可对分配给自身的文件(例如软件)进行管理,也可针对与分配给自身的文件相关的来自用户的询问而制作回答并发出。控制部26例如根据多个操作助理所共享的信息(例如软件的利用历史或软件的状态等信息),来改变与联动功能相关的信息。而且,通过适用变形例7,也可推荐作为联动对象的文件。例如,当用户将文件图像连接或重合于助理图像50时,确定部28也可通过参照联动功能管理表,来确定能以跟与所述文件图像关联的文件的组合来执行联动功能的文件(或文件格式)。而且,确定部28既可基于联动功能的使用历史来推荐文件(或文件格式),也可推荐使用频率相对较高的文件(或文件格式)或功能。而且,通过适用变形例8,操作助理也可基于与其他操作助理之间共享的信息,来推荐用于联动功能的文件(或文件格式)。而且,通过适用变形例9,也可通过语音输入来将与联动对象文件相关的信息输入至终端装置10。而且,通过适用变形例10,也可当文件图像在助理图像50上重合预定时间以上的期间时,将与所述文件图像关联的文件识别为联动对象文件。而且,在画面48上利用指示器进行绘描时也同样。第4实施方式中,确定部28也可确定与作为联动对象而发送给操作助理的多个文件的名称(文件名)相应的联动功能。在为此的联动功能管理表中,文件名的组合与联动功能彼此对应,确定部28通过参照所述联动功能管理表,来确定与发送给操作助理的文件的名称(文件名)的组合对应的联动功能。而且,确定部28也可基于发送给操作助理的文件的名称,来确定要追加内容的文件。例如,当在发送给操作助理的文件的名称(文件名)中,含有如字符串“总账”、“汇总”、“管理”、“统计”、“图表”、“表”、“清单(list)”等般暗示为对数据进行汇总的文件(即,设想或预测为要追加其他数据内容的文件)的字符串时,确定部28将所述文件识别为内容追加目标文件(相当于第2文件)。而且,确定部28将具有不含所述汇总用字符串的文件名的文件、或具有包含暗示为提供内容(材料)的文件的字符串的文件名的文件,识别为包含追加对象内容(追加对象材料)的文件(相当于第1文件)。例如,具有包含字符串“收据(receipt)”、“发票”、“个人数据”、“机器数据”等的文件名的文件不相当于所述汇总用文件,而且,可判断为提供内容(材料)的文件。例如,当将作为联动对象文件的文档文件a1、a2发送给操作助理时,若文档文件a1具有包含所述汇总用字符串的文件名,文档文件a2具有不含汇总用字符串而包含材料提供用字符串的文件名,则确定部28将进行使材料侧文档文件a2记入、复制、统计到汇总用文档文件a1中的处理等的联动功能,确定为优先的联动功能。控制部26使此优先的联动功能优先于其他联动功能而显示于ui部20。另外,联动对象的组合并不限定于所述第1实施方式至第4实施方式中的组合。例如,当选择机器、功能(包含由机器所执行的功能和由软件所执行的功能)、文件及软件中的至少两个的组合来作为联动对象时,也可对可使用所述组合来执行的联动功能的显示进行控制。例如,当将机器图像与文件图像发送给助理图像50时,确定部28确定可使用与所述机器图像关联的机器和与所述文件图像关联的文件来执行的联动功能,控制部26既可使与所述联动功能相关的信息显示于ui部20的显示部,也可使所述信息作为语音信息而输出,以作为与所述联动功能相关的信息的通知。若举具体例进行说明,则当将与多功能一体机b关联的机器图像和与文档文件关联的文件图像发送给助理图像50时,确定部28确定可使用多功能一体机b与文档文件来执行的联动功能(例如通过多功能一体机b来打印文档文件的功能、或通过多功能一体机b来传真发送文档文件的功能等)。控制部26控制与所述联动功能相关的信息的显示。同样,当将与软件关联的功能图像和文件图像发送给助理图像50时,确定部28确定可使用与所述功能图像关联的功能和与所述文件图像关联的文件来执行的联动功能,控制部26也可控制与所述联动功能相关的信息的通知。若举具体例进行说明,则当将与文档应用程序关联的功能图像和与文档文件关联的文件图像发送给助理图像50时,确定部28确定可使用文档应用程序和文档文件来执行的联动功能(例如通过文档应用程序来对文档文件进行编辑的功能或输出的功能等)。而且,当将机器图像、功能图像与文件图像发送给助理图像50时,确定部28确定可使用与所述机器图像关联的机器、与所述功能图像关联的功能(例如软件)、及与所述文件图像关联的文件来执行的联动功能,控制部26也可控制与所述联动功能相关的信息的通知。若举具体例来进行说明,则当将与多功能一体机b关联的机器图像、与文档应用程序关联的功能图像、及与文档文件关联的文件图像发送给助理图像50时,确定部28确定可使用多功能一体机b、文档应用程序及文档文件来执行的联动功能(例如,通过文档应用程序对文档文件进行编辑后输出至多功能一体机b,并通过多功能一体机b来对所述文档文件进行打印或传真发送的功能等)。所述具体例中的组合不过是一例,也可规定可将所述以外的机器、功能、文件、软件加以组合而执行的联动功能。而且,也可将机器、功能、文件及软件的信息通过语音而传达给操作助理。所述的第1实施方式至第4实施方式以及变形例1至变形例10也可适用于设定基于机器人过程自动化(roboticsprocessautomation,rpa)的自动执行处理时。例如,当由设定者将与机器、功能或文件相关的信息发送给操作助理时,将所述所发送的信息的组合、及与此组合对应的联动功能保存为设定内容,并依照所述设定内容来执行处理。作为rpa,例如也可进行数据输入或通过多个应用软件的组合可执行的作业等程式化处理、数据的收集或分析等处理、基于数据来进行学习判断的处理等。作为一例,所述终端装置10、机器12、14及服务器16各自是通过硬件与软件的协动来实现。具体而言,终端装置10、机器12、14及服务器16各自具备未图示的cpu等一个或多个处理器。所述一个或多个处理器通过读出未图示的存储装置中存储的程序来执行,从而实现终端装置10、机器12、14及服务器16各自的各部的功能。所述程序是经由光盘(compactdisc,cd)或数字通用光盘(digitalversatiledisk,dvd)等记录介质,或者经由网络(network)等通信路径而存储在存储装置中。作为另一例,终端装置10、机器12、14及服务器16各自的各部例如也可通过处理器、电子电路或专用集成电路(applicationspecificintegratedcircuit,asic)等硬件资源而实现。在此实现中,也可利用存储器等元件。作为又一例,终端装置10、机器12、14及服务器16各自的各部也可通过数字信号处理器(digitalsignalprocessor,dsp)或现场可编程门阵列(fieldprogrammablegatearray,fpga)等而实现。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1