本发明涉及信息处理设备和信息处理方法。
背景技术：
日本未审查专利申请公布no.2015-177504和no.2015-223006公开了用于使得多个装置彼此协作的技术。
然而，在一些情况下可能无法执行期望的协作功能。
技术实现要素：
因此，本发明的目的是在执行协作功能的情况下增加用户便利。
根据本发明的第一方面，提供了一种包括控制器的信息处理设备。如果指定与执行协作功能所需的第一装置有关的第一图像，则所述控制器执行控制以呈现指示能够与第一装置一起执行所述协作功能的第二装置的引导。
根据本发明的第二方面，如果进一步指定与不能与第一装置一起执行所述协作功能的装置有关的图像，则所述控制器执行控制以呈现所述引导。
根据本发明的第三方面，如果执行将第一图像和与不能与第一装置一起执行所述协作功能的装置有关的图像彼此链接的操作，则所述控制器执行控制以呈现所述引导。
根据本发明的第四方面，如果第一图像和与不能与第一装置一起执行所述协作功能的装置有关的图像彼此叠加，则所述控制器执行控制以呈现所述引导。
根据本发明的第五方面，如果指定包括在第一图像中的部分图像，则所述控制器执行控制以呈现指示能够和与所述部分图像对应的功能一起执行所述协作功能的所述第二装置的所述引导。
根据本发明的第六方面，作为呈现所述引导的控制，所述控制器执行控制以显示候选列表，该候选列表示出关于能够执行所述协作功能的一个或更多个第二装置的信息。
根据本发明的第七方面，如果从候选列表上的所述一个或更多个第二装置当中指定第二装置，则所述控制器执行控制以显示关于使用所指定的第二装置的所述协作功能的信息。
根据本发明的第八方面，所述控制器执行控制以在根据所述第一装置和所述第二装置被指定的顺序改变所述协作功能的同时显示所述协作功能。
根据本发明的第九方面，如果第一装置和第二装置被指定，则所述控制器进一步执行控制以呈现指示能够与所述第一装置和所述第二装置一起执行协作功能的第三装置的引导。
根据本发明的第十方面，所述控制器执行控制以在根据所述第一装置和所述第二装置被指定的顺序改变所述第三装置的同时呈现所述引导。
根据本发明的第十一方面，提供了一种包括控制器的信息处理设备。如果指定与执行协作功能所需的第一功能有关的第一图像，则所述控制器执行控制以呈现指示能够与第一功能一起执行所述协作功能的第二功能的引导。
根据本发明的第十二方面，如果进一步指定与不能与所述第一功能一起执行所述协作功能的功能有关的图像，则所述控制器执行控制以呈现所述引导.
根据本发明的第十三方面，如果执行将第一图像和与不能与所述第一功能一起执行所述协作功能的功能有关的图像彼此链接的操作，则所述控制器执行控制以呈现所述引导。
根据本发明的第十四方面，如果所述第一图像和与不能与所述第一功能一起执行所述协作功能的功能有关的图像彼此叠加，则所述控制器执行控制以呈现所述引导。
根据本发明的第十五方面，作为呈现所述引导的控制，所述控制器执行控制以显示候选列表，该候选列表示出关于能够执行所述协作功能的一个或更多个第二功能的信息。
根据本发明的第十六方面，在候选列表中所述一个或更多个第二功能布置的顺序基于所述一个或更多个第二功能的过去使用记录来确定。
根据本发明的第十七方面，所述控制器执行控制以在根据所述第一功能和所述第二功能被指定的顺序改变所述协作功能的同时显示所述协作功能。
根据本发明的第十八方面，如果所述第一功能和所述第二功能被指定，则所述控制器进一步执行控制以呈现指示能够与所述第一功能和所述第二功能一起执行协作功能的第三功能的引导。
根据本发明的第十九方面，所述控制器执行控制以在根据所述第一功能和所述第二功能被指定的顺序改变所述第三功能的同时呈现所述引导。
根据本发明的第二十方面，所述第一功能和所述第二功能被包括在预先注册的一组功能、一个或多个识别的装置的一组功能、显示在显示器上的一组功能、或者显示在显示器的画面的特定区域中的一组功能中。
根据本发明的第二十一方面，提供了一种信息处理方法，该信息处理方法包括：如果指定与执行协作功能所需的第一装置有关的第一图像，则执行控制以呈现指示能够与所述第一装置一起执行所述协作功能的第二装置的引导。
根据本发明的第二十二方面，提供了一种信息处理方法，该信息处理方法包括：如果指定与执行协作功能所需的第一功能有关的第一图像，则执行控制以呈现指示能够与所述第一功能一起执行所述协作功能的第二功能的引导。
根据本发明的第一、第九和第二十一方面，在执行协作功能的情况下用户便利增加。
根据本发明的第二或第十二方面，可避免在始终呈现引导的情况下可能出现的复杂性。
根据本发明的第三或第十三方面，执行控制以通过链接图像的操作来呈现引导。
根据本发明的第四或第十四方面，执行控制以通过叠加图像的操作来呈现引导。
根据本发明的第五方面，执行控制以呈现指示能够与装置的特定功能一起执行协作功能的装置的引导。
根据本发明的第六或第七方面，呈现能够执行协作功能的装置的列表。
根据本发明的第八或第十七方面，执行控制以显示估计要使用的协作功能。
根据本发明的第十方面，执行控制以呈现指示估计要使用的装置的引导。
根据本发明的第十一、第十八、第二十或第二十二方面，在指定执行协作功能所需的功能的情况下，用户便利增加。
根据本发明的第十五方面，呈现能够执行协作功能的功能的列表。
根据本发明的第十六方面，掌握各个装置的相对使用的记录变得容易。
根据本发明的第十九方面，执行控制以呈现指示估计要使用的功能的引导。
附图说明
将基于以下附图详细描述本发明的示例性实施方式，附图中：
图1是示出根据本发明的示例性实施方式的装置系统的框图；
图2是示出根据示例性实施方式的图像形成设备的框图；
图3是示出根据示例性实施方式的服务器的框图；
图4是示出根据示例性实施方式的终端设备的框图；
图5是示出图像形成设备的外观的示意图；
图6是示出装置功能管理表的示例的图；
图7是示出协作功能管理表的示例的图；
图8是示出单独使用的装置的图；
图9是示出功能显示画面的示例的图；
图10是示出功能显示画面的示例的图；
图11是示出彼此协作的目标装置的图；
图12是示出功能显示画面的示例的图；
图13是示出连接处理的顺序图；
图14a和图14b是示出装置显示画面的示例的图；
图15是示出根据示例1的装置显示画面的示例的图；
图16是示出根据示例2的装置显示画面的示例的图；
图17是示出根据示例3的装置显示画面的示例的图；
图18是示出根据示例3的装置显示画面的示例的图；
图19是示出根据示例3的装置显示画面的示例的图；
图20是示出根据示例3的装置显示画面的示例的图；
图21是示出根据示例4的装置显示画面的示例的图；
图22是示出根据示例4的装置显示画面的示例的图；
图23是示出根据示例5的装置显示画面的示例的图；
图24是示出根据示例5的装置显示画面的示例的图；
图25是示出根据示例5的画面的示例的图；
图26是示出根据示例6的装置选择画面的示例的图；
图27是示出根据示例7的装置选择画面的示例的图；
图28是示出根据示例7的装置选择画面的示例的图；
图29是示出根据示例7的功能选择画面的示例的图；
图30是示出根据示例7的画面的示例的图；
图31是示出根据示例7的消息的示例的图；
图32是示出根据示例7的消息的示例的图；
图33是示出根据示例8的装置选择画面的示例的图；
图34是示出根据示例8的装置选择画面的示例的图；
图35是示出根据示例8的画面的示例的图；
图36是示出协作功能管理表的示例的图；
图37a和图37b分别是示出装置显示画面的示例和功能显示画面的示例的图；
图38a和图38b分别是示出装置显示画面的示例和功能显示画面的示例的图；
图39是示出装置功能管理表的示例的图；
图40a和图40b分别是示出装置显示画面的示例和功能显示画面的示例的图；
图41是示出装置功能管理表的示例的图；
图42是示出协作功能管理表的示例的图；
图43a、图43b和图43c是示出显示在终端设备上的画面的示例的图；
图44a和图44b是示出显示在终端设备上的画面的示例的图；以及
图45a和图45b是示出显示在终端设备上的画面的示例的图。
具体实施方式
将参照图1描述用作根据本发明的示例性实施方式的信息处理系统的装置系统。图1示出根据示例性实施方式的装置系统的示例。
根据示例性实施方式的装置系统包括多个装置(例如，装置10和12)、作为外部设备的示例的服务器14以及作为信息处理设备的示例的终端设备16。装置10和12、服务器14以及终端设备16具有通过诸如网络的通信路径n彼此通信的功能。当然，装置10和12、服务器14以及终端设备16可通过不同的通信路径与另一设备通信。在图1所示的示例中，装置系统中包括两个装置(装置10和12)。装置系统中可包括三个或更多个装置。此外，装置系统中可包括多个服务器14和多个终端设备16。
装置10和12是具有特定功能的设备并且可以是例如具有图像形成功能的图像形成设备、个人计算机(pc)、投影仪、诸如液晶显示器或投影仪的显示设备、电话、时钟、监视相机等。装置10和12具有向另一设备发送数据以及从其接收数据的功能。在示例性实施方式中，例如，假设装置10是图像形成设备。图像形成设备(装置10)是具有扫描功能、打印功能、复印功能和传真功能中的至少一个的设备。
服务器14是管理各个装置的功能的设备。例如，服务器14管理各个装置的功能、使用多个功能的协作功能等。服务器14还具有向另一设备发送数据以及从其接收数据的功能。
服务器14可针对各个用户管理该用户可用的一个或更多个功能。例如，用户可用的功能是无偿提供给用户的功能或者有偿提供给用户并由用户购买的功能。服务器14可针对各个用户管理表示该用户可用的一个或更多个功能的可用功能信息(例如，功能购买历史信息)。当然，服务器14未必根据是否已经购买功能来管理功能，因为存在免费功能、附加更新功能以及由管理员管理的特殊功能。功能购买处理由例如服务器14执行。当然，功能购买处理可由另一设备执行。
终端设备16是诸如pc、平板pc、智能电话或移动电话的设备，并且具有向另一设备发送数据以及从其接收数据的功能。当使用装置时，终端设备16用作例如用户接口单元(ui单元)。
在根据示例性实施方式的装置系统中，如果指定与第一装置有关的第一图像，则执行控制以呈现指示能够与第一装置一起执行协作功能的第二装置的引导。另选地，如果指定与第一功能有关的第一图像，可执行控制以呈现指示能够与第一功能一起执行协作功能的第二功能的引导。
以下，将详细描述包括在根据示例性实施方式的装置系统中的各个设备。
将参照图2详细描述作为图像形成设备的装置10的配置。以下，装置10可被称为图像形成设备10。图2示出图像形成设备10的配置。
通信单元18是通信接口，并且具有向另一设备发送数据的功能以及从另一设备接收数据的功能。通信单元18可以是具有无线通信功能的通信接口，或者可以是具有有线通信功能的通信接口。
图像形成单元20具有图像形成功能。具体地，图像形成单元20具有扫描功能、打印功能、复印功能和传真功能中的至少一个。当执行扫描功能时，读取文档并且生成扫描数据(图像数据)。当执行打印功能时，在诸如纸张的记录介质上打印图像。当执行复印功能时，文档被读取并打印在记录介质上。当执行传真功能时，通过传真来发送或接收图像数据。另外，可执行使用多个功能的协作功能。例如，可执行作为扫描功能和传输(传送)功能的组合的扫描并传送功能。当执行扫描并传送功能时，读取文档，生成扫描数据(图像数据)，并且将扫描数据发送至目的地(例如，诸如终端设备16的外部设备)。当然，此协作功能仅是示例，可执行另一协作功能。
存储器22是诸如硬盘或存储器(例如，固态驱动器(ssd)等)的存储设备。存储器22存储例如表示图像形成指令的信息(例如，作业信息)、待打印的图像数据、通过执行扫描功能而生成的扫描数据、表示另一装置的地址的装置地址信息、表示服务器14的地址的服务器地址信息、各种控制数据以及各种程序。当然，这些信息和数据可被存储在不同的存储设备中或一个存储设备中。
ui单元24是用户接口单元，并且包括显示器和操作单元。显示器是诸如液晶显示器的显示设备。操作单元是诸如触摸屏或键盘的输入设备。当然，可使用充当显示器和操作单元二者的用户接口(例如，触摸显示器或者包括以电子方式显示键盘等的显示器的设备)。图像形成设备10未必包括ui单元24，可包括充当硬件的硬件用户接口单元(硬件ui单元)而非显示器。例如，硬件ui单元是专用于输入数字的硬件键区(例如，数字键区)或者专用于指示方向的硬件键区(例如，方向指示键区)。
控制器26控制图像形成设备10的各个单元的操作。
以下，将参照图3详细描述服务器14的配置。图3示出服务器14的配置。
通信单元28是通信接口，并且具有向另一设备发送数据的功能以及从另一设备接收数据的功能。通信单元28可以是具有无线通信功能的通信接口，或者可以是具有有线通信功能的通信接口。
存储器30是诸如硬盘或存储器(例如，ssd等)的存储设备。存储器30存储例如装置功能管理信息32、协作功能管理信息34、各种数据、各种程序、表示各个装置的地址的装置地址信息以及表示服务器14的地址的服务器地址信息。当然，这些信息和数据可被存储在不同的存储设备中或一个存储设备中。存储在存储器30中的装置功能管理信息32和协作功能管理信息34可周期性地或者按照指定定时提供给终端设备16，并且因此，存储在终端设备16中的信息可被更新。以下，将描述装置功能管理信息32和协作功能管理信息34。
装置功能管理信息32是用于管理各个装置的功能的信息，并且例如是表示用于识别装置的装置识别信息与表示该装置的一个或更多个功能的一条或更多条功能信息之间的对应关系的信息。装置识别信息包括例如装置id、装置名称、表示装置的类型的信息、装置的型号、表示装置的位置的信息(装置位置信息)以及表示装置的外观的外观图像。功能信息包括例如功能id和功能名称。例如，如果图像形成设备10具有扫描功能、打印功能、复印功能以及扫描并传送功能，则图像形成设备10的装置识别信息与表示扫描功能的功能信息、表示打印功能的功能信息、表示复印功能的功能信息以及表示扫描并传送功能的功能信息关联。通过参考装置功能管理信息32来确定(识别)各个装置的功能，
例如，通过装置功能管理信息32管理的装置是包括在装置系统中的装置(例如，装置10和12)。当然，未包括在装置系统中的装置也可通过装置功能管理信息32来管理。例如，服务器14可获得关于装置系统中未包括的新装置的信息(包括装置识别信息和功能信息的信息)并且可将该信息新注册在装置功能管理信息32中。关于装置的信息可利用互联网等来获得，或者可由管理员等输入。服务器14可按照某一定时、周期性地、或者按照管理员等指定的定时来更新装置功能管理信息32。因此，表示更新前装置没有并且更新后装置有的功能的功能信息可被注册在装置功能管理信息32中。此外，表示更新前装置有并且更新后装置没有的功能的功能信息可从装置功能管理信息32删除，并且可被注册为不可用信息。用于更新的信息可利用互联网等获得，或者可由管理员等输入。
协作功能管理信息34是用于管理协作功能的信息，各个协作功能通过多个功能之间的协作来执行。通过多个功能之间的协作来执行一个或多个协作功能。各个协作功能可通过一个装置(例如，装置10或12)的多个功能之间的协作来执行，或者可通过多个装置(例如，装置10和12)的多个功能之间的协作来执行。提供操作指令的终端设备(在示例性实施方式中，终端设备16)可包括在要识别的装置中，并且终端设备的功能可用作协作功能的一部分。
协作功能可以是在不使用硬件装置的情况下执行的功能。例如，协作功能可以是通过多个软件单元之间的协作执行的功能。当然，协作功能可以是通过硬件装置的功能与通过软件实现的功能之间的协作执行的功能。
例如，协作功能管理信息34是这样的信息，其表示：表示协作功能中所使用的各个功能的功能信息的组合与表示协作功能的协作功能信息之间的对应关系。例如，协作功能信息包括协作功能id和协作功能名称。如果单个功能被更新，则协作功能管理信息34也根据该更新而更新。因此，使用更新前彼此无法协作的多个功能的协作功能在更新后可能变得可用，或者在更新前可用的协作功能在更新后可能变得不可用。表示更新后变得可用的协作功能的协作功能信息被注册在协作功能管理信息34中，并且表示更新后变得不可用的协作功能的协作功能信息从协作功能管理信息34删除或者被注册为不可用信息。
在使得多个装置彼此协作的情况下，协作功能管理信息34是用于管理使用所述多个装置的多个功能的一个或更多个协作功能的信息，并且是表示识别用于所述一个或更多个协作功能的各个装置的装置识别信息的组合与协作功能信息的对应关系的信息。如果装置功能管理信息32被更新，则协作功能管理信息34也根据该更新而更新。因此，使用在更新前无法彼此协作的多个装置的协作功能可能变得可用，或者在更新前可用的协作功能在更新后可能变得不可用。
协作功能可以是通过多个不同功能之间的协作执行的功能，或者可以是通过相同功能之间的协作执行的功能。协作功能可以是在不协作的情况下不可用的功能。在不协作的情况下不可用的功能可以是通过将彼此协作的目标装置的功能当中的相同功能组合而变得可用的功能，或者通过将彼此协作的目标装置的功能当中的不同功能组合而变得可用的功能。例如，具有打印功能的装置(打印机)与具有扫描功能(扫描仪)的装置之间的协作实现复印功能作为协作功能。即，打印功能与扫描功能之间的协作实现复印功能。在这种情况下，作为协作功能的复印功能与打印功能和扫描功能的组合关联。在协作功能管理信息34中，例如，表示作为协作功能的复印功能的协作功能信息与用于识别具有打印功能的装置的装置识别信息和用于识别具有扫描功能的装置的装置识别信息的组合关联。
存储器30可存储可用功能管理信息。可用功能管理信息是用于管理各个用户可用的一个或更多个功能的信息，并且例如是表示用于识别用户的用户识别信息与表示该用户可用的一个或更多个功能的一条或更多条功能信息(可包括协作功能信息)之间的对应关系的信息。如上所述，例如，用户可用的功能是无偿提供给用户的功能或者用户所购买的功能，并且可以是单个功能或协作功能。例如，用户识别信息是诸如用户id和用户名的用户账户信息。通过参考可用功能管理信息来确定(识别)各个用户可用的功能。每次向用户提供功能时(例如，每次有偿或无偿地向用户提供功能时)，可用功能管理信息被更新。
控制器36控制服务器14的各个单元的操作。控制器36包括确定单元38。
确定单元38接收用于识别装置的装置识别信息并且在存储在存储器30中的装置功能管理信息32中确定与该装置识别信息关联的表示一个或更多个功能的一条或更多条功能信息。因此，确定(识别)装置的一个或更多个功能。例如，从终端设备16向服务器14发送装置识别信息，然后，确定单元38确定与该装置识别信息关联的表示一个或更多个功能的一条或更多条功能信息。例如，关于所述一个或更多个功能的信息(例如，功能信息和功能说明信息)从服务器14发送至终端设备16并被显示在终端设备16上。因此，关于通过装置识别信息确定的装置的一个或更多个功能的信息被显示在终端设备16上。
此外，确定单元38接收用于识别彼此协作的目标装置的多条装置识别信息，并且在存储在存储器30中的协作功能管理信息34中确定与所述多条装置识别信息的组合关联的表示一个或更多个协作功能的一条或更多条协作功能信息。因此，确定(识别)通过彼此协作的目标装置的功能之间的协作执行的一个或更多个协作功能。例如，从终端设备16向服务器14发送多条装置识别信息，然后，确定单元38确定与所述多条装置识别信息关联的表示一个或更多个协作功能的一条或更多条协作功能信息。例如，关于所述一个或更多个协作功能的信息(例如，协作功能信息和协作功能说明信息)从服务器14发送至终端设备16并被显示在终端设备16上。因此，关于由通过所述多条装置识别信息确定的多个装置执行的一个或更多个协作功能的信息被显示在终端设备16上。
例如，如果一个装置被识别(例如，如果一个装置被拍摄)，则确定单元38可接收用于识别该装置的装置识别信息，并且可在装置功能管理信息32中确定与该装置识别信息关联的表示一个或更多个功能的一条或更多条功能信息。因此，如果一个装置被识别(例如，如果一个装置被拍摄)，则确定(识别)该装置的一个或更多个功能。如果多个装置被识别(例如，如果多个装置被拍摄)，则确定单元38可接收用于识别所述多个装置中所包括的各个装置的多条装置识别信息，并且可在协作功能管理信息34中确定与所述多条装置识别信息的组合关联的表示一个或更多个协作功能的一条或更多条协作功能信息。因此，如果多个装置被识别(例如，如果多个装置被拍摄)，则确定(识别)使用所述多个装置的功能的一个或更多个协作功能。
确定单元38可接收表示协作功能中所使用的各个功能的多条功能信息，并且可在存储在存储器30中的协作功能管理信息34中确定与所述多条功能信息的组合关联的表示一个或更多个协作功能的一条或更多条协作功能信息。因此，确定(识别)通过目标功能之间的协作执行的一个或更多个协作功能。例如，从终端设备16向服务器14发送多条功能信息，然后，确定单元38确定与所述多条功能信息关联的表示一个或更多个协作功能的一条或更多条协作功能信息。按照与上述方式相似的方式，关于由通过所述多条功能信息确定的多个功能执行的一个或更多个协作功能的信息被显示在终端设备16上。
如果管理用户可用的功能，则确定单元38可接收用于识别用户的用户识别信息，并且可在存储在存储器30中的可用功能管理信息中确定与该用户识别信息关联的表示各个功能的功能信息。因此，确定(识别)用户可用的一组功能。例如，从终端设备16向服务器14发送用户识别信息，并且由确定单元38确定与该用户识别信息关联的表示各个功能的功能信息。例如，关于用户可用的各个功能的信息(例如，表示各个功能的名称的信息)从服务器14发送至终端设备16并被显示在终端设备16上。因此，关于通过用户识别信息确定的用户可用的各个功能的信息被显示在终端设备16上。例如，确定单元38接收装置识别信息和用户识别信息，在装置功能管理信息32中确定与该装置识别信息关联的表示一个或更多个功能的一条或更多条功能信息，并且还在可用功能管理信息中确定与该用户识别信息关联的表示一个或更多个功能的一条或更多条功能信息。因此，确定通过装置识别信息确定的装置所具有的并且对通过用户识别信息确定的用户可用的一个或更多个功能。
控制器36可执行功能购买处理并且可管理购买历史。例如，如果用户购买付费功能，则控制器36可对用户应用收费处理。
控制器36可执行与图像处理有关的功能，例如字符识别功能、翻译功能、图像处理功能和图像形成功能。当然，控制器36可执行与图像处理以外的处理有关的功能。当执行字符识别功能时，识别图像中的字符并且生成表示字符的字符数据。当执行翻译功能时，将图像中的字符翻译成由特定语言表示的字符，并且生成表示翻译的字符的字符数据。当执行图像处理功能时，图像被处理。例如，控制器36可从图像形成设备10接收通过扫描功能的执行生成的扫描数据，并且可对扫描数据执行与图像处理有关的功能，诸如字符识别功能、翻译功能或图像处理功能。控制器36可从终端设备16接收图像数据并且对图像数据执行各个功能。例如，由控制器36生成的字符数据或图像数据从服务器14发送至终端设备16。服务器14可用作外部装置，并且协作功能可以是使用包括服务器14的多个装置的功能的功能。
以下，将参照图4详细描述终端设备16的配置。图4示出终端设备16的配置。
通信单元40是通信接口，并且具有向另一设备发送数据的功能以及从另一设备接收数据的功能。通信单元40可以是具有无线通信功能的通信接口，或者可以是具有有线通信功能的通信接口。
充当拍摄单元的相机42拍摄对象，从而生成图像数据(例如，静止图像数据或运动图像数据)。另选地，代替使用终端设备16的相机42，由连接至诸如网络的通信路径的外部相机捕获的图像数据可由通信单元40接收，并且可被显示在ui单元46上，以使得该图像数据可由用户操作。
存储器44是诸如硬盘或存储器(例如，ssd等)的存储设备。存储器44存储各种程序、各种数据、服务器14的地址信息、各个装置的地址信息(例如，装置10和12的地址信息)、关于识别的装置的信息、关于识别的彼此协作的目标装置的信息、关于识别的装置的功能的信息以及关于协作功能的信息。
ui单元46是用户接口单元，并且包括显示器和操作单元。显示器是诸如液晶显示器的显示设备。操作单元是诸如触摸屏、键盘或鼠标的输入设备。当然，可使用充当显示器和操作单元二者的用户接口(例如，触摸显示器或者包括以电子方式显示键盘等的显示器的设备)。
控制器48控制终端设备16的各个单元的操作。控制器48用作例如显示控制器(控制器)并且使得ui单元46的显示器显示各种信息。
ui单元46的显示器显示例如由相机42捕获的图像、与被识别为要使用的目标装置的装置(例如，单独使用的装置或协作的目标装置)有关的图像、与功能有关的图像等。与装置有关的图像可以是表示由相机42捕获的装置的图像(静止图像或运动图像)，或者可以是示意性地表示装置的图像(例如，图标)。示意性地表示装置的图像的数据可被存储在服务器14中并从服务器14提供给终端设备16，可被预先存储在终端设备16中，或者可被存储在另一设备中并从所述另一设备提供给终端设备16。与功能有关的图像例如是表示功能的图标等的图像。
上述装置功能管理信息32可被存储在终端设备16的存储器44中。在这种情况下，装置功能管理信息32未必被存储在服务器14的存储器30中。此外，上述协作功能管理信息34可被存储在终端设备16的存储器44中。在这种情况下，协作功能管理信息34未必被存储在服务器14的存储器30中。终端设备16的控制器48可包括上述确定单元38，其可通过基于装置识别信息识别装置来确定装置的一个或更多个功能并且可确定使用多个功能的一个或更多个协作功能。在这种情况下，服务器14未必包括确定单元38.
如果可用功能管理信息被创建，则可用功能管理信息可被存储在终端设备16的存储器44中。在这种情况下，可用功能管理信息未必被存储在服务器14的存储器30中。终端设备16的控制器48可管理用户的功能购买历史。在这种情况下，服务器14的控制器36未必具有用于其的管理功能。终端设备16的控制器48可基于用户识别信息来确定用户可用的一个或更多个功能。
另选地，装置功能管理信息32和协作功能管理信息34可被存储在诸如装置10或12的装置中，并且诸如装置10或12的装置可包括确定单元38。即，通过服务器14的确定单元38的处理(例如，识别装置的处理、识别功能的功能、或者识别协作功能的处理)可在服务器14中执行，可在终端设备16中执行，或者可在诸如装置10或12的装置中执行。
在示例性实施方式中，例如，应用增强现实(ar)技术以获得装置识别信息并识别装置。例如，应用ar技术以获得单独使用的装置的装置识别信息并识别该装置，并且还获得彼此协作的目标装置的装置识别信息并识别所述目标装置。使用根据现有技术的ar技术。例如，使用诸如二维条形码的标记的基于标记的ar技术、使用图像识别技术的无标记ar技术、使用位置信息的位置信息ar技术等被使用。当然，可获得装置识别信息并且可在不应用ar技术的情况下识别装置。例如，在连接至网络的装置的情况下，可基于其ip地址或者通过读取其装置id来识别装置。另外，在具有基于红外通信、可见光通信、无线保真(wi-fi，注册商标)或bluetooth(注册商标)的各种类型的无线通信功能的装置或终端设备的情况下，可通过获得其装置id来识别利用无线通信功能彼此协作的装置，并且可执行协作功能。
以下，将参照图5详细描述获得装置识别信息的处理。作为示例，将描述获得图像形成设备10的装置识别信息的情况。图5示意性地示出图像形成设备10的外观。这里，将描述通过应用基于标记的ar技术来获得装置识别信息的处理。图像形成设备10的外壳附着有诸如二维条形码的标记50。标记50是通过对图像形成设备10的装置识别信息进行编码而获得的信息。用户启动终端设备16的相机42并利用相机42拍摄附着到作为要使用的目标的图像形成设备10的标记50。因此，生成表示标记50的图像数据。例如，从终端设备16将图像数据发送至服务器14。在服务器14中，控制器36对图像数据所表示的标记图像执行解码处理，从而提取装置识别信息。因此，识别要使用的图像形成设备10(附着有拍摄的标记50的图像形成设备10)。服务器14的确定单元38在装置功能管理信息32中确定与所提取的装置识别信息关联的功能的功能信息。因此，确定(识别)要使用的图像形成设备10的功能。
另选地，终端设备16的控制器48可对表示标记50的图像数据执行解码处理以提取装置识别信息。在这种情况下，从终端设备16将所提取的装置识别信息发送至服务器14。服务器14的确定单元38在装置功能管理信息32中确定表示与从终端设备16发送来的装置识别信息关联的功能的功能信息。如果装置功能管理信息32被存储在终端设备16的存储器44中，则终端设备16的控制器48可在装置功能管理信息32中确定表示与所提取的装置识别信息关联的功能的功能信息。
标记50可包括表示图像形成设备10的功能的编码的功能信息。在这种情况下，通过对表示标记50的图像数据执行解码处理，提取图像形成设备10的装置识别信息并且还提取表示图像形成设备10的功能的功能信息。因此，确定(识别)图像形成设备10并且还确定(识别)图像形成设备10的功能。解码处理可由服务器14或终端设备16执行。
在执行使用多个装置的功能的协作功能的情况下，拍摄彼此协作的目标装置的标记以获得装置的装置识别信息，从而确定(识别)协作功能。
在通过应用无标记ar技术来获得装置识别信息的情况下，例如，用户利用终端设备16的相机42拍摄要使用的装置(例如，图像形成设备10)的整个外部或部分外观。当然，通过拍摄装置的外观来获得诸如装置名称(例如，商品名)或型号的用于确定要使用的装置的信息是有用的。作为拍摄的结果，生成表示要使用的装置的整个外观或部分外观的外观图像数据。例如，从终端设备16将外观图像数据发送至服务器14。在服务器14中，控制器36基于外观图像数据来识别要使用的装置。例如，服务器14的存储器30针对各个装置存储外观图像对应信息，其表示：表示装置的整个外观或部分外观的外观图像数据与装置的装置识别信息之间的对应关系。控制器36例如将从终端设备16接收的外观图像数据与包括在外观图像对应信息中的各条外观图像数据进行比较，并且基于比较结果确定要使用的装置的装置识别信息。例如，控制器36从接收自终端设备16的外观图像数据提取要使用的装置的外观的特征，在包括在外观图像对应信息中的外观图像数据组中确定表示与该外观的特征相同或相似的特征的外观图像数据，并且确定与该外观图像数据关联的装置识别信息。因此，识别出要使用的装置(由相机42拍摄的装置)。又如，如果拍摄装置的名称(例如，商品名)或型号并且生成表示该名称或型号的外观图像数据，则可基于外观图像数据所表示的名称或型号来识别要使用的装置。服务器14的确定单元38在装置功能管理信息32中确定表示与所确定的装置识别信息关联的各个功能的功能信息。因此，确定要使用的装置(例如，图像形成设备10)的功能。
另选地，终端设备16的控制器48可将表示要使用的装置(例如，图像形成设备10)的整个外观或部分外观的外观图像数据与包括在外观图像对应信息中的各条外观图像数据进行比较，并且可基于比较结果确定要使用的装置的装置识别信息。外观图像对应信息可被存储在终端设备16的存储器44中。在这种情况下，终端设备16的控制器48参考存储在终端设备16的存储器44中的外观图像对应信息，从而确定要使用的装置的装置识别信息。另选地，终端设备16的控制器48可从服务器14获得外观图像对应信息并且可参考该外观图像对应信息，以确定要使用的装置的装置识别信息。
在执行使用多个装置的多个功能的协作功能的情况下，拍摄彼此协作的各个装置的整个外观或部分外观以获得装置的装置识别信息，从而确定(识别)协作功能。
在通过应用位置信息ar技术来获得装置识别信息的情况下，例如，利用全球定位系统(gps)功能获得表示装置(例如，图像形成设备10)的位置的位置信息。例如，各个装置具有gps功能并且获得表示装置的位置的装置位置信息。终端设备16向要使用的装置输出表示获得装置位置信息的请求的信息，并且作为对该请求的响应，从装置接收装置的装置位置信息。例如，从终端设备16将装置位置信息发送至服务器14。在服务器14中，控制器36基于装置位置信息来识别要使用的装置。例如，服务器14的存储器30针对各个装置存储位置对应信息，其表示：表示装置的位置的装置位置信息与装置的装置识别信息之间的对应关系。控制器36在位置对应信息中确定与从终端设备16接收的装置位置信息关联的装置识别信息。因此，确定(识别)要使用的装置。服务器14的确定单元38在装置功能管理信息32中确定表示与所确定的装置识别信息关联的各个功能的功能信息。因此，确定(识别)要使用的装置(例如，图像形成设备10)的功能。
终端设备16的控制器48可在位置对应信息中确定与要使用的装置的位置信息关联的装置识别信息。位置对应信息可被存储在终端设备16的存储器44中。在这种情况下，终端设备16的控制器48参考存储在终端设备16的存储器44中的位置对应信息，从而确定要使用的装置的装置识别信息。另选地，终端设备16的控制器48可从服务器14获得位置对应信息并且参考该位置对应信息，以确定要使用的装置的装置识别信息。
在执行使用多个装置的协作功能的情况下，获得彼此协作的装置的装置位置信息并且基于所述装置位置信息确定装置的装置识别信息。因此，确定(识别)协作功能。
以下，将进一步详细描述根据示例性实施方式的装置系统。
将参照图6详细描述装置功能管理信息32。图6示出作为装置功能管理信息32的装置功能管理表的示例。在装置功能管理表中，例如，装置id、表示装置名称(例如，装置类型)的信息、表示装置的一个或更多个功能的信息(功能信息)以及图像id彼此关联。装置id和装置名称对应于装置识别信息的示例。图像id是用于识别表示装置的图像(例如，表示装置的外观的图像或者示意性地表示装置的图像(例如，图标))的图像识别信息的示例。装置功能管理表未必包括图像id。例如，具有装置id“b”的装置是多功能外设(mfp，具有多个图像形成功能的图像形成设备)并且具有打印功能、扫描功能、等等。用于识别表示装置的图像的图像id与该装置关联。表示装置的图像的数据被存储在例如服务器14的存储器30或另一设备中。
例如，利用ar技术，获得用于识别要使用的装置的装置id。服务器14的确定单元38通过参考装置功能管理表来确定装置的名称、装置的一个或更多个功能、和与该装置id关联的图像id。因此，识别出要使用的装置。例如，表示装置名称的信息以及表示装置的图像的数据从服务器14发送至终端设备16，然后它们被显示在终端设备16的ui单元46上。表示装置的图像作为与装置有关的图像而显示。当然，由相机42捕获的图像可显示在终端设备16的ui单元46上。如果用户在终端设备16的ui单元46上指定与装置有关的图像(例如，由相机42捕获的图像或者示意性地表示装置的图像)，则关于装置的一个或更多个功能的信息(例如，功能信息或功能说明信息)可从服务器14发送至终端设备16并且可显示在终端设备16的ui单元46上。
接下来，将参照图7详细描述协作功能管理信息34。图7示出协作功能管理信息34作为协作功能管理表的示例。在协作功能管理表中，例如，装置id的组合、表示彼此协作的目标装置的名称(类型)的信息以及表示一个或更多个协作功能的信息(协作功能信息)彼此关联。例如，具有装置id“a”的装置是个人计算机(pc)，具有装置id“b”的装置是mfp。pc(a)与mfp(b)之间的协作实现例如扫描并传送功能和打印功能作为协作功能。扫描并传送功能是将通过mfp(b)的扫描生成的图像数据传送至pc(a)的功能。打印功能是将存储在pc(a)中的数据(例如，图像数据或文档数据)发送至mfp(b)并通过mfp(b)打印该数据的功能。
以下，将参照图8描述单独使用装置的情况下的处理。图8示出单独使用的装置的示例。例如，假设图像形成设备10是单独使用的装置。图像形成设备10例如是mfp。图像形成设备10是存在于真实空间中的装置。图8所示的终端设备16是存在于真实空间中的装置，并且例如是诸如智能电话或移动电话的移动终端设备。
例如，图像形成设备10的外壳附着有诸如二维条形码的标记50。在使用基于标记的ar技术或无标记ar技术的情况下，用户利用终端设备16(例如，智能电话)的相机42拍摄要使用的图像形成设备10。因此，生成表示标记50的图像数据或者表示图像形成设备10的外观的外观图像数据。在终端设备16的ui单元46的显示器上显示装置显示画面52，并且在装置显示画面52上显示与图像形成设备10有关的装置图像54。装置图像54例如是通过由相机42拍摄而生成的图像(具有拍摄时的原始尺寸或者增大或缩小的尺寸)。
通过由相机42拍摄而生成的图像数据从终端设备16发送至服务器14。在服务器14中，控制器36对图像数据执行解码处理以提取图像形成设备10的装置识别信息，并且因此，识别出图像形成设备10。另选地，可生成表示图像形成设备10的外观的外观图像数据，并且该外观图像数据可从终端设备16发送至服务器14。在这种情况下，在服务器14中，控制器36通过参考外观图像对应信息来确定图像形成设备10的装置识别信息。因此，识别出图像形成设备10。
服务器14的确定单元38通过参考装置功能管理信息32(例如，图6所示的装置功能管理表)来确定(识别)图像形成设备10的功能。这将参照图6详细描述。例如，假设图像形成设备10是“mfp(b)”。确定单元38在图6所示的装置功能管理表中确定与mfp(b)关联的功能。因此，确定mfp(b)的功能。关于所确定的功能的信息从服务器14发送至终端设备16。当然，用于识别装置和功能的处理可由终端设备16执行。
在装置显示画面52上，代替通过由相机42拍摄而生成的图像，与所识别的图像形成设备10有关的预备图像(不是通过拍摄获得的图像，而是示意图像(例如，图标))或者通过由外部相机拍摄而生成的图像可作为装置图像54显示。
例如，在使用通过拍摄装置而获得的图像数据的情况下，当前状态的装置的外观(例如，包括刮痕、便条、附着到装置的贴纸等的外观)被反映在图像中，因此，用户能够更清楚地从视觉上识别出与同一类型的另一装置的差异。
在使用示意图像的情况下，例如，示意图像的数据从服务器14发送至终端设备16。例如，当图像形成设备10被识别时，服务器14的确定单元38通过参考图6所示的装置功能管理表(装置功能管理信息32)来确定与图像形成设备10有关的示意图像。示意图像的数据从服务器14发送至终端设备16，并且示意图像作为装置图像54显示在装置显示画面52上。示意图像的数据可被预先存储在终端设备16中。在这种情况下，当图像形成设备10被识别时，存储在终端设备16中的装置图像54被显示在装置显示画面52上。示意图像的数据可被存储在服务器14和终端设备16以外的设备中。
此外，当装置被识别时，表示装置名称的信息可从服务器14发送至终端设备16，并且装置名称可被显示在终端设备16中的装置显示画面52上。在图8所示的示例中，图像形成设备10是mfp，并且其名称“mfp(b)”被显示。
在确定图像形成设备10的功能之后，终端设备16的控制器48使得终端设备16的ui单元46显示功能显示画面56，并且使得关于功能的信息显示在功能显示画面56上，如图9所示。作为关于功能的信息，例如，显示用于提供执行功能的指令的按钮图像。作为图像形成设备10的mfp(b)具有例如打印功能、扫描功能、复印功能和传真功能，因此，用于提供执行这些功能的指令的按钮图像被显示在功能显示画面56上。例如，当用户利用终端设备16指定表示打印功能的按钮图像并提供执行打印功能的指令时，表示执行打印功能的指令的执行指令信息从终端设备16发送至图像形成设备10。执行指令信息包括用于执行打印功能的控制数据、诸如应用打印功能的图像数据的数据、等等。响应于执行指令信息的接收，图像形成设备10根据执行指令信息执行打印。
图10示出功能显示画面的另一示例。功能显示画面58是在如图8所示使用单个装置的情况下显示在终端设备16的ui单元46上的画面。如上所述，确定要使用的装置(例如，图像形成设备10)并且确定要使用的装置的功能。可确定表示与使用目标装置的用户的用户识别信息关联的功能(即，用户可用的功能)的功能信息。另外，由于要使用的装置的功能被确定，所以可确定要提供的一组功能当中要使用的装置所没有的功能。这些信息可被显示在功能显示画面58上。
在图10所示的功能显示画面58上，表示功能a的按钮图像60、表示功能b的按钮图像62以及表示功能c的按钮图像64被显示作为功能信息的示例。功能a是要使用的装置(例如，所识别的图像形成设备10)的功能并且是用户可用的功能。功能b是要使用的装置的功能并且是用户不可用的功能。通过向用户提供功能b，用户变得能够使用功能b。如果功能b是付费功能，则通过购买功能b，用户变得能够使用功能b。如果功能b是免费功能，则通过向用户无偿提供功能b，用户变得能够使用功能b。功能c是要使用的装置所没有的功能，即，不与要使用的装置兼容的功能。根据按钮图像所表示的功能是不是要使用的装置的功能，终端设备16的控制器48可改变按钮图像的显示形式。此外，根据按钮图像所表示的功能是不是用户可用的功能，控制器48可改变按钮图像的显示形式。例如，控制器48可改变各个按钮图像的颜色或形状。在图10所示的示例中，按钮图像60、62和64以不同的颜色显示。例如，表示要使用的装置有并且用户可用的功能的按钮图像(例如，表示功能a的按钮图像60)以蓝色来显示。表示要使用的装置有并且用户不可用的功能的按钮图像(例如，表示功能b的按钮图像62)以黄色来显示。表示要使用的装置所没有的功能的按钮图像(例如，表示功能c的按钮图像64)以灰色来显示。另选地，控制器48可改变按钮图像60、62和64的形状，或者可改变功能显示名称的字体。当然，可按照另一方法来改变显示形式。因此，用户可以增强的可视性识别各个功能的可用性。
例如，如果用户利用终端设备16指定表示功能a的按钮图像60并提供执行功能a的指令，则表示执行功能a的指令的执行指令信息从终端设备16发送至要使用的目标装置。执行指令信息包括用于执行功能a的控制数据、要经受功能a的处理的图像数据、等等。响应于执行指令信息的接收，目标装置根据执行指令信息执行功能a。例如，如果目标装置是图像形成设备10并且如果功能a是扫描并传送功能，则图像形成设备10的图像形成单元20执行扫描功能以生成扫描数据(图像数据)。然后，扫描数据从图像形成设备10发送至所设定的目的地(例如，终端设备16)。
如果用户利用终端设备16指定表示功能b的按钮图像62并提供执行功能b的指令，则执行提供处理。如果该提供处理由服务器14执行，则终端设备16访问服务器14。因此，作为使得用户能够使用功能b的信息，用于提供功能b的画面(例如，网站)被显示在终端设备16的ui单元46上。通过在该画面上进行提供(provision)过程，用户变得能够使用功能b。例如，终端设备16存储web浏览器的程序。利用该web浏览器，用户能够从终端设备16访问服务器14。当用户利用web浏览器访问服务器14时，功能提供画面(例如，网站)被显示在终端设备16的ui单元46上，并且通过该网站向用户提供功能。当然，提供处理可由不同于服务器14的服务器执行。另选地，作为使得用户能够使用功能b的信息，用于向管理员等请求使用功能b的使用许可请求画面(例如，网站)可被显示在终端设备16的ui单元46上。如果用户通过使用许可请求画面向管理员等请求使用功能b的许可并且如果获得许可，则用户能够使用功能b。
以下，将参照图11描述使用协作功能的情况下的处理。图11示出彼此协作的目标装置的示例。例如，假设图像形成设备10以及作为装置12的投影仪(以下可称为投影仪12)用作目标装置。图像形成设备10、投影仪12和终端设备16是存在于真实空间中的装置。
例如，诸如二维条形码的标记50被附着到图像形成设备10的外壳，并且诸如二维条形码的标记66被附着到投影仪12的外壳。标记66是通过对投影仪12的装置识别信息进行编码而获得的信息。如果使用基于标记的ar技术或无标记ar技术，则用户利用终端设备16(例如，智能电话)的相机42拍摄作为彼此协作的目标装置的图像形成设备10和投影仪12。在图11所示的示例中，在图像形成设备10和投影仪12二者均在相机42的视野内的状态下一起拍摄图像形成设备10和投影仪12。因此，生成表示标记50和66的图像数据。装置显示画面68被显示在终端设备16的ui单元46的显示器上。在装置显示画面68上，显示与图像形成设备10有关的装置图像70以及与投影仪12有关的装置图像72。装置图像70和72是通过例如由相机42拍摄而生成的图像(具有拍摄时的原始尺寸或者增大或缩小的尺寸)。
通过由相机42拍摄而生成的图像数据从终端设备16发送至服务器14。在服务器14中，控制器36对图像数据执行解码处理以提取图像形成设备10的装置识别信息和投影仪12的装置识别信息，并且因此，识别出图像形成设备10和投影仪12。另选地，表示图像形成设备10和投影仪12的外观的外观图像数据可被生成并从终端设备16发送至服务器14。在这种情况下，在服务器14中，控制器36通过参考外观图像对应信息来确定图像形成设备10的装置识别信息和投影仪12的装置识别信息。因此，识别出图像形成设备10和投影仪12。
服务器14的确定单元38通过参考协作功能管理信息34(例如，图7所示的协作功能管理表)来确定(识别)使用图像形成设备10的功能和投影仪12的功能的一个或更多个协作功能。这将参照图7详细描述。例如，假设图像形成设备10是mfp(b)并且投影仪12是投影仪(c)。确定单元38在图7所示的协作功能管理表中确定与mfp(b)和投影仪(c)的组合关联的协作功能。因此，确定通过mfp(b)和投影仪(c)之间的协作执行的协作功能。关于所确定的协作功能的信息从服务器14发送至终端设备16。当然，用于识别装置和协作功能的处理可由终端设备16执行。
在装置显示画面68上，代替通过由相机42拍摄而生成的图像，与所识别的图像形成设备10有关的预备图像(例如，诸如图标的示意图像)或者通过由外部相机拍摄而生成的图像可被显示作为装置图像70。此外，与所识别的投影仪12有关的预备图像或者通过由外部相机拍摄而生成的图像可被显示作为装置图像72。如上所述，示意图像的数据可从服务器14发送至终端设备16，可被预先存储在终端设备16中，或者可被存储在另一设备中。
当装置被识别时，表示装置名称的信息可从服务器14发送至终端设备16，并且装置名称可被显示在终端设备16中的装置显示画面68上。在图11所示的示例中，显示图像形成设备10的名称“mfp(b)”和投影仪12的名称“投影仪(c)”。
如果多个装置被拍摄，则服务器14的确定单元38可通过参考装置功能管理信息32来确定各个装置的功能。在图11所示的示例中，确定单元38可确定图像形成设备10的功能和投影仪12的功能。关于所确定的功能的信息可从服务器14发送至终端设备16。
在确定协作功能之后，终端设备16的控制器48使得终端设备16的ui单元46显示功能显示画面74并且使得关于协作功能的信息显示在功能显示画面74上，如图12所示。作为关于协作功能的信息，例如，显示用于提供执行协作功能的指令的按钮图像。mfp(b)与投影仪(c)之间的协作使得能够执行由投影仪(c)投影通过由mfp(b)扫描而生成的图像的协作功能以及由mfp(b)打印投影仪(c)所投影的图像的协作功能。用于提供执行这些协作功能的指令的按钮图像被显示在功能显示画面74上。例如，当用户利用终端设备16指定按钮图像并提供执行协作功能的指令时，表示执行协作功能的指令的执行指令信息从终端设备16发送至图像形成设备10和投影仪12。响应于执行指令信息的接收，图像形成设备10和投影仪12执行用户所指定的协作功能。
可通过用户操作指定彼此协作的目标装置。例如，作为利用相机42拍摄图像形成设备10和投影仪12的结果，如图11所示，与图像形成设备10有关的装置图像70以及与投影仪12有关的装置图像72被显示在终端设备16的ui单元46上。与装置有关的图像可以是通过由相机42拍摄而获得的图像，或者可以是与所识别的装置有关的预备图像(例如，诸如图标的示意图像)。当用户在装置显示画面68上指定装置图像70和72时，图像形成设备10和投影仪12被指定为彼此协作的目标装置。例如，当用户指定装置图像70时，对装置图像70应用基于标记的ar技术或无标记ar技术，从而确定(识别)图像形成设备10。同样，当用户指定装置图像72时，对装置图像72应用基于标记的ar技术或无标记ar技术，从而确定(识别)投影仪12。因此，确定由图像形成设备10和投影仪12执行的协作功能，并且关于协作功能的信息被显示在终端设备16的ui单元46上。
又如，用户可在装置显示画面68上利用例如他/她的手指触摸装置图像70，并且可将手指移动到装置图像72，以指定装置图像70和72并且将图像形成设备10和投影仪12指定为彼此协作的目标装置。用户触摸装置图像70和72的顺序或者手指的移动方向可与上述示例相反。当然，可使用在装置显示画面68上移动的手指以外的画面指示单元，例如笔。用户可将装置图像70和72彼此链接以指定装置图像70和72，并且可由此将图像形成设备10和投影仪12指定为彼此协作的目标装置。用户可将装置图像70和72彼此叠加以指定装置图像70和72，并且可由此将图像形成设备10和投影仪12指定为彼此协作的目标装置。另外，可通过在其上画圆来指定彼此协作的目标装置，或者可通过在预定时段内指定与装置有关的装置图像来指定目标装置。在解除协作的情况下，用户可在装置显示画面68上指定要解除的目标装置，或者可按压协作解除按钮。如果不是协作的目标装置的装置的图像在装置显示画面68上，则用户可在装置显示画面68上指定该装置以将该装置从彼此协作的目标装置去除。可通过执行预定操作(例如，在其上画十字)来指定要解除的装置。
彼此协作的目标装置可被单独地拍摄。例如，通过由相机42执行拍摄多次来识别彼此协作的目标装置。如果由相机42的拍摄被执行多次，则在每次拍摄操作中识别的装置的装置识别信息被存储在服务器14或终端设备16的存储器中。例如，在图像形成设备10处于相机42的视野内的状态下拍摄图像形成设备10，然后在投影仪12处于相机42的视野内的状态下拍摄投影仪12。因此，生成表示图像形成设备10的图像数据和表示投影仪12的图像数据。通过对各条图像数据应用基于标记的ar技术或无标记ar技术，确定(识别)图像形成设备10和投影仪12，并且确定(识别)使用图像形成设备10和投影仪12的功能的协作功能。例如，作为彼此协作的目标装置的图像形成设备10和投影仪12不总是在相机42的视野内彼此靠近。可改变相机42的视角，或者可增大或减小视野。如果这些操作不够，则可执行拍摄多次，以识别彼此协作的目标装置。
又如，协作的目标装置可被预先设定为基本协作装置。例如，假设图像形成设备10被预先设定为基本协作装置。基本协作装置的装置识别信息可被预先存储在服务器14或终端设备16的存储器内。另选地，用户可利用终端设备16指定基本协作装置。如果基本协作装置被设定，则用户利用终端设备16的相机42拍摄基本协作装置以外的目标装置。因此，确定(识别)彼此协作的目标装置，并且确定(识别)使用基本协作装置和所拍摄的装置的功能的一个或更多个协作功能。
在图11和12所示的示例中，各个协作功能是使用硬件装置的功能。另选地，协作功能可以是使用由软件(应用)实现的功能的功能。例如，代替装置图像，与由软件实现的功能有关的功能图像(例如，图标图像等)可被显示在终端设备16的ui单元46上，并且可由用户指定功能图像当中的多个功能图像，以使得可确定(识别)使用与所述多个功能图像有关的多个功能的协作功能。例如，可通过指定与显示在智能电话的主画面或pc的桌面上的功能有关的功能图像来确定协作功能。当然，如果与硬件装置有关的装置图像以及与由软件实现的功能有关的功能图像被显示在终端设备16的ui单元46上并且如果用户指定装置图像和功能图像，则可识别使用与装置图像有关的装置以及与功能图像有关的功能的协作功能。
在上述示例中，使用基于标记的ar技术或无标记ar技术，但是可使用位置信息ar技术。例如，终端设备16具有gps功能，获得表示终端设备16的位置的终端位置信息，并且将终端位置信息发送至服务器14。服务器14的控制器36参考表示装置位置信息(表示装置的位置)与装置识别信息之间的对应关系的位置对应信息，并且确定相对于终端设备16的位置位于预定范围内的装置作为候选协作装置。例如，假设mfp、pc、打印机和扫描仪相对于终端设备16的位置位于预定范围内。在这种情况下，mfp、pc、打印机和扫描仪被确定作为候选协作装置。各个候选协作装置的装置识别信息从服务器14发送至终端设备16并被显示在终端设备16的ui单元46上。作为装置识别信息，可显示候选协作装置的图像或者可显示诸如装置id的字符串。用户从显示在ui单元46上的候选协作装置当中指定彼此协作的目标装置。由用户指定的目标装置的装置识别信息从终端设备16发送至服务器14。在服务器14中，基于目标装置的装置识别信息来确定一个或更多个协作功能。关于所述一个或更多个协作功能的信息被显示在终端设备16的ui单元46上。确定候选协作装置的处理以及确定协作功能的处理可由终端设备16执行。
如果即使应用ar技术等，也没有识别所拍摄的装置，则表示所拍摄的装置的装置图像不必显示在装置显示画面上。因此，识别的装置的可视性可增加。例如，如果存在识别的装置和未识别的装置并且如果由相机42拍摄两种装置，则表示未识别的装置的装置图像不显示。因此，表示识别的装置的装置图像在与表示未识别的装置的装置图像相区分的同时被显示，因此，识别的装置的可视性可增加。另选地，表示识别的装置的装置图像可按照高亮的方式显示。例如，表示识别的装置的装置图像可按照特定颜色显示，可在对装置图像的边缘进行高亮的同时被显示，可在放大装置图像的同时被显示，可三维地显示，或者可在使装置图像闪烁的同时显示。因此，识别的装置的可视性可增加。
以下，将描述用于执行装置的功能的处理。作为示例，将描述用于执行协作功能的处理。在这种情况下，从终端设备16向彼此协作的目标装置发送连接请求，并且建立终端设备16与目标装置之间的连接。以下，将参照图13描述连接处理。图13是示出该处理的顺序图。
首先，用户利用终端设备16提供指令以启动用于执行装置功能的应用(程序)。响应于该指令，终端设备16的控制器48启动应用(s01)。该应用可被预先存储在终端设备16的存储器44中，或者可从服务器14等下载。
随后，通过应用基于标记的ar技术、无标记ar技术或位置信息ar技术来识别彼此协作的目标装置(s02)。当然，可利用ar技术以外的技术来识别目标装置。在应用基于标记的ar技术或无标记ar技术的情况下，用户利用终端设备16的相机42来拍摄目标装置。例如，在使用图像形成设备10(mfp(b))和投影仪12(投影仪(c))作为目标装置的情况下，用户利用相机42来拍摄图像形成设备10和投影仪12。因此，获得图像形成设备10和投影仪12的装置识别信息，并且图像形成设备10和投影仪12被识别为目标装置。在应用位置信息ar技术的情况下，获得图像形成设备10和投影仪12的位置信息，基于位置信息确定图像形成设备10和投影仪12的装置识别信息，并且识别出图像形成设备10和投影仪12。
例如，如果用户提供显示协作功能的指令，则识别使用多个识别的装置的功能的协作功能。关于识别的协作功能的信息被显示在终端设备16的ui单元46上(s03)。识别协作功能的处理可由服务器14或终端设备16执行。
随后，在用户利用终端设备16指定要执行的目标协作功能之后，终端设备16向执行协作功能的目标装置(例如，图像形成设备10和投影仪12)发送表示连接请求的信息(s04)。例如，如果表示彼此协作的目标装置的地址的地址信息被存储在服务器14中，则终端设备16从服务器14获得地址信息。如果地址信息包括在装置识别信息中，则终端设备16可从目标装置的装置识别信息获得地址信息。另选地，目标装置的地址信息可被存储在终端设备16中。当然，终端设备16可利用另一方法获得目标装置的地址信息。利用目标装置(例如，图像形成设备10和投影仪12)的地址信息，终端设备16向目标装置(例如，图像形成设备10和投影仪12)发送表示连接请求的信息。
接收到表示连接请求的信息的图像形成设备10和投影仪12允许或不允许连接至终端设备16(s05)。例如，如果图像形成设备10和投影仪12是不允许进行连接的装置或者如果请求连接的装置的数量超过上限，则不允许连接。如果允许从终端设备16的连接，则改变图像形成设备10和投影仪12特有的设定信息的操作可被禁止，以使得不通过终端设备16改变该设定信息。例如，图像形成设备10的颜色参数或者向省电模式转变的设定时间的改变可被禁止。因此，彼此协作的目标装置的安全性可增加。另选地，与在不与另一装置协作的情况下单独使用各个装置的情况相比，在使得装置彼此协作的情况下，设定信息的改变可被限制。例如，与单独使用装置的情况下相比，可允许改变更少的设定项目。另选地，查看其他用户的个人信息(例如，操作历史)可被禁止。因此，用户的个人信息的安全性可增加。
从图像形成设备10和投影仪12向终端设备16发送表示允许或不允许连接的结果信息(s06)。如果允许连接至图像形成设备10和投影仪12，在终端设备16与图像形成设备10和投影仪12中的每一个之间建立通信。
随后，用户利用终端设备16提供执行协作功能的指令(s07)。响应于该指令，将表示执行协作功能的指令的执行指令信息从终端设备16发送至图像形成设备10和投影仪12(s08)。发送至图像形成设备10的执行指令信息包括表示图像形成设备10中要执行的处理的信息(例如，作业信息)，并且发送至投影仪12的执行指令信息包括表示投影仪12中要执行的处理的信息(例如，作业信息)。
响应于执行指令信息，图像形成设备10和投影仪12根据执行指令信息执行各个功能(s09)。例如，如果协作功能包括在图像形成设备10和投影仪12之间发送/接收数据的处理，如从图像形成设备10(mfp(b))向投影仪12(投影仪(c))传送扫描数据并由投影仪12投影该数据的功能中一样，在图像形成设备10和投影仪12之间建立通信。在这种情况下，例如，发送至图像形成设备10的执行指令信息包括投影仪12的地址信息，并且发送至投影仪12的执行指令信息包括图像形成设备10的地址信息。利用这些地址信息在图像形成设备10和投影仪12之间建立通信。
在协作功能的执行完成之后，从图像形成设备10和投影仪12向终端设备16发送指示协作功能的执行完成的信息(s10)。指示协作功能的执行完成的信息被显示在终端设备16的ui单元46上(s11)。如果即使从提供执行指令的时间点起逝去了预定时段，仍没有显示指示协作功能的执行完成的信息，则终端设备16的控制器48可使得ui单元46显示表示错误的信息，并且可再次向图像形成设备10和投影仪12发送执行指令信息或表示连接请求的信息。
随后，用户确定是否解除图像形成设备10和投影仪12的协作状态(s12)，并且根据确定结果执行处理(s13)。在解除协作状态的情况下，用户利用终端设备16提供解除指令。因此，终端设备16与图像形成设备10和投影仪12中的每一个之间的通信停止。此外，图像形成设备10与投影仪12之间的通信停止。在不解除协作状态的情况下，可继续提供执行指令。
另外，彼此协作的目标装置的数量可增加。例如，可获得第三装置的装置识别信息，并且可确定通过包括图像形成设备10和投影仪12的三个装置之间的协作执行的协作功能。指示图像形成设备10和投影仪12已经被识别为彼此协作的目标装置的信息被存储在服务器14或终端设备16中。
表示彼此协作的目标装置的装置识别信息以及表示所执行的协作功能的协作功能信息可被存储在终端设备16或服务器14中。例如，可获得使用终端设备16的用户的用户账户信息(用户识别信息)，并且表示在用户账户信息、表示彼此协作的目标装置的装置识别信息以及表示所执行的协作功能的协作功能信息之间的对应关系的历史信息可被创建并存储在终端设备16或服务器14中。历史信息可由终端设备16或服务器14创建。参考该历史信息，确定已经执行的协作功能以及用于该协作功能的装置。
作为历史信息，彼此协作的目标装置(例如，图像形成设备10和投影仪12)可存储曾已经请求连接的用户的用户账户信息以及表示曾已经请求连接的终端设备16的终端识别信息。参考该历史信息，确定曾已经使用该装置的用户。在例如确定曾在装置损坏时使用装置的用户的情况下或者在针对耗材等执行收费处理的情况下，可利用历史信息确定用户。历史信息可被存储在服务器14或终端设备16中，或者可被存储在另一设备中。
例如，用户账户信息被预先存储在终端设备16的存储器44中。终端设备16的控制器48用作用户识别单元的示例，从存储器44读取用户的用户账户信息，并且识别使用终端设备16的用户。如果多个用户的用户账户信息被存储在存储器44中，则用户利用终端设备16指定他/她的用户账户信息。因此，读取用户的用户账户信息并识别用户。另选地，终端设备16的控制器48可通过读取登入终端设备16的用户的用户账户信息来识别用户。另选地，如果仅一条用户账户信息被存储在同一终端设备16中，则终端设备16的控制器48可通过读取这一条用户账户信息来识别用户。如果未设定用户账户并且如果没有创建用户账户信息，则执行初始设定，从而创建用户账户信息。
可针对各个用户管理协作功能的使用历史，并且表示由所读取的用户账户信息表示的用户先前使用的协作功能的信息可被显示在终端设备16的ui单元46上。表示使用历史的信息可被存储在终端设备16或服务器14中。此外，表示以预定或以上的频率使用的协作功能的信息可被显示。在提供这种快捷功能的情况下，关于协作功能的用户操作可简化。
在执行单装置功能的情况下，从终端设备16向执行单装置功能的装置发送表示执行单装置功能的指令的信息。装置根据该指令执行单装置功能。
在上述示例中，可由多个装置执行协作功能。然而，根据装置的组合，协作功能不总是可执行。此外，根据多个功能的组合(例如，由软件实现的功能的组合或者由软件实现的功能与硬件装置的功能的组合)，协作功能不总是可执行。这将在下面详细描述。
图14a示出无法执行协作功能的装置的组合的示例。例如，假设mfp(b)和吹风机(d)被识别为装置。如图14a所示，装置显示画面68被显示在终端设备16的ui单元46上，并且与识别的装置(mfp(b)和吹风机(d))有关的装置图像70和76被显示在装置显示画面68上。如果不存在可由mfp(b)和吹风机(d)执行的协作功能并且如果mfp(b)和吹风机(d)被指定为彼此协作的目标装置，则不显示关于协作功能的信息，并且消息画面78被显示在终端设备16的ui46上，如图14b所示。消息画面78显示指示不可由mfp(b)和吹风机(d)执行协作功能的消息。
将更详细地描述上述处理。当mfp(b)和吹风机(d)被识别并指定为彼此协作的目标装置时，服务器14的确定单元38通过参考如上所述的协作功能管理信息34(例如，图7所示的协作功能管理表)来确定(识别)使用mfp(b)和吹风机(d)的协作功能。如果使用mfp(b)和吹风机(d)的协作功能被注册在协作功能管理表中，则确定单元38确定该协作功能。另一方面，如果使用mfp(b)和吹风机(d)的协作功能未被注册在协作功能管理表中，则确定单元38确定不存在使用mfp(b)和吹风机(d)的协作功能。在这种情况下，服务器14的控制器36输出指示mfp(b)和吹风机(d)的组合无法执行协作功能的消息。此消息被显示在终端设备16的ui单元46上，如图14b所示。
即使如上述情况中一样，不存在可用协作功能，根据装置的操作状态、装置安装的环境(周围环境)或者装置的功能的改变(更新)，可能变得可使用协作功能。在上述示例中，如果在mfp(b)安装的环境中发生冷凝，则可利用吹风机(d)来去除或防止冷凝。在这种情况下，使用mfp(b)和吹风机(d)的协作功能可用，因此，表示协作功能的信息被显示在终端设备16的ui单元46上。例如，服务器14的控制器36监测各个装置的操作状态、装置安装的环境(周围环境)、各个装置的功能的更新状态等，并且基于监测结果确定协作功能的可用性。在mfp(b)和吹风机(d)的组合的情况下，如果mfp(b)的周围环境满足特定条件(例如，如果在mfp(b)的周围环境中发生冷凝)，则控制器36确定协作功能可用并且确定(识别)使用吹风机(d)的协作功能。这同样适用于装置的操作状态，即，如果识别或指定的一组装置处于特定操作状态，则控制器36确定使用这一组装置的协作功能可用。这同样也适用于装置的功能被更新并且协作功能通过更新的功能变得可用的情况。
此外，存在通过由多个软件单元实现的多个功能不可执行协作功能的情况，并且存在通过由软件单元实现的功能和硬件装置不可执行协作功能的情况。
引导处理
在示例性实施方式中，例如，当指定与装置有关的图像时，呈现引导，该引导指示能够与该装置一起执行协作功能的硬件装置或由软件实现的功能。这同样适用于使用软件的协作功能。例如，当指定与由软件实现的功能有关的图像时，呈现引导，该引导指示能够与该功能一起执行协作功能的硬件装置或由软件实现的功能。以下，将详细描述根据示例性实施方式的引导处理的示例。
示例1
将参照图15描述根据示例1的引导处理。图15示出根据示例1的装置显示画面的示例。例如，假设mfp(b)、投影仪(c)和吹风机(d)被识别为装置。装置显示画面68被显示在终端设备16的ui单元46上，并且与识别的装置(mfp(b)、投影仪(c)和吹风机(d))有关的装置图像70、72和76被显示在装置显示画面68上。
在这种情况下，例如，假设用户选择mfp(b)并且用户指定与mfp(b)有关的装置图像70。mfp(b)对应于第一装置，并且与mfp(b)有关的装置图像70对应于与第一装置有关的第一图像。响应于用户指定mfp(b)作为第一装置，服务器14的确定单元38确定能够与作为第一装置的mfp(b)一起执行协作功能的第二装置，通过参考协作功能管理信息34(例如，图7所示的协作功能管理表)。例如，假设mfp(b)和投影仪(c)的组合能够执行协作功能并且mfp(b)和吹风机(d)的组合不能执行协作功能。即，假设使用mfp(b)和投影仪(c)的协作功能被注册在协作功能管理表中并且使用mfp(b)和吹风机(d)的协作功能未被注册在协作功能管理表中。在这种情况下，投影仪(c)被确定为第二装置，并且服务器14的控制器36执行控制以呈现指示投影仪(c)作为第二装置的引导。具体地，在控制器36的控制下从服务器14将表示投影仪(c)的装置识别信息发送至终端设备16。终端设备16的控制器48呈现指示投影仪(c)作为第二装置的引导。例如，如图15所示，终端设备16的控制器48使得指示投影仪(c)作为协作伙伴装置的箭头80显示在装置显示画面68上。箭头80是将装置图像70(与作为第一装置的mfp(b)有关的第一图像)与装置图像72(与作为第二装置的投影仪(c)有关的第二图像)彼此链接的图像。当然，控制器48可利用箭头以外的方法来呈现指示投影仪(c)作为第二装置的引导。例如，控制器48可通过输出声音来呈现指示第二装置的引导，可使得叠加在与第二装置有关的第二图像(例如，装置图像72)上的标记显示在装置显示画面68上，可使得与第二装置有关的第二图像显示在装置显示画面68上以使得第二图像可与另一图像相区分，或者可使得表示协作伙伴的字符串显示在装置显示画面68上。
在用户指定作为第一装置的mfp(b)的上述情况下，作为能够与mfp(b)一起执行协作功能的第二装置的投影仪(c)被推荐作为候选协作伙伴装置。因此，与没有推荐这种候选的情况相比，指定协作功能所需的装置的用户便利可增加。
如果用户指定与由软件实现的第一功能有关的功能图像(与第一图像对应的图像)，也执行与上述引导处理相似的引导处理。即，如果用户指定作为第一图像的功能图像，则呈现引导，该引导指示能够与功能图像有关的第一功能一起执行协作功能的第二功能。例如，可呈现指示与第二功能有关的第二图像的引导，或者可利用声音或字符串来呈现指示第二功能的引导。第二功能可以是由软件实现的功能或者硬件装置的功能。当然，如果用户指定与第一装置有关的装置图像，则可呈现引导，该引导指示能够与第一装置一起执行协作功能并由软件实现的第二功能。
由于吹风机(d)是不能与mfp(b)一起执行协作功能的装置，所以不呈现指示吹风机(d)作为协作伙伴的引导。
根据作为第一装置的mfp(b)安装的环境(周围环境)、mfp(b)的操作状态(例如，色调剂量、纸张量、mfp是否正在使用、或者处理结束时间)、mfp(b)的功能的改变(更新)、吹风机(d)的功能的改变(更新)、等等，可呈现指示吹风机(d)作为第二装置的引导。例如，如果在作为第一装置的mfp(b)的周围环境中发生冷凝，则服务器14的确定单元38确定吹风机(d)作为去除冷凝所需的第二装置。在这种情况下，如投影仪(c)的上述情况中一样，呈现指示吹风机(d)作为协作伙伴的引导。例如，显示将装置图像70(与作为第一装置的mfp(b)有关的第一图像)与装置图像76(与作为第二装置的吹风机(d)有关的第二图像)彼此链接的箭头，或者利用声音来呈现指示吹风机(d)的引导。
与显示在装置显示画面68上的图像有关的装置或对象未必被识别。例如，可能存在服务器14的确定单元38未识别吹风机(d)的情况。从候选协作伙伴(第二装置)排除未被识别的装置或对象。与未被识别的装置或对象有关的图像可显示或者可不显示在装置显示画面68上。
示例2
将参照图16描述根据示例2的引导处理。图16示出根据示例2的装置显示画面的示例。在示例2中，多个装置对应于第二装置(协作伙伴装置)。例如，假设mfp(b)、投影仪(c)、吹风机(d)和相机(e)被识别为装置并且观叶植物(f)被识别为观叶植物。当然，不是装置的对象未必被识别。
装置显示画面68被显示在终端设备16的ui单元46上，并且与识别的装置(mfp(b)、投影仪(c)、吹风机(d)和相机(e))有关的装置图像70、72、76和82以及与观叶植物(f)有关的图像84被显示在装置显示画面68上。
在这种情况下，例如，假设用户选择mfp(b)作为第一装置并且用户指定与mfp(b)有关的装置图像70作为第一图像。另外假设投影仪(c)和相机(e)被确定作为能够与作为第一装置的mfp(b)一起执行协作功能的第二装置。在这种情况下，呈现指示投影仪(c)和相机(e)作为第二装置的引导。例如，引导被同时呈现。在图16所示的示例中，如示例1中一样，显示将与mfp(b)有关的装置图像70和与投影仪(c)有关的装置图像72彼此链接的箭头80作为引导。此外，显示将与mfp(b)有关的装置图像70和与相机(e)有关的装置图像82彼此链接的箭头86作为引导。
优先顺序可与协作功能关联。在协作功能管理信息34(例如，图7所示的协作功能管理表)中表示优先顺序的信息与各个协作功能关联。在呈现指示多个第二装置的引导的情况下，表示各个协作功能的优先顺序的信息从服务器14发送至终端设备16，并且该优先顺序被显示在装置显示画面68上。例如，如果使用mfp(b)和投影仪(c)的第一协作功能的优先级高于使用mfp(b)和相机(e)的第二协作功能，则终端设备16的控制器48使得指示第一协作功能中所使用的投影仪(c)的优先级高于第二协作功能中所使用的相机(e)的信息显示在装置显示画面68上。控制器48可使得表示优先顺序的字符串显示在装置显示画面68上，可使得箭头80和86以不同的颜色显示在装置显示画面68上，可使得装置图像72和82以不同的显示形式显示在装置显示画面68上，或者可使得用于优先级较高的装置图像72的箭头80显示在装置显示画面68上并且使得用于优先级较低的装置图像82的箭头86不显示在装置显示画面68上。
另选地，代替显示箭头，终端设备16的控制器48可将表示第二装置的字符串显示在装置显示画面68的特定区域中。例如，该字符串可被显示在未显示装置图像的区域中。因此，防止发生箭头使得难以看到显示在画面上的信息的情况。
在用户指定作为第一装置的mfp(b)的上述情况下，作为能够与mfp(b)一起执行协作功能的第二装置的投影仪(c)和相机(e)被推荐为候选协作伙伴装置。
如果装置显示画面68上未显示候选协作伙伴装置(第二装置)，则表示第二装置安装的位置的位置信息或者表示指示第二装置安装的位置的引导的信息可被显示在终端设备16的ui单元46上。例如，服务器14的控制器36利用gps功能等获得第二装置的位置信息，并且基于所获得的位置信息和终端设备16的位置信息来创建表示指示相对于终端设备16的位置的第二装置的位置的引导的信息。表示该引导的信息可从服务器14发送至终端设备16并且可被显示在终端设备16的ui单元46上。
如示例1中一样，根据示例2的处理可适用于使用与功能有关的功能图像的情况。例如，如果用户指定作为第一图像的功能图像，则可呈现指示能够与功能图像有关的第一功能一起执行协作功能的多个第二功能的引导。当然，如果用户指定与第一装置有关的装置图像，则可呈现指示能够与第一装置一起执行协作功能的多个功能的引导。
示例3
将参照图17至图20描述根据示例3的引导处理。图17至图20各自示出根据示例3的装置显示画面的示例。在示例3中，用户指定第一装置，然后指定第二装置，执行控制以呈现指示能够与第一和第二装置一起执行协作功能的第三装置的引导。被推荐为第三装置的装置可根据第一和第二装置被指定的顺序而改变。
例如，假设pc(a)、mfp(b)、投影仪(c)和相机(e)被识别为装置，并且与识别的装置(pc(a)、mfp(b)、投影仪(c)和相机(e))有关的装置图像70、72、82和88以及图像84被显示在装置显示画面68上，如图17所示。
在这种情况下，例如，如果用户指定与mfp(b)有关的装置图像70，则服务器14的确定单元38将mfp(b)识别为第一装置，并且能够与mfp(b)一起执行协作功能的pc(a)、投影仪(c)和相机(e)被识别为第二装置(候选协作伙伴装置)。如图17所示，例如，箭头80、86和90被显示作为指示第二装置的引导。箭头90是将与mfp(b)有关的装置图像70和与pc(a)有关的装置图像88彼此链接的图像。
随后，假设用户从这一组第二装置中选择投影仪(c)作为协作伙伴装置并且用户指定与投影仪(c)有关的装置图像72。在这种情况下，服务器14的确定单元38通过参考协作功能管理信息34来确定能够与作为第一装置的mfp(b)以及作为第二装置的投影仪(c)一起执行协作功能的第三装置。在图7所示的协作功能管理表中，注册有可通过两个装置之间的协作执行的协作功能。然而，当然可注册可通过三个或更多个装置之间的协作执行的协作功能。例如，假设pc(a)被确定作为第三装置。在这种情况下，如图18所示呈现指示pc(a)作为第三装置的引导。例如，显示将与作为第二装置的投影仪(c)有关的装置图像72和与作为第三装置的pc(a)有关的装置图像88彼此链接的箭头92作为引导。
例如，用户可指定与投影仪(c)有关的装置图像72，执行将与mfp(b)有关的装置图像70和与投影仪(c)有关的装置图像72彼此链接的操作，将装置图像70叠加在装置图像72上，或者将指示物置于装置图像70上然后将指示物移至装置图像72，以指定用作第二装置的投影仪(c)。
各个装置(各个装置图像)被指定的顺序对应于装置的功能被使用的顺序或者数据在装置之间移动的顺序。指定装置的操作(例如，将图像链接或者将图像叠加在另一图像上的操作)充当指定功能被使用的顺序或者数据移动顺序的操作。在图18所示的示例中，作为第一装置的mfp(b)第一个被使用，作为第二装置的投影仪(c)第二个被使用。呈现指示能够与第一和第二装置一起执行协作功能并且在协作功能中被第三个使用的第三装置的引导。即，呈现指示在mfp(b)第一个被使用并且投影仪(c)第二个被使用的协作功能中被第三个使用的第三装置的引导。在图18所示的示例中，pc(a)是第三装置。在示例3中，可通过多个装置之间的协作执行的协作功能被注册在协作功能管理信息34中，并且装置的使用顺序也被注册。服务器14的确定单元38通过参考协作功能管理信息34来确定第三装置。
图19示出另一示例。如图17中一样，装置图像70、72、82和88以及图像84被显示在装置显示画面68上。
在这种情况下，例如，如果用户指定与投影仪(c)有关的装置图像72，则投影仪(c)被识别为第一装置，并且服务器14的确定单元38将能够与投影仪(c)一起执行协作功能的pc(a)、mfp(b)和相机(e)识别为第二装置(候选协作伙伴装置)。如图19所示，例如，箭头94、96和98被显示作为指示第二装置的引导。箭头94是将与作为第一装置的投影仪(c)有关的装置图像72和与作为第二装置的mfp(b)有关的装置图像70彼此链接的图像。箭头96是将装置图像72和与作为第二装置的相机(e)有关的装置图像82彼此链接的图像。箭头98是将装置图像72和与作为第二装置的pc(a)有关的装置图像88彼此链接的图像。
随后，假设用户从这一组第二装置中选择mfp(b)作为协作伙伴装置并且用户指定与mfp(b)有关的装置图像70。在这种情况下，服务器14的确定单元38通过参考协作功能管理信息34来确定能够与作为第一装置的投影仪(c)以及作为第二装置的mfp(b)一起执行协作功能的第三装置。例如，假设相机(e)被确定作为第三装置。在这种情况下，如图20所示呈现指示相机(e)作为第三装置的引导。例如，显示将与作为第二装置的mfp(b)有关的装置图像70和与作为第三装置的相机(e)有关的装置图像82彼此链接的箭头100作为引导。在这种情况下，指示在投影仪(c)被第一个使用并且mfp(b)被第二个使用的协作功能中被第三个使用的装置(例如，相机(e))的引导被呈现作为第三装置。
例如，用户可指定与mfp(b)有关的装置图像70，执行将与投影仪(c)有关的装置图像72和与mfp(b)有关的装置图像70彼此链接的操作，将装置图像72叠加在装置图像70上，或者将指示物置于装置图像72上然后将指示物移至装置图像70，以指定用作第二装置的mfp(b)。
按照上述方式，呈现指示能够与第一和第二装置一起执行协作功能的第三装置的引导。作为第三装置呈现(推荐)的装置根据第一和第二装置被指定的顺序而变化。装置被指定的顺序对应于装置的功能被使用的顺序或者数据在装置之间移动的顺序。指定装置的操作充当指定功能被使用的顺序或者数据移动顺序的操作。在协作功能中接下来使用的装置或者作为数据的目的地的装置根据装置被指定的顺序而改变。因此，在示例3中，根据该改变来呈现指示协作功能中要使用的第三装置的引导。
如示例1中一样，根据示例3的处理可适用于使用与功能有关的功能图像的情况。例如，如果用户指定与第一功能有关的功能图像，则呈现引导，该引导指示与能够与第一功能一起执行协作功能的第二功能有关的功能图像。如果用户指定与第二功能有关的功能图像，则可呈现引导，该引导指示与能够与第一和第二功能一起执行协作功能的第三功能有关的功能图像。在这种情况下，作为第三功能呈现的功能根据第一和第二功能被指定的顺序而改变。另外在示例3中，协作功能可以是使用硬件装置的功能以及由软件实现的功能的功能。
示例4
将参照图21和图22描述根据示例4的引导处理。图21和图22各自示出根据示例4的装置显示画面的示例。在示例4中，如果指定不能与第一装置一起执行协作功能的装置，呈现指示能够与第一装置一起执行协作功能的第二装置(协作伙伴装置)的引导。例如，假设mfp(b)、投影仪(c)和吹风机(d)被识别为装置。
如图21所示，装置显示画面68被显示在终端设备16的ui单元46上，并且与识别的装置(mfp(b)、投影仪(c)和吹风机(d))有关的装置图像70、72和76被显示在装置显示画面68上。
在这种情况下，例如，如果用户选择mfp(b)作为第一装置并且用户指定与mfp(b)有关的装置图像70作为第一图像，则服务器14的确定单元38将mfp(b)识别为第一装置。例如，假设投影仪(c)对应于能够与作为第一装置的mfp(b)一起执行协作功能的第二装置并且吹风机(d)对应于不能与mfp(b)一起执行协作功能的装置。在这种情况下，例如，假设用户通过指定与吹风机(d)有关的装置图像76、执行将与mfp(b)有关的装置图像70和与吹风机(d)有关的装置图像76彼此链接的操作、将装置图像70叠加在装置图像76上、或者将指示物置于装置图像70上然后将指示物移至装置图像76，来指定不能与mfp(b)一起执行协作功能的吹风机(d)作为协作伙伴装置。在图21所示的示例中，如箭头102所指示，将装置图像70和装置图像76彼此链接的操作由用户执行。
当用户将不能与作为第一装置的mfp(b)一起执行协作功能的吹风机(d)指定为协作伙伴装置时，服务器14的控制器36接收该指定并且执行控制以呈现指示投影仪(c)作为能够与mfp(b)一起执行协作功能的第二装置的引导。因此，呈现指示投影仪(c)作为第二装置的引导。例如，如图22所示，终端设备16的控制器48使得指示投影仪(c)作为协作伙伴装置的箭头104显示在装置显示画面68上。例如，箭头104是将与作为第一装置的mfp(b)有关的装置图像70和与作为第二装置的投影仪(c)有关的装置图像72彼此链接的图像。当然，可通过使用声音或者显示字符串来呈现引导。
如上所述，在示例4中，如果指定不能与第一装置一起执行协作功能的装置，则执行控制以呈现指示能够与第一装置一起执行协作功能的第二装置的引导。如果每次指定第一装置时显示充当引导的箭头等，则箭头等可能使画面凌乱。在示例4中可避免这种情况。
如示例1中一样，根据示例4的处理可适用于使用与功能有关的功能图像的情况。例如，如果指定不能与第一功能一起执行协作功能的功能，则呈现指示能够与第一功能一起执行协作功能的第二功能的引导。
示例5
将参照图23至图25描述示例5。图23至图25各自示出根据示例5的画面的示例。在示例5中，如果被用户指定为协作伙伴装置的装置因为该装置损坏或正在使用而不能与第一装置一起执行协作功能，则呈现指示能够与第一装置一起执行协作功能的另一装置的引导。在这种情况下，可优先呈现指示与被用户指定为协作伙伴装置的装置相同类型的装置(例如，具有相同类型的功能的装置)的引导。服务器14的控制器36从各个装置获得表示各个装置的操作状态(例如，装置是否正在执行处理、是否损坏、或者是否正在维护)的信息并且管理各个装置的操作状态。
例如，假设mfp(b)以及投影仪(c)和(f)被识别为装置。如图23所示，装置显示画面68被显示在终端设备16的ui单元46上，并且与识别的装置(mfp(b)以及投影仪(c)和(f))有关的装置图像70、72和106被显示在装置显示画面68上。
在这种情况下，例如，如果用户选择mfp(b)作为第一装置并且用户指定与mfp(b)有关的装置图像70作为第一图像，则服务器14的确定单元38将mfp(b)识别为第一装置。例如，假设投影仪(c)和(f)对应于能够与作为第一装置的mfp(b)一起执行协作功能的第二装置。例如，假设用户通过指定与投影仪(f)有关的装置图像106、执行将与mfp(b)有关的装置图像70和与投影仪(f)有关的装置图像106彼此链接的操作、将装置图像70叠加在装置图像106上、或者将指示物置于装置图像70上然后将指示物移至装置图像106，来指定投影仪(f)作为协作伙伴装置。在图23所示的示例中，如箭头108所指示的，将装置图像70和装置图像106彼此链接的操作由用户执行。
当用户指定投影仪(f)作为协作伙伴装置时，服务器14的控制器36接收该指定并检查投影仪(f)的操作状态。例如，如果投影仪(f)损坏或正被使用，则服务器14的控制器36执行控制以呈现指示投影仪(f)以外的装置，即，能够与第一装置一起执行协作功能的另一装置的引导。控制器36可优先呈现指示与投影仪(f)相同类型的装置(例如，具有与投影仪(f)相同类型的功能的装置)的引导。例如，如果投影仪(c)是与投影仪(f)相同类型的装置，则优先呈现指示投影仪(c)作为第二装置的引导。在这种情况下，如图24所示，例如，终端设备16的控制器48使得指示投影仪(c)作为协作伙伴装置的箭头110显示在装置显示画面68上。例如，箭头110是将与作为第一装置的mfp(b)有关的装置图像70和与作为第二装置的投影仪(c)有关的装置图像72彼此链接的图像。
如果用户指定损坏或正被使用的装置作为协作伙伴装置，则图25所示的画面112可在服务器14的控制器36的控制下显示在终端设备16的ui单元46上，示出指示无法协作的原因的消息。
如果损坏的装置在修理后变得可用或者如果正在执行处理的装置完成处理并且没有在执行处理，则服务器14的控制器36将该装置识别为能够与第一装置一起执行协作功能的装置。
根据示例5，呈现指示没有损坏或者没有在使用的装置的引导，因此，可增加用户便利。另外，呈现指示与用户所指定的装置相同类型的装置的引导，因此，呈现指示用户预期要使用的装置的引导。
示例6
将参照图26描述根据示例6的引导处理。图26示出装置选择画面的示例。在示例6中，示出关于能够与第一装置一起执行协作功能的一个或更多个第二装置的信息的候选列表被显示在终端设备16的ui单元46上。
例如，假设mfp(b)和吹风机(d)被识别为装置并且与mfp(b)有关的装置图像70和与吹风机(d)有关的装置图像76被显示在终端设备16的ui单元46上，如图14a所示。在这种情况下，例如，如果用户选择mfp(b)作为第一装置并且用户指定与mfp(b)有关的装置图像70，则服务器14的确定单元38将mfp(b)识别为第一装置。例如，假设吹风机(d)是不能与mfp(b)一起执行协作功能的装置。在这种情况下，例如，假设用户通过指定与吹风机(d)有关的装置图像76、执行将与mfp(b)有关的装置图像70和与吹风机(d)有关的装置图像76彼此链接的操作、将装置图像70叠加在装置图像76上、或者将指示物置于装置图像70上然后将指示物移至装置图像76，来指定吹风机(d)作为协作伙伴装置。
当用户指定不能与作为第一装置的mfp(b)一起执行协作功能的吹风机(d)作为协作伙伴装置时，服务器14的控制器36接收该指定，并且作为呈现指示能够与mfp(b)一起执行协作功能的一个或更多个第二装置的引导的控制，执行控制以显示候选列表，该候选列表示出关于所述一个或更多个第二装置的信息。因此，如图26所示，装置选择画面114被显示在终端设备16的ui单元46上，并且候选列表被显示在装置选择画面114上。图14b所示的消息画面78可在装置选择画面114显示之前显示在终端设备16的ui单元46上。
如图26所示，候选列表包括能够与mfp(b)一起执行协作功能的各个装置的名称、与各个装置有关的装置图像、协作功能的示例(例如，协作功能的名称)等等。当然，候选列表可包括这些信息中的至少一个。各个装置图像可以是表示实际装置的外观的图像(以一对一关系与装置有关的图像)，或者可以是示意性地描绘装置的图像(例如，图标)。例如，表示实际装置的外观的图像是通过拍摄装置的外观而生成的图像，并且是表示装置本身的图像。示意性地描绘装置的图像对应于表示装置的类型的图像。作为协作功能的示例，候选列表中包括一个协作功能的名称或者多个协作功能的名称。在显示多个协作功能的名称的情况下，各个协作功能的名称可按照与彼此协作的多个目标装置被指定的顺序对应的显示顺序来显示。例如，如果mfp和投影仪的组合能够执行多个协作功能(例如，协作功能a和b)，则在当mfp被指定为第一装置时与当投影仪被指定为第一装置时之间，包括在候选列表中的多个协作功能的显示顺序可不同。例如，如果mfp被指定为第一装置，则各个协作功能的名称可按照协作功能a和协作功能b的顺序显示。如果投影仪被指定为第一装置，则各个协作功能的名称可按照协作功能b和协作功能a的顺序显示。
第二装置在候选列表中的布置顺序可基于例如各个第二装置的过去使用记录来确定。例如，服务器14的控制器36通过从各个装置获得表示装置的使用记录的信息来管理各个装置的使用记录。例如，控制器36在候选列表中按照使用频率的降序(使用次数的降序)显示第二装置。过去使用记录可以是指定第一图像的用户(例如，使用终端设备16的用户或者登入服务器14的用户)的使用记录，或者可以是包括另一用户的使用记录的使用记录。
又如，控制器36可在候选列表中按照可执行协作功能的数量的降序显示第二装置。例如，如果可通过投影仪和mfp(b)执行的协作功能的数量为3个并且如果可通过pc和mfp(b)执行的协作功能的数量为2个，则在候选列表中投影仪被显示在pc上面。
如果各个装置的功能被更新并且如果协作功能管理信息34被更新，则控制器36根据该更新来更新候选列表中的第二装置的显示。例如，如果更新前不能与mfp一起执行协作功能的装置在更新后变得能够与mfp一起执行协作功能，则控制器36将该装置作为第二装置显示在候选列表中。此外，各个装置的使用记录随时间而更新，并且控制器36基于更新的使用记录来更新候选列表中的第二装置的显示顺序。
根据第一和第二装置的操作状态或周围环境，服务器14的控制器36可更新包括在候选列表中的第二装置或者可更新候选列表中的第二装置的显示顺序。
能够与mfp一起执行协作功能但是损坏或正被使用的装置未必被显示在候选列表上。同样在这种情况下，如果装置已修理或者已变得可用，则该装置被显示在候选列表上。
如果用户指定包括在候选列表中的装置名称或装置图像，则终端设备16的控制器48可在服务器14的控制器36的控制下使得终端设备16的ui单元46显示可通过作为第一装置的mfp与指定的装置执行的一个或更多个协作功能的列表。例如，如果指定候选列表中的投影仪，则终端设备16的控制器48使得ui单元46显示可通过mfp和投影仪执行的一个或更多个协作功能的列表。如果用户指定包括在候选列表中的协作功能，则执行控制以执行所指定的协作功能。
显示在候选列表中的各个第二装置可以是包括在服务器14中预先注册的装置群中的装置、包括在利用ar技术等识别的装置群中的装置、包括在显示在终端设备16的ui单元46上的装置群中的装置、或者包括在显示在ui单元46的画面中的特定区域中的装置群中的装置。例如，如果用户操作与装置有关的装置图像，则装置图像被显示在该特定区域中。第一装置也可以是包括在这些装置群中的装置。这同样适用于上述示例1至5以及下述示例。
如示例1中一样，根据示例6的处理可适用于使用与功能有关的功能图像的情况。例如，如果指定不能与第一功能一起执行协作功能的装置或功能，则可显示候选列表，该候选列表示出能够与第一功能一起执行协作功能的装置(候选第二装置)或功能(候选第二功能)。例如，候选列表中包括第二功能的名称、与第二功能有关的功能图像、协作功能的示例等等。另选地，如果指定不能与第一装置一起执行协作功能的功能，则可显示候选列表。
根据示例6，候选第二装置或候选第二功能作为候选列表而显示，这对用户可以是方便的。
示例7
将参照图26至图32描述示例7。在示例7中，如示例6中一样，候选列表被显示在终端设备16的ui单元46上。
如示例6中一样，假设用户指定mfp(b)作为第一装置并且用户指定不能与mfp(b)一起执行协作功能的装置。服务器14的控制器36接收该指定，并且作为呈现指示能够与mfp(b)一起执行协作功能的一个或更多个第二装置的引导的控制，执行控制以显示示出关于所述一个或更多个第二装置的信息的候选列表。因此，装置选择画面114被显示在终端设备16的ui单元46上，如图26所示。
例如，如果用户指定装置名称，则终端设备16的控制器48在服务器14的控制器36的控制下使得终端设备16的ui单元46显示与所指定的装置相同类型的装置的列表(第二装置的列表)。例如，如果用户指定投影仪，则装置选择画面116被显示在终端设备16的ui单元46上，如图27所示。作为第二装置的投影仪的列表被显示在装置选择画面116上。例如，如果服务器14的确定单元38确定(识别)投影仪aaa、bbb和ccc作为与第二装置对应的投影仪，则显示示出这些投影仪的列表。用户从该列表选择要用作第二装置的投影仪。
此外，在装置选择画面116上显示询问用户是否增加协作的目标装置的消息。例如，如果用户指定第二装置，然后用户提供增加协作的目标装置的指令(例如，如果用户选择图27中的“是”)，则装置选择画面118如图28所示显示在终端设备16的ui单元46上，并且在装置选择画面118上显示候选列表，该候选列表示出关于能够与第一和第二装置一起执行协作功能的一个或更多个第三装置的信息。该候选列表具有与示出关于一个或更多个第二装置的信息的候选列表相同的配置。第三装置的显示顺序可不同于第二装置的候选列表中的显示顺序。如果用户指定第三装置，则如响应于第二装置的指定而显示的装置选择画面116(参见图27)中一样，显示第三装置的列表。这同样适用于增加第四装置、第五装置、等等的情况。
如果示意性地描绘装置的图像(例如，图标)作为装置图像被包括在候选列表中并且如果用户指定该装置图像，则显示与该装置图像有关的第二装置(例如，投影仪)的列表，如图27所示。即，装置图像表示这种类型的装置，并且通常表示装置。因此，如果指定该装置图像，则显示与该装置图像有关的第二装置的列表。另一方面，表示实际装置的图像(以一对一关系与装置有关的图像)是表示装置本身的图像。因此，如果该装置图像被包括在候选列表中并由用户指定，则用户指定装置本身。在这种情况下，不显示图27所示的第二装置的列表，可仅显示询问用户是否增加协作的目标装置的消息。
如果不增加协作的目标装置(例如，如果用户指定图27中的“否”)，则终端设备16的控制器48在服务器14的控制器36的控制下使得终端设备16的ui单元46显示图29所示的功能选择画面120。可通过用户所指定的多个装置执行的协作功能的列表被显示在功能选择画面120上。例如，如果mfp(b)被指定为第一装置并且如果投影仪aaa被指定为第二装置，则显示可通过mfp(b)和投影仪aaa执行的协作功能的列表。如果用户从列表中指定协作功能并且提供执行协作功能的指令，则通过mfp(b)和投影仪aaa执行协作功能。
另一方面，在执行协作功能的列表中未包括的协作功能的情况下，用户请求执行协作功能。例如，如图30所示，用于进行请求的画面122被显示在终端设备16的ui单元46上，并且用户在画面122上输入要执行的协作功能的名称。表示该请求的信息从终端设备16发送至服务器14。响应于请求的接收，服务器14的控制器36确定与该请求有关的协作功能是否可通过所指定的装置(例如，第一和第二装置)执行。如果与请求有关的协作功能不可执行，则终端设备16的控制器48在服务器14的控制器36的控制下使得终端设备16的ui单元46显示指示与请求有关的协作功能不可执行的消息，如图31所示。如果与请求有关的协作功能可执行，则终端设备16的控制器48在服务器14的控制器36的控制下使得终端设备16的ui单元46显示指示与请求有关的协作功能将要执行的消息，如图32所示。如果用户提供执行指令，则执行协作功能。另外，用户所请求的协作功能可被注册。例如，如图32所示，终端设备16的控制器48在服务器14的控制器36的控制下使得终端设备16的ui单元46显示询问用户是否将所请求的协作功能从现在起注册为候选协作功能的消息。如果用户选择“注册”，则关于所请求的协作功能的信息从现在起被注册在协作功能管理信息34中并在被包括在协作功能的列表中的同时显示。如果用户选择“不注册”，则关于所请求的协作功能的信息不被注册并且不被包括在协作功能的列表中。例如，如果所请求的协作功能对应于例外的处理，如果其它协作功能的使用频率更高，或者如果用户想要防止包括在列表中的协作功能的数量增加并且列表变得复杂的状况，则所请求的协作功能不被注册。
如示例1中一样，根据示例7的处理可适用于使用与功能有关的功能图像的情况。
根据示例7，候选第二装置或候选第二功能作为候选列表而显示，这对用户而言可以是方便的。另外，可利用候选列表容易地增加协作的目标装置。
示例8
将参照图33至图35描述示例8。在示例8中，如示例6和7中一样，候选列表被显示在终端设备16的ui单元46上。
如示例6和7中一样，假设用户指定mfp(b)作为第一装置并且用户指定不能与mfp(b)一起执行协作功能的装置。在这种情况下，如图26所示，装置选择画面114被显示在终端设备16的ui单元46上。
如果用户在装置选择画面114上指定协作功能(例如，“打印显示画面”)，则终端设备16的控制器48在服务器14的控制器36的控制下使得终端设备16的ui单元46显示图33所示的装置选择画面124。在装置选择画面124上，显示执行用户所指定的协作功能(例如，“打印显示画面”)所需的装置(即，能够执行协作功能的装置)的列表(第二装置的列表)。如果用户在列表中指定装置(第二装置)并且如果用户提供执行协作功能的指令，则通过用户所指定的第一和第二装置来执行用户所指定的协作功能。
如果用户提供选择装置选择画面124上所显示的装置列表中没有包括的装置的指令(如果响应于询问“你要选择另一装置吗？”，选择“是”)，则终端设备16的控制器48在服务器14的控制器36的控制下使得终端设备16的ui单元46显示图34所示的装置选择画面126。在装置选择画面126上，显示能够执行用户所指定的协作功能的另一装置的候选列表。在装置选择画面126上如果用户指定装置(第二装置)并且如果用户提供执行协作功能的指令，则通过用户所指定的第一和第二装置来执行用户所指定的协作功能。
如果用户提供选择装置选择画面126上所显示的装置列表中没有包括的装置的指令(如果响应于询问“你要选择另一装置吗？”，选择“是”)，则终端设备16的控制器48在服务器14的控制器36的控制下使得终端设备16的ui单元46显示图35所示的画面128，该画面128用于输入关于协作的目标装置的信息。用户在画面128上输入关于协作的目标装置的信息(例如，装置的名称或类型)。用户所输入的关于目标装置的信息从终端设备16发送至服务器14。响应于信息的接收，服务器14的控制器36确定用户所指定的协作功能是否可通过第一装置和用户所指定的目标装置来执行。如果协作功能不可执行，则终端设备16的控制器48在服务器14的控制器36的控制下使得终端设备16的ui单元46显示用于设定另一装置作为目标装置的画面。如果协作功能可执行并且如果提供执行协作功能的指令，则通过用户所指定的第一和第二装置(彼此协作的目标装置)来执行用户所指定的协作功能。
如示例1中一样，根据示例8的处理可适用于使用与功能有关的功能图像的情况。
根据示例8，当在候选列表中指定协作功能时，显示执行该协作功能所需的装置，因此，可增加选择装置的用户便利。
示例性实施方式可适用于多个用户使用多个装置的环境。例如，即使从装置去除诸如触摸屏的用户接口，终端设备16也用作用户接口。在另一情况下，例如，如果用户在旅途中临时使用装置，则由终端设备16来实现适合于用户的用户接口，即，显示用户所指定的装置的一个或更多个功能以及使用该装置的一个或更多个协作功能的用户接口。
以下，将描述与示例1至8有关的处理。
切换关于协作功能的信息的显示的处理
在示例性实施方式中，关于协作功能的信息的显示可根据与装置有关的装置图像彼此链接的顺序而切换。在这种情况下，如果被指定为协作伙伴装置的装置是不能与第一装置一起执行协作功能，则如上述示例1至8中一样，执行控制以呈现指示能够与第一装置一起执行协作功能的第二装置的引导。另一方面，如果用户指定能够与第一装置一起执行协作功能的第二装置，则关于协作功能的信息的显示根据装置图像彼此链接的顺序而切换。以下，将参照图36至图38b详细描述此处理。
图36示出作为协作功能管理信息34的另一示例的协作功能管理表。在该协作功能管理表中，例如，表示装置id的组合的信息、表示彼此协作的目标装置的名称(类型)的信息、表示一个或更多个协作功能的信息(协作功能信息)、表示链接顺序的信息以及表示优先顺序的信息彼此关联。链接顺序对应于与装置有关的装置图像彼此链接的顺序。优先顺序是关于协作功能的信息被显示的优先顺序。例如，具有装置id“a”的装置是pc，具有装置id“b”的装置是mfp。pc(a)与mfp(b)之间的协作实现例如扫描并传送功能和打印功能作为协作功能。扫描并传送功能是将通过由mfp(b)扫描而生成的图像数据传送至pc(a)的功能。打印功能是将存储在pc(a)中的数据(例如，图像数据或文档数据)发送至mfp(b)并由mfp(b)打印该数据的功能。例如，如果从mfp(b)至pc(a)进行链接，即，如果从与mfp(b)有关的装置图像至与pc(a)有关的装置图像进行链接，则扫描并传送功能的优先顺序为“1”，打印功能的优先顺序为“2”。在这种情况下，关于扫描并传送功能的信息优先于关于打印功能的信息而显示。另一方面，如果从pc(a)至mfp(b)进行链接，即，如果从与pc(a)有关的装置图像至与mfp(b)有关的装置图像进行链接，则打印功能的优先顺序为“1”，扫描并传送功能的优先顺序为“2”。在这种情况下，关于打印功能的信息优先于关于扫描并传送功能的信息而显示。
图37a至图38b各自示出显示在终端设备16的ui单元46上的画面的示例。例如，假设mfp(b)和pc(a)被识别。如图37a所示，装置显示画面68被显示在终端设备16的ui单元46上，并且与mfp(b)有关的装置图像70以及与pc(a)有关的装置图像88被显示在装置显示画面68上。在这种状态下，用户利用指示物(例如，用户的手指、笔或手写笔)将表示目标装置的装置图像彼此链接。终端设备16的控制器48检测指示物在装置显示画面68上的触摸，并且检测指示物在装置显示画面68上的移动。例如，如箭头130所指示的，用户利用操作物来触摸装置显示画面68上的装置图像70并且将操作物移至装置显示画面68上的装置图像88，由此将装置图像70链接至装置图像88。因此，与装置图像70有关的mfp(b)以及与装置图像88有关的pc(a)被指定为彼此协作的目标装置并且指定链接顺序。装置图像被链接的顺序对应于链接顺序。mfp(b)对应于第一装置，pc(a)对应于第二装置。在图37a所示的示例中，从装置图像70至装置图像88，即，从mfp(b)至pc(a)进行链接。表示装置的链接顺序的信息从终端设备16发送至服务器14。终端设备16的控制器48可使得表示用户所执行的移动轨迹的图像显示在装置显示画面68上。在装置彼此链接之后，终端设备16的控制器48可利用预定直线等替换该轨迹，并且可使得所述直线显示在装置显示画面68上。
当按照上述方式指定彼此协作的目标装置(例如，mfp(b)和pc(a))时，服务器14的确定单元38在图36所示的协作功能管理表中确定与pc(a)和mfp(b)的组合关联的协作功能。因此，确定通过pc(a)与mfp(b)之间的协作执行的协作功能。当用户指定装置的链接顺序时，确定单元38在协作功能管理表中确定与该链接顺序关联的优先顺序。具体地，参照图36，由于pc(a)和mfp(b)被指定为彼此协作的目标装置，所以通过这些装置执行的协作功能是扫描并传送功能和打印功能。另外，由于从mfp(b)至pc(a)(b→a)进行链接，所以扫描并传送功能的优先顺序为“1”，打印功能的优先顺序为“2”。
关于所确定的协作功能的信息以及关于所确定的优先顺序的信息从服务器14发送至终端设备16。终端设备16的控制器48使得ui单元46根据优先顺序显示关于协作功能的信息作为关于候选协作功能的信息。
例如，如图37b所示，终端设备16的控制器48使得ui单元46显示协作功能显示画面132并且在协作功能显示画面132上显示关于候选协作功能的信息。由于扫描并传送功能的优先顺序为“1”，并且打印功能的优先顺序为“2”，所以关于扫描并传送功能的信息优先于关于打印功能的信息(例如，在其上方)显示。例如，作为关于扫描并传送功能的信息，显示扫描并传送功能的说明“将mfp(b)扫描的数据传送至pc(a)”。此外，作为关于打印功能的信息，显示打印功能的说明“打印pc(a)中的数据”。
如果用户指定协作功能并且提供执行指令，则执行所指定的协作功能。例如，如果用户按压“是”按钮，则执行与“是”按钮有关的协作功能。此外，“后退”按钮被显示在协作功能显示画面132上。如果用户按压“后退”按钮，则连接装置的处理停止。
确定协作功能的处理和确定优先顺序的处理可由终端设备16执行。
代替在装置图像之间移动操作物，通过围绕装置图像绘制圆，可指定彼此协作的目标装置并且可指定其链接顺序。例如，绘制操作的顺序对应于链接顺序。另选地，可根据用户所提供的语音指令来指定彼此协作的目标装置及其链接顺序。
图38a和图38b示出另一操作的示例。例如，如图38a所示，用户利用操作物触摸装置显示画面68上的装置图像88并且在箭头134所指示的方向上将操作物移至装置图像70，从而将装置图像88链接至装置图像70。因此，与装置图像88有关的pc(a)以及与装置图像70有关的mfp(b)被指定为彼此协作的目标装置，并且还指定链接顺序。在此示例中，从装置图像88至装置图像70，即，从pc(a)至mfp(b)进行链接。参考图36所示的协作功能管理表，打印功能的优先顺序为“1”，并且扫描并传送功能的优先顺序为“2”。在这种情况下，如图38b所示，在协作功能显示画面136上关于打印功能的信息优先于关于扫描并传送功能的信息(例如，在其上方)显示。
如上所述，与装置有关的装置图像彼此链接，从而确定使用该装置的功能的协作功能。根据图像彼此链接的顺序，即，装置彼此链接的顺序，关于协作功能的信息的显示顺序改变。装置的链接顺序也被视为在各个装置中使用功能的顺序或者数据在彼此协作的装置之间移动的顺序。将装置链接的操作(将图像链接的操作)也被视为指定功能使用的顺序或者数据移动的顺序的操作。因此，作为根据链接顺序改变关于协作功能的信息的显示顺序的结果，优先显示关于用户预期要使用的协作功能的信息。换言之，优先显示关于用户更有可能使用的协作功能的信息。例如，如果从mfp(b)至pc(a)进行链接，则预期用户将使用“首先使用mfp(b)的功能，然后将数据从mfp(b)传送至pc(a)”的协作功能。另一方面，如果从pc(a)至mfp(b)进行链接，则预期用户将使用“首先使用pc(a)的功能，然后将数据从pc(a)传送至mfp(b)”的协作功能。因此，作为根据图像的链接顺序改变关于协作功能的信息的显示顺序的结果，优先显示关于用户更有可能使用的协作功能的信息。另外，指定功能使用的顺序或者数据移动的顺序而无需将装置图像链接的操作以外的特殊操作，并且显示关于用户预期要使用的协作功能的信息。
上述显示切换处理可适用于使用与功能有关的功能图像的情况。例如，根据与第一功能有关的功能图像以及与第二功能有关的功能图像被指定的顺序，切换关于协作功能的信息的显示。
上述显示切换处理可适用于关于根据示例6等的候选列表(例如，参见图26)中所显示的协作功能的信息。即，如果mfp(b)被指定为第一装置，则pc(a)作为候选第二装置(候选协作伙伴)显示在候选列表中，并且关于多个协作功能的信息作为关于与pc(a)有关的协作功能的信息(关于可通过mfp(b)和pc(a)执行的协作功能的信息)按照图37b所示的顺序显示。另一方面，如果pc(a)被指定为第一装置，则mfp(b)作为候选第二装置(候选协作伙伴)显示在候选列表中，并且关于多个协作功能的信息作为关于与mfp(b)有关的协作功能的信息按照图38b所示的顺序显示。
使用部分图像的协作处理
指派给协作功能的装置的功能可根据与装置有关的装置图像中的位置而变化。当用户指定装置图像中的特定位置时，优先显示关于使用与该特定位置对应的功能的协作功能的信息。以下，将详细描述该处理。
图39示出装置功能管理表的示例。装置功能管理表的数据作为装置功能管理信息32被存储在服务器14中。在装置功能管理表中，例如，装置id、表示装置的名称(例如，类型)的信息、表示装置图像中的位置的信息、表示与该位置对应的功能的信息(功能信息)以及图像id彼此关联。装置图像中的位置是与装置有关的装置图像中的特定位置(特定部分)，例如，示意性地表示装置的装置图像中的特定位置或者由相机捕获的装置图像中的特定位置。不同功能与装置图像中的各个特定位置关联。
图40a和图40b各自示出显示在终端设备16的ui单元46上的画面的示例。例如，假设mfp(b)和pc(a)被识别。如图40a所示，装置显示画面68被显示在终端设备16的ui单元46上，并且装置图像70和88被显示在装置显示画面68上。例如，在装置图像70中，与mfp(b)的本体部对应的特定位置(部分图像70a)被指派打印功能。在装置图像70中，与mfp(b)的文档盖、文档玻璃和自动文档馈送器对应的特定位置(部分图像70b)被指派扫描功能。在装置图像70中，与后处理设备对应的特定位置(部分图像70c)被指派装订功能。装订功能是装订输出的纸张的功能。在装置图像88中，与pc(a)的本体部对应的特定位置(部分图像88a)被指派数据存储功能。在装置图像88中，与pc(a)的显示部对应的特定位置(部分图像88b)被指派画面显示功能。数据存储功能是将从另一设备接收的数据存储在pc(a)中的功能。画面显示功能是将从另一设备接收的数据显示在pc(a)中的功能。
终端设备16的控制器48可使得指派给装置图像中的特定位置的功能的名称(例如，打印、扫描等)显示在装置显示画面68上。因此，向用户提供清楚地表示特定位置与功能之间的对应关系的信息。当然，功能的名称未必显示。
当用户指定装置图像中指派有功能的位置时，指派给所指定的位置的功能被指定为彼此协作的目标功能。用户利用指示物将表示彼此协作的目标装置的装置图像中指派有功能的特定位置(部分图像)链接。例如，如箭头138所指示的，用户利用操作物触摸装置显示画面68上的部分图像70b并且将操作物移至部分图像88b，从而将部分图像70b链接至部分图像88b。因此，与包括部分图像70b的装置图像70有关的mfp(b)以及与包括部分图像88b的装置图像88有关的pc(a)被指定为彼此协作的目标装置，并且指派给部分图像70b的扫描功能和指派给部分图像88b的画面显示功能被指定。此外，可通过链接操作指定链接顺序。在这种情况下，部分图像被链接的顺序对应于链接顺序。在图40a所示的示例中，从部分图像70b至部分图像88b，即，从mfp(b)至pc(a)进行链接。扫描功能和画面显示功能被指定为用于协作功能的功能。表示装置的链接顺序的信息以及表示用户在装置图像中指定的特定位置的信息从终端设备16发送至服务器14。
当彼此协作的目标装置(例如，pc(a)和mfp(b))被识别时，服务器14的确定单元38在图7所示的协作功能管理表中确定通过pc(a)和mfp(b)之间的协作实现的协作功能。此外，确定单元38参考图39所示的装置功能管理表来确定指派给用户在装置图像中指定的特定位置的功能。此外，在通过pc(a)和mfp(b)之间的协作实现的协作功能当中，确定单元38向使用指派给用户所指定的位置的功能的协作功能指派较高优先级，向不使用所述功能的协作功能指派较低优先级。
关于以上述方式确定的协作功能的信息以及表示优先顺序的信息从服务器14发送至终端设备16。终端设备16的控制器48使得ui单元46根据优先顺序显示关于协作功能的信息，作为关于候选协作功能的信息。
例如，如图40b所示，终端设备16的控制器48使得ui单元46的显示器显示协作功能显示画面140并且在协作功能显示画面140上显示关于候选协作功能的信息。由于用户按照此顺序指定扫描功能和画面显示功能，所以关于通过扫描功能和画面显示功能之间的协作执行的协作功能，扫描、传送并显示功能的信息优先于关于其它协作功能的信息(例如，在其上方)显示。例如，关于扫描、传送并显示功能的信息优先于关于通过扫描功能和数据存储功能之间的协作执行的协作功能，扫描、传送并存储功能的信息显示。扫描、传送并显示功能是将通过由mfp(b)扫描而生成的数据传送至pc(a)并将该数据显示在pc(a)的画面上的功能。扫描、传送并存储功能是将通过由mfp(b)扫描而生成的数据传送至pc(a)并将该数据存储在pc(a)中的功能。在图40b所示的示例中，各个协作功能的说明被显示作为关于各个协作功能的信息。
根据使用部分图像的协作处理，在彼此协作的各个目标装置具有多个功能的情况下，单独地指定功能，并且优先显示关于使用所指定的功能的协作功能的信息。因此，优先显示预期用户要使用的协作功能。
协作功能可以是使用装置的部分的组合的功能、使用整个装置与装置的部分的组合的功能、或者使用整个装置的组合的功能。
使用部分图像的协作处理可适用于使用与功能有关的功能图像的情况。例如，不同的功能被指派给功能图像中的位置，并且确定使用指派给用户所指定的位置的功能的协作功能。
上述示例1至8也可适用于使用部分图像的协作处理。例如，如果用户指定与第一装置有关的第一图像中所包括的部分图像，则可执行控制以呈现引导，该引导指示能够与指派给与部分图像有关的部分的功能一起执行协作功能的第二装置的整体或部分。又如，如果用户指定与第一装置有关的整个第一图像，则可执行控制以呈现引导，该引导指示能够与第一装置一起执行协作功能的第二装置的部分。为了呈现引导，第二装置的整体或部分可在被包括在上面在示例6中描述的候选列表中的同时显示。如果用户指定第一装置的整体或部分，则可呈现引导，该引导指示能够与第一装置的整体或部分一起执行协作功能的第二装置的整体或部分。如果指定不能与用户所指定的第一装置的整体或部分执行协作功能的第二装置的整体或部分，则可呈现引导，该引导指示能够与第一装置的整体或部分一起执行协作功能的第二装置的整体或部分。以下，将详细描述这些处理。
例如，当指定与第一装置有关的第一图像(整个图像)时，终端设备16的控制器48在服务器14的控制器36的控制下呈现指示第二装置的一个或多个功能的引导，所述功能能够与第一装置一起执行协作功能。更具体地，终端设备16的控制器48呈现引导，该引导指示与第二装置中所包括的一个或多个部分有关的一个或多个部分图像(与第二装置有关的第二图像中的一个或多个部分图像)，与所述一个或多个部分有关的所述一个或多个部分图像被指派有能够与第一装置一起执行协作功能的功能。例如，如示例1至8中一样，终端设备16的控制器48使得终端设备16的ui单元46显示描绘充当引导的箭头的图像，利用声音来呈现引导，或者使得ui单元46显示充当引导的字符串。参照图40a，如果用户指定与mfp(b)有关的装置图像70作为第一图像，则呈现引导，该引导指示与指派有能够与mfp(b)一起执行协作功能的pc(a)的功能的部分有关的部分图像。例如，如果pc(a)的画面显示功能是能够与mfp(b)一起执行协作功能的功能，则呈现指示与画面显示功能有关的部分图像88b的引导。例如，显示将与mfp(b)有关的装置图像70和部分图像88b彼此链接的箭头，利用声音来呈现指示画面显示功能的引导，显示表示画面显示功能的字符串，或者显示部分图像88b以使得该部分图像88b可与另一部分图像相区分。当用户指定作为第一图像的装置图像70时或者当用户指定pc(a)的指派有不能与mfp(b)一起执行协作功能的功能的部分时，可呈现引导。
又如，如果指定与第一装置有关的第一图像中所包括的部分图像，则终端设备16的控制器48可在服务器14的控制器36的控制下呈现引导，该引导指示能够与指派给与该部分图像有关的部分的功能(第一装置的功能)一起执行协作功能的第二装置(整个装置)。参照图40a，例如，如果用户指定与mfp(b)有关的部分图像70a，则呈现引导，该引导指示与能够与指派给与部分图像70a有关的部分的打印功能一起执行协作功能的第二装置有关的第二图像。例如，如果pc(a)是能够与mfp(b)一起执行协作功能的装置，则呈现指示与pc(a)有关的装置图像88的引导。例如，显示将部分图像70a和装置图像88彼此链接的箭头，利用声音来呈现指示pc(a)的引导，显示表示pc(a)的字符串，或者显示装置图像88以使得装置图像88可与另一装置图像相区分。当用户指定包括在装置图像70中的部分图像时或者当用户指定与不能与部分图像有关的功能一起执行协作功能的装置有关的装置图像时，可呈现引导。
又如，如果指定与第一装置有关的第一图像中所包括的部分图像(第一部分图像)，则终端设备16的控制器48在服务器14的控制器36的控制下呈现引导，该引导指示能够与指派给与第一部分图像有关的部分的功能(第一装置的功能)一起执行协作功能的第二装置的一个或多个功能。更具体地，终端设备16的控制器48呈现引导，该引导指示与包括在第二装置中的一个或多个部分有关的一个或多个部分图像(与第二装置有关的第二图像中所包括的一个或多个部分图像，被称作第二部分图像)，即，与一个或多个部分有关的一个或多个第二部分图像，所述一个或多个部分被指派有能够与指派给与第一部分图像有关的部分的功能一起执行协作功能的一个或多个功能。参照图40a，例如，如果用户指定与mfp(b)有关的部分图像70a，则呈现引导，该引导指示与这样的部分有关的第二部分图像，该部分被指派有能够与指派给与部分图像70a有关的部分的打印功能一起执行协作功能的pc(a)的功能。例如，如果pc(a)的画面显示功能是能够与打印功能一起执行协作功能的功能，则呈现指示与画面显示功能有关的部分图像88b的引导。例如，显示将部分图像70a和部分图像88b彼此链接的箭头，利用声音来呈现指示画面显示功能的引导，显示表示画面显示功能的字符串，或者显示部分图像88b以使得部分图像88b可与另一部分图像相区分。当用户指定包括在装置图像70中的部分图像时或者当用户指定与不能与部分图像有关的功能一起执行协作功能的功能有关的部分图像时，可呈现引导。
可指定三个或更多个部分图像，并且由此，用户可指定三个或更多个功能。例如，如果用户指定两个部分图像(两个功能：第一功能和第二功能)，则可呈现引导，该引导指示指派有能够与这两个功能一起执行协作功能的功能(第三功能)的部分。在这种情况下，服务器14的确定单元38可根据与第一功能有关的部分图像以及与第二功能有关的部分图像被指定的顺序来改变被呈现引导的第三功能。
同一装置的多个功能可被指定为彼此协作的目标功能。例如，用户可指定pc(a)的画面显示功能和数据存储功能作为彼此协作的目标功能，或者用户可指定mfp(b)的扫描功能以及pc(a)的画面显示功能和数据存储功能作为彼此协作的目标功能。同样在这种情况下，呈现引导，该引导指示指派有能够与首先指定的功能(例如，第一功能)一起执行协作功能的功能(例如，第二功能)的部分。服务器14的确定单元38可根据指定的顺序来确定使用各个功能的协作功能并且可向协作功能指派较高优先级。
使用部分图像的协作处理的另一示例
以下，将参照图41和图42描述使用部分图像的协作处理的另一示例。
图41示出装置功能管理表的示例。装置功能管理表的数据作为装置功能管理信息32被存储在服务器14中。在装置功能管理表中，例如，装置id、表示装置的名称(例如，装置的类型)的信息、表示装置的部分的名称(例如，部分的类型)的信息、作为用于识别部分的部分识别信息的部分id、表示指派给部分的功能(部分的功能)的信息、以及用于识别与部分有关的部分图像的部分图像id彼此关联。部分图像是表示通过由相机拍摄而获得的装置的部分的外观的图像。当然，示意性地表示装置的部分的部分图像可与该部分关联。例如，不同功能被指派给装置的各个部分。
具体地，画面显示功能被指派给pc(a)的显示部，并且表示画面显示功能的信息与显示部有关的部分图像的部分图像id关联。画面显示功能是将信息显示在pc(a)上的功能。数据存储功能被指派给pc(a)的本体部，并且表示数据存储功能的信息与本体部有关的部分图像的部分图像id关联。数据存储功能是将数据存储在pc(a)中的功能。
打印功能被指派给mfp(b)的本体部，并且表示打印功能的信息与本体部有关的部分图像的部分图像id关联。扫描功能被指派给mfp(b)的读取部(例如，与mfp(b)的文档盖、文档玻璃和自动文档馈送器对应的部分)，并且表示扫描功能的信息与与读取部有关的部分图像的部分图像id关联。装订功能被指派给mfp(b)的后处理设备，并且表示装订功能的信息与后处理设备有关的部分图像的部分图像id关联。装订功能是装订输出的纸张的功能。
利用例如无标记ar技术确定(识别)指派给装置的部分的功能。例如，如果由相机(例如，终端设备16的相机42)拍摄装置的部分，则表示该部分的外观图像数据从终端设备16发送至服务器14。服务器14的确定单元38在装置功能管理表中确定(识别)与外观图像数据关联的功能。因此，确定(识别)指派给所拍摄的部分的功能。例如，如果由相机42拍摄mfp(b)的本体部，则表示mfp(b)的本体部的外观图像数据从终端设备16发送至服务器14。服务器14的确定单元38在装置功能管理表中确定与外观图像数据关联的打印功能。因此，确定指派给mfp(b)的本体部的功能是打印功能。
当然，可利用基于标记的ar技术确定(识别)指派给装置的部分的功能。例如，装置的各个部分设置有诸如通过对部分识别信息(例如，部分id)进行编码而获得的二维条形码的标记以用于识别该部分。如果由相机拍摄部分上的标记并且对其应用基于标记的ar技术，则获得该部分的部分识别信息(例如，部分id)。基于标记的ar技术的应用可由终端设备16或服务器14执行。在这样获得部分识别信息之后，服务器14的确定单元38在装置功能管理表中确定(识别)与部分识别信息(例如，部分id)关联的功能。
图42示出协作功能管理表的示例。协作功能管理表的数据作为协作功能管理信息34被存储在服务器14中。协作功能管理表是表示各自使用多个部分的功能的协作功能的信息。在协作功能管理表中，例如，表示装置的部分的组合的信息、表示部分id的组合的信息以及表示使用组合中所包括的多个部分的功能的协作功能的信息彼此关联。当然，在协作功能管理表中，表示装置的部分与整个装置的组合的信息以及表示使用装置的部分的功能和整个装置的功能的协作功能的信息可彼此关联。
具体地，作为协作功能的打印功能被指派给pc(a)的显示部和mfp(b)的本体部的组合，并且表示作为协作功能的打印功能的信息与表示pc(a)的显示部的部分id和mfp(b)的本体部的部分id的组合的信息关联。例如，作为协作功能的打印功能是将存储在pc(a)中的数据发送至mfp(b)并由mfp(b)打印该数据的功能。
作为协作功能的打印功能被指派给mfp(b)的本体部和投影仪(c)的本体部的组合，并且表示作为协作功能的打印功能的信息与表示mfp(b)的本体部的部分id和投影仪(c)的本体部的部分id的组合的信息关联。例如，作为协作功能的打印功能是将投影仪(c)投影的数据发送至mfp(b)并由mfp(b)打印该数据的功能。
作为协作功能的扫描并投影功能被指派给mfp(b)的读取部和投影仪(c)的本体部的组合，并且表示作为协作功能的扫描并投影功能的信息与表示mfp(b)的读取部的部分id和投影仪(c)的本体部的部分id的组合的信息关联。例如，作为协作功能的扫描并投影功能是将通过由mfp(b)扫描而生成的数据发送至投影仪(c)并由投影仪(c)投影该数据的功能。
协作功能可以是使用包括在同一装置中的多个部分的功能的功能，或者可以是使用包括在多个不同装置中的部分的功能的功能。协作功能可以是使用三个或更多个部分的功能的功能。
例如，在利用基于标记的ar技术或无标记ar技术确定(识别)装置的多个部分(例如，多个不同装置的多个部分或者同一装置的多个部分)之后，服务器14的确定单元38在协作功能管理表中确定(识别)与所识别的多个部分的组合关联的协作功能。因此，确定(识别)使用多个识别(例如，拍摄)的部分的功能的协作功能。例如，如果由终端设备16的相机42拍摄mfp(b)的本体部和投影仪(c)的本体部并且如果mfp(b)的本体部和投影仪(c)的本体部被识别，则服务器14的确定单元38在协作功能管理表中确定打印功能等作为与mfp(b)的本体部和投影仪(c)的本体部的组合关联的协作功能。
上述示例1至8也可适用于这种协作处理。例如，如果确定(识别)装置的第一部分，则终端设备16的控制器48在服务器14的控制器36的控制下呈现引导，该引导指示能够与指派给第一部分的功能一起执行协作功能的装置的第二部分。
通过叠加装置图像来指定彼此协作的目标装置
可通过将多个装置图像彼此叠加来指定彼此协作的目标装置。以下，将参照图43a、图43b、图43c、图44a和图44b描述此处理。图43a、图43b、图43c、图44a和图44b各自示出显示在终端设备16的ui单元46上的画面的示例。
例如，假设mfp(b)和pc(a)被识别。如图43a所示，装置显示画面68被显示在终端设备16的ui单元46上，并且与识别的装置有关的装置图像70和88被显示在装置显示画面68上。在这种状态下，用户利用指示物(例如，用户的手指、笔或手写笔)将与第一装置有关的装置图像叠加在与协作伙伴装置(第二装置)有关的装置图像上。例如，如图43b所示，用户利用操作物指定装置图像70并且将装置图像70叠加在装置图像88上，如箭头142所指示的。例如，用户通过执行拖放操作来将装置图像彼此叠加。具体地，用户拖曳装置图像70并在装置图像70被叠加在装置图像88上的位置处放开它。该拖放操作是根据现有技术的技术。另选地，可根据用户所提供的语音指令来指定要彼此叠加的装置图像。例如，根据用户所提供的语音指令，装置图像70和88可被指定为目标装置图像并且可彼此叠加。
作为将装置图像70和88彼此叠加的结果，与装置图像70有关的mfp(b)以及与装置图像88有关的pc(a)被指定为彼此协作的目标装置。例如，第一个被指定的mfp(b)对应于第一装置。如果第二个被指定的pc(a)是不能与mfp(b)一起执行协作功能的装置，则如上述示例1至8中一样，呈现指示能够与mfp(b)一起执行协作功能的装置的引导。
终端设备16的控制器48可使得正被拖曳的装置图像以可识别的方式显示在ui单元46上。例如，正被拖曳的装置图像可被半透明地显示或以特定颜色显示。
如果装置图像70被叠加在装置图像88上并且如果pc(a)能够与mfp(b)一起执行协作功能，则确认画面144被显示在终端设备16的ui单元46上，如图43c所示。确认画面144是用于确认是否使得所指定的装置彼此协作的画面。如果用户在确认画面144上提供协作指令(例如，如果用户按压“是”按钮)，则关于协作功能的信息被显示在终端设备16的ui单元46上。
例如，如图44a所示，终端设备16的控制器48使得ui单元46显示协作功能显示画面146并且在协作功能显示画面146上显示关于候选协作功能的信息。通过使得pc(a)和mfp(b)彼此协作，例如，实现扫描并传送功能和打印功能。因此，关于扫描并传送功能的信息以及关于打印功能的信息被显示在协作功能显示画面146上。
如果用户指定协作功能并且用户提供执行指令，则从终端设备16向彼此协作的目标装置发送连接请求。如图44b所示，在正处理连接请求的同时，等待画面148被显示在终端设备16的ui单元46上。当终端设备16与目标装置之间的连接成功建立时，执行所指定的协作功能。
如上所述，与装置有关的装置图像被彼此叠加，由此确定使用装置的功能的协作功能。因此，可使得功能彼此协作而无需图像操作以外的特殊操作，并且可利用简单的操作执行功能之间的协作。同样在这种情况下，呈现指示能够与第一装置一起执行协作功能的第二装置的引导，因此，与不呈现引导的情况相比，可增加使用协作功能的用户便利。
可通过将部分图像叠加在装置图像或部分图像上来确定协作功能。此处理将参照图45a和图45b描述。图45a和图45b各自示出显示在终端设备16的ui单元46上的画面的示例。
如上述使用部分图像的协作处理中一样，装置的功能根据与装置有关的装置图像中的位置而变化。通过使包括在装置图像中的部分图像叠加在包括在相同或不同装置图像中的部分图像上，确定使用与两个部分图像有关的功能的协作功能。以下，此处理将详细描述。
例如，假设mfp(b)和pc(a)被识别。如图45a所示，装置显示画面68被显示在终端设备16的ui单元46上，并且装置图像70和88被显示在装置显示画面68上。例如，部分图像70a、70b、70c、88a和88b中的每一个被显示作为能够与另一部分图像分离地移动的图像。
如果用户指定部分图像并且如果该部分图像被叠加在另一部分图像上，则确定使用与两个部分图像有关的功能的协作功能，并且关于该协作功能的信息被显示在终端设备16的ui单元46上。此确定处理可由服务器14的确定单元38或终端设备16执行。
例如，如图45b中的箭头150所指示的，如果用户利用操作物拖曳部分图像70b并把它放在部分图像88b上，则与包括部分图像70b的装置图像70有关的mfp(b)以及与包括部分图像88b的装置图像88有关的pc(a)被指定为彼此协作的目标装置，并且指派给部分图像70b的扫描功能以及指派给部分图像88b的画面显示功能也被指定为彼此协作的目标功能。
在服务器14中，管理指派给各个部分图像的功能。例如，用于识别部分图像的识别信息、表示与部分图像关联的功能的功能信息、以及表示通过功能之间的协作执行的协作功能的协作功能信息彼此关联地存储在服务器14中。如果在装置显示画面68上选择部分图像并将它叠加在另一部分图像上，则表示彼此叠加的部分图像的识别信息从终端设备16发送至服务器14。在图45b所示的示例中，表示部分图像70b和88b的识别信息从终端设备16发送至服务器14。服务器14的确定单元38基于识别信息确定指派给部分图像70b和88b的功能，并且确定使用所述功能的协作功能。关于协作功能的信息从服务器14发送至终端设备16并被显示在终端设备16上。
如上所述，在彼此协作的各个目标装置具有多个功能的情况下，在各个目标装置中选择功能，并且优先显示关于使用所指定的功能的协作功能的信息。因此，优先显示预期用户要使用的协作功能。
协作功能显示的优先顺序可根据部分图像彼此叠加的顺序而改变。在这种情况下，优先显示关于使用与叠加的部分图像有关的功能的协作功能的信息。
在部分图像被彼此叠加的情况下，第一个指定的部分图像对应于第一图像，并且与该部分图像有关的功能对应于第一功能。第二个指定的部分图像(叠加有第一图像的部分图像)对应于第二图像，并且与该部分图像有关的功能对应于第二功能。如果第二个指定的功能不能与第一个指定的功能一起执行协作功能，则如上述示例1至8中一样，呈现引导，该引导指示能够与第一个指定的功能一起执行协作功能的功能。在上述示例中，如果与第二个指定的部分图像88b有关的画面显示功能不能与第一个指定的部分图像70b有关的扫描功能一起执行协作功能，则呈现引导，该引导指示能够与第一个指定的扫描功能一起执行协作功能的功能。在这种情况下，可呈现指示能够与第一个指定的功能(例如，扫描功能)一起执行协作功能的整个装置(例如，装置图像本身)的引导，或者可呈现指示指派有能够与第一个指定的功能一起执行协作功能的功能的装置的部分(例如，部分图像)的引导。
切换单装置功能和协作功能的显示的处理
在示例性实施方式中，可执行单独使用单个装置的功能(以下称为“单装置功能”)的显示与协作功能的显示之间的切换的控制。
例如，如果在预定识别时段内仅识别出一个装置，则终端设备16的控制器48使得终端设备16的ui单元46显示关于这一个装置(例如，图像形成设备10)的一个或更多个功能的信息作为单装置功能信息。识别时段的长度可由用户改变。可通过应用ar技术或其它技术来识别装置。识别装置的处理可由服务器14或终端设备16执行。例如，识别时段的起始点可以是这一个装置被识别的时间点或者用户所指定的时间点(例如，识别处理开始的时间点)。
例如，如果在从这一个装置被识别的时间点起的识别时段内没有识别出另一装置，则终端设备16的控制器48使得终端设备16的ui单元46显示关于这一个装置的一个或更多个功能的信息作为单装置功能信息。在这种情况下，这一个装置作为在识别时段内识别的装置被处理。关于装置的信息可以是从服务器14发送至终端设备16的信息或者预先存储在终端设备16中的信息。
又如，如果在从用户所指定的时间点开始的识别时段内仅识别一个装置，则终端设备16的控制器48使得终端设备16的ui单元46显示关于这一个装置的一个或更多个功能的信息作为单装置功能信息。
又如，如果在识别一个装置之后提供显示单装置功能的指令，则终端设备16的控制器48可使得终端设备16的ui单元46显示关于这一个装置的一个或更多个功能的信息作为单装置功能信息。终端设备16的控制器48使得终端设备16的ui单元46一直显示或者在拍摄一个装置的情况下(或者在识别一个装置的情况下)显示用于提供显示单装置功能的指令的按钮图像。如果用户按压该按钮图像，则控制器48使得ui单元46显示关于这一个装置的一个或更多个功能的信息。
当识别时段逝去时，终端设备16的控制器48可使得终端设备16的ui单元46显示确认画面。例如，确认画面是用户用来提供延长识别时段的指令的画面。如果用户通过确认画面提供延长识别时段的指令并且如果在延长的时段内没有拍摄另一装置，则终端设备16的控制器48使得终端设备16的ui单元46显示关于识别的装置的一个或更多个功能的信息。
将进一步描述单装置功能信息的显示控制。例如，假设利用基于标记的ar技术或无标记ar技术识别装置。例如，如果在预定拍摄时段内仅拍摄一个装置，则终端设备16的控制器48使得终端设备16的ui单元46显示关于这一个装置的一个或更多个功能的信息作为单装置功能信息。拍摄时段的起始点可以是这一个装置被拍摄的时间点或者用户指定的时间点(例如，拍摄起始点)。拍摄时段的长度可由用户改变。在拍摄这一个装置之后，利用基于标记的ar技术或无标记ar技术识别这一个装置。识别处理可由服务器14或终端设备16执行。
例如，如果在从这一个装置被拍摄的时间点起的拍摄时段内没有拍摄另一装置，则终端设备16的控制器48使得终端设备16的ui单元46显示关于这一个装置的一个或更多个功能的信息作为单装置功能信息。在这种情况下，这一个装置被处理为在拍摄时段内拍摄的装置。
又如，如果在从用户指定的时间点开始的拍摄时段内仅拍摄一个装置，则终端设备16的控制器48使得终端设备16的ui单元46显示关于这一个装置的一个或更多个功能的信息作为单装置功能信息。
又如，如果在拍摄一个装置之后提供显示单装置功能的指令，则终端设备16的控制器48可使得终端设备16的ui单元46显示关于这一个装置的一个或更多个功能的信息作为单装置功能信息。
例如，如果在拍摄时段内仅拍摄一个装置(例如，如果在从第一装置被拍摄的时间点起的拍摄时段内没有拍摄第二装置或者如果在从用户所指定的起始点起的拍摄时段内仅拍摄一个装置)，则终端设备16的控制器48将通过拍摄而生成的图像数据发送至服务器14。拍摄时段可由控制器48或定时器测量。服务器14的确定单元38基于图像数据来确定(识别)装置并且确定该装置的一个或更多个功能。关于所述一个或更多个功能的信息从服务器14发送至终端设备16并被显示在终端设备16的ui单元46上。当然，服务器14可代替终端设备16管理时间，并且可将关于识别的装置的一个或更多个功能的信息发送至终端设备16。
当拍摄时段逝去时，终端设备16的控制器48可使得终端设备16的ui单元46显示确认画面。例如，确认画面是用户用来提供延长拍摄时段的指令的画面。如果用户通过确认画面提供延长拍摄时段的指令并且如果在延长的时段内没有拍摄另一装置，则终端设备16的控制器48将通过拍摄获得的图像数据发送至服务器14，并且使得终端设备16的ui单元46显示这一个装置的一个或更多个功能。延长的时段的长度可由用户改变。
又如，如果在拍摄一个装置之后提供显示单装置功能的指令，则终端设备16的控制器48可将通过拍摄生成的图像数据发送至服务器14，并且因此，可从服务器14接收关于所拍摄的装置的一个或更多个功能的信息。
又如，每次通过拍摄装置而生成图像数据时，终端设备16的控制器48可将图像数据发送至服务器14，并且因此，可从服务器14接收关于所拍摄的装置的一个或更多个功能的信息。在这种情况下，如果在拍摄时段内仅拍摄一个装置，则终端设备16的控制器48使得终端16的ui单元46显示关于这一个装置的信息作为单装置功能信息。
另一方面，如果在识别时段内识别多个装置，则服务器14的控制器36执行协作功能模式。在协作功能模式下，如上述示例1至8中一样，呈现指示能够与第一装置一起执行协作功能的第二装置的引导。
例如，如果在从第一装置被识别的时间点起的识别时段内识别第二装置，则执行协作功能模式。在这种情况下，第一装置也被处理为在识别时段内识别的装置。此外，如果在从第一装置被识别的时间点起的识别时段内识别第二装置，则服务器14的控制器36可设定从第二装置被识别的时间点开始的新识别时段。这同样适用于后续时段，即，如果在新识别时段内识别第三装置，则设定另一新识别时段。
又如，如果在从用户所指定的时间点开始的识别时段内拍摄多个装置，则可执行协作功能模式。
又如，如果在识别多个装置之后提供显示协作功能的指令，则可执行协作功能模式。终端设备16的控制器48使得ui单元46一直显示或者在拍摄多个装置的情况下(或者在识别多个装置的情况下)显示用于提供显示一个或更多个协作功能的指令的按钮图像。如果用户按压该按钮图像，则执行协作功能模式。
又如，如果在识别第一装置之后没有提供执行第一装置的功能的指令的时段期间识别第二装置，则可执行协作功能模式。
将进一步描述协作功能模式的执行。例如，假设利用基于标记的ar技术或无标记ar技术识别多个装置。例如，如果在预定拍摄时段内拍摄多个装置，则执行协作功能模式。例如，如果在从第一装置被拍摄的时间点起的拍摄时段内拍摄第二装置，则执行协作功能模式。在这种情况下，第一装置也被处理为在拍摄时段内拍摄的装置。此外，如果在从第一装置被拍摄的时间点起的拍摄时段内拍摄第二装置，则服务器14的控制器36可设定从第二装置被拍摄的时间点开始的新拍摄时段。这同样适用于后续时段，即，如果在新拍摄时段内拍摄第三装置，则设定另一新拍摄时段。
又如，如果在从用户所指定的时间点开始的拍摄时段内拍摄多个装置，则可执行协作功能模式。
又如，如果在拍摄多个装置之后提供显示协作功能的指令，则可执行协作功能模式。
又如，如果在拍摄第一装置之后没有提供执行第一装置的功能的指令的时段期间拍摄第二装置，则可执行协作功能模式。
如上所述，在切换单装置功能和协作功能的显示的过程中，如果识别(例如，拍摄)一个装置，则显示关于这一个装置的一个或更多个功能的信息，并且如果识别(例如，拍摄)多个装置，则执行协作功能模式。因此，关于可利用识别(例如，拍摄)的装置执行的功能的信息被提供给用户，这对用户而言可以是方便的。
由于仅通过应用ar技术识别装置，单装置功能或协作功能变得可用，所以与用户手动地进行设定以用于执行功能的情况相比，各个功能通过简单的操作而可用，并且用户的时间和努力可减少。
在示例性实施方式中，与识别的装置有关的装置图像以及彼此叠加的装置图像可三维地显示以与背景图像相区分。即，这些图像可被显示为三维图像。例如，背景图像被二维显示，并且装置图像被三维显示。因此，装置图像的可视性可增加。另外，用户所指定的装置图像的颜色可改变，或者所指定的装置图像可闪烁，以使得所指定的装置图像可与其它装置图像相区分。
根据示例性实施方式，通过应用ar技术来确定使用彼此协作的目标装置的功能的协作功能，并且显示关于协作功能的信息。因此，即使用户无法从装置的外观知道通过彼此协作的目标装置可执行哪一协作功能，也向用户提供关于协作功能的信息。此外，通过使得多个装置彼此协作，无法通过单个装置执行的功能变得可用，这可以是方便的。另外，仅通过应用ar技术识别彼此协作的目标装置，协作功能变得可用。因此，与用户手动地进行设定以用于执行协作功能的情况相比，协作功能通过简单的操作而变得可用，并且用户的时间和努力可减少。
例如，图像形成设备10、服务器14和终端设备16中的每一个通过硬件和软件资源之间的协作来实现。具体地，图像形成设备10、服务器14和终端设备16中的每一个包括诸如中央处理单元(cpu)的一个或多个处理器(未示出)。所述一个或多个处理器读取并执行存储在存储设备(未示出)中的程序，由此实现图像形成设备10、服务器14和终端设备16的各个单元的功能。程序通过诸如紧凑盘(cd)或数字多功能盘(dvd)的记录介质或者通过诸如网络的通信路径存储在存储设备中。另选地，图像形成设备10、服务器14和终端设备16的各个单元可通过诸如处理器、电子电路或专用集成电路(asic)的硬件资源来实现。诸如存储器的设备可用于实现。另选地，图像形成设备10、服务器14和终端设备16的各个单元可通过数字信号处理器(dsp)或现场可编程门阵列(fpga)来实现。
为了例示和描述的目的提供了本发明的示例性实施方式的以上描述。其并不旨在为穷尽性的或者将本发明限于所公开的精确形式。显然，对于本领域技术人员而言许多修改和变化将是显而易见的。选择并描述实施方式以便最佳地说明本发明的原理及其实际应用，从而使得本领域技术人员能够理解本发明的各种实施方式以及适合于可以想到的具体用途的各种修改。本发明的范围旨在由随附权利要求书及其等同物限定。