信息处理设备及其方法

专利名称：信息处理设备及其方法
技术领域：
本申请大体涉及图像形成设备的管理。
背景技术：
图像形成设备(例如，打印机)有时会出现一些错误和故障。修理图像形成设备可能非常复杂，并且一些图像形成设备太大以至于不易将这些图像形成设备搬运至修理厂。

发明内容
本发明的其中一方面涉及对图像形成设备进行管理。此外，本发明的其中一方面涉及使用增强现实(augmented reality)来对图像形成设备进行管理。在一些实施例中，一种信息处理设备，用于与客户端设备和图像形成设备进行通信，所述信息处理设备包括:接收单元，用于从所述图像形成设备接收状况信息；发送单元，用于将包括与所述图像形成设备的第一操作有关的增强现实指导的增强现实信息发送至所述客户端设备，其中所述增强现实信息将所述增强现实指导叠加在所述客户端设备所捕获的图像上；获得单元，用于获得源自于所述图像形成设备并且包括对所述图像形成设备内发生的错误的表示的信息，该信息源自于利用所述图像形成设备进行的所述第一操作；判断单元，用于基于所述获得单元所获得的信息来判断所述错误；以及传送单元，用于基于所判断出的错误来传送包括附加增强现实指导的增强现实信息。在一些实施例中，一种信息处理设备，用于与服务器设备和图像形成设备进行通信，所述信息处理设备包括:接收单元，用于接收包括针对所述图像形成设备的第一操作的增强现实指导的增强现实信息，其中所述增强现实信息将所述增强现实指导叠加在所述信息处理设备所捕获的图像上；显示控制单元，用于命令所述信息处理设备显示所述增强现实指导；以及获得单元，用于获得源自于利用所述图像形成设备所进行的所述第一操作的信息，并且使用所获得的信息来判断所述图像形成设备内发生的错误，其中，所述接收单元还接收包括如下附加增强现实指导的增强现实信息，其中所述附加增强现实指导呈现用于从所述错误恢复的操作。在一些实施 例中，一种信息处理设备所进行的方法，所述信息处理设备用于与客户端设备和图像形成设备进行通信，所述方法包括:从所述图像形成设备接收状况信息；发送用于命令所述客户端设备显示针对所述图像形成设备的第一操作的增强现实指导的第一增强现实信息，其中所述第一增强现实信息将所述增强现实指导叠加在所述客户端设备所捕获的图像上；获得源自于利用所述图像形成设备进行的所述第一操作并且包括与所述图像形成设备内发生的错误有关的标记的信息；基于所获得的信息来判断所述错误；以及传送第二增强现实信息，其中所述第二增强现实信息用于命令所述客户端设备显示用以从所判断出的错误恢复的其它增强现实指导。在一些实施例中，一种信息处理设备所进行的方法，所述信息处理设备用于与服务器设备和图像形成设备进行通信，所述方法包括:接收包括用以显示针对所述图像形成设备的第一操作的增强现实指导的命令的增强现实信息，其中所述增强现实信息将所述增强现实指导叠加在所述信息处理设备所捕获的图像上；显示所述增强现实指导；获得源自于利用所述图像形成设备所进行的所述第一操作的信息；基于所获得的信息来判断所述图像形成设备内发生的错误；以及接收包括如下命令的其它增强现实信息，其中该命令用于显示用以从所述错误恢复的其它增强现实指导。


图1A例示用于对图像形成设备进行维修的系统的示例实施例。图1B例示多功能外围装置的示例实施例。图1C例示移动装置的示例实施例。图1D例示移动装置的示例实施例。图1E例示增强现实服务的示例实施例。图1F例示装置管理服务的示例实施例。图1G例示装置分析服务的示例实施例。图1H例示消息服务的示例实施例。图1I例示移动装置的示例实施例。图2A例示用于使装置管理应用程序在MFP上运行的方法的示例实施例。图2B例示用于识别 MFP中的错误的方法的示例实施例。图3例示用于向移动装置发送AR信息的示例实施例。图4例示用于识别如何修复频繁发生的错误的方法的示例实施例。图5例示用于识别如何修复错误的方法的示例实施例。图6例示用于显示AR信息的方法的示例实施例。图7例示用于显示AR信息的方法的示例实施例。图8例示用于选择错误解决方案的方法的示例实施例。图9例示用于选择错误解决方案的方法的示例实施例。图10例示用于获得AR信息的方法的示例实施例。图11例示用于对图像形成设备进行维修的系统的示例实施例。图12例示用于对图像形成设备进行维修的系统的示例实施例。图13例示用于对图像形成设备进行维修的系统的示例实施例。图14例示用于对图像形成设备进行维修的系统的示例实施例。图15例示用于对图像形成设备进行维修的系统的示例实施例。图16例示AR移动应用程序所用的界面的示例实施例。图17A例示AR移动应用程序所用的界面的示例实施例。图17B例示AR移动应用程序所用的界面的示例实施例。图18例示用于对图像形成设备进行维修的系统的示例实施例。图19例示用于对图像形成设备进行维修的系统的示例实施例。图20例示用户移动应用程序所用的界面的示例实施例。图21例示用户移动应用程序所用的界面的示例实施例。图22例示用户移动应用程序所用的界面的示例实施例。
图23例示移动装置的示例实施例。图24例示用于对图像形成设备进行维修的系统的示例实施例。图25例示使用用于对图像形成设备进行维修的系统的服务呼叫的概述的示例实施例。图26例示用于对图像形成设备进行维修的系统的示例实施例。图27例示用于通过AR指导来提供解决方案的方法的示例实施例。
具体实施例方式以下公开内容描述特定的解释性实施例。另外，这些解释性实施例可以包括多个新颖特征，并且特定的特征对于实践这里所述的系统和方法而言可能并非必不可少。以下将参考附图来详细说明各种示例实施例、特征和方面。图1A例示用于对图像形成设备进行维修的系统的示例实施例。该系统包括增强现实(AR)服务1010、装置管理服务1008、装置分析服务1011、推荐服务1012、大数据分析服务1007、递送服务1002和多功能外围装置(MFP) 1000。MFP 1000可以是多功能打印机、单功能打印机、传真机等。这些服务可以作为云服务(cloud service)(例如,分布式计算服务)来实现。云服务可以在一个以上虚拟机上运行。虚拟机可以在一个以上物理处理器(例如，包括中央处理单元(CPU)、GPU和其它硬件电路)以及/或者一个以上物理计算装置上运行。AR服务1010提供AR信息1013的数据库内的视频和建模数据以进行容易的装置操作指导。装置分析服务1011例如基于一个以上算法来识别MFP 1011的装置错误并判断该错误的原因。装置管理服务1008识别该装置并提供用于对错误的原因进行分析的错误历史记录。例如，MFP 1000 可以经由 HTTPS/REST (Representational State Transfer,表述性状态转移)(参见图1B)、将MFP 1000的序列号/当前装置配置信息发送至装置管理服务1008。MFP 1000还将其的例如错误和卡纸的状况和日志发送至装置管理服务1008。移动装置1001正执行的移动应用程序可以将MFP 1000的序列号发送至装置管理服务1008。可以经由用户界面(例如，参见图11)、经由光学字符识别(OCR)应用程序、或者经由QR码识别应用程序来输入MFP 1000的序列号。OCR应用程序可以在从标签或前面板捕获到装置信息之后读取MFP 1000的序列号。QR码识别应用程序可以在捕获到QR码之后识别序列号。将MFP1000的序列号发送至装置管理服务1008。移动应用程序可以利用装置分析服务1011登录知识库(KB) 1015，以提供用以解决错误的解决方案。此外，装置分析服务1011可以在得知如何修复问题之后登录KB 1015。可以利用装置管理服务1008来获得位置、序列号、计数器和错误日志，并且装置管理服务1008可以将该信息存储在数据库1009中。装置分析服务1011可以经由装置管理服务1008访问数据库1009。数据分析服务1011可以经由装置管理服务1008参考KB 1015和(存储有位置、序列号、计数器、错误日志的)数据库1009中的一个或多个，以确定针对错误的解决方案，并且确定针对相应AR信息的AR标志。推荐服务1012在无法找到特定解决方案的情况下提供候选解决方案。装置分析服务1011和/或推荐服务1012可以将这些候选解决方案和/或AR标志发送至AR服务1010。

由于如Exxx那样的错误代码与实际错误相对应，因此装置分析服务1011可以选择与特定错误相对应的AR标志。基于装置分析服务1011所选择的AR标志，AR服务1010从AR信息1013的数据库获得例如AR视频和/或AR建模数据(例如，描述形状、坐标等以进行AR图示的三维数据)的AR信息。此外，AR服务1010所提供的AR信息可以将AR指导与移动装置1001的照相机所拍摄的实时视频/图像进行合成。AR服务1010将所获得的AR信息经由网络发送至移动装置1001。参考错误历史记录，装置管理服务1008预测应当对装置的哪部分进行修复、并且可以找到适当的AR信息以发送至并显示在移动装置1001上。在错误历史记录表示多次发生卡纸的情况下，可能存在针对错误的特定解决方案。以下提供针对错误历史记录的详细解释。推荐可以给出一些可能的解决方案，并且各解决方案可以关联至AR信息。此外，该系统可以根据用于修复错误的处理来提供多个AR信息。有时用户可能需要中断包括AR信息的视频(还称为“AR视频”)。例如，在用户正在操作某物而无法观看AR视频的情况下，该用户可以停止该AR视频。例如通过按下按钮或者“进入下一个”按钮，AR视频提供用以和用户互动的界面，以提供逐步指导。可以提供即时消息(頂)，并且頂可以与移动装置1001上的应用程序互动。通过使用頂和消息服务1006，用户/维修技术员可以与老板/服务中心的专家聊天。在大数据分析服务1007中使用诸如Mahout (开放源代码机器学习系统)等的可扩展机器学习技术。该大数据分析服务使用在各用户/维修技术员之间的消息服务1006和维护社交网络平台1005的通信结果。图11的装置管理聊天1504示出使用维护社交网络平台1005和消息服务1006在各用户/维修技术员之间的通信的一个示例。在需要订购零部件的情况下，用户或维修技术员可以通过使用用于与订购服务1003和/或递送服务1002进行通信的用户移动应用程序(例如，参见图1C)或维修技术员移动应用程序(例如，参见图1D)来订购该零部件。图1B例示包括装置维护应用程序的模块结构的多功能外围装置1000的示例实施例。装置维护应用程序在MFP 1000上运行并且包括以下组件:U1、管理、配置、日志处理程序、云客户端服务、认证、HTTP、REST、专有命令(CPCA)和XML转换器。用户可以使用Π组件与装置维护应用 程序进行互动。管理组件进行诸如设置密码、设置装置管理服务的URL和设置轮询间隔等的管理处理。配置组件获取诸如装置ID、装置名称、序列号和位置等的装置信息，并且可以经由CPCA组件获取这些信息。日志处理程序组件获取诸如错误日志和状况日志等的装置的日志，并且可以经由CPCA组件获取这些日志。云客户端服务组件以云的方式与装置管理服务1008进行通信。关于协议，装置维护应用程序可以使用例如REST和HTTP的任何适用的协议。XML转换器组件对发送至装置管理服务的数据进行处理。在以云的方式访问装置管理服务1008之前，装置维护应用程序可以使用认证组件对装置管理服务1008进行认证。图1C例示包括用户移动应用程序的模块结构的移动装置1001的示例实施例。该用户移动应用程序包括以下组件:u1、AR处理程序、云服务处理程序、地理位置处理程序、AR库、认证、REST和XMPP。终端用户可以经由UI组件与用户移动应用程序进行互动。AR处理程序组件将AR信息从AR库提供至Π组件。AR处理程序组件将识别出的对象与视频进行合成。云服务处理程序组件例如经由REST和/或XMPP协议来与AR服务1010、消息服务1006、推荐服务1012和/或装置分析服务1011进行通信。云服务处理程序组件还与维护社交网络平台1005和消息服务1006进行通信从而与维修技术员进行通信。在需要订购装置的替换零部件的情况下，云服务处理程序组件可以访问订购服务1003和/或递送服务1002。云服务处理程序组件可以将针对维修人员的消息发送至消息服务1006，从AR服务1010获取AR信息，并且/或者从装置分析服务1011获取分析结果。在访问这些服务之前，可能需要由认证组件进行认证。地理位置处理程序组件提供位置信息。图1D例示包括维修技术员移动应用程序的模块结构的移动装置1001的示例实施例。该维修技术员移动应用程序包括以下组件:U1、云服务处理程序、地理位置处理程序、认证、REST和XMPP。维修技术员可以经由UI组件与维修技术员移动应用程序进行互动。云服务处理程序组件例如经由REST和/或XMPP协议来与维护社交网络平台1005、消息服务1006和装置分析服务1011进行通信。在需要订购装置的替换零部件的情况下，云服务处理程序组件可以访问订购服务1003和/或递送服务1002。云服务处理程序可以将终端用户消息发送至消息服务，并从装置分析服务1011获取分析结果。在访问这些服务之前，可能需要由认证组件进行认证。地理位置处理程序组件提供位置信息。图1E例示包括AR服务1010的模块结构的增强现实服务的示例实施例。AR服务1010包括以下组件:U1、管理、配置、DB访问机、认证验证机、访问控制验证机和REST。用户可以经由UI组件与AR服务1010进行互动。AR服务1010的管理员可以使用管理组件来管理如视频和建模数据这样的AR信息、管理谁可以访问这些服务、以及管理该服务的证书。配置组件维护所处理请求的最大数量、用以访问AR信息存储器的密码、以及用以接收REST请求的API密钥。REST组件从例如用户/维修技术员移动应用程序的客户端接收请求。在REST组件接收到这些请求的情况下，在提供该服务之前，可以由认证验证机组件和访问控制验证机组件分别进行认证和访问控制。DB访问机从AR信息存储器中检索或在AR信息存储器内存储例如视频和建模数据的AR信息。图1F例示包括模块结构的装置管理服务1008的示例。装置管理服务1008包括以下模块:U1、管理、配置、DB访问机、认证验证机、访问控制验证机和REST/WS。用户可以经由UI组件与该服务进行互动。该服务的管理员可以通过使用管理组件来管理装置信息、客户信息、维修人员信息、针对该服务 的访问权限和该服务的证书。配置组件维护所处理请求的最大数量、用以访问各数据库的密码、以及用以接收REST/WS请求的API密钥。REST/WS组件从例如装置上的装置管理应用程序和/或用户/维修技术员移动应用程序的客户端接收请求。在REST/WS组件接收到这些请求的情况下，在提供该服务之前，可以由认证验证机组件和访问控制验证机组件进行认证和访问控制。DB访问机组件从装置配置数据库、装置错误历史记录数据库、客户数据库和维修人员信息数据库检索装置配置、装置错误历史记录、客户信息和维修人员信息或者在这些数据库内存储这些信息。图1G例示包括模块结构的装置分析服务1011的示例实施例。装置分析服务1011包括以下组件:U1、管理、配置、DB访问机、认证验证机、访问控制验证机、REST/WS和分析器。用户可以经由Π组件与装置分析服务1011进行互动。该服务的管理员可以通过使用管理组件来管理知识数据库、针对该服务的访问权限以及该服务的证书。配置组件维护所处理请求的最大数量、用以访问消息数据库的密码、以及用以接收REST或Web服务请求的API密钥。REST/WS组件从客户端、例如从用户/维修技术员移动应用程序接收请求。在REST/WS接收到这些请求的情况下，在提供该服务之前，可以由认证验证机组件和访问控制验证机组件进行认证和访问控制。DB访问机从知识数据库或者在知识数据库内检索和存储知识。分析器组件具有如错误代码组件、图像质量组件和用户操作组件那样的可插入组件。为了分析MFP错误，可以进行不同的分析方法。错误代码组件基于错误代码来分析发生错误的原因。在知识库数据库中，将对如何解决错误的说明与各错误代码相关联。图像质量组件分析图像质量错误/问题。分析器组件基于装置计数器信息和测量得到的图像中的颜色来分析发生错误的原因。用户操作组件分析用户所进行的误操作，并分析介质类型和装置配置。图1H例示包括模块结构的消息服务1006的示例实施例。消息服务1006包括以下组件:U1、管理、配置、DB访问机、认证验证机、访问控制验证机和REST。用户可以经由UI组件与该服务进行互动。该服务的管理员可以通过使用管理组件来管理数据库内的消息、管理针对该服务的访问权限、以及管理该服务的证书。配置组件管理所处理请求的最大数量、用以访问消息数据库的密码、以及用以接收REST的API密钥。REST组件从例如用户/维修技术员移动应用程序的客户端接收请求。在REST组件接收到这些请求的情况下，在提供该服务之前，可 以由认证验证机组件和访问控制验证机组件进行认证和访问控制。DB访问机组件从消息数据库检索或者在消息数据库内存储消息。图1I例示移动装置的示例实施例。如图1I所示，用户将移动装置的照相机指向MFP IOOO0移动用户应用程序将所拍摄动画和如下的AR信息(例如，视频和建模数据)合并，其中该AR信息示出用于实现解决方案的指导。在一些实施例中，利用移动装置(例如，参见图23)将AR信息(例如，视频和建模数据)与所拍摄动画及时地合并。图23例示移动装置的示例实施例。将各模块(例如，图1C和/或图1D所示的各模块)存储在存储器2303中。处理器2302(其可以包括一个以上微处理器以及其它硬件电路)执行这些模块中的指令并且/或者实现以流程图示出的针对移动装置1001的算法。处理器2302可以包括多个核、多个CPU和/或GPU。移动装置1001包括发送/接收单元2301，其中发送/接收单元2301用于控制数据发送处理和数据接收处理。可以由一个以上处理器、计算机可读介质(例如，RAM、闪速存储器、磁性存储器)、以及/或者其它电路(例如，集成电路、离散电路)来实现一个以上单元。处理器2302控制发送/接收单元2301、存储器2303、传感器2304和I/O单元2305。I/O单元2305包括扬声器2309、包含显示控制单元的显示单元2307、键单元2308、麦克风2310以及一个以上照相机2306。用户可以经由键单元2308输入数据和命令，并且图11的显示器1505可以包括用于接受用户或维修技术员的输入的触摸面板功能。用户或维修技术员可以经由显示在移动装置1001的显示单元上的用户界面来提供各种输入。移动装置1001被配置为与主计算机2400和MFP 1000 (例如，参见图24)进行通信。发送/接收单元2301被配置为接收如下的AR信息，其中该AR信息用于控制移动装置1001，以通过将与MFP 1000的操作有关的AR指导叠加在移动装置1001所拍摄的MFP 1000的图像上来显示该AR指导，并且该AR指导与接收到的AR信息相对应。显示控制单元控制移动装置1001从而显示用以指导用户对MFP 1000进行操作的AR指导。根据用户基于显示控制单元所显示的AR指导而进行的操作，发送/接收单元2301获得源自于MFP 1000的信息。发送/接收单元2301使用该信息来确定MFP 1000内已发生错误。发送/接收单元2301接收AR信息，并且处理器2302控制移动装置1001以显示用以从该错误恢复的附加AR指导。
图24例示用于对图像形成设备进行维修的系统的示例实施例。MFP 1000被配置为从主计算机2400接收打印数据并基于接收到的打印数据进行打印。例如主计算机2400的一个以上计算机进行图1A的1002 1012所示的服务。MFP 1000将例如图1B所示的各模块的这些模块存储在外部存储器14中、并将这些模块载入RAM 19。CPU 12和主计算机2400的CPU I可以包括多个核、CPU和/或GPU。在主计算机2400中，CPU I根据存储在RAM 2中的一个以上程序来控制连接至系统总线的各种装置。RAM 2还用作主存储器或CPU I的工作区域。ROM 3存储例如图1E 图1H所示的各模块的各种程序和数据，并且ROM 3包括用于存储各程序或数据的各种存储区域。例如，ROM 3可以包括用于存储各种字体数据的字体ROM 3a、用于存储引导程序或BIOS的程序R0M3b、以及用于存储数据的数据ROM 3c。键盘控制器(KBC)5控制经由键盘(KB)9或指示装置(鼠标)接收命令或数据。CRT控制器(CRTC) 6控制CRT显示器(CRT) 10的显示操作。盘控制器(DKC) 7控制针对诸如硬盘等的外部存储器11的访问。打印机控制器(PRTC)8经由双向接口连接至MFP 1000并且控制主计算机2400和MFP 1000之间的通信。PRTC 8和I/O单元18可以符合预定网络协议和包括无线协议的其它通信协议。外部存储器11可以包括硬盘(HD)、磁光盘(MO)、软盘和/或光盘(例如，CD、蓝光盘)。可以包括存储在模块中的自定义工具程序(以下简称为自定义工具)的应用程序从外部存储器11被载入RAM 2内并且由CPU I来执行。CPU I还将打印数据转换(光栅化)成轮廓字体数据并将由此得到的数据存储在RAM 2中，使得可以将由此产生的数据以WYSIWYG (所见即所得)方式显示在CRT 10上。在例如通过利用鼠标光标点击CRT 10上的特定点发出命令的情况下，CPU I根据该命令打开相应窗口并进行数据处理。主计算机2400与移动装置1001和MFP 1000进行通信。此外，PRTC 8被配置为接收状况信息。PRTC 8还被配置为发送如下的AR信息，其中该AR信息用于命令移动装置1001、以通过将与MFP 1000的操作有关的AR指导叠加在移动装置1001所拍摄的图像上来显示该AR指导。该AR信 息与接收到的状况信息相对应。PRTC 8被配置为获得如下信息(例如，参见图16，MFP1000所扫描的图像)，其中该信息是MFP 1000根据由显示在移动装置1001(或其它客户端装置)上的AR指导所指导的用户操作所生成的(例如，打印输出物、图像)，并且包括与MFP 1000内所发生的错误有关的标记。此外，主计算机2400中的CPUI基于PRTC 8所获得的信息来确定错误。并且，PRTC 8传送如下的AR信息，其中该AR信息用于控制移动装置1001以显示用以从所确定的错误恢复的AR指导。现在，说明MFP 1000的结构。CPU 2通常控制MFP 1000的操作。RAM 19不仅可用作主存储器和CPU 12的工作区域，还可用作以输出形式存储有信息的区域、以及存储有环境数据的区域。RAM 19还包括NVRAM(非易失性RAM)区域，并被设计成通过将可选RAM连接至扩展口(未示出)从而在存储容量方面可扩展。ROM 13包括:字体ROM 13a，用于存储各种字体数据；程序ROM 13b，用于存储CPU 12所执行的控制程序；以及数据ROM 13c,用于存储各种数据。I/O单元18将数据发送至主计算机2400或者从主计算机2400接收数据，并且I/O单元18提供针对可以包括因特网的网络的接口。扫描器21可以读取纸张以生成图像数据。针对外部存储器14的访问由存储器控制器(MC) 20来控制。外部存储器14例如可以包括HD、MO、软盘(FD)或IC卡。外部存储器14用于存储字体数据、仿真程序、表单数据等。在没有连接诸如硬盘等的外部存储器14的情况下，将主计算机2400所使用的信息存储在ROM 13的数据ROM 13c中。不特别限制外部存储器14的数量。例如，还可以连接用于提供除了内置字体数据以外的可选字体数据的可选字体卡、或者存储有用于解释附加打印机控制语言的程序的外部存储器。操作单元1501具有用户输入命令或数据所经由的操作面板。该操作面板例如包括开关和LED指示器。该操作面板还可以包括用于存储经由该操作面板接收到的打印机模式设置信息的NVRAM。根据存储在ROM 13的程序ROM 13b中的控制程序，CPU12将图像信号作为输出信息经由打印单元接口 16输出至打印单元(打印机引擎)17。CPU 12能够经由I/O单元18与主计算机2400进行通信。例如，CPU 12能够接收从主计算机2400发送来的打印数据，以及将表示MFP 1000的状况的信息发送至主计算机2400。此外，图1E、图1F和图1H可以在云OS上实现。云OS包括分布式系统。云OS在一个以上计算机上运行。云OS管理成网络的存储器，并且该成网络的存储器存储图1E、图1F和图1H所述的各模块。例如，一个以上CPU执行图1E、图1F和图1H所述的各模块中的指示，以实现这里所述的各方法。图2A例示用于使装置维护应用程序在MFP上运行的方法的示例实施例。该方法至少一部分由MFP 100来进行。例如，当MFP 1000启动时，在块2001中开始装置维护应用程序。在块2002中，装置维护应用程序将包括错误代码的错误日志发送至装置管理服务1008。例如，装置维护应用程序周期性地将错误日志发送至装置管理服务1008。当发生错误时，装置管理应用程序将该错误的通知发送至装置管理服务1008。在例示用于识别MFP中的错误的方法的示例实施例的图2B中，在块201中，在MFP1000上运行的装置维护应用程序识别出已发生了一个以上错误。在块202中，装置维护应用程序判断MFP的固件是 否可以生成QR码(例如，该固件是否仍具有足以生成QR码的功能性)。如果该固件可以生成QR码(块202= “是”)，则该流程进入块203，其中在块203中，装置维护应用程序(或MFP 1000的其它组件)生成可以包括错误代码和其它装置信息的QR码。接着，在块204中，MFP 1000将该QR码显示在显示面板上。然而，如果在块202中该固件无法生成QR码(块202= “否”)，则该流程进入块205，其中在块205中MFP 1000将错误代码显示在显示面板上。在装置管理服务1008接收到错误代码/QR码之后，装置管理服务1008将该错误代码/QR码发送至装置分析服务1011，其中装置分析服务1011基于该错误代码来搜索特定解决方案。在频繁发生错误的情况下，装置分析服务1011分析修理/更换某些零部件的可能性。在解决方案是零部件修理或更换的情况下，装置分析服务1011向移动装置1001发送通知。在要使用图1C的用户移动应用程序来采购某些零部件的情况下，该流程进入采购处理。图1C的用户移动应用程序将针对该零部件的订单发送至订购服务1003。此外，在必须采购任一零部件的情况下，图1C的用户移动应用程序从AR服务1010获取用于识别需要更换的零部件的AR信息。此外，该AR信息向用户示出如何修复错误，这包括更换零部件。例如，该AR信息可以示出用于解决与废调色剂满(例如,废调色剂容器已满)有关的问题、以及关于对镜进行清洁的问题的解决方案。
在用户接收到新的/修理后的零部件的情况下，用户的移动应用程序捕获该零部件的QR码，使用NFC (近场通信)来获取零部件编号，或者通过手动输入来接收该零部件编号。图1C的用户移动应用程序识别AR标志并从AR服务1010获取AR信息。基于该AR信息，该移动应用程序示出AR指导(其向用户示出如何修复错误)并识别要修复的零部件。例如，该AR信息可以在移动装置1001的显示器上示出用于更换定影器的过程。在多个解决方案与该错误相对应的情况下，用户可以经由用户移动应用程序将消息经由消息服务1006发送至服务联系人。消息服务联系人接收到该消息，确定哪个解决方案适当，并对用户作出应答。在用户从服务联系人接收到解决方案的情况下，如果无需进行更换零部件采购，则该用户也接收AR信息。如果需要进行采购，则该流程进入采购处理。图3例示用于向移动装置发送AR信息的方法的示例实施例。该方法可以由装置分析服务1011来进行。该流程开始，并且在块3001中，装置分析服务1011接收来自装置维护服务1008的通知。如果接收到的错误表示特定错误(块3002= “是”)，则在块3004中，装置分析服务1011将该错误提交至KB数据库，并且该流程进入块3005。如果接收到的错误不是特定错误(块3002= “否”)，则在块3003中，装置分析服务1011使用错误日志、装置配置、扫描打印图 像、错误的知识库和/或服务信息来分析该错误，并且该流程进入块3005。在块3005中，装置分析服务1011检查解决方案是否是一个修复过程。如果该解决方案是一个修复过程，则在块3006中，装置分析服务1011基于与AR信息相对应的AR标志，针对用户或维修技术员创建例如检查纸仓的电源或检查串行线缆的连接的解决方案信息(用以修复错误的装置修理过程)。如果存在多个候选解决方案(块3005= “否”)，则在块3007中，装置分析服务1011在与推荐服务1012进行通信之后，利用AR标志创建推荐/可能的解决方案，并且该流程进入块3008。在块3008中，装置分析服务1011确认移动装置1001内的用户(或维修技术员)移动应用程序是否已开启、连接并登录。在用户(或维修技术员)移动应用程序在线的情况下(块3008#是”)，在块3009中，该应用程序向用户/维修技术员通知解决方案或推荐，该用户/维修技术员可以注册到与发生该错误的装置相关联的(位于数据库1009内的)用户数据库或维修技术员数据库中，然后该流程结束。在移动应用程序离线的情况下(块3008= “否”)，在块3010中，将该通知存储在移动装置1001内的用户/维修技术员的收件箱中，并且该流程结束。图4例示用于识别如何修复频繁发生的错误的方法的示例实施例。图4是图3中的块3003的一个示例。在该示例中，错误是卡纸。为了分析该卡纸错误，在块4001中，装置分析服务1011首先经由装置管理服务1008参考数据库1009内的错误日志/历史记录。如果装置分析服务1011判断为这些日志表示频繁发生卡纸(块4002= “是”)，则在块4003中，装置分析服务1011参考KB1009内的MFP 1000的装置配置，从而获取介质类型。然后，在块4005中，装置分析服务1011判断出该错误的原因是装置未选择合适的介质类型，并且判断出应当改变介质类型、例如从重磅纸改变为普通纸或者从普通纸改变为重磅纸。在块4005中，装置分析服务1011获取向用户/维修技术员示出如何改变介质类型的AR视频标志，然后该流程结束。如果装置分析服务1011判断为最近发生卡纸不多(块4002=“否”)，则该流程进入块4004中的其它分析方法，然后该流程结束。图5例示用于识别如何修复错误的方法的示例实施例。该方法至少部分可以由装置分析服务1011来进行。图5是图3中的块3003的另一示例。该示例描述在接收到作为打印质量差的错误的情况下如何选择AR标志。在装置分析服务1011接收到表示打印质量问题的错误的情况下，该流程进入块5001。装置分析服务1011可以经由装置管理服务1008从MFP 1000接收错误。在接收到的错误代码表示打印质量问题的情况下，在块5002中，装置分析服务1011获得打印质量差的扫描打印数据。接着，在块5003中，装置分析服务1011还经由装置管理服务1008从数据库1009获得计数器信息。可以将该计数器信息周期性地Wmfpiooo发送至装置管理服务loos，并且数据库1009存储该计数器信息。如果在块5004中计数器值接近最大数量(例如，100，000)，则块5004= “是”，并且在块5006中，装置分析服务1011判断为必须替换装置内的定影器。此外，装置分析服务1011选择与用于指导用户替换定影器的AR信息相对应的AR标志，然后该流程结束。如果在块5004中装置分析服务1011判断为当前计数器未接近最大数或者未超过最大数(块5004= “否”)，则该流程进入块5005，其中在块5005中，装置分析服务1011将扫描打印数据与样本图像进行比较。接着，在块5007中，装置分析服务1011判断在扫描打印数据的纸张边缘中是否不存在青色。如果不存在青色(块5007=“否”)，则该流程进入块5009，其中在块5009中，装置分析服务1011参考KB 1015。如果存在青色(块5007^是”)，则该流程进入块5008，其中在块5008中，装置分析服务1011选择与用于指导用户对扫描镜进行清洁的AR信息相对应的AR标志，并且装置分析服务1011在选择该AR标志之后通知AR 服务 1010。为了拍摄所扫描的打印数据，例如，AR信息可以指示移动装置1001的用户拍摄一个以上照片。在一些实施例中，AR信息指导用户对MFP 1000进行操作以打印纸张(例如，测试纸)，并指导用户扫描该纸或拍摄该测试纸的照片。如例示用于对图像形成设备进行维修的系统的示例实施例的图15所示，在移动装置1001中的用户移动应用程序接收到AR信息之后，例如如移动装置1001的显示器所示,移动装置1001显示AR指导。如图15和图16所示，该AR指导指示用户/维修技术员拍摄从MFP 1000输出的纸张的照片。该AR指导(其可以叠加在来自移动装置1001的照相机的图像的实时取景上)提示用户使薄片的各边适合虚线1600，以使 得装置分析服务1011可以进行适当的图像识别处理。在拍摄到图像之后，用户移动应用程序可以自动将打印薄片的所拍摄图像(例如，所扫描的打印数据)发送至装置管理服务1008，然后将该所拍摄图像传递至装置分析服务1011。装置分析服务1011将打印薄片的所拍摄图像与样本图像进行比较。如果装置分析服务1011判断为例如如图16的1601所示、纸张的边缘被青色着色(块5007=“是”)，则装置分析服务1011判断为需要对MFP 1000进行针对镜的清洁。然后，装置分析服务1011指定适当的AR标志并将该AR标志发送至AR服务1010。AR服务1010获得包括AR指导的相应AR信息，并将该AR信息发送至移动装置1001(例如，在块5008中)。移动装置1001显示示出如何定位清洁器(图17A)以及如何对镜进行清洁(图17B)的AR指导。如果纸张的边缘未被青色着色(块5007= “否”)，则(例如，在块5009中)装置分析服务1011参考 KB 1015。图6例示用于显示AR信息的方法的示例实施例。当指示了启动用户移动应用程序时，该流程开始。在块6001中，用户移动应用程序识别出MFP 1000存在错误。例如，用户移动应用程序可以通过使用NFC通信，基于移动装置1001的照相机所拍摄的显示在MFP1000上的QR码、或者基于显示在MFP 1000的操作面板上的经由移动装置1001的I/O单元手动输入的序列号，来获取MFP 1000的识别信息。在块6002中，该移动应用程序基于QR码和/或手动输入的错误代码(其可能已显示在MFP 1000的操作面板上或者可能已经由NFC被发送至移动装置1001)来识别错误。在块6003中，用户移动应用程序将MFP 1000的装置信息、识别出的MFP 1000的错误以及其它错误信息发送至装置分析服务1011。在块6004中，用户移动应用程序从装置分析服务1011接收分析结果。在块6005中，用户移动应用程序从AR服务1010获取包括AR标志的推荐解决方案。如果该解决方案包括用以解决错误的特定方式(块6006=“是”)，则在块6007中，用户移动应用程序向用户询问该用户是否需要联系服务中心。如果来自用户的输入表示无需与服务中心联系(块6007= “否”)，则在块6008中，用户移动应用程序检查是否需要采购处理。如果用户移动应用程序判断为需要采购处理(块6008= “是”)，则该流程进入块6016，其中在块6016中，用户移动应用程序访问网站以订购零部件。如果用户移动应用程序判断为无需采购处理(块6008=“否”)，则该流程进入块6009，其中在块6009中，用户移动应用程序检索AR信息。然后,在块6010中,用户移动应用程序显示用以向用户示出如何识别要修理的零部件的AR指导。并且，在块6011中，用户移动应用程序可以等待用户输入以选择是示出逐步AR指导(例如，用于在转入下一节之前提示用户的视频和建模数据)、还是连续AR指导(例如，在不等待用户输入的情况下播放的视频和建模数据)。如果该应用程序获得表示逐步AR指导的输入(块6011= “是”)，则在块6012中，将该AR指导逐步地显示在移动装置1001的显示器上。在替换了 MFP 1000上的零部件之后，例如通过按下按钮，用户可以与用户移动应用程序的Π进行互动以前进到下一步。如果没有选择逐步AR指导(块6011=“否”)，则在块6013中，将流AR指导从AR服务1010发送至移动装置1001。接着，该流程到达块6014，在块6014中，用户移动应用程序判断是否要再次显示AR指导。在接收到表示重复的输入的情况下(块6014= “是”)，AR服务1010和/或用户移动应用程序重放该AR指导。
`
如果不播放该重复，则流程进入块6015，其中在块6015中，用户移动应用程序判断所发生错误是否已被修复。如果MFP1000仍存在错误、例如尽管错误已被修复但还存在其它错误或者错误未被修复(块6015= “否”)，则该流程返回至块6003，其中在块6003中，将该错误信息经由装置管理服务1008发送至装置分析服务1011。在用户移动应用程序判断为错误已被修复的情况下(块6015= “是”)，该流程进入块6024，其中在块6024中，用户移动应用程序打开文本对话框并示出“喜欢”按钮。在块6024中接收到采用在文本框内输入的消息和/或通过按下“喜欢”或“不喜欢”按钮的形式的用户输入。接着，在块6025中，将反馈发送至维护社交网络平台1005，然后该流程结束。如果在块6006中用户移动应用程序发现不存在针对错误的特定解决方案(块6006= “否”)，则在块6017中，用户移动应用程序显示从推荐服务1012接收到的推荐解决方案。接着，在块6018中，用户移动应用程序从装置管理服务1008所维护的客户信息(例如，其可能位于数据库1009内的客户数据库中)检索服务联系人信息。然后，在块6019中，用户移动应用程序示出消息对话框。在块6020中将用户所输入的消息发送至消息服务1006，其中用户移动应用程序从消息服务1006上传该消息和解决方案ID。在块6021中，用户移动应用程序例如经由消息服务1006来接收请求ID。接着，在块6022中，用户移动应用程序将该请求ID发送至消息服务1006。随后，在块6023中，用户移动应用程序从消息服务1006接收至少一个解决方案，然后该流程进入块6007。图7例示用于显示AR信息的方法的示例实施例。此外，用户可能有替换零部件。在该流程开始之后，在块7001中，在识别出MFP 1000中的要修复或更换的零部件的情况下，用户移动应用程序经由QR码、NFC或手动输入的清单号来获取零部件信息。在块7002中，用户移动应用程序获取AR标志，并且在块7003中，从AR服务接收AR视频。在块7004中，用户移动应用程序识别要修复的零部件，并且在块7005中，用户移动应用程序示出MFP和叠加在要修复的零部件上的AR信息。例如，在块700Γ7005中，用户移动应用程序通过使用所捕获的包括错误代码的QR码来识别要修复的零部件。用户移动应用程序将识别出的错误代码发送至装置分析服务1011，并且装置分析服务1011识别相应AR信息的AR标志、并将该AR标志发送至AR服务1010。AR服务1010将与该AR标志相对应的AR信息发送至用户移动应用程序，并且用户移动应用程序显示从AR服务1010接收到的AR信息(其例示如何修复零部件)。可以将该AR信息重叠/叠加在要修复的零部件的图像上。如果判断为需要重放AR指导(块7006= “是”)，则用户移动应用程序重复AR信息的显示(块7005)。如果无需重放(块7006=“否”)，则在块7007中，用户移动应用程序打开文本框并示出“喜欢”按钮，并且用户移动应用程序获得用户所输入的消息并获得“喜欢”或“不喜欢”按钮的输入。最后，在块7008中，将反馈发送至维护社交网络平台1005，然后该流程结束。图8例示用于选择错误解决方案的方法的示例实施例。该方法至少部分可以由图1D的维修技术员移动应用程序或图1C所示的用户移动应用程序来进行。当维修技术员移动应用程序开始执 行的情况下，该流程开始。在块8001中，维修技术员移动应用程序从消息服务(例如，消息服务1006)接收消息。然后，在块8002中，维修技术员移动应用程序利用请求ID获取客户错误信息。接着，在块8003中，维修技术员移动应用程序使显示器呈现该错误、推荐解决方案和用户消息。在块8004中，维修技术员移动应用程序从维修技术员接收所选择的至少一个解决方案。最后，在块8005中，维修技术员移动应用程序将该解决方案发送至消息服务1006，然后该流程结束。图9例示用于选择错误解决方案的方法的示例实施例。该方法至少部分可以由图1C的用户移动应用程序或图1D的维修技术员移动应用程序来进行。在块9001中，当用户移动应用程序将他们的消息上传至消息服务1006(例如，IM服务)时，服务中心内的支持该用户的维修技术员从消息服务1006接收到该消息。在块9002中，维修技术员移动应用程序获取请求ID和错误信息。在将该消息从消息服务1006发送至维修技术员移动应用程序的情况下，维修技术员移动应用程序可以利用请求ID检索客户错误信息。接着，在块9003中，维修技术员移动应用程序将该错误、推荐(例如，推荐解决方案)和用户消息显示在维修技术员的移动装置(例如，手机)的显示器上。在块9004中，维修技术员从推荐中选择至少一个解决方案，并且维修技术员移动应用程序获取该选择输入。在块9005中，将所选择的解决方案经由消息服务1006(例如，IM服务)发送至用户移动应用程序，然后该流程结束。
图10例示用于获得AR信息的方法的示例实施例。该方法至少部分可以由AR服务1010来进行。在该流程开始之后，在块1001中，AR服务1010例如从装置分析服务1011或用户/维修技术员移动应用程序接收具有AR标志的请求。接着，在块1002中，AR服务1010例如通过使用接收到的AR标志来从存储器(例如，AR信息1013的数据库)检索与该标志相对应的AR信息。最后，在块1003中，在发现和提取AR信息之后，AR服务1010将该AR信息传送至正请求的用户/维修技术员移动应用程序，然后该流程结束。图11例示用于对图像形成设备(例如，MFP 1000)进行维修的系统的示例实施例。在图11中，MFP 1000内发生了卡纸并且用户需要修复该情况。在用户将MFP 1000的装置序列号1501输入至显不器1505上不出的用户界面内之后,移动装置1001 (例如，电话、平板PC)将该序列号发送至装置管理服务1008，并且装置管理服务1008检查根据该序列号可以管理的MFP的错误代码。聊天窗口 1504允许用户输入消息并将该消息发送至消息服务1006。MFP 1000将识别出的错误代码经由装置管理服务1008发送至装置分析服务1011，并且装置分析服务1011识别与该错误代码相对应的AR标志并将该AR标志发送至AR服务1010。AR服务1010将与该AR标志相对应的AR信息发送至用户移动装置1001内的
用户移动应用程序。例如，例示用于对图像形成设备进行维修的系统的示例实施例的图12示出来自用于指导用户移除纸张薄片的AR指导1201的截图。(从AR服务1010接收到的)AR指导1201指导用户打开抽屉(步骤I)并且移除纸张(步骤2)。例示用于对图像形成设备进行维修的系统的示例实施例的图13在用户移动装置1001的显示器上示出移除纸张之后所显示的AR信息1301(其包括叠加在MFP的图像上的AR指导)的截图。如图13所示，用户移动应用程序显示关于被卡住的纸移除完成的确认。例示用于对图像形成设备进行维修的系统的示例实施例的图14示出在MFP 1000的纸张进给单元中纸张薄片再次卡纸的情况下呈现给用户的AR信息(例如，AR指导)。用户可以根据AR信息1013中的指示移除纸张薄片。然后，MFP 1000的状况响应于纸张的移除而改变，并且MFP 1000将该状况发送至装置管理服务1008。装置管理服务1008将更新后的状况发送至AR服务1010。AR服务1010可以响应于经由装置管理服务1008接收到的MFP 1000的更新状况(例如，图13所示的AR信息)来将其它AR信息发送至用户移动应用程序。否则，在MFP 1000的其它纸张处理单元内存在纸张的情况下，用户可能需要移除这些纸张。可以针对MFP 1000内所发生的各错误重复该流程，以获得用以帮助用户解决各错误的适用AR信息。在用户修复了卡纸错误的情况下，该用户可以尝试操作MFP 1000以再次进行复制。但有时MFP 1000可能又发生卡纸错误。在装置分析服务1011判断为在预定时间段内已发生了预定数量的错误的情况下，装置管理服务1008和/或装置分析服务1011可以选择其它AR标志以提供针对该错误的解决方案。装置管理服务1008在装置管理服务1008已获得的错误历史记录中识别出多个(超过预定数量的)卡纸错误。在装置分析服务1011识别出多个(超过预定数量的)卡纸错误的情况下，装置分析服务1011选择A R标志以修复该错误。例如，AR服务1010选择与这多个卡纸错误相对应的适用AR信息的AR标志。AR服务1010获得如下的AR信息，其中该AR信息用于在MFP 1000的配置被设置为使用普通纸的情况下检查在纸张托盘内是否存在重磅纸。如果用户在MFP 1000的配置被设置为使用普通纸的情况下识别出重磅纸存在于纸张托盘内，则用户可以输入表示重磅纸存在于纸张托盘内而MFP 1000的配置被设置为使用普通纸的信息。然后，在输入了表示重磅纸存在于纸张托盘内而MFP 1000的配置被设置为使用普通纸的信息的情况下、或者在介质检测单元检测到重磅纸存在于纸张托盘内而MFP 1000的配置被设置为使用普通纸的情况下，AR指导向用户提示关于该用户是否想要继续使用当前介质类型。如果用户的输入表示答案为“否”，则例如如图19所示，AR指导向用户示出如何利用适当托盘内的不同介质类型的薄片来更换这些薄片。如果用户的输入表示答案为“是”，则AR指导向用户示出如何改变该托盘的介质类型的配置。响应于用户改变了托盘的配置，MFP 1000将配置的改变发送至装置管理服务1008。装置管理服务1008向AR服务1010通知配置的改变。然后，AR服务1010向用户移动装置1001通知配置的改变。然后,用户移动装置1001响应于接收到更新的配置,示出表示配置改变成功的附加AR信息。此外，例如，用户检查纸张托盘，并且在抽屉中存在厚纸。用户需要检查MFP 100的前面板中的装置配置。用户仅需按下用户移动装置1001的显示器上的按钮“是，使用厚纸”。装置分析服务1011接收和分析来自移动装置1001的诸如“是，使用厚纸”的选择等的用户互动信息。装置分析服务1011确定用于示出如何在前面板中配置介质类型的AR信息的AR标志。装置分析服务1011将该AR标志发送至AR服务1010，并且AR服务1010将该AR信息发送至用户移动装置1001。用户可以基于该AR信息中的指示来检查前面板上的配置。用户移动装置1001还可以拍摄前面板的其它照片并将该照片发送至装置分析服务1011。或者，用户移动装置 1001可以发送“是，装置配置中的介质类型是‘普通’”。装置分析服务1011接收和分析从用户移动装置1001接收到的信息，并且确定用于示出如何在前面板上改变介质类型的AR信息的AR标志。用户可以基于该AR信息中的指示来改变该配置。最后，用户可以修复卡纸的突出问题。如果装置分析服务1011判断为存在打印质量问题，则图15中的AR指导15001可以指导用户拍摄托盘内的纸张的照片并将所拍摄照片发送至装置管理服务1008。在图15中，该AR指导可以向用户示出如何选出MFP 1000的托盘内的纸张薄片并指导用户(例如，利用移动装置1001)拍摄适当照片，其中该照片将用于确定打印质量问题的原因。如图18所示，移动装置1001可以拍摄纸张的照片或者MFP 1000中的扫描器可以在平板上扫描该纸张。此外，AR信息可以指导用户对MFP 1000的扫描器进行操作。在装置管理服务1008接收到来自MFP 1000的扫描图像或来自移动装置1001的照片的情况下，装置管理服务1008将该扫描图像或照片发送至装置分析服务1011。装置分析服务1011检查所拍摄图像是否与预定的质量问题有关。如果装置分析服务1011判断为所拍摄图像与预定的质量问题有关，则装置分析服务1011获得与用于向用户提供解决方案的AR信息相对应的AR标志。将该AR标志发送至AR服务1010，并且AR服务1010将AR信息(例如，参见图20 图22)发送至用户移动装置1001。
图20、图21和图22例示用户移动应用程序所用的界面的示例实施例。这些例子例示用于示出如何替换定影器的AR指导。图20中的显示在用户移动装置1001上的界面包括表示如下的AR信息，其中该AR信息表示如何打开MFP 1000的侧门(步骤I)以及如何定位定影器的螺钉(步骤2)。在图21中，该界面示出包括在接收到的AR信息中的如下的AR指导，其中该AR指导示出如何移除定影器的螺钉(步骤3)。在图22中，该界面包括如下的AR指导，其中该AR指导指导用户移除定影器(步骤4)并且确认用户所进行的移除完成(步骤5)。此外，例如，MFP 1000显示表示打孔单元发生错误的Error#001。作为响应，选择如下的AR视频(或其它AR信息)，其中该AR视频(或其它AR信息)示出如何重新连接打孔单元的串行线缆、如何将该串行线缆插入MFP 1000的主体、以及/或者如何开启或关闭打孔单元。在修复了Error#001 之后，接着，MFP 1000 显示 Error#002。Error#002 表示显影单元发生错误，这意味着在该显影单元适当连接的情况下应当更换该显影单元或者应当替换调色剂盒。选择如下的AR视频，其中该AR视频示出如何在装置内安装新的调色剂瓶或者如何插入显影单元线缆。在修复了 Error#002之后，MFP 1000显示Error#003。该错误表示POD纸仓进给马达发生错误。所选择的AR视频示出如何使POD纸仓打开/关闭、如何从纸仓的控制器板将连接器连接至该马达、如何更换进给马达、以及/或者如何更换纸仓的控制器板。另外,在一些实施例中,MFP 1000内的网络物理(cyber-physical)监视传感器识别故障并且自动通知基于云的维护管理系统。然后，维护管理软件可以在机器内发起远程诊断过程，以判断是否需要由维修技术员进行修复拜访。还可以向该系统发送自我修复程序，或者可以以网络链接至指导性视 频的电子邮件方式向客户发送修复过程。可以自动订购有可能需要的修理零部件以递送至维修技术员，其中适当地自动调度该维修技术员的服务呼叫以使其与所估计的零部件接收相一致。在零部件被发送至客户的情况下，包装上的QR码可以链接到能够在移动装置上观看的AR指导。通过GPS引导和经由移动装置中的增强现实浏览器可视的位置信息的组合，可以将维修技术员引导至MFP 1000所位于的街道地址。一旦进入客户建筑物的内部，室内导航技术就可以指导维修技术员到达需要/请求修理的特定机器。将对机器的操作历史记录的分析总结从基于云的维护管理系统提供至维修技术员的移动装置，以辅助进行维修诊断。可以针对三种不同等级的认证访问对分析信息进行分类:1)雇员-机器的技术操作历史记录；2)经销商-消耗品历史记录以及机器利用；3)客户-1)和2)中的所有信息、外加特定用户使用数据。维修技术员可以使用移动装置上的增强现实(AR)软件，从如同维修技术员的前方观看的角度、将逐步的修复过程从视觉上重叠到该机器上。AR软件可以识别各零部件或线缆束内的布线及其线路。AR软件可以通过与剖视图的内视图重叠来提供机器的人工“X射线”图。该机器内的可视标记/标签可以通过提供AR重叠层所用的“空间基准”，提高依赖于一些智能手机和平板电脑中所使用的低端传感器的AR体验的质量和精度。还可以由维修技术员经由移动装置来访问修复过程视频和文献。在修理期间遇到出乎意料的问题的情况下，维修技术员可以经由专用维护网络请求来自维修技术员同事的实时协助。在实时帮助/协助请求内可以包括该出乎意料的问题的视频和照片。一旦完成了修理，维修技术员可以从他的移动装置无线地测试机器的打印性能，并且打印针对客户的维修总结报告。维修技术员可以通过将该过程连同照片和视频一起传送至维护网络，来共享针对出乎意料的问题的新设计的修复过程。可以对该新过程及其相关视频自动加标签，从而使针对相同的出乎意料的问题正在搜索帮助的同事维修人员易于发现。此外，可以针对客户生成基于AR的修复过程，以使这些客户自己进行高级维护或修理。通过将来自安装的所有机器的网络传感器数据制成表格，可以创建如下的分析，其中该分析用于I)确定各修理类型的频率和持续时间、2)将不寻常故障的计数值与特定零售商的零部件相关联、以及3)基于来自曾发生故障的机器的数据来预测故障。增强现实眼镜可以替换手持式移动装置，从而向维修技术员提供免提体验。图25例示使用用于对图像形成设备进行维修的系统的服务呼叫的概述的示例实施例。该系统包括配备有多个传感器的系统，其中这些配备有多个传感器的系统经由它们的专用网络连接来报告数据。基于云的集中式软件收集分析数据以生成可操作的结果，并且经由移动装置(例如，智能电话和平板装置)来传递增强现实能力。在GPS信号不可用的地方，室内导航技术可能可用。此外，专用企业网络集成了实时通信、协作和社交性能。该系统还具有无线打印功能。在阶段2501中，MFP内的网络物理传感器发现问题并发起服务呼叫。在阶段2502中，基于云的维护管理和调度系统判断自我修复程序是否可以解决该问题。如果可以解决该问题，则在阶段2503中，将诊断/自我修复程序发送至MFP。如果无法解决该问题，则向客户(例如，MFP的所有者/操作员)自动通知该问题并且发送修复过程。接着，在阶段2505中，选择修复零部件的列表并且自动打印邮寄标签。然后，在阶段2506中，移动增强现实辅助维修技术员对客户的建筑物进行定位。在阶段2507中，室内导航技术指导维修技术员到达MFP的位置。 随后，在阶段2508中，MFP的分析总结帮助维修技术员对问题进行诊断。在阶段2509中，移动装置上的增强现实指导该修复。如果该问题严重，则在阶段2510中，从内部维护网络请求帮助。在完成了修复的情况下，在阶段2511中，将维修报告从维修技术员的移动装置无线地发送至MFP并进行打印。此外，如果使用新的修复过程，则在阶段2512中，对该新的修复过程自动加标签并且在维护网络内共享。图26例示用于对图像形成设备进行维修的系统的示例实施例。此外，图26的实施例包括利用增强现实的动态装置管理并且经由增强现实进行装置的故障查找和解决。该系统还可以允许用户帮助在诸如自动整理器等装置上安装附加特征、或者更换现有选项。图26的实施例包括装置管理服务(DMS) 1008和增强现实服务(ARS) 1010。DMS 1008管理与各种图像形成设备(例如，MFP 1000)的互动以及与这些图像形成设备有关的信息，并且DMS 1008基于诸如SNMP等的不同协议(例如，装置协议、远程网络协议)来从各种图像形成设备(例如，MFP 1000)收集装置信息。DMS 1008还从图像形成设备(例如，MFP 1000)收集状况信息。例如，DMS1008可以在每当装置的状况(其可能是最动态的属性)改变时获取该状况，并且可以将该信息连同其它装置信息一起发送至ARS 1010。另外，DMS 1008可以使用这些协议来控制这些装置。此外，DMS 1008可以存在于MFP 1000上或服务器上(例如，DMS 1008可以在MFP 1000上本地运行或者可以相对于MFP1000远程运行)。ARS 1010与DMS 1008进行通信以获得与装置或MFP 1000的状况有关的信息，并且ARS 1010管理诸如AR眼镜(例如，AR防护眼镜)或平板电脑等的AR装置1001，并与这些AR装置1001进行通信。ARS 1010和DMS 1008之间的通信信道可以使用诸如TCP、HTTP等的各种协议。ARS 1010也可以在MFP 1000上运行或者相对于MFP 1000远程运行。ARS 1010获取装置状况和信息，生成AR图像或视频，并将该AR图像或视频发送至AR装置1001 (AR眼镜、平板电脑)。基于装置上正发生的变化，给送至AR装置1001的图像或视频可以实时地以流式传播。ARS 1010可以基于所选择的一个以上AR算法(例如，算法f算法η)以及将显示图像/视频的AR装置1001来生成图像/视频。ARS 1010接收来自互动模块的输入，其中该互动模块用于获得与MFP 1000的状况有关的信息。在图26中，网络内的MFP 1000需要以更加高效和连续的方式进行监视、更新以及故障查找和解决。具有AR系统的DMS1008使得用户(无论是训练有素的技术员还是新手)可以针对MFP 1000高效地查找和解决问题或者安装新选项。以下是提示用户在MFP 1000处使用AR装置1001的两个示例情形。一个情形是在MFP 1000发生故障的 情况下发生的，并且另一情形是在MFP 1000需要更新或升级当前机器的情况下发生的。图27例示用于通过AR指导来提供解决方案的方法的示例实施例，并且将说明在MFP 1000发生故障的情况下该方法的流程。在阶段2701中，当发生故障时，DMS 1008获得与该问题有关的通知。DMS 1008可以经由诸如对MFP 1000进行轮询、或者接收从MFP 1000自动发送来的通知等的不同机制来获得该通知。例如，在DMS 1008正在MFP 1000上本地运行的情况下，DMS 1008和MFP 1000的其它组件可以使用处理呼叫或者与固件进行通信以发送该装置的状况，或者(例如，在DMS 1008相对于MFP 1000正远程运行的情况下)DMS1008可以使用其它协议。一旦在阶段2702中DMS 1008获得了该状况，该流程就进入阶段2703。在阶段2703中，DMS 1008将该信息连同MFP 1000的表示何处发生问题的装置信息一起发送至预先配置的ARS1010。DMS 1008还可以将与该装置有关的静态信息存储到数据库内用于进行快速检索。DMS 1008和ARS 1010之间的通信依赖于这些服务存在于何处。在这两者存在于同一装置(例如，服务器)上的情况下，可以使用进程间通信来进行通信。但在DMS 1008和ARS 1010存在于不同装置(例如，MFP 1000和服务器)上的情况下，可以使用诸如HTTP或直接TCP呼叫等的远程通信协议来在这些模块之间交换信息。在阶段2703中ARS 1010接收到该状况和与MFP 1000有关的信息之后，在可选阶段2704中，基于系统配置，ARS 1010可以尝试向AR装置1001或用户通知MFP状况。在不存在针对该通知的配置设置的情况下，ARS 1010可以将该信息作为待定存储在数据库中。在阶段2705中，用户或维修技术员使AR装置1001靠近存在问题的MFP 1000，并且在阶段2706中，AR装置1001使用NFC (近场通信)、蓝牙、基于USB的连接或支持的任何其它近场通信协议来连接至MFP 1000。一旦AR装置1001与MFP 1000相连接，在阶段2707中，AR装置1001从MFP 1000获取装置信息，并且在阶段2708中，AR装置1001将该信息发送至ARS 1010。接着，在阶段2709中，ARS 1010基于装置信息、错误和/或所选择的AR算法来构建AR图像或视频。然后，在阶段2710中，ARS 1010将该AR图像/视频发送至AR装置1001，并且在阶段2711中，AR装置1001显示该AR图像/视频。ARS 1010构建AR图像可以使用的信息包括MFP 1000的位置、AR装置1001与MFP1000之间的距离等。接着，在阶段2712中，用户/维修技术员实现AR图像/视频中的指示，然后在阶段2713中，MFP 1000进行以下操作:i)检测到问题已解决或该问题的一部分已解决；以及ii)利用状况来更新DMS 1008。在阶段2714中ARS 1010接收来自DMS 1008的更新，在阶段2715中ARS 1010创建新的AR图像/视频，并且在阶段2716中ARS 1010将该新的AR图像/视频发送至AR装置。这些阶段可以继续(重复)，直到该问题被修复并且MFP 1000恢复为正常状态为止。在MFP 100 报告了需要多个步骤来修复的错误的情况下、以及在完成这些步骤之前MFP 1000保持处于错误状态的情况下，在AR装置1001和ARS 1010之间通信继续。相应地，ARS1010在完成了各步骤之后获得来自DMS 1008的信息并且生成接下来的步骤所用的AR图像/视频。该系统还可以将用于更换现有部件或用于添加额外部件/能力的AR指导提供至MFP 1000。在该方案中，用户需要开始用于对MFP 1000更换选项或添加选项的处理。用户可以通过向MFP 1000添加使得该用户可以选择要安装的选项的应用程序来开始该处理，或者可以经由AR装置1001开始该处理。一旦用户选择了该选项，信息就被通信至DMS1008，然后该流程与阶段270f 2716相同或类似。如上所述，可以基于错误代码而不仅仅基于MFP 1000的物理外观来动态地构建AR图像/视频。例如通过更新DMS 1008和/或ARS 1010，可以在无需对MFP 1000或AR装置1001进行更新的情况下向该系统动态地添加附加装置型号。此外，基于错误标准，可以在ARS 1010处使用不同的AR算法。还可以将与装置问题有关的通知从ARS 1010发送至AR装置1001。即使需要多个步骤来解决错误，一个用户或维修技术员也可以进行这些步骤。此外，该系统可以提供用以在MFP 1000上安装或更新选项的指导。上述的装置、系统和方法可以通过以下来实现:将其上存储有用于实现上述操作的计算机可执行指令的一个以上计算机可读介质供给至被配置为读取这些计算机可执行指令并执行这些指示的一个以上计算装置。在这种情况下，这些系统和/或装置在执行这些计算机可读指示的情况下进行上述实施例的操作。此外，一个以上系统和/或装置上的操作系统可以实现上述实施例的操作。因而，计算机可执行指令以及/或者存储有这些计算机可执行指令的一个以上计算机可读介质构成实施例。作为针对计算机可执行指令的计算机可读介质，可以采用任何适用的计算机可读介质(例如，磁盘(包括软盘、硬盘))、光盘(包括CD、DVD、蓝光盘)、磁光盘、磁带和固态存储器(包括闪速存储器、DRAM、SRAM、固态驱动器)。可以将这些计算机可执行指令写入设置在插入至该装置的功能扩展板上或连接至该装置的功能扩展单元上的计算机可读介质，并且设置在该功能扩展板或该功能扩展单元上的CPU可以实现上述实施例的操作。所附权利要求书的范围不限于上述实施例，并且包括各种变形例和等同结构。
相关申请的交叉引用本申请要求2011年11月4日提交的美国临时申请61/555，578和2011年11月4日提交的美国临时申请 61/555，594的优先权，在此通过引用包含这两个申请的全部内容。
权利要求
1.一种信息处理设备，用于与客户端设备和图像形成设备进行通信，所述信息处理设备包括: 接收单元，用于从所述图像形成设备接收状况信息； 发送单元，用于将包括与所述图像形成设备的第一操作有关的增强现实指导的增强现实信息发送至所述客户端设备，其中所述增强现实信息将所述增强现实指导叠加在所述客户端设备所捕获的图像上； 获得单元，用于获得源自于所述图像形成设备并且包括对所述图像形成设备内发生的错误的表示的信息，该信息源自于利用所述图像形成设备进行的所述第一操作； 判断单元，用于基于所述获得单元所获得的信息来判断所述错误；以及 传送单元，用于基于所判断出的错误来传送包括附加增强现实指导的增强现实信息。
2.根据权利要求1所述的信息处理设备，其中，所述获得单元所获得的信息包括源自于所述图像形成设备所打印出的薄片的图像，以及所述第一操作是打印所述薄片。
3.根据权利要求2所述的信息处理设备，其中，所述判断单元通过判断所获得的图像是否表示出所述薄片的边缘被特定颜色着色来判断所述错误，以及基于所判断出的错误，所述传送单元传送包括如下增强现实指导的增强现实信息，其中该增强现实指导呈现用以使用户对所述图像形成设备内的扫描镜进行清洁的指示。
4.根据权利要求1所述的信息处理设备，其中，所述接收单元从所述客户端设备接收与所述图像形成设备相对应的装置识别信息，以及所述发送单元发送与接收到的状况信息和接收到的装置识别信息这两者相对应的增强现实信息。
5.根据权利要求1所述的信息处理设备，其中，在所述第一操作完成之后，所述发送单元响应于所述接收单元接 收到请求，来发送包括针对第二操作的增强现实指导的增强现实信息。
6.根据权利要求1所述的信息处理设备，其中，所述获得单元还获得序列号、错误日志和打印计数器中的一个或多个，以及所述判断单元还基于所述序列号、所述错误日志和所述打印计数器中的所述一个或多个来判断所述错误。
7.根据权利要求1所述的信息处理设备，其中，所述判断单元还基于知识库内的数据来判断所述错误。
8.一种信息处理设备，用于与服务器设备和图像形成设备进行通信，所述信息处理设备包括: 接收单元，用于接收包括针对所述图像形成设备的第一操作的增强现实指导的增强现实信息，其中所述增强现实信息将所述增强现实指导叠加在所述信息处理设备所捕获的图像上； 显示控制单元，用于命令所述信息处理设备显示所述增强现实指导；以及 获得单元，用于获得源自于利用所述图像形成设备所进行的所述第一操作的信息，并且使用所获得的信息来判断所述图像形成设备内发生的错误， 其中，所述接收单元还接收包括如下附加增强现实指导的增强现实信息，其中所述附加增强现实指导呈现用于从所述错误恢复的操作。
9.根据权利要求8所述的信息处理设备，其中，所述获得单元从所述图像形成设备打印出的薄片获得图像。
10.根据权利要求8所述的信息处理设备，其中，所述接收单元接收用于命令所述信息处理设备显示如下附加增强现实指导的增强现实信息，其中所述附加增强现实指导呈现用于使用户对所述图像形成设备内的扫描镜进行清洁的指示。
11.根据权利要求8所述的信息处理设备，其中，还包括用于将所述图像形成设备的装置识别信息发送至所述服务器设备的发送单元，并且所述接收单元接收与所述图像形成设备的状况信息和所述装置识别信息相对应的增强现实信息。
12.一种信息处理设备所进行的方法，所述信息处理设备用于与客户端设备和图像形成设备进行通信，所述方法包括: 从所述图像形 成设备接收状况信息； 发送用于命令所述客户端设备显示针对所述图像形成设备的第一操作的增强现实指导的第一增强现实信息，其中所述第一增强现实信息将所述增强现实指导叠加在所述客户端设备所捕获的图像上； 获得源自于利用所述图像形成设备进行的所述第一操作并且包括与所述图像形成设备内发生的错误有关的标记的信息； 基于所获得的信息来判断所述错误；以及 传送第二增强现实信息，其中所述第二增强现实信息用于命令所述客户端设备显示用以从所判断出的错误恢复的其它增强现实指导。
13.根据权利要求12所述的方法，其中，所获得的信息包括源自于所述图像形成设备所打印出的薄片的图像，以及所述薄片是所述图像形成设备响应于所述第一操作的进行所打印出的。
14.根据权利要求13所述的方法，其中，所述错误的判断是基于所获得的图像是否表示出所述薄片的边缘被特定颜色着色，并且基于所述错误，所述其它增强现实指导呈现用于指导用户对所述图像形成设备内的扫描镜进行清洁的指示。
15.根据权利要求12所述的方法，其中，还包括:从所述客户端设备接收所述图像形成设备的装置识别信息，以及将接收到的装置识别信息连同所述第一增强现实信息一起发送。
16.根据权利要求12所述的方法，其中，还包括:在所述第一操作完成之后，响应于接收到请求来发送包括针对第二操作的增强现实指导的第三增强现实信息。
17.一种信息处理设备所进行的方法，所述信息处理设备用于与服务器设备和图像形成设备进行通信，所述方法包括: 接收包括用以显示针对所述图像形成设备的第一操作的增强现实指导的命令的增强现实信息，其中所述增强现实信息将所述增强现实指导叠加在所述信息处理设备所捕获的图像上； 显示所述增强现实指导； 获得源自于利用所述图像形成设备所进行的所述第一操作的信息； 基于所获得的信息来判断所述图像形成设备内发生的错误；以及 接收包括如下命令的其它增强现实信息，其中该命令用于显示用以从所述错误恢复的其它增强现实指导。
18.根据权利要求17所述的方法，其中，所获得的信息包括所述图像形成设备响应于所述第一操作的进行所打印出的薄片的图像。
19.根据权利要求17所述的方法，其中，所述其它增强现实指导指导用户对所述图像形成设备的扫描镜进行清洁。
20.根据权利要求17所述的方法，其中，还包括:将与所述图像形成设备相对应的装置识别信息发送至所述服务器设备，其中所接收到的增强现实信息与所述图像形成设备的状况信息和所述装置识别信息相对应。
21.根据权利要求17所述的方法，其中，所述其它增强现实指导显示一系列指示，以及所述方法还包括:显示所述一系列指示中的当前指示，直到接收到用以显示所述一系列指示中的下一指示的命令 为止。
全文摘要
本发明涉及一种信息处理设备及其方法，所述信息处理设备用于与服务器设备和图像形成设备进行通信，并包括接收单元，用于接收包括针对所述图像形成设备的第一操作的AR指导的AR信息，其中所述AR信息将所述AR指导叠加在所述信息处理设备所捕获的图像上；显示控制单元，用于命令所述信息处理设备显示所述AR指导以指导用户对所述图像形成设备进行操作；以及获得单元，用于获得源自于利用所述图像形成设备的所述第一操作的进行的信息，其中，所述接收单元还接收包括如下附加AR指导的AR信息，其中所述附加AR指导呈现用于从所述错误恢复的操作。
文档编号H04L12/24GK103227726SQ20121043775
公开日2013年7月31日 申请日期2012年11月5日 优先权日2011年11月4日
发明者鸟居稔, 杰里米瑟弗林, 佐东马克俊明, 阿亚图拉塞克, 埃德史密斯, 拉吉尼吉里德哈拉格保 申请人:佳能株式会社