信息处理装置、用于控制信息处理的方法和存储介质与流程

1.本公开涉及远程控制方法。


背景技术：

2.已经讨论了一种用于通过使用符合远程帧缓冲器(rfb)协议的虚拟网络计算(vnc)从个人计算机(pc)或便携式终端远程操作图像处理装置的操作画面的方法。更具体而言，具有vnc服务器功能的图像处理装置向具有vnc客户端功能的终端发送操作画面的画面信息。
3.终端基于接收到的画面信息，显示与图像处理装置的操作面板上显示的操作画面相同的画面。当用户操作终端上显示的画面时，关于操作的信息从终端发送到图像处理装置。图像处理装置基于发送的信息执行画面转变处理，并将关于改变的画面的信息发送到终端。通过这种方式对终端上显示的画面执行操作，用户能够经由图像处理装置提供的操作面板执行登录操作，并指示图像处理装置执行处理，而无需操作图像处理装置的操作面板。日本专利申请特许公开no.2014-6668讨论了当终端和图像处理装置以相关联的方式显示画面时使用的技术。当终端接收到可以被终端接收但不能被图像处理装置接收的操作时，终端使该操作无效，而不向图像处理装置发送关于该操作的信息。当终端接收到可以被终端和图像处理装置二者接收的操作时，终端向图像处理装置发送关于该操作的信息以使该操作生效。但是，即使当终端接收到可以被终端和图像处理装置二者接收的操作，并且终端向图像处理装置原样发送关于操作的信息时，取决于终端上的画面的显示形态，也可能出现问题。假设终端和图像处理装置二者可以接收拖动(drag)操作并且被控制以在接收到拖动操作时进行画面转变的示例情况。另外，假设终端和图像处理装置执行画面关联，并且当前只有终端显示放大的画面的状态。在这种状态下，在终端上接收到用户的拖动操作指示用户拖动操作想要移动放大的显示区域，这是因为画面在终端上被放大。但是，如果终端在接收到终端上的拖动操作后将关于拖动操作的信息原样发送到图像处理装置，那么画面转变将被执行，从而导致与用户意图不同的处理。


技术实现要素：

4.本公开的实施例致力于在终端和图像处理装置执行画面关联的情况下提供一种方法，该方法用于在考虑终端上的画面的显示形态的情况下基于从用户接收到的操作来执行用户期望的处理。
5.根据本公开的实施例，用于与图像处理装置通信的信息处理装置的方法包括：显示与在图像处理装置的显示单元上显示的画面对应的并且基于图像处理装置的显示控制而生成的画面；以及当接收到对所显示的画面的预定用户操作时，将与预定用户操作对应的操作信息发送到图像处理装置，其中，在所显示的画面的显示形态被改变的状态下接收到对画面的预定用户操作的情况下，与预定用户操作对应的操作信息不被发送到图像处理装置。
6.根据参考附图对示例性实施例的以下描述，本公开的其它特征将变得清楚。
附图说明
7.图1是图示出根据第一示例性实施例的系统配置的图。
8.图2是图示出根据第一示例性实施例的便携式终端的硬件配置的框图。
9.图3是图示出根据第一示例性实施例的便携式终端的软件配置的框图。
10.图4是图示出根据第一示例性实施例的多功能外围设备(mfp)的硬件配置的框图。
11.图5是图示出根据第一示例性实施例的mfp的软件配置的框图。
12.图6是图示出根据第一示例性实施例的便携式终端的处理的流程图。
13.图7是图示出根据第一示例性实施例的mfp的处理的流程图。
14.图8是图示出根据第二示例性实施例的便携式终端的另一个处理的流程图。
15.图9a和图9b是图示出根据第一示例性实施例的便携式终端的操作面板上显示的用户界面(ui)的图。
16.图10图示出根据第一示例性实施例的便携式终端和mfp的操作面板上显示的ui。
17.图11图示出根据第二示例性实施例的便携式终端和mfp的操作面板上显示的ui。
18.图12是图示出根据第一示例性实施例的便携式终端和mfp的操作面板上显示的ui的图。
19.图13是图示出根据第三示例性实施例的便携式终端和mfp的操作面板上显示的ui的图。
20.图14是图示出根据第三示例性实施例的便携式终端和mfp的操作面板上显示的ui的图。
具体实施方式
21.下面将参考附图描述本公开的示例性实施例。以下示例性实施例并非旨在限制本公开。并非示例性实施例中描述的所有的特征组合对于本公开的解决方案都是必不可少的。
22.《根据本示例性实施例的系统配置》
23.首先，将描述根据第一示例性实施例的系统配置。虽然便携式终端100和多功能外围设备(mfp)110将被描述为信息处理装置的示例，但是信息处理系统中包括的装置不限于此。便携式终端100和mfp 110连接到局域网(lan)并且能够相互交换信息。便携式终端100经由接入点120连接到lan。
24.便携式终端100具有虚拟网络计算(vnc)客户端功能以远程控制mfp 110。更具体而言，便携式终端100具有符合远程帧缓冲器(rfb)协议的vnc客户端软件。便携式终端100建立到mfp 110的vnc链接并且在便携式终端100上显示在mfp 110的操作面板上显示的画面。当mfp 110具有vnc服务器功能并且从便携式终端100建立vnc链接时，mfp 110将画面信息发送到用作vnc客户端的便携式终端100。便携式终端100基于发送的画面信息绘制画面。画面关联被执行以使得基于在绘制画面上接收到的操作和在mfp 110上接收到的操作来改变在便携式终端100和mfp 110的显示单元上显示的画面。
25.接下来，将参考图2描述便携式终端100的硬件配置。假设根据本示例性实施例的
便携式终端100是智能电话或平板个人计算机(pc)，并且可以是能够与mfp 110进行通信的其它信息处理装置。
26.中央处理单元(cpu)201读取存储在只读存储器(rom)202中的控制程序并且执行各种处理以控制便携式终端100的操作。rom 202存储控制程序。随机存取存储器(ram)203用作cpu 201的主存储器和诸如工作区域之类的临时存储区域。存储装置204例如是存储诸如图像数据和电子文档之类的各种数据的嵌入式多媒体卡(emmc)、固态盘(ssd)或硬盘驱动器(hdd)。操作系统(os)350(如下所述)和mfp应用300也存储在存储装置204中。实时时钟(rtc)205测量时间。
27.虽然在便携式终端100中一个cpu 201执行流程图中所示的每条处理(下面描述)，但是其它模式也是适用的。例如，多个cpu可以协作来执行流程图中所示的每条处理(下面描述)。
28.操作面板206具有检测用户的触摸操作的触摸面板功能，并且显示由os 350和mfp应用300提供的各种画面。用户可以通过对操作面板206执行触摸操作来向便携终端100输入期望的操作指令。
29.扬声器207和麦克风208例如用于向其它便携式终端和固定电话进行电话呼叫。相机209响应于来自用户的成像指令来捕获图像。由相机209捕获的图像被存储在存储装置204的预定区域中。无线通信单元211执行诸如无线局域网(lan)之类的无线通信。
30.接下来，将参考图3描述便携式终端100的软件配置。图3是图示出由cpu 201读取存储在rom 202和存储装置204中的控制程序并执行该控制程序所实现的软件功能的框图。
31.os 350是控制便携式终端100的整体操作的软件。包括mfp应用300(下面描述)的各种应用可以安装在便携式终端100中。os 350与这些应用交换信息并响应于从应用接收到的指令改变显示在操作面板206上的画面。os 350具有用于控制各种硬件组件的设备驱动程序组，并且为在os上操作的应用提供用于使用各种硬件组件的应用程序接口(api)。根据本示例性实施例，例如，设备驱动程序组相当于无线lan控制单元351。无线lan控制单元351是用于控制无线通信单元211的设备驱动程序。
32.mfp应用300是安装在便携式终端100中的应用。mfp应用300可以向mfp 110发出打印指令和扫描指令。如上所述，便携式终端100作为vnc客户端操作并且具有显示mfp 110的操作画面和远程控制mfp 110的功能。除了mfp应用300之外的各种应用可以安装在便携式终端100中。将省略对这些应用的描述。
33.下面将更详细地描述mfp应用300的配置。画面控制单元301经由os 350控制显示在操作面板206上的画面。画面控制单元301在操作面板206上显示mfp应用的画面。画面控制单元301接收用户经由操作面板206输入的操作指令。通信单元302经由os 350控制无线通信单元211的无线通信以向mfp 110和其它外部装置发送信息/从mfp 110和其它外部装置接收信息。
34.设备搜索控制单元311生成用于搜索与便携式终端100连接的外部装置的搜索数据，并且经由无线通信单元211将数据发送到lan 10上的装置。然后，设备搜索控制单元311从响应搜索的外部装置接收响应。搜索数据可以被广播到lan 10上的所有外部装置或者被发送到具有指定地址的一个外部装置。
35.打印作业生成单元305生成打印作业。由打印作业生成单元305生成的打印作业通
过无线通信单元211发送到mfp 110。mfp 110响应于接收到的打印作业执行打印。
36.扫描作业控制单元307经由无线通信单元211向mfp 110发送扫描指令。mfp 110响应于指令执行扫描并将通过扫描生成的数据(扫描数据)发送到便携式终端100。便携式终端100显示接收到的扫描数据。当扫描数据被存储时，它被存储在应用存储单元306中。存储的扫描数据由文档管理单元308管理。
37.远程操作单元313基于从与vnc链接连接的mfp 110取得的画面信息来显示画面，并且接收对显示画面执行的操作。换句话说，远程操作单元313作为vnc客户端操作。更具体而言，远程操作单元313基于从vnc服务器接收到的画面信息来显示画面，并将包括在显示画面上接收到的操作的位置和类型的操作信息发送到mfp 110。mfp 110基于接收到的操作信息改变在mfp 110上显示的画面和当前在便携式终端100上显示的画面。应用存储单元306临时存储由mfp应用300生成的各种信息。计时器单元304测量时间。
38.图4是图示出mfp 110的示例硬件配置的框图。mfp 110包括执行存储在rom 3030或诸如硬盘之类的大型存储设备3110中的程序的cpu 3020。cpu 3020总体控制连接到系统总线3010的设备。
39.ram 3040用作cpu 3020的主存储器和工作区域。panelc 3060是控制从硬键盘3120输入的指令的外部输入控制器，或者面板3070是多功能外围设备上提供的触摸面板。dispc 3080是控制显示器3090的显示的显示控制器，显示器3090是例如包括液晶显示器的显示模块。dkc 3100是用于控制大型存储设备(hd)3110的盘控制器。
40.将参考图10中的画面1000来描述mfp 110的操作单元。在显示器3090上显示画面，并且在显示器3090旁边布置硬键盘3120。硬键盘3120和显示器3090上的面板(触摸面板)3070二者可以接收用户操作。当用户在用户已登录到mfp 110中的状态下按下硬键盘3120上的登出键1001时，该键指示mfp 110执行登出处理。
41.将再次描述图4中的mfp 110的硬件配置。网络接口卡(nic)3050经由网络10与外部装置(例如，便携式终端100)或文件服务器执行双向数据交换。wlan 3400是的无线通信模块，其用于将mfp 110作为接入点操作以使得能够通过与接入点连接或以接入点模式操作来直接建立与便携式终端100的无线通信链路。打印机3200是通过使用电子照相方法在纸上实现打印的打印单元。打印方法可以不一定是电子照相方法。扫描仪3300是读取打印在纸上的图像的图像读取单元。在许多情况下，自动文档进给器(adf)(未示出)被附接到扫描仪3300作为使得能够自动读取多个文档的选项。在一些情况下，hd 3110也可以用于临时存储图像。
42.图5是图示出mfp 110的软件配置的框图。例如，软件被存储在rom 3030中并由cpu 3020执行。
43.用户界面(ui)处理单元510分析来自外部输入控制器(panelc)3060的输入或从操作信息接收单元522接收到的操作信息(下面描述)。当需要画面改变时，ui处理单元510生成画面数据并将该数据显示在显示器3090上。
44.显示器3090显示如图10中所示的各种画面。显示器3090上显示的画面的示例包括身份(id)卡登录画面1020、键盘登录画面1010、登录操作期间显示的选单显示画面1030、发生错误时显示的错误画面(未示出)以及显示计数器信息的计数器画面(未示出)。当mfp 110处于休眠状态时不显示显示器3090。
45.id卡登录画面1020用于使用与用户信息相关联的id卡登录到mfp 110中。当用户在显示该画面时将id卡保持在mfp 110的id卡读取器上时，用户信息被读取并登录处理被执行。当用户按下键盘登录画面改变(到键盘登录)按钮1021时，键盘登录画面1010出现。
46.键盘登录画面1010用于通过使用键盘3120输入用户信息来登录到mfp 110中。当用户通过使用硬键盘3120或软键盘(未示出)填写用户名输入字段1011和密码输入字段1012并且然后按下登录按钮1013时，mfp 110执行登录处理。当用户按下id卡登录改变(到id卡登录)按钮1014时，id卡登录画面1020出现。
47.在用户经由键盘登录画面1010或id卡登录画面1020登录到mfp 110中之后，选单显示画面1030出现。用户可以通过按下与应用对应的复印按钮1031、扫描按钮1032和打印按钮1033来使用mfp110的各种功能。选单画面包括多个页面。当用户按下登出按钮1034时，mfp 110执行登出处理。下一个按钮1036将选单画面改变到下一个页面。前一个按钮1035将选单画面改变到前一个页面。也可以通过拖动或轻弹(flick)操作来执行页面转变。
48.远程操作处理单元520包括连接处理单元523、操作信息接收单元522和画面发送单元521。远程操作处理单元520是执行符合rfb协议的通信的vnc服务器模块，即，经由网络与作为vnc客户端操作的便携式终端100进行通信的软件模块。连接处理单元523在从mfp 110和作为vnc客户端的便携式终端100接收到连接请求时执行连接处理，并在从其接收到断开请求时执行断开处理。
49.操作信息接收单元522从便携式终端100和mfp 110接收画面操作信息，并将该信息通知给ui处理单元510。画面发送单元521是显示控制单元，该显示控制单元从ram 3040读取由ui处理单元510生成的画面数据并将画面数据发送到作为vnc客户端的便携式终端100以执行画面显示控制。
50.登录处理单元530是执行mfp 110的登录处理的模块。更具体而言，登录处理单元530基于从ui处理单元510接收到的用户信息执行用户认证，并且在成功完成用户认证后，执行登录操作。在从ui处理单元510接收到登出指令后，登录处理单元530执行登出处理。网络控制单元500是控制nic 3050的模块。其它模块(未示出)包括控制打印机3200的打印机模块和控制扫描仪3300的扫描仪模块。
51.图9a和图9b图示出显示在便携式终端100的操作面板206上的画面的示例。当便携式终端100被激活时，主画面910出现。mfp应用图标911是用于激活mfp应用300的图标。当用户操作mfp应用图标911时，对应的mfp应用300被激活。
52.当mfp应用300被激活时，应用主画面920(还没有选择设备)出现。所选择的设备图标921显示关于mfp应用300当前正在与之通信的mfp以及作业发送目标mfp(在下文中称为目标mfp)的信息。当未设置目标mfp时，显示“无打印机”。设备搜索按钮923用于搜索目标mfp。远程操作按钮922用于建立vnc链接以远程控制目标mfp。应用主画面920可以显示用于向目标mfp发送打印作业的打印按钮924和用于发出扫描指令的按钮。
53.当用户按下设备搜索按钮923时，搜索网络中存在的mfp并且设备搜索画面930作为搜索结果出现。设备搜索画面930显示已响应搜索的mfp的列表。例如，当用户选择作为搜索结果之一的搜索结果931时，目标mfp被选择。
54.当目标mfp被选择时，应用主画面940(设备被选择)出现。所选择的设备图标921显示关于在设备搜索画面930中选择的mfp的信息。当用户在当前选择了目标mfp的情况下点
击(tap)远程操作按钮922时，目标mfp的远程控制功能被激活。以下描述将以目标mfp为mfp 110为前提给出。
55.当远程控制功能被激活时，设备连接画面950出现。当用户按下硬键盘显示按钮951时，用于操作mfp 110的硬键盘3120的ui出现。下面将描述细节。
56.当vnc链接被建立并且远程控制功能被启用时，显示在mfp 110的显示器3090上的画面出现在操作面板206上。在这种情况下，与键盘登录画面1010相同的键盘登录画面960出现。除了硬键盘显示按钮951显示在操作面板206上之外，键盘登录画面960显示与mfp 110的键盘登录画面1010相同的内容，并且将省略对其的描述。当mfp 110当前显示id卡登录画面1020时，id卡登录画面965出现。
57.当经由键盘登录画面960发出登录指令时，与选单显示画面1030相同的选单显示画面970(硬键盘未显示)出现。选单显示画面1030也显示在显示器3090上。
58.当用户点击硬键盘显示按钮951时，选单显示画面975(硬键盘被显示)出现。更具体而言，出现其中向mfp 110的每个硬键盘3120指派一条处理的软件键盘。硬键盘ui 977是用于操作mfp 110的硬键盘3120的ui。当用户点击硬键盘ui 977上显示的按钮时，被按下的键的键信息被发送到mfp 110。mfp 110基于按下的键执行处理。当用户按下与mfp 110的登出键1001对应的登出键979时，用户从mfp 110登出。当用户点击硬键盘ui 977顶部的结束按钮978时，远程控制功能结束，即vnc链接结束。当vnc链接结束时，在操作面板206上出现应用主画面940(设备被选择)。当vnc链接结束时，显示器3090上一直显示结束vnc链接前的画面。
59.图11图示出当在便携式终端100显示选单显示画面970的同时用户执行拖动操作时便携式终端100和mfp 110的示例画面。基于从mfp 110发送的画面信息，在便携式终端100上显示选单显示画面1110(拖动之前)。选单显示画面1110(拖动之前)是未放大的默认状态画面，以使得基于从mfp 110接收到的画面信息显示完整画面。在这种状态下(默认画面状态)，从mfp 110发送的画面被原样显示，以使得画面尺寸适合便携式终端100的操作面板206的水平和垂直长度。
60.当用户在选单显示画面1110(拖动之前)上执行拖动操作1111时，便携式终端100将指示拖动操作的操作信息发送到mfp 110并且将选单显示画面1120(拖动之后)显示为下一个页面的选单画面。此时，mfp 110还基于从便携式终端100接收到的操作信息将选单画面1130(拖动之后)显示为下一个页面。选单显示画面1120(拖动之后)显示传真按钮1121、邮箱(box)按钮1122和扫描并发送按钮1123。当用户按下每个按钮时，出现对应处理的画面。同样，在选单显示画面1030显示在mfp 110上的同时接收到mfp 110上的拖动操作时，便携式终端100显示选单显示画面1120(拖动之后)，并且mfp 110显示选单画面1130(拖动之后)。在这种情况下，在mfp 110显示选单显示画面1030的同时接收到来自用户的拖动操作时，拖动操作被指派给用于进行页面转变的处理。因此，同样在便携式终端100上远程控制mfp 110的同时在便携式终端100上接收到拖动操作后，可以执行页面转变。
61.图12图示出当在便携式终端100上放大选单显示画面970的同时执行拖动操作时便携式终端100和mfp 110的画面。
62.在显示选单显示画面1110(拖动之前)的便携式终端100上接收到来自用户的诸如扩大(pinch-out)和双击之类的画面放大操作时，选单显示画面1210(放大的显示，拖动之
前)出现在便携式终端100上。画面放大操作信息不从便携式终端100发送到mfp 110。这是因为，在mfp 110上，在显示选单显示画面1030的同时，拖动操作不被指派给用于放大画面的处理。因此，在显示选单显示画面1110(拖动之前)的便携式终端100上接收到来自用户的画面放大操作后，便携式终端100显示放大的选单显示画面1210并且mfp 110显示未放大的选单显示画面1030。
63.在选单显示画面1210(放大的显示，拖动之前)上接收到来自用户的拖动操作1211后，便携式终端100在放大的显示区域中显示在移动操作之后的选单显示画面1220(放大的显示，拖动之后)。此时，便携式终端100不向mfp 110发送关于拖动操作1211的操作信息。因此，mfp 110保持显示像选单显示画面1030那样的选单画面1230(拖动之后)。如果用户在便携式终端100上放大选单画面的同时执行拖动操作，那么用户想要在拖动方向上移动放大的显示区域。因此，便携式终端100不向mfp 110发送操作信息，而是执行用于改变便携式终端100自身上的显示区域的处理。当便携式终端100在选单画面被放大的同时从用户接收到拖动操作，并且然后将关于拖动操作的操作信息发送到mfp 110时，由于拖动操作被指派给用于进行页面转变的处理，因此mfp 110在选单画面上执行页面转变。因此，mfp 110将执行与用户意图不同的处理。为此，当便携式终端100在放大画面的同时接收到诸如拖动操作之类的页面转变操作时，便携式终端100本身改变画面显示而不将操作信息发送到mfp 110，从而使得能够根据用户的意图进行处理。即使在便携式终端100显示放大的画面时，按下便携式终端100上与前一个按钮1035和下一个按钮1036对应的位置也使得能够执行页面转变。
64.图6是图示出当便携式终端100与mfp 110建立vnc链接并且用户执行远程控制时的处理的流程图。当cpu 201将存储在诸如rom 202之类的存储器中的控制程序加载到ram 203中并且然后执行该控制程序时，实现图6中的流程图中所示的每个步骤。
65.当cpu 201检测到mfp应用图标911在主画面910上被点击时，那么在步骤s601中，cpu 201激活对应的mfp应用300。在步骤s602中，画面控制单元301检测到设备搜索按钮923在应用主画面920(未选择设备)上被点击，cpu 201执行mfp搜索。在步骤s603中，cpu 201确定是否在设备搜索画面930上选择了mfp。当mfp被选择时(步骤s603中为“是”)，cpu 201使画面转变到应用主画面(设备被选择)940，并且处理进行到步骤s604。另一方面，当mfp没有被选择时(步骤s603中为“否”)，处理重复步骤s603中的处理。
66.在步骤s604中，cpu 201确定是否在应用主画面940(设备被选择)中选择了远程操作按钮922。当远程操作按钮922被选择时(步骤s604中为“是”)，处理进行到步骤s605。另一方面，当远程操作按钮922未被选择时(步骤s604中为“否”)，处理重复步骤s604中的处理。
67.在步骤s605中，cpu 201向在步骤s604中选择的mfp发出符合rfb协议的连接请求。在步骤s606中，cpu 201确定是否接收到连接请求。当接收到连接请求时(步骤s606中为“是”)，处理进行到步骤s607。另一方面，当没有接收到连接请求时(步骤s606中为“否”)，处理进行到步骤s620。cpu 201基于连接请求的响应数据确定是否接收到连接请求。在步骤s620中，画面控制单元301显示连接拒绝错误画面980，并且cpu 201结束处理。
68.在步骤s607中，cpu 201执行符合rfb协议的初始化处理。在初始化处理中，远程操作单元313发送vnc客户端信息并接收vnc服务器信息。
69.在步骤s608中，远程操作单元313接收从mfp 110
─
即vnc服务器
─
发送的画面信
息。在步骤s609中，画面控制单元301基于接收到的画面信息和由画面控制单元301生成的画面信息在操作面板206上绘制画面。例如，当键盘登录画面1010被显示在显示器3090上时，键盘登录画面960被显示在操作面板206上。每次从mfp 110发送画面信息时，cpu 201在步骤s609中连续显示画面。
70.在步骤s610中，远程操作单元313确定是否从操作面板206接收到输入操作。当接收到输入操作时(步骤s610中为“是”)，处理进行到步骤s611。另一方面，当没有接收到输入操作时(步骤s610中为“否”)时，处理重复步骤s610中的处理。
71.在步骤s611中，画面控制单元301确定在步骤s610中接收到的操作是否是画面放大操作。画面放大操作的示例包括扩大和双击。当确定接收到的操作是画面放大操作时(步骤s611中为“是”)，cpu 201不将操作信息发送到mfp 110并且处理返回到步骤s609。在步骤s609中，画面控制单元301显示放大的画面。另一方面，当确定接收到的操作不是画面放大操作时(步骤s611中为“否”)，处理进行到步骤s612。
72.在步骤s612中，画面控制单元301确定在步骤s610中接收到的操作是否是拖动操作。当确定接收到的操作是拖动操作时(步骤s612中为“是”)，处理进行到步骤s613。另一方面，当确定接收到的操作不是拖动操作时(步骤s612中为“否”)，处理进行到步骤s614。在步骤s613中，cpu 201确定操作面板206上显示的画面是否为放大形态。当确定画面为放大形态时(步骤s613中为“是”)，处理进行到步骤s630。另一方面，当确定画面不是放大形态时(步骤s613中为“否”)，处理进行到步骤s614。例如，当在操作面板206上显示选单显示画面1210时，确定画面被放大。更具体而言，在这种情况下，cpu 201确定从mfp 110接收到的画面是否从画面被原样显示的默认状态放大。在步骤s630中，画面控制单元301基于当前放大率(与默认画面显示形态对应的放大率)和接收到的拖动操作的移动量来计算显示区域。在步骤s609中，画面控制单元301显示具有放大的改变区域的画面。此时，指示拖动操作的操作信息不被发送到mfp 110。
73.在步骤s614中，远程操作单元313将与在步骤s610中接收到的操作对应的操作信息发送到mfp 110。当在步骤s610中接收到的操作是远程控制结束操作，即vnc链接结束操作时，远程操作单元313向mfp 110发送vnc链接断开请求。
74.根据上述流程图，即使在从便携式终端100远程控制mfp 110的情况下在便携式终端100上放大画面的同时在便携式终端100上接收到拖动操作时，便携式终端100也不向mfp 110发送关于拖动操作的操作信息。这使得能够防止执行用户非期望的页面转变。
75.当在接收到拖动操作时确定画面为放大形态时(步骤s613中为“是”)，处理进行到步骤s630。在步骤s630中，仅在便携式终端100上改变画面显示。另一方面，当确定画面不是放大形态时(步骤s613中为“否”)，处理进行到步骤s614。在步骤s614中，便携式终端100将指示拖动操作的操作信息发送到mfp 110。换句话说，便携式终端100根据画面是否被放大来选择是否将操作信息发送到mfp 110。但是，该控制不限于确定画面是否被放大。例如，便携式终端100可以根据基于从mfp 110发送的画面信息而显示的画面当前是否被缩小尺寸来选择是否向mfp 110发送操作信息。换句话说，便携式终端100基于便携式终端100上的显示画面的状态来选择是否将操作信息发送到mfp 110。
76.在上述示例中，虽然便携式终端100在接收到画面放大操作时不向mfp 110发送操作信息，但是便携式终端100可以发送操作信息。在这种情况下，由于mfp 110对接收到的操
作信息没有与接收到的操作信息对应的处理，因此mfp 110使操作信息无效而不处理操作信息。在上述示例中，在步骤s611中在便携式终端100上接收到画面放大操作后，仅便携式终端100显示放大的画面而不将操作信息发送到mfp 110。但是，处理不限于画面放大操作。类似地，在接收到诸如捏合(pinch-in)之类的画面缩小操作时，便携式终端100可以显示缩小的画面而不向mfp 110发送操作信息。
77.虽然上面已经将拖动操作描述为页面转变操作的示例，但是页面转变操作的示例可以包括轻弹、滑动(swipe)和用于移动指示对象的其它操作。
78.图7图示出当mfp 110与便携式终端100执行基于vnc的画面关联时mfp 110的处理。当cpu 3020将存储在诸如rom 3030之类的存储器中的控制程序加载到ram 3040中，并且然后执行该控制程序时，实现图7中的流程图中所示的每个步骤。
79.在步骤s701中，连接处理单元523确定是否从作为vnc客户端的便携式终端100接收到vnc链接请求。当接收到vnc链接请求时(步骤s701中为“是”)，处理进行到步骤s702。另一方面，当没有接收到vnc链接请求时(步骤s701中为“否”)，处理重复步骤s701中的处理。在步骤s702中，连接处理单元523执行与vnc客户端连接的协商处理。在步骤s703中，连接处理单元523执行初始化处理、接收客户端信息并发送服务器信息。
80.在步骤s704中，画面发送单元521将当前显示在显示器3090上的画面发送到作为vnc客户端的便携式终端100。
81.在步骤s705中，操作信息接收单元522确定是否从用户接收到操作。当接收到操作时(步骤s705中为“是”)，处理进行到步骤s706。另一方面，当没有接收到操作时(步骤s705中为“否”)，处理重复步骤s705中的处理。例如，当从便携式终端100接收到操作信息时，或者当在面板3070或mfp 110的硬键盘3120上检测到用户操作时，cpu 3020确定从用户接收到操作。
82.在步骤s706中，cpu 3020确定在步骤s705中接收到的操作是否是vnc链路断开操作。当确定接收到的操作是vnc链路断开操作时(步骤s706中为“是”)，处理进行到步骤s707。在步骤s707中，cpu 3020断开vnc链接。另一方面，当确定接收到的操作不是vnc链路断开操作时(步骤s706中为“否”)，处理进行到步骤s708。
83.在步骤s708中，cpu 3020执行与在步骤s705中接收到的操作对应的处理。对应处理的示例包括用于将显示在显示器3090上的选单画面改变到下一个页面的处理、用于登录到mfp 110中的处理以及用于登出mfp 110的处理。在步骤s709中，操作信息接收单元522基于在步骤s708中执行的处理，确定在显示器3090上显示的画面是否改变。当画面改变时(步骤s709中为“是”)，处理返回到步骤s704。另一方面，当画面保持不变时(步骤s709中为“否”)，处理返回到步骤s705。
84.通过上述处理，显示在mfp 110上的画面也可以显示在便携式终端100上。cpu 3020可以响应于在mfp 110或便携式终端100上接收到的操作来改变在mfp 110和便携式终端100上显示的画面。在上述流程图中，响应于由mfp 110或便携式终端100接收到的操作，改变在便携式终端100上显示的画面。如果mfp 110和便携式终端100未接收到操作，并且mfp 110显示的画面改变，那么mfp 110类似地将改变的画面信息发送到便携式终端100，并且便携式终端100显示改变的画面。
85.假设便携式终端100基于从mfp 110发送的画面信息来显示画面以在便携式终端
100上远程控制mfp 110的情况。在这种情况下，根据上述示例性实施例，当在便携式终端100不按原样显示从mfp 110接收的画面的同时(例如，在画面被放大的同时)便携式终端100接收到诸如拖动操作之类的预定页面转变操作时，可以防止便携式终端100将操作信息发送到mfp 110。如果在便携式终端100没有按原样显示从mfp 110接收到的画面的同时便携式终端100将接收到的操作信息发送到mfp 110，那么mfp 110可能会执行用户非期望的处理。例如，如果在便携式终端100放大从mfp 110接收到的画面的同时便携式终端100接收到拖动操作，并且然后将关于拖动操作的信息发送到mfp 110，那么会发生页面转变。在这种情况下，用户意在通过拖动操作移动显示区域。因此，如果便携式终端100向mfp 110发送操作信息，那么mfp 110将执行与用户的意图不同的处理。本示例性实施例使得能够防止执行与用户的意图不同的处理。
86.根据上述示例性实施例，便携式终端100基于便携式终端100自身的画面状态确定是否将操作信息发送到mfp 110。本公开不限于此。mfp 110可以掌握便携式终端100的显示形态。在这种情况下，在从便携式终端100接收到操作信息时，mfp 110可以考虑便携式终端100的显示形态来确定是否执行处理，并选择处理。
87.以上已经围绕其中即使在便携式终端100上的画面被放大的同时接收到诸如拖动操作之类的页面转变操作后、便携式终端100也不将关于操作的操作信息传送到mfp 110的示例描述了第一示例性实施例。但是，即使在便携式终端100上放大画面的同时，便携式终端100也可以将关于诸如点击和按压之类的操作的操作信息发送到mfp 110。将围绕其中即使在便携式终端100上放大画面的同时便携式终端100也接收诸如点击和按压之类的操作并将操作信息发送到mfp 110的示例来描述第二示例性实施例。第二示例性实施例的基本配置与第一示例性实施例的基本配置相似，并且将仅描述不同之处。
88.图8是图示出根据本示例性实施例的便携式终端100的处理的流程图。图8中的流程图的基本配置与根据第一示例性实施例的图6中的流程图的基本配置类似，并且下面仅描述不同之处。
89.在步骤s801中，画面控制单元301确定在步骤s610中接收到的操作是否是点击操作。当确定接收到的操作是点击操作时(步骤s801中为“是”)，处理进行到步骤s802。在步骤s802中，画面控制单元301确定画面当前是否被放大。另一方面，当确定接收到的操作不是点击操作时(步骤s801中为“否”)，处理进行到步骤s614。
90.当确定画面当前被放大时(步骤s802中为“是”)，处理进行到步骤s803。在步骤s803中，画面控制单元301基于画面的当前放大率、放大位置和点击的位置信息来计算点击位置。在步骤s614中，画面控制单元301将关于计算出的位置坐标的操作信息发送到mfp 110。画面控制单元301基于画面的当前放大率、放大位置和点击的位置信息导出与接收到的点击位置对应的放大前画面上的位置，并将导出结果发送到mfp 110。
91.上述示例性实施例使得便携式终端100即使在画面被放大的同时时也能够接收诸如点击之类的操作，并且将操作的操作信息正确地通知给mfp 110。换句话说，当用户在作为放大的显示画面的图12中的选单显示画面1210上按压复印按钮1031的位置时，便携式终端100向mfp 110通知复印按钮1031的按压并将画面转变到复印显示画面(点击之后)1320。
92.上面已经围绕由便携式终端100执行的基于画面的放大状态来选择是否将指示拖动操作的操作信息发送到mfp 110的方法描述了第一示例性实施例。但是，此外，便携式终
端100可以基于便携式终端100的画面的显示形态来选择是否将操作信息发送到mfp 110。例如，如选单显示画面975(硬键盘被显示)，当用户在便携式终端100显示软键盘的同时在从mfp 110接收到的画面上按下复印按钮1031时，便携式终端100被阻止将关于按压的操作信息发送到mfp 110。更具体而言，在以下示例中，便携式终端100根据便携式终端100当前是否显示硬键盘ui 977来控制是否将关于在从mfp 110接收到的画面上进行的用户操作的操作信息发送到mfp 110。将围绕其中当便携式终端100显示硬键盘ui 977的同时用户点击例如除了硬键盘ui 977之外的区域时硬键盘ui 977被隐藏的示例形态进行描述。如果用户点击除了硬键盘ui 977之外的区域以隐藏硬键盘ui 977，并且关于点击的信息被发送到mfp 110，那么将执行与用户意图不同的处理。第三示例性实施例的基本配置类似于第一示例性实施例的基本配置，并且下面将仅描述不同之处。
93.图13图示出当在便携式终端100显示选单显示画面970(硬键盘未显示)的同时接收到点击操作时在便携式终端100和mfp 110上显示的画面。当用户对在当前没有显示硬键盘ui 977的选单显示画面1310(点击之前)上的复印按钮1031执行点击操作1311时，便携式终端100显示复印显示画面1320(点击之后)。此时，便携式终端100向mfp 110发送关于点击操作1311的操作信息。mfp 110基于接收到的操作信息进行显示器3090的画面转变到复印显示画面1330(点击之后)，并将画面信息发送到便携式终端100。然后，便携式终端100显示复印显示画面1320(点击之后)。
94.图14图示出当在便携式终端100显示选单显示画面975(硬键盘被显示)的同时便携式终端100接收到点击操作1411时在便携式终端100和mfp 110上显示的画面。当用户对在当前显示硬键盘ui 977的选单显示画面1410(软键盘被显示，点击之前)上的复印按钮1031执行点击操作1411时，便携式终端100关闭硬键盘ui 977并显示选单显示画面1420(点击之后)。此时，便携式终端100不向mfp 110发送关于点击操作1411的操作信息。换句话说，即使便携式终端100接收到点击操作，mfp 110也继续显示如选单显示画面1030的选单显示画面1430(点击之后)。
95.指示根据本示例性实施例的便携式终端100的处理的流程图的基本配置与根据第一示例性实施例的图6中的流程图的基本配置类似，并且下面将仅描述不同之处。在步骤s611中，画面控制单元301确定在步骤s610中接收到的操作是否是对除了硬键盘ui 977的区域之外的区域的点击操作。当确定接收到的操作是点击操作时(步骤s611中为“是”)，处理进行到步骤s613。在步骤s613中，cpu 201确定便携式终端100当前是否显示硬键盘ui 977。当确定当前显示硬键盘ui 977时(步骤s613中为“是”)，处理进行到步骤s630。在步骤s630中，cpu 201执行隐藏硬键盘ui 977的处理。另一方面，当确定当前未显示硬键盘ui 977时(步骤s613中为“否”)，处理进行到步骤s614。在步骤s614中，cpu 201将操作信息发送到mfp 110。当确定在步骤s610中接收到的操作为对硬键盘ui 977的点击操作时，将操作信息从便携式终端100发送到mfp 110。
96.上述示例性实施例使得能够根据软键盘当前是否仅在对mfp 110进行远程控制的便携式终端100上显示来选择是否将接收到的操作信息发送到mfp 110。
97.虽然在上述示例性实施例中，便携式终端100经由vnc链接显示与显示在mfp 110上的画面相同的画面，但是本公开不限于此。上述示例性实施例适用于例如便携式终端100显示mfp 110的画面的放大形态而不是显示与mfp 110的画面相同的画面的情况。
98.其它实施例
99.本公开的(一个或多个)实施例还可以通过读出并执行记录在存储介质(其也可以被更完整地称为“非瞬态计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或包括用于执行上述(一个或多个)实施例中的一个或多个实施例的功能一个或多个电路(例如，专用集成电路(asic))的系统或装置的计算机来实现，以及通过例如从存储介质读出并执行计算机可执行指令以执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或控制一个或多个电路执行上述(一个或多个)实施例中的一个或多个实施例的功能而通过由系统或装置的计算机执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(cpu)、微处理单元(mpu))，并且可以包括单独计算机或单独处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算系统的存储装置、光盘(诸如紧凑盘(cd)、数字多功能盘(dvd)或蓝光盘(bd)
tm
)、闪存设备、存储卡等。
100.其它实施例
101.本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
102.虽然本公开包括示例性实施例，但是应该理解的是，本公开不限于所公开的示例性实施例。以下权利要求的范围应被赋予最宽泛的解释，以涵盖所有这样的修改以及等同的结构和功能。