显示处理装置、图像形成装置、远程画面的显示处理系统的制作方法
显示处理装置、图像形成装置、远程画面的显示处理系统的制作方法
【专利摘要】本发明提供显示处理装置、图像形成装置、远程画面的显示处理系统以及显示处理方法，该显示处理装置在便携终端中显示的远程画面被扩大的状态下用户进行了使显示弹出部的操作时，在便携终端的显示部中显示的下一个画面区域内能够使可靠地显示弹出部。从显示了基于操作用画面数据的显示处理装置侧的远程画面的便携终端，接收表示用户对远程画面进行的操作的操作信息，在画面被扩大的状态下对远程画面进行了用户操作时，从便携终端接收操作信息和表示被扩大后的显示状态的扩大显示信息。在接收到的操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置，生成并发送下一个画面数据，以使以图像扩大状态在便携终端中显示弹出部。
【专利说明】显示处理装置、图像形成装置、远程画面的显示处理系统
【技术领域】
[0001]本发明涉及能够通过无线通信等连接智能手机、平板终端等便携终端装置的显示处理装置、作为具备有该显示处理装置的多功能数字复合机的MFP (Multi FunctionPeripherals,多功能外设)等图像形成装置、远程画面的显示处理系统以及显示处理方法。
【背景技术】
[0002]近年，智能手机、平板终端等便携终端装置能够储存电子化的文档，能够无论时间和地点而阅览或编辑文档。此外，能够将在便携终端装置中进行了编辑等的文件发送至所述MFP等图像形成装置，使在图像形成装置中执行印刷或者保存等处理。进而，还能够将由图像形成装置的扫描仪部所读取到的原稿的图像数据等构成的文件发送至便携终端装置，在便携终端装置中进行编辑等。
[0003]但是，存在需要分别单独操作便携终端装置和图像形成装置，操作变得烦杂的问题。
[0004]因此，最近，提出了图像形成装置和便携终端装置的联合系统，该联合系统能够将图像形成装置的操作用画面作为远程画面在便携终端装置的显示部中显示，从便携终端装置对图像形成装置进行联合操作。在该联合系统中，在便携终端装置的显示部中显示的图像形成装置侧的远程画面，基于从图像形成装置发送的画面数据而显示。
[0005]也就是说，表示进行了操作的信息从便携终端装置被发送至图像形成装置，图像形成装置基于该信息生成下一个画面数据，将该画面数据发送至便携终端装置，便携终端装置基于该画面数据对远程画面进行更新显示。
[0006]另一方面，便携终端装置具备触摸面板，通过用户对显示画面进行捏小、捏大等手势操作，能够对图像进行变倍。也就是说，能够将在便携终端装置中显示的远程画面的图像根据用户的扩大操作，在便携终端装置中扩大而显示。
[0007]然而，远程画面的图像以被扩大的状态在便携终端装置中显示时，用户对远程画面进行的操作是显示其他窗口的弹出部的操作的情况下，产生了如下的问题。
[0008]另外，在专利文献I中，公开了即使在操作设定按钮与操作对象图像重叠的情况下，也使操作对象图像不隐藏的显示装置。
[0009]此外，在专利文献2中，公开了使一个画面上不重叠多个窗口的最佳配置的技术。
[0010]此外，在专利文献3中，公开了在控制计算机以及被控制计算机的显示器尺寸不同的情况下，进行控制以使在控制计算机中未显示的区域的图像信息不转发至被控制计算机的技术。
[0011]现有技术文献
[0012]专利文献
[0013]专利文献1:日本特开2006-039469号公报
[0014]专利文献2:日本特开2010-244189号公报
[0015]专利文献3:日本特开2004-005582号公报[0016]S卩，若远程画面的图像以被扩大的状态在便携终端装置中显示时，用户对远程画面进行使显示弹出部的操作，则操作信息从便携终端装置被转发至图像形成装置，图像形成装置生成包含与操作信息对应的弹出部的下一个画面数据。
[0017]但是，若由于画面内的弹出部的配置位置被设定为适于对图像形成装置的显示面板的显示的位置，因此保持了该配置而在便携终端装置中直接扩大下一个画面并使显示部显示，则有弹出部的一部分或者全部从画面偏离的危险。此时，便携终端装置的用户需要滚动画面或拖拉弹出部，使弹出部位于画面内，但该操作费事。
[0018]而且，若弹出部的全部从显示区域偏离，则有用户连弹出部的存在都不能识别的危险。
[0019]另外，前述的专利文献1-3所述的技术不能对在便携终端装置中显示的远程画面的图像被扩大的状态下在用户进行了使显示弹出部的操作时的上述问题提供解决方案。
【发明内容】
[0020]本发明是为了解决上述的问题而完成的，其课题在于，提供显示处理装置以及图像形成装置，所述装置能够在便携终端装置中显示的远程画面的图像被扩大的状态下在用户进行了使显示弹出部的操作时，在便携终端的显示部中显示的下一个画面的显示区域内使可靠地显示弹出部，进而提供远程画面的显示处理系统以及显示处理方法。
[0021 ] 上述课题通过以下的手段解决。
[0022](I) 一种显示处理装置，其特征在于，具备:连接部件，能够与便携终端装置连接；发送部件，将本装置操作用的画面数据发送至通过所述连接部件连接的便携终端装置；接收部件，从显示部件中显示了基于所述画面数据的显示处理装置侧的远程画面的便携终端装置，接收表示用户对所述远程画面进行的操作的操作信息，且在画面被扩大的状态下对缺少一部分而显示的所述远程画面进行了用户操作时，从便携终端装置接收操作信息和表示被扩大后的显示状态的扩大显示信息；判断部件，判断由所述接收部件接收到的所述操作信息所示出的操作是否是使显示弹出部的操作；以及画面生成部件，生成与由所述接收部件接收到的操作信息对应的下一个画面数据，并且在通过所述接收部件接收所述操作信息和扩大显示信息，且通过所述判断部件判断为所述操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置并生成下一个画面数据，以使以基于所述扩大显示信息的图像扩大状态在所述便携终端装置的显示部件中显示弹出部，所述发送部件将由所述画面生成部件生成的下一个画面数据发送至所述便携终端装置。
[0023](2)如前项I所述的显示处理装置，所述画面生成部件基于弹出部的尺寸、画面整体的尺寸、画面的不可隐蔽区域、画面内的显示区域的优先级中的至少一个，决定弹出部的可显示区域，在该决定的可显示区域中配置弹出部。
[0024](3)如前项I或2所述的显示处理装置，在即使调整弹出部的显示位置也不能在所述便携终端装置的显示部件中以图像扩大状态显示弹出部的情况下，所述画面生成部件变更弹出部的尺寸。
[0025](4)如前项I或2所述的显示处理装置，在即使调整弹出部的显示位置也不能在所述便携终端装置的显示部件中以图像扩大状态显示弹出部的情况下，所述画面生成部件变更弹出部的形状。[0026](5)如前项I或2所述的显示处理装置，在即使调整弹出部的显示位置也不能在所述便携终端装置的显示部件中以图像扩大状态显示弹出部的情况下，所述画面生成部件将扩大率的变更通知给便携终端装置。
[0027](6)如前项I或2所述的显示处理装置，在即使调整弹出部的显示位置也不能在所述便携终端装置的显示部件中以图像扩大状态显示弹出部的情况下，所述画面生成部件向便携终端装置请求画面的滚动。
[0028](7)如前项I或2所述的显示处理装置，在弹出部的显示位置上存在不可隐蔽的图像的情况下，所述画面生成部件使透过显示弹出部。
[0029](8)如前项3所述的显示处理装置，所述画面生成部件变更弹出部内的字符的尺寸。
[0030](9)如前项I或2所述的显示处理装置，在所述弹出部中显示输入键。
[0031](10)—种图像形成装置，具备有前项I或2所述的显示处理装置。
[0032](11)如前项10所述的图像形成装置，所述本装置操作用的画面是用于进行本装置的设定的画面，所述弹出部用于设定值的输入。
[0033](12) —种远程画面的显示处理系统，具备有能够相互连接的显示处理装置和便携终端装置，其特征在于，所述显示处理装置具备:连接部件，能够与便携终端装置连接；发送部件，将本装置操作用的画面数据发送至通过所述连接部件连接的便携终端装置；接收部件，从显示部件中显示了基于所述操作用画面数据的显示处理装置侧的远程画面的便携终端装置，接收表示用户对所述远程画面进行的操作的操作信息，且在画面被扩大的状态下对缺少一部分而显示的所述远程画面进行了用户操作时，从便携终端装置接收操作信息和表示被扩大后的显示状态的扩大显示信息；判断部件，判断由所述接收部件接收到的所述操作信息所示出的操作是否是使显示弹出部的操作；以及画面生成部件，生成与由所述接收部件接收到的操作信息对应的下一个画面数据，并且在通过所述接收部件接收所述操作信息和扩大显示信息，且通过所述判断部件判断为所述操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置并生成下一个画面数据，以使以基于所述扩大显示信息的图像扩大状态在所述便携终端装置的显示部件中显示弹出部，所述发送部件将由所述画面生成部件生成的下一个画面数据发送至所述便携终端装置。所述便携终端装置具备:接收部件，接收从所述显示处理装置发送的画面数据；显示部件，显示基于所述画面数据的显示处理装置侧的远程画面；以及发送部件，若用户对所述远程画面进行操作，则将操作信息发送至显示处理装置，且在画面被扩大的状态下对远程画面进行了用户操作时，将操作信息和表示被扩大后的显示状态的扩大显示信息发送至显示处理装置。
[0034](13) —种远程画面的显示处理方法，在通过连接部件与便携终端装置连接的显示处理装置中执行，其特征在于，具备:发送步骤，将本装置操作用的画面数据发送至通过所述便携终端装置；接收步骤，从显示部件中显示了基于所述画面数据的显示处理装置侧的远程画面的便携终端装置，接收表示用户对所述远程画面进行的操作的操作信息，且在画面被扩大的状态下对缺少一部分而显示的所述远程画面进行了用户操作时，从便携终端装置接收操作信息和表示被扩大后的显示状态的扩大显示信息；判断步骤，判断在所述接收步骤中接收到的所述操作信息所示出的操作是否是使显示弹出部的操作；以及画面生成步骤，生成与所述接收步骤中接收到的操作信息对应的下一个画面数据，并且在所述接收步骤中接收所述操作信息和扩大显示信息，且在所述判断步骤中判断为所述操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置并生成下一个画面数据，以使以基于所述扩大显示信息的图像扩大状态在所述便携终端装置的显示部件中显示弹出部，在所述发送步骤中将在所述画面生成步骤中生成的下一个画面数据发送至所述便携终端装置。
[0035](14) 一种远程画面的显示处理方法，在具备有能够相互连接的显示处理装置和便携终端装置的远程画面的显示处理系统中执行，其特征在于，所述显示处理装置执行:发送步骤，将本装置操作用的画面数据发送至所述便携终端装置；接收步骤，从显示部件中显示了基于所述画面数据的显示处理装置侧的远程画面的便携终端装置，接收表示用户对所述远程画面进行的操作的操作信息，且在画面被扩大的状态下对缺少一部分而显示的所述远程画面进行了用户操作时，从便携终端装置接收操作信息和表示被扩大后的显示状态的扩大显示信息；判断步骤，判断在所述接收步骤中接收到的所述操作信息所示出的操作是否是使显示弹出部的操作；以及画面生成步骤，生成与所述接收步骤中接收到的操作信息对应的下一个画面数据，并且在所述接收步骤中接收所述操作信息和扩大显示信息，且在所述判断步骤中判断为所述操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置并生成下一个画面数据，以使以基于所述扩大显示信息的图像扩大状态在所述便携终端装置的显示部件中显示弹出部，在所述发送步骤中将在所述画面生成步骤中生成的下一个画面数据发送至所述便携终端装置，所述便携终端装置具备:接收步骤，接收从所述显示处理装置发送的画面数据；显示步骤，在显示部件中显示基于所述画面数据的显示处理装置侧的远程画面；以及发送步骤，若用户对所述远程画面进行操作，则将操作信息发送至显示处理装置，且在画面被扩大的状态下对远程画面进行了用户操作时，将操作信息和表示被扩大后的显示状态的扩大显示信息发送至显示处理装置。
[0036]根据前项(I)所述的发明，若用户对在便携终端装置的显示部中显示的显示处理装置的远程画面进行图像的扩大操作，则便携终端装置扩大远程画面的被操作的图像部分并显示。在该状态下，对远程画面进行了用户操作时，显示处理装置接收来自便携终端装置的操作信息和表示被扩大后的显示状态的扩大显示信息。显示处理装置判断接收到的操作信息所示出的操作是否是使显示弹出部的操作，在判断为是使显示弹出部的操作的情况下，生成包含弹出部的下一个画面数据。
[0037]此时，由于调整弹出部的显示位置，以使以图像扩大状态在便携终端装置的显示部件中显示弹出部，因此能够在便携终端装置的显示部件中显示的下一个画面的显示区域内使可靠地显示弹出部，从而不需要用户为了使从画面偏离的弹出部位于画面内而对便携终端装置的画面进行滚动操作等，且能够可靠地识别显示弹出部的情况。
[0038]根据前项(2)所述的发明，基于弹出部的尺寸、画面整体的尺寸、画面的不可隐蔽区域、画面内的显示区域的优先级中的至少一个，决定弹出部的可显示区域，由于在该决定的可显示区域中配置弹出部，因此能够在便携终端的显示部中显示的下一个画面的显示区域内使进一步可靠地显示弹出部。
[0039]根据前项(3)所述的发明，在即使调整弹出部的显示位置也不能以图像扩大状态在所述便携终端装置的显示部件中显示弹出部的情况下，能够通过变更弹出部的尺寸，在便携终端的显示部件中可靠地显示弹出部。[0040]根据前项(4)所述的发明，在即使调整弹出部的显示位置也不能以图像扩大状态在所述便携终端装置的显示部件中显示弹出部的情况下，能够通过变更弹出部的形状，在便携终端的显示部件中可靠地显示弹出部。
[0041]根据前项(5)所述的发明，在即使调整弹出部的显示位置也不能以图像扩大状态在所述便携终端装置的显示部件中显示弹出部的情况下，由于通过扩大率的变更请求在便携终端侧变更扩大率，因此能够在便携终端的显示部件中可靠地显示弹出部。
[0042]根据前项(6)所述的发明，在即使调整弹出部的显示位置也不能以图像扩大状态在所述便携终端装置的显示部件中显示弹出部的情况下，由于向便携终端装置请求画面的滚动，因此便携终端装置能够通过滚动图像扩大后的画面，从而在显示部件中可靠地显示弹出部。
[0043]根据前项(7)所述的发明，在弹出部的显示位置上存在不可隐蔽的图像的情况下，由于透过显示弹出部，因此能够防止由于弹出部不可隐蔽的图像被隐蔽的情况。
[0044]根据前项(8)所述的发明，通过变更弹出部内的字符的尺寸，从而弹出部的尺寸变更的自由度增大。
[0045]根据前项(9)所述的发明，由于在弹出部中显示软件数字键或软件键盘等输入键，因此用户能够使用该输入键进行数值等的输入。
[0046]根据前项(10)所述的发明，能够成为图像形成装置，该图像形成装置在便携终端装置的显示部件中显示的远程画面的图像被扩大的状态下，在用户进行了使显示弹出部的操作的情况下，能够以图像扩大状态生成在便携终端装置的显示区域内可靠地显示弹出部的下一个画面数据，并发送至便携终端装置。
[0047]根据前项(11)所述的发明，用户能够通过在便携终端装置中显示的操作画面以及弹出部，进行图像形成装置的设定。
[0048]根据前项(12)所述的发明，成为系统，该系统在便携终端的显示部中显示的远程画面被扩大的状态下，在用户进行了使显示弹出部的操作的情况下，显示处理装置能够以图像扩大状态在便携终端装置的显示区域内生成显示弹出部的下一个画面数据，并发送至便携终端装置。
[0049]根据前项(13)以及(14)所述的发明，在便携终端的显示部中显示的远程画面被扩大的状态下，在用户进行了使显示弹出部的操作的情况下，显示处理装置能够以图像扩大状态在便携终端装置的显示区域内生成显示弹出部的下一个画面数据，并发送至便携终端装置，因此用户能够在便携终端中显示的画面内可靠地识别弹出部。
【专利附图】
【附图说明】
[0050]图1是本发明的一实施方式所涉及的远程画面的显示处理系统的结构图。
[0051]图2是表示图像处理装置以及便携终端装置的电结构的框图。
[0052]图3是表示图像处理装置以及便携终端装置的固件结构的框图。
[0053]图4是表示图像处理装置以及便携终端装置的各软件的关系的图。
[0054]图5 (A)?(B)是表示显示了弹出部的画面的一例的图。
[0055]图6 (A)?(C)是用于说明弹出部的显示位置的调整方法的图。
[0056]图7是用于说明弹出部的可显示区域的决定方法的图。[0057]图8是表示在图像形成装置和便携终端装置中执行的远程画面的显示处理动作的流程图。
[0058]标号说明
[0059]I图像形成装置
[0060]2便携终端装置
[0061]101 CPU
[0062]102 ROM
[0063]104扫描仪部
[0064]105打印部
[0065]106存储部
[0066]107操作面板部
[0067]107b 显示部
[0068]109 WIFI 模块
[0069]111 USB 接口
[0070]201 CPU
[0071]202 RAM
[0072]203存储部
[0073]204a 显示部
[0074]204b 操作部
[0075]205 WIFI 模块
[0076]207 USB 接口
[0077]209联合部
[0078]300数值输入区域
[0079]400弹出部
【具体实施方式】
[0080]以下，基于【专利附图】
【附图说明】本发明的实施方式。
[0081]图1是使用了作为本发明的一实施方式所涉及的显示处理装置的图像形成装置的显示处理系统的结构图。
[0082]该显示处理系统具备作为显示处理装置的图像形成装置1、和由智能手机或平板终端等构成的便携终端装置2等，这些图像形成装置I和便携终端装置2能够经由无线LAN路由器3、网络4进行相互连接。另外，图像形成装置I和便携终端装置2还能够通过USB接口等进行有线连接，但在该实施方式中，设为通过无线通信进行相互连接。
[0083]在该实施方式中，作为图像形成装置I使用具备有复制功能、打印功能、扫描功能、传真功能等的前述的MFP。以下，将图像形成装置也写做MFP。此外，将便携终端装置也写做便携终端。
[0084]图2是表示所述MFPl和便携终端2的电结构的框图。
[0085]MFPl具备CPU101、R0M102、RAM103、扫描仪部104、打印部105、存储部106、操作面板部 107、WIFI (Wireless Fidelity,无线保真)模块 109、LAN (Local Area Network,局域网)控制器110、USB接口(USB I/F)lll等。
[0086]所述CPUlOl是通过按照在R0M102等中存储的动作程序而动作，从而统一地控制MFPl的整体的部件。例如，除了以能够使用MFPl的各种功能的方式进行控制之外，在该实施方式中，基于来自便携终端2的请求，生成在便携终端2中显示的MFPl的操作画面的画面数据并发送至便携终端2，或生成与从便携终端2发送的操作信息对应的下一个画面数据并发送至便携终端2。此外，判断所述操作信息所示出的操作是否是使显示弹出部的操作，在判断为是使显示弹出部的操作的情况下，执行生成包含弹出部的下一个画面数据并发送至便携终端2等的处理，但这些点如后述。
[0087]所述R0M102是存储CPUlOl的动作程序等的存储器，RAM103是提供CPUlOl按照动作程序而动作时的作业区域的存储器。
[0088]所述扫描仪部104是读取在未图示的压板玻璃上设置的原稿、或在同样未图示的自动原稿传输装置上设置的原稿的图像，输出作为电子数据的图像数据的部件。
[0089]所述打印部105是将由扫描仪部104读取到的原稿的图像数据、或从便携终端2等发送的打印数据印刷到用纸上的部件。
[0090]所述存储部106是存储各种数据或应用等的部件，使用硬盘装置等。特别是，在该实施方式中，在操作面板部107中显示的各种操作画面的显示用数据(画面数据)被存储，通过CPUlOl从存储部106调用与用户的操作相应的操作画面的显示用数据，在操作面板部107中显示，或发送至便携终端2。此外，保存由扫描仪部104读取到的图像数据构成的文档文件、或从外部装置发送的文档文件等多个文件。
[0091]操作面板部107是操作MFPl或向用户显示消息等的部件，具备具有开始键、数字键等的键部107a、由液晶等触摸面板构成的显不部107b。
[0092]所述WIFI模块109是用于与便携终端2无线连接的接口，所述LAN控制器110是控制与个人计算机或其他MFP等外部装置之间的通信的部件。
[0093]所述USB接口 111是用于与便携终端2有线连接的接口。
[0094]另一方面，在便携终端2中，使用智能手机、平板终端、电子纸等。便携终端2具备CPU201、RAM202、存储部 203、显示部 204a、操作部 204b、WIFI 模块 205、LAN 控制器 206、USB接口 207、文件处理部208a、208b、联合部209等。
[0095]所述CPU201是统一地控制便携终端2的整体的部件，按照作为基本软件的OS(Operating System,操作系统)、或后述的联合应用或通用应用而动作。
[0096]所述RAM202是成为CPU201按照动作程序而动作时的作业区域的存储器。
[0097]所述存储部203是存储各种数据或应用等的部件，使用硬盘装置等。在该实施方式中，存储从MFPl发送的画面数据、基本OS、联合应用、通用应用等程序。另外，在以下的说明中将应用(7 7° Ua >)简称为应用(7 7° U )。
[0098]所述显示部204a由液晶等设备构成，操作部204b被设置于显示部204a且由可触摸操作输入的触摸面板构成。触摸操作通常根据触摸的手指的数目或手指的移动，通过规定操作内容的手势操作而进行。作为手势操作的一例，能够例示用于对在画面中显示的图像，指示变倍(扩大或者缩小)或旋转等的编辑加工的捏小操作、捏大操作等。
[0099]所述WIFI模块205是用于将便携终端2与MFPl无线连接的接口，所述LAN控制器206是用于控制与用户终端等外部装置之间的通信的部件。此外，所述USB接口 207是用于将便携终端装置2与MFPl有线连接的接口。
[0100]所述文件处理部208a，208b对文件实施编辑、转发或邮件分发等的处理。以下，将文件处理部208a，208b也写做文件处理部208。
[0101]所述联合部209是用于为了顺利地进行MFPl和便携终端2之间的功能联合，使得能够使用MFPl的功能的部件。具体而言，为了使用MFPl的复制功能、打印功能、扫描功能、传真功能等，从MFPl接收用于再现与在MFPl的操作面板部107中显示的画面相同的画面的画面数据等并作为远程画面在显示部204a中显示，或在用户操作了被显示的远程画面时，通过操作部204b检测画面(触摸面板)上的操作位置的坐标并作为操作信息发送至MFPl。MFPl通过分析所述操作位置的坐标,确定用户的操作指示，执行与操作指示相应的动作。
[0102]此外，不限于在显示部204a中显示基于从MFPl接收到的画面数据的远程画面的全部(全部区域)，在根据手势操作而扩大显示那样的情况下存在以缺少远程画面的一部分的状态显示的情况。在MFPl侧，需要知道是发送的画面数据的全部被显示，还是以缺少一部分的状态怎样被显示，对便携终端2进行“表示远程画面的显示状态的信息”的发送请求。
[0103]根据来自MFPl的请求，联合部209将在显示部204a中显示的“表示远程画面的显示状态的信息”发送至MFPl。作为“表示远程画面的显示状态的信息”，例如有显示部204a的显示区域的画面尺寸(纵横的显示像素数)、对于远程画面的显示区域的显示位置、其扩大率(放大缩小率、长宽比可否固定)，的信息。
[0104]通过CPU201执行通用应用，所述文件处理部208实现该功能。也就是说，通用应用是用于实现处理各种文件的文件处理部208的软件，能够使用例如文件编辑用应用、具有以电子邮件分发文件的功能的应用、具有在网页上存储文件的功能的应用等，各种应用。
[0105]此外，通过CPU201执行前述的联合应用，所述联合部209实现这些功能。也就是说，联合应用是用于实现MFPl和便携终端2的平稳的功能联合的软件。此外，在联合应用和通用应用之间，能够进行文件的转发或下载。
[0106]图3是表示MFPl和便携终端2的固件结构的框图。
[0107]MFPl在应用层上具备操作面板(应用)121或开放API(0pen Application ProgramInterface，开放式应用程序接口)122等，在公共API层上具备公共API (Common API) 125或面板显示图像生成部126等，在硬件依赖层上具备面板画面生成部123、面板控制部124、便携终端用控制部127等。
[0108]进而，在核心层上具备面板输入控制部129、面板IXD控制部130、JPEG编码器驱动器131等，在设备层上具备操作面板部107、USB接口部111、JPEG压缩部133、WIFI模块109 等。
[0109]在从便携终端2进行了联合操作的情况下，面板画面生成部123生成在操作面板部107中显示的MFPl侧的画面数据。
[0110]面板控制部124进行与操作面板部107的通信状态的控制等。此外，面板显示图像生成部126基于来自便携终端2的操作信息，生成在便携终端2中显示的下一个画面数据，但在联合操作时在便携终端2中显示的远程画面在便携终端2侧被扩大，且从便携终端2通知的操作信息所示出的操作是使显示弹出部的操作的情况下，生成下一个画面数据，以使以图像扩大状态在便携终端2的显示部204a中显示弹出部。也就是说，在没有以图像扩大状态在便携终端2的显示部204a中显示弹出部的一部分或者全部的情况下，调整弹出部的位置，进而根据需要变更弹出部的尺寸或形状等。
[0111]便携终端用控制部127在与便携终端2的联合处理时，控制用于与便携终端2通信的接口等。
[0112]面板输入控制部129进行与操作面板部107的操作输入相关的控制，面板IXD控制部130进行与操作面板部107的显示部107b的显示控制。JPEG压缩部133是经由JPEG编码器驱动器131对从便携终端用控制部127发送来的画面数据等进行JPEG压缩的部件，被压缩的数据经由USB接口 111或WIFI模块109被发送至便携终端2。
[0113]另一方面，便携终端2由具备有图像显示应用221、显示图像生成应用222、JPEG展开应用223、浏览器等各种应用的应用层，具备有各种管理225、226等的平台层，具备有各种程序库227以及核心228的OS层，以及硬件229而构成。
[0114]所述JPEG展开应用223是对从MFPl发送来的压缩数据进行扩展的部件。
[0115]显示图像生成应用222是在用户对便携终端2的显示部204a中显示的远程画面进行了图像的扩大/缩小操作等时，使用当前显示且在存储部203中存储的画面数据，在本装置中进行编辑加工，并使显示部204显示的部件。
[0116]所述图像显示应用221是使用从MFPl发送且在JPEG展开应用223中扩展的画面数据，将MFPl的画面作为远程画面而生成并使显示部204显示的部件。
[0117]另外，在该实施方式中，图像显示应用221、显示图像生成应用222、JPEG展开应用223作为通过联合应用实现的功能的一部分而构成。
[0118]接着，说明联合操作MFPl和便携终端2的情况的处理。
[0119]用户将便携终端2经由网络与MFPl无线连接，想要从便携终端2远程操作MFP1。便携终端2和MFPl的联合操作，通过用户启动在便携终端2安装的联合应用而开始。
[0120]图4是表示MFPl以及便携终端2的各软件的关系的图，分别在左侧表示MFPl侧的软件，在右侧表示便携终端2的软件。
[0121]便携终端2的联合应用位于便携终端2的OS和作为通用的软件的应用软件的中间，能够取得用户的操作信息、与便携终端2的发送接收数据、以及便携终端2侧的画面数据，能够根据需要将这些数据发送至MFP1。也就是说，便携终端2的联合软件执行应用的调用等在便携终端2侧的用户操作受理处理、MFPl的操作画面显示用的画面数据的接收/显示处理(便携终端侧操作画面处理)、以及联合操作关联处理等。作为联合操作关联处理，能够举出表示用户经由操作部204b进行的操作的内容的操作信息的与MFPl的通信等。
[0122]另一方面，在MFPl侧的OS或MFPl用的应用软件全部是本公司设计/本公司定制且得到全部必要的信息的情况下，MFPl的联合应用也可以位于OS-应用软件间，也可以通过与OS或应用软件独立且与OS或应用软件通信从而获得必要的信息。MFPl的联合应用执行应用的调用等MFPl侧的用户操作受理处理、至便携终端2的MFP侧画面数据的发送处理(MFP侧操作画面处理)、以及联合操作关联处理等。作为联合操作关联处理，可以举出来自便携终端2的操作信息等的接收/执行处理等。
[0123]若用户选择在便携终端2的显示部204中显示的操作画面中的远程操作图标，指示MFP联合，则便携终端2的联合软件进行至被注册的MFPl的通信，调用MFPl的联合软件，请求画面数据的取得。由此，开始远程操作模式，为了提高转发效率，初始画面的画面数据从MFPl以JPEG等被压缩的状态被发送至便携终端2。
[0124]便携终端2将接收到的MFP侧的画面数据在显示部204a中作为远程画面而显示。在便携终端2的显示部204a的画面尺寸与MFPl的显示部107b的画面尺寸不同的情况下，便携终端2与自己的显示部204a的画面尺寸配合而调整画面数据并显示。
[0125]另外，与在便携终端2中的画面显示同时，可以将同一画面在MFPl的显示部105a中显示，也可以不显示。
[0126]若用户对在便携终端2中显示的MFPl侧的画面即远程画面进行触摸操作，则判断触摸操作是指示画面数据的扩大/缩小的手势操作，还是通常的按钮操作。然后，若判断为触摸操作是指示画面数据的扩大/缩小的手势操作，则对被指示的部位进行扩大/缩小并在显示部204a中显示。
[0127]另一方面，若判断为是通常的按钮操作，则便携终端2将操作部204b上的触摸位置的坐标数据作为操作信息发送至MFPl。
[0128]MFPl分析由接收到的坐标数据构成的操作信息，判定画面上的哪个按钮被按压，生成与该按钮按下对应的下一个画面数据并发送至便携终端2，或执行与按钮按下对应的作业处理等。便携终端2将接收到的下一个画面数据在显示部204b中显示并更新画面。
[0129]这样，能够通过便携终端2对MFPl进行远程操作。
[0130]然而，存在用户对在便携终端2中显示的远程画面进行的操作是使显示由其他窗口构成的弹出部的操作的情况。
[0131]在为了有效活用画面显示区域而需要进行MFPl的功能设定时，弹出部在例如数值输入时等被显示。图5是表示在这样的数值输入时显示弹出部400的情况的图，以在MFPl的显示部107b中显示的状态表示。另外，不限定于以哪样的情景使显示弹出部400。
[0132]如图5 (A)所示，在显示部107b中显示有具有数值输入区域300的画面D1。若用户触摸该数值输入区域300，则如同图(B)的画面D2所示的，作为弹出部400显示由软件数字键构成的输入键。另外，也可以不是软件数字键而是软件键盘等输入键。
[0133]预先设定弹出部400，以使防止在MFPl的显示部107b中被显示的数值输入区域300的隐蔽且被配置于用户的视线移动少而容易操作的位置，在该实施方式中被配置于例如数值输入区域300的右侧。
[0134]用户能够使用在弹出部400中显示的输入键进行对数值输入区域300的数值输入。
[0135]在图5中，表示了弹出部400在MFPl的显示部107b中显示的情况，但在远程操作时，相同的画面作为远程画面在便携终端2的显示部204a中显示。
[0136]然而，存在在便携终端2侧对进行用于使显示弹出部400的操作前的画面(图5(A)的画面)进行扩大并显示的情况下，即使用户进行了使显示弹出部400的操作，弹出部400也没有显示在画面内的情况。以图6对其进行说明。
[0137]图6 (A)表示用户进行基于捏合操作的图像扩大操作而图像被扩大的状态的画面D3，被扩大的结果在显示部204a的显示区域中以缺少远程画面的一部分的状态显示，数值输入区域300右侧的一部分从显示区域偏离。
[0138]如图6 (B)所示，若用户触摸被扩大的画面中的数值输入区域300，则触摸位置的坐标数据作为操作信息被发送至MFPl。此时，由于在便携终端2图像被扩大，因此便携终端2将包含扩大率和中心坐标的信息作为表示当前的显示状态的扩大显示信息，与操作信息一起发送至MFPI。
[0139]MFPl生成与操作信息对应且显示了弹出部400的下一个画面数据。若生成的下一个画面数据被扩大，则数值输入区域300右侧的一部分从便携终端2的显示部204a的显示区域偏离，但如图5 (B)所示，由于弹出部400以被配置于数值输入区域300的右侧的方式被预先设定在MFPl中，因此在该状态下如图6 (C)中以虚线X印表示的那样，弹出部400的全部或一部分也从便携终端2的显示部204a的显示区域偏离。这样，有用户不能识别弹出部400的危险，此外还不能进行数值输入操作。
[0140]因此，在该实施方式中，以将弹出部400的显示位置如例如图6 (C)的画面D4所示那样向数值输入区域300的左侧进行移动调整的状态，生成下一个画面数据，以使扩大后的弹出部400在便携终端2的显示部204a中显示。
[0141]由此，能够使便携终端2以图像扩大状态显示弹出部400，用户能够可靠地识别弹出部400，能够进行数值输入。
[0142]关于弹出部400的显示位置的调整，基于弹出部400的尺寸、画面整体的尺寸、画面的不可隐蔽区域、以及画面内的显示区域的优先级中的至少一个，决定弹出部400的可显示区域，将弹出部400配置于该决定的可显示区域。
[0143]预先设定这些弹出部400的尺寸、画面整体的尺寸、画面的不可隐蔽区域、画面内的显示区域的优先级且存储至存储部106。
[0144]使用图7说明弹出部400的可显示区域的决定方法的一例。
[0145]在图7中，画面整体的尺寸是800 (横)X480 (纵)点，弹出部400的尺寸是200(横)X240 (纵)点，数值输入区域的尺寸是160 (横)X60 (纵)点，数值输入区域的中心被配置于画面的中心。
[0146]若设为在便携终端2侧扩大为1.33倍，则将画面左上作为坐标原点(0，0)，原图像的600 (横)X360 (纵)点的部分在显示部204a中被扩大显示，画面的中心坐标是(x，y) =(300,180)。
[0147]在此，由于若数值输入区域300通过弹出部400被隐蔽，则用户不能进行被输入的数值的确认，因此不优选通过弹出部400隐蔽数值输入区域300。此外，在扩大后的数值输入区域300的右侧，只有120点(横)的可显示区域，不能显示弹出部400。
[0148]另一方面，由于在数值输入区域300的左侧与扩大前相同地有320点(横)的可显示区域，因此能够进行弹出部400的显示，为此，在数值输入区域300的左侧配置弹出部400。进而，加进弹出部400的显示区域的优先级。在此，由于在上下方向存在可显示区域，因此能够将弹出部400向上下挪动而配置，但为了减轻用户的视线移动，将数值输入区域300的中心线和弹出部400的中心线设为相同。
[0149]另外，在图7的例中，在数值输入区域300的左侧存在有弹出部400的可显示区域，但在数值输入区域300的左侧的区域尺寸小的情况下，例如在160点(横)的情况下，也可以将弹出部400的尺寸缩小为例如150 (横)X 180 (纵)点而配置。此外，在纵向上区域小的情况等下，也可以使弹出部400的形状变形为150 (横)X150 (纵)点等。
[0150]此外，在即使调整弹出部400的显示位置也不能在便携终端2的显示部204a中以图像扩大状态显示弹出部400的情况下，也可以与下一个画面数据的发送一起，将扩大率的变更通知给便携终端2。MFPl决定变更的扩大率。通过以被通知的扩大率扩大下一个画面数据，接受了该通知的便携终端2能够可靠地显示弹出部400。
[0151]此外，在即使调整弹出部400的显示位置也不能在便携终端2的显示部204a中以图像扩大状态显示弹出部400的情况下，也可以将画面滚动的请求通知给便携终端2。MFPl决定滚动量。通过仅以被通知的滚动量对图像扩大后的画面进行滚动而显示，接受了该通知的便携终端2能够可靠地显示弹出部400。
[0152]此外，在弹出部400的调整后的显示位置上存在不可隐蔽的图像的情况下，希望构成为通过使透过显示弹出部400，不可隐蔽的背景图像和弹出部400的任一个都能够视觉辨认。
[0153]此外，考虑到为了容易看见图像所以用户在便携终端2扩大了图像，也可以在将弹出部400内的字符尺寸变更为画面中央部附近的最小的字符尺寸的基础上，使弹出部400的尺寸尽量小，增大弹出的显示位置的调整的自由度，使容易进行调整。在图像扩大后，变更了尺寸的弹出部400内的字符被扩大显示为与画面中央部附近的字符相同的大小，成为容易看见的大小。
[0154]另外，也可以将弹出部400的尺寸的变更、形状的变更、字符的变更等任意地组合而执行。
[0155]接着，参照图8的流程图说明在远程模式中，MFPl和便携终端2所执行的远程画面的显示处理动作。另外，这些动作通过MFPl的CPUlOl以及便携终端2的CPU201按照各自的动作程序而动作从而执行。
[0156]基于来自便携终端2的画面取得请求，MFPl在步骤SlOl中生成显示画面数据，在步骤S102中转发至便携终端2。
[0157]此时转发的画面数据基于在MFPl中作为操作画面在显示部107b中显示的画面数据而生成。生成的画面数据的文件格式基本上不是与便携终端2的OS或应用对应的固有的格式，而是将在MFPl的显示部107b中显示的操作用的画面数据原样变换为JPEG、TIFF等影像数据的通用的文件格式的格式。
[0158]另外，在MFPl中，先于图8的流程图，或依次地，从便携终端2接收在便携终端2的显示部204a中显示的“表示远程画面的显示状态的信息”。
[0159]便携终端2在步骤S201中将基于接收到的画面数据的远程画面在显示部204a中显不O
[0160]若用户进行使显示弹出部400的操作，则便携终端2在步骤S202中，取得在操作部204b中的触摸面板上的操作位置的坐标数据，在步骤S203中将该坐标数据作为操作信息通知给MFPI。
[0161]接收到操作信息的MFPl在步骤S103中分析操作信息，按照通常的处理，生成具有与操作相应的弹出部400的下一个画面数据。然后，在步骤S105中，将生成的下一个画面数据转发至便携终端2，便携终端2在步骤S204中更新画面。
[0162]至此是以在便携终端2未进行对远程画面的图像扩大操作的状态，进行了使显示弹出部400的操作时的处理，是通常的画面更新处理。
[0163]接着，若用户对远程画面进行图像扩大操作，则便携终端2在步骤S205中扩大图像。
[0164]若在扩大后，用户对远程画面进行使显示弹出部400的操作，则便携终端2在步骤S206中取得在操作部204b中的触摸面板上的操作位置的坐标数据，在步骤S207中将由该坐标数据构成的操作信息、包含图像的扩大率以及中心坐标的扩大显示信息通知给MFP1。
[0165]MFPl在步骤S106中分析操作信息，判断是否是使显示需要使用户视觉辨认的弹出部400的操作。进而根据扩大显示信息识别是在图像扩大状态下的操作。需要使用户视觉辨认的弹出部400是指用户在数值输入等下一个操作中可靠地使用(触摸)的弹出部400。关于不需要使用户视觉辨认的弹出部400，不进行弹出部400的显示位置的调整而进行在前述的步骤S104、步骤S204中说明的通常的处理。预先设定是否是需要使用户视觉辨认的弹出部400。
[0166]关于需要使用户视觉辨认的弹出部400，在步骤S107中，调整在弹出部400的下一个画面数据内的显示位置，进而判断有无弹出部400的尺寸或形状的变更、字符尺寸的变更、以及弹出部400的透过显示的各必要性，以使在便携终端2中下一个画面被扩大显示时弹出部400也在显示部204a的画面内显示。此外，也判断是否需要在即使调整弹出部400的显示位置也不能在便携终端2中以图像扩大状态显示弹出部400的情况的，扩大率的变更或画面滚动的请求。
[0167]然后，在步骤S108中反映上述的弹出部400的显示位置的调整结果或判断结果，生成下一个画面数据后，在步骤S109中发送至便携终端2。在需要扩大率的变更或画面滚动的情况下，也一并进行该含义的请求。
[0168]若便携终端2接收下一个画面数据，则在步骤S208中，以与前一个画面相同的扩大率扩大该下一个画面数据的图像，在显示部204a中显示并更新画面。在请求扩大率的变更或画面滚动时，以被指定的扩大率扩大或进行被指定的量的画面滚动，将弹出部400可靠地在显示部204a中显示。
[0169]这样，由于在该实施方式中，通过MFPl调整弹出部400的显示位置，以使在图像扩大状态下在便携终端2的显示部204a中显示弹出部400，因此能够在便携终端2的显示部204a中扩大显示的下一个画面的显示区域内使可靠地显示弹出部400。从而，用户不需要为了显示在显示区域外隐藏的弹出部400，对便携终端2的画面进行滚动操作等，且能够可靠地识别弹出部400显示的内容，能够提高操作性。
【权利要求】
1.一种显示处理装置，其特征在于，具备: 连接部件，能够与便携终端装置连接； 发送部件，将本装置操作用的画面数据发送至通过所述连接部件连接的便携终端装置； 接收部件，从显示部件中显示了基于所述画面数据的显示处理装置侧的远程画面的便携终端装置，接收表示用户对所述远程画面进行的操作的操作信息，且在画面被扩大的状态下对缺少一部分而显示的所述远程画面进行了用户操作时，从便携终端装置接收操作信息和表示被扩大后的显示状态的扩大显示信息； 判断部件，判断由所述接收部件接收到的所述操作信息所示出的操作是否是使显示弹出部的操作；以及 画面生成部件，生成与由所述接收部件接收到的操作信息对应的下一个画面数据，并且在通过所述接收部件接收所述操作信息和扩大显示信息，且通过所述判断部件判断为所述操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置并生成下一个画面数据，以使以基于所述扩大显示信息的图像扩大状态在所述便携终端装置的显示部件中显示弹出部， 所述发送部件将由所述画面生成部件生成的下一个画面数据发送至所述便携终端装置。
2.如权利要求1所述的显示处理装置， 所述画面生成部件基于弹出部的尺寸、画面整体的尺寸、画面的不可隐蔽区域、画面内的显示区域的优先级中的至少一个，决定弹出部的可显示区域，在该决定的可显示区域中配置弹出部。
3.如权利要求1或2所述的显示处理装置， 在即使调整弹出部的显示位置也不能在所述便携终端装置的显示部件中以图像扩大状态显示弹出部的情况下，所述画面生成部件变更弹出部的尺寸。
4.如权利要求1或2所述的显示处理装置， 在即使调整弹出部的显示位置也不能在所述便携终端装置的显示部件中以图像扩大状态显示弹出部的情况下，所述画面生成部件变更弹出部的形状。
5.如权利要求1或2所述的显示处理装置， 在即使调整弹出部的显示位置也不能在所述便携终端装置的显示部件中以图像扩大状态显示弹出部的情况下，所述画面生成部件将扩大率的变更通知给便携终端装置。
6.如权利要求1或2所述的显示处理装置， 在即使调整弹出部的显示位置也不能在所述便携终端装置的显示部件中以图像扩大状态显示弹出部的情况下，所述画面生成部件向便携终端装置请求画面的滚动。
7.如权利要求1或2所述的显示处理装置， 在弹出部的显示位置上存在不可隐蔽的图像的情况下，所述画面生成部件使透过显示弹出部。
8.如权利要求3所述的显示处理装置， 所述画面生成部件变更弹出部内的字符的尺寸。
9.如权利要求1或2所述的显示处理装置，在所述弹出部中显示输入键。
10.一种图像形成装置，具备权利要求1或2所述的显示处理装置。
11.如权利要求10所述的图像形成装置， 所述本装置操作用的画面是用于进行本装置的设定的画面，所述弹出部用于设定值的输入。
12.—种远程画面的显示处理系统，具备有能够相互连接的显示处理装置和便携终端装置，其特征在于， 所述显示处理装置具备: 连接部件，能够与便携终端装置连接； 发送部件，将本装置操作用的画面数据发送至通过所述连接部件连接的便携终端装置； 接收部件，从显示部件中显示了基于所述操作用画面数据的显示处理装置侧的远程画面的便携终端装置，接收表示用户对所述远程画面进行的操作的操作信息，且在画面被扩大的状态下对缺少一部分而显示的所述远程画面进行了用户操作时，从便携终端装置接收操作信息和表示被扩大后的显示状态的扩大显示信息； 判断部件，判断由所述接收部件接收到的所述操作信息所示出的操作是否是使显示弹出部的操作；以及 画面生成部件，生成与由所述接收部件接收到的操作信息对应的下一个画面数据，并且在通过所述接收部件接收所述操作信息和扩大显示信息，且通过所述判断部件判断为所述操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置并生成下一个画面数据，以使以基于所述扩大显示信息的图像扩大状态在所述便携终端装置的显示部件中显示弹出部， 所述发送部件将由所述画面生成部件生成的下一个画面数据发送至所述便携终端装置。 所述便携终端装置具备: 接收部件，接收从所述显示处理装置发送的画面数据； 显示部件，显示基于所述画面数据的显示处理装置侧的远程画面；以及发送部件，若用户对所述远程画面进行操作，则将操作信息发送至显示处理装置，且在画面被扩大的状态下对远程画面进行了用户操作时，将操作信息和表示被扩大后的显示状态的扩大显示信息发送至显示处理装置。
13.一种远程画面的显示处理方法，在通过连接部件与便携终端装置连接的显示处理装置中执行，其特征在于，具备: 发送步骤，将本装置操作用的画面数据发送至所述便携终端装置； 接收步骤，从显示部件中显示了基于所述画面数据的显示处理装置侧的远程画面的便携终端装置，接收表示用户对所述远程画面进行的操作的操作信息，且在画面被扩大的状态下对缺少一部分而显示的所述远程画面进行了用户操作时，从便携终端装置接收操作信息和表示被扩大后的显示状态的扩大显示信息； 判断步骤，判断在所述接 收步骤中接收到的所述操作信息所示出的操作是否是使显示弹出部的操作；以及画面生成步骤，生成与所述接收步骤中接收到的操作信息对应的下一个画面数据，并且在所述接收步骤中接收所述操作信息和扩大显示信息，且在所述判断步骤中判断为所述操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置并生成下一个画面数据，以使以基于所述扩大显示信息的图像扩大状态在所述便携终端装置的显示部件中显示弹出部， 在所述发送步骤中将在所述画面生成步骤中生成的下一个画面数据发送至所述便携终端装置。
14.一种远程画面的显示处理方法，在具备有能够相互连接的显示处理装置和便携终端装置的远程画面的显示处理系统中执行，其特征在于， 所述显示处理装置执行: 发送步骤，将本装置操作用的画面数据发送至所述便携终端装置； 接收步骤，从显示部件中显示了基于所述画面数据的显示处理装置侧的远程画面的便携终端装置，接收表示用户对 所述远程画面进行的操作的操作信息，且在画面被扩大的状态下对缺少一部分而显示的所述远程画面进行了用户操作时，从便携终端装置接收操作信息和表示被扩大后的显示状态的扩大显示信息； 判断步骤，判断在所述接收步骤中接收到的所述操作信息所示出的操作是否是使显示弹出部的操作；以及 画面生成步骤，生成与所述接收步骤中接收到的操作信息对应的下一个画面数据，并且在所述接收步骤中接收所述操作信息和扩大显示信息，且在所述判断步骤中判断为所述操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置并生成下一个画面数据，以使以基于所述扩大显示信息的图像扩大状态在所述便携终端装置的显示部件中显示弹出部， 在所述发送步骤中将在所述画面生成步骤中生成的下一个画面数据发送至所述便携终端装置， 所述便携终端装置具备: 接收步骤，接收从所述显示处理装置发送的画面数据； 显示步骤，在显示部件中显示基于所述画面数据的显示处理装置侧的远程画面；以及 发送步骤，若用户对所述远程画面进行操作，则将操作信息发送至显示处理装置，且在画面被扩大的状态下对远程画面进行了用户操作时，将操作信息和表示被扩大后的显示状态的扩大显示信息发送至显示处理装置。
【文档编号】H04N1/00GK103905683SQ201310722196
【公开日】2014年7月2日 申请日期:2013年12月24日 优先权日:2012年12月25日
【发明者】大畑勤 申请人:柯尼卡美能达株式会社
【专利摘要】本发明提供显示处理装置、图像形成装置、远程画面的显示处理系统以及显示处理方法，该显示处理装置在便携终端中显示的远程画面被扩大的状态下用户进行了使显示弹出部的操作时，在便携终端的显示部中显示的下一个画面区域内能够使可靠地显示弹出部。从显示了基于操作用画面数据的显示处理装置侧的远程画面的便携终端，接收表示用户对远程画面进行的操作的操作信息，在画面被扩大的状态下对远程画面进行了用户操作时，从便携终端接收操作信息和表示被扩大后的显示状态的扩大显示信息。在接收到的操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置，生成并发送下一个画面数据，以使以图像扩大状态在便携终端中显示弹出部。
【专利说明】显示处理装置、图像形成装置、远程画面的显示处理系统
【技术领域】
[0001]本发明涉及能够通过无线通信等连接智能手机、平板终端等便携终端装置的显示处理装置、作为具备有该显示处理装置的多功能数字复合机的MFP (Multi FunctionPeripherals,多功能外设)等图像形成装置、远程画面的显示处理系统以及显示处理方法。
【背景技术】
[0002]近年，智能手机、平板终端等便携终端装置能够储存电子化的文档，能够无论时间和地点而阅览或编辑文档。此外，能够将在便携终端装置中进行了编辑等的文件发送至所述MFP等图像形成装置，使在图像形成装置中执行印刷或者保存等处理。进而，还能够将由图像形成装置的扫描仪部所读取到的原稿的图像数据等构成的文件发送至便携终端装置，在便携终端装置中进行编辑等。
[0003]但是，存在需要分别单独操作便携终端装置和图像形成装置，操作变得烦杂的问题。
[0004]因此，最近，提出了图像形成装置和便携终端装置的联合系统，该联合系统能够将图像形成装置的操作用画面作为远程画面在便携终端装置的显示部中显示，从便携终端装置对图像形成装置进行联合操作。在该联合系统中，在便携终端装置的显示部中显示的图像形成装置侧的远程画面，基于从图像形成装置发送的画面数据而显示。
[0005]也就是说，表示进行了操作的信息从便携终端装置被发送至图像形成装置，图像形成装置基于该信息生成下一个画面数据，将该画面数据发送至便携终端装置，便携终端装置基于该画面数据对远程画面进行更新显示。
[0006]另一方面，便携终端装置具备触摸面板，通过用户对显示画面进行捏小、捏大等手势操作，能够对图像进行变倍。也就是说，能够将在便携终端装置中显示的远程画面的图像根据用户的扩大操作，在便携终端装置中扩大而显示。
[0007]然而，远程画面的图像以被扩大的状态在便携终端装置中显示时，用户对远程画面进行的操作是显示其他窗口的弹出部的操作的情况下，产生了如下的问题。
[0008]另外，在专利文献I中，公开了即使在操作设定按钮与操作对象图像重叠的情况下，也使操作对象图像不隐藏的显示装置。
[0009]此外，在专利文献2中，公开了使一个画面上不重叠多个窗口的最佳配置的技术。
[0010]此外，在专利文献3中，公开了在控制计算机以及被控制计算机的显示器尺寸不同的情况下，进行控制以使在控制计算机中未显示的区域的图像信息不转发至被控制计算机的技术。
[0011]现有技术文献
[0012]专利文献
[0013]专利文献1:日本特开2006-039469号公报
[0014]专利文献2:日本特开2010-244189号公报
[0015]专利文献3:日本特开2004-005582号公报[0016]S卩，若远程画面的图像以被扩大的状态在便携终端装置中显示时，用户对远程画面进行使显示弹出部的操作，则操作信息从便携终端装置被转发至图像形成装置，图像形成装置生成包含与操作信息对应的弹出部的下一个画面数据。
[0017]但是，若由于画面内的弹出部的配置位置被设定为适于对图像形成装置的显示面板的显示的位置，因此保持了该配置而在便携终端装置中直接扩大下一个画面并使显示部显示，则有弹出部的一部分或者全部从画面偏离的危险。此时，便携终端装置的用户需要滚动画面或拖拉弹出部，使弹出部位于画面内，但该操作费事。
[0018]而且，若弹出部的全部从显示区域偏离，则有用户连弹出部的存在都不能识别的危险。
[0019]另外，前述的专利文献1-3所述的技术不能对在便携终端装置中显示的远程画面的图像被扩大的状态下在用户进行了使显示弹出部的操作时的上述问题提供解决方案。
【发明内容】
[0020]本发明是为了解决上述的问题而完成的，其课题在于，提供显示处理装置以及图像形成装置，所述装置能够在便携终端装置中显示的远程画面的图像被扩大的状态下在用户进行了使显示弹出部的操作时，在便携终端的显示部中显示的下一个画面的显示区域内使可靠地显示弹出部，进而提供远程画面的显示处理系统以及显示处理方法。
[0021 ] 上述课题通过以下的手段解决。
[0022](I) 一种显示处理装置，其特征在于，具备:连接部件，能够与便携终端装置连接；发送部件，将本装置操作用的画面数据发送至通过所述连接部件连接的便携终端装置；接收部件，从显示部件中显示了基于所述画面数据的显示处理装置侧的远程画面的便携终端装置，接收表示用户对所述远程画面进行的操作的操作信息，且在画面被扩大的状态下对缺少一部分而显示的所述远程画面进行了用户操作时，从便携终端装置接收操作信息和表示被扩大后的显示状态的扩大显示信息；判断部件，判断由所述接收部件接收到的所述操作信息所示出的操作是否是使显示弹出部的操作；以及画面生成部件，生成与由所述接收部件接收到的操作信息对应的下一个画面数据，并且在通过所述接收部件接收所述操作信息和扩大显示信息，且通过所述判断部件判断为所述操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置并生成下一个画面数据，以使以基于所述扩大显示信息的图像扩大状态在所述便携终端装置的显示部件中显示弹出部，所述发送部件将由所述画面生成部件生成的下一个画面数据发送至所述便携终端装置。
[0023](2)如前项I所述的显示处理装置，所述画面生成部件基于弹出部的尺寸、画面整体的尺寸、画面的不可隐蔽区域、画面内的显示区域的优先级中的至少一个，决定弹出部的可显示区域，在该决定的可显示区域中配置弹出部。
[0024](3)如前项I或2所述的显示处理装置，在即使调整弹出部的显示位置也不能在所述便携终端装置的显示部件中以图像扩大状态显示弹出部的情况下，所述画面生成部件变更弹出部的尺寸。
[0025](4)如前项I或2所述的显示处理装置，在即使调整弹出部的显示位置也不能在所述便携终端装置的显示部件中以图像扩大状态显示弹出部的情况下，所述画面生成部件变更弹出部的形状。[0026](5)如前项I或2所述的显示处理装置，在即使调整弹出部的显示位置也不能在所述便携终端装置的显示部件中以图像扩大状态显示弹出部的情况下，所述画面生成部件将扩大率的变更通知给便携终端装置。
[0027](6)如前项I或2所述的显示处理装置，在即使调整弹出部的显示位置也不能在所述便携终端装置的显示部件中以图像扩大状态显示弹出部的情况下，所述画面生成部件向便携终端装置请求画面的滚动。
[0028](7)如前项I或2所述的显示处理装置，在弹出部的显示位置上存在不可隐蔽的图像的情况下，所述画面生成部件使透过显示弹出部。
[0029](8)如前项3所述的显示处理装置，所述画面生成部件变更弹出部内的字符的尺寸。
[0030](9)如前项I或2所述的显示处理装置，在所述弹出部中显示输入键。
[0031](10)—种图像形成装置，具备有前项I或2所述的显示处理装置。
[0032](11)如前项10所述的图像形成装置，所述本装置操作用的画面是用于进行本装置的设定的画面，所述弹出部用于设定值的输入。
[0033](12) —种远程画面的显示处理系统，具备有能够相互连接的显示处理装置和便携终端装置，其特征在于，所述显示处理装置具备:连接部件，能够与便携终端装置连接；发送部件，将本装置操作用的画面数据发送至通过所述连接部件连接的便携终端装置；接收部件，从显示部件中显示了基于所述操作用画面数据的显示处理装置侧的远程画面的便携终端装置，接收表示用户对所述远程画面进行的操作的操作信息，且在画面被扩大的状态下对缺少一部分而显示的所述远程画面进行了用户操作时，从便携终端装置接收操作信息和表示被扩大后的显示状态的扩大显示信息；判断部件，判断由所述接收部件接收到的所述操作信息所示出的操作是否是使显示弹出部的操作；以及画面生成部件，生成与由所述接收部件接收到的操作信息对应的下一个画面数据，并且在通过所述接收部件接收所述操作信息和扩大显示信息，且通过所述判断部件判断为所述操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置并生成下一个画面数据，以使以基于所述扩大显示信息的图像扩大状态在所述便携终端装置的显示部件中显示弹出部，所述发送部件将由所述画面生成部件生成的下一个画面数据发送至所述便携终端装置。所述便携终端装置具备:接收部件，接收从所述显示处理装置发送的画面数据；显示部件，显示基于所述画面数据的显示处理装置侧的远程画面；以及发送部件，若用户对所述远程画面进行操作，则将操作信息发送至显示处理装置，且在画面被扩大的状态下对远程画面进行了用户操作时，将操作信息和表示被扩大后的显示状态的扩大显示信息发送至显示处理装置。
[0034](13) —种远程画面的显示处理方法，在通过连接部件与便携终端装置连接的显示处理装置中执行，其特征在于，具备:发送步骤，将本装置操作用的画面数据发送至通过所述便携终端装置；接收步骤，从显示部件中显示了基于所述画面数据的显示处理装置侧的远程画面的便携终端装置，接收表示用户对所述远程画面进行的操作的操作信息，且在画面被扩大的状态下对缺少一部分而显示的所述远程画面进行了用户操作时，从便携终端装置接收操作信息和表示被扩大后的显示状态的扩大显示信息；判断步骤，判断在所述接收步骤中接收到的所述操作信息所示出的操作是否是使显示弹出部的操作；以及画面生成步骤，生成与所述接收步骤中接收到的操作信息对应的下一个画面数据，并且在所述接收步骤中接收所述操作信息和扩大显示信息，且在所述判断步骤中判断为所述操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置并生成下一个画面数据，以使以基于所述扩大显示信息的图像扩大状态在所述便携终端装置的显示部件中显示弹出部，在所述发送步骤中将在所述画面生成步骤中生成的下一个画面数据发送至所述便携终端装置。
[0035](14) 一种远程画面的显示处理方法，在具备有能够相互连接的显示处理装置和便携终端装置的远程画面的显示处理系统中执行，其特征在于，所述显示处理装置执行:发送步骤，将本装置操作用的画面数据发送至所述便携终端装置；接收步骤，从显示部件中显示了基于所述画面数据的显示处理装置侧的远程画面的便携终端装置，接收表示用户对所述远程画面进行的操作的操作信息，且在画面被扩大的状态下对缺少一部分而显示的所述远程画面进行了用户操作时，从便携终端装置接收操作信息和表示被扩大后的显示状态的扩大显示信息；判断步骤，判断在所述接收步骤中接收到的所述操作信息所示出的操作是否是使显示弹出部的操作；以及画面生成步骤，生成与所述接收步骤中接收到的操作信息对应的下一个画面数据，并且在所述接收步骤中接收所述操作信息和扩大显示信息，且在所述判断步骤中判断为所述操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置并生成下一个画面数据，以使以基于所述扩大显示信息的图像扩大状态在所述便携终端装置的显示部件中显示弹出部，在所述发送步骤中将在所述画面生成步骤中生成的下一个画面数据发送至所述便携终端装置，所述便携终端装置具备:接收步骤，接收从所述显示处理装置发送的画面数据；显示步骤，在显示部件中显示基于所述画面数据的显示处理装置侧的远程画面；以及发送步骤，若用户对所述远程画面进行操作，则将操作信息发送至显示处理装置，且在画面被扩大的状态下对远程画面进行了用户操作时，将操作信息和表示被扩大后的显示状态的扩大显示信息发送至显示处理装置。
[0036]根据前项(I)所述的发明，若用户对在便携终端装置的显示部中显示的显示处理装置的远程画面进行图像的扩大操作，则便携终端装置扩大远程画面的被操作的图像部分并显示。在该状态下，对远程画面进行了用户操作时，显示处理装置接收来自便携终端装置的操作信息和表示被扩大后的显示状态的扩大显示信息。显示处理装置判断接收到的操作信息所示出的操作是否是使显示弹出部的操作，在判断为是使显示弹出部的操作的情况下，生成包含弹出部的下一个画面数据。
[0037]此时，由于调整弹出部的显示位置，以使以图像扩大状态在便携终端装置的显示部件中显示弹出部，因此能够在便携终端装置的显示部件中显示的下一个画面的显示区域内使可靠地显示弹出部，从而不需要用户为了使从画面偏离的弹出部位于画面内而对便携终端装置的画面进行滚动操作等，且能够可靠地识别显示弹出部的情况。
[0038]根据前项(2)所述的发明，基于弹出部的尺寸、画面整体的尺寸、画面的不可隐蔽区域、画面内的显示区域的优先级中的至少一个，决定弹出部的可显示区域，由于在该决定的可显示区域中配置弹出部，因此能够在便携终端的显示部中显示的下一个画面的显示区域内使进一步可靠地显示弹出部。
[0039]根据前项(3)所述的发明，在即使调整弹出部的显示位置也不能以图像扩大状态在所述便携终端装置的显示部件中显示弹出部的情况下，能够通过变更弹出部的尺寸，在便携终端的显示部件中可靠地显示弹出部。[0040]根据前项(4)所述的发明，在即使调整弹出部的显示位置也不能以图像扩大状态在所述便携终端装置的显示部件中显示弹出部的情况下，能够通过变更弹出部的形状，在便携终端的显示部件中可靠地显示弹出部。
[0041]根据前项(5)所述的发明，在即使调整弹出部的显示位置也不能以图像扩大状态在所述便携终端装置的显示部件中显示弹出部的情况下，由于通过扩大率的变更请求在便携终端侧变更扩大率，因此能够在便携终端的显示部件中可靠地显示弹出部。
[0042]根据前项(6)所述的发明，在即使调整弹出部的显示位置也不能以图像扩大状态在所述便携终端装置的显示部件中显示弹出部的情况下，由于向便携终端装置请求画面的滚动，因此便携终端装置能够通过滚动图像扩大后的画面，从而在显示部件中可靠地显示弹出部。
[0043]根据前项(7)所述的发明，在弹出部的显示位置上存在不可隐蔽的图像的情况下，由于透过显示弹出部，因此能够防止由于弹出部不可隐蔽的图像被隐蔽的情况。
[0044]根据前项(8)所述的发明，通过变更弹出部内的字符的尺寸，从而弹出部的尺寸变更的自由度增大。
[0045]根据前项(9)所述的发明，由于在弹出部中显示软件数字键或软件键盘等输入键，因此用户能够使用该输入键进行数值等的输入。
[0046]根据前项(10)所述的发明，能够成为图像形成装置，该图像形成装置在便携终端装置的显示部件中显示的远程画面的图像被扩大的状态下，在用户进行了使显示弹出部的操作的情况下，能够以图像扩大状态生成在便携终端装置的显示区域内可靠地显示弹出部的下一个画面数据，并发送至便携终端装置。
[0047]根据前项(11)所述的发明，用户能够通过在便携终端装置中显示的操作画面以及弹出部，进行图像形成装置的设定。
[0048]根据前项(12)所述的发明，成为系统，该系统在便携终端的显示部中显示的远程画面被扩大的状态下，在用户进行了使显示弹出部的操作的情况下，显示处理装置能够以图像扩大状态在便携终端装置的显示区域内生成显示弹出部的下一个画面数据，并发送至便携终端装置。
[0049]根据前项(13)以及(14)所述的发明，在便携终端的显示部中显示的远程画面被扩大的状态下，在用户进行了使显示弹出部的操作的情况下，显示处理装置能够以图像扩大状态在便携终端装置的显示区域内生成显示弹出部的下一个画面数据，并发送至便携终端装置，因此用户能够在便携终端中显示的画面内可靠地识别弹出部。
【专利附图】
【附图说明】
[0050]图1是本发明的一实施方式所涉及的远程画面的显示处理系统的结构图。
[0051]图2是表示图像处理装置以及便携终端装置的电结构的框图。
[0052]图3是表示图像处理装置以及便携终端装置的固件结构的框图。
[0053]图4是表示图像处理装置以及便携终端装置的各软件的关系的图。
[0054]图5 (A)?(B)是表示显示了弹出部的画面的一例的图。
[0055]图6 (A)?(C)是用于说明弹出部的显示位置的调整方法的图。
[0056]图7是用于说明弹出部的可显示区域的决定方法的图。[0057]图8是表示在图像形成装置和便携终端装置中执行的远程画面的显示处理动作的流程图。
[0058]标号说明
[0059]I图像形成装置
[0060]2便携终端装置
[0061]101 CPU
[0062]102 ROM
[0063]104扫描仪部
[0064]105打印部
[0065]106存储部
[0066]107操作面板部
[0067]107b 显示部
[0068]109 WIFI 模块
[0069]111 USB 接口
[0070]201 CPU
[0071]202 RAM
[0072]203存储部
[0073]204a 显示部
[0074]204b 操作部
[0075]205 WIFI 模块
[0076]207 USB 接口
[0077]209联合部
[0078]300数值输入区域
[0079]400弹出部
【具体实施方式】
[0080]以下，基于【专利附图】
【附图说明】本发明的实施方式。
[0081]图1是使用了作为本发明的一实施方式所涉及的显示处理装置的图像形成装置的显示处理系统的结构图。
[0082]该显示处理系统具备作为显示处理装置的图像形成装置1、和由智能手机或平板终端等构成的便携终端装置2等，这些图像形成装置I和便携终端装置2能够经由无线LAN路由器3、网络4进行相互连接。另外，图像形成装置I和便携终端装置2还能够通过USB接口等进行有线连接，但在该实施方式中，设为通过无线通信进行相互连接。
[0083]在该实施方式中，作为图像形成装置I使用具备有复制功能、打印功能、扫描功能、传真功能等的前述的MFP。以下，将图像形成装置也写做MFP。此外，将便携终端装置也写做便携终端。
[0084]图2是表示所述MFPl和便携终端2的电结构的框图。
[0085]MFPl具备CPU101、R0M102、RAM103、扫描仪部104、打印部105、存储部106、操作面板部 107、WIFI (Wireless Fidelity,无线保真)模块 109、LAN (Local Area Network,局域网)控制器110、USB接口(USB I/F)lll等。
[0086]所述CPUlOl是通过按照在R0M102等中存储的动作程序而动作，从而统一地控制MFPl的整体的部件。例如，除了以能够使用MFPl的各种功能的方式进行控制之外，在该实施方式中，基于来自便携终端2的请求，生成在便携终端2中显示的MFPl的操作画面的画面数据并发送至便携终端2，或生成与从便携终端2发送的操作信息对应的下一个画面数据并发送至便携终端2。此外，判断所述操作信息所示出的操作是否是使显示弹出部的操作，在判断为是使显示弹出部的操作的情况下，执行生成包含弹出部的下一个画面数据并发送至便携终端2等的处理，但这些点如后述。
[0087]所述R0M102是存储CPUlOl的动作程序等的存储器，RAM103是提供CPUlOl按照动作程序而动作时的作业区域的存储器。
[0088]所述扫描仪部104是读取在未图示的压板玻璃上设置的原稿、或在同样未图示的自动原稿传输装置上设置的原稿的图像，输出作为电子数据的图像数据的部件。
[0089]所述打印部105是将由扫描仪部104读取到的原稿的图像数据、或从便携终端2等发送的打印数据印刷到用纸上的部件。
[0090]所述存储部106是存储各种数据或应用等的部件，使用硬盘装置等。特别是，在该实施方式中，在操作面板部107中显示的各种操作画面的显示用数据(画面数据)被存储，通过CPUlOl从存储部106调用与用户的操作相应的操作画面的显示用数据，在操作面板部107中显示，或发送至便携终端2。此外，保存由扫描仪部104读取到的图像数据构成的文档文件、或从外部装置发送的文档文件等多个文件。
[0091]操作面板部107是操作MFPl或向用户显示消息等的部件，具备具有开始键、数字键等的键部107a、由液晶等触摸面板构成的显不部107b。
[0092]所述WIFI模块109是用于与便携终端2无线连接的接口，所述LAN控制器110是控制与个人计算机或其他MFP等外部装置之间的通信的部件。
[0093]所述USB接口 111是用于与便携终端2有线连接的接口。
[0094]另一方面，在便携终端2中，使用智能手机、平板终端、电子纸等。便携终端2具备CPU201、RAM202、存储部 203、显示部 204a、操作部 204b、WIFI 模块 205、LAN 控制器 206、USB接口 207、文件处理部208a、208b、联合部209等。
[0095]所述CPU201是统一地控制便携终端2的整体的部件，按照作为基本软件的OS(Operating System,操作系统)、或后述的联合应用或通用应用而动作。
[0096]所述RAM202是成为CPU201按照动作程序而动作时的作业区域的存储器。
[0097]所述存储部203是存储各种数据或应用等的部件，使用硬盘装置等。在该实施方式中，存储从MFPl发送的画面数据、基本OS、联合应用、通用应用等程序。另外，在以下的说明中将应用(7 7° Ua >)简称为应用(7 7° U )。
[0098]所述显示部204a由液晶等设备构成，操作部204b被设置于显示部204a且由可触摸操作输入的触摸面板构成。触摸操作通常根据触摸的手指的数目或手指的移动，通过规定操作内容的手势操作而进行。作为手势操作的一例，能够例示用于对在画面中显示的图像，指示变倍(扩大或者缩小)或旋转等的编辑加工的捏小操作、捏大操作等。
[0099]所述WIFI模块205是用于将便携终端2与MFPl无线连接的接口，所述LAN控制器206是用于控制与用户终端等外部装置之间的通信的部件。此外，所述USB接口 207是用于将便携终端装置2与MFPl有线连接的接口。
[0100]所述文件处理部208a，208b对文件实施编辑、转发或邮件分发等的处理。以下，将文件处理部208a，208b也写做文件处理部208。
[0101]所述联合部209是用于为了顺利地进行MFPl和便携终端2之间的功能联合，使得能够使用MFPl的功能的部件。具体而言，为了使用MFPl的复制功能、打印功能、扫描功能、传真功能等，从MFPl接收用于再现与在MFPl的操作面板部107中显示的画面相同的画面的画面数据等并作为远程画面在显示部204a中显示，或在用户操作了被显示的远程画面时，通过操作部204b检测画面(触摸面板)上的操作位置的坐标并作为操作信息发送至MFPl。MFPl通过分析所述操作位置的坐标,确定用户的操作指示，执行与操作指示相应的动作。
[0102]此外，不限于在显示部204a中显示基于从MFPl接收到的画面数据的远程画面的全部(全部区域)，在根据手势操作而扩大显示那样的情况下存在以缺少远程画面的一部分的状态显示的情况。在MFPl侧，需要知道是发送的画面数据的全部被显示，还是以缺少一部分的状态怎样被显示，对便携终端2进行“表示远程画面的显示状态的信息”的发送请求。
[0103]根据来自MFPl的请求，联合部209将在显示部204a中显示的“表示远程画面的显示状态的信息”发送至MFPl。作为“表示远程画面的显示状态的信息”，例如有显示部204a的显示区域的画面尺寸(纵横的显示像素数)、对于远程画面的显示区域的显示位置、其扩大率(放大缩小率、长宽比可否固定)，的信息。
[0104]通过CPU201执行通用应用，所述文件处理部208实现该功能。也就是说，通用应用是用于实现处理各种文件的文件处理部208的软件，能够使用例如文件编辑用应用、具有以电子邮件分发文件的功能的应用、具有在网页上存储文件的功能的应用等，各种应用。
[0105]此外，通过CPU201执行前述的联合应用，所述联合部209实现这些功能。也就是说，联合应用是用于实现MFPl和便携终端2的平稳的功能联合的软件。此外，在联合应用和通用应用之间，能够进行文件的转发或下载。
[0106]图3是表示MFPl和便携终端2的固件结构的框图。
[0107]MFPl在应用层上具备操作面板(应用)121或开放API(0pen Application ProgramInterface，开放式应用程序接口)122等，在公共API层上具备公共API (Common API) 125或面板显示图像生成部126等，在硬件依赖层上具备面板画面生成部123、面板控制部124、便携终端用控制部127等。
[0108]进而，在核心层上具备面板输入控制部129、面板IXD控制部130、JPEG编码器驱动器131等，在设备层上具备操作面板部107、USB接口部111、JPEG压缩部133、WIFI模块109 等。
[0109]在从便携终端2进行了联合操作的情况下，面板画面生成部123生成在操作面板部107中显示的MFPl侧的画面数据。
[0110]面板控制部124进行与操作面板部107的通信状态的控制等。此外，面板显示图像生成部126基于来自便携终端2的操作信息，生成在便携终端2中显示的下一个画面数据，但在联合操作时在便携终端2中显示的远程画面在便携终端2侧被扩大，且从便携终端2通知的操作信息所示出的操作是使显示弹出部的操作的情况下，生成下一个画面数据，以使以图像扩大状态在便携终端2的显示部204a中显示弹出部。也就是说，在没有以图像扩大状态在便携终端2的显示部204a中显示弹出部的一部分或者全部的情况下，调整弹出部的位置，进而根据需要变更弹出部的尺寸或形状等。
[0111]便携终端用控制部127在与便携终端2的联合处理时，控制用于与便携终端2通信的接口等。
[0112]面板输入控制部129进行与操作面板部107的操作输入相关的控制，面板IXD控制部130进行与操作面板部107的显示部107b的显示控制。JPEG压缩部133是经由JPEG编码器驱动器131对从便携终端用控制部127发送来的画面数据等进行JPEG压缩的部件，被压缩的数据经由USB接口 111或WIFI模块109被发送至便携终端2。
[0113]另一方面，便携终端2由具备有图像显示应用221、显示图像生成应用222、JPEG展开应用223、浏览器等各种应用的应用层，具备有各种管理225、226等的平台层，具备有各种程序库227以及核心228的OS层，以及硬件229而构成。
[0114]所述JPEG展开应用223是对从MFPl发送来的压缩数据进行扩展的部件。
[0115]显示图像生成应用222是在用户对便携终端2的显示部204a中显示的远程画面进行了图像的扩大/缩小操作等时，使用当前显示且在存储部203中存储的画面数据，在本装置中进行编辑加工，并使显示部204显示的部件。
[0116]所述图像显示应用221是使用从MFPl发送且在JPEG展开应用223中扩展的画面数据，将MFPl的画面作为远程画面而生成并使显示部204显示的部件。
[0117]另外，在该实施方式中，图像显示应用221、显示图像生成应用222、JPEG展开应用223作为通过联合应用实现的功能的一部分而构成。
[0118]接着，说明联合操作MFPl和便携终端2的情况的处理。
[0119]用户将便携终端2经由网络与MFPl无线连接，想要从便携终端2远程操作MFP1。便携终端2和MFPl的联合操作，通过用户启动在便携终端2安装的联合应用而开始。
[0120]图4是表示MFPl以及便携终端2的各软件的关系的图，分别在左侧表示MFPl侧的软件，在右侧表示便携终端2的软件。
[0121]便携终端2的联合应用位于便携终端2的OS和作为通用的软件的应用软件的中间，能够取得用户的操作信息、与便携终端2的发送接收数据、以及便携终端2侧的画面数据，能够根据需要将这些数据发送至MFP1。也就是说，便携终端2的联合软件执行应用的调用等在便携终端2侧的用户操作受理处理、MFPl的操作画面显示用的画面数据的接收/显示处理(便携终端侧操作画面处理)、以及联合操作关联处理等。作为联合操作关联处理，能够举出表示用户经由操作部204b进行的操作的内容的操作信息的与MFPl的通信等。
[0122]另一方面，在MFPl侧的OS或MFPl用的应用软件全部是本公司设计/本公司定制且得到全部必要的信息的情况下，MFPl的联合应用也可以位于OS-应用软件间，也可以通过与OS或应用软件独立且与OS或应用软件通信从而获得必要的信息。MFPl的联合应用执行应用的调用等MFPl侧的用户操作受理处理、至便携终端2的MFP侧画面数据的发送处理(MFP侧操作画面处理)、以及联合操作关联处理等。作为联合操作关联处理，可以举出来自便携终端2的操作信息等的接收/执行处理等。
[0123]若用户选择在便携终端2的显示部204中显示的操作画面中的远程操作图标，指示MFP联合，则便携终端2的联合软件进行至被注册的MFPl的通信，调用MFPl的联合软件，请求画面数据的取得。由此，开始远程操作模式，为了提高转发效率，初始画面的画面数据从MFPl以JPEG等被压缩的状态被发送至便携终端2。
[0124]便携终端2将接收到的MFP侧的画面数据在显示部204a中作为远程画面而显示。在便携终端2的显示部204a的画面尺寸与MFPl的显示部107b的画面尺寸不同的情况下，便携终端2与自己的显示部204a的画面尺寸配合而调整画面数据并显示。
[0125]另外，与在便携终端2中的画面显示同时，可以将同一画面在MFPl的显示部105a中显示，也可以不显示。
[0126]若用户对在便携终端2中显示的MFPl侧的画面即远程画面进行触摸操作，则判断触摸操作是指示画面数据的扩大/缩小的手势操作，还是通常的按钮操作。然后，若判断为触摸操作是指示画面数据的扩大/缩小的手势操作，则对被指示的部位进行扩大/缩小并在显示部204a中显示。
[0127]另一方面，若判断为是通常的按钮操作，则便携终端2将操作部204b上的触摸位置的坐标数据作为操作信息发送至MFPl。
[0128]MFPl分析由接收到的坐标数据构成的操作信息，判定画面上的哪个按钮被按压，生成与该按钮按下对应的下一个画面数据并发送至便携终端2，或执行与按钮按下对应的作业处理等。便携终端2将接收到的下一个画面数据在显示部204b中显示并更新画面。
[0129]这样，能够通过便携终端2对MFPl进行远程操作。
[0130]然而，存在用户对在便携终端2中显示的远程画面进行的操作是使显示由其他窗口构成的弹出部的操作的情况。
[0131]在为了有效活用画面显示区域而需要进行MFPl的功能设定时，弹出部在例如数值输入时等被显示。图5是表示在这样的数值输入时显示弹出部400的情况的图，以在MFPl的显示部107b中显示的状态表示。另外，不限定于以哪样的情景使显示弹出部400。
[0132]如图5 (A)所示，在显示部107b中显示有具有数值输入区域300的画面D1。若用户触摸该数值输入区域300，则如同图(B)的画面D2所示的，作为弹出部400显示由软件数字键构成的输入键。另外，也可以不是软件数字键而是软件键盘等输入键。
[0133]预先设定弹出部400，以使防止在MFPl的显示部107b中被显示的数值输入区域300的隐蔽且被配置于用户的视线移动少而容易操作的位置，在该实施方式中被配置于例如数值输入区域300的右侧。
[0134]用户能够使用在弹出部400中显示的输入键进行对数值输入区域300的数值输入。
[0135]在图5中，表示了弹出部400在MFPl的显示部107b中显示的情况，但在远程操作时，相同的画面作为远程画面在便携终端2的显示部204a中显示。
[0136]然而，存在在便携终端2侧对进行用于使显示弹出部400的操作前的画面(图5(A)的画面)进行扩大并显示的情况下，即使用户进行了使显示弹出部400的操作，弹出部400也没有显示在画面内的情况。以图6对其进行说明。
[0137]图6 (A)表示用户进行基于捏合操作的图像扩大操作而图像被扩大的状态的画面D3，被扩大的结果在显示部204a的显示区域中以缺少远程画面的一部分的状态显示，数值输入区域300右侧的一部分从显示区域偏离。
[0138]如图6 (B)所示，若用户触摸被扩大的画面中的数值输入区域300，则触摸位置的坐标数据作为操作信息被发送至MFPl。此时，由于在便携终端2图像被扩大，因此便携终端2将包含扩大率和中心坐标的信息作为表示当前的显示状态的扩大显示信息，与操作信息一起发送至MFPI。
[0139]MFPl生成与操作信息对应且显示了弹出部400的下一个画面数据。若生成的下一个画面数据被扩大，则数值输入区域300右侧的一部分从便携终端2的显示部204a的显示区域偏离，但如图5 (B)所示，由于弹出部400以被配置于数值输入区域300的右侧的方式被预先设定在MFPl中，因此在该状态下如图6 (C)中以虚线X印表示的那样，弹出部400的全部或一部分也从便携终端2的显示部204a的显示区域偏离。这样，有用户不能识别弹出部400的危险，此外还不能进行数值输入操作。
[0140]因此，在该实施方式中，以将弹出部400的显示位置如例如图6 (C)的画面D4所示那样向数值输入区域300的左侧进行移动调整的状态，生成下一个画面数据，以使扩大后的弹出部400在便携终端2的显示部204a中显示。
[0141]由此，能够使便携终端2以图像扩大状态显示弹出部400，用户能够可靠地识别弹出部400，能够进行数值输入。
[0142]关于弹出部400的显示位置的调整，基于弹出部400的尺寸、画面整体的尺寸、画面的不可隐蔽区域、以及画面内的显示区域的优先级中的至少一个，决定弹出部400的可显示区域，将弹出部400配置于该决定的可显示区域。
[0143]预先设定这些弹出部400的尺寸、画面整体的尺寸、画面的不可隐蔽区域、画面内的显示区域的优先级且存储至存储部106。
[0144]使用图7说明弹出部400的可显示区域的决定方法的一例。
[0145]在图7中，画面整体的尺寸是800 (横)X480 (纵)点，弹出部400的尺寸是200(横)X240 (纵)点，数值输入区域的尺寸是160 (横)X60 (纵)点，数值输入区域的中心被配置于画面的中心。
[0146]若设为在便携终端2侧扩大为1.33倍，则将画面左上作为坐标原点(0，0)，原图像的600 (横)X360 (纵)点的部分在显示部204a中被扩大显示，画面的中心坐标是(x，y) =(300,180)。
[0147]在此，由于若数值输入区域300通过弹出部400被隐蔽，则用户不能进行被输入的数值的确认，因此不优选通过弹出部400隐蔽数值输入区域300。此外，在扩大后的数值输入区域300的右侧，只有120点(横)的可显示区域，不能显示弹出部400。
[0148]另一方面，由于在数值输入区域300的左侧与扩大前相同地有320点(横)的可显示区域，因此能够进行弹出部400的显示，为此，在数值输入区域300的左侧配置弹出部400。进而，加进弹出部400的显示区域的优先级。在此，由于在上下方向存在可显示区域，因此能够将弹出部400向上下挪动而配置，但为了减轻用户的视线移动，将数值输入区域300的中心线和弹出部400的中心线设为相同。
[0149]另外，在图7的例中，在数值输入区域300的左侧存在有弹出部400的可显示区域，但在数值输入区域300的左侧的区域尺寸小的情况下，例如在160点(横)的情况下，也可以将弹出部400的尺寸缩小为例如150 (横)X 180 (纵)点而配置。此外，在纵向上区域小的情况等下，也可以使弹出部400的形状变形为150 (横)X150 (纵)点等。
[0150]此外，在即使调整弹出部400的显示位置也不能在便携终端2的显示部204a中以图像扩大状态显示弹出部400的情况下，也可以与下一个画面数据的发送一起，将扩大率的变更通知给便携终端2。MFPl决定变更的扩大率。通过以被通知的扩大率扩大下一个画面数据，接受了该通知的便携终端2能够可靠地显示弹出部400。
[0151]此外，在即使调整弹出部400的显示位置也不能在便携终端2的显示部204a中以图像扩大状态显示弹出部400的情况下，也可以将画面滚动的请求通知给便携终端2。MFPl决定滚动量。通过仅以被通知的滚动量对图像扩大后的画面进行滚动而显示，接受了该通知的便携终端2能够可靠地显示弹出部400。
[0152]此外，在弹出部400的调整后的显示位置上存在不可隐蔽的图像的情况下，希望构成为通过使透过显示弹出部400，不可隐蔽的背景图像和弹出部400的任一个都能够视觉辨认。
[0153]此外，考虑到为了容易看见图像所以用户在便携终端2扩大了图像，也可以在将弹出部400内的字符尺寸变更为画面中央部附近的最小的字符尺寸的基础上，使弹出部400的尺寸尽量小，增大弹出的显示位置的调整的自由度，使容易进行调整。在图像扩大后，变更了尺寸的弹出部400内的字符被扩大显示为与画面中央部附近的字符相同的大小，成为容易看见的大小。
[0154]另外，也可以将弹出部400的尺寸的变更、形状的变更、字符的变更等任意地组合而执行。
[0155]接着，参照图8的流程图说明在远程模式中，MFPl和便携终端2所执行的远程画面的显示处理动作。另外，这些动作通过MFPl的CPUlOl以及便携终端2的CPU201按照各自的动作程序而动作从而执行。
[0156]基于来自便携终端2的画面取得请求，MFPl在步骤SlOl中生成显示画面数据，在步骤S102中转发至便携终端2。
[0157]此时转发的画面数据基于在MFPl中作为操作画面在显示部107b中显示的画面数据而生成。生成的画面数据的文件格式基本上不是与便携终端2的OS或应用对应的固有的格式，而是将在MFPl的显示部107b中显示的操作用的画面数据原样变换为JPEG、TIFF等影像数据的通用的文件格式的格式。
[0158]另外，在MFPl中，先于图8的流程图，或依次地，从便携终端2接收在便携终端2的显示部204a中显示的“表示远程画面的显示状态的信息”。
[0159]便携终端2在步骤S201中将基于接收到的画面数据的远程画面在显示部204a中显不O
[0160]若用户进行使显示弹出部400的操作，则便携终端2在步骤S202中，取得在操作部204b中的触摸面板上的操作位置的坐标数据，在步骤S203中将该坐标数据作为操作信息通知给MFPI。
[0161]接收到操作信息的MFPl在步骤S103中分析操作信息，按照通常的处理，生成具有与操作相应的弹出部400的下一个画面数据。然后，在步骤S105中，将生成的下一个画面数据转发至便携终端2，便携终端2在步骤S204中更新画面。
[0162]至此是以在便携终端2未进行对远程画面的图像扩大操作的状态，进行了使显示弹出部400的操作时的处理，是通常的画面更新处理。
[0163]接着，若用户对远程画面进行图像扩大操作，则便携终端2在步骤S205中扩大图像。
[0164]若在扩大后，用户对远程画面进行使显示弹出部400的操作，则便携终端2在步骤S206中取得在操作部204b中的触摸面板上的操作位置的坐标数据，在步骤S207中将由该坐标数据构成的操作信息、包含图像的扩大率以及中心坐标的扩大显示信息通知给MFP1。
[0165]MFPl在步骤S106中分析操作信息，判断是否是使显示需要使用户视觉辨认的弹出部400的操作。进而根据扩大显示信息识别是在图像扩大状态下的操作。需要使用户视觉辨认的弹出部400是指用户在数值输入等下一个操作中可靠地使用(触摸)的弹出部400。关于不需要使用户视觉辨认的弹出部400，不进行弹出部400的显示位置的调整而进行在前述的步骤S104、步骤S204中说明的通常的处理。预先设定是否是需要使用户视觉辨认的弹出部400。
[0166]关于需要使用户视觉辨认的弹出部400，在步骤S107中，调整在弹出部400的下一个画面数据内的显示位置，进而判断有无弹出部400的尺寸或形状的变更、字符尺寸的变更、以及弹出部400的透过显示的各必要性，以使在便携终端2中下一个画面被扩大显示时弹出部400也在显示部204a的画面内显示。此外，也判断是否需要在即使调整弹出部400的显示位置也不能在便携终端2中以图像扩大状态显示弹出部400的情况的，扩大率的变更或画面滚动的请求。
[0167]然后，在步骤S108中反映上述的弹出部400的显示位置的调整结果或判断结果，生成下一个画面数据后，在步骤S109中发送至便携终端2。在需要扩大率的变更或画面滚动的情况下，也一并进行该含义的请求。
[0168]若便携终端2接收下一个画面数据，则在步骤S208中，以与前一个画面相同的扩大率扩大该下一个画面数据的图像，在显示部204a中显示并更新画面。在请求扩大率的变更或画面滚动时，以被指定的扩大率扩大或进行被指定的量的画面滚动，将弹出部400可靠地在显示部204a中显示。
[0169]这样，由于在该实施方式中，通过MFPl调整弹出部400的显示位置，以使在图像扩大状态下在便携终端2的显示部204a中显示弹出部400，因此能够在便携终端2的显示部204a中扩大显示的下一个画面的显示区域内使可靠地显示弹出部400。从而，用户不需要为了显示在显示区域外隐藏的弹出部400，对便携终端2的画面进行滚动操作等，且能够可靠地识别弹出部400显示的内容，能够提高操作性。
【权利要求】
1.一种显示处理装置，其特征在于，具备: 连接部件，能够与便携终端装置连接； 发送部件，将本装置操作用的画面数据发送至通过所述连接部件连接的便携终端装置； 接收部件，从显示部件中显示了基于所述画面数据的显示处理装置侧的远程画面的便携终端装置，接收表示用户对所述远程画面进行的操作的操作信息，且在画面被扩大的状态下对缺少一部分而显示的所述远程画面进行了用户操作时，从便携终端装置接收操作信息和表示被扩大后的显示状态的扩大显示信息； 判断部件，判断由所述接收部件接收到的所述操作信息所示出的操作是否是使显示弹出部的操作；以及 画面生成部件，生成与由所述接收部件接收到的操作信息对应的下一个画面数据，并且在通过所述接收部件接收所述操作信息和扩大显示信息，且通过所述判断部件判断为所述操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置并生成下一个画面数据，以使以基于所述扩大显示信息的图像扩大状态在所述便携终端装置的显示部件中显示弹出部， 所述发送部件将由所述画面生成部件生成的下一个画面数据发送至所述便携终端装置。
2.如权利要求1所述的显示处理装置， 所述画面生成部件基于弹出部的尺寸、画面整体的尺寸、画面的不可隐蔽区域、画面内的显示区域的优先级中的至少一个，决定弹出部的可显示区域，在该决定的可显示区域中配置弹出部。
3.如权利要求1或2所述的显示处理装置， 在即使调整弹出部的显示位置也不能在所述便携终端装置的显示部件中以图像扩大状态显示弹出部的情况下，所述画面生成部件变更弹出部的尺寸。
4.如权利要求1或2所述的显示处理装置， 在即使调整弹出部的显示位置也不能在所述便携终端装置的显示部件中以图像扩大状态显示弹出部的情况下，所述画面生成部件变更弹出部的形状。
5.如权利要求1或2所述的显示处理装置， 在即使调整弹出部的显示位置也不能在所述便携终端装置的显示部件中以图像扩大状态显示弹出部的情况下，所述画面生成部件将扩大率的变更通知给便携终端装置。
6.如权利要求1或2所述的显示处理装置， 在即使调整弹出部的显示位置也不能在所述便携终端装置的显示部件中以图像扩大状态显示弹出部的情况下，所述画面生成部件向便携终端装置请求画面的滚动。
7.如权利要求1或2所述的显示处理装置， 在弹出部的显示位置上存在不可隐蔽的图像的情况下，所述画面生成部件使透过显示弹出部。
8.如权利要求3所述的显示处理装置， 所述画面生成部件变更弹出部内的字符的尺寸。
9.如权利要求1或2所述的显示处理装置，在所述弹出部中显示输入键。
10.一种图像形成装置，具备权利要求1或2所述的显示处理装置。
11.如权利要求10所述的图像形成装置， 所述本装置操作用的画面是用于进行本装置的设定的画面，所述弹出部用于设定值的输入。
12.—种远程画面的显示处理系统，具备有能够相互连接的显示处理装置和便携终端装置，其特征在于， 所述显示处理装置具备: 连接部件，能够与便携终端装置连接； 发送部件，将本装置操作用的画面数据发送至通过所述连接部件连接的便携终端装置； 接收部件，从显示部件中显示了基于所述操作用画面数据的显示处理装置侧的远程画面的便携终端装置，接收表示用户对所述远程画面进行的操作的操作信息，且在画面被扩大的状态下对缺少一部分而显示的所述远程画面进行了用户操作时，从便携终端装置接收操作信息和表示被扩大后的显示状态的扩大显示信息； 判断部件，判断由所述接收部件接收到的所述操作信息所示出的操作是否是使显示弹出部的操作；以及 画面生成部件，生成与由所述接收部件接收到的操作信息对应的下一个画面数据，并且在通过所述接收部件接收所述操作信息和扩大显示信息，且通过所述判断部件判断为所述操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置并生成下一个画面数据，以使以基于所述扩大显示信息的图像扩大状态在所述便携终端装置的显示部件中显示弹出部， 所述发送部件将由所述画面生成部件生成的下一个画面数据发送至所述便携终端装置。 所述便携终端装置具备: 接收部件，接收从所述显示处理装置发送的画面数据； 显示部件，显示基于所述画面数据的显示处理装置侧的远程画面；以及发送部件，若用户对所述远程画面进行操作，则将操作信息发送至显示处理装置，且在画面被扩大的状态下对远程画面进行了用户操作时，将操作信息和表示被扩大后的显示状态的扩大显示信息发送至显示处理装置。
13.一种远程画面的显示处理方法，在通过连接部件与便携终端装置连接的显示处理装置中执行，其特征在于，具备: 发送步骤，将本装置操作用的画面数据发送至所述便携终端装置； 接收步骤，从显示部件中显示了基于所述画面数据的显示处理装置侧的远程画面的便携终端装置，接收表示用户对所述远程画面进行的操作的操作信息，且在画面被扩大的状态下对缺少一部分而显示的所述远程画面进行了用户操作时，从便携终端装置接收操作信息和表示被扩大后的显示状态的扩大显示信息； 判断步骤，判断在所述接 收步骤中接收到的所述操作信息所示出的操作是否是使显示弹出部的操作；以及画面生成步骤，生成与所述接收步骤中接收到的操作信息对应的下一个画面数据，并且在所述接收步骤中接收所述操作信息和扩大显示信息，且在所述判断步骤中判断为所述操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置并生成下一个画面数据，以使以基于所述扩大显示信息的图像扩大状态在所述便携终端装置的显示部件中显示弹出部， 在所述发送步骤中将在所述画面生成步骤中生成的下一个画面数据发送至所述便携终端装置。
14.一种远程画面的显示处理方法，在具备有能够相互连接的显示处理装置和便携终端装置的远程画面的显示处理系统中执行，其特征在于， 所述显示处理装置执行: 发送步骤，将本装置操作用的画面数据发送至所述便携终端装置； 接收步骤，从显示部件中显示了基于所述画面数据的显示处理装置侧的远程画面的便携终端装置，接收表示用户对 所述远程画面进行的操作的操作信息，且在画面被扩大的状态下对缺少一部分而显示的所述远程画面进行了用户操作时，从便携终端装置接收操作信息和表示被扩大后的显示状态的扩大显示信息； 判断步骤，判断在所述接收步骤中接收到的所述操作信息所示出的操作是否是使显示弹出部的操作；以及 画面生成步骤，生成与所述接收步骤中接收到的操作信息对应的下一个画面数据，并且在所述接收步骤中接收所述操作信息和扩大显示信息，且在所述判断步骤中判断为所述操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置并生成下一个画面数据，以使以基于所述扩大显示信息的图像扩大状态在所述便携终端装置的显示部件中显示弹出部， 在所述发送步骤中将在所述画面生成步骤中生成的下一个画面数据发送至所述便携终端装置， 所述便携终端装置具备: 接收步骤，接收从所述显示处理装置发送的画面数据； 显示步骤，在显示部件中显示基于所述画面数据的显示处理装置侧的远程画面；以及 发送步骤，若用户对所述远程画面进行操作，则将操作信息发送至显示处理装置，且在画面被扩大的状态下对远程画面进行了用户操作时，将操作信息和表示被扩大后的显示状态的扩大显示信息发送至显示处理装置。
【文档编号】H04N1/00GK103905683SQ201310722196
【公开日】2014年7月2日 申请日期:2013年12月24日 优先权日:2012年12月25日
【发明者】大畑勤 申请人:柯尼卡美能达株式会社
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1