图像处理协作系统、协作方法、便携式终端装置制造方法
图像处理协作系统、协作方法、便携式终端装置制造方法
【专利摘要】本发明涉及图像处理协作系统、协作方法、便携式终端装置。提供图像处理协作系统等，其将具有文件显示区域的图像处理装置用的操作画面显示在便携式终端，在从便携式终端进行图像处理装置的协作操作的情况下，可实现对文件显示区域进行了操作时的操作后的画面的显示速度的高速化等。操作画面是具有文件显示区域的第1操作画面时，图像处理装置将除文件显示区域以外的第1操作画面的显示用数据、文件、文件显示区域再现用信息发送至便携式终端装置。便携式终端装置使用这些生成图像处理装置的第1操作画面并显示于显示部件。在对文件显示区域进行了用户操作时，使用保存于自身的文件，将文件显示区域内的显示数据切换为与所述操作对应的数据而显示。
【专利说明】图像处理协作系统、协作方法、便携式终端装置
【技术领域】
[0001]本发明涉及具备作为多功能数字复合机的MFP(Multi Function Peripherals,多功能外围设备)等的图像处理装置和可与该图像处理装置连接的智能手机、平板电脑终端等的便携式终端装置的图像处理协作系统、在同系统中执行的协作方法、便携式终端装置以及在便携式终端装置中执行的协作方法。
【背景技术】
[0002]近年，智能手机、平板电脑终端等的便携式终端装置可存储电子化的文档，能够不论时间与场所而阅览或编辑文档。此外，能够将在便携式终端装置中实施了编辑等之后的文件发送至所述MFP等的图像处理装置，并使图像处理装置执行印刷或者保存等的处理。进而，还能够将由通过图像处理装置的扫描仪部读取的原稿的图像数据等构成的文件发送至便携式终端装置，在便携式终端装置中进行编辑等。
[0003]但是，存在需要将便携式终端装置和图像处理装置分别单独操作，操作变得烦杂的问题。
[0004]因此，最近，提出图像处理装置和便携式终端装置的协作系统，将用于使用图像处理装置的功能的图像处理装置用的操作画面在便携式终端装置的显示部中显示，能够从便携式终端装置操作图像处理装置。在该协作系统中，在便携式终端装置的显示部中显示的图像处理装置的操作画面基于从图像处理装置被发送的显示用数据而显示。
[0005]然而，在这样的协作系统中，也存在作为图像处理装置的操作画面，例如显示使图像处理装置内的图像数据等的文件在画面的一部分中预览显示的预览显示画面的情况。通过将图像处理装置内的文件在便携式终端装置的显示部上预览显示，能够在便携式终端装置的、比图像处理装置的操作面板更大的画面上确认文件，对用户来说非常便利。
[0006]但是，在便携式终端装置中对在便携式终端装置中显示的预览画面中的文件进行操作的情况下，存在如下的问题点。
[0007]S卩，如所述那样，由于基于从图像处理装置被发送的显示用数据，显示在便携式终端装置的显示部中显示的图像处理装置的操作画面，因此在通过便携式终端装置操作在便携式终端装置中显示的预览显示画面等的情况下也同样，首先，表示进行了操作的操作信息从便携式终端装置被发送至图像处理装置，图像处理装置基于该操作信息生成下一个操作画面，将用于将其显示的显示用数据发送至便携式终端装置，便携式终端装置基于该显示用数据再现并显示操作画面。
[0008]因此，例如，在便携式终端装置侧对预览显示画面中的文件显示区域的文件进行翻页操作的情况下，为了与翻页操作对应，需要在图像处理装置侧调用文件，将当前显示的页的下一页设定为显示数据之后，将具有该页的数据的操作画面的显示用数据发送至便携式终端装置。从而，操作画面的显示用数据的生成需要时间，存在操作后的预览画面在便携式终端装置上的显示速度变慢的问题。
[0009]此外，还存在如下问题:从图像处理装置至便携式终端装置的预览画面显示用数据的发送以数据被压缩的状态进行，在便携式终端侧将其扩展并显示，因此在小的文件显示区域内的显示数据被压缩/扩展而再现性恶化，不能显示文件的细致的预览图像。
[0010]而且，还存在如下问题:由于在图像处理装置侧生成与操作对应的文件的显示数据，因此对于被预览显示的文件，在便携式终端装置侧能够使用的操作限于图像处理装置提供的操作，不能进行通常可通过便携式终端装置侧的应用对文件操作的例如捏合等的操作，使用便利性不好。
[0011]另外，在专利文献I中，公开了能够以与使用经由网络被连接的多个打印机之中的期望的打印机以期望的印刷设定印刷文档数据的结果大致相同的大小进行印刷预览的技术。
[0012]具体而言，若通过用户操作便携式终端选择要印刷的文档，选择打印机以及印刷设定(用纸尺寸、分辨率等)，则服务器基于印刷设定计算像素数，以计算出的像素数从文档文件生成印刷图像。另一方面，取得与便携式终端的显示部相关的信息(横向像素数、纵向像素数、分辨率)，基于印刷物的分辨率和显示部的分辨率计算预览图像的像素数，以计算出的像素数生成预览图像，将预览图像发送至便携式终端装置。
[0013]现有技术文献
[0014]专利文献
[0015]专利文献1:(日本)特开2011-118586号公报
[0016]但是，上述专利文献I所述的技术是与将在服务器中生成的预览图像发送至便携式终端装置的技术相关的技术，不是操作在便携式终端装置中显示的图像处理装置侧的操作画面的文件显示区域的技术。因此，对于在操作文件显示区域的情况下发生的所述的问题点，不能提供解决方案。
【发明内容】
[0017]本发明是鉴于这样的情况而完成的，其课题在于，提供图像处理协作系统以及协作方法，其在将具有文件显示区域的图像处理装置用的操作画面在便携式终端装置中显示，从便携式终端装置进行图像处理装置的协作操作的情况下，能够实现对所述文件显示区域进行了操作时的操作后的画面的显示速度的高速化、文件的显示精度的提高、可使用的操作种类的扩大，进而提供适合被用于所述协作系统的便携式终端装置和在该便携式终端装置中执行的协作方法。
[0018]上述课题通过以下的手段被解决。
[0019](I) 一种图像处理协作系统，具备可相互连接的图像处理装置和便携式终端装置，其特征在于，所述图像处理装置具备:显示部件；操作画面判断部件，在有来自所述便携式终端装置的、在所述显示部件中显示的图像处理装置的操作画面的显示用数据的取得请求时，判断所述操作画面是具有显示文件的全部或者一部分的文件显示区域的第I操作画面，还是不具有文件显示区域的第2操作画面；以及发送部件，在通过所述操作画面判断部件判断为是第I操作画面的情况下，将除所述文件显示区域以外的第I操作画面的显示用数据、所述文件、以及用于所述便携式终端装置使用该文件再现所述文件显示区域的文件显示区域再现用信息发送至便携式终端装置，在判断为是第2操作画面的情况下，将第2操作画面的显示用数据发送至便携式终端装置，所述便携式终端装置具备:取得请求部件，对所述图像处理装置，进行图像处理装置的操作画面的显示用数据的取得请求；操作画面生成部件，在根据所述取得请求从所述图像处理装置被发送的显示用数据是第I操作画面的显示用数据的情况下，使用从所述图像处理装置被发送的所述第I操作画面的显示用数据、文件、文件显示区域再现用信息，生成所述图像处理装置的第I操作画面，在从图像处理装置被发送的显示用数据是第2操作画面的显示用数据的情况下，基于该显示用数据生成所述图像处理装置的第2操作画面；显示部件，显示通过所述操作画面生成部件被生成的第I或者第2操作画面；文件保存部件，保存从所述图像处理装置被发送的文件；操作判断部件，判断是否对在所述显示部件中显示的第I或者第2操作画面进行了用户操作；通知部件，在通过所述操作判断部件判断为对在第I操作画面内但在文件显示区域外的区域进行了用户操作的情况，或者判断为对第2操作画面进行了用户操作的情况下，将表示进行了操作的操作信息通知至图像处理装置；以及显示控制部件，在通过所述操作判断部件判断为对在第I操作画面内的文件显示区域进行了用户操作的情况下，使用在所述文件保存部件中保存的文件，将文件显示区域内的显示数据切换为与所述操作对应的数据而显示。
[0020](2)如前项I所述的图像处理协作系统，在所述便携式终端装置的文件显示区域再现用信息中，包含表示所述第I操作画面中的文件显示区域的位置的第I位置信息、和表示在文件显示区域中显示的数据在文件内的位置的第2位置信息，所述操作画面生成部件通过将所述文件中的由所述第2位置信息示出的位置的数据合成到由所述第I位置信息示出的文件显示区域的位置上，从而生成第I操作画面。
[0021](3)如前项I或者2所述的图像处理协作系统，所述图像处理装置具备:文件存储部件，存储I个或者多个文件；以及文件取得部件，在通过所述操作画面判断部件判断为是第I操作画面的情况下，从所述文件存储部件取得在所述文件显示区域中显示的文件，所述发送部件将通过所述文件取得部件取得的文件发送至所述便携式终端装置。
[0022](4)如前项2或者3所述的图像处理协作系统，所述第I位置信息是所述操作画面中的文件显示区域的坐标。
[0023](5)如前项2?4的任一项所述的图像处理协作系统，所述第I操作画面是在文件显示区域内将文件以页单位预览显示的预览显示画面，所述第2位置信息是在文件显示区域中显示的文件的页信息。
[0024](6)如前项I?5的任一项所述的图像处理协作系统，所述便携式终端装置的操作判断部件基于所述操作画面中的进行了用户操作的位置的坐标，判断是否进行了用户操作。
[0025](7)如前项I?6的任一项所述的图像处理协作系统，所述便携式终端装置的显示控制部件通过将对应于操作的数据合成到由所述第I位置信息示出的文件显示区域的位置上，从而切换文件显示区域内的显示数据。
[0026](8)如前项I?7的任一项所述的图像处理协作系统，所述便携式终端装置在对于在显示部件中显示的操作画面中的文件显示区域，进行了文件显示区域内的显示数据的送页操作、扩大操作、缩小操作的至少其中一个用户操作的情况下，将表示与所述操作对应地在文件显示区域内显示的数据在文件内的位置的第3位置信息通知至所述图像处理装置。
[0027](9)如前项8所述的图像处理协作系统，从所述便携式终端装置通知所述第3位置信息时，所述图像处理装置基于所述第3位置信息生成数据并显示于第I操作画面的文件显示区域，以使成为与便携式终端装置侧的文件显示区域内的显示数据相同的显示。
[0028](10) 一种协作方法，由具备可相互连接的图像处理装置和便携式终端装置的图像处理协作系统执行，其特征在于，所述图像处理装置执行:操作画面判断步骤，在有来自所述便携式终端装置的、在显示部件中显示的图像处理装置的操作画面的显示用数据的取得请求时，判断所述操作画面是具有显示文件的全部或者一部分的文件显示区域的第I操作画面，还是不具有文件显示区域的第2操作画面；以及发送步骤，在所述操作画面判断步骤中判断为是第I操作画面的情况下，将除所述文件显示区域以外的第I操作画面的显示用数据、所述文件、以及用于所述便携式终端装置使用该文件再现所述文件显示区域的文件显示区域再现用信息发送至便携式终端装置，在判断为是第2操作画面的情况下，将第2操作画面的显示用数据发送至便携式终端装置，所述便携式终端装置执行:取得请求步骤，对所述图像处理装置，进行图像处理装置的操作画面的显示用数据的取得请求；操作画面生成步骤，在根据所述取得请求从所述图像处理装置被发送的显示用数据是第I操作画面的显示用数据的情况下，使用从所述图像处理装置被发送的所述第I操作画面的显示用数据、文件、文件显示区域再现用信息，生成所述图像处理装置的第I操作画面，在从图像处理装置被发送的显示用数据是第2操作画面的显示用数据的情况下，基于该显示用数据生成所述图像处理装置的第2操作画面；显示步骤，在显示部件中显示在所述操作画面生成步骤中被生成的第I或者第2操作画面；将从所述图像处理装置被发送的文件保存至文件保存部件的步骤；操作判断步骤，判断是否对在所述显示部件中显示的第I或者第2操作画面进行了用户操作；通知步骤，在所述操作判断步骤中判断为对在第I操作画面内但在文件显示区域外的区域进行了用户操作的情况，或者判断为对第2操作画面进行了用户操作的情况下，将表示进行了操作的操作信息通知至图像处理装置；以及显示控制步骤，在所述操作判断步骤中判断为对在第I操作画面内的文件显示区域进行了用户操作的情况下，使用在所述文件保存部件中保存的文件，将文件显示区域内的显示数据切换为与所述操作对应的数据而显示。
[0029](11) 一种便携式终端装置，其特征在于，具备:连接部件，用于与图像处理装置连接；取得请求部件，对通过所述连接部件连接的图像处理装置，进行图像处理装置的操作画面的显示用数据的取得请求；接收部件，在所述图像处理装置的操作画面是具有显示文件的全部或者一部分的文件显示区域的第I操作画面的情况下，接收根据所述取得请求从所述图像处理装置被发送的、除所述文件显示区域以外的第I操作画面的显示用数据、所述文件、用于所述便携式终端装置使用该文件再现所述文件显示区域的文件显示区域再现用信息，在是不具有所述文件显示区域的第2操作画面的情况下，接收根据所述取得请求从所述图像处理装置被发送的第2操作画面的显示用数据；操作画面生成部件，在通过所述接收部件接收到的显示用数据是第I操作画面的显示用数据的情况下，使用通过所述接收部件接收到的所述第I操作画面的显示用数据、文件、文件显示区域再现用信息，生成所述图像处理装置的第I操作画面，在从图像处理装置被发送的显示用数据是第2操作画面的显示用数据的情况下，基于该显示用数据生成所述图像处理装置的第2操作画面；显示部件，显示通过所述操作画面生成部件被生成的第I或者第2操作画面；文件保存部件，保存通过所述接收部件接收到的文件；操作判断部件，判断是否对在所述显示部件中显示的第I或者第2操作画面进行了用户操作；通知部件，在通过所述操作判断部件判断为对在第I操作画面内但在文件显示区域外的区域进行了用户操作的情况，或者判断为对第2操作画面进行了用户操作的情况下，将表示进行了操作的操作信息通知至图像处理装置；以及显示控制部件，在通过所述操作判断部件判断为对第I操作画面内的文件显示区域进行了用户操作的情况下，使用在所述文件保存部件中保存的文件，将文件显示区域内的显示数据切换为与所述操作对应的数据而显示。
[0030](12)如前项11所述的便携式终端装置，在所述文件显示区域再现用信息中，包含表示所述第I操作画面中的文件显示区域的位置的第I位置信息、和表示在文件显示区域中显示的数据在文件内的位置的第2位置信息，所述操作画面生成部件通过将所述文件中的由所述第2位置信息示出的位置的数据合成到由所述第I位置信息示出的文件显示区域的位置上，从而生成第I操作画面。
[0031](13)如前项12所述的便携式终端装置，所述第I位置信息是所述操作画面中的文件显示区域的坐标。
[0032](14)如前项12或者13所述的便携式终端装置，所述第I操作画面是在文件显示区域内将文件以页单位预览显示的预览显示画面，所述第2位置信息是在文件显示区域中显示的文件的页信息。
[0033](15)如前项11?14的任一项所述的便携式终端装置，所述操作判断部件基于所述操作画面中的进行了用户操作的位置的坐标，判断是否进行了用户操作。
[0034](16)如前项11?15的任一项所述的便携式终端装置，所述显示控制部件通过将对应于操作的数据合成到由所述第I位置信息示出的文件显示区域的位置上，切换文件显示区域内的显示数据。
[0035](17)如前项11?16的任一项所述的便携式终端装置，在对于在所述显示部件中显示的操作画面中的文件显示区域，进行了文件显示区域内的显示数据的送页操作、扩大操作、缩小操作的至少其中一个的用户操作的情况下，将表示与所述操作对应地在文件显示区域内显示的数据在文件内的位置的第3位置信息通知至所述图像处理装置。
[0036](18) 一种协作方法，由便携式终端装置执行，其特征在于，具备:与图像处理装置连接的步骤；取得请求步骤，对所述被连接的图像处理装置，进行图像处理装置的操作画面的显示用数据的取得请求；接收步骤，在所述图像处理装置的操作画面是具有显示文件的全部或者一部分的文件显示区域的第I操作画面的情况下，接收根据所述取得请求从所述图像处理装置被发送的、除所述文件显示区域以外的第I操作画面的显示用数据、所述文件、用于所述便携式终端装置使用该文件再现所述文件显示区域的文件显示区域再现用信息，在是不具有所述文件显示区域的第2操作画面的情况下，接收根据所述取得请求从所述图像处理装置被发送的第2操作画面的显示用数据；操作画面生成步骤，在所述接收步骤中接收到的显示用数据是第I操作画面的显示用数据的情况下，使用通过所述接收部件接收到的所述第I操作画面的显示用数据、文件、文件显示区域再现用信息，生成所述图像处理装置的第I操作画面，在从图像处理装置被发送的显示用数据是第2操作画面的显示用数据的情况下，基于该显示用数据生成所述图像处理装置的第2操作画面；显示步骤，在显示部件中显示所述操作画面生成步骤中被生成的第I或者第2操作画面；保存步骤，将在所述接收步骤中接收到的文件保存至文件保存部件；操作判断步骤，判断是否对在所述显示部件中显示的第I或者第2操作画面进行了用户操作；通知步骤，在所述操作判断步骤中，判断为对在第I操作画面内但在文件显示区域外的区域进行了用户操作的情况，或者判断为对第2操作画面进行了用户操作的情况下，将表示进行了操作的操作信息通知至图像处理装置；以及显示控制步骤，在所述操作判断步骤中，判断为对第I操作画面中的文件显示区域进行了用户操作的情况下，使用在所述文件保存部件中保存的文件，将文件显示区域内的显示数据切换为与所述操作对应的数据而显示。
[0037]根据前项(I)所述的发明，图像处理装置在有来自便携式终端装置的、图像处理装置的操作画面的显示用数据的取得请求时，判断所述操作画面是具有显示文件的全部或者一部分的文件显示区域的第I操作画面，还是不具有文件显示区域的第2操作画面，在判断为是第I操作画面的情况下，将除文件显示区域以外的第I操作画面的显示用数据、文件、以及用于便携式终端装置使用该文件再现所述文件显示区域的文件显示区域再现用信息发送至便携式终端装置。另一方面，便携式终端装置使用从图像处理装置被发送的除文件显示区域以外的第I操作画面的显示用数据、文件、文件显示区域再现用信息，生成在文件显示区域中显示文件数据的图像处理装置的第I操作画面，并在显示部件中显示。此外，在对被显示的第I操作画面中的文件显示区域进行了用户操作的情况下，使用在自身的文件保存部件中保存的文件，将文件显示区域内的显示数据切换为与所述操作对应的数据而显
/Jn ο
[0038]也就是说，在对第I操作画面中的文件显示区域进行了用户操作的情况下，使用从图像处理装置被发送且便携式终端装置自身保持的原文件，生成并显示在文件显示区域中应显示的数据，因此不需要如以往那样，在图像处理装置侧根据操作而生成文件显示区域用的显示数据，并从图像处理装置接收该数据，因此能够使便携式终端装置中的向操作后的画面的切换显示速度高速化。
[0039]而且，不需要压缩/扩展在图像处理装置侧生成的文件显示区域内的显示数据，因此能够防止由于压缩/扩展所导致的数据的恶化，能够提高文件的显示精度。
[0040]进而，便携式终端装置使用原文件生成在文件显示区域中应显示的数据，因此将在便携式终端装置侧对一般的文件可使用的捏合等的操作对在文件显示区域中显示的文件也能够使用，能够实现可使用的操作种类的扩大，成为使用便利性好的系统。
[0041]根据前项(2)所述的发明，文件显示区域再现用信息包含表示所述操作画面中的文件显示区域的位置的第I位置信息、和表示在文件显示区域中显示的数据在文件内的位置的第2位置信息，因此便携式终端装置使用从图像处理装置被发送的文件和所述文件显示区域再现用信息，能够可靠地再现文件显示区域以及第I操作画面。
[0042]根据前项(3)所述的发明，能够将在文件显示区域中显示的文件可靠地发送至便携式终端装置。
[0043]根据前项(4)所述的发明，通过使用操作画面中的文件显示区域的坐标作为第I位置信息，便携式终端装置能够容易地确定文件显示区域的位置。
[0044]根据前项(5)所述的发明，能够在便携式终端装置中显示在文件显示区域内将文件以页单位预览显示的预览显示画面，便携式终端装置从图像处理装置取得在文件显示区域中显示的文件的页信息，从而能够确定在文件显示区域中显示的数据在文件内的位置。
[0045]根据前项(6)所述的发明，便携式终端装置基于操作画面中的进行了用户操作的位置的坐标，能够容易地判断是否进行了用户操作。[0046]根据前项(7)所述的发明，便携式终端装置通过将对应于操作的数据合成到由第I位置信息示出的文件显示区域的位置上，从而能够切换文件显示区域内的显示数据。
[0047]根据前项(8)所述的发明，对于在便携式终端装置中显示的操作画面中的文件显示区域，进行了在文件显示区域内的显示数据的送页操作、扩大操作、缩小操作的至少其中一个用户操作的情况下，表示与所述操作对应地在文件显示区域内显示的数据在文件内的位置的第3位置信息从便携式终端装置被通知至图像处理装置，因此图像处理装置能够掌握在便携式终端装置中显示的文件显示区域的显示状态。
[0048]根据前项(9)所述的发明，图像处理装置能够使在便携式终端装置中显示的文件显示区域的显示与便携式终端装置侧的显示同步。
[0049]根据前项(10)所述的发明，在便携式终端装置中对第I操作画面中的文件显示区域进行了用户操作的情况下，使用从图像处理装置被发送且便携式终端装置自身保持的原文件，生成并显示在文件显示区域中应显示的数据，因此不需要如以往那样，在图像处理装置侧与操作对应地生成并发送文件显示区域用的显示数据，能够使便携式终端装置中的向操作后的画面的切换显示速度高速化。而且，不需要在图像处理装置侧生成的文件显示区域的数据的压缩/扩展处理，因此能够防止由于压缩/扩展所导致的数据的恶化，能够提高文件的显示精度。进而，便携式终端装置使用原文件生成在文件显示区域中应显示的数据，因此将在便携式终端装置侧对一般的文件可使用的操作对在文件显示区域中显示的文件也能够使用，能够实现可使用的操作种类的扩大。
[0050]根据前项(11)所述的发明，能够构成如下的便携式终端装置:在通过便携式终端装置，对第I操作画面中的文件显示区域进行了用户操作的情况下，能够使向操作后的画面的切换显示速度高速化，同时能够提高文件的显示精度，而且将在便携式终端装置侧对一般的文件可使用的操作对在文件显示区域中显示的文件也能够使用。
[0051]根据前项(12)所述的发明，便携式终端装置使用从图像处理装置被发送的文件和所述文件显示区域再现用信息，能够可靠地再现文件显示区域和第I操作画面。
[0052]根据前项(13)所述的发明，通过使用操作画面中的文件显示区域的坐标作为文件显示区域的位置信息，便携式终端装置能够容易地确定文件显示区域的位置。
[0053]根据前项(14)所述的发明，便携式终端装置能够显示在文件显示区域内将文件以页单位预览显示的预览显示画面，同时从图像处理装置取得在文件显示区域中显示的文件的页信息，从而能够确定在文件显示区域中显示的文件内的数据。
[0054]根据前项(15)所述的发明，便携式终端装置能够基于操作画面中的进行了用户操作的位置的坐标，容易地判断是否进行了用户操作。
[0055]根据前项(16)所述的发明，便携式终端装置通过将对应于操作的数据合成到文件显示区域的位置上，从而能够切换在文件显示区域内的显示数据。
[0056]根据前项(17)所述的发明，在对操作画面中的文件显示区域，进行了在文件显示区域内的显示数据的送页操作、扩大操作、缩小操作的至少其中一个用户操作的情况下，表示与所述操作对应地在文件显示区域内显示的数据在文件内的位置的信息从便携式终端装置被通知至图像处理装置。
[0057]根据前项(18)所述的发明，在对第I操作画面中的文件显示区域进行了用户操作的情况下，便携式终端装置使用从图像处理装置被发送且便携式终端装置自身保持的原文件，生成并显示在文件显示区域中应显示的数据。
【专利附图】
【附图说明】
[0058]图1是本发明的一个实施方式所涉及的图像处理协作系统的结构图。
[0059]图2是表示图像处理装置以及便携式终端装置的电气结构的方框图。
[0060]图3是表示图像处理装置以及便携式终端装置的固件结构的方框图。
[0061]图4是表示图像处理装置以及便携式终端装置的各软件的关系的图。
[0062]图5是用于说明图像处理协作系统的动作的图。
[0063]图6是表示在协作操作时的图像处理装置的动作的流程图。
[0064]图7是表示在协作操作时的便携式终端装置的动作的流程图。
[0065]图8是表示用户操作了在便携式终端装置中显示的图像处理装置的操作画面时的处理的流程图。
[0066]标号说明
[0067]I图像处理装置
[0068]2便携式终端装置
[0069]101 CPU
[0070]102 ROM
[0071]104扫描仪部
[0072]105打印部
[0073]106存储部
[0074]107操作面板部
[0075]107b 显示部
[0076]109 WIFI 模块
[0077]111 USB 接口
[0078]201 CPU
[0079]202 RAM
[0080]203存储部
[0081]204显示部
[0082]205 WIFI 模块
[0083]207 USB 接口
[0084]209协作部
【具体实施方式】
[0085]以下，基于【专利附图】
【附图说明】本发明的实施方式。
[0086]图1是本发明的一个实施方式所涉及的图像处理协作系统的结构图。
[0087]该图像处理协作系统具备图像处理装置1、由智能手机或平板电脑终端等构成的便携式终端装置2等，这些图像处理装置I和便携式终端装置2经由无线LAN路由器3、网络4可相互连接。另外，图像处理装置I和便携式终端装置2也可以通过USB接口等被有线连接。[0088]在该实施方式中，作为图像处理装置1，使用具备复制功能、打印功能、扫描功能、传真功能等的所述的MFP。以下，将图像处理装置也记为MFP。此外，将便携式终端装置也记为便携式终端。
[0089]图2是表示所述MFPl和便携式终端2的电气结构的方框图。
[0090]MFPl具备CPU101、R0M102、RAM103、扫描仪部104、打印部105、存储部106、操作面板部 107、WIFI (Wireless Fidelity,无线保真)模块 109、LAN (Local Area Network,局域网)控制器110、USB接口(USB I/F)lll等。
[0091]所述CPUlOl通过按照在R0M102等中存储的动作程序而动作，统括地控制MFPl的整体。例如，除了控制为可使用MFPl的各种功能之外，在该实施方式中，基于来自便携式终端2的请求，将在便携式终端2中显示的MFPl的操作画面的显示用数据发送至便携式终端2，或者判断操作画面是具有显示了文件的全部或者一部分的文件显示区域的第I操作画面，还是不具有文件显示区域的第2操作画面，或者确定第I操作画面的文件显示区域，或进而确定被显示的文件并执行从存储部106取得等的处理。另外，作为具有文件显示区域的操作画面，能够例示用于预览文件的预览显示画面。
[0092]此外，根据操作画面是所述第I操作画面还是第2操作画面的判断结果，进行变更发送至便携式终端2的操作画面显示用数据的种类等的控制，但详细的说明如后述。
[0093]所述R0M102是存储CPUlOl的动作程序等的存储器，RAM103是提供在CPUlOl按照动作程序而动作时的作业区域的存储器。
[0094]所述扫描仪部104是读取在未图示的压板玻璃上设置的原稿、或同样在未图示的自动原稿传输装置上设置的原稿的图像，输出作为电子数据的图像数据的部件。
[0095]所述打印部105是将通过扫描仪部104读取的原稿的图像数据、或从便携式终端2等被发送的打印数据印刷至用纸的部件。
[0096]所述存储部106是存储各种数据或应用等的部件，使用硬盘装置等。特别是，在该实施方式中，存储在操作面板部107中显示的各种操作画面的显示用数据，与用户的操作对应的操作画面的显示用数据通过CPUlOl从存储部106被调用，并在操作面板部107中被显示，或发送至便携式终端2。此外，保存由通过扫描仪部104读取的图像数据构成的文档文件、或从外部装置被发送的文档文件等的多个文件。
[0097]操作面板部107是操作MFPl或向用户显示消息等的部件，具备具有开始键、数字键等的键部107a、和由液晶等的触摸面板构成的显不部107b。
[0098]所述WIFI模块109是用于与便携式终端2无线连接的接口，所述LAN控制器110是控制与个人计算机或其它MFP等的外部装置之间的通信的部件。
[0099]所述USB接口 111是用于与便携式终端2有线连接的接口。
[0100]另一方面，在便携式终端2中使用智能手机、平板电脑终端、电子纸等。便携式终端2具备CPU201、RAM202、存储部203、显示部204、WIFI模块205、LAN控制器206、USB接口 207、文件处理部208a、208b、协作部209等。
[0101]所述CPU201是统括地控制便携式终端2的整体的部件，按照作为基本软件的OS(Operat ing System,操作系统)、或后述的协作应用或者通用应用而动作。
[0102]所述RAM202是成为在CPU201按照动作程序而动作时的作业区域的存储器。
[0103]所述存储部203是存储各种数据或应用等的部件，使用硬盘装置等。在该实施方式中，存储基本OS、协作应用、通用应用等的程序。另外，在以下的说明中也将应用(7 I 'J夕一 '> 3 >)简称为应用(7 7° )。
[0104]所述显示部204由具备触摸面板的液晶等的设备构成。
[0105]所述WIFI模块205是用于将便携式终端2与MFPl无线连接的接口，所述LAN控制器206是控制与用户终端等的外部装置之间的通信的部件。此外，所述USB接口 207是用于将便携式终端装置2与MFPl有线连接的接口。
[0106]所述文件处理部208a、208b对文件实施编辑、转发或邮件分发等的处理。以下，将文件处理部208a，208b都记为文件处理部208。
[0107]所述协作部209是为了顺利地进行MFPl和便携式终端2之间的功能协作而使得能够使用MFPl的功能的部件。具体而言，为了使用MFPl的复制功能、打印功能、扫描功能、传真功能等，将用于再现与在MFPl的操作面板部107中显示的所述的第I或者第2操作画面相同的操作画面的画面显示用数据等从MFPl接收并作为远程画面在显示部204中显示，或在用户操作了被显示的远程画面时，检测画面上的操作位置的坐标并发送至MFP1。MFPl通过分析所述操作位置的坐标，确定用户的操作指示，执行与操作指示对应的动作。
[0108]然而，所述文件处理部208通过CPU201执行通用应用实现其功能。也就是说，通用应用是用于实现处理各种文件的文件处理部208的软件，例如能够使用各种应用:文件编辑用应用、具有通过电子邮件分发文件的功能的应用、具有在网页上存储文件的功能的应用等。
[0109]此外，所述协作部209通过CPU201执行所述的协作应用实现这些功能。也就是说，协作应用是用于实现MFPl和便携式终端2的平稳的功能协作的软件。此外，在协作应用和通用应用之间，能够进行文件的转发或下载。
[0110]图3是表示MFPl和便携式终端2的固件结构的方框图。
[0111]MFPl在应用层具备操作面板(应用)121或开放API (Open Application ProgramInterface,开放应用程序接口)122等,在公共API层具备公共API (Common API)125或面板显示图像生成部126等，在硬件依赖层具备面板画面生成部123、面板控制部124、便携式终端用控制部127等。
[0112]进而，在核心层具备面板输入控制部129、面板IXD控制部130、JPEG编码器驱动器131等，在设备层具备操作面板部107、USB接口部111、JPEG压缩部133、WIFI模块109
坐寸ο
[0113]面板画面生成部123在从便携式终端2进行协作操作的情况下，生成在操作面板部107中显示的操作画面的显示用数据。特别是，在协作操作时从便携式终端2被请求的操作画面是文件的预览图像显示画面那样的具有文件显示区域的第I操作画面的情况下，生成除文件显示区域以外的操作画面的显示用数据。是不具有文件显示区域的第2操作画面的情况下，原样生成第2操作画面的显示用数据。
[0114]面板控制部124进行与操作面板部107的通信状态的控制等。此外，面板显示图像生成部126在协作操作时在便携式终端2中显示的远程画面是具有文件显示区域的第I操作画面的情况下，确定第I操作画面中的文件显示区域的位置，生成表示该位置的第I位置信息，或确定在文件显示区域中显示的文件，或确定在文件显示区域中显示的数据在文件内的位置，生成表示该位置的第2位置信息。另外，生成的所述第I位置信息以及第2位置信息作为便携式终端2用于再现文件显示区域的文件显示区域再现用信息，与文件一起被发送至便携式终端2。
[0115]便携式终端用控制部127在与便携式终端2的协作处理时，控制用于与便携式终端2进行通信的接口等。
[0116]面板输入控制部129进行与操作面板部107的操作输入相关的控制，面板IXD控制部130进行操作面板部107的显示部107b的显示控制。JPEG压缩部133是将经由JPEG编码器驱动器131从便携式终端用控制部127被发送来的操作画面显示用数据或文件进行JPEG压缩的部件，被压缩的数据经由USB接口 111或WIFI模块109，被发送至便携式终端2。
[0117]另一方面，便携式终端2由具备图像显示应用221、显示图像生成应用222、JPEG展开应用223、浏览器等的各种应用的应用层、和具备各种管理器225、226等的平台层、和具备各种程序库227以及核心228的OS层、以及硬件229构成。
[0118]所述JPEG展开应用223是扩展从MFPl被发送来的压缩数据的部件。显示图像生成应用222在从MFPl被发送来的压缩数据是具有文件显示区域的第I操作画面的显示用数据的情况下，使用扩展后的文件和所述的第2位置信息，生成在第I操作画面的文件显示区域中显示的数据。此外，对在文件显示区域中显示的数据，在便携式终端2侧进行了扩大、缩小、翻页等的用户操作的情况下，使用从所述MFPl被发送的原文件扩大或缩小文件内的数据，或变更并生成页，以使与由第2位置信息示出的文件显示区域的大小一致。
[0119]所述图像显示应用221是使用从MFPl被发送且通过JPEG展开应用223被扩展的操作画面显示用数据，将MFPl的操作画面作为远程画面而生成，并在显示部204中显示的部件。具体而言，在第2操作画面的显示用数据的情况下，基于该数据生成第2操作画面并在显示部204中显示。此外，在第I操作画面的显示用数据的情况下，在从MFPl被发送的第I操作画面的显示用数据中的由所述第2位置信息示出的文件显示区域的位置上合成通过显示图像生成应用222生成的文件显示区域的数据，从而生成第I操作画面，并在显示部204中显示。
[0120]此外，在便携式终端2侧，对在文件显示区域中显示的数据进行了扩大、缩小、翻页等的用户操作的情况也同样，图像显示应用221将通过显示图像生成应用222生成的被扩大、缩小或者翻页后的数据合成到文件显示区域的位置上从而生成第I操作画面，并在显示部204中显示。
[0121]另外，在该实施方式中，图像显示应用221、显示图像生成应用222、JPEG展开应用223作为通过协作应用实现的功能的一部分而构成。
[0122]接着，说明将MFPl和便携式终端2协作操作的情况的处理。
[0123]用户要将便携式终端2与MFPl经由网络或有线连接，将便携式终端2和MFPl协作操作。便携式终端2和MFPl的协作操作通过用户启动在便携式终端2中安装的协作应用而开始。
[0124]图4是表示MFPl以及便携式终端2的各软件的关系的图，分别在左侧表示MFPl侧的软件，在右侧表示便携式终端2的软件。
[0125]便携式终端2的协作应用位于便携式终端2的OS和作为通用的软件的应用软件的中间，能够取得用户的操作信息、与便携式终端2的发送接收数据、便携式终端2侧的显示画面数据，能够根据需要将这些数据发送至MFP1。也就是说，便携式终端2的协作软件执行应用的调用等的便携式终端2侧的用户操作接受处理、MFPl的操作画面显示用数据的接收/显示处理(便携式终端侧操作画面处理)、协作操作关联处理等。作为协作操作关联处理，可举出表示操作的内容的操作信息与MFPl的通信等。
[0126]另一方面，在MFPl侧的OS或MFPl用的应用软件都是本公司设计/本公司定制因而可得到全部必要的信息的情况下，MFPl的协作应用可以不位于OS-应用软件间，也可以与OS或应用软件独立，且通过与OS或应用软件通信，从而获得必要的信息。MFPl的协作应用执行应用的调用等的MFPl侧的用户操作接受处理、对于便携式终端2的MFP用操作画面数据(画面显示用数据)的发送处理(MFP侧操作画面处理)、协作操作关联处理等。作为协作操作关联处理，可举出来自便携式终端2的操作信息等的接收/执行处理等。
[0127]若用户选择在便携式终端2的显示部204中显示的操作画面中的协作操作图标，并指示MFP协作，则便携式终端2的协作软件进行对被注册的MFPl的通信，调用MFPl的协作软件，请求操作画面的取得。由此，开始协作操作模式，在MFPl的显示部105a和便携式终端2的显示部204中，显示MFP侧的操作画面。另外，也可以在便携式终端2的显示部204中，并行地显示MFP用操作画面和便携式终端用操作画面的双方。
[0128]若用户操作作为在便携式终端2中显示的MFPl的操作画面的远程画面，则表示操作的内容的操作信息被发送至MFP1。若该信息为作业等的执行指示则MFP进行对应的动作。另一方面，在需要根据操作使下一个操作画面显示的情况下，将下一个操作画面的显示用数据发送至便携式终端2。
[0129]在此，若用户从在MFPl的操作面板107的显示部107b中显示的操作画面，指定MFPl内的文件，指示具有文件显示区域的第I操作画面，例如文件的预览画面的显示，则该预览画面在MFPl的显示部107b中被显示。
[0130]如图5所示，文件的预览画面对在MFPl的显示部107b中显示的操作画面Dl设定文件显示区域D2，在该文件显示区域D2中显示用户指定的文件内的数据F1。在该实施方式中假设文件以I页为单位显示，但也可以仅显示I页内的一部分，在页数少的情况下也可以显示全页。
[0131]用户要在大的便携式终端2的显示画面阅览该预览画面的情况下，用户从便携式终端2使协作模式开始，对MFPl指示在操作面板107的显示部107b中显示的画面的取得请求。
[0132]接受了请求的MFPl判断该操作画面是具有文件显示区域的第I操作画面，还是不具有文件显示区域的第2操作画面。
[0133]在是第2操作画面的情况下，压缩该操作画面的显示用数据并发送至便携式终端2。另一方面，在是第I操作画面的情况下，如图5的圆圈数字I所示，压缩并转发操作画面之中的、除文件显示区域D2以外的画面的显示用数据。此时，确定在文件显示区域D2中显示的文件，将该文件的整体压缩并转发至便携式终端2，同时便携式终端2使用被转发的文件再现文件显示区域D2，将用于再现第I操作画面的文件显示区域再现用信息也发送至便携式终端2。
[0134]作为文件显示区域再现用信息，有表示操作画面Dl中的文件显示区域D2的位置的第I位置信息、和表示在文件显示区域D2中显示的数据Fl在文件内的位置的第2位置信息。在该实施方式中，由于在文件显示区域D2中按每页显示文件，因此表示数据Fl在文件内的位置的第2位置信息成为被显示的页信息。
[0135]便携式终端2将接收到的文件等保存至存储部203，同时使用接收到的操作画面显示用数据，将MFPl的操作画面作为远程画面而生成。在不具有文件显示区域的第2操作画面的情况下，基于接收到的操作画面显示用数据生成第2操作画面。
[0136]另一方面，在具有文件显示区域的第I操作画面的情况下，如图5的箭头A所示，将从MFPl接收到的第I操作画面的显示用数据中的文件显示区域D2的位置，使用同样从MFPl接收到的第I位置信息而确定(图5的圆圈数字2)。
[0137]然后，使用同样从MFPl接收到的文件和所述第2位置信息，生成在文件显示区域D2中显示的数据。然后，如箭头B所示，将被生成的数据合成到所述确定的文件显示区域D2的位置上，在显示部204中显示(图5的圆圈数字3)。
[0138]由此，与在MFPl的操作面板107中显示的文件的预览显示画面相同的远程画面在便携式终端2的显示部204中显示。
[0139]在该状态下，若用户通过在便携式终端2 —般可对文件进行操作的例如捏合等的操作，对在文件显示区域D2中显示的数据进行扩大、缩小、翻页等的操作，则在操作后的文件显示区域D2中显示的数据通过便携式终端23被生成。
[0140]也就是说，由于基于第I位置信息或者第2位置信息了解文件显示区域D2的尺寸，因此便携式终端2使用在存储部203中存储的文件，将被扩大或者缩小的数据、或者翻页后的数据与所述文件显示区域D2的尺寸配合而生成。然后，将生成的数据与文件显示区域D2合成，作为第I操作画面在显示部204中显示。
[0141]这样，在该实施方式中，在对第I操作画面Dl中的文件显示区域D2进行了用户操作的情况下，由于使用从MFPl被发送且便携式终端2自身保持的原文件，根据操作生成并显示在文件显示区域D2中应显示的数据，因此，变得不需要如以往那样，在MFPl侧根据操作生成文件显示区域D2用的显示数据，或将该数据从MFPl接收，能够使便携式终端2中的向操作后的画面的切换显示速度高速化。
[0142]而且，由于针对在MFPl侧生成的文件显示区域D2内的显示数据，不需要压缩并发送，或在便携式终端2侧进行扩展，因此能够防止由于压缩/扩展所导致的数据的恶化，能够提高文件的显示精度。另外，在该实施方式中，也可以以压缩的状态进行从MFPl至便携式终端2的文件的发送，但由于文件本身的压缩/扩展所导致的恶化程度与文件显示区域的显示数据的压缩/扩展相比格外小，因此没有问题。
[0143]进而，由于便携式终端2使用原文件生成在文件显示区域D2应显示的数据，因而能够将在便携式终端2侧对一般的文件可使用的操作也对在文件显示区域D2中显示的数据使用，能够实现可使用的操作种类的扩大，成为使用便利性好的系统。
[0144]另外，在以上的例中，表示了首先在MFPl的操作面板2中使预览显示画面显示，并从便携式终端2取得该操作画面的情况，但也可以不在MFPl的操作面板2中使预览显示画面显示，而是通过在协作模式后从便携式终端2指定应显示的文件并请求预览画面的取得，从而使预览画面在便携式终端2中显示。
[0145]此外，也可以从在MFPl的存储部106中存储的多个文档文件之中指定被预览的文件。此外，也可以将通过扫描仪部104读取的原稿的图像数据在读取的同时进行显示。[0146]图6是表示协作操作时中的MFP2的动作的流程图。通过MFPl的CPUlOl按照在R0M102等中存储的动作程序而动作，该动作被执行。
[0147]在步骤SOl中，判断从便携式终端2是否有操作画面的取得请求，若没有则原样结束处理。若有取得请求(步骤SOl中“是”)，则在步骤S02中，判断被请求的是否为具有文件显示区域的第I操作画面。若是第I操作画面(步骤S02中“是”)，则前进至步骤S03，若不是第I操作画面(步骤S02中“否”)，则前进至步骤S08。
[0148]在步骤S03中，根据被请求的操作画面的画面信息确定文件显示区域的位置，同时取得表示被确定的位置的第I位置信息。该位置信息由表示操作画面内的文件显示区域的位置的坐标构成，但希望能够容易且可靠地确定文件显示区域的位置。
[0149]接下来，在步骤S04中，根据画面信息，确定在文件显示区域中显示的原文件和页，同时取得被确定的文件和页信息(第2位置信息)。
[0150]接着，在步骤S05中，判断取得的文件是动态图像或是静止图像，若是静止图像(步骤S05中“静止图像”)，则在步骤S06中进行了预览显示后，前进至步骤S08。另外，在已经进行预览显示的情况下，在步骤S06中原样继续预览显示。在步骤S05中动态图像的情况下(步骤S05中“动态图像”)，在步骤S07中不进行原文件的再现，前进至步骤S08。
[0151]在步骤S08中生成操作画面显示用数据，接下来在步骤S09中发送至便携式终端
2。具体而言，在操作画面是不具有文件显示区域的第2操作画面的情况下，发送第2操作画面的显示用数据。在操作画面是具有文件显示区域的第I操作画面的情况下，发送除文件显示区域以外的第I操作画面的显示用数据、文件本身、表示文件显示区域的位置的第I位置信息、以及表示在文件显示区域中显示的数据在文件内的位置的第2位置信息。
[0152]接下来，在步骤SlO中，在便携式终端2侧进行了扩大、缩小或者翻页等的操作的情况下，判断是否接收到从便携式终端2被发送的、表示在文件显示区域内显示的数据在文件内的位置的第3位置信息。若没有接收(步骤SlO中“否”)，则前进至步骤S12。若接收(步骤SlO中“是”)，则在步骤Sll中，使在操作面板部107的显示部107b中显示的预览画面的文件显示区域内的数据，与在便携式终端2中显示的预览画面的文件显示区域内的数据的尺寸或页等同步后，结束处理。
[0153]在步骤S12中，判断是否从便携式终端2接收到伴随对MFPl的远程画面的操作的操作信息，在接收到的情况下(步骤S12中“是”)，在步骤S13中，进行与操作对应的处理。此时，在与操作对应的处理是向下一个操作画面的迁移的情况下，将迁移后的操作画面显示用数据发送至便携式终端2，便携式终端2显示迁移后的远程画面。在没有接收操作信息的情况下(步骤S12中“否”)，结束处理。
[0154]图7是表示协作操作时的便携式终端2的动作的流程图。该动作通过便携式终端2的CPU201按照在存储部203等中存储的协作应用等而动作，从而被执行。
[0155]在步骤S21中，对MFPl进行了操作画面的取得请求后，在步骤S22中，从MFPl接收数据。
[0156]在步骤S23中，判断操作画面是否是具有文件显示区域的第I操作画面，若是第I操作画面(步骤S23中“是”)，则在步骤S24中，根据从MFPl被发送的第I位置信息确定文件显示区域后，在步骤S25中，判断从MFPl被发送的文件是静止图像还是动态图像。
[0157]若是静止图像(步骤S25中“静止图像”)，则在步骤S26中，基于从MFPl被发送的文件和第2位置信息，生成文件显示区域的显示用数据后，在步骤S27中，将生成的文件显示区域的显示用数据合成到第I操作画面的显示用数据的文件显示区域，并显示第I操作画面。
[0158]另一方面，若是动态图像(步骤S25中“动态图像”)，则在步骤S28中，再现从MFPl被发送的文件，在步骤S29中，将再现的数据与第I操作画面的显示用数据合成，显示第I操作画面。
[0159]在步骤S23中，在操作画面是不具有文件显示区域的第2操作画面的情况下(步骤S23中“否”)，在步骤S31中，基于从MFPl被发送的第2操作画面的显示用数据，再现并显示第2操作画面。
[0160]图8是表示对于在便携式终端2的显示部204中显示的MFPl的远程画面进行了用户操作时的便携式终端2的动作的流程图。该动作通过便携式终端2的CPU201按照在存储部203等中存储的协作应用等而动作，从而被执行。
[0161]在步骤S41中，判断是否对于在显示部204中显示的MFPl的远程画面，进行了扩大、缩小、翻页等的用户操作。若没有进行(步骤S41中“否”)，则结束处理。若进行(步骤S41中“是”)，则在步骤S42中，判断是否是对文件显示区域内的显示数据的操作。能够通过判断是否是在远程画面或文件显示区域的坐标内的操作而容易地判断是否进行了用户操作。
[0162]若不是对文件显示区域内的显示数据的操作(步骤S42中“否”)，则在步骤S47中，将表示进行了操作的操作信息发送至MFP。若是对文件显示区域内的显示数据的操作(步骤S42中“是”)，则在步骤S43中，判断文件是静止图像还是动态图像。在是动态图像的情况下(步骤S43中“动态图像”)，结束处理。在是静止图像的情况下(步骤S43中“静止图像”)，在步骤S44中，使用从MFPl接收且在存储部203中保存的文件，根据操作将文件显示区域内的数据扩大、缩小、或翻页，从而生成对于文件显示区域的显示用数据后，在步骤S45中，将生成的数据合成到第I操作用画面的文件显示区域，并从操作前的数据切换并显示。
[0163]接下来，在步骤S46中，将表示与操作对应地实施了扩大、缩小、或者翻页后在文件显示区域内显示的数据在文件内的位置的第3位置信息，发送至MFP1，并结束处理。
【权利要求】
1.一种图像处理协作系统，具备可相互连接的图像处理装置和便携式终端装置，其特征在于， 所述图像处理装置具备: 显示部件； 操作画面判断部件，在有来自所述便携式终端装置的、在所述显示部件中显示的图像处理装置的操作画面的显示用数据的取得请求时，判断所述操作画面是具有显示文件的全部或者一部分的文件显示区域的第I操作画面，还是不具有文件显示区域的第2操作画面；以及 发送部件，在通过所述操作画面判断部件判断为是第I操作画面的情况下，将除所述文件显示区域以外的第I操作画面的显示用数据、所述文件、以及用于所述便携式终端装置使用该文件再现所述文件显示区域的文件显示区域再现用信息发送至便携式终端装置，在判断为是第2操作画面的情况下，将第2操作画面的显示用数据发送至便携式终端装置， 所述便携式终端装置具备: 取得请求部件，对所述图像处理装置，进行图像处理装置的操作画面的显示用数据的取得请求； 操作画面生成部件，在根据所述取得请求从所述图像处理装置被发送的显示用数据是第I操作画面的显示用数据的情况下，使用从所述图像处理装置发送的所述第I操作画面的显示用数据、文件、文件显示区域再现用信息，生成所述图像处理装置的第I操作画面，在从图像处理装置被发送的显示用数据是第2操作画面的显示用数据的情况下，基于该显示用数据生成所述图像处理装置的第2操作画面； 显示部件，显示通过所述操`作画面生成部件生成的第I或者第2操作画面； 文件保存部件，保存从所述图像处理装置被发送的文件； 操作判断部件，判断是否对在所述显示部件中显示的第I或者第2操作画面进行了用户操作； 通知部件，在通过所述操作判断部件判断为对在第I操作画面内但在文件显示区域外的区域进行了用户操作的情况，或者判断为对第2操作画面进行了用户操作的情况下，将表示进行了操作的操作信息通知至图像处理装置；以及 显示控制部件，在通过所述操作判断部件判断为对在第I操作画面内的文件显示区域进行了用户操作的情况下，使用在所述文件保存部件中保存的文件，将文件显示区域内的显示数据切换为与所述操作对应的数据而显示。
2.如权利要求1所述的图像处理协作系统， 在所述便携式终端装置的文件显示区域再现用信息中，包含表示所述第I操作画面中的文件显示区域的位置的第I位置信息、和表示文件显示区域中显示的数据在文件内的位置的第2位置信息， 所述操作画面生成部件通过将所述文件中的由所述第2位置信息示出的位置的数据合成到由所述第I位置信息示出的文件显示区域的位置上，从而生成第I操作画面。
3.如权利要求1或者2所述的图像处理协作系统， 所述图像处理装置具备:文件存储部件，存储I个或者多个文件；以及文件取得部件，在通过所述操作画面判断部件判断为是第I操作画面的情况下，从所述文件存储部件取得在所述文件显示区域中显示的文件， 所述发送部件将通过所述文件取得部件取得的文件发送至所述便携式终端装置。
4.如权利要求2或者3所述的图像处理协作系统， 所述第I位置信息是所述操作画面中的文件显示区域的坐标。
5.如权利要求2~4的任一项所述的图像处理协作系统， 所述第I操作画面是在文件显示区域内将文件以页单位预览显示的预览显示画面，所述第2位置信息是在文件显示区域中显示的文件的页信息。
6.如权利要求1~5的任一项所述的图像处理协作系统， 所述便携式终端装置的操作判断部件基于所述操作画面中的进行了用户操作的位置的坐标，判断是否进行了用户操作。
7.如权利要求1~6的任一项所述的图像处理协作系统， 所述便携式终端装置的显示控制部件通过将对应于操作的数据合成到由所述第I位置信息示出的文件显示区 域的位置上，从而切换文件显示区域内的显示数据。
8.如权利要求1~7的任一项所述的图像处理协作系统， 所述便携式终端装置在对于在显示部件中显示的操作画面中的文件显示区域，进行了文件显示区域内的显示数据的送页操作、扩大操作、缩小操作的至少其中一个用户操作的情况下，将表示与所述操作对应地在文件显示区域内显示的数据在文件内的位置的第3位置信息通知至所述图像处理装置。
9.如权利要求8所述的图像处理协作系统， 从所述便携式终端装置通知所述第3位置信息时，所述图像处理装置基于所述第3位置信息生成数据并显示于第I操作画面的文件显示区域，以使成为与便携式终端装置侧的文件显示区域内的显示数据相同的显示。
10.一种协作方法，由具备可相互连接的图像处理装置和便携式终端装置的图像处理协作系统执行，其特征在于， 所述图像处理装置执行: 操作画面判断步骤，在有来自所述便携式终端装置的、在显示部件中显示的图像处理装置的操作画面的显示用数据的取得请求时，判断所述操作画面是具有显示了文件的全部或者一部分的文件显示区域的第I操作画面，还是不具有文件显示区域的第2操作画面；以及 发送步骤，在所述操作画面判断步骤中判断为是第I操作画面的情况下，将除所述文件显示区域以外的第I操作画面的显示用数据、所述文件、以及用于所述便携式终端装置使用该文件再现所述文件显示区域的文件显示区域再现用信息发送至便携式终端装置，在判断为是第2操作画面的情况下，将第2操作画面的显示用数据发送至便携式终端装置， 所述便携式终端装置执行: 取得请求步骤，对所述图像处理装置，进行图像处理装置的操作画面的显示用数据的取得请求； 操作画面生成步骤，在根据所述取得请求从所述图像处理装置被发送的显示用数据是第I操作画面的显示用数据的情况下，使用从所述图像处理装置发送的所述第I操作画面的显示用数据、文件、文件显示区域再现用信息，生成所述图像处理装置的第I操作画面，在从图像处理装置被发送的显示用数据是第2操作画面的显示用数据的情况下，基于该显示用数据生成所述图像处理装置的第2操作画面； 显示步骤，在显示部件中显示在所述操作画面生成步骤中生成的第I或者第2操作画面； 文件保存步骤，将从所述图像处理装置被发送的文件保存至文件保存部件； 操作判断步骤，判断是否对在所述显示部件中显示的第I或者第2操作画面进行了用户操作； 通知步骤，在所述操作判断步骤中判断为对在第I操作画面内但在文件显示区域外的区域进行了用户操作的情况，或者判断为对第2操作画面进行了用户操作的情况下，将表示进行了操作的操作信息通知至图像处理装置；以及 显示控制步骤，在所述操作判断步骤中判断为对在第I操作画面内的文件显示区域进行了用户操作的情况下，使用在所述文件保存部件中保存的文件，将文件显示区域内的显示数据切换为与所述操作对应的数据而显示。
11.一种便携式终端装置，其特征在于，具备: 连接部件，用于与图像处理装置连接； 取得请求部件，对通过所述连接部件连接的图像处理装置，进行图像处理装置的操作画面的显示用数据的取得请求； 接收部件，在所述图像处理装置的操作画面是具有显示文件的全部或者一部分的文件显示区域的第I操作画面的情况下，接收根据所述取得请求从所述图像处理装置发送的、除所述文件显示区域以外的第I操作画面的显示用数据、所述文件、用于所述便携式终端装置使用该文件再现所述文件显示区域的文件显示区域再现用信息，在是不具有所述文件显示区域的第2操作画面的情况下，接收根据所述取得请求从所述图像处理装置被发送的第2操作画面的显示用数据； 操作画面生成部件，在通过所述接收部件接收到的显示用数据是第I操作画面的显示用数据的情况下，使用通过所述接收部件接收到的所述第I操作画面的显示用数据、文件、文件显示区域再现用信息，生成所述图像处理装置的第I操作画面，在从图像处理装置发送的显示用数据是第2操作画面的显示用数据的情况下，基于该显示用数据生成所述图像处理装置的第2操作画面； 显示部件，显示通过所述操作画面生成部件生成的第I或者第2操作画面； 文件保存部件，保存通过所述接收部件接收到的文件； 操作判断部件，判断是否对在所述显示部件中显示的第I或者第2操作画面进行了用户操作； 通知部件，在通过所述操作判断部件判断为对在第I操作画面内但在文件显示区域外的区域进行了用户操作的情况，或者判断为对第2操作画面进行了用户操作的情况下，将表示进行了操作的操作信息通知至图像处理装置；以及 显示控制部件，在通过所述操作判断部件判断为对第I操作画面内的文件显示区域进行了用户操作的情况下，使用在所述文件保存部件中保存的文件，将文件显示区域内的显示数据切换为与所述操作对应的数据而显示。
12.如权利要求11所述的便携式终端装置，在所述文件显示区域再现用信息中，包含表示所述第I操作画面中的文件显示区域的位置的第I位置信息、和表示在文件显示区域中显示的数据在文件内的位置的第2位置信息， 所述操作画面生成部件通过将所述文件中的由所述第2位置信息示出的位置的数据合成到由所述第I位置信息示出的文件显示区域的位置上，从而生成第I操作画面。
13.如权利要求12所述的便携式终端装置， 所述第I位置信息是所述操作画面中的文件显示区域的坐标。
14.如权利要求12或者13所述的便携式终端装置， 所述第I操作画面是在文件显示区域内将文件以页单位预览显示的预览显示画面，所述第2位置信息是在文件显示区域中显示的文件的页信息。
15.如权利要求11~14的任一项所述的便携式终端装置， 所述操作判断部件基于所述操作画面中的进行了用户操作的位置的坐标，判断是否进行了用户操作。
16.如权利要求11~15的任一项所述的便携式终端装置， 所述显示控制部件通过将对应于操作的数据合成到由所述第I位置信息示出的文件显示区域的位置上，从而切换文件显示区域内的显示数据。
17.如权利要求11~16的任一项所述的便携式终端装置， 在对于在所述显示部件中显示的操作画面中的文件显示区域，进行了文件显示区域内的显示数据的送页操作、扩大操作、缩小操作的至少其中一个用户操作的情况下，将表示与所述操作对应地在文件显示区域内显示的数据在文件内的位置的第3位置信息通知至所述图像处理装置。
18.一种协作方法，由便携式终端装置执行，其特征在于，具备: 连接步骤:与图像处理装置连接； 取得请求步骤，对所述被连接的图像处理装置，进行图像处理装置的操作画面的显示用数据的取得请求； 接收步骤，在所述图像处理装置的操作画面是具有显示了文件的全部或者一部分的文件显示区域的第I操作画面的情况下，接收根据所述取得请求从所述图像处理装置发送的、除所述文件显示区域以外的第I操作画面的显示用数据、所述文件、用于所述便携式终端装置使用该文件再现所述文件显示区域的文件显示区域再现用信息，在是不具有所述文件显示区域的第2操作画面的情况下，接收根据所述取得请求从所述图像处理装置被发送的第2操作画面的显示用数据； 操作画面生成步骤，在所述接收步骤中接收到的显示用数据是第I操作画面的显示用数据的情况下，使用通过所述接收部件接收到的所述第I操作画面的显示用数据、文件、文件显示区域再现用信息，生成所述图像处理装置的第I操作画面，在从图像处理装置被发送的显示用数据是第2操作画面的显示用数据的情况下，基于该显示用数据生成所述图像处理装置的第2操作画面； 显示步骤，在显示部件中显示所述操作画面生成步骤中生成的第I或者第2操作画面； 保存步骤，将在所述接收步骤中接收到的文件保存至文件保存部件；操作判断步骤，判断是否对在所述显示部件中显示的第I或者第2操作画面进行了用户操作； 通知步骤，在所述操作判断步骤中，判断为对在第I操作画面内但在文件显示区域外的区域进行了用户操作的情况，或者判断为对第2操作画面进行了用户操作的情况下，将表示进行了操作的操作信息通知至图像处理装置；以及 显示控制步骤，在所述操作判断步骤中，判断为对第I操作画面中的文件显示区域进行了用户操作的情况下，使用在所述文件保存部件中保存的文件，将文件显示区域内的显示数据切换为与所述操作对应`的数据而显示。
【文档编号】H04N1/00GK103731581SQ201310480379
【公开日】2014年4月16日 申请日期:2013年10月15日 优先权日:2012年10月15日
【发明者】古川学, 桥本昌也, 长谷淳一, 三缟信广, 鸟越章宏 申请人:柯尼卡美能达株式会社
【专利摘要】本发明涉及图像处理协作系统、协作方法、便携式终端装置。提供图像处理协作系统等，其将具有文件显示区域的图像处理装置用的操作画面显示在便携式终端，在从便携式终端进行图像处理装置的协作操作的情况下，可实现对文件显示区域进行了操作时的操作后的画面的显示速度的高速化等。操作画面是具有文件显示区域的第1操作画面时，图像处理装置将除文件显示区域以外的第1操作画面的显示用数据、文件、文件显示区域再现用信息发送至便携式终端装置。便携式终端装置使用这些生成图像处理装置的第1操作画面并显示于显示部件。在对文件显示区域进行了用户操作时，使用保存于自身的文件，将文件显示区域内的显示数据切换为与所述操作对应的数据而显示。
【专利说明】图像处理协作系统、协作方法、便携式终端装置
【技术领域】
[0001]本发明涉及具备作为多功能数字复合机的MFP(Multi Function Peripherals,多功能外围设备)等的图像处理装置和可与该图像处理装置连接的智能手机、平板电脑终端等的便携式终端装置的图像处理协作系统、在同系统中执行的协作方法、便携式终端装置以及在便携式终端装置中执行的协作方法。
【背景技术】
[0002]近年，智能手机、平板电脑终端等的便携式终端装置可存储电子化的文档，能够不论时间与场所而阅览或编辑文档。此外，能够将在便携式终端装置中实施了编辑等之后的文件发送至所述MFP等的图像处理装置，并使图像处理装置执行印刷或者保存等的处理。进而，还能够将由通过图像处理装置的扫描仪部读取的原稿的图像数据等构成的文件发送至便携式终端装置，在便携式终端装置中进行编辑等。
[0003]但是，存在需要将便携式终端装置和图像处理装置分别单独操作，操作变得烦杂的问题。
[0004]因此，最近，提出图像处理装置和便携式终端装置的协作系统，将用于使用图像处理装置的功能的图像处理装置用的操作画面在便携式终端装置的显示部中显示，能够从便携式终端装置操作图像处理装置。在该协作系统中，在便携式终端装置的显示部中显示的图像处理装置的操作画面基于从图像处理装置被发送的显示用数据而显示。
[0005]然而，在这样的协作系统中，也存在作为图像处理装置的操作画面，例如显示使图像处理装置内的图像数据等的文件在画面的一部分中预览显示的预览显示画面的情况。通过将图像处理装置内的文件在便携式终端装置的显示部上预览显示，能够在便携式终端装置的、比图像处理装置的操作面板更大的画面上确认文件，对用户来说非常便利。
[0006]但是，在便携式终端装置中对在便携式终端装置中显示的预览画面中的文件进行操作的情况下，存在如下的问题点。
[0007]S卩，如所述那样，由于基于从图像处理装置被发送的显示用数据，显示在便携式终端装置的显示部中显示的图像处理装置的操作画面，因此在通过便携式终端装置操作在便携式终端装置中显示的预览显示画面等的情况下也同样，首先，表示进行了操作的操作信息从便携式终端装置被发送至图像处理装置，图像处理装置基于该操作信息生成下一个操作画面，将用于将其显示的显示用数据发送至便携式终端装置，便携式终端装置基于该显示用数据再现并显示操作画面。
[0008]因此，例如，在便携式终端装置侧对预览显示画面中的文件显示区域的文件进行翻页操作的情况下，为了与翻页操作对应，需要在图像处理装置侧调用文件，将当前显示的页的下一页设定为显示数据之后，将具有该页的数据的操作画面的显示用数据发送至便携式终端装置。从而，操作画面的显示用数据的生成需要时间，存在操作后的预览画面在便携式终端装置上的显示速度变慢的问题。
[0009]此外，还存在如下问题:从图像处理装置至便携式终端装置的预览画面显示用数据的发送以数据被压缩的状态进行，在便携式终端侧将其扩展并显示，因此在小的文件显示区域内的显示数据被压缩/扩展而再现性恶化，不能显示文件的细致的预览图像。
[0010]而且，还存在如下问题:由于在图像处理装置侧生成与操作对应的文件的显示数据，因此对于被预览显示的文件，在便携式终端装置侧能够使用的操作限于图像处理装置提供的操作，不能进行通常可通过便携式终端装置侧的应用对文件操作的例如捏合等的操作，使用便利性不好。
[0011]另外，在专利文献I中，公开了能够以与使用经由网络被连接的多个打印机之中的期望的打印机以期望的印刷设定印刷文档数据的结果大致相同的大小进行印刷预览的技术。
[0012]具体而言，若通过用户操作便携式终端选择要印刷的文档，选择打印机以及印刷设定(用纸尺寸、分辨率等)，则服务器基于印刷设定计算像素数，以计算出的像素数从文档文件生成印刷图像。另一方面，取得与便携式终端的显示部相关的信息(横向像素数、纵向像素数、分辨率)，基于印刷物的分辨率和显示部的分辨率计算预览图像的像素数，以计算出的像素数生成预览图像，将预览图像发送至便携式终端装置。
[0013]现有技术文献
[0014]专利文献
[0015]专利文献1:(日本)特开2011-118586号公报
[0016]但是，上述专利文献I所述的技术是与将在服务器中生成的预览图像发送至便携式终端装置的技术相关的技术，不是操作在便携式终端装置中显示的图像处理装置侧的操作画面的文件显示区域的技术。因此，对于在操作文件显示区域的情况下发生的所述的问题点，不能提供解决方案。
【发明内容】
[0017]本发明是鉴于这样的情况而完成的，其课题在于，提供图像处理协作系统以及协作方法，其在将具有文件显示区域的图像处理装置用的操作画面在便携式终端装置中显示，从便携式终端装置进行图像处理装置的协作操作的情况下，能够实现对所述文件显示区域进行了操作时的操作后的画面的显示速度的高速化、文件的显示精度的提高、可使用的操作种类的扩大，进而提供适合被用于所述协作系统的便携式终端装置和在该便携式终端装置中执行的协作方法。
[0018]上述课题通过以下的手段被解决。
[0019](I) 一种图像处理协作系统，具备可相互连接的图像处理装置和便携式终端装置，其特征在于，所述图像处理装置具备:显示部件；操作画面判断部件，在有来自所述便携式终端装置的、在所述显示部件中显示的图像处理装置的操作画面的显示用数据的取得请求时，判断所述操作画面是具有显示文件的全部或者一部分的文件显示区域的第I操作画面，还是不具有文件显示区域的第2操作画面；以及发送部件，在通过所述操作画面判断部件判断为是第I操作画面的情况下，将除所述文件显示区域以外的第I操作画面的显示用数据、所述文件、以及用于所述便携式终端装置使用该文件再现所述文件显示区域的文件显示区域再现用信息发送至便携式终端装置，在判断为是第2操作画面的情况下，将第2操作画面的显示用数据发送至便携式终端装置，所述便携式终端装置具备:取得请求部件，对所述图像处理装置，进行图像处理装置的操作画面的显示用数据的取得请求；操作画面生成部件，在根据所述取得请求从所述图像处理装置被发送的显示用数据是第I操作画面的显示用数据的情况下，使用从所述图像处理装置被发送的所述第I操作画面的显示用数据、文件、文件显示区域再现用信息，生成所述图像处理装置的第I操作画面，在从图像处理装置被发送的显示用数据是第2操作画面的显示用数据的情况下，基于该显示用数据生成所述图像处理装置的第2操作画面；显示部件，显示通过所述操作画面生成部件被生成的第I或者第2操作画面；文件保存部件，保存从所述图像处理装置被发送的文件；操作判断部件，判断是否对在所述显示部件中显示的第I或者第2操作画面进行了用户操作；通知部件，在通过所述操作判断部件判断为对在第I操作画面内但在文件显示区域外的区域进行了用户操作的情况，或者判断为对第2操作画面进行了用户操作的情况下，将表示进行了操作的操作信息通知至图像处理装置；以及显示控制部件，在通过所述操作判断部件判断为对在第I操作画面内的文件显示区域进行了用户操作的情况下，使用在所述文件保存部件中保存的文件，将文件显示区域内的显示数据切换为与所述操作对应的数据而显示。
[0020](2)如前项I所述的图像处理协作系统，在所述便携式终端装置的文件显示区域再现用信息中，包含表示所述第I操作画面中的文件显示区域的位置的第I位置信息、和表示在文件显示区域中显示的数据在文件内的位置的第2位置信息，所述操作画面生成部件通过将所述文件中的由所述第2位置信息示出的位置的数据合成到由所述第I位置信息示出的文件显示区域的位置上，从而生成第I操作画面。
[0021](3)如前项I或者2所述的图像处理协作系统，所述图像处理装置具备:文件存储部件，存储I个或者多个文件；以及文件取得部件，在通过所述操作画面判断部件判断为是第I操作画面的情况下，从所述文件存储部件取得在所述文件显示区域中显示的文件，所述发送部件将通过所述文件取得部件取得的文件发送至所述便携式终端装置。
[0022](4)如前项2或者3所述的图像处理协作系统，所述第I位置信息是所述操作画面中的文件显示区域的坐标。
[0023](5)如前项2?4的任一项所述的图像处理协作系统，所述第I操作画面是在文件显示区域内将文件以页单位预览显示的预览显示画面，所述第2位置信息是在文件显示区域中显示的文件的页信息。
[0024](6)如前项I?5的任一项所述的图像处理协作系统，所述便携式终端装置的操作判断部件基于所述操作画面中的进行了用户操作的位置的坐标，判断是否进行了用户操作。
[0025](7)如前项I?6的任一项所述的图像处理协作系统，所述便携式终端装置的显示控制部件通过将对应于操作的数据合成到由所述第I位置信息示出的文件显示区域的位置上，从而切换文件显示区域内的显示数据。
[0026](8)如前项I?7的任一项所述的图像处理协作系统，所述便携式终端装置在对于在显示部件中显示的操作画面中的文件显示区域，进行了文件显示区域内的显示数据的送页操作、扩大操作、缩小操作的至少其中一个用户操作的情况下，将表示与所述操作对应地在文件显示区域内显示的数据在文件内的位置的第3位置信息通知至所述图像处理装置。
[0027](9)如前项8所述的图像处理协作系统，从所述便携式终端装置通知所述第3位置信息时，所述图像处理装置基于所述第3位置信息生成数据并显示于第I操作画面的文件显示区域，以使成为与便携式终端装置侧的文件显示区域内的显示数据相同的显示。
[0028](10) 一种协作方法，由具备可相互连接的图像处理装置和便携式终端装置的图像处理协作系统执行，其特征在于，所述图像处理装置执行:操作画面判断步骤，在有来自所述便携式终端装置的、在显示部件中显示的图像处理装置的操作画面的显示用数据的取得请求时，判断所述操作画面是具有显示文件的全部或者一部分的文件显示区域的第I操作画面，还是不具有文件显示区域的第2操作画面；以及发送步骤，在所述操作画面判断步骤中判断为是第I操作画面的情况下，将除所述文件显示区域以外的第I操作画面的显示用数据、所述文件、以及用于所述便携式终端装置使用该文件再现所述文件显示区域的文件显示区域再现用信息发送至便携式终端装置，在判断为是第2操作画面的情况下，将第2操作画面的显示用数据发送至便携式终端装置，所述便携式终端装置执行:取得请求步骤，对所述图像处理装置，进行图像处理装置的操作画面的显示用数据的取得请求；操作画面生成步骤，在根据所述取得请求从所述图像处理装置被发送的显示用数据是第I操作画面的显示用数据的情况下，使用从所述图像处理装置被发送的所述第I操作画面的显示用数据、文件、文件显示区域再现用信息，生成所述图像处理装置的第I操作画面，在从图像处理装置被发送的显示用数据是第2操作画面的显示用数据的情况下，基于该显示用数据生成所述图像处理装置的第2操作画面；显示步骤，在显示部件中显示在所述操作画面生成步骤中被生成的第I或者第2操作画面；将从所述图像处理装置被发送的文件保存至文件保存部件的步骤；操作判断步骤，判断是否对在所述显示部件中显示的第I或者第2操作画面进行了用户操作；通知步骤，在所述操作判断步骤中判断为对在第I操作画面内但在文件显示区域外的区域进行了用户操作的情况，或者判断为对第2操作画面进行了用户操作的情况下，将表示进行了操作的操作信息通知至图像处理装置；以及显示控制步骤，在所述操作判断步骤中判断为对在第I操作画面内的文件显示区域进行了用户操作的情况下，使用在所述文件保存部件中保存的文件，将文件显示区域内的显示数据切换为与所述操作对应的数据而显示。
[0029](11) 一种便携式终端装置，其特征在于，具备:连接部件，用于与图像处理装置连接；取得请求部件，对通过所述连接部件连接的图像处理装置，进行图像处理装置的操作画面的显示用数据的取得请求；接收部件，在所述图像处理装置的操作画面是具有显示文件的全部或者一部分的文件显示区域的第I操作画面的情况下，接收根据所述取得请求从所述图像处理装置被发送的、除所述文件显示区域以外的第I操作画面的显示用数据、所述文件、用于所述便携式终端装置使用该文件再现所述文件显示区域的文件显示区域再现用信息，在是不具有所述文件显示区域的第2操作画面的情况下，接收根据所述取得请求从所述图像处理装置被发送的第2操作画面的显示用数据；操作画面生成部件，在通过所述接收部件接收到的显示用数据是第I操作画面的显示用数据的情况下，使用通过所述接收部件接收到的所述第I操作画面的显示用数据、文件、文件显示区域再现用信息，生成所述图像处理装置的第I操作画面，在从图像处理装置被发送的显示用数据是第2操作画面的显示用数据的情况下，基于该显示用数据生成所述图像处理装置的第2操作画面；显示部件，显示通过所述操作画面生成部件被生成的第I或者第2操作画面；文件保存部件，保存通过所述接收部件接收到的文件；操作判断部件，判断是否对在所述显示部件中显示的第I或者第2操作画面进行了用户操作；通知部件，在通过所述操作判断部件判断为对在第I操作画面内但在文件显示区域外的区域进行了用户操作的情况，或者判断为对第2操作画面进行了用户操作的情况下，将表示进行了操作的操作信息通知至图像处理装置；以及显示控制部件，在通过所述操作判断部件判断为对第I操作画面内的文件显示区域进行了用户操作的情况下，使用在所述文件保存部件中保存的文件，将文件显示区域内的显示数据切换为与所述操作对应的数据而显示。
[0030](12)如前项11所述的便携式终端装置，在所述文件显示区域再现用信息中，包含表示所述第I操作画面中的文件显示区域的位置的第I位置信息、和表示在文件显示区域中显示的数据在文件内的位置的第2位置信息，所述操作画面生成部件通过将所述文件中的由所述第2位置信息示出的位置的数据合成到由所述第I位置信息示出的文件显示区域的位置上，从而生成第I操作画面。
[0031](13)如前项12所述的便携式终端装置，所述第I位置信息是所述操作画面中的文件显示区域的坐标。
[0032](14)如前项12或者13所述的便携式终端装置，所述第I操作画面是在文件显示区域内将文件以页单位预览显示的预览显示画面，所述第2位置信息是在文件显示区域中显示的文件的页信息。
[0033](15)如前项11?14的任一项所述的便携式终端装置，所述操作判断部件基于所述操作画面中的进行了用户操作的位置的坐标，判断是否进行了用户操作。
[0034](16)如前项11?15的任一项所述的便携式终端装置，所述显示控制部件通过将对应于操作的数据合成到由所述第I位置信息示出的文件显示区域的位置上，切换文件显示区域内的显示数据。
[0035](17)如前项11?16的任一项所述的便携式终端装置，在对于在所述显示部件中显示的操作画面中的文件显示区域，进行了文件显示区域内的显示数据的送页操作、扩大操作、缩小操作的至少其中一个的用户操作的情况下，将表示与所述操作对应地在文件显示区域内显示的数据在文件内的位置的第3位置信息通知至所述图像处理装置。
[0036](18) 一种协作方法，由便携式终端装置执行，其特征在于，具备:与图像处理装置连接的步骤；取得请求步骤，对所述被连接的图像处理装置，进行图像处理装置的操作画面的显示用数据的取得请求；接收步骤，在所述图像处理装置的操作画面是具有显示文件的全部或者一部分的文件显示区域的第I操作画面的情况下，接收根据所述取得请求从所述图像处理装置被发送的、除所述文件显示区域以外的第I操作画面的显示用数据、所述文件、用于所述便携式终端装置使用该文件再现所述文件显示区域的文件显示区域再现用信息，在是不具有所述文件显示区域的第2操作画面的情况下，接收根据所述取得请求从所述图像处理装置被发送的第2操作画面的显示用数据；操作画面生成步骤，在所述接收步骤中接收到的显示用数据是第I操作画面的显示用数据的情况下，使用通过所述接收部件接收到的所述第I操作画面的显示用数据、文件、文件显示区域再现用信息，生成所述图像处理装置的第I操作画面，在从图像处理装置被发送的显示用数据是第2操作画面的显示用数据的情况下，基于该显示用数据生成所述图像处理装置的第2操作画面；显示步骤，在显示部件中显示所述操作画面生成步骤中被生成的第I或者第2操作画面；保存步骤，将在所述接收步骤中接收到的文件保存至文件保存部件；操作判断步骤，判断是否对在所述显示部件中显示的第I或者第2操作画面进行了用户操作；通知步骤，在所述操作判断步骤中，判断为对在第I操作画面内但在文件显示区域外的区域进行了用户操作的情况，或者判断为对第2操作画面进行了用户操作的情况下，将表示进行了操作的操作信息通知至图像处理装置；以及显示控制步骤，在所述操作判断步骤中，判断为对第I操作画面中的文件显示区域进行了用户操作的情况下，使用在所述文件保存部件中保存的文件，将文件显示区域内的显示数据切换为与所述操作对应的数据而显示。
[0037]根据前项(I)所述的发明，图像处理装置在有来自便携式终端装置的、图像处理装置的操作画面的显示用数据的取得请求时，判断所述操作画面是具有显示文件的全部或者一部分的文件显示区域的第I操作画面，还是不具有文件显示区域的第2操作画面，在判断为是第I操作画面的情况下，将除文件显示区域以外的第I操作画面的显示用数据、文件、以及用于便携式终端装置使用该文件再现所述文件显示区域的文件显示区域再现用信息发送至便携式终端装置。另一方面，便携式终端装置使用从图像处理装置被发送的除文件显示区域以外的第I操作画面的显示用数据、文件、文件显示区域再现用信息，生成在文件显示区域中显示文件数据的图像处理装置的第I操作画面，并在显示部件中显示。此外，在对被显示的第I操作画面中的文件显示区域进行了用户操作的情况下，使用在自身的文件保存部件中保存的文件，将文件显示区域内的显示数据切换为与所述操作对应的数据而显
/Jn ο
[0038]也就是说，在对第I操作画面中的文件显示区域进行了用户操作的情况下，使用从图像处理装置被发送且便携式终端装置自身保持的原文件，生成并显示在文件显示区域中应显示的数据，因此不需要如以往那样，在图像处理装置侧根据操作而生成文件显示区域用的显示数据，并从图像处理装置接收该数据，因此能够使便携式终端装置中的向操作后的画面的切换显示速度高速化。
[0039]而且，不需要压缩/扩展在图像处理装置侧生成的文件显示区域内的显示数据，因此能够防止由于压缩/扩展所导致的数据的恶化，能够提高文件的显示精度。
[0040]进而，便携式终端装置使用原文件生成在文件显示区域中应显示的数据，因此将在便携式终端装置侧对一般的文件可使用的捏合等的操作对在文件显示区域中显示的文件也能够使用，能够实现可使用的操作种类的扩大，成为使用便利性好的系统。
[0041]根据前项(2)所述的发明，文件显示区域再现用信息包含表示所述操作画面中的文件显示区域的位置的第I位置信息、和表示在文件显示区域中显示的数据在文件内的位置的第2位置信息，因此便携式终端装置使用从图像处理装置被发送的文件和所述文件显示区域再现用信息，能够可靠地再现文件显示区域以及第I操作画面。
[0042]根据前项(3)所述的发明，能够将在文件显示区域中显示的文件可靠地发送至便携式终端装置。
[0043]根据前项(4)所述的发明，通过使用操作画面中的文件显示区域的坐标作为第I位置信息，便携式终端装置能够容易地确定文件显示区域的位置。
[0044]根据前项(5)所述的发明，能够在便携式终端装置中显示在文件显示区域内将文件以页单位预览显示的预览显示画面，便携式终端装置从图像处理装置取得在文件显示区域中显示的文件的页信息，从而能够确定在文件显示区域中显示的数据在文件内的位置。
[0045]根据前项(6)所述的发明，便携式终端装置基于操作画面中的进行了用户操作的位置的坐标，能够容易地判断是否进行了用户操作。[0046]根据前项(7)所述的发明，便携式终端装置通过将对应于操作的数据合成到由第I位置信息示出的文件显示区域的位置上，从而能够切换文件显示区域内的显示数据。
[0047]根据前项(8)所述的发明，对于在便携式终端装置中显示的操作画面中的文件显示区域，进行了在文件显示区域内的显示数据的送页操作、扩大操作、缩小操作的至少其中一个用户操作的情况下，表示与所述操作对应地在文件显示区域内显示的数据在文件内的位置的第3位置信息从便携式终端装置被通知至图像处理装置，因此图像处理装置能够掌握在便携式终端装置中显示的文件显示区域的显示状态。
[0048]根据前项(9)所述的发明，图像处理装置能够使在便携式终端装置中显示的文件显示区域的显示与便携式终端装置侧的显示同步。
[0049]根据前项(10)所述的发明，在便携式终端装置中对第I操作画面中的文件显示区域进行了用户操作的情况下，使用从图像处理装置被发送且便携式终端装置自身保持的原文件，生成并显示在文件显示区域中应显示的数据，因此不需要如以往那样，在图像处理装置侧与操作对应地生成并发送文件显示区域用的显示数据，能够使便携式终端装置中的向操作后的画面的切换显示速度高速化。而且，不需要在图像处理装置侧生成的文件显示区域的数据的压缩/扩展处理，因此能够防止由于压缩/扩展所导致的数据的恶化，能够提高文件的显示精度。进而，便携式终端装置使用原文件生成在文件显示区域中应显示的数据，因此将在便携式终端装置侧对一般的文件可使用的操作对在文件显示区域中显示的文件也能够使用，能够实现可使用的操作种类的扩大。
[0050]根据前项(11)所述的发明，能够构成如下的便携式终端装置:在通过便携式终端装置，对第I操作画面中的文件显示区域进行了用户操作的情况下，能够使向操作后的画面的切换显示速度高速化，同时能够提高文件的显示精度，而且将在便携式终端装置侧对一般的文件可使用的操作对在文件显示区域中显示的文件也能够使用。
[0051]根据前项(12)所述的发明，便携式终端装置使用从图像处理装置被发送的文件和所述文件显示区域再现用信息，能够可靠地再现文件显示区域和第I操作画面。
[0052]根据前项(13)所述的发明，通过使用操作画面中的文件显示区域的坐标作为文件显示区域的位置信息，便携式终端装置能够容易地确定文件显示区域的位置。
[0053]根据前项(14)所述的发明，便携式终端装置能够显示在文件显示区域内将文件以页单位预览显示的预览显示画面，同时从图像处理装置取得在文件显示区域中显示的文件的页信息，从而能够确定在文件显示区域中显示的文件内的数据。
[0054]根据前项(15)所述的发明，便携式终端装置能够基于操作画面中的进行了用户操作的位置的坐标，容易地判断是否进行了用户操作。
[0055]根据前项(16)所述的发明，便携式终端装置通过将对应于操作的数据合成到文件显示区域的位置上，从而能够切换在文件显示区域内的显示数据。
[0056]根据前项(17)所述的发明，在对操作画面中的文件显示区域，进行了在文件显示区域内的显示数据的送页操作、扩大操作、缩小操作的至少其中一个用户操作的情况下，表示与所述操作对应地在文件显示区域内显示的数据在文件内的位置的信息从便携式终端装置被通知至图像处理装置。
[0057]根据前项(18)所述的发明，在对第I操作画面中的文件显示区域进行了用户操作的情况下，便携式终端装置使用从图像处理装置被发送且便携式终端装置自身保持的原文件，生成并显示在文件显示区域中应显示的数据。
【专利附图】
【附图说明】
[0058]图1是本发明的一个实施方式所涉及的图像处理协作系统的结构图。
[0059]图2是表示图像处理装置以及便携式终端装置的电气结构的方框图。
[0060]图3是表示图像处理装置以及便携式终端装置的固件结构的方框图。
[0061]图4是表示图像处理装置以及便携式终端装置的各软件的关系的图。
[0062]图5是用于说明图像处理协作系统的动作的图。
[0063]图6是表示在协作操作时的图像处理装置的动作的流程图。
[0064]图7是表示在协作操作时的便携式终端装置的动作的流程图。
[0065]图8是表示用户操作了在便携式终端装置中显示的图像处理装置的操作画面时的处理的流程图。
[0066]标号说明
[0067]I图像处理装置
[0068]2便携式终端装置
[0069]101 CPU
[0070]102 ROM
[0071]104扫描仪部
[0072]105打印部
[0073]106存储部
[0074]107操作面板部
[0075]107b 显示部
[0076]109 WIFI 模块
[0077]111 USB 接口
[0078]201 CPU
[0079]202 RAM
[0080]203存储部
[0081]204显示部
[0082]205 WIFI 模块
[0083]207 USB 接口
[0084]209协作部
【具体实施方式】
[0085]以下，基于【专利附图】
【附图说明】本发明的实施方式。
[0086]图1是本发明的一个实施方式所涉及的图像处理协作系统的结构图。
[0087]该图像处理协作系统具备图像处理装置1、由智能手机或平板电脑终端等构成的便携式终端装置2等，这些图像处理装置I和便携式终端装置2经由无线LAN路由器3、网络4可相互连接。另外，图像处理装置I和便携式终端装置2也可以通过USB接口等被有线连接。[0088]在该实施方式中，作为图像处理装置1，使用具备复制功能、打印功能、扫描功能、传真功能等的所述的MFP。以下，将图像处理装置也记为MFP。此外，将便携式终端装置也记为便携式终端。
[0089]图2是表示所述MFPl和便携式终端2的电气结构的方框图。
[0090]MFPl具备CPU101、R0M102、RAM103、扫描仪部104、打印部105、存储部106、操作面板部 107、WIFI (Wireless Fidelity,无线保真)模块 109、LAN (Local Area Network,局域网)控制器110、USB接口(USB I/F)lll等。
[0091]所述CPUlOl通过按照在R0M102等中存储的动作程序而动作，统括地控制MFPl的整体。例如，除了控制为可使用MFPl的各种功能之外，在该实施方式中，基于来自便携式终端2的请求，将在便携式终端2中显示的MFPl的操作画面的显示用数据发送至便携式终端2，或者判断操作画面是具有显示了文件的全部或者一部分的文件显示区域的第I操作画面，还是不具有文件显示区域的第2操作画面，或者确定第I操作画面的文件显示区域，或进而确定被显示的文件并执行从存储部106取得等的处理。另外，作为具有文件显示区域的操作画面，能够例示用于预览文件的预览显示画面。
[0092]此外，根据操作画面是所述第I操作画面还是第2操作画面的判断结果，进行变更发送至便携式终端2的操作画面显示用数据的种类等的控制，但详细的说明如后述。
[0093]所述R0M102是存储CPUlOl的动作程序等的存储器，RAM103是提供在CPUlOl按照动作程序而动作时的作业区域的存储器。
[0094]所述扫描仪部104是读取在未图示的压板玻璃上设置的原稿、或同样在未图示的自动原稿传输装置上设置的原稿的图像，输出作为电子数据的图像数据的部件。
[0095]所述打印部105是将通过扫描仪部104读取的原稿的图像数据、或从便携式终端2等被发送的打印数据印刷至用纸的部件。
[0096]所述存储部106是存储各种数据或应用等的部件，使用硬盘装置等。特别是，在该实施方式中，存储在操作面板部107中显示的各种操作画面的显示用数据，与用户的操作对应的操作画面的显示用数据通过CPUlOl从存储部106被调用，并在操作面板部107中被显示，或发送至便携式终端2。此外，保存由通过扫描仪部104读取的图像数据构成的文档文件、或从外部装置被发送的文档文件等的多个文件。
[0097]操作面板部107是操作MFPl或向用户显示消息等的部件，具备具有开始键、数字键等的键部107a、和由液晶等的触摸面板构成的显不部107b。
[0098]所述WIFI模块109是用于与便携式终端2无线连接的接口，所述LAN控制器110是控制与个人计算机或其它MFP等的外部装置之间的通信的部件。
[0099]所述USB接口 111是用于与便携式终端2有线连接的接口。
[0100]另一方面，在便携式终端2中使用智能手机、平板电脑终端、电子纸等。便携式终端2具备CPU201、RAM202、存储部203、显示部204、WIFI模块205、LAN控制器206、USB接口 207、文件处理部208a、208b、协作部209等。
[0101]所述CPU201是统括地控制便携式终端2的整体的部件，按照作为基本软件的OS(Operat ing System,操作系统)、或后述的协作应用或者通用应用而动作。
[0102]所述RAM202是成为在CPU201按照动作程序而动作时的作业区域的存储器。
[0103]所述存储部203是存储各种数据或应用等的部件，使用硬盘装置等。在该实施方式中，存储基本OS、协作应用、通用应用等的程序。另外，在以下的说明中也将应用(7 I 'J夕一 '> 3 >)简称为应用(7 7° )。
[0104]所述显示部204由具备触摸面板的液晶等的设备构成。
[0105]所述WIFI模块205是用于将便携式终端2与MFPl无线连接的接口，所述LAN控制器206是控制与用户终端等的外部装置之间的通信的部件。此外，所述USB接口 207是用于将便携式终端装置2与MFPl有线连接的接口。
[0106]所述文件处理部208a、208b对文件实施编辑、转发或邮件分发等的处理。以下，将文件处理部208a，208b都记为文件处理部208。
[0107]所述协作部209是为了顺利地进行MFPl和便携式终端2之间的功能协作而使得能够使用MFPl的功能的部件。具体而言，为了使用MFPl的复制功能、打印功能、扫描功能、传真功能等，将用于再现与在MFPl的操作面板部107中显示的所述的第I或者第2操作画面相同的操作画面的画面显示用数据等从MFPl接收并作为远程画面在显示部204中显示，或在用户操作了被显示的远程画面时，检测画面上的操作位置的坐标并发送至MFP1。MFPl通过分析所述操作位置的坐标，确定用户的操作指示，执行与操作指示对应的动作。
[0108]然而，所述文件处理部208通过CPU201执行通用应用实现其功能。也就是说，通用应用是用于实现处理各种文件的文件处理部208的软件，例如能够使用各种应用:文件编辑用应用、具有通过电子邮件分发文件的功能的应用、具有在网页上存储文件的功能的应用等。
[0109]此外，所述协作部209通过CPU201执行所述的协作应用实现这些功能。也就是说，协作应用是用于实现MFPl和便携式终端2的平稳的功能协作的软件。此外，在协作应用和通用应用之间，能够进行文件的转发或下载。
[0110]图3是表示MFPl和便携式终端2的固件结构的方框图。
[0111]MFPl在应用层具备操作面板(应用)121或开放API (Open Application ProgramInterface,开放应用程序接口)122等,在公共API层具备公共API (Common API)125或面板显示图像生成部126等，在硬件依赖层具备面板画面生成部123、面板控制部124、便携式终端用控制部127等。
[0112]进而，在核心层具备面板输入控制部129、面板IXD控制部130、JPEG编码器驱动器131等，在设备层具备操作面板部107、USB接口部111、JPEG压缩部133、WIFI模块109
坐寸ο
[0113]面板画面生成部123在从便携式终端2进行协作操作的情况下，生成在操作面板部107中显示的操作画面的显示用数据。特别是，在协作操作时从便携式终端2被请求的操作画面是文件的预览图像显示画面那样的具有文件显示区域的第I操作画面的情况下，生成除文件显示区域以外的操作画面的显示用数据。是不具有文件显示区域的第2操作画面的情况下，原样生成第2操作画面的显示用数据。
[0114]面板控制部124进行与操作面板部107的通信状态的控制等。此外，面板显示图像生成部126在协作操作时在便携式终端2中显示的远程画面是具有文件显示区域的第I操作画面的情况下，确定第I操作画面中的文件显示区域的位置，生成表示该位置的第I位置信息，或确定在文件显示区域中显示的文件，或确定在文件显示区域中显示的数据在文件内的位置，生成表示该位置的第2位置信息。另外，生成的所述第I位置信息以及第2位置信息作为便携式终端2用于再现文件显示区域的文件显示区域再现用信息，与文件一起被发送至便携式终端2。
[0115]便携式终端用控制部127在与便携式终端2的协作处理时，控制用于与便携式终端2进行通信的接口等。
[0116]面板输入控制部129进行与操作面板部107的操作输入相关的控制，面板IXD控制部130进行操作面板部107的显示部107b的显示控制。JPEG压缩部133是将经由JPEG编码器驱动器131从便携式终端用控制部127被发送来的操作画面显示用数据或文件进行JPEG压缩的部件，被压缩的数据经由USB接口 111或WIFI模块109，被发送至便携式终端2。
[0117]另一方面，便携式终端2由具备图像显示应用221、显示图像生成应用222、JPEG展开应用223、浏览器等的各种应用的应用层、和具备各种管理器225、226等的平台层、和具备各种程序库227以及核心228的OS层、以及硬件229构成。
[0118]所述JPEG展开应用223是扩展从MFPl被发送来的压缩数据的部件。显示图像生成应用222在从MFPl被发送来的压缩数据是具有文件显示区域的第I操作画面的显示用数据的情况下，使用扩展后的文件和所述的第2位置信息，生成在第I操作画面的文件显示区域中显示的数据。此外，对在文件显示区域中显示的数据，在便携式终端2侧进行了扩大、缩小、翻页等的用户操作的情况下，使用从所述MFPl被发送的原文件扩大或缩小文件内的数据，或变更并生成页，以使与由第2位置信息示出的文件显示区域的大小一致。
[0119]所述图像显示应用221是使用从MFPl被发送且通过JPEG展开应用223被扩展的操作画面显示用数据，将MFPl的操作画面作为远程画面而生成，并在显示部204中显示的部件。具体而言，在第2操作画面的显示用数据的情况下，基于该数据生成第2操作画面并在显示部204中显示。此外，在第I操作画面的显示用数据的情况下，在从MFPl被发送的第I操作画面的显示用数据中的由所述第2位置信息示出的文件显示区域的位置上合成通过显示图像生成应用222生成的文件显示区域的数据，从而生成第I操作画面，并在显示部204中显示。
[0120]此外，在便携式终端2侧，对在文件显示区域中显示的数据进行了扩大、缩小、翻页等的用户操作的情况也同样，图像显示应用221将通过显示图像生成应用222生成的被扩大、缩小或者翻页后的数据合成到文件显示区域的位置上从而生成第I操作画面，并在显示部204中显示。
[0121]另外，在该实施方式中，图像显示应用221、显示图像生成应用222、JPEG展开应用223作为通过协作应用实现的功能的一部分而构成。
[0122]接着，说明将MFPl和便携式终端2协作操作的情况的处理。
[0123]用户要将便携式终端2与MFPl经由网络或有线连接，将便携式终端2和MFPl协作操作。便携式终端2和MFPl的协作操作通过用户启动在便携式终端2中安装的协作应用而开始。
[0124]图4是表示MFPl以及便携式终端2的各软件的关系的图，分别在左侧表示MFPl侧的软件，在右侧表示便携式终端2的软件。
[0125]便携式终端2的协作应用位于便携式终端2的OS和作为通用的软件的应用软件的中间，能够取得用户的操作信息、与便携式终端2的发送接收数据、便携式终端2侧的显示画面数据，能够根据需要将这些数据发送至MFP1。也就是说，便携式终端2的协作软件执行应用的调用等的便携式终端2侧的用户操作接受处理、MFPl的操作画面显示用数据的接收/显示处理(便携式终端侧操作画面处理)、协作操作关联处理等。作为协作操作关联处理，可举出表示操作的内容的操作信息与MFPl的通信等。
[0126]另一方面，在MFPl侧的OS或MFPl用的应用软件都是本公司设计/本公司定制因而可得到全部必要的信息的情况下，MFPl的协作应用可以不位于OS-应用软件间，也可以与OS或应用软件独立，且通过与OS或应用软件通信，从而获得必要的信息。MFPl的协作应用执行应用的调用等的MFPl侧的用户操作接受处理、对于便携式终端2的MFP用操作画面数据(画面显示用数据)的发送处理(MFP侧操作画面处理)、协作操作关联处理等。作为协作操作关联处理，可举出来自便携式终端2的操作信息等的接收/执行处理等。
[0127]若用户选择在便携式终端2的显示部204中显示的操作画面中的协作操作图标，并指示MFP协作，则便携式终端2的协作软件进行对被注册的MFPl的通信，调用MFPl的协作软件，请求操作画面的取得。由此，开始协作操作模式，在MFPl的显示部105a和便携式终端2的显示部204中，显示MFP侧的操作画面。另外，也可以在便携式终端2的显示部204中，并行地显示MFP用操作画面和便携式终端用操作画面的双方。
[0128]若用户操作作为在便携式终端2中显示的MFPl的操作画面的远程画面，则表示操作的内容的操作信息被发送至MFP1。若该信息为作业等的执行指示则MFP进行对应的动作。另一方面，在需要根据操作使下一个操作画面显示的情况下，将下一个操作画面的显示用数据发送至便携式终端2。
[0129]在此，若用户从在MFPl的操作面板107的显示部107b中显示的操作画面，指定MFPl内的文件，指示具有文件显示区域的第I操作画面，例如文件的预览画面的显示，则该预览画面在MFPl的显示部107b中被显示。
[0130]如图5所示，文件的预览画面对在MFPl的显示部107b中显示的操作画面Dl设定文件显示区域D2，在该文件显示区域D2中显示用户指定的文件内的数据F1。在该实施方式中假设文件以I页为单位显示，但也可以仅显示I页内的一部分，在页数少的情况下也可以显示全页。
[0131]用户要在大的便携式终端2的显示画面阅览该预览画面的情况下，用户从便携式终端2使协作模式开始，对MFPl指示在操作面板107的显示部107b中显示的画面的取得请求。
[0132]接受了请求的MFPl判断该操作画面是具有文件显示区域的第I操作画面，还是不具有文件显示区域的第2操作画面。
[0133]在是第2操作画面的情况下，压缩该操作画面的显示用数据并发送至便携式终端2。另一方面，在是第I操作画面的情况下，如图5的圆圈数字I所示，压缩并转发操作画面之中的、除文件显示区域D2以外的画面的显示用数据。此时，确定在文件显示区域D2中显示的文件，将该文件的整体压缩并转发至便携式终端2，同时便携式终端2使用被转发的文件再现文件显示区域D2，将用于再现第I操作画面的文件显示区域再现用信息也发送至便携式终端2。
[0134]作为文件显示区域再现用信息，有表示操作画面Dl中的文件显示区域D2的位置的第I位置信息、和表示在文件显示区域D2中显示的数据Fl在文件内的位置的第2位置信息。在该实施方式中，由于在文件显示区域D2中按每页显示文件，因此表示数据Fl在文件内的位置的第2位置信息成为被显示的页信息。
[0135]便携式终端2将接收到的文件等保存至存储部203，同时使用接收到的操作画面显示用数据，将MFPl的操作画面作为远程画面而生成。在不具有文件显示区域的第2操作画面的情况下，基于接收到的操作画面显示用数据生成第2操作画面。
[0136]另一方面，在具有文件显示区域的第I操作画面的情况下，如图5的箭头A所示，将从MFPl接收到的第I操作画面的显示用数据中的文件显示区域D2的位置，使用同样从MFPl接收到的第I位置信息而确定(图5的圆圈数字2)。
[0137]然后，使用同样从MFPl接收到的文件和所述第2位置信息，生成在文件显示区域D2中显示的数据。然后，如箭头B所示，将被生成的数据合成到所述确定的文件显示区域D2的位置上，在显示部204中显示(图5的圆圈数字3)。
[0138]由此，与在MFPl的操作面板107中显示的文件的预览显示画面相同的远程画面在便携式终端2的显示部204中显示。
[0139]在该状态下，若用户通过在便携式终端2 —般可对文件进行操作的例如捏合等的操作，对在文件显示区域D2中显示的数据进行扩大、缩小、翻页等的操作，则在操作后的文件显示区域D2中显示的数据通过便携式终端23被生成。
[0140]也就是说，由于基于第I位置信息或者第2位置信息了解文件显示区域D2的尺寸，因此便携式终端2使用在存储部203中存储的文件，将被扩大或者缩小的数据、或者翻页后的数据与所述文件显示区域D2的尺寸配合而生成。然后，将生成的数据与文件显示区域D2合成，作为第I操作画面在显示部204中显示。
[0141]这样，在该实施方式中，在对第I操作画面Dl中的文件显示区域D2进行了用户操作的情况下，由于使用从MFPl被发送且便携式终端2自身保持的原文件，根据操作生成并显示在文件显示区域D2中应显示的数据，因此，变得不需要如以往那样，在MFPl侧根据操作生成文件显示区域D2用的显示数据，或将该数据从MFPl接收，能够使便携式终端2中的向操作后的画面的切换显示速度高速化。
[0142]而且，由于针对在MFPl侧生成的文件显示区域D2内的显示数据，不需要压缩并发送，或在便携式终端2侧进行扩展，因此能够防止由于压缩/扩展所导致的数据的恶化，能够提高文件的显示精度。另外，在该实施方式中，也可以以压缩的状态进行从MFPl至便携式终端2的文件的发送，但由于文件本身的压缩/扩展所导致的恶化程度与文件显示区域的显示数据的压缩/扩展相比格外小，因此没有问题。
[0143]进而，由于便携式终端2使用原文件生成在文件显示区域D2应显示的数据，因而能够将在便携式终端2侧对一般的文件可使用的操作也对在文件显示区域D2中显示的数据使用，能够实现可使用的操作种类的扩大，成为使用便利性好的系统。
[0144]另外，在以上的例中，表示了首先在MFPl的操作面板2中使预览显示画面显示，并从便携式终端2取得该操作画面的情况，但也可以不在MFPl的操作面板2中使预览显示画面显示，而是通过在协作模式后从便携式终端2指定应显示的文件并请求预览画面的取得，从而使预览画面在便携式终端2中显示。
[0145]此外，也可以从在MFPl的存储部106中存储的多个文档文件之中指定被预览的文件。此外，也可以将通过扫描仪部104读取的原稿的图像数据在读取的同时进行显示。[0146]图6是表示协作操作时中的MFP2的动作的流程图。通过MFPl的CPUlOl按照在R0M102等中存储的动作程序而动作，该动作被执行。
[0147]在步骤SOl中，判断从便携式终端2是否有操作画面的取得请求，若没有则原样结束处理。若有取得请求(步骤SOl中“是”)，则在步骤S02中，判断被请求的是否为具有文件显示区域的第I操作画面。若是第I操作画面(步骤S02中“是”)，则前进至步骤S03，若不是第I操作画面(步骤S02中“否”)，则前进至步骤S08。
[0148]在步骤S03中，根据被请求的操作画面的画面信息确定文件显示区域的位置，同时取得表示被确定的位置的第I位置信息。该位置信息由表示操作画面内的文件显示区域的位置的坐标构成，但希望能够容易且可靠地确定文件显示区域的位置。
[0149]接下来，在步骤S04中，根据画面信息，确定在文件显示区域中显示的原文件和页，同时取得被确定的文件和页信息(第2位置信息)。
[0150]接着，在步骤S05中，判断取得的文件是动态图像或是静止图像，若是静止图像(步骤S05中“静止图像”)，则在步骤S06中进行了预览显示后，前进至步骤S08。另外，在已经进行预览显示的情况下，在步骤S06中原样继续预览显示。在步骤S05中动态图像的情况下(步骤S05中“动态图像”)，在步骤S07中不进行原文件的再现，前进至步骤S08。
[0151]在步骤S08中生成操作画面显示用数据，接下来在步骤S09中发送至便携式终端
2。具体而言，在操作画面是不具有文件显示区域的第2操作画面的情况下，发送第2操作画面的显示用数据。在操作画面是具有文件显示区域的第I操作画面的情况下，发送除文件显示区域以外的第I操作画面的显示用数据、文件本身、表示文件显示区域的位置的第I位置信息、以及表示在文件显示区域中显示的数据在文件内的位置的第2位置信息。
[0152]接下来，在步骤SlO中，在便携式终端2侧进行了扩大、缩小或者翻页等的操作的情况下，判断是否接收到从便携式终端2被发送的、表示在文件显示区域内显示的数据在文件内的位置的第3位置信息。若没有接收(步骤SlO中“否”)，则前进至步骤S12。若接收(步骤SlO中“是”)，则在步骤Sll中，使在操作面板部107的显示部107b中显示的预览画面的文件显示区域内的数据，与在便携式终端2中显示的预览画面的文件显示区域内的数据的尺寸或页等同步后，结束处理。
[0153]在步骤S12中，判断是否从便携式终端2接收到伴随对MFPl的远程画面的操作的操作信息，在接收到的情况下(步骤S12中“是”)，在步骤S13中，进行与操作对应的处理。此时，在与操作对应的处理是向下一个操作画面的迁移的情况下，将迁移后的操作画面显示用数据发送至便携式终端2，便携式终端2显示迁移后的远程画面。在没有接收操作信息的情况下(步骤S12中“否”)，结束处理。
[0154]图7是表示协作操作时的便携式终端2的动作的流程图。该动作通过便携式终端2的CPU201按照在存储部203等中存储的协作应用等而动作，从而被执行。
[0155]在步骤S21中，对MFPl进行了操作画面的取得请求后，在步骤S22中，从MFPl接收数据。
[0156]在步骤S23中，判断操作画面是否是具有文件显示区域的第I操作画面，若是第I操作画面(步骤S23中“是”)，则在步骤S24中，根据从MFPl被发送的第I位置信息确定文件显示区域后，在步骤S25中，判断从MFPl被发送的文件是静止图像还是动态图像。
[0157]若是静止图像(步骤S25中“静止图像”)，则在步骤S26中，基于从MFPl被发送的文件和第2位置信息，生成文件显示区域的显示用数据后，在步骤S27中，将生成的文件显示区域的显示用数据合成到第I操作画面的显示用数据的文件显示区域，并显示第I操作画面。
[0158]另一方面，若是动态图像(步骤S25中“动态图像”)，则在步骤S28中，再现从MFPl被发送的文件，在步骤S29中，将再现的数据与第I操作画面的显示用数据合成，显示第I操作画面。
[0159]在步骤S23中，在操作画面是不具有文件显示区域的第2操作画面的情况下(步骤S23中“否”)，在步骤S31中，基于从MFPl被发送的第2操作画面的显示用数据，再现并显示第2操作画面。
[0160]图8是表示对于在便携式终端2的显示部204中显示的MFPl的远程画面进行了用户操作时的便携式终端2的动作的流程图。该动作通过便携式终端2的CPU201按照在存储部203等中存储的协作应用等而动作，从而被执行。
[0161]在步骤S41中，判断是否对于在显示部204中显示的MFPl的远程画面，进行了扩大、缩小、翻页等的用户操作。若没有进行(步骤S41中“否”)，则结束处理。若进行(步骤S41中“是”)，则在步骤S42中，判断是否是对文件显示区域内的显示数据的操作。能够通过判断是否是在远程画面或文件显示区域的坐标内的操作而容易地判断是否进行了用户操作。
[0162]若不是对文件显示区域内的显示数据的操作(步骤S42中“否”)，则在步骤S47中，将表示进行了操作的操作信息发送至MFP。若是对文件显示区域内的显示数据的操作(步骤S42中“是”)，则在步骤S43中，判断文件是静止图像还是动态图像。在是动态图像的情况下(步骤S43中“动态图像”)，结束处理。在是静止图像的情况下(步骤S43中“静止图像”)，在步骤S44中，使用从MFPl接收且在存储部203中保存的文件，根据操作将文件显示区域内的数据扩大、缩小、或翻页，从而生成对于文件显示区域的显示用数据后，在步骤S45中，将生成的数据合成到第I操作用画面的文件显示区域，并从操作前的数据切换并显示。
[0163]接下来，在步骤S46中，将表示与操作对应地实施了扩大、缩小、或者翻页后在文件显示区域内显示的数据在文件内的位置的第3位置信息，发送至MFP1，并结束处理。
【权利要求】
1.一种图像处理协作系统，具备可相互连接的图像处理装置和便携式终端装置，其特征在于， 所述图像处理装置具备: 显示部件； 操作画面判断部件，在有来自所述便携式终端装置的、在所述显示部件中显示的图像处理装置的操作画面的显示用数据的取得请求时，判断所述操作画面是具有显示文件的全部或者一部分的文件显示区域的第I操作画面，还是不具有文件显示区域的第2操作画面；以及 发送部件，在通过所述操作画面判断部件判断为是第I操作画面的情况下，将除所述文件显示区域以外的第I操作画面的显示用数据、所述文件、以及用于所述便携式终端装置使用该文件再现所述文件显示区域的文件显示区域再现用信息发送至便携式终端装置，在判断为是第2操作画面的情况下，将第2操作画面的显示用数据发送至便携式终端装置， 所述便携式终端装置具备: 取得请求部件，对所述图像处理装置，进行图像处理装置的操作画面的显示用数据的取得请求； 操作画面生成部件，在根据所述取得请求从所述图像处理装置被发送的显示用数据是第I操作画面的显示用数据的情况下，使用从所述图像处理装置发送的所述第I操作画面的显示用数据、文件、文件显示区域再现用信息，生成所述图像处理装置的第I操作画面，在从图像处理装置被发送的显示用数据是第2操作画面的显示用数据的情况下，基于该显示用数据生成所述图像处理装置的第2操作画面； 显示部件，显示通过所述操`作画面生成部件生成的第I或者第2操作画面； 文件保存部件，保存从所述图像处理装置被发送的文件； 操作判断部件，判断是否对在所述显示部件中显示的第I或者第2操作画面进行了用户操作； 通知部件，在通过所述操作判断部件判断为对在第I操作画面内但在文件显示区域外的区域进行了用户操作的情况，或者判断为对第2操作画面进行了用户操作的情况下，将表示进行了操作的操作信息通知至图像处理装置；以及 显示控制部件，在通过所述操作判断部件判断为对在第I操作画面内的文件显示区域进行了用户操作的情况下，使用在所述文件保存部件中保存的文件，将文件显示区域内的显示数据切换为与所述操作对应的数据而显示。
2.如权利要求1所述的图像处理协作系统， 在所述便携式终端装置的文件显示区域再现用信息中，包含表示所述第I操作画面中的文件显示区域的位置的第I位置信息、和表示文件显示区域中显示的数据在文件内的位置的第2位置信息， 所述操作画面生成部件通过将所述文件中的由所述第2位置信息示出的位置的数据合成到由所述第I位置信息示出的文件显示区域的位置上，从而生成第I操作画面。
3.如权利要求1或者2所述的图像处理协作系统， 所述图像处理装置具备:文件存储部件，存储I个或者多个文件；以及文件取得部件，在通过所述操作画面判断部件判断为是第I操作画面的情况下，从所述文件存储部件取得在所述文件显示区域中显示的文件， 所述发送部件将通过所述文件取得部件取得的文件发送至所述便携式终端装置。
4.如权利要求2或者3所述的图像处理协作系统， 所述第I位置信息是所述操作画面中的文件显示区域的坐标。
5.如权利要求2~4的任一项所述的图像处理协作系统， 所述第I操作画面是在文件显示区域内将文件以页单位预览显示的预览显示画面，所述第2位置信息是在文件显示区域中显示的文件的页信息。
6.如权利要求1~5的任一项所述的图像处理协作系统， 所述便携式终端装置的操作判断部件基于所述操作画面中的进行了用户操作的位置的坐标，判断是否进行了用户操作。
7.如权利要求1~6的任一项所述的图像处理协作系统， 所述便携式终端装置的显示控制部件通过将对应于操作的数据合成到由所述第I位置信息示出的文件显示区 域的位置上，从而切换文件显示区域内的显示数据。
8.如权利要求1~7的任一项所述的图像处理协作系统， 所述便携式终端装置在对于在显示部件中显示的操作画面中的文件显示区域，进行了文件显示区域内的显示数据的送页操作、扩大操作、缩小操作的至少其中一个用户操作的情况下，将表示与所述操作对应地在文件显示区域内显示的数据在文件内的位置的第3位置信息通知至所述图像处理装置。
9.如权利要求8所述的图像处理协作系统， 从所述便携式终端装置通知所述第3位置信息时，所述图像处理装置基于所述第3位置信息生成数据并显示于第I操作画面的文件显示区域，以使成为与便携式终端装置侧的文件显示区域内的显示数据相同的显示。
10.一种协作方法，由具备可相互连接的图像处理装置和便携式终端装置的图像处理协作系统执行，其特征在于， 所述图像处理装置执行: 操作画面判断步骤，在有来自所述便携式终端装置的、在显示部件中显示的图像处理装置的操作画面的显示用数据的取得请求时，判断所述操作画面是具有显示了文件的全部或者一部分的文件显示区域的第I操作画面，还是不具有文件显示区域的第2操作画面；以及 发送步骤，在所述操作画面判断步骤中判断为是第I操作画面的情况下，将除所述文件显示区域以外的第I操作画面的显示用数据、所述文件、以及用于所述便携式终端装置使用该文件再现所述文件显示区域的文件显示区域再现用信息发送至便携式终端装置，在判断为是第2操作画面的情况下，将第2操作画面的显示用数据发送至便携式终端装置， 所述便携式终端装置执行: 取得请求步骤，对所述图像处理装置，进行图像处理装置的操作画面的显示用数据的取得请求； 操作画面生成步骤，在根据所述取得请求从所述图像处理装置被发送的显示用数据是第I操作画面的显示用数据的情况下，使用从所述图像处理装置发送的所述第I操作画面的显示用数据、文件、文件显示区域再现用信息，生成所述图像处理装置的第I操作画面，在从图像处理装置被发送的显示用数据是第2操作画面的显示用数据的情况下，基于该显示用数据生成所述图像处理装置的第2操作画面； 显示步骤，在显示部件中显示在所述操作画面生成步骤中生成的第I或者第2操作画面； 文件保存步骤，将从所述图像处理装置被发送的文件保存至文件保存部件； 操作判断步骤，判断是否对在所述显示部件中显示的第I或者第2操作画面进行了用户操作； 通知步骤，在所述操作判断步骤中判断为对在第I操作画面内但在文件显示区域外的区域进行了用户操作的情况，或者判断为对第2操作画面进行了用户操作的情况下，将表示进行了操作的操作信息通知至图像处理装置；以及 显示控制步骤，在所述操作判断步骤中判断为对在第I操作画面内的文件显示区域进行了用户操作的情况下，使用在所述文件保存部件中保存的文件，将文件显示区域内的显示数据切换为与所述操作对应的数据而显示。
11.一种便携式终端装置，其特征在于，具备: 连接部件，用于与图像处理装置连接； 取得请求部件，对通过所述连接部件连接的图像处理装置，进行图像处理装置的操作画面的显示用数据的取得请求； 接收部件，在所述图像处理装置的操作画面是具有显示文件的全部或者一部分的文件显示区域的第I操作画面的情况下，接收根据所述取得请求从所述图像处理装置发送的、除所述文件显示区域以外的第I操作画面的显示用数据、所述文件、用于所述便携式终端装置使用该文件再现所述文件显示区域的文件显示区域再现用信息，在是不具有所述文件显示区域的第2操作画面的情况下，接收根据所述取得请求从所述图像处理装置被发送的第2操作画面的显示用数据； 操作画面生成部件，在通过所述接收部件接收到的显示用数据是第I操作画面的显示用数据的情况下，使用通过所述接收部件接收到的所述第I操作画面的显示用数据、文件、文件显示区域再现用信息，生成所述图像处理装置的第I操作画面，在从图像处理装置发送的显示用数据是第2操作画面的显示用数据的情况下，基于该显示用数据生成所述图像处理装置的第2操作画面； 显示部件，显示通过所述操作画面生成部件生成的第I或者第2操作画面； 文件保存部件，保存通过所述接收部件接收到的文件； 操作判断部件，判断是否对在所述显示部件中显示的第I或者第2操作画面进行了用户操作； 通知部件，在通过所述操作判断部件判断为对在第I操作画面内但在文件显示区域外的区域进行了用户操作的情况，或者判断为对第2操作画面进行了用户操作的情况下，将表示进行了操作的操作信息通知至图像处理装置；以及 显示控制部件，在通过所述操作判断部件判断为对第I操作画面内的文件显示区域进行了用户操作的情况下，使用在所述文件保存部件中保存的文件，将文件显示区域内的显示数据切换为与所述操作对应的数据而显示。
12.如权利要求11所述的便携式终端装置，在所述文件显示区域再现用信息中，包含表示所述第I操作画面中的文件显示区域的位置的第I位置信息、和表示在文件显示区域中显示的数据在文件内的位置的第2位置信息， 所述操作画面生成部件通过将所述文件中的由所述第2位置信息示出的位置的数据合成到由所述第I位置信息示出的文件显示区域的位置上，从而生成第I操作画面。
13.如权利要求12所述的便携式终端装置， 所述第I位置信息是所述操作画面中的文件显示区域的坐标。
14.如权利要求12或者13所述的便携式终端装置， 所述第I操作画面是在文件显示区域内将文件以页单位预览显示的预览显示画面，所述第2位置信息是在文件显示区域中显示的文件的页信息。
15.如权利要求11~14的任一项所述的便携式终端装置， 所述操作判断部件基于所述操作画面中的进行了用户操作的位置的坐标，判断是否进行了用户操作。
16.如权利要求11~15的任一项所述的便携式终端装置， 所述显示控制部件通过将对应于操作的数据合成到由所述第I位置信息示出的文件显示区域的位置上，从而切换文件显示区域内的显示数据。
17.如权利要求11~16的任一项所述的便携式终端装置， 在对于在所述显示部件中显示的操作画面中的文件显示区域，进行了文件显示区域内的显示数据的送页操作、扩大操作、缩小操作的至少其中一个用户操作的情况下，将表示与所述操作对应地在文件显示区域内显示的数据在文件内的位置的第3位置信息通知至所述图像处理装置。
18.一种协作方法，由便携式终端装置执行，其特征在于，具备: 连接步骤:与图像处理装置连接； 取得请求步骤，对所述被连接的图像处理装置，进行图像处理装置的操作画面的显示用数据的取得请求； 接收步骤，在所述图像处理装置的操作画面是具有显示了文件的全部或者一部分的文件显示区域的第I操作画面的情况下，接收根据所述取得请求从所述图像处理装置发送的、除所述文件显示区域以外的第I操作画面的显示用数据、所述文件、用于所述便携式终端装置使用该文件再现所述文件显示区域的文件显示区域再现用信息，在是不具有所述文件显示区域的第2操作画面的情况下，接收根据所述取得请求从所述图像处理装置被发送的第2操作画面的显示用数据； 操作画面生成步骤，在所述接收步骤中接收到的显示用数据是第I操作画面的显示用数据的情况下，使用通过所述接收部件接收到的所述第I操作画面的显示用数据、文件、文件显示区域再现用信息，生成所述图像处理装置的第I操作画面，在从图像处理装置被发送的显示用数据是第2操作画面的显示用数据的情况下，基于该显示用数据生成所述图像处理装置的第2操作画面； 显示步骤，在显示部件中显示所述操作画面生成步骤中生成的第I或者第2操作画面； 保存步骤，将在所述接收步骤中接收到的文件保存至文件保存部件；操作判断步骤，判断是否对在所述显示部件中显示的第I或者第2操作画面进行了用户操作； 通知步骤，在所述操作判断步骤中，判断为对在第I操作画面内但在文件显示区域外的区域进行了用户操作的情况，或者判断为对第2操作画面进行了用户操作的情况下，将表示进行了操作的操作信息通知至图像处理装置；以及 显示控制步骤，在所述操作判断步骤中，判断为对第I操作画面中的文件显示区域进行了用户操作的情况下，使用在所述文件保存部件中保存的文件，将文件显示区域内的显示数据切换为与所述操作对应`的数据而显示。
【文档编号】H04N1/00GK103731581SQ201310480379
【公开日】2014年4月16日 申请日期:2013年10月15日 优先权日:2012年10月15日
【发明者】古川学, 桥本昌也, 长谷淳一, 三缟信广, 鸟越章宏 申请人:柯尼卡美能达株式会社
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1