图像处理程序、图像处理方法以及图像处理装置的制造方法
【专利摘要】本发明的图像处理装置(101)根据从信息处理装置(102)受理了操作输入，来对成为信息处理装置(102)的画面的显示对象的图像进行更新。另外，图像处理装置(101)定期地获取成为信息处理装置(102)的画面的显示对象的图像的图像信息。图像处理装置(101)在获取了连续的两个图像中的先行的图像的图像信息的时刻，不决定是否发送先行的图像的图像信息。图像处理装置(101)在获取了连续的两个图像中的后续的图像的时刻，基于先行的图像的图像信息和后续的图像的图像信息，来决定是否发送先行的图像的图像信息。图像处理装置(101)根据决定为发送这一情况，来发送先行的图像的图像信息。
【专利说明】
图像处理程序、图像处理方法以及图像处理装置
技术领域
[0001]本发明涉及图像处理程序、图像处理方法以及图像处理装置。
【背景技术】
[0002]以往，服务器进行如下处理:根据来自经由网络连接的客户端的用户的操作输入来创建显示于客户端的画面的图像，并将创建的图像的图像信息发送至客户端并显示于客户端的画面。
[0003]作为相关的技术，例如有受理操作，生成表现受理到的操作的内容的操作内容表现信息，并将生成的操作内容表现信息发送至其它信息处理装置的技术。另外，还有服务器在显示窗口的整体之前，将想要显示于客户端终端的多个窗口中的、具有因重叠地显示于画面而成为非显示的区域的窗口的图像数据发出的技术。另外，还有服务器设备以优先执行最近的用户操作的方式来决定指令的发送顺序，客户端设备进行由画面保存指令指定的图像的保存、由画面复原指令指定的图像的重新显示等处理的技术。
[0004]专利文献1:日本特开2011-028501号公报
[0005]专利文献2:日本特开2011-204089号公报
[0006]专利文献3:日本特开2008-129954号公报
[0007]然而，在上述的现有技术中，若频繁地从服务器向客户端发送图像的图像信息，则存在服务器与客户端之间的网络的负荷增大，发送所花费的时间增大或发生数据包丢失的情况。
【发明内容】
[0008]在一个侧面，本发明的目的在于提供一种能够减少网络的负荷的图像处理程序、图像处理方法以及图像处理装置。
[0009]根据本发明的一个方面，提出了基于作为经由网络连接的信息处理装置的画面的显示对象且显示顺序连续的两个图像的每一个图像的图像信息，来决定是否将上述两个图像中的先行的图像的图像信息发送至上述信息处理装置，并根据决定为发送上述先行的图像的图像信息这一情况，来将上述先行的图像的图像信息发送至上述信息处理装置的图像处理程序、图像处理方法以及图像处理装置。
[0010]根据本发明的一个实施方式，起到能够减少网络的负荷的效果。
【附图说明】
[0011]图1是表示本实施方式所涉及的图像处理装置101的一个实施例的说明图。
[0012]图2是表示计算机200的硬件结构例的框图。
[0013]图3是表示图像处理装置101的功能性结构例的框图。
[0014]图4是表示作为信息处理装置102的画面的显示对象的、一系列的图像的一个例子的说明图。
[0015]图5是表示图像处理装置101发送图像信息的一个例子的说明图
[0016]图6是表示图像处理顺序的一个例子的流程图。
[0017]图7是表示判定处理顺序的一个例子的流程图。
[0018]图8是表示显示处理顺序的一个例子的流程图。
【具体实施方式】
[0019]以下，参照附图，对本发明的图像处理程序、图像处理方法以及图像处理装置的实施方式进行详细说明。
[0020](图像处理装置101的一个实施例)
[0021]图1是表示本实施方式的图像处理装置101的一个实施例的说明图。
[0022]在图1中，图像处理装置101是通过执行本实施方式的图像处理程序，来决定是否将成为信息处理装置102的画面的显示对象的图像的图像信息发送至信息处理装置102的计算机。图像处理装置101和信息处理装置102经由网络110连接。
[0023]在这里，图像信息是指用于使图像显示于信息处理装置102的信息。图像信息例如是指表示图像所包含的像素的像素值的信息。另外，图像信息例如也可以是指表示图像整体所包含的像素的像素值的信息，也可以是指表示在信息处理装置102的画面中因显示图像而显示内容被更新的区域所包含的像素的像素值的信息。图像处理装置101例如是作为实现瘦客户端(Thin client)的技术的服务器的计算机。
[0024]所谓的瘦客户端的技术是使服务器存储软件、数据，根据从客户端接收了客户端的用户的操作输入等来创建显示于客户端的画面的图像的图像信息并将该图像信息发送至客户端的技术。瘦客户端的技术具体而言是远程桌面的技术等。
[0025]具体而言，图像处理装置101基于从信息处理装置102接收到的信息处理装置102的用户的操作输入，来执行图像处理装置101所具有的0S(0perating System:操作系统)、CAD(Computer Aided Design:计算机辅助设计)软件等。而且，图像处理装置101将成为信息处理装置102的画面的显示对象的图像的图像信息更新为与操作输入的内容对应的图像的图像信息。另外，图像处理装置101定期地取入与操作输入的内容对应地被更新的、成为信息处理装置102的画面的显示对象的图像的图像信息，然后发送至信息处理装置102。作为图像处理装置101，能够采用笔记本电脑、台式个人计算机、服务器等。
[0026]另外，信息处理装置102是从信息处理装置102接收图像的图像信息，将图像显示在信息处理装置102所具有的画面上的计算机。信息处理装置102例如是成为利用瘦客户端的技术的客户端的计算机。
[0027]具体而言，信息处理装置102将信息处理装置102的用户的操作输入发送至信息处理装置102，并接收与操作输入的内容对应的图像的图像信息，从而将图像显示在信息处理装置102所具有的画面上。作为信息处理装置102，能够采用笔记本电脑、台式个人计算机、移动电话机、智能手机、PHS(Personal Handyphone System:个人手持电话系统)、平板型终端等。
[0028]在图1的例子中，以信息处理装置102在信息处理装置102的画面上显示有用于浏览网页的浏览器的图像的情况为例。在这里，信息处理装置102受理在浏览器的图像中选择表示菜单的菜单栏中的文件(F)的选项的、来自信息处理装置102的用户的操作输入，并将该输入操作发送至图像处理装置101。
[0029]另一方面，若图像处理装置101接收操作输入，则按照图像#1—图像#2—图像#3的顺序，对成为信息处理装置102的画面的显示对象的图像进行更新。在这里，图像#1是以白黑反转的方式显示了菜单栏的文件(F)的选项的浏览器的图像。图像#2是以半透明的方式显示了表示与文件(F)的选项相关的子菜单的弹出的浏览器的图像。图像#3是显示了表示与文件(F)的选项相关的子菜单的弹出的浏览器的图像。另外，图像处理装置101定期地获取按照图像#1 —图像#2—图像#3的顺序进行更新的、成为信息处理装置102的画面的显示对象的图像的图像信息，来决定是否发送图像信息。
[0030]具体而言，(I)图像处理装置101获取浏览器的图像#1的图像信息。此时，图像处理装置101在接着浏览器的图像#1获取成为显示对象的浏览器的图像#2的图像信息之前，不将浏览器的图像#1的图像信息发送至信息处理装置102，而是待机。
[0031](2)图像处理装置101获取浏览器的图像#2的图像信息。接下来，图像处理装置101基于浏览器的图像#1和浏览器的图像#2，来决定是否发送浏览器的图像#1。
[0032]更具体而言，图像处理装置101在浏览器的图像#1与浏览器的图像#2相似的情况下，决定为不发送浏览器的图像#1的图像信息。另外，图像处理装置101在浏览器的图像#1与浏览器的图像#2不相似的情况下，决定为发送浏览器的图像#1的图像信息。
[0033]在这里，图像处理装置101由于浏览器的图像#1与浏览器的图像#2不相似，所以决定为发送浏览器的图像#1的图像信息，从而将浏览器的图像#1的图像信息发送至信息处理装置102。
[0034]此时，图像处理装置101在接着浏览器的图像#2获取成为显示对象的浏览器的图像#3的图像信息之前，不将浏览器的图像#2的图像信息发送至信息处理装置102，而是待机。
[0035](3)图像处理装置101获取浏览器的图像#3的图像信息。接下来，图像处理装置101基于浏览器的图像#2和浏览器的图像#3，来决定是否发送浏览器的图像#2的图像信息。
[0036]在这里，图像处理装置101由于浏览器的图像#2与浏览器的图像#3相似，所以决定为不发送浏览器的图像#2的图像信息，不发送浏览器的图像#2的图像信息而放弃。
[0037]此时，图像处理装置101在接着浏览器的图像#3获取成为显示对象的浏览器的图像#4(未图示)的图像信息之前，不将浏览器的图像#3的图像信息发送至信息处理装置102，而是待机。
[0038]由此，图像处理装置101能够减少向信息处理装置102发送的数据量，并能够抑制图像处理装置101与信息处理装置102之间的网络110的拥挤。另外，由于图像处理装置101省略被相似的后续的图像覆盖的先前的图像的图像信息的发送，所以能够减少在信息处理装置102的画面更新时信息处理装置102的用户感受到的不协调感。
[0039]因此，图像处理装置101即使在与信息处理装置102之间是以低品质的网络110被连接的情况下，也能够抑制因数据包丢失而放弃图像的图像信息导致信息处理装置102的画面更新中断。另外，图像处理装置101即使在与信息处理装置102之间是以低品质的网络110被连接的情况下，也能够抑制待发送的数据包的产生，从而抑制针对信息处理装置102的响应性能的降低。
[0040](计算机200的硬件结构例)[0041 ]接下来，使用图2，对实现图像处理装置101或者信息处理装置102的计算机200的硬件结构例进行说明。
[0042]图2是表示计算机200的硬件结构例的框图。在图2中，计算机200具备CPlKCentralProcessing Unit:中央处理器)201、R0M(Read Only Memory:只读存储器)202、以及RAM(Random Access Memory:随机存储器)203。
[0043]另外，计算机200具备磁盘驱动器(Hard Disk Drive)204、磁盘205、光盘驱动器206、以及光盘207。另外，计算机200具备显示器208、接口(I/F:1nterface)209、键盘210、鼠标211、扫描仪212、以及打印机213。另外，各结构部分别通过总线220连接。
[0044]在这里，CHJ201管理计算机200的整体的控制。R0M202存储有引导程序等程序。R0M202在计算机200实现图像处理装置101的情况下，至少存储有本实施方式的图像处理程序。RAM203作为CPU201的工作区域来使用。RAM203也可以包含VRAM(Video RAM:视频RAM)。RAM203例如对与操作输入的内容对应地被更新的、成为信息处理装置102的画面的显示对象的图像的图像信息进行存储。
[0045]磁盘驱动器204根据CPU201的控制，来控制针对磁盘205的数据的读/写。磁盘205对通过磁盘驱动器204的控制而写入的数据进行存储。
[0046]光盘驱动器206根据CPU201的控制，来控制针对光盘207的数据的读/写。光盘207对通过光盘驱动器206的控制而写入的数据进行存储，或将存储于光盘207的数据读取到计算机200。
[0047]显示器208主要显示光标、图标或工具箱，还显示文档、图像、功能信息等数据。该显示器208例如能够采用液晶显示器、等离子显示器等。
[0048]I/F209通过通信线路与LAN(Local Area Network:局域网)、WAN(Wide AreaNetwork:广域网)、因特网等网络214连接，经由该网络214与其它装置连接。而且，I/F209管理网络214和内部的接口，对来自外部装置的数据的输入输出进行控制。I/F209例如能够采用调制解调器、LAN适配器等。
[0049]键盘210具备用于字母、数字、各种指示等的输入的键，进行数据的输入。另外，也可以是触摸面板式的输入板、数字键等。鼠标211进行光标的移动、范围选择、或窗口的移动、尺寸的变更等。作为定位设备，只要具备相同功能，也可以是跟踪球、操纵杆等。
[0050]扫描仪212对图像进行光学读取，将图像数据取入到计算机200内。此外，扫描仪212也可以具有0CR(0ptical Character Reader:光学字符阅读器)功能。另外，打印机213对图像数据、文档数据进行打印。打印机213例如能够采用激光打印机、喷墨打印机。另外，也可以不具有光盘驱动器206、光盘207、显示器208、键盘210、鼠标211、扫描仪212、以及打印机213的至少任意一个。
[0051](图像处理装置101的功能性结构例)
[0052]接下来，使用图3，对图像处理装置101的功能性结构例进行说明。图3是表示图像处理装置101的功能性结构例的框图。图像处理装置101作为成为控制部的功能，包含获取部301、决定部302以及发送部303。
[0053]获取部301定期地获取表示信息处理装置102的画面的图像的图像信息，该信息处理装置102的画面根据来自经由网络110连接的信息处理装置102的操作输入而被更新显示内容。在这里，所谓的操作输入是信息处理装置102的用户使用信息处理装置102的鼠标、键盘等输入的信息。所谓的操作输入例如是网页的显示请求。另外，所谓的操作输入例如是针对CAD软件等软件的指令。另外，所谓的操作输入例如是视频的播放请求。所谓的画面是信息处理装置102的显示器上的显示区域。显示器上的显示区域可以是显示器上的整体，也可以是显示器上的一部分。所谓的表示信息处理装置102的画面的图像是作为信息处理装置102的画面的显示对象的图像。
[0054]所谓的图像信息是用于使信息处理装置102显示图像的信息。所谓的图像信息例如是表示图像所包含的像素的像素值的信息。另外，所谓的图像信息例如可以是表示图像整体所包含的像素的像素值的信息，也可以是表示信息处理装置102的画面中因显示图像而显示内容被更新的区域所包含的像素的像素值的信息。所谓的定期地获取是每隔规定的时间获取。规定的时间例如可以是基于帧率计算的固定的时间，也可以是基于帧率计算的可变的时间。
[0055]获取部301例如在获取到到图像信息的情况下，若与之前获取的图像信息没有变化，则待机与帧率相同的间隔的量，之后移至下一个图像信息的获取。另外，获取部301例如在获取了图像信息的情况下，若与之前获取到的图像信息发生变化，则待机比帧率短的间隔的量，之后移至下一个图像信息的获取。
[0056]获取部301例如定期地访问并获取被存储于RAM203、磁盘205、光盘207等存储区域并根据操作输入而内容被更新的、图像的图像信息。由此，获取部301能够获取成为信息处理装置102的画面的显示对象的图像的图像信息。获取到的数据例如被存储于RAM203、磁盘205、光盘207等存储区域。获取部301例如通过使CPU201执行存储于图2所示的R0M202、RAM203、磁盘205、光盘207等存储装置的程序，来实现该功能。
[0057]决定部302基于作为信息处理装置102的画面的显示对象，且显示顺序连续的两个图像的每一个图像的图像信息，来决定是否将两个图像中的先行的图像的图像信息发送至信息处理装置102。在这里，所谓的显示顺序是决定是否发送图像信息的顺序。所谓的显示顺序例如是被获取部301获取的顺序。所谓先行的图像是两个图像中的显示顺序靠前的图像。所谓先行的图像例如是两个图像中的先获取的图像。
[0058]决定部302例如对连续地获取了图像信息的两个图像的每一个，基于两个图像的每一个图像的图像信息，来决定是否发送两个图像中的先行的图像的图像信息。例如在获取部301获取了先行的图像的情况下，决定部302在获取部301获取与先行的图像连续的后续的图像之前待机，并基于先行的图像和后续的图像两个图像的每一个图像的图像信息，来决定是否发送先行的图像的图像信息。
[0059]具体而言，决定部302基于各个图像信息，来计算两个图像的相似度，并基于计算出的相似度，来决定是否将先行的图像的图像信息发送至信息处理装置102。相似度例如是LI范数(norm)、L2范数等。另外，相似度例如也可以是PSNR(Peak Signalto Noise Rat1:峰值信噪比)、SSIM(Structural SIMilarity:结构相似性)等。
[0060]在这里，LI范数以及L2范数的值越小，表示两个图像越相似。PSNR以及SS頂的值越大，表示两个图像越相似。LI范数、L2范数以及PSNR取O?OQ的值。SS頂取O?I的值。
[0061]更具体而言，决定部302基于各个图像信息来计算LI范数，并在计算出的LI范数小于规定值的情况下，因两个图像相似而决定为不发送先行的图像的图像信息。另外，决定部302在计算出的LI范数是规定值以上的情况下，因两个图像不相似而决定为发送先行的图像的图像信息。换言之，决定部302在先行的图像成为显示对象之后相似的后续的图像成为显示对象的情况下，决定为不发送先行的图像的图像信息。由此，决定部302能够在即使信息处理装置102省略先行的图像的显示，信息处理装置102的用户感受到的不协调感也较少时，决定为不发送先行的图像的图像信息。
[0062]具体而言，决定部302确定信息处理装置102的画面中因将先行的图像显示于信息处理装置102的画面而显示内容被变更的第一区域。另外，决定部302确定信息处理装置102的画面中因将两个图像中的后续的图像显示于信息处理装置102的画面而显示内容被变更的第二区域。接下来，决定部302根据第一区域被包含于第二区域，决定为不发送先行的图像的图像信息。
[0063]更具体而言，决定部302基于最后发送出的图像的图像信息和获取部301获取到的先行的图像的图像信息，确定信息处理装置102的画面中因将先行的图像显示于画面而显示内容被更新的第一区域。另外，决定部302基于最后发送出的图像的图像信息和获取部301获取到的后续的图像的图像信息，确定信息处理装置102的画面中因将后续的图像显示于画面而显示内容被更新的第二区域。接下来，决定部302根据第一区域被包含于第二区域，决定为不发送先行的图像的图像信息。另外，决定部302根据第一区域未被包含于第二区域，判定为发送先行的图像的图像信息。换言之，决定部302在先行的图像被后续的图像覆盖的情况下，决定为不发送先行的图像的图像信息。由此，决定部302能够在即使信息处理装置102省略先行的图像的显示，信息处理装置102的用户感受到的不协调感也较少时，决定为不发送先行的图像的图像信息。
[0064]另外，具体而言，决定部302基于两个图像的相似度、以及第一区域是否被包含于第二区域，来决定是否发送先行的图像的图像信息。更具体而言，决定部302根据LI范数小于规定值并且第一区域被包含于第二区域，决定为不发送先行的图像的图像信息。另外，决定部302根据LI范数是否是规定值以上、或者第一区域未被包含于第二区域，决定为发送先行的图像的图像信息。换言之，决定部302在先行的图像被相似的后续的图像覆盖的情况下，决定为不发送先行的图像的图像信息。由此，决定部302能够在即使信息处理装置102省略先行的图像的显示，信息处理装置102的用户感受到的不协调感也较少时，决定为不发送先行的图像的图像信息。
[0065]另外，决定部302测量距离最后受理操作输入的经过时间，并根据测量出的经过时间是规定时间以上，决定为将先行的图像的图像信息发送至信息处理装置102。决定部302例如不管两个图像的相似度如何、以及第一区域是否包含于第二区域，只要经过时间是规定时间以上就决定为发送先行的图像的图像信息。由此，决定部302能够在显示相似的一系列的图像、或受理了画面中只有同一区域被持续更新的视频的播放请求等操作输入的情况下，发送图像的图像信息。
[0066]另外，决定部302对连续地决定为不发送图像信息的次数进行计数。接下来，决定部302根据计数出的次数是规定次数以上，决定为将先行的图像的图像信息发送至信息处理装置102。在这里，所谓的规定次数例如可以是固定的次数，也可以是可变的次数。在以下的说明中，存在将计数出的次数记作“发送取消次数”的情况。另外，存在将规定次数记作“最大发送取消次数”的情况。
[0067]决定部302例如不管两个图像的相似度如何、以及第一区域是否被包含于第二区域，只要次数是规定次数以上就决定为发送先行的图像的图像信息。由此，决定部302能够在显示相似的一系列的图像、或受理了画面中只有同一区域被持续更新的视频的播放请求等操作输入的情况下，发送图像的图像信息。决定结果例如被存储于RAM203、磁盘205、光盘207等存储区域。决定部302例如通过使CPU201执行存储于图2所示的R0M202、RAM203、磁盘205、光盘207等存储装置的程序，来实现该功能。
[0068]发送部303根据决定为发送先行的图像的图像信息，将先行的图像的图像信息发送至信息处理装置102。在这里，所发送的图像信息例如是表示由获取部301获取到的图像整体所包含的像素的像素值的信息。另外，所发送的图像信息例如也可以是根据表示图像整体所包含的像素的像素值的信息创建的、表示信息处理装置102的画面中因显示图像而显示内容被更新的区域所包含的像素的像素值的信息。
[0069]由此，发送部303能够使先行的图像显示于信息处理装置102的画面。另外，由于发送部303根据决定为不发送，而不将先行的图像的图像信息发送至信息处理装置102，所以能够减少向信息处理装置102发送的数据量。因此，发送部303能够抑制图像处理装置101与信息处理装置102之间的网络110的拥挤。发送部303例如通过使CPU201执行存储于图2所示的R0M202、RAM203、磁盘205、光盘207等存储装置的程序、或者通过I/F209，来实现该功能。
[0070](图像处理装置101的图像处理的一个例子)
[0071]接下来，使用图4以及图5，对图像处理装置101的图像处理的一个例子进行说明。
[0072]图4是表示成为信息处理装置102的画面的显示对象的、一系列的图像的一个例子的说明图。在图4的例子中，以图像处理装置101在从信息处理装置102受理了成为第一窗口的下拉菜单的显示请求的操作输入后，受理了成为与第一窗口不同的第二窗口的显示请求的操作输入的情况为例。
[0073]在该情况下，图像处理装置101按照图像#1 —图像#2—图像#3—图像#4—图像#5的顺序对成为信息处理装置102的画面的显示对象的图像进行更新。图像#1是显示有包含下拉菜单的菜单栏的第一窗口的图像。
[0074]图像#2是表示下拉菜单被动画显示的情况的、显示出下拉菜单的下段的图像。图像#3是表示下拉菜单被动画显示的情况的、显示出下拉菜单的中段到最下段的图像。图像#4是表示下拉菜单被动画显示的情况的、显示出下拉菜单的上段到下段的图像。
[0075]图像#5是在第一窗口之上显示了第二窗口的图像。在以下的说明中，存在将在图像#1之前显示出的图像(未图示)记作“图像#0”的情况。另外，存在将在图像#3之后成为显示对象的图像(未图示)记作“图像#4”的情况。
[0076]图5是表示图像处理装置101发送图像信息的一个例子的说明图。在图5的例子中，图像处理装置101定期地获取按照(图像#0—)图像#1 —图像#2—图像#3—图像#4—图像#5的顺序进行更新的、成为信息处理装置102的画面的显示对象的图像的图像信息。
[0077]为了简化说明，图像处理装置101逐一获取图像#1?5的各个图像的图像信息。而且，图像处理装置101决定是否将用于将成为信息处理装置102的画面的显示对象的图像显示于画面的信息发送至信息处理装置102。
[0078](11)图像处理装置101在获取到图像#1的图像信息的时刻不决定是否将用于将图像#1的图像显示于画面的信息发送至信息处理装置102，而是在获取到图像#2的图像信息的时刻决定是否发送。
[0079]图像处理装置101例如基于之前获取到的图像#0(未图示)的图像信息和之前获取到的图像#1的图像信息，来确定画面中因将图像#1显示于画面而显示内容被变更的第一区域。另外，图像处理装置101基于图像#1的图像信息和获取到的图像#2的图像信息，来确定画面中因将图像#2显示于画面而显示内容被变更的第二区域。接下来，图像处理装置101基于图像#1的图像信息和图像#2的图像信息，来计算LI范数，作为图像#1与图像#2的相似度。
[0080]而且，图像处理装置101决定第一区域是否被包含于第二区域，并且相似度是否是规定值以上。在这里，因为第一区域未被包含于第二区域，所以图像处理装置101决定为发送用于显示图像#1的信息。因此，图像处理装置101将图像#1的图像信息与之前的图像#0(未图示)的图像信息的差量信息#10代替图像#1的图像信息发送至信息处理装置102。
[0081](12)图像处理装置101在获取到图像#2的图像信息的时刻不决定是否将用于将图像#2的图像显示于画面的信息发送至信息处理装置102，而是在获取到图像#3的图像信息的时刻决定是否发送。
[0082]图像处理装置101例如基于图像#1的图像信息与图像#2的图像信息，来确定画面中因将图像#2显示于画面而显示内容被变更的第一区域。另外，图像处理装置101基于图像#2的图像信息与图像#3的图像信息，来确定画面中因将图像#3显示于画面而显示内容被变更的第二区域。接下来，图像处理装置101基于图像#2的图像信息和图像#3的图像信息，来计算LI范数，作为图像#2与图像#3的相似度。
[0083]而且，图像处理装置101决定第一区域是否被包含于第二区域，并且相似度是否是规定值以上。在这里，由于第一区域被包含于第二区域，并且相似度是规定值以上，所以图像处理装置101决定为不发送用于显示图像#2的信息。因此，图像处理装置101不发送图像#2的图像信息与之前的图像#1的图像信息的差量信息#21。
[0084](13)图像处理装置101在获取到图像#3的图像信息的时刻不决定是否将用于将图像#3的图像显示于画面的信息发送至信息处理装置102，而是在获取到图像#4的图像信息的时刻决定是否发送。
[0085]图像处理装置101例如基于图像#2的图像信息和图像#3的图像信息，来确定画面中因将图像#3显示于画面而显示内容被变更的第一区域。另外，图像处理装置101基于图像#3的图像信息和图像#4的图像信息，来确定画面中因将图像#4显示于画面而显示内容被变更的第二区域。接下来，图像处理装置101基于图像#3的图像信息和图像#4的图像信息，来计算LI范数，作为图像#3与图像#4的相似度。
[0086]而且，图像处理装置101决定第一区域是否被包含于第二区域，并且相似度是否是规定值以上。在这里，由于第一区域被包含于第二区域，并且相似度是规定值以上，所以图像处理装置101决定为不发送用于显示图像#3的信息。因此，图像处理装置101不发送图像#3的图像信息与之前的图像#2的图像信息的差量信息#32。
[0087](14)图像处理装置101在获取到图像#4的图像信息的时刻不决定是否将用于将图像#4的图像显示于画面的信息发送至信息处理装置102，而是在获取到图像#5的图像信息的时刻决定是否发送。
[0088]图像处理装置1I例如基于图像#3的图像信息和图像#4的图像信息，来确定画面中因将图像#4显示于画面而显示内容被变更的第一区域。另外，图像处理装置101基于图像#4的图像信息和图像#5的图像信息，来确定画面中因将图像#5显示于画面而显示内容被变更的第二区域。接下来，图像处理装置101基于图像#4的图像信息和图像#5的图像信息，来计算LI范数，作为图像#4与图像#5的相似度。
[0089]而且，图像处理装置101决定第一区域是否包含于第二区域，并且相似度是否是规定值以上。在这里，由于第一区域未被包含于第二区域，所以图像处理装置101决定为发送用于显示图像#4的信息。因此，图像处理装置101将图像#4的图像信息与图像#3的图像信息的差量信息#43代替图像#4的图像信息发送至信息处理装置102。
[0090](15)图像处理装置101在获取到图像#5的图像信息的时刻不决定是否将用于将图像#5的图像显示于画面的信息发送至信息处理装置102。由此，图像处理装置101能够减少向信息处理装置102发送的数据量，并能够抑制图像处理装置101与信息处理装置102之间的网络110的拥挤。
[0091]因此，图像处理装置101能够抑制与信息处理装置102之间以低品质的网络110连接的情况下的、数据包丢失的发生，并能够抑制信息处理装置102的画面更新中断。另外，图像处理装置101抑制与信息处理装置102之间以低品质的网络110连接的情况下的、数据包的待发送的发生，从而能够抑制针对信息处理装置102的响应性能的降低。
[0092](图像处理顺序的一个例子)
[0093]接下来，使用图6，对图像处理装置101的图像处理顺序的一个例子进行说明。
[0094]图6是表示图像处理顺序的一个例子的流程图。在图6中，图像处理装置101判定是否经由网络110与信息处理装置102已经连接(步骤S601)。在这里，在未连接的情况下(步骤S601:否)，图像处理装置101返回到步骤S601的处理。
[0095]另一方面，在已连接的情况下(步骤S601:是)，图像处理装置101获取表示根据操作输入来更新显示内容的画面的图像的图像信息，对成为画面的显示对象的图像的图像信息Cap进行更新(步骤S602)。
[0096]接下来，图像处理装置101判定最后发送出的图像的图像信息Sent与成为画面的显示对象的图像信息Cap是否存在差量(步骤S603)。在这里，在没有差量的情况下(步骤S603:否)，图像处理装置101待机第一间隔的量(步骤S604)，返回到步骤S602的处理。
[0097]第一间隔例如是与帧率相同的间隔。在以下的说明中，存在将与帧率相同的间隔记作“规定间隔”的情况。另外，第一间隔也可以是在决定为不发送之前的图像信息的情况下为规定间隔的一半的间隔，在决定为发送之前的图像信息的情况下为规定间隔的、可变的间隔。
[0098]另一方面，在存在差量的情况下(步骤S603:是)，图像处理装置101待机第二间隔的量(步骤S605)，获取表示画面的图像的图像信息，对下一个成为画面的显示对象的图像的图像信息Next进行更新(步骤S606)。
[0099]在这里，第二间隔是规定间隔以下的间隔，以便信息处理装置102中的画面更新的间隔不延迟。第二间隔也可以是在决定为不发送之前的图像信息的情况下为规定间隔的一半的间隔，在决定为发送之前的图像信息的情况下为规定间隔的、可变的间隔。
[0100]接下来，图像处理装置101判定是否发送成为画面的显示对象的图像的图像信息Cap(步骤S607)。有关判定是否发送图像信息Cap的判定处理，使用图7后述。
[0101]在这里，在不发送的情况下(步骤S607:否)，图像处理装置101利用下一个成为画面的显示对象的图像的图像信息Next，对成为画面的显示对象的图像的图像信息Cap进行更新(步骤S608)，返回到步骤S605的处理。
[0102]另一方面，在发送的情况下(步骤S607:是)，图像处理装置101对最后发送出的图像的图像信息Sent与成为画面的显示对象的图像的图像信息Cap的差量进行压缩(步骤S609)，将压缩后的信息发送至信息处理装置102(步骤S610)。
[0103]接下来，图像处理装置101利用成为画面的显示对象的图像的图像信息Cap，对最后发送出的图像的图像信息Sent进行更新(步骤S611)。而且，图像处理装置101对最大发送取消次数CountMax进行调整(步骤S612)，返回到步骤S602的处理。
[0104]在步骤S612中，例如，图像处理装置101通过计算式“max(l_RTT，DataSize/BW)XFPS”，计算最大发送取消次数CountMax。
[0105]在这里，max(X，y)是选择变量x和变量y中成为最大的一个变量来输出的函数。RTT是发生了数据包丢失时的延迟时间[秒]AataSize是最后发送出的信息的数据量[字节]。BW是带宽[字节/秒]。FPS是帧率，是每I秒的画面更新的次数[次/秒]。RTT、BW等也可以作为网络信息从信息处理装置102接收。
[Ο?Ο?] 具体而言，在虚拟桌面环境下,DataSize = 100[ΚΒ(千字节)]，FPS = 33[次/秒]。另外，在网络环境下，RTT = 0.15 [秒]，BW = 2 [MB(兆字节)/秒]。在该情况下，最大发送取消次数CountMax为28次。
[0?07] 另外，在虚拟桌面环境下，DataSize = 400[KB]，FPS = 10[次/秒]。另外，在网络环境下，RTT = 0.3 [秒]，BW=500 [KB/秒]。在该情况下，最大发送取消次数CountMax为8次。
[0108](判定处理顺序的一个例子)
[0109]接下来，使用图7，对图6的步骤S607所示的图像处理装置1I的判定处理顺序的一个例子进行说明。
[0110]图7是表示判定处理顺序的一个例子的流程图。在图7中，图像处理装置101基于成为画面的显示对象的图像的图像信息Cap和下一个成为画面的显示对象的图像的图像信息Next，来计算LI范数，作为相似度(步骤S701)。
[0111]接下来，图像处理装置101判定相似度是否小于规定值(步骤S702)。在这里，在相似度小于规定值的情况下(步骤S702: Yes)，图像处理装置101移至步骤S706的处理。
[0112]另一方面，在相似度并不小于规定值的情况下(步骤S702:否)，图像处理装置101判定距离最后的操作输入是否经过了 200ms以上(步骤S703)。在这里，在经过了 200ms的情况下(步骤S703:是)，图像处理装置101移至步骤S706的处理。
[0113]另一方面，在未经过200ms的情况下(步骤S703:否)，图像处理装置101判定发送取消次数Count是否大于最大发送取消次数CountMax(步骤S704)。在这里，在发送取消次数Count较大的情况下(步骤S704:是)，图像处理装置101对Count设定为0(步骤S705)，决定为发送成为画面的显示对象的图像的图像信息Cap(步骤S706)，结束判定处理。
[0114]另一方面，在发送取消次数Count不大的情况下(步骤S704:否)，图像处理装置101对Count设定为Count+1(步骤S707)，决定为不发送成为画面的显示对象的图像的图像信息Cap (步骤S708)，结束判定处理。
[0115]在这里，也可以代替步骤S701，图像处理装置101确定在基于图像信息Cap进行画面更新的情况下显示内容被更新的第一区域、和基于图像信息Next进行画面更新的情况下显示内容被更新的第二区域。另外，也可以代替步骤S702，图像处理装置101判定第一区域是否不被包含于第二区域。在这里，图像处理装置101在第一区域被包含于第二区域的情况下移至步骤S703的处理，在第一区域不被包含于第二区域的情况下移至步骤S708的处理。
[0116](显示处理顺序的一个例子)
[0117]接下来，使用图8，对信息处理装置102的显示处理顺序的一个例子进行说明。
[0118]图8是表示显示处理顺序的一个例子的流程图。在图8中，信息处理装置102判定是否经由网络110与图像处理装置101已经连接(步骤S801)。在这里，在未连接的情况下(步骤S801:否)，信息处理装置102返回到步骤S801的处理。
[0119]另一方面，在已连接的情况下(步骤S801:是)，信息处理装置102判定是否接收到图像的图像信息(步骤S802)。在这里，在未接收到图像信息的情况下(步骤S802:否)，信息处理装置102返回到步骤S802的处理。
[0120]另一方面，在接收到图像信息的情况下(步骤S802:是)，信息处理装置102基于接收到的图像信息，将图像显示于信息处理装置102的画面(步骤S803)。接下来，信息处理装置102将网络信息发送至图像处理装置101(步骤S804)，返回到步骤S802的处理。
[0121]如以上说明的那样，根据图像处理装置101，能够基于信息处理装置102的画面的显示对象且显示顺序连续的两个图像的每一个图像的图像信息，来决定是否将先行的图像的图像信息发送至信息处理装置102。由此，图像处理装置101在即使信息处理装置102省略先行的图像的显示，信息处理装置102的用户感受到的不协调感也较少时，省略先行的图像的图像信息的发送，而能够减少所发送的数据量。
[0122]作为结果，图像处理装置101能够减少网络的负荷，并能够高效地使用网络。另外，图像处理装置101能够减少信息处理装置102的处理负荷。另外，图像处理装置101能够抑制因数据包丢失而放弃图像的图像信息而导致信息处理装置102的画面更新中断。另外，图像处理装置101抑制待发送的数据包的产生，从而能够抑制针对信息处理装置102的响应性能的降低。
[0123]另外，图像处理装置101能够抑制图像处理装置101与信息处理装置102之间以低品质的网络连接的情况下等的、网络的拥挤的发生。另外，图像处理装置101能够抑制图像处理装置101与信息处理装置102之间以随着发送数据量的增加而使用费用增加的网络连接的情况下的、网络的使用费用的增加。
[0124]另外，根据图像处理装置101，能够基于各个图像信息，来计算两个图像的相似度，并基于计算出的相似度，来决定是否将先行的图像的图像信息发送至信息处理装置102。换言之，在先行的图像成为了显示对象之后，在与先行的图像相似的后续的图像成为显示对象的情况下，图像处理装置101决定为不发送先行的图像的图像信息。由此，图像处理装置101能够在即使信息处理装置102省略先行的图像的显示，信息处理装置102的用户感受到的不协调感也较少时，决定为不发送先行的图像的图像信息。
[0125]另外，根据图像处理装置101，能够根据因先行的图像而显示内容被变更的区域被包含于因后续的图像而显示内容被变更的区域，决定为不发送先行的图像的图像信息。换言之，图像处理装置101能够在先行的图像被后续的图像覆盖的情况下，决定为不发送先行的图像的图像信息。由此，图像处理装置101能够在即使信息处理装置102省略先行的图像的显示，信息处理装置102的用户感受到的不协调感也较少时，决定为不发送先行的图像的图像信息。
[0126]另外，根据图像处理装置101，能够定期地获取表示根据来自信息处理装置102的操作输入而显示内容被更新的画面的图像的图像信息，并对连续地获取了图像信息的两个图像的每一个决定是否发送先行的图像的图像信息。由此，图像处理装置101能够对显示顺序连续的一系列的图像的各个图像，决定是否发送图像信息。
[0127]另外，根据图像处理装置101，能够测量距离最后受理操作输入的经过时间，并根据测量出的经过时间是规定时间以上，决定为将先行的图像的图像信息发送至信息处理装置102。由此，图像处理装置101能够在显示相似的一系列的图像、或受理了画面中只有同一区域被持续更新的视频的播放请求等操作输入的情况下，发送图像的图像信息。
[0128]另外，根据图像处理装置101，能够对连续地决定为不发送图像信息的次数进行计数，并根据计数出的次数是规定次数以上，决定为将先行的图像的图像信息发送至信息处理装置102。由此，图像处理装置101能够在显示相似的一系列的图像，或受理了画面中只有同一区域被持续更新的视频的播放请求等操作输入的情况下，发送图像的图像信息。
[0129]在这里，以往的图像处理装置考虑定期地获取成为信息处理装置102的画面的显示对象的图像的图像信息，并且每次获取图像信息必须发送的情况。然而，在该情况下，存在网络的负荷增大，发生数据包丢失的情况。
[0130]因此，以往的图像处理装置在想要发送图4所示的各个图像的图像信息的情况下，存在因图像#4的图像信息数据包丢失，而在图像#3被显示在信息处理装置的画面的状态下停止一定时间的情况。因此，存在信息处理装置的用户对信息处理装置的图像更新感受到不协调感的情况。
[0131]另一方面，本实施方式的图像处理装置101在即使信息处理装置102省略先行的图像的显示，信息处理装置102的用户感受到的不协调感也较少时，省略先行的图像的图像信息的发送，从而能够减少所发送的数据量。因此，本实施方式的图像处理装置101能够抑制信息处理装置102的画面更新中断。
[0132]此外，在本实施方式中说明的图像处理方法能够通过由个人计算机、工作站等计算机执行预先准备的程序来实现。本图像处理程序被记录于硬盘、软盘、CD_R0M、M0、DVD等可由计算机读取的记录介质，通过由计算机从记录介质中读出而被执行。而且，本图像处理程序也可以经由因特网等网络110分配。
[0133]附图标记说明
[0134]101…图像处理装置；102…信息处理装置;301…获取部;302…决定部;303…发送部。
【主权项】
1.一种图像处理程序，其特征在于， 使计算机执行如下处理: 基于作为经由网络连接的信息处理装置的画面的显示对象且显示顺序连续的两个图像的每一个图像的图像信息，来决定是否将所述两个图像中的先行的图像的图像信息发送至所述信息处理装置；以及 根据决定为发送所述先行的图像的图像信息这一情况，来将所述先行的图像的图像信息发送至所述信息处理装置。2.根据权利要求1所述的图像处理程序，其特征在于， 使所述计算机执行如下的处理:基于所述每一个图像的图像信息，来计算所述两个图像的相似度， 所述决定的处理基于计算出的所述相似度，来决定是否将所述先行的图像的图像信息发送至所述信息处理装置。3.根据权利要求1或2所述的图像处理程序，其特征在于， 使所述计算机执行如下处理:确定在所述画面中通过将所述先行的图像显示于所述画面而显示内容被变更的第一区域，确定在所述画面中通过将所述两个图像中的后续的图像显示于所述画面而显示内容被变更的第二区域， 所述决定的处理根据所述第一区域被包含在所述第二区域这一情况，决定为不发送所述先行的图像的图像信息。4.根据权利要求1?3中任一项所述的图像处理程序，其特征在于， 使所述计算机执行如下处理:定期地获取表示根据来自所述信息处理装置的操作输入而显示内容被更新的所述画面的图像的图像信息， 所述决定的处理针对连续地获取到图像信息的两个图像的每一个，基于两个图像的每一个图像的图像信息，来决定是否发送两个图像中的先行的图像的图像信息。5.根据权利要求4所述的图像处理程序，其特征在于， 使所述计算机执行如下处理:测量距离最后受理所述操作输入的经过时间， 所述决定的处理根据测量出的所述经过时间是规定时间以上这一情况，决定为将所述先行的图像的图像信息发送至所述信息处理装置。6.根据权利要求4或5所述的图像处理程序，其特征在于， 使所述计算机执行如下处理:对连续地决定为不发送图像信息的次数进行计数， 所述决定的处理根据计数出的所述次数是规定次数以上这一情况，决定为将所述先行的图像的图像信息发送至所述信息处理装置。7.一种图像处理方法，其特征在于， 使计算机执行如下处理: 基于作为经由网络连接的信息处理装置的画面的显示对象且显示顺序连续的两个图像的每一个图像的图像信息，来决定是否将所述两个图像中的先行的图像的图像信息发送至所述信息处理装置， 根据决定为发送所述先行的图像的图像信息这一情况，来将所述先行的图像的图像信息发送至所述信息处理装置。8.—种图像处理装置，其特征在于，具有: 决定部，基于作为经由网络连接的信息处理装置的画面的显示对象且显示顺序连续的两个图像的每一个图像的图像信息，来决定是否将所述两个图像中的先行的图像的图像信息发送至所述信息处理装置；以及 发送部，根据由所述决定部决定为发送所述先行的图像的图像信息这一情况，来将所述先行的图像的图像信息发送至所述信息处理装置。
【文档编号】G06F13/00GK105900071SQ201480072756
【公开日】2016年8月24日
【申请日】2014年1月17日
【发明人】岛田大地, 桥间正芳
【申请人】富士通株式会社