信息处理设备、方法、程序和终端设备的制造方法
【技术领域】
[0001]本文讨论的实施方式涉及一种生成用于在经由网络连接的终端设备的显示单元上显示计算机的执行结果的图像并且将该图像传输到网络的信息处理设备、方法、程序以及终端设备。
【背景技术】
[0002]近年来，从安全性和商业连续性计划(BCP)角度考虑，正在扩展瘦客户端的使用。瘦客户端指的是这样的一种系统架构，即，其使用户使用的客户端终端执行最少的处理，并且剩下的处理集中在服务器设备侧，并且使服务器设备执行剩下的处理，或者指的是一种用于这种架构的、使功能变窄的专用客户端终端设备。
[0003]伴随着智能电话和平板电脑的普及以及移动网络的加速，对于将移动终端使用的移动瘦客户端安全地连接至内部系统的需求增加。
[0004]在通过使用移动网络使用瘦客户端的情况下，存在的问题在于由于诸如网络带宽的变化和往返时间(RTT)等因素难以舒适地使用瘦客户端。
[0005]常规地，为了解决诸如这样的问题，已知一种快速画面传送技术(例如，专利文献I中描述的技术)，该技术通过在使用瘦客户端时将未频繁执行画面更新的区域作为静止图像而传输并且将频繁执行更新的区域作为运动图像而传输，以便减少数据量来提高可操作性。在该常规技术中，变化频率确定单元将存储在图像存储器内的图像划分成多个区域并针对各个区域确定帧之间的变化的频率。第一图像传输单元传输存在变化的区域的图像。高频变化区域识别单元将变化频率超过阈值的区域识别为高频更新区域。传输停止单元停止经由第一图像传输单元对所识别的区域的传输。第二图像传输单元在对压缩率高于第一图像传输单元的压缩率的运动图像执行压缩处理之后传输所识别的区域的图像。
[0006]专利文献1:日本特开专利第2011-238014号公报
【发明内容】
[0007]本实施方式的一个方面的目的在于通过可以缩短从用户的操作直到在客户端终端处开始更新为止的时间来提高可操作性。根据实施方式的一个方面，一种信息处理设备生成用于在经由网络连接的终端设备的显示单元上显示计算机的执行结果的图像并将该图像传输到网络。更新区域提取单元被配置为从存储在保持上面绘制计算机的执行结果的图像的画面的图像存储器中的画面提取作为运动图像而被更新的区域，作为运动图像更新区域。划分状态确定单元被配置为根据包括网络带宽、预先设置的传输时间的阈值、未使用帧间预测编码的帧的平均压缩率、和使用帧间预测编码的帧的平均压缩率的信息来确定运动图像更新区域的划分状态，更新区域划分单元被配置为在确定后的划分状态下划分被确定为运动图像区域的更新区域，并且更新区域传输单元被配置为向终端设备传输所划分的更新区域。
【附图说明】
[0008]图1是第一实施方式的框图；
[0009]图2A是第一实施方式中的画面划分方法的说明图；
[0010]图2B是第一实施方式中的画面划分方法的说明图；
[0011]图2C是第一实施方式中的画面划分方法的说明图；
[0012]图3是第一实施方式中的静止图像更新区域的传输方法的说明图；
[0013]图4A是第一实施方式中的运动图像更新区域的传输方法的说明图；
[0014]图4B是第一实施方式中的运动图像更新区域的传输方法的说明图；
[0015]图5是例示第一实施方式中在通用服务器计算机设备将服务器的各个功能作为软件处理而执行的情况下的处理示例的流程图；
[0016]图6是例示第一实施方式中的运动图像更新区域的传输处理的流程图；
[0017]图7A是例不在只有运动图像更新区域701存在于虚拟桌面画面内的情况下本实施方式的特定处理示例的图；
[0018]图7B是例不在只有运动图像更新区域701存在于虚拟桌面画面内的情况下本实施方式的特定处理示例的图；
[0019]图8是第二实施方式的框图；
[0020]图9是例不优先级次序的指标不例的图；
[0021]图10是例示更新区域优先级处理的示例的流程图；
[0022]图1lA是例示传输时刻确定处理的示例的流程图；
[0023]图1lB是例示传输时刻确定处理的示例的流程图；
[0024]图12是例示第二实施方式中在通用服务器计算机设备将服务器的各个功能作为软件处理而执行的情况下的处理示例的流程图；
[0025]图13是例示第二实施方式中的运动图像更新区域的传输处理的流程图；
[0026]图14是例示第二实施方式中的静止图像更新区域的传输处理的流程图；
[0027]图15A是例示在运动图像更新区域和静止图像更新区域混合的情况下第二实施方式的特定操作示例的图；
[0028]图15B是例示在运动图像更新区域和静止图像更新区域混合的情况下第二实施方式的特定操作示例的图；
[0029]图16A是例示在存在多个运动图像区域的情况下第二实施方式的特定操作示例的图；
[0030]图16B是例示在存在多个运动图像区域的情况下第二实施方式的特定操作示例的图；
[0031]图17是例示在网络频带变化的情况下第二实施方式的特定操作示例的图；
[0032]图18是例示在检测到新运动图像区域的情况下第二实施方式的特定操作示例的图；
[0033]图19是例示在改变更新区域尺寸的情况下第二实施方式的特定操作示例的图；以及
[0034]图20是例示可以将第一实施方式或第二实施方式的系统实施为软件处理的计算机的硬件配置的示例的图。
【具体实施方式】
[0035]下文中将参照附图对用于具体实施本实施方式的实施方式进行详细说明。
[0036]图1是第一实施方式的框图。
[0037]客户端终端120用作用于服务器100的瘦客户端终端。
[0038]客户端终端120包括操作信息获取单元121、通信单元122、画面更新信息获取单元123、画面区域显示单元124、高频画面区域显示单元125、以及画面显示单元126。
[0039]服务器100包括通信单元101、操作信息获取单元102、显示画面生成单元103、帧缓存器104、画面更新通知单元105、高频画面更新区域检测单元106、更新区域划分单元107、以及传输时间估计单元108。服务器100进一步包括运动图像压缩率估计单元109、划分尺寸确定单元110、更新数据生成单元111、更新区域传输次序确定单元112、以及传送速度估计单元113。
[0040]首先，在客户端终端120中，操作信息获取单元121获取经由操作客户端终端120的用户进行的按键输入或鼠标操作，并将其作为操作信息通知给通信单元122。
[0041]在接收到服务器100的画面更新信息时，通信单元122将数据给予画面更新信息获取单元123，并且将接收时间设置为指示确认的Ack (确认)响应并把该响应返回给服务器100。进一步地，在接收到由操作信息获取单元121获取的操作信息时，通信单元122向服务器100传输操作信息。
[0042]画面更新信息获取单元123获取服务器画面的更新数据并且在更新数据为高频画面区域的更新数据的情况下将服务器画面的更新数据分配给高频画面区域显示单元125，或者在更新数据为除了高频画面区域之外的区域的更新数据的情况下将更新数据分配给画面区域显示单元124。
[0043]画面区域显示单元124对从画面更新信息获取单元123获取的更新数据(静止图像更新区域的数据)进行解码并且将更新数据写入画面数据区域中。
[0044]高频画面区域显示单元125对从画面更新信息获取单元123获取的更新数据(运动图像更新区域的数据)进行解码，并且将更新数据写入画面数据区域中。
[0045]画面显示单元126通过将已经写入更新数据的画面数据区域写入图形处理单元(GPU)的图像绘制存储器中在画面上执行图像的绘制。
[0046]接着，在服务器100中，在接收到客户端终端120中的操作信息时，通信单元101将操作信息给予操作信息获取单元102，并且在从传送速度估算单元113接收到服务器画面更新数据时，通信单元101向客户端终端120传输数据。
[0047]操作信息获取单元102对由通信单元101报告的操作信息进行解码，并且执行操作。
[0048]显示画面生成单元103响应于由操作信息获取单元102执行的操作、生成包括由应用等绘制的图像的显示画面数据，并且向帧缓存器104写入显示画面数据。
[0049]帧缓存器104在由显示画面生成单元103写入显示画面数据时，执行显示处理。
[0050]画面更新通知单元105在写入帧缓存器104的情况下检测更新区域，并且向高频画面更新区域检测单元106通知更新区域。
[0051]当由画面更新通知单元105通知更新区域时，高频画面更新区域检测单元106在更新区域的连续更新的次数等于或大于阈值的情况下将更新区域设置为高频画面更新区域。
[0052]更新区域划分单元107基于高频画面更新区域检测单元106的检测结果，将高频画面更新区域的区域尺寸和其它更新区域的区域尺寸通知给传输时间估计单元108，并且从传输时间估计单元108获取各个更新区域的传输时间。更新区域划分单元107将各个更新区域的所获取的传输时间通知给划分尺寸确定单元110，并从划分尺寸确定单元110分别获取高频画面更新区域的划分尺寸和其它更新区域的划分尺寸。更新区域划分单元107分别以所获取的划分尺寸来划分高频画面更新区域和其它更新区域，并且将所划分的更新区域通知给更新区域传输次序确定单元112。
[0053]在从更新区域划分单元107接收到更新区域尺寸时，传输时间估计单元108从传送速度估计单元113获取网络频带，估计传输时间，并且将传输时间通知给更新区域划分单元107。
[0054]运动图像压缩率估计单元109从更新数据生成单元111获取更新区域尺寸和压缩后的运动图像尺寸，并且通过考虑过去的压缩率针对I帧和P帧中的每一个估计压缩率，并且将压缩率通知给划分尺寸确定单元110。
[0055]这里，在压缩运动图像时，在第一帧中压缩整个运动图像区域(帧内压缩)。在后续帧中，还通过利用关于前一帧的信息来执行压缩(帧间压缩)。由帧内压缩所压缩的数据的尺寸将与由静止图像压缩所压缩的数据的尺寸大致相同。帧内压缩所压缩的帧数据被称为1(内编码帧)帧并且由帧间压缩所压缩的帧数据被称为P(预测)帧。运动图像数据的压缩为不可逆压缩，因此，通过周期性地执行运动数据的帧内压缩(I帧)，压缩后的数据与原始数据之间的差的逐渐增加被抑制。
[0056]当更新区域的传输时间由更新区域划分单元107报告时，划分尺寸确定单元110从运动图像压缩率估计单元109获取I帧和P帧中的每一个的运动图像压缩率，确定划分尺寸，并且在更新区域为运动图像更新区域的情况下将划分尺寸通知给更新区域划分单元107。另一方面，在更新区域为静止图像更新区域的情况下，划分尺寸确定单元110确定更新区域的划分尺寸，使得如果所报告的传输时间超过阈值，则传输时间等于或小于阈值。
[0057]更新数据生成单元111对高频画面更新区域的各个划分后的更新单元和根据更新区域划分单元107中的必要性划分的其它更新区域进行编码。在更新区域是运动图像区域的情况下，更新数据生成单元111将编码之前的区域尺寸和编码之后的数据尺寸通知给运动图像压缩率估计单元109。
[0058]更新区域传输次序确定单元112基于各个更新区域的优先级次序的指标来确定传输次序，并且以所确定的次序将更新区域数据通知给传送速度估计单元113。
[0059]传输速度估计单元113将用于估计传送速度的传输开始时间、传输数据尺寸等设置为更新区域传输次序确定单元11