信息处理设备、方法、程序和终端设备的制造方法_3

文档序号:8514823阅读:来源:国知局
输(步骤S603)。
[0091]上述步骤S601至S603的处理对应于图1中的划分尺寸确定单元110的功能。
[0092]之后,所划分的更新区域的数据以在步骤S603确定的划分尺寸进行划分并且在被压缩为运动图像之后传输到客户端终端120 (步骤S604)。该处理对应于通过利用图4B之前描述的、图1中的更新区域划分单元107和更新数据生成单元111的功能。
[0093]之后,确定所传输的数据是否为I帧(步骤S605)。
[0094]在所传输的数据为I帧并且步骤S605的确定结果为是的情况下,估计所传输的I帧的平均压缩率(步骤S606)。在运动图像更新区域的下一帧的传输时刻的步骤S601的之前描述的处理中,参照这里估计的I帧的平均压缩率。
[0095]在所传输的数据不为I帧并且步骤S605的确定结果为否的情况下,估计所传输的P帧的平均压缩率(步骤S607)。在运动图像更新区域的下一帧的传输时刻的步骤S602的之前描述的处理中,参照这里估计的P帧的平均压缩率。
[0096]上述步骤S606和步骤S607的处理对应于图1中运动图像压缩率估计单元109的功能。
[0097]在步骤S606或步骤S607的处理之后,终止图6中的流程图的处理并且终止图5中的步骤S510的运动图像区域处理。
[0098]图7是例不在只有运动图像更新区域701存在于虚拟桌面画面内的情况下第一实施方式的特定处理示例的图。
[0099]首先,在该处理示例中,假定经由图1中的高频画面更新区域检测单元106的功能或由图5中的步骤S504的处理将表示为图7A中的701的更新区域的画面尺寸计算为例如1024X768个像素。进一步地,还假定经由图1中的运动图像压缩率估计单元109的功能或由图6中的步骤S606和步骤S607的处理将I帧的压缩率计算为5%和并且将P帧的压缩率计算为1%。而且,还假定经由图1中的传送速度估计单元113的功能或图5中的步骤S505的处理将网络频带估计为5Mbps ( = 5000kbps (千比特/秒))。进一步地,还假定传送时间阈值为100msec。
[0100]经由之前描述的图1中的划分尺寸确定单元110的功能或由图6中的步骤S603的处理,确定划分数量,使得传送时间等于或小于传送时间阈值。
[0101]更新区域的数据尺寸(未压缩时):3MB(兆字节)
[0102]I帧的数据尺寸(估计值):150kB(千字节)
[0103]P帧的数据尺寸(估计值):15kB (千字节)
[0104]如果划分数量取为n,则每次传送的数据量对于I帧最大是1/n,对于P帧最大是(n-l)/n,然后,求出等于或小于10msec的传送时间(传送时间阈值)。这里,“kbit”意为“千比特”。
[0105]((150X8) [kbit] +n+(15X8) [kbit] X (η-1) +η) +5,000[kbps] ( 0.1 [sec]
[0106]经由上述计算表达式,求出η多2.84,并且因此,划分数量被计算为三。所以,更新区域701如图7Β所例示被划分成三个区域,并且所划分的更新区域702a、702b和702c的各个运动图像数据的传输时刻将是由从各个所划分的更新区域沿向右方向延伸的箭头所指示的各自时刻。如从图7B理解的,在本实施方式中,可以在一个传输时刻以混合状态传输多个所划分的更新区域的运动图像的I帧和P帧。更具体地,在存储于一个传输时段内以混合状态传输的多个分组包数据中的每一个中的状态下,在因特网或局域网上从服务器100向客户端终端120传输彼此混合的各个数据。此时,例如,在各个分组数据的净载荷部分中,存储用于识别数据是I帧还是P帧的信息和与信息(数据所属的哪个所划分的更新区域和绘制图像的时刻)对应的图像绘制数据。由此,在网络频带窄的情况下,客户端终端120可以比对应于一帧的运动图像数据更早地接收所划分区域数据。因为这一点,用户可以感觉到从操作直到绘制图像位置为止所需的时间比之前更长,因此,可以提高可操作性。
[0107]图8是第二实施方式的框图。
[0108]在存在第一实施方式中说明的多个更新区域的情况下或在已经改变运动图像更新区域的情况下,当从服务器向客户端终端传输更新区域时,需要设置优先级次序并改变传输时刻。如存在多个更新区域的情况,以下情况被假定为代表情况。
[0109].运动图像更新区域和静止图像更新区域被混合。
[0110]?存在多个运动图像更新区域。
[0111].新检测到运动图像更新区域。
[0112]为了实施这些情况下的控制处理,在根据第二实施方式的图8中所例示的服务器100的构造中,更新区域优先级确定单元801和传输时刻确定单元802添加到根据第一实施方式的图1中的服务器100的构造。
[0113]更新区域优先级确定单元801基于由画面更新通知单元105所检测的更新区域的优先级的次序和预先设置的指标(诸如优先级的次序的指标),来确定更新区域的传输优先级,并且将更新区域的传输优先级通知给更新区域划分单元107。
[0114]图9为例示由更新区域优先级确定单元801参照的优先级次序的指标示例的图。基于预先确定的优先级次序的所设置的指标确定各个更新区域的优先级次序。
[0115]作为用作所设置的指标的参数,使用虚拟桌面画面上显示更新区域的窗口是否为活动窗口、更新区域尺寸、更新区域是运动图像更新区域还是静止图像更新区域等。
[0116]在图9中所例示的优先级次序的指标示例中,优先级次序在传输活动窗口内的更新区域时和传输运动图像的I帧时为最高,并且优先级次序在传输非活动窗口内的静止图像的更新区域数据时为最低。
[0117]在由于参照图9中所例示的优先级次序的指标示例而存在具有相同优先级的次序的多个更新区域的情况下,更新区域优先级确定单元801基于到具有较高优先级次序的更新区域的距离或基于更新区域的尺寸,确定优先级的次序。
[0118]图10是例示服务器100将基于图9中的优先级的次序的指标示例操作的更新区域优先级确定单元801的功能作为经由程序进行的更新区域优先处理而执行的处理的示例的流程图。
[0119]首先,确定更新区域是否在活动窗口内(步骤S1001)。
[0120]接着,在更新区域在活动窗口内并且步骤S1001的确定结果为是的情况下,确定更新区域是否为运动图像(步骤S1002)。
[0121]进一步地,在更新区域为运动图像并且步骤S1002的确定结果为是的情况下,确定更新区域是否为I帧(步骤S1003)。
[0122]在更新区域为I帧并且步骤S1003的确定结果为是的情况下,“I”被设置为优先级的次序(步骤S1004)。在“I”被设置为优先级的次序的情况下,如图9中所例示的,在各个传输时刻执行传输。
[0123]在更新区域为运动图像的P帧而非I帧并且步骤S1003的确定结果为否的情况下,“2”被设置为优先级的次序(步骤S1005)。在更新区域在活动窗口内并且步骤S1001的确定结果为是,以及更新区域并非运动图像并且步骤S1002的确定结果为否的情况下(即,在静止图像在活动窗口内的情况下),“2”也被设置为优先级的次序(步骤S1005)。在“2”被设置为优先级的次序的情况下,如优先级的次序为I的情况,如图9中所例示的,在各个传输时刻执行传输。
[0124]接着,在更新区域不在活动窗口内并且步骤S1001的确定结果为否的情况下,确定更新区域是否为运动图像(步骤S1006)。
[0125]进一步地,在更新区域为运动图像并且步骤S1006的确定结果为是的情况下,确定更新区域是否为I帧(步骤S1007)。
[0126]在更新区域为I帧并且步骤S1007的确定结果为是的情况下,“3”被设置为优先级的次序(步骤S1008)。在“3”被设置为优先级的次序的情况下,如图9中所例示,在未传输优先级的次序为I的I帧的时刻执行传输。
[0127]在更新区域不是I帧而是运动图像的P帧并且步骤S1007的确定结果为否的情况下,“4”被设置为优先级的次序(步骤S1009)。在更新区域不在活动窗口内并且步骤S1001的确定结果为否,以及更新区域不是运动图像并且步骤S1006的确定结果为否的情况下(即,在静止图像在非活动窗口内的情况下),“4”也被设置为优先级的次序(步骤S1009)。在“4”被设置为优先级的次序的情况下,当I帧未被传输时,η次中执行传输m次(m〈n)。
[0128]如上所述,根据图9中的优先级的次序的指标示例操作的更新区域优先级确定单元801的功能作为程序处理而执行。
[0129]接着,图8中的传输时刻确定单元802基于更新数据生成单元111中所生成的编码数据的尺寸和由传送速度估计单元113估计的传送速度来确定更新区域数据的传输时亥IJ,并将传输时刻通知给更新区域传输次序确定单元112。
[0130]图1IA和图1lB是例示服务器100将传输时刻确定单元802的功能作为经由程序进行的传输时刻确定处理而执行的处理的示例的流程图。
[0131]首先,确定是否检测到运动图像更新区域(步骤S1101)。
[0132]在检测到运动图像更新区域并且步骤SllOl的确定结果为是的情况下,在图10中的流程图中所例示的更新区域优先级确定处理中确定是否检测到传输优先级高的运动图像更新区域(步骤S1102)。
[0133]在检测到传输优先级为高的运动图像更新区域并且步骤S1102的确定结果为是的情况下,执行如下的控制操作。
[0134]首先,确定在此次的时刻检测到的新运动图像的更新区域的传输时刻是否与现有的运动图像的更新区域的I帧的传输时刻交叠(步骤S1103)。
[0135]在步骤S1103的确定结果为是的情况下,首先,确定新运动图像的更新区域的划分数量(步骤S1104)。此后,再次设置现有运动图像的更新区域的划分数量(步骤S1105)。此后,确定在当前时刻传输的所划分的更新区域(步骤S1116)。这里,确定各个所划分的更新区域,使得可以同时传输新运动图像的所划分的更新区域的数据和现有运动图像的所划分的更新区域的数据。此后,终止传输时刻确定处理。
[0136]另一方面,在新运动图像的更新区域的传输时刻不与现有运动图像的更新区域的I帧的传输时刻交叠并且步骤S1103的确定结果为否的情况下,首先,确定新运动图像的更新区域的划分数量(步骤S1106)。此后,将“划分数量的变化”的标记设置到与现有运动图像的更新区域对应的存储器中的控制区域(步骤S1107)。此后,确定在当前时刻传输的所划分的更新区域(步骤S1116)。这里,确定各个所划分的更新区域,使得新运动图像的所划分的更新区域与现有运动图像的所划分的更新区域的P帧同时传输。此后,终止传输时刻确定处理。对于现有运动图像的更新区域,在后面要描述的运动图像更新区域的传输处理中,更新区域的划分数量在传输现有运动图像的更新区域的I帧时被再次设置(参见后面要描述的图13中的步骤S1306至S1308)。作为用于设置此时的划分数量的传输时间的阈值,设置与各个运动图像更新区域的尺寸成比例的值。
[0137]接着,在图10中的流程图中所例示的更新区域优先级确定处理中已经检测到静止图像的更新区域或传输优先级低的运动图像的更新区域的情况下,执行如下的控制操作。在以下说明中,这种情况下的更新区域被描述为另一个更新区域。
[0138]在尚未检测到运动图像更新区域并且步骤SllOl的确定结果已经改变为否之后,确定是否已经检测到传输优先级高的静止图像的更新区域(步骤S1108)。
[0139]在已经检测到传输优先级高的静止图像的更新区域并且步骤S1108的确定结果为是的情况下,如下调整传输时刻。待机状态持续直到当
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1