传输装置，传输方法和程序与流程

1.本发明涉及一种传输装置、传输方法和程序。


背景技术：

2.在近年来备受关注的云游戏服务技术中，在云服务器中生成描述视频游戏中游戏情况的帧图像。然后，通过编码所述帧图像获得的图像数据从云服务器被传输到终端，然后通过解码所述图像数据获得的帧图像被显示在终端上。重复执行该系列处理，以便在终端上显示描述视频游戏中的游戏情况的运动图像。
3.此外，已经存在通过设置参照物以压缩通过编码图像生成的图像数据的大小的技术。例如，通过将帧图像编码到需要参照物的p帧(predictive-frame)而获得的图像数据在大小上小于通过将帧图像编码到不需要参照物的i帧(intra frame)而获得的图像数据。


技术实现要素：

4.[技术问题]
[0005]
由于服务器或网络过载或与服务器或网络的连接不稳定的影响，终端在某些情况下无法接收图像数据，例如，图像数据未到达终端或终端接收到全部或部分损坏的图像数据。
[0006]
这里，当终端先前未能接收到作为图像数据的参照物的图像数据时，即使在成功接收需要参照物的图像数据时，终端也无法解码成功接收到的图像数据，其结果是云服务器进行的图像数据的传输被浪费。
[0007]
然而，当总是传输不需要参照物的图像数据而不传输那些需要参照物的图像数据来防止这种浪费性的图像数据传输时，传输的图像数据的数据大小很大，其结果是向网络施加了负载。
[0008]
注意，这通常不仅适用于提供云游戏服务的情况，而且适用于与上述云服务器相对应的传输装置传输运动图像的情况。
[0009]
鉴于上述实际情况作出了本发明，其目的是提供一种传输装置、传输方法和程序，以小的网络负载实现具有适当参照物的图像数据的传输。
[0010]
[问题的解决方案]
[0011]
为了解决上述问题，根据本发明，提供了一种传输装置，包括：获取单元，其被配置为顺序获取在帧缓冲器中绘制的帧图像；编码处理单元，其被配置为对编码单元进行顺序编码并生成图像数据，每个所述编码单元对应于所述帧图像之一的部分或全部；传输单元，其被配置为顺序传输所述图像数据；传输失败概率估计单元，其被配置为在所述图像数据的所述传输之后估计传输失败概率，所述传输失败概率是所述图像数据的所述传输的失败的概率；以及参照物确定单元，其被配置为参考所述图像数据的所述传输失败概率，从与传输的所述图像数据相关的所述编码单元中确定用作给定编码单元的参照物的一个或多个参照物，其中，所述编码处理单元通过参考所述一个或所述多个参照物对所述给定编码单
元进行编码，从而生成所述图像数据。
[0012]
在本发明的一个方面，所述传输失败概率估计单元参考从所述图像数据的所述传输开始到当前时刻所经过的时间来估计所述传输失败概率。
[0013]
此外，在本发明的一个方面，所述传输失败概率估计单元参考用于所述图像数据的通信路径的有效带宽来估计所述传输失败概率。
[0014]
此外，在本发明的一个方面，所述传输失败概率估计单元参考尚未接收到相应的确认并且自所述传输以来尚未经过预定的超时时间的已传输的所述图像数据的条数来估计所述传输失败概率。
[0015]
此外，在本发明的一个方面，所述传输装置还包括：候选保持单元，其被配置为保持与所发送的所述图像数据相关的所述编码单元相对应的多条候选数据，其中，所述参照物确定单元从对应于所述候选数据的所述编码单元中确定所述一个或多个参照物。
[0016]
在该方面，所述的传输装置还包括：候选管理单元，其被配置为将所述候选数据保持在所述候选保持单元中，其中，当保持在所述候选保持单元中的所述候选数据的条数达到上限时，所述候选管理单元将新的候选数据保持在所述候选保持单元中，并从所述候选保持单元中删除保持在所述候选保持单元中的一条候选数据。
[0017]
此外，所述候选管理单元可以从所述候选保持单元中删除根据比率确定的候选数据，所述比率为进行帧内预测编码的编码单元块的数量和所述编码单元内之一中包括的编码单元块的数量的比率。
[0018]
可选地，所述候选管理单元可以从所述候选保持单元中删除候选数据，被删除的候选数据是根据包括所述编码单元的所述帧图像中的每一个是否是紧跟着场景改变后的图像确定的。
[0019]
可选地，所述候选管理单元可以从所述候选保持单元删除根据所述编码单元的编码顺序确定的候选数据。
[0020]
可选地，所述候选管理单元可以从所述候选保持单元删除根据所述编码单元被参考的顺序确定的候选数据。
[0021]
可选地，所述候选管理单元可以执行控制，使得作为所述图像数据的传输目的地的终端将保持作为保持在所述候选保持单元中的所述候选数据的副本的候选数据。
[0022]
在该方面，每当保持在所述候选保持单元中的候选数据发生改变时，所述候选管理单元可以向所述终端发送指示所述改变的更新通知，从而使保持在所述终端中的所述候选数据和保持在所述候选保持单元中的所述候选数据彼此同步。
[0023]
此外，在本发明的一个方面，所述参照物确定单元根据所述图像数据的数据大小的微小程度来确定所述一个或所述多个参照物，所述图像数据是通过参考与所传输的所述图像数据相关的所述编码单元之一并对所述给定编码单元进行编码而生成的。
[0024]
此外，根据本发明，提供了一种传输方法，包括：获取步骤，顺序获取在帧缓冲器中绘制的帧图像；编码处理步骤，对编码单元进行顺序编码并生成图像数据，每个所述编码单元对应于所述帧图像之一的部分或全部；传输步骤，顺序传输所述图像数据；传输失败概率估计步骤，在所述图像数据的所述传输之后，估计作为所述图像数据的所述传输失败的概率的传输失败概率；和参照物确定步骤，参考所述图像数据的所述传输失败概率，从与传输的所述图像数据相关的所述编码单元中确定用作给定编码单元的参照物的一个或多个参
照物，其中，在所述编码处理步骤中，通过参考所述一个或所述多个参照物对所述给定编码单元进行编码，从而生成所述图像数据。
[0025]
此外，根据本发明，提供了一种使计算机执行以下操作的程序：获取过程，顺序获取在帧缓冲器中绘制的帧图像；编码处理过程，对编码单元进行顺序编码并生成图像数据，所述每个编码单元对应于所述帧图像之一的部分或全部；传输过程，顺序传输图像数据；传输失败概率估计过程，在所述图像数据的所述传输之后，估计作为所述图像数据的所述传输失败的概率的传输失败概率；和参照物确定过程，参考所述图像数据的所述传输失败概率，从与传输的所述图像数据相关的所述编码单元中确定用作给定编码单元的参照物的一个或多个参照物，其中，在所述编码处理过程中，通过参考所述一个或所述多个参照物对所述给定编码单元进行编码，从而生成所述图像数据。
附图说明
[0026]
图1是示出根据本发明的实施例的云游戏系统的示例性总体配置的示意图。
[0027]
图2是示出示例性候选管理数据的示意图。
[0028]
图3是示出示例性统计数据的示意图。
[0029]
图4是示意性地示出传输失败概率、并行发送的传输数、有效带宽和应答(ack)响应时间之间的示例性一般关系的说明图。
[0030]
图5是示出用于帧评分数据的值的示例性判定规则的图表。
[0031]
图6是示出用于情况评分数据的值的示例性判定规则的图表。
[0032]
图7是示出如何在本实施例中确定参照物的示例的说明图。
[0033]
图8a是示出根据本发明的实施例在云服务器中实现的示例性功能的功能框图。
[0034]
图8b是示出根据本发明的实施例在终端中实现的示例性功能的功能框图。
[0035]
图9是示出在根据本发明的实施例的云服务器中执行的示例性处理流程的流程图。
[0036]
图10是示出在根据本发明的实施例的云服务器中执行的示例性处理流程的流程图。
[0037]
图11是示出在根据本发明的实施例的云服务器中执行的示例性处理流程的流程图。
具体实施方式
[0038]
图1是示出根据本发明的实施例的云游戏系统1的示例性总体配置的示意图。如图1所示，根据本实施例的云游戏系统1包括云服务器10和终端12，每个云服务器10和终端12主要包括计算机。云服务器10和终端12连接到诸如互联网的计算机网络14，使得云服务器10和终端12可以彼此通信。
[0039]
根据本实施例的云服务器10例如是配置为基于云游戏服务执行视频游戏程序的服务器计算机。云服务器10将描绘在所述视频游戏中的游戏情况的运动图像传送给玩所述视频游戏的用户使用的终端12。
[0040]
如图1所示，例如，云服务器10包括处理器10a、存储单元10b、通信单元10c和编码/解码单元10d。
[0041]
处理器10a例如是诸如中央处理单元(cpu)的程序控制设备，并且根据存储在存储单元10b中的程序执行各种类型的信息处理。根据本实施例的处理器10a还包括图形处理单元(gpu)，其被配置为根据所述cpu提供的图形命令或数据在帧缓冲器中绘制图像。
[0042]
存储单元10b例如是诸如只读存储器(rom)或随机存取存储器(ram)或固态驱动器(ssd)的存储元件。存储单元10b存储例如由处理器10a执行的程序。此外，根据本实施例的存储单元10b具有帧缓冲区，包括在处理器10a中的gpu在此帧缓冲区中绘制图像。
[0043]
通信单元10c例如是用于经由计算机网络14向/从诸如终端12的计算机发送/接收数据的通信接口。
[0044]
编码/解码单元10d包括例如编码器和解码器。所述编码器对输入的图像进行编码以生成指示所述图像的图像数据。此外，所述解码器解码输入的图像数据以输出由所述图像数据指示的图像。
[0045]
根据本实施例的终端12例如是使用云游戏服务的用户使用的计算机，诸如视频游戏控制台、个人计算机、平板设备或智能手机。
[0046]
如图1所示，终端12包括例如处理器12a、存储单元12b、通信单元12c、编码/解码单元12d、操作单元12e和显示单元12f。
[0047]
处理器12a例如是诸如cpu的程序控制设备，并且根据存储单元12b中存储的程序执行各种类型的信息处理。根据本实施例的处理器12a还包括gpu，其被配置为根据从所述cpu提供的图形命令或数据在帧缓冲器中绘制图像。
[0048]
存储单元12b例如是诸如rom或ram或ssd的存储元件。存储单元12b存储例如由处理器12a执行的程序。此外，根据本实施例的存储单元12b具有帧缓冲区，包括在处理器12a中的gpu在此帧缓冲区中绘制图像。
[0049]
通信单元12c例如是用于经由计算机网络14向/从诸如云服务器10之类的计算机发送/接收数据的通信接口。
[0050]
编码/解码单元12d包括例如编码器和解码器。所述编码器对输入的图像进行编码以生成指示所述图像的图像数据。此外，所述解码器解码输入的图像数据以输出由所述图像数据指示的图像。
[0051]
操作单元12e例如是用于在处理器12a上执行输入操作的操作部件。
[0052]
显示单元12f例如是诸如液晶显示器或有机电致发光(el)显示器的显示设备。
[0053]
注意，终端12不必然需要包括gpu和帧缓冲器。
[0054]
当通过操作单元12e在根据本实施例的终端12上执行视频游戏相关操作时，指示所述操作的操作信号从终端12发送到云服务器10。然后，在云服务器10中执行基于所述操作信号的视频游戏处理。然后，生成游戏图像，该游戏图像是描述受操作信号影响的所述视频游戏中的游戏情况的帧图像，并且在云服务器10的帧缓冲器中绘制所述游戏图像。在本实施例中，视频游戏处理和游戏图像生成被反复地执行。
[0055]
接下来，云服务器10顺序获取在帧缓冲器中绘制的游戏图像(play image)，并生成描绘所述游戏图像的图像数据。然后，云服务器10将生成的图像数据发送到终端12。随后，终端12控制显示单元12f以显示通过对从云服务器10接收的图像数据进行解码而生成的游戏图像。这样，在本实施例中，在显示单元12f上显示一系列游戏图像。
[0056]
在本实施例中，例如，云服务器10向终端12发送不需要诸如参照物的图像数据(例
如i帧)或需要参照物的图像数据(诸如p帧)。注意，这里，与参照物相关的图像数据可以是i帧或p帧。
[0057]
此外，在本实施例中，多达预定数量(例如，10个)的帧图像或参考所述帧图像生成的图像数据被保持在云服务器10的存储器中作为候选数据。
[0058]
图2是示出用于管理候选数据的示例性候选管理数据的图表。如图2所示，候选管理数据包括例如帧编号、帧格式数据、传输确认标志、传输失败概率数据、场景改变标志、参考计数数据、帧内预测编码率数据和帧评分数据。
[0059]
候选管理数据是与候选数据相关联的数据，并且如候选管理数据所包含的帧编号一样，设定与所述候选数据对应的帧图像的帧编号。
[0060]
图2所示的候选管理数据中包括的帧格式数据是指示参考所述帧图像生成的图像数据的帧格式的数据。例如，当所述图像数据是i帧时设置值i，当所述图像数据是p帧时设置值p。
[0061]
包括在图2所示的候选管理数据中的传输确认标志是指示参考所述帧图像生成的图像数据的传输是否成功(或失败)的标志。
[0062]
在本实施例中，当成功接收图像数据时，终端12向云服务器10发送指示图像数据接收成功的确认(ack)。例如，所述确认与帧编号相关联。传输确认标志的值最初为0。此外，当云服务器10接收到确认时，包括与所述确认相关联的帧编号的候选管理数据的值被改变为1。
[0063]
包括在图2所示的候选管理数据中的传输失败概率数据是指示参考所述帧图像生成的图像数据的传输失败概率的数据(以下称为“传输失败概率”)。
[0064]
在本实施例中，例如，确定了用于估计传输失败概率的函数的形式是具有参数的三个变量的函数，这些参数包括等待响应的业务的数量(以下称为“并行发送的传输数”)、图像数据通信路径的有效带宽，以及从图像数据的传输开始到当前时刻所经过的时间。这里，例如，并行发送的传输数对应于尚未接收到对应的确认并且自传输开始以来还没有超过预定超时时间的图像数据的条数。
[0065]
图3是示出用于确定上述函数的形式的示例性统计数据的图表。如图3所示，统计数据包括诸如帧编号、传输成功/失败标志、并行发送的传输数数据、有效带宽数据和ack响应时间数据。
[0066]
在本实施例中，例如，当云服务器10接收到确认时，包括与所述确认相关联的帧编号的统计数据会被新登记上。例如，所述统计数据的传输成功/失败标志的值被设置为1。
[0067]
此外，在本实施例中，当自开始传输图像数据以来经过了预定超时时间时，包括所述图像数据的帧编号的统计数据会被新登记上。例如，作为所述统计数据的传输成功/失败标志的值被设置0。
[0068]
在本实施例中，持续监视并行发送的传输数和有效带宽。此外，将统计数据登记时的并行发送的传输数的值和有效带宽的值设置为所述统计数据中包括的并行发送的传输数的值和有效带宽的值。
[0069]
此外，在本实施例中，记录开始传输图像数据的特定时刻。此外，当云服务器10接收到确认时，表示从与所述确认相对应的图像数据的传输开始到接收所述确认的时间的ack响应时间数据的值(以下称为“ack响应时间”)被设置为包括在与所述图像数据相对应
的统计数据中的ack响应时间数据的值。注意，对于具有值为0的传输成功/失败标志的统计数据，可以不设置ack响应时间数据的值。此外，例如，对于具有值为0的传输成功/失败标志的统计数据，可以设置具有最大ack响应时间值或最大ack响应时间值的预定倍数的值的虚拟ack响应时间数据。
[0070]
此外，在本实施例中，参考图3中例示的统计数据，预定规则被用于确定用于估计传输失败概率的函数的形式。这里，例如，可以使用诸如多元逻辑回归之类的统计方法。这样，在本实施例中，参考统计数据的分析结果来确定函数的形式。
[0071]
注意，对于要估计其传输失败概率的图像数据，由于尚未接收到确认，因此无法测量ack响应时间本身。因此，在本实施例中，虽然从图像数据的传输开始到当前时刻所经过的时间与ack响应时间不同，但由于图像数据的传输失败概率基于ack响应时间，因此通过参考ack响应时间的统计信息，可以基于从图像数据的传输开始到当前时刻所经过的时间间接估计传输失败概率。在这方面，ack响应时间不能以与并行发送的传输数和有效带宽相同的方式处理。
[0072]
鉴于以上几点，在本实施例中，可以参考ack响应时间数据的统计信息来确定从图像数据的传输开始到当前时间所经过的时间与传输失败概率之间的对应关系。例如，可以确定与典型值(例如平均值或最大值)或ack响应时间数据中高于预定百分比(例如10％)的值相对应的函数的形式。例如，可以确定函数的形式，其中当指示从图像数据的传输开始到当前时刻所经过的时间的值超过所述典型值时，传输失败概率以指数形式急剧增加。
[0073]
图4是示意性地示出传输失败概率、并行发送的传输数、有效带宽和ack响应时间之间的示例性一般关系的说明图。
[0074]
在图4中，传输失败概率由实线表示，有效带宽由虚线表示，ack响应时间由点划线表示。
[0075]
假设图像数据传输失败的原因是图像数据通信路径的拥塞，该拥塞导致图像数据在所述通信路径的中间被丢弃。在这种情况中，在拥塞状态下，超过通信路径上的交换机或路由器等通信设备的处理能力的图像数据量被输入到通信设备，导致通信设备的缓冲器溢出。从而，多余的图像数据被丢弃。
[0076]
如图4所示，随着并行发送的传输数的增加，通信路径的有效带宽达到其极限。此外，随着并行发送的传输数进一步增加，图像数据留在诸如交换机或路由器的通信设备的缓冲器中的时间长度增加(即，排队时间增加)，从而导致ack响应时间增加。
[0077]
在图4所示的范围a1中，其中通信路径的有效带宽未达到其极限，例如交换机或路由器的通信设备的缓冲器中的队列为0。接下来，在图4所示的范围a2中，有效带宽达到了其极限，而且ack响应时间增加。
[0078]
然后，随着并行发送的传输数进一步增加，缓冲区溢出，导致图像数据丢弃。在图4所示的范围a3中，ack响应时间达到了其极限，并且传输失败概率急剧增加。
[0079]
由于上述关系通常成立，可以说，可以组合使用并行发送的传输数、有效带宽和从与ack响应时间相对应的图像数据的传输开始所经过的时间作为用于估计传输失败概率的函数的参数。
[0080]
注意，在图4中，似乎只能参考并行发布的传输数来估计传输失败概率。然而，实际上，因为在诸如交换机或路由器的通信设备的缓冲流控制中执行了基于可编程缓冲阈值/
优先级的超越控制、使用随机数的输入/输出仲裁控制等，图4中所示的关系并不总是成立的。
[0081]
此外，在本实施例中，参考如上所述确定的函数估计的传输失败概率值被设置为包括在候选管理数据中的传输失败概率数据的值。例如，通过将当前并行发布的传输数的值、当前有效带宽的值和指示从所述图像数据的传输开始所经过的时间的值代入该函数的参数而计算得到的传输失败概率被设置为包括在与所述图像数据相对应的候选管理数据中的传输失败概率数据的值。注意，对于具有值为1的传输确认标志的候选管理数据，可以将0设置为传输失败的概率数据的值。
[0082]
此外，在本实施例中，每次新的统计数据被登记时，都确定用于估计传输失败概率的函数的形式，使得所述函数的形式跟着更新。
[0083]
此外，响应于函数形式的更新，参考所述更新后的函数，更新包括在候选管理数据中的传输失败概率数据的值。
[0084]
注意，用于估计传输失败概率的函数的形式及其确定方法不特别限于任何类型。例如，可以确定用来估计传输失败概率的函数的形式是具有包括当前有效带宽值/最大有效带宽值和从图像数据传输开始到当前时刻所经过的时间/最大ack响应时间值这两个参数的两个变量的函数。
[0085]
此外，在估计传输失败概率时，可以使用在开始传输图像数据时的并行发送的传输数，而不是上述并行发送的传输数的当前值。此外，可以使用开始传输图像数据时的有效带宽，而不是上述有效带宽的当前值。
[0086]
包括在图2所示的候选管理数据中的场景改变标志是指示所述帧图像是否是场景改变后的第一帧图像的标志。例如，在所述帧图像是场景改变后的第一帧图像的情况下，值置为1，否则值置为0。
[0087]
这里，例如，当用户正在玩视频游戏时，可以生成基于是否与前一帧存在场景改变来与场景改变数据相关联的帧图像。例如，当与前一帧具有场景改变时，帧图像可以与值为1的场景改变数据关联起来，否则可以与值为0的场景改变数据相关联。由此，可以设置基于场景改变数据的场景改变标志值。
[0088]
例如，与场景改变数据相关联的帧图像由诸如包括在云服务器10中的视频游戏程序的绘图程序生成。注意，与场景改变数据相关联的帧图像可以由游戏引擎生成。
[0089]
此外，根据帧图像与所述帧图像之前的帧的帧图像之间的比较结果，可以确定是否存在与所述前一帧的场景改变。然后，可以基于所述确定的结果设置场景改变标志值。
[0090]
例如，在指示场景改变量的值大于预定值的情况下，可以确定与前一帧存在场景改变，反之，可以确定与前一帧不存在场景改变。
[0091]
这里，例如，可以使用指示前一帧图像和所述帧图像之间的差异或相似程度的指数值作为指示场景改变量的值。例如，当峰值信噪比(psnr)或结构相似度(ssim)小于预定值的情况下可以确定没有场景改变，反之，则可以确定存在场景改变。可选地，可以使用运动估计(me)变化量作为场景变化量。例如，在me变化量的值大于预定值的情况下可以确定存在场景改变，反之，则可以确定不存在场景改变。可选地，可以使用指示显示前一帧图像的时刻和显示所述帧的帧图像的时刻之间的音频不连续的程度的值作为指示场景改变量的值。例如，在所述值大于预定值的情况下可以确定存在场景改变，反之，则可以确定不存
在场景改变。
[0092]
此外，可以参考一个参考预定规则来导出并且指示帧图像的内容的评分值的变化量来确定是否存在与前一帧的场景改变。例如，可以参考根据场景改变时刻是否已经到来或关于诸如帧中表示的图像纹理的类型、特征点的分布、深度信息、对象的数量、用于每个级别的三维(3d)图形的mipmap纹理的使用、细节等级(lod)、每个级别的细分使用、角色和符号的数量或所表示场景的类型的信息来计算的评分值的变化量来确定是否存在场景改变。这里，例如，可以计算指示空间和时间细节的优先级的评分值。
[0093]
图2所示的候选管理数据中包括的参考计数数据是指示被用作其他图像数据的参考的次数的数据。在本实施例中，例如，每次参考帧图像时，包括在与所述帧图像相对应的候选管理数据中的参考计数数据的值增加1。
[0094]
包括在图2所示的候选管理数据中的帧内预测编码数据是指示经过帧内预测编码的编码单元块的数量与所述帧图像中包括的编码单元块的数量的比率(以下称为“帧内预测编码率”)的数据。在图2的示例中，帧内预测编码率以百分比表示。例如，在帧图像中包括的所有编码单元块已经进行了帧内预测编码的情况下，将帧内预测编码数据值设置为100。
[0095]
包括在图2所示的候选管理数据中的帧评分数据是指示所述帧图像的评分的数据。在本实施例中，例如，参考帧评分数据的值来确定要从存储器中删除的候选数据。
[0096]
在本实施例中，例如，帧评分数据的值是参考场景改变标志的值、参考计数数据的值和帧内预测编码率数据的值来确定。
[0097]
图5是示出帧评分数据的值的示例性判定规则的图。
[0098]
例如，可以首先设置具有预定值的初始值a1作为对应于新候选数据的候选管理数据的帧评分数据的值。
[0099]
然后，在所述候选管理数据的场景改变标志的值为1的情况下，可以将预定值a2加到帧评分数据。
[0100]
此外，对于所述候选管理数据，每次参考计数数据的值增加1时，可以向帧评分数据加预定值a3。
[0101]
此外，在候选管理数据的帧内预测编码率数据的值等于或大于预定阈值th的情况下，可以将预定值a4加到帧评分数据。
[0102]
此外，对于现有候选管理数据，每次参考新的帧图像生成图像数据时，可以将帧评分数据减去预定值a5。
[0103]
然后，在本实施例中，当保持在存储器中的候选数据的条数达到上限并且要保持与新图像数据相对应的候选数据时，从存储器中删除与具有最小帧评分数据值的候选管理数据相对应的候选数据。此外，还删除了所述候选管理数据。这样，存储器中保持的候选数据从而被更新。这里，当存在多条具有最小帧评分数据值的候选管理数据时，与对应于最近参考的帧图像(最近使用最少的：lru)的候选管理数据相对应的候选数据可以优先保持在存储器中。这样，可以根据相应帧图像被参考的顺序来确定要从存储器中删除的候选数据。
[0104]
此外，在本实施例中，当在场景改变后紧接着生成帧图像时，从存储器中删除与所述帧图像之前的帧的帧图像相对应的候选数据。此外，还删除与所述候选数据相对应的候选管理数据。
[0105]
注意，在场景改变后紧接着生成帧图像并且所述帧图像的帧内预测编码率大于预
先设置的值时，可以从存储器中删除与所述帧图像之前的帧的帧图像相对应的候选数据。同样在这种情况下，删除与所述候选数据相对应的候选管理数据。
[0106]
在本实施例中，保持在云服务器10和终端12的存储器中的候选数据段彼此同步。例如，每次改变云服务器10的存储器中保持的候选数据时，指示所述改变的更新通知被发送到终端12，并且终端12改变保持在终端12的存储器中的候选数据(保持在云服务器10的存储器中的候选数据的副本)，以将候选数据与保持在云服务器10中的候选数据相匹配。
[0107]
然后，在本实施例中，从与候选数据相对应的帧图像，确定了要新编码的帧图像的参照物。
[0108]
图6是示出用于确定参照物的情况评分数据的值的示例性判定规则的图表。
[0109]
首先，对于包括在要被新编码的帧图像中的每个编码单元块(例如，宏块)，以从通过参考和编码实现最小数据大小的帧图像开始的顺序识别预定数量的与候选数据相对应的帧图像。此时，为了减少计算量和处理时间，可以通过参考编码单元块的运动矢量来选择与候选数据相对应的一些帧图像。然后，可以从所选帧图像中识别预定数量的帧图像。
[0110]
然后，在本实施例中，针对以下情况中的每一种计算通过在相同量化参数(qp)条件下编码新的帧图像而生成的图像数据的数据大小，例如：(1)没有参考其他帧图像的情况，(2)参考了单个帧图像的情况，以及(3)参考了多个帧图像的情况。在情况(2)中，对于如上所述为任何编码单元块识别的每个帧图像，计算参考该帧图像的情况的数据大小。在如上所述为任何编码单元块识别的帧图像的数量为n的情况中，计算n个情况中每个情况下的数据大小。在情况(3)中，计算每个编码单元块参考如上所述识别的多个帧图像的情况下的数据大小。例如，在编码单元块的数量为m并且为每个编码单元块识别出两个帧图像的情况中，计算2的m次方个情况中的每个情况的数据大小。
[0111]
然后，对于上述每个情况，首先将基于针对所述情况计算的数据大小通过归一化获得的值b1确定为所述情况的情况评分的值。这里，对于计算得到的数据大小较小的情况，可以将一个较大的值设为值b1。
[0112]
然后，将预定值b2添加到参考了与具有值为1的传输确认标志的候选管理数据相对应的帧图像的情况的情况评分的值。值b2最好是一个足够大的值。
[0113]
然后，对于每个情况，将基于与所述情况中参考的帧图像对应的候选管理数据的传输失败概率数据值的值b3添加到情况评分的值。这里，值b3小于值b2。注意，值b3还可以添加到具有值为0的传输确认标志的候选管理数据的情况评分的值。
[0114]
例如，对于参考了与具有小于预定值的传输失败概率数据值的候选管理数据相对应的帧图像的情况，可以将预定值b3添加到情况评分的值。此外，例如，可以将随着传输失败概率数据值增加而减小的值b3添加到情况评分的值中。此外，例如，对于参考多个帧图像的情况，可以参考对应于多个帧图像的传输失败概率数据的值的典型值(例如，平均值)来确定值b3。
[0115]
然后，在本实施例中，例如，参考如上所述为每个情况确定的情况评分，可以确定与新的帧图像的编码方案相对应的情况。例如，具有最高情况评分的情况被确定为与新的帧图像的编码方案相对应的情况。
[0116]
然后，通过与该确定的情况对应的编码方案对新的帧图像进行编码，并生成新的图像数据。
[0117]
这里，在确定为上述情况(1)的情况中，没有帧图像用作参照物，并且参考新的帧图像生成不需要参照物的新图像数据(例如，i帧)。
[0118]
在确定为情况(2)的情况中，通过参考所述情况中参考的单个帧图像来编码新的帧图像，并由此生成新图像数据。
[0119]
在确定为情况(3)的情况中，通过参考所述情况中参考的帧图像，为多个编码单元块中的每一个编码新的帧图像，并由此生成新的图像数据。
[0120]
如上所述，在本实施例中，当生成需要参照物的图像数据时，通过参考与参考传输失败概率确定的候选数据相对应的帧图像来编码新的帧图像，并由此生成新的图像数据。具体地说，例如，通过参考与传输失败概率为0或比其他候选数据的传输失败概率相对更小的候选数据相对应的帧图像来编码新的帧图像，从而生成新的图像数据。
[0121]
例如，假设如图7所示，连续生成了六个图像数据，而从左侧开始的第三个p帧和之后的p帧是否已经成功发送的情况是未知的。注意，在图7中，i帧表示为i，p帧表示为p。在这种情况下，最右边的帧图像通常通过参考前一个p帧来编码。然而，在本实施例中，通过参考确认为已成功传输的最左侧的i帧或从左侧开始的第二帧p帧来编码最右侧的帧图像。在某些情况下，最右侧的帧图像通过参考最左边的i帧和从左边开始的第二帧p帧来编码。或者，在某些情况下最右边的帧图像被编码为无参考帧图像的i帧。
[0122]
由于过载或与云服务器10或计算机网络14的连接不稳定的影响，终端12在某些情况下接收图像数据失败，例如，图像数据没有到达终端12或终端12接收到全部或部分损坏的图像数据。
[0123]
这里，即使成功接收到了需要参照物的图像数据，当未能接收到作为所述图像数据的参照物的图像数据时，终端12也无法对成功接收到的图像数据进行解码，结果是浪费了云服务器10对所述图像数据的传输。
[0124]
然而，当用总是传输不需要参照物的图像数据而不传输需要参照物的图像数据来防止这种浪费的图像数据传输时，传输的图像数据的大小变大，其结果是在计算机网络14上施加负载。
[0125]
在本实施例中，如上所述，通过参考与具有低传输失败概率的图像数据相对应的帧图像来对新的帧图像进行编码，由此生成新的图像数据，并且传输所述新的图像数据。由此，根据本实施例，可以使用较小的网络负载来传输具有适当参照物的图像数据。
[0126]
尽管在上述描述中，编码单元、候选数据、参照物等是帧图像，但编码单元、候选数据、参照物等可以是通过分割帧图像而成的条带。
[0127]
注意，在终端12上的图像数据解码处理中编码单元块的单元内发生传输失败并且解码后的图像因此部分损坏的情况下，使用例如pct/jp2019/050907国际专利中描述的技术来恢复所述图像。
[0128]
此外，在本实施例中，即使是在用诸如用户数据报协议(udp)之类的无连接协议来传输运动图像的情况下，也执行传输失败概率估计所需的握手。
[0129]
现在，进一步描述根据本实施例的云游戏系统1中实现的功能和在云服务器10中执行的处理。
[0130]
图8a和图8b是示出根据本实施例的云游戏系统1中实现的示例性功能的功能框图。注意，在根据本实施例的云游戏系统1中，不需要实现图8a和图8b中所示的所有功能，并
且可以实现除图8a和图8b中所示的功能之外的功能(例如，基于操作信号等执行视频游戏处理或游戏图像生成的功能)。
[0131]
如图8a所示，根据本实施例的云服务器10在功能上包括，例如，服务器侧候选保持单元20、候选管理数据存储单元22、统计数据存储单元24、获取单元26、编码处理单元28、数据发送单元30、监视单元32、信号接收单元34、统计数据管理单元36、传输失败概率估计单元38、候选管理单元40和参照物确定单元42。
[0132]
服务器侧候选保持单元20、候选管理数据存储单元22和统计数据存储单元24由存储单元10b作为其主要部件来实现。获取单元26和编码处理单元28由编码/解码单元10d作为其主要部件来实现。数据发送单元30和信号接收单元34由通信单元10c作为其主要部件来实现。监视单元32、统计数据管理单元36、传输失败概率估计单元38和参照物确定单元42由处理器10a作为其主要部件来实现。候选管理单元40由处理器10a和通信单元10c作为其主要部件来实现。
[0133]
此外，上述功能由处理器10a执行安装在作为计算机的云服务器10上的程序来实现，该程序包括与上述功能相对应的指令。该程序通过诸如光盘、磁盘、磁带、磁光盘或闪存等计算机可读信息存储介质或通过例如互联网来提供给云服务器10。
[0134]
此外，如图8b所示，根据本实施例的终端12在功能上包括例如数据接收单元50、解码处理单元52、显示控制单元54、信号发送单元56、候选同步单元58和终端侧候选保持单元60。
[0135]
数据接收单元50和信号发送单元56由通信单元12c作为其主要部件来实现。解码处理单元52由编码/解码单元12d作为其主要部件来实现。显示控制单元54由处理器12a和显示单元12f作为其主要部件来实现。候选同步单元58由处理器12a和通信单元12c作为其主要部件来实现。终端侧候选保持单元60由存储单元12b作为其主要部件来实现。
[0136]
此外，上述功能由处理器12a执行安装在作为计算机的终端12上的程序来实现，该程序包括与上述功能相对应的指令。该程序通过诸如光盘、磁盘、磁带、磁光盘或闪存等计算机可读信息存储介质或通过例如互联网来提供给终端12。
[0137]
本实施例的服务器侧候选保持单元20保持例如对应于与发送的图像数据相关的编码单元的多条候选数据。
[0138]
本实施例的候选管理数据存储单元22存储例如与图2所示的相应候选数据相关联的候选管理数据。
[0139]
本实施例的统计数据存储单元24存储例如图3中例示的统计数据。
[0140]
本实施例的获取单元26顺序获取例如在帧缓冲器中绘制的帧图像(上述示例中的游戏图像)。
[0141]
本实施例的编码处理单元28顺序编码每个对应于例如由获取单元26获取的帧图像的部分或全部的编码单元，并生成图像数据。这里，编码单元是上述示例中的帧图像。在这种情况下，如上所述的候选数据是所述帧图像或参考所述帧图像生成的图像数据。此外，如上所述，编码单元可以是通过分割帧图像获得的条带。在这种情况下，如上所述的候选数据可以是所述条带或参考所述条带生成的图像数据。
[0142]
本实施例的数据发送单元30将由例如编码处理单元28生成的图像数据顺序发送到终端12。
[0143]
本实施例的监视单元32监视例如用于图像数据的通信路径的有效带宽和并行发出的传输数。这里，如上所述，并行发出的传输数对应于例如尚未接收到对应的确认而且自传输以来还没超过预定超时时间的图像数据的条数。
[0144]
本实施例的信号接收单元34从终端12接收例如标示图像数据接收成功的确认(ack)之类的信号。
[0145]
本实施例的统计数据管理单元36在例如接收到确认或从图像数据的传输开始过去了预定超时时间时，生成新的统计数据并将生成的统计数据存储在统计数据存储单元24中。如上所述，在接收到确认的情况下，生成具有值为1的传输成功/失败标志的统计数据。此外，在从图像数据的传输开始过去了预定超时时间的情况下，生成具有值为0的传输成功/失败标志的统计数据。
[0146]
此外，根据监视单元32的监测结果设置并行发送的传输数数据的值和有效带宽数据的值。例如，可以根据生成统计数据时的监测结果或传输图像数据时的监测结果来设置这些值。
[0147]
此外，对于传输成功/失败标志的值为1的统计数据，如上所述设置ack响应时间数据的值。对于传输成功/失败标志的值为0的统计数据，可以如上所述设置虚拟ack响应时间数据值或不设置ack响应时间数据值。
[0148]
本实施例的传输失败概率估计单元38在传输图像数据之后估计传输失败概率，该概率是例如所述图像数据传输失败的概率。这里，传输失败概率估计单元38可以参考从图像数据的传输开始到当前时刻所经过的时间来估计传输失败概率。此外，传输失败概率估计单元38可以参考图像数据的通信路径的有效带宽来估计传输失败概率。此外，传输失败概率估计单元38可以参考尚未接收到相应的确认并且自传输以来尚未超过预定超时时间的传输图像数据的条数(即如上所述的并行发出的传输数)来估计传输失败概率。
[0149]
例如，如上所述，传输失败概率估计单元38可以在统计数据存储单元24中存储新的统计数据时更新用于估计传输失败概率的函数的形式。然后，传输失败概率估计单元38可以参考更新后的函数、当前并行发出的传输数的值、当前有效带宽的值以及从所述图像数据的传输开始到当前时刻所经过的时间来估计图像数据的传输失败概率。
[0150]
这里，传输失败概率估计单元38可以针对存储在候选管理数据存储单元22中的多个候选管理数据中的每一个，估计与所述候选管理数据相对应的图像数据的传输失败概率。此外，可以使用在开始传输图像数据时的并行发布的传输数，而不是当前的并行发布的传输数值。此外，可以使用开始传输图像数据时的有效带宽，而不是当前的有效带宽值。
[0151]
然后，传输失败概率估计单元38可以针对存储在候选管理数据存储单元22中的多条候选管理数据中的每一条，将所述候选管理数据中包括的传输失败概率数据的值更新为标示以这种方式估计的传输失败概率的值。
[0152]
注意，传输失败概率估计单元38可以将具有值为1的传输确认标志的候选管理数据的传输失败概率数据的值设置为0。
[0153]
响应于基于新编码单元的图像数据的生成，本实施例的候选管理单元40例如在服务器侧候选保持单元20中保持与所述编码单元相对应的新候选数据。
[0154]
此外，候选管理单元40生成与所述候选数据相对应的新候选管理数据。然后，候选管理单元40将生成的候选管理数据存储在候选管理数据存储单元22中。这里，与所述候选
管理数据相对应的帧图像的帧编号被设置为所述候选管理数据的帧编号。这里，在编码单元是条带的情况下，可以设置指示编码顺序的数字来代替帧编号。
[0155]
此外，设置标示与所述候选管理数据相对应的编码单元的帧格式的值作为所述候选管理数据的帧格式数据。例如，在编码结果获得i帧的情况下，i被设置为帧格式数据的值，而在编码结果获得p帧的情况下，p被设置为帧格式数据的值。
[0156]
此外，将所述候选管理数据的传输确认标志的值设置为0。之后，当信号接收单元34接收到指示与所述候选管理数据对应的图像数据的接收成功的确认时，候选管理单元40将所述候选管理数据的发送确认标志的值更新为1。
[0157]
此外，为所述候选管理数据的传输失败概率数据设置预定的初始值。之后，当传输失败概率估计单元38估计出与所述候选管理数据相对应的图像数据的传输失败概率时，候选管理单元40将所述候选管理数据的传输失败概率数据的值更新为估计的传输失败概率值。
[0158]
此外，对于每个帧图像，候选管理单元40确定所述帧图像是否是如上所述的紧跟在场景改变之后的图像。然后，候选管理单元40基于所述确定的结果将值设置为所述候选管理数据的场景改变标志的值。
[0159]
此外，将所述候选管理数据的参考计数数据的值设置为0。每当与所述候选管理数据相对应的编码单元被参考时，候选管理单元40将所述候选管理数据的参考计数数据的值增加1。
[0160]
此外，候选管理单元40对于对应于所述候选管理数据的编码单元，识别经过帧内预测编码的编码单元块的数量与所述编码单元中包括的编码单元块的数量的比率(帧内预测编码率)。然后，将指示所识别的帧内预测编码率的值设置为所述候选管理数据的帧内预测编码率数据的值。
[0161]
此外，如图5所示，将参考所述候选管理数据的场景改变标志值、参考计数数据值和帧内预测编码率数据值计算得到的值设置为所述候选管理数据的帧评分数据。此外，如上所述，对于已经存储在候选管理数据存储单元22中的候选管理数据，每次生成新的图像数据时，帧评分数据的值减小。
[0162]
然后，如上所述，当保持在服务器侧候选保持单元20中的候选数据的条数达到上限时，候选管理单元40将新的候选数据保持在服务器侧候选保持单元20中，并从服务器侧候选保持单元20中删除保持在服务器侧候选保持单元20中的一条候选数据。
[0163]
例如，如上所述，候选管理单元40从服务器侧候选保持单元20删除例如与具有最小帧评分数据值的候选管理数据相对应的候选数据。此外，候选管理单元40从候选管理数据存储单元22中删除所述候选管理数据。
[0164]
这样，可以删除参照帧内预测编码率确定的候选数据。此外，可以删除根据包括编码单元的所述帧图像是否是紧跟着场景改变之后的图像而确定的候选数据。此外，可以删除根据编码单元的编码顺序确定的候选数据。此外，可以删除根据编码单元被参考的顺序来确定的候选数据。
[0165]
此外，候选管理单元40执行控制，使得终端12的终端侧候选保持单元60保持作为保持在服务器侧候选保持单元20中的候选数据的副本的候选数据。这里，候选管理单元40可以在每次服务器侧候选保持单元20中保持的候选数据改变时，向终端12发送指示所述改
变的更新通知，从而使终端侧候选保持单元60中保持的候选数据(服务器侧候选保持单元20中保持的候选数据的副本)与服务器侧候选保持单元20中保持的候选数据同步。
[0166]
本实施例的参照物确定单元42例如从与发送的图像数据相关的编码单元中确定一个或多个作为给定编码单元(例如，最新编码单元)的参照物的参照物。参照物确定单元42可以参考图像数据的传输失败概率来确定参照物。此外，参照物确定单元42可以根据通过参考与传输的图像数据相关的编码单元并对给定编码单元进行编码而生成的图像数据的数据大小的微小程度来确定参照物。此外，参照物确定单元42可以从与保持在服务器侧候选保持单元20中的候选数据相对应的编码单元确定参照物。
[0167]
如上所述，对于以下情况中的每一种，参照物确定单元42计算通过在相同的qp条件下编码新编码单元而生成的图像数据的数据大小，例如：(1)不参考其他编码单元的情况，(2)参考单个编码单元的情况，和(3)参考多个编码单元的情况。然后，如图6所示，参照物确定单元42根据所述数据大小的微小程度，被参考的编码单元是否已被传输，或者被参考的编码单元的传输失败概率来确定与给定编码单元的编码方案相对应的情况。
[0168]
在这种情况下，编码处理单元28可以通过参考与参照物确定单元42确定的情况相对应的一个或多个参照物来对所述给定编码单元进行编码，从而生成图像数据。例如，编码处理单元28可以通过对应于由参照物确定单元42确定的情况的编码方案来对所述给定编码单元进行编码，从而生成图像数据。
[0169]
本实施例的数据接收单元50接收例如从云服务器10发送的图像数据。
[0170]
本实施例的解码处理单元52对例如由数据接收单元50接收的图像数据进行解码，以生成编码单元。例如，解码处理单元52通过与对应于由参照物确定单元42确定的情况的编码方案配对的解码方案来解码图像数据。
[0171]
本实施例的显示控制单元54控制终端12的显示单元12f以显示例如由解码处理单元52生成的编码单元。
[0172]
当图像数据的接收已经成功时，本实施例的信号发送单元56例如向云服务器10发送诸如指示所述图像数据接收成功的确认之类的信号。
[0173]
本实施例的候选同步单元58接收例如由候选管理单元40给出的更新通知。此外，候选同步单元58根据所述更新通知改变保持在终端侧候选保持单元60中的候选数据。这样，保持在终端12中的候选数据和保持在云服务器10中的候选数据彼此同步。
[0174]
如上所述，终端侧候选保持单元60保持与服务器侧候选保持单元20同步的候选数据。保持在终端侧候选保持单元60中的候选数据由解码处理单元52用于解码。
[0175]
这里，参考图9的流程图描述根据本实施例的云服务器10中在接收到确认时或自图像数据的传输开始以来经过了预定超时时间时执行的示例性处理流程。
[0176]
此外，统计数据管理单元36生成新的统计数据，并将生成的统计数据存储在统计数据存储单元24中(s101)。
[0177]
然后，传输失败概率估计单元38更新用于估计传输失败概率的函数的形式(s102)。
[0178]
随后，传输失败概率估计单元38针对存储在候选管理数据存储单元22中的多条候选管理数据中的每一条更新包括在所述候选管理数据中的发送失败概率数据的值(s103)。然后，此处理示例中的处理结束。
[0179]
接下来，参考图10的流程图描述根据本实施例的云服务器10中执行的基于编码单元的图像数据的生成和传输的示例性处理流程。
[0180]
首先，参照物确定单元42针对如上所述的各种情况中的每一种，计算通过在相同qp条件下对所述编码单元进行编码而生成的图像数据的数据大小(s201)。
[0181]
接下来，参照物确定单元42针对每种情况确定与在s201中的处理中计算的数据大小相对应的情况评分的值b1(s202)。
[0182]
然后，对于参考了与具有值为1的发送确认标志的候选管理数据相对应的编码单元的情况，参照物确定单元42将预定值b2添加到情况评分的值中(s203)。
[0183]
随后，对于每种情况，参照物确定单元42将值b3添加到情况评分的值(s204)，该值b3是基于与所述情况中参考的编码单元对应的候选管理数据的传输失败概率数据的值。
[0184]
随后，参照物确定单元42参考每个情况的情况评分的值来确定与所述编码单元的编码方案相对应的情况(s205)。
[0185]
然后，编码处理单元28采用与在s205中的处理中确定的情况相对应的编码方案对所述编码单元进行编码，从而生成新的图像数据(s206)。
[0186]
随后，数据发送单元30将在s206的处理中生成的图像数据传输到终端12(s207)。
[0187]
然后，候选管理单元40生成与在s206的处理中生成的图像数据相对应的候选管理数据(s208)。
[0188]
随后，候选管理单元40检查保持在服务器侧候选保持单元20中的候选数据的条数是否已经达到预定的上限(例如，10)(s209)。
[0189]
在候选数据的条数已经达到上限的情况下(s209：是)，候选管理单元40参考包括在候选管理数据中的帧评分数据的值来确定要删除的候选数据(s210)。
[0190]
然后，候选管理单元40从服务器侧候选保持单元20删除在s210的处理中确定的候选数据，并从候选管理数据存储单元22删除与所述候选数据相对应的候选管理数据(s211)。在这种情况下，如上所述的更新通知从云服务器10发送到终端12，并且从终端侧候选保持单元60删除相应的候选数据。
[0191]
当在s209的处理中确认候选数据的数量没有达到预定上限(s209：否)时，或者当s211的处理结束时，候选管理单元40将与在s206的处理中生成的图像数据相对应的候选数据保持在服务器侧候选保持单元20中。此外，候选管理单元40将在s208的处理中生成的候选管理数据存储在候选管理数据存储单元22中(s212)。然后，此处理示例中的处理结束。在这种情况下，如上所述的更新通知从云服务器10发送到终端12，并且相应的候选数据被保持在终端侧候选保持单元60中。
[0192]
接下来，参考图11的流程图描述根据本实施例的云服务器10中响应于新候选管理数据的生成而执行的示例性处理流程。
[0193]
首先，对于与对应于所述候选管理数据的图像数据相关的编码单元，候选管理单元40将与其参照物对应的候选管理数据的参考计数数据的值增加1，并且将帧评分数据的值增加上述预定值a3(s301)。
[0194]
然后，候选管理单元40检查所述候选管理数据中包括的场景改变标志的值是否为1(s302)。
[0195]
在值为1的情况下(s302：是)，候选管理单元40从服务器侧候选保持单元20删除与
编码单元对应的帧之前的帧相关的候选数据，该编码单元与对应于所述候选管理数据的图像数据相关。在这种情况下，如上所述的更新通知从云服务器10发送到终端12，并且从终端侧候选保持单元60删除相应的候选数据。此外，候选管理单元40从候选管理数据存储单元22删除与所删除的候选数据相对应的候选管理数据(s303)。
[0196]
然后，对于所述候选管理数据以外的候选管理数据，候选管理单元40将帧评分数据的值减小上述预定值a5(s304)。然后，此处理示例中的处理结束。此外，在s302的处理中确认包括在候选管理数据中的场景改变标志的值为0的情况下(s302：否)，对于所述候选管理数据以外的候选管理数据，候选管理单元40将帧评分数据的值减小上述预定值a5(s304)。然后，此处理示例中的处理结束。
[0197]
在该处理示例的s302中的处理过程中，可以检查以下条件是否满足：包括在候选管理数据中的场景改变标志的值为1，以及包括在所述候选管理数据中的帧内预测编码率数据的值大于预先设置的值。然后，可以在确认满足所述条件的情况下执行s303和s304中的处理。然后，在确认不满足所述条件的情况下，可以在不执行s303中的处理的情况下执行s304中的处理。
[0198]
此外，在本实施例中，终端侧候选保持单元60可以保持数量超过作为服务器侧候选保持单元20中的上限的预定数量的帧图像或候选数据，该候选数据为参考所述帧图像生成的图像数据。这样，即使在同步处理延迟的情况下，也可以防止终端侧候选保持单元60的溢出。
[0199]
注意，本发明不限于上述实施例。
[0200]
例如，在云服务器10中实现的一些功能可以在终端12中实现。
[0201]
此外，在本实施例中，服务器侧候选保持单元20中保持的候选数据的数量的上限可以是可变的，而不是预定值。
[0202]
此外，本发明的应用范围不限于云游戏系统1。例如，本发明还适用于包括安装在家中的服务器和通过家庭网络、公共网络、移动电话运营商的网络等连接到所述服务器的终端的游戏系统。即，计算机网络14可以是家庭网络、公共网络、移动电话运营商的网络等。此外，所述服务器和所述终端可以以有线或无线方式彼此连接。
[0203]
此外，应用本发明的视频游戏的类型不特别限定于任何类型，本发明还适用于诸如配置为执行虚拟现实(vr)或增强现实(ar)游戏的游戏系统。
[0204]
此外，本发明的应用范围不限于视频游戏，并且本发明普遍适用于与上述云服务器10相对应的传输装置传输运动图像的情况。
[0205]
此外，上文中的特定字符串和数值以及附图中的特定字符串和数值是说明性的，本发明不受限于这些字符串和数值。