信息处理装置、信息处理方法与程序的制作方法
【技术领域】
[0001]本公开涉及一种信息处理器、一种信息处理方法以及一种程序。更详细地说，本公开涉及一种信息处理器、信息处理方法以及程序，其能够通过小的延迟执行从服务器中发送的图像数据的显示。
【背景技术】
[0002]近年来，从诸如便携式终端的客户端向服务器传输数据处理请求，并且在服务器侧执行数据处理并将处理结果返回客户端，并且在客户端侧上获得数据处理结果的所谓的云计算系统开始变得广泛使用。
[0003]云系统的利用实例包括在游戏终端上运行游戏。它是以下一种系统，其中，用户操作的游戏终端(客户端)与服务器进行通信，并且通过在服务器侧上使用强大功能的数据处理功能，将游戏的诸如展开显示(developing display)的图像数据提供给客户端。
[0004]在这种基于云的游戏系统中，用户操作信息从客户端传输给服务器。服务器根据从客户端中发送的操作信息，展开(develop)游戏，生成更新的图像和音频数据，并且将更新的图像和音频数据传输给客户端。客户端再现从服务器中发送的更新的图像和音频。通过执行这种处理，即使未配置有强大功能处理器等的客户端也能够使用服务器侧强大功能数据处理功能，获得数据处理结果。
[0005]然而，在服务器与客户端之间的传输数据是具有大数据尺寸的数据(例如，图像数据)时，根据网络的状态而发生延迟和抖动(波动)。通常，需要作为编码数据传送图像和音频数据，客户端需要在缓冲器内储存接收的编码数据，并且编码数据需要顺序地解码和输出。
[0006]在根据网络的状态发生数据包延迟和抖动(波动)时，在客户端侧发生数据包接收、解码、显示以及以上的顺序处理的延迟，结果，存在在客户端不能进行及时图像显示的情况。
[0007]注意，作为一种已知的技术，例如，专利文献1(JP 2005-159787A)公开了顺序解码和显示在缓冲器内储存的数据的处理。
[0008]引用列表
[0009]专利文献
[0010]专利文献1:JP 2005-159787A
【发明内容】
[0011]发明要解决的技术问题
[0012]在上述的云系统中，在解码和显示客户端从服务器接收的图像数据时，具有发生延迟的可能性，并且在游戏机等的情况下，例如，这样的延迟被反映为用户操作的响应性的劣化，相应地，对游戏的乐趣减半。
[0013]例如，鉴于以上问题而做出本公开，并且其目标在于提供一种信息处理器、一种信息处理方法以及一种程序，其实现延迟减少的数据输出。
[0014]技术问题的解决方案
[0015]根据本公开的第一方面，提供了一种信息处理器，包括:解码器，其被配置为执行解码由通信单元接收的编码图像数据的处理；存储器，其被配置为储存已被解码的并且由所述解码器输出的图像帧；以及显示控制单元，其被配置为获取储存在所述存储器内的图像帧并且将所述图像帧输出给显示单元。除了所述图像帧以外，所述存储器还储存作为元数据的将所述图像帧输入到存储器的时间。所述显示控制单元基于从输入时间起的经过时间，选择显示单元的输出图像。
[0016]根据本公开的第二方面，提供了一种在信息处理器内执行的信息处理方法，所述信息处理方法包括:解码处理步骤，其中，解码器执行解码由通信单元接收的编码图像数据的处理；图像帧储存步骤，其中，输出控制器将已被解码并且由所述解码器输出的图像帧储存到存储器；以及显示控制步骤，其中，显示控制单元获取储存在所述存储器内的图像帧并且将所述图像帧输出给显示单元。所述图像帧储存步骤被执行为以下步骤:除了所述图像帧之外，还在所述存储器内储存作为元数据的将所述图像帧输入到存储器内的时间。所述显示控制步骤包括:基于从输入时间起的经过时间，选择显示单元的输出图像的步骤。
[0017]根据本公开的第三方面，提供了一种程序，用于使信息处理器执行以下步骤的信息处理:解码处理步骤，其使解码器执行解码由通信单元接收的编码图像数据的处理；图像帧储存步骤，其使输出控制器将已经解码的并且由所述解码器输出的图像帧储存到存储器；以及显示控制步骤，其使显示控制单元获取储存在所述存储器内的图像帧并且将所述图像帧输出给显示单元。在所述图像帧储存步骤中，除了所述图像帧，还使所述存储器储存作为元数据的将所述图像帧输入到存储器内的时间。在所述显示控制步骤中，基于从输入时间开始的经过时间，选择对显示单元进行的输出图像。
[0018]要注意的是，根据本公开的程序是以下一种程序，例如，能够设置在存储介质或通信介质的、可以通过计算机可读形式为能够执行各种程序代码的信息处理装置或计算机系统提供。通过计算机可读形式提供这种程序，能够根据在信息处理装置或计算机系统内的程序实现处理。
[0019]稍后通过基于本公开的实施方式和附图的更详细的解释使本公开的目标、特征以及优点清晰。而且，在本说明书内的系统不限于作为逻辑上聚集多个装置，所有这些装置均包含在相同的外壳内的构造。
[0020]本发明的有益效果
[0021]根据本公开的实施方式的配置，提供了一种能够通过小延迟来显示控制由通信单元接收的图像数据的装置和方法。
[0022]具体而言，图像帧以及用作元数据的存储器输入时间和传输帧速率信息储存在储存所述图像帧的存储器内。所述显示控制单元基于所述输入时间信息的经过的时间选择要输出给显示单元的图像。在每个队列内，将作为从输入时间起的经过时间的等待时间和缓冲时间彼此比较，并且选择与作为所述等待时间超过所述缓冲时间的队列之中的一个队列的最新队列相关联的图像帧，作为显示单元的输出图像。而且，在传输帧速率具有变化时，除了所述传输帧速率的变化以外，也改变所述显示单元的显示速率。
[0023]通过本配置，提供了一种能够通过小延迟来显示控制由通信单元接收的图像数据的装置和方法。
[0024]要注意的是，在本说明书中描述的效果仅仅是例证，并且效果不限于在本说明书中描述的效果，进一步，可以具有额外效果。
【附图说明】
[0025][图1]是用于描述执行本公开的处理的通信系统的示例性配置的示图。
[0026][图2]是用于描述典型客户端的配置的示图。
[0027][图3]是用于解释在客户端的图像显示的延迟的示图。
[0028][图4]是用于描述本公开的客户端的示例性配置的示图。
[0029][图5]是用于描述在本公开的客户端内的显示延迟减少的实例的示图。
[0030][图6]是示出用于描述在存储器内储存图像数据的序列的流程图的示图。
[0031][图7]是用于描述在存储器内储存图像数据的序列的具体实例的示图。
[0032][图8]是示出用于描述在显示更新停止状态(未初始化)中的图像显示控制顺序的流程图的示图。
[0033][图9]是用于描述在显示更新停止状态(未初始化)中的图像显示控制顺序的具体实例的示图。
[0034][图10]是用于描述在显示更新停止状态(未初始化)中的图像显示控制顺序的具体实例的示图。
[0035][图11]是示出用于描述在显示更新执行状态(初始化)中的图像显示控制顺序的流程图的示图。
[0036][图12]是用于描述在显示更新执行状态(初始化)中的图像显示控制顺序的具体实例的示图。
[0037][图13]是用于描述在显示更新执行状态(初始化)中的图像显示控制顺序的具体实例的示图。
[0038][图14]是用于描述在传输帧速率=60fps的情况下的图像显示控制顺序的具体实例的示图。
[0039][图15]是用于描述在传输帧速率=30fps的情况下的图像显示控制顺序的具体实例的示图。
[0040][图16]是用于描述在传输帧速率从60fps变成30fps的情况下的图像显示控制顺序的具体实例的示图。
[0041][图17]是用于描述在传输帧速率从60fps变成30fps的情况下的图像显示控制顺序的具体实例的示图。
[0042][图18]是用于描述在传输帧速率从60fps变成30fps的情况下的图像显示控制顺序的具体实例的示图。
[0043][图19]是用于描述在传输帧速率从30fps变成60fps的情况下的图像显示控制顺序的具体实例的示图。
[0044][图20]是用于描述在传输帧速率从30fps变成60fps的情况下的图像显示控制顺序的具体实例的示图。
[0045][图21]是用于描述在传输帧速率从30fps变成60fps的情况下的图像显示控制顺序的具体实例的示图。
[0046][图22]是用于描述用作客户端的信息处理器的示例性硬件配置的示图。
【具体实施方式】
[0047]在后文中，将参照附图，描述本公开的信息处理器、信息处理方法以及程序的细节。要注意的是，根据以下项目，进行描述。
[0048]1、通信系统的示例性配置
[0049]2、图像数据的接收、解码以及输出处理的延迟
[0050]3、本公开的信息处理器的配置和处理的概述
[0051]4、由本公开的信息处理器(客户端)执行的解码图像的存储器储存序列
[0052]5、由本公开的信息处理器(客户端)执行的图像显示控制处理的详细顺序
[0053]5-1、在显示更新停止状态(未初始化)中的处理
[0054]5-2、在显示更新执行状态(初始化)中的处理
[0055]6、响应于服务器的图像传输帧速率(fps)的切换的处理
[0056]6-1、在传输帧速率(fps)是60fps和30fps时由客户端执行的基本显示控制处理
[0057]6-2、在传输帧速率(fps)从60fps变成30fps时由客户端执行的显示控制处理
[0058]6-3、在传输帧速率(fps)从30fps变成60fps时由客户端执行的显示控制处理
[0059]7、用作客户端的信息处理器的示例性配置
[0060]8、本公开的配置的结论
[0061][1、通信系统的示例性配置]
[0062]首先参照图1，将描述执行本公开的处理的通信系统的示例性配置。
[0063]如图1中所示，通信系统10包括能够双向通信的客户端20和服务器30。例如，客户端20和服务器30通过网络(例如，互联网)进行通信。
[0064]客户端20是针对普通用户的装置，具体而言，例如，是电视机21、PC 22、游戏机或便携式终端23，例如，智能电话。
[0065]客户端20将在客户端20上的用户操作信息传输给服务器30。服务器30响应于从客户端20接收的操作信息，执行数据处理。例如，在用户正在使用客户端20玩游戏时，根据用户操作展开游戏，生成其中更新的图像和音频数据被编码的流数据并且将流数据传输给客户端20。
[0066]客户端20将从服务器30中发送的流数据解码，并且通过显示器或扬声器输出作为解码结果的图像和音频。
[0067][2、图像数据的接收、解码以及输出处理的延迟]
[0068]在通信系统10中，例如，在图1中显示的通信系统，根据网络状态，在客户端20与服务器30之间的通信数据内产生延迟和抖动(波动)。通常，需要作为编码数据传送图像和音频数据，客户端20需要在缓冲器内储存所接收的编码数据，并且编码数据需要依次解码和输出。
[0069]在发生数据包延迟和抖动(波动)时，在客户端20侧上发生以上的数据包接收、解码、显示以及顺序处理的延迟，结果，具有在客户端20内不能及时进行图像显示的情况。
[0070]将参照图2和图3，描述发生延迟的具体实例。
[0071]图2是示出典型客户端20的示例性配置的示图。
[0072]通信单元51接收流数据，流数据包括由服务器30传输的图像编码数据和音频编码数据。
[0073]在解码器52，将所接收的数据解码。
[0074]要注意的是，下面将描述图像数据的处理。
[0075]解码的图像数据以图像帧为单位储存在输出控制器53的存储器71内。
[0076]存储器71被配置为能够储存多个图像帧作为一个队列。
[0077]在本文中，存储器71被配置为能够储存2个图像帧(在图中表示为F1和F2)。
[0078]显示控制单元72依次获取已被解码的并且储存在存储器71内的图像帧，并且将图像帧输出给显示单元54。
[0079]例如，显示单元54给显示控制单元72输出60Hz垂直同步信号(Vsync)，并且在基于同步信号确定的时序，显示控制单元72向显示单元54依次输出图像帧并且执行图像更新。
[0080]控制器55执行与各组件的处理相关的一般控制。
[0081]参照图3，将描述从当来自解码器52的图像帧储存在存储器71内时直到当在显示单元54上显示解码后的图像时的延迟时间。
[0082]图3是示出与从解码器52的数据输出直到在显示单元54上的图像帧的显示处理的时间过渡相关联的顺序的不图。
[0083]在图3中显示了各个以下数据。
[0084](A)解码器的输出
[0085](B)在存储器内储存的数据
[0086](C)通过显示控制单元的处理在显示单元上显示的图像
[0087]在图3的(C)中显示时基(t)，并且(A)、⑶以及(C)示出了根据时基⑴执行的处理。
[0088]在(A)、(B)以及(C)中表示的Fl、F2、F3、F4...中的每个表示单个图像帧。
[0089]F1是图像帧F1，并且F2是图像帧F2。
[0090]图3的(A)示出的是其中解码器52将从通信单元51中输入的编码图像数据解码，并且向存储器71输出解码后的数据的顺序。
[0091]由于网络通信的抖动(波动)等，在帧F1、F2、F3以及F4之间的间隔不同。图像帧的接收间隔发生某个变化，并且根据接收间隔，从解码器52中输出的数据的间隔发生变化。
[0092]在图3的⑶中的存储器71具有允许储存两个图像帧的配置。在图3中，在(B)的下侧的(bl)是在前输入图像(在前队列)，并且在上侧的(b2)是后续输入图像(后续队列)。
[0093]在图中所示的实例中，在时间t0，帧F1作为储存在存储器内在前输入队列，并且之后，帧F2储存为后续队列。
[0094]要注意的是，在图3的(B)中所示的帧Fn的长度相当于在存储器储存的时间。
[0095]例如，帧F1在时间t0至tl之间作为在前队列储存在存储器内。
[0096]帧F2在时间t0至tl之间的中间时间作为后续队列储存在存储器内，并且设置为直到时间tl的后续队列。然后，作为示出的在时间tl到t2之间，帧F2作为在前队列储存在存储器内。
[0097]在图3的(C)中，示出了与显示控制单元72的处理以及显示单元54的显示图像相关的顺序。
[0098]显示控制单元72从存储器71中取出储存在存储器内的帧F1，并且在时间tl至t2之间，将该帧输出给显示单元54。
[0099]在时间tl，在从存储器71中提取帧F1时，作为后续队列的帧F2变成在前队列。
[0100]要注意的是，严格地说，在从存储器71中提取图像帧时与在将图像帧输出给显示单元54时之间具有时间滞后；然而，以上时间滞后从图3的图示忽略。
[0101]然后，从解码器中输出的帧F3设置为后续帧。
[0102]在时间t2，显示单元54的显示图像切换成帧F2。
[0103]在时间t2，作为存储器的后续队列的帧F3变成在前队列，随后，储存从解码器中输入的帧F4，作为后续队列。
[0104]在图3中显示的从解码图像到显示图像的顺序中，当图像帧F1从解码器52到存储器71的输出时间是t0，显示单元54的显示开始时间是例如tl。
[0105]换言之，从完成解码的时起到开始显示发生从时间0到tl的延迟。
[0106]在本公开的处理中，实现减少这种延迟的配置。
[0107][3、本公开的信息处理器的配置和处理的概述]
[0108]图4是示出用作本公开的信息处理器的客户端20的示例性配置的示图。在图4中所示的客户端20的配置对应于客户端的主要进行图像处理的局部配置。
[0109]通信单元101接收流数据，数据流包括由服务器30传输的图像编码数据和音频编码数据。
[0110]在解码器102内解码所接收的数据。