[0111]在解码器102内解码的解码图像数据以图像帧为单位储存在输出控制器1053的存储器121内。
[0112]存储器121被配置为能够储存多个图像帧，作为一个队列。
[0113]在本文中，与前面参照图2描述的存储器71 一样，存储器121被配置为能够储存2个图像帧(在图中表示为F1和F2)。
[0114]显示控制单元122依次获取储存在存储器121内的图像帧，并且将图像帧输出给显示单元104。
[0115]例如，显示单元104向显示控制单元122输出60Hz垂直同步信号(Vsync)，并且在基于同步信号确定的时序，显示控制单元122向显示单元104依次更新所述输出图像帧。
[0116]显示控制单元122和显示单元104通过HDMI (注册商标)电缆彼此连接。
[0117]控制器55执行与各组件的处理相关的一般控制。
[0118]以上基本配置是与前面参照图2描述的传统装置的配置相似的配置。
[0119]在图4中显示的客户端20在存储器121内不仅储存了图像帧(Fn)，而且除了图像帧以外，还储存了与图像帧相关联的以下元数据。
[0120](1)输入到存储器的时间
[0121](2)服务器30的图像数据的传输帧速率(fps)
[0122]在使元数据与图像帧相关联之后，储存以上元数据。
[0123]服务器30根据网络的状态适当地改变待传输的图像的帧速率。将关于传输帧速率的信息从服务器30中通知给客户端。控制器105从通过通信单元101接收的通知信息中提取关于传输帧速率(fps)的信息。解码器102使传输帧速率与要输出的解码的图像相关联，并且在存储器121内储存所产生的解码图像。
[0124]而且，控制器105从系统时钟(未显示)中输入时间信息并且将该时间信息提供给解码器102。解码器102使在存储器121内输入图像帧的时间与解码图像相关，作为元数据=上述输入时间，并且在存储器121内储存解码的图像。
[0125]结果，如图中所示，在存储器121内，使以下数据相关联并且储存这些数据:
[0126](1)图像帧
[0127](2)输入时间(在存储器内输入图像帧的时间)
[0128](3)传输帧速率(fps)
[0129]显示控制单元使用以上数据⑴到(3)来执行从存储器121中获取的且输出给显示单元104的图像的显示控制。
[0130]稍后描述以上的处理细节。
[0131]在本公开的处理中，记录解码数据输入到存储器121中时间，作为与相关的图像帧相关联的元数据。
[0132]例如，对于每个图像帧，图像控制单元122计算在被储存在存储器内之后经过的时间，并且根据计算结果，执行确定输出图像的处理。
[0133]图5是示出本公开的信息处理器(客户端20)执行的图像输出顺序的实例的示图。
[0134]与前面描述的图3相似，图5是示出与从解码器102的数据输出直到在显示单元104上的图像帧的显示处理的时间过渡相关联的顺序的示图。
[0135]在图5中示出了各个以下数据。
[0136](A)解码器的输出
[0137](B)在存储器内储存的数据
[0138](C)通过显示控制单元的处理在显示单元上显示的图像
[0139]在图5的(C)中显示时基(t)，并且(A)、⑶以及(C)示出了根据时基⑴执行的处理。
[0140]在(A)、(B)以及(C)中表示的？1、？2、？3、？4...中的每个表示单个图像帧。
[0141]F1是图像帧F1，并且F2是图像帧F2。
[0142]在图5的(B)中的存储器具有允许储存两个图像帧的配置。在图5中，在(B)的下侧的(bl)是在前输入图像(在前队列)，并且在上侧的(b2)是后续输入图像(后续队列)。
[0143]在图中所示的实例中，在时间t0，帧F1作为在前输入队列储存在存储器内，并且然后，帧F2作为后续队列储存。
[0144]要注意的是，与前面参照图3提供的描述相似，在图5的(B)中显示的帧Fn的长度与储存在存储器内的时间相当。
[0145]例如，帧F1在时间t0到tl之间作为在前队列储存在存储器内。
[0146]帧F2在时间t0至tl之间的中间时刻作为后续队列储存在存储器内，并且设置为直到时间tl的后续队列。然后，显示为在时间tl至t2之间，帧F2作为在前队列储存在存储器内。
[0147]在图5的(C)中，示出了与显示控制单元122的处理以及显示单元104的显示图像相关的顺序。
[0148]在图5所示的实例中，在时间tl，显示控制单元122不选择帧F1，而是选择储存在存储器内的帧F2，并且向显示单元104输出帧F2。
[0149]执行选择以上显示图像的处理，作为使用与储存在存储器内的图像帧相关联的元数据的处理。
[0150]在图5中从解码图像到显示图像的显示的顺序中，与在参照图3描述的顺序中的帧F1的延迟时间相比，图像帧F2的延迟时间，S卩，帧F2从解码器102到存储器121的输出时间直到帧F2在显示单元104上的显示开始时间的延迟时间缩短。
[0151]如上所述，在本公开的配置中，储存在显示图像时缩短的延迟。
[0152]通过使用与在存储器内要储存的图像帧相关联的元数据来选择显示图像，可以实现以上内容。
[0153]下面详细地描述以上处理。
[0154]〈4、由本公开的信息处理器(客户端)执行的解码图像的存储器储存顺序>
[0155]接下来，将描述由本公开的信息处理器(客户端)执行的解码图像的存储器储存顺序。
[0156]图6是示出从解码器102到存储器212的数据输入处理顺序的流程图。
[0157]例如，根据储存在储存单元内的程序，在控制器105和输出控制器103的控制下，执行在图6中所示的流程。
[0158]要注意的是，在图6中所示的流程是在从解码器102中输入新数据时反复执行的处理。
[0159]下面描述在每个步骤中的处理。
[0160](步骤S101)
[0161]首先，在步骤S101中，确定储存在存储器内的队列的数量是否达到上限(满)。
[0162]例如，参照图5描述的存储器121被配置为能够储存两个队列，并且在储存两个队列时，确定队列的数量处于上限(是)。如果在低于1个，那么确定队列的数量不处于上限(否)。
[0163]在确定处于上限(是)时，处理继续进入步骤S102。另一方面，在确定未处于上限(否)时，处理继续进入步骤S103。
[0164](步骤S102)
[0165]在确定储存在存储器121内的队列的数量处于上限时，在步骤S102中，删除在存储器内的最旧的队列。在图5中显示仅仅储存两个队列的存储器121的情况下，删除在前队列。
[0166]要注意的是，除了图像帧之外，该队列还包括元数据，例如，输入时间和传输帧速率(fps);删除所有以上数据。
[0167](步骤S103)
[0168]在步骤S102中完成删除队列之后，或者在步骤S101中确定储存在存储器内的队列的数量不处于上限时，执行步骤S103的处理。
[0169]在步骤S103中，为了设置用作与输入的新图像数据相关联的元数据的输入时间，获取当前时间。例如，从包含在客户端20内的系统时钟中获取当前时间信息。
[0170](步骤S104)
[0171]然后，在步骤S104中，在存储器内储存包括新图像帧以及与新图像帧相关联的元数据的数据，作为单个队列，所述元数据包括
[0172]输入时间，以及
[0173]传输帧速率(fps)。
[0174]参照图7，将描述在存储器内储存数据的处理的具体示例性序列。
[0175]与前面描述的图5相似，图7是示出与从解码器102的数据输出到在显示单元104上的图像帧的显示处理的时间过渡相关联的顺序的示图。
[0176]在图7中示出了以下各个数据。
[0177](A)解码器的输出
[0178](B)在存储器内储存的数据
[0179](C)通过显示控制单元的处理在显示单元上显示的图像
[0180]在图3的(C)中显示时基⑴，并且⑷、⑶以及(C)示出了根据时基⑴执行的处理。
[0181]在⑷、⑶以及(C)中表示的F1、F2、F3、F4...中的每个表示单个图像帧。
[0182]F1是图像帧F1，并且F2是图像帧F2。
[0183]在图7的(C)中显示的时基(t)上由实线箭头201描述的时间tl、时间t2、时间t3...均是显示单元104的垂直同步信号(Vsync)的输出时间，并且均表示可以切换相关的输出图像帧的时间。在垂直同步信号(Vsync)是60Hz时，在各个实线箭头之间的间隔是1/60 (sec)。
[0184]而且，在图7的(C)中由虚线箭头202描述的时间tlm、t2m、t3m...表示从存储器121中获取图像的存储器访问时刻，以便在由实线箭头201描述的垂直同步信号(Vsync)的输出时刻tl、t2、t3...更新显示单元104的输出图像。
[0185]换言之，例如，为了在时间t2，在显示单元上显示图像帧F1，通过在时间t2m的存储器访问时刻，访问存储器121，来获取图像帧F1。
[0186]以上存储器访问时刻对应于显示图像更新处理开始时刻。
[0187]在图7的(B)中显示的存储器对应于在图4中显示的存储器121的处理。存储器121具有允许储存两个图像帧的配置。在图7中，在(B)的下侧的(bl)是在前输入图像(在前队列)，并且在上侧的(b2)是后续输入图像(后续队列)。
[0188]在图7的⑶中示出的水平方向延伸的虚线箭头203表示缓冲时间。
[0189]缓冲时间是在存储器121内储存单个队列所需要的时间。换目之，缓冲时间是从在上述输入时间开始在存储器121内储存队列配置数据之后到所有队列配置数据块完全储存在存储器121内使得随后通过稳定的方式提取队列的时间。
[0190]缓冲时间提前储存在非易失性存储器内，作为装置(客户端)唯一的数据。
[0191]交替地，缓冲时间可以是可由用户设置的时间信息。
[0192]根据图6中示出的流程，执行在存储器121内储存输出图像的解码器102的处理。
[0193]例如，在帧F1从解码器102中输入存储器121内时，存储器的储存队列是0，并且在步骤S101中的确定是“否”，使得执行从步骤S103到S104的处理。
[0194]结果，包括图像帧F1、图像帧F1的输入时间以及传输帧速率(fps)的队列储存在存储器121内。
[0195]在从解码器102将帧F2输入在存储器121内时，这同样适用。
[0196]而且，在从解码器102中将帧F3输入在存储器121内时，显示控制单元获取作为存储器121的在前队列的图像帧F1。因此，在存储器121内输入帧F3时，在步骤S101中的确定是“否”，使得执行从步骤S103到S104的处理。
[0197]然而，例如，在图7中所示的实例中，在将帧F4从解码器102中输入在存储器121内时，图像帧F2和F3储存在存储器121内。换言之，由于这是队列数量的上限(队列数量=2)，所以在步骤S101中的确定是“是”。
[0198]在以上情况下，在步骤S102中，执行最旧队列的删除。在输入帧F4的点，储存在存储器121内的最旧队列是图像帧F2，并且删除图像帧F2及其元数据。
[0199]除了删除处理之外，后续队列F3还变成在前队列，并且帧F4储存为后续队列。
[0200]如上所述，在生成新输入图像的点，在存储器121内的队列的数量是上限数量时，执行删除旧队列并且储存新输入图像的处理。
[0201][5、由本公开的信息处理器(客户端)执行的图像显示控制处理的详细顺序]
[0202]接下来，将描述储存在存储器121内的图像帧的显示控制顺序。
[0203]在获取储存在存储器121内的图像并且向显示单元104输出该图像时，本公开的信息处理器(客户端20)的输出控制器103根据以下两种状态执行不同的处理。
[0204](状态1)=显示更新停止状态(未初始化)
[0205](状态2)=显示更新执行状态(初始化)
[0206](状态1)=显示更新停止状态(未初始化)是不能从存储器121中获取用于显示更新的图像的状态，并且(状态2)=显示更新执行状态(初始化)是可以从存储器121中获取用于显示更新的图像的状态。
[0207]如下所述，参照图，按照顺序描述在以上每种状态中的处理。
[0208]参照在图8中所示的流程图以及在图9和图10中显示的具体实例，描述在(状态1)=显示更新停止状态(未初始化)的情况下的处理。
[0209]参照在图11中所示的流程图以及在图12和其后的图中显示的具体实例，描述在(状态2)=显示更新执行状态(初始化)的情况下的处理。
[0210][5-1、在显示更新停止状态(未初始化)中的处理]
[0211]首先，将参照在图8中所示的流程图，描述在(状态1)=显示更新停止状态(未初始化)的情况下的处理。
[0212]图8是示出选择性获取储存在存储器121内的队列(换言之，包括图像帧以及用作元数据的输入时间和传输帧速率(fps)的队列)以及在显示单元104上显示该队列的处理顺序的流程图。
[0213]例如，根据储存在储存单元内的程序，在控制器105和输出控制器103的控制下，执行在图8中所示的流程。
[0214]要注意的是，在图8中所示的流程是根据显示单元104的垂直同步信号(Vsync)的周期反复执行的处理。
[0215]下面描述在每个步骤中的处理。
[0216](步骤S201)
[0217]首先，在步骤S201中，输出控制器103的显示控制单元122等待，直到在下一个Vsync之前的存储器访问时刻(tnm)。
[0218]存储器访问时刻(tnm)是与前面参照图7描述的tlm、t2m...对应的存储器访问时刻。
[0219](步骤S202)
[0220]在步骤S202中，在存储器访问时刻(tnm)到来时，显示控制单元122确定当前状态是否是显示更新执行状态(初始化)
[0221]如上所述，在获取储存在存储器121内的图像并且向显示单元104输出图像时，本公开的信息处理器(客户端20)的输出控制器103根据以下两种状态执行不同的处理。
[0222](状态1)=显示更新停止状态(未初始化)
[0223](状态2)=显示更新执行状态(初始化)
[0224](状态1)=显示更新停止状态(未初始化)是不能从存储器121中获取用于显示更新的图像的状态，并且(状态2)=显示更新执行状态(初始化)是可以从存储器121中获取用于显示更新的图像的状态。
[0225]如果当前状态是显示更新执行状态(初始化)，那么处理继续进入步骤S251。稍后参照图11以及其后的示图描述在以上情况下的处理。
[0226]同时，在当前状态不是显示更新执行状态(初始化)，而是显示更新停止状态(未初始化)时，处理继续进入步骤S203。在这个流程中，将描述在这种情况下的处理。
[0227]换言之，这是在处于不能从存储器121中获取用于显示更新的图像的状态中的处理。
[0228](步骤S203)
[0229]在步骤S203中，更新图像候选(Candidate)设置为“没有(空)”。
[0230]更新图像候选(Candidate)是在显示单元104上下一个要显示的图像的候选。
[0231](步骤S204)
[0232]随后，显示控制单元122确定在存储器121内是否具有经受处理的任何未经处理的队列。
[0233]在没有更新图像候选时，处理继续进入步骤S209。
[0234]在具有更新图像候选时，处理继续进入步骤S205。
[0235](步骤S205)
[0236]在验证在存储器121内具有经受处理的未经处理的队列时，在步骤S205中，显示控制单元122将经受处理的图像(tmp)设为在前队列(Quee.front)。
[