运动图像接收设备、运动图像发送设备、运动图像发送/接收系统、控制方法和程序与流程

本发明涉及运动图像接收设备、运动图像发送设备、运动图像发送/接收系统、控制方法和程序。

背景技术：

1、在近年来引起关注的用于云游戏服务的技术中，与用户在终端上的输入操作相对应的操作数据从终端无线地发送到云服务器。之后，在云服务器中，根据该操作数据生成表示游戏的玩游戏情况的帧图像。之后，将通过对该帧图像进行编码而获得的图像数据从云服务器无线地发送到终端，并且在终端上显示通过对该图像数据进行解码而获得的帧图像。作为重复执行这一系列处理的结果，在终端上显示表示游戏的玩游戏情况的运动图像。

技术实现思路

1、在上述云游戏服务中，期望在终端上显示的运动图像具有尽可能高的图像质量，因此，期望基于形成该运动图像的帧图像生成的图像数据的数据大小尽可能大。

2、然而，在如上所述需要即时性的无线通信中，为了减少用户在操作中感觉到的不适感，重要的是通过甚至减小图像数据的数据大小来使每帧图像以低延迟平滑地显示在终端上。在通过使用诸如第四代移动通信系统(4g)或第五代移动通信系统(5g)的移动通信系统发送运动图像的情况下，其中频带变化大并且因此可能发生延迟，特别需要注意在终端上以低延迟显示帧图像。

3、注意，这通常不仅适用于提供云游戏服务的情况，而且适用于从与上述云服务器对应的运动图像发送设备发送运动图像的情况。

4、鉴于上述实际情况做出了本发明，并且本发明的一个目的是提供一种运动图像接收设备、运动图像发送设备、运动图像发送/接收系统、控制方法和程序，其能够在考虑到延迟的情况下生成具有适当数据大小的图像数据。

5、[问题的解决方案]

6、为了解决上述问题，根据本发明的运动图像接收设备从运动图像发送设备连续地接收表示形成运动图像的帧图像的图像数据，该运动图像接收设备包括：操作数据发送单元，该操作数据发送单元将与用户的输入操作相对应的操作数据发送到运动图像发送设备，分组接收单元，其接收响应于开始基于操作数据生成帧图像而从运动图像发送设备发送的、并且与该操作数据相关联的分组，以及数据大小控制单元，其基于分组接收时间控制随后要由运动图像发送设备发送的图像数据的数据大小，分组接收时间是从操作数据的发送的定时到与该操作数据相关联的分组的接收的定时的时间。

7、在本发明的一个方面中，数据大小控制单元基于接收从运动图像发送设备发送的图像数据所需的时间来控制数据大小。

8、此外，在本发明的一个方面中，数据大小控制单元基于在接收最新分组时的分组接收时间和在接收最新分组之前至少一次接收该分组时的分组接收时间来控制数据大小。

9、此外，在本发明的一个方面中，数据大小控制单元执行控制，以便在确定继续接收分组失败的情况下，基于预定条件减小数据大小。

10、此外，根据本发明的运动图像发送设备是将表示形成运动图像的帧图像的图像数据连续发送到运动图像接收设备的运动图像发送设备，包括：操作数据接收单元，从运动图像接收设备接收与用户的输入操作相对应的操作数据；图像生成单元，基于操作数据生成帧图像；分组发送单元，响应于帧图像的生成的开始而将与操作数据相关联的分组发送到运动图像接收设备；编码处理执行单元，对帧图像进行编码以生成表示该帧图像的图像数据；图像数据发送单元，将图像数据发送到运动图像接收设备；以及数据大小控制单元，基于从运动图像接收设备发送操作数据的定时到运动图像接收设备接收与该操作数据相关联的分组的定时的时间，控制随后要由图像数据发送单元发送的图像数据的数据大小。

11、此外，根据本发明的运动图像发送/接收系统是包括运动图像发送设备和运动图像接收设备的运动图像发送/接收系统，运动图像发送设备连续地发送表示形成运动图像的帧图像的图像数据，运动图像接收设备连续地接收图像数据，其中，运动图像接收设备包括：操作数据发送单元，将与用户的输入操作相对应的操作数据发送到运动图像发送设备；分组接收单元，接收响应于基于操作数据生成帧图像的开始而从运动图像发送设备发送的、并且与该操作数据相关联的分组；以及控制数据发送单元，基于分组接收时间向运动图像发送设备发送控制随后要由运动图像发送设备发送的图像数据的数据大小的控制数据，分组接收时间是从操作数据的发送定时到与操作数据相关联的分组的接收定时的时间，并且其中，运动图像发送设备包括：操作数据接收单元，从运动图像接收设备接收操作数据；图像生成单元，基于操作数据生成帧图像；分组发送单元，响应于帧图像的生成的开始，将与操作数据相关联的分组发送到运动图像接收设备；编码处理执行单元，对帧图像进行编码以生成表示该帧图像的图像数据；图像数据发送单元，将图像数据发送到运动图像接收设备；控制数据接收单元，接收控制数据；以及数据大小控制单元，基于控制数据来控制随后要由图像数据发送单元发送的图像数据的数据大小。

12、此外，根据本发明的控制方法包括以下步骤：由从运动图像发送设备连续地接收表示形成运动图像的帧图像的图像数据的运动图像接收设备向运动图像发送设备发送与用户的输入操作相对应的操作数据；由运动图像接收设备接收与用户的输入操作相对应的操作数据的步骤，响应于基于操作数据的帧图像的生成的开始而从运动图像发送设备发送的、并且与该操作数据相关联的分组，以及由运动图像接收设备基于分组接收时间来控制随后由运动图像发送设备发送的图像数据的数据大小的步骤，分组接收时间是从操作数据的发送定时到与该操作数据相关联的分组的接收定时的时间。

13、此外，根据本发明的另一种控制方法包括：由向运动图像接收设备连续发送表示形成运动图像的帧图像的图像数据的运动图像发送设备从该运动图像接收设备接收与用户的输入操作相对应的操作数据的步骤；由该运动图像发送设备基于该操作数据生成帧图像的步骤；由该运动图像发送设备向该运动图像接收设备发送表示形成运动图像的帧图像的图像数据的步骤；响应于帧图像的生成的开始，将与操作数据相关联的分组发送到运动图像接收设备的步骤；由运动图像发送设备对帧图像进行编码以生成表示该帧图像的图像数据的步骤；由运动图像发送设备将图像数据发送到运动图像接收设备的步骤；以及基于从由运动图像接收设备发送操作数据的定时到由运动图像接收设备接收与该操作数据相关联的分组的定时的时间，由运动图像发送设备控制随后由运动图像发送设备发送的图像数据的数据大小的步骤。

14、此外，根据本发明的程序使从运动图像发送设备连续接收表示形成运动图像的帧图像的图像数据的计算机执行将与用户的输入操作相对应的操作数据发送到运动图像发送设备的过程，接收响应于基于操作数据生成帧图像的开始而从运动图像发送设备发送的、并且与该操作数据相关联的分组的过程，以及基于分组接收时间来控制随后要由运动图像发送设备发送的图像数据的数据大小的过程，分组接收时间是从操作数据的发送定时到与该操作数据相关联的分组的接收定时的时间。

15、此外，根据本发明的另一程序使得将表示形成运动图像的帧图像的图像数据连续发送到运动图像接收设备的计算机执行从运动图像接收设备接收与用户的输入操作相对应的操作数据的过程，基于操作数据生成帧图像的过程，响应于帧图像的生成的开始将与操作数据相关联的分组发送到运动图像接收设备的过程，对帧图像进行编码以生成表示该帧图像的图像数据的过程，将图像数据发送到运动图像接收设备的过程，以及基于从运动图像接收设备发送操作数据的定时到运动图像接收设备接收与该操作数据相关联的分组的定时的时间，控制随后要由计算机发送的图像数据的数据大小的过程。