一种图像处理方法、远程被控设备及虚拟现实系统的制作方法
【专利摘要】本发明提供一种图像处理方法、远程被控设备以及虚拟现实系统，首先，获取接收端反馈的接收数据的速率；根据所述速率和网络回环延迟获得最大接收数据传输率；获取当前发送数据传输率；判断所述当前发送数据传输率与所述最大接收数据传输率的差值是否超出预设阈值，若是则调整编码器编码比特率和输入图像的编码帧率，对目标图像进行编码，使得编码后的最大动态数据率不大于所述最大接收数据传输率。通过动态编码保证了数据传输的时效性。本发明还提供使用该方法的远程被控终端以及虚拟现实系统，从而完成虚拟现实功能，该方案中保证了数据传输的时效性，实现了基于远程控制的虚拟现实技术。
【专利说明】
一种图像处理方法、远程被控设备及虚拟现实系统
技术领域
[0001]本发明涉及信息处理领域，具体涉及一种信息实时传输方法及使用该方法的虚拟现实系统。
【背景技术】
[0002]随着互联网技术的发展，越来越多的信息可以通过网络进行实时共享，这也促进了虚拟现实技术的发展。虚拟现实技术(VR)主要包括模拟环境、感知、自然技能和传感设备等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。此外，还可以通过虚拟现实技术对现实中的设备进行远程控制，将其视频信息在终端进行虚拟现实。
[0003]例如，在一些商场门口或者大型购物场所的宽阔区域都可以看到一种抓布娃娃(公仔)的机器，使用者投入硬币后，操作控制杆进行前后左右移动，使抓手位于容易抓到布娃娃的上方，然后操作一个按钮使抓手放到布娃娃上，抓手依靠一定力度的爪把布娃娃夹起来，然后操作者就可以获得这个成果，这个游戏花费不多，但对操作技巧有讲究，如果抓到布娃娃对操作者也很有成就感，大人小孩都可以玩，尤其对小孩子有很大吸引力。
[0004]目前的抓布娃娃机都是用实体机器摆在商场或者大型购物场所附近，使用者必须亲临现场操作，一般人只能购物或者其它活动需要时顺带玩一下，而不会专门跑过去玩这个游戏机器，机器利用率不高，有时也需要排队浪费时间;此外，由于机器大小通常固定，不能很好兼容大人和小孩都能玩。
[0005]如果用户能够在电脑、电视、手机等终端设备上通过app应用软件对布娃娃机进行远程操控，那么就可以实现远程抓娃娃。但是在实现该技术时，需要能看到布娃娃机的实时视频，并且需要保持操控的延迟在可接受的范围内，才能够达到远程操控的效果。然而，由于网络是公共资源，且带有部分“抢占式”使用的特性，网络速度会出现时快时慢的特性，俗称“网络抖动”，这就使得在实现远程控制过程中，很难将延迟控制在一定范围内，阻碍了该虚拟现实方式的实现。
【发明内容】
[0006]因此，本发明要解决的技术问题在于克服现有技术中的网络速度时快时慢、无法将视频信息的延迟控制在合理范围内的缺陷，从而提供一种信息实时传输方法。
[0007]本发明要解决的另一个技术问题在于克服现有技术中由于网络时快时慢而无法实现基于远程控制的虚拟现实系统的缺陷，从而提供一种虚拟现实系统。
[0008]本发明提供一种图像处理方法，包括如下步骤:
[0009]获取接收端反馈的接收数据的速率；
[0010]根据所述速率和网络回环延迟获得最大接收数据传输率；
[0011]获取当前发送数据传输率；
[0012]判断所述当前发送数据传输率与所述最大接收数据传输率的差值是否超出预设阈值，若是则调整编码器编码比特率和输入图像的编码帧率，对目标图像进行编码，使得编码后的最大动态数据率不大于所述最大接收数据传输率。
[0013]优选地，所述编码后的最大动态数据率的计算公式如下:
[0014]SVmax = f(编码帧率CVmax)*f(编码比特率EVmax)*f(网络回环延迟DVmax)
[0015]其中，DVmax是自动探测到的，SVmax为已经获得的最大接收数据传输率，需要调节的是编码帧率CVmax和编码比特率EVmax。
[0016]优选地，所述调整编码器编码比特率和输入图像的编码帧率的步骤，包括
[0017]如果优先保证画面清晰度，则提高编码比特率EVmax，降低编码帧率CVmax，如果优先保证画面连续性，则降低编码比特率EVmax，提高编码帧率CVmax。
[0018]优选地，所述获取接收端反馈的接收数据的速率的步骤中，周期性实时获取接收端采用滑动窗口机制测量的接收数据速率。
[0019]优选地，将所述目标信息进行编码的步骤中，使用HEVC或VP9编码方式。
[0020]优选地，还包括将编码后的目标信息进行传输的步骤，其中采用UDP协议在网络上传输。
[0021]本发明还提供一种保证信息实时传输的图像处理装置，包括:
[0022]第一获取单元，用于获取接收端反馈的接收数据的速率；
[0023]计算单元，用于根据所述速率和网络回环延迟计算最大接收数据传输率；
[0024]第二获取单元，用于获取当前发送数据传输率；
[0025]编码调整单元，用于判断所述当前发送数据传输率与所述最大接收数据传输率的差值是否超出预设阈值，若是则调整编码器编码比特率和输入图像的编码帧率，对目标图像进行编码，使得编码后的最大动态数据率不大于所述最大接收数据传输率。
[0026]本发明还提供一种远程被控设备，包括:
[0027]采集单元，包括设置在所述远程被控设备的周围视频采集装置，用于采集所述远程被控设备的视频信息；
[0028]所述的图像处理装置，用于将所述视频信息进行动态编码处理后传输；
[0029]接收单元，接收控制终端的控制指令；
[0030]执行单元，按照所述控制指令执行相应的动作。
[0031]优选地，所述采集单元还包括音频采集装置，所述信息实施传输装置将所述视频信息和音频信息进行信息实时传输。
[0032]本发明提供一种虚拟现实系统，包括:
[0033]所述的远程被控设备；
[0034]控制终端，实时测量接收数据速率并周期性反馈回所述远程被控设备，接收所述远程被控设备发送的视频信息并显示，接收用户输入的控制指令，并发送所述控制指令给所述远程被控终端；
[0035]控制服务器，接收所述远程被控设备的视频信息，对所述远程被控设备和所述控制终端进行管理。
[0036]本发明技术方案，具有如下优点:
[0037]1.本发明提供的一种图像处理方法，获取接收端反馈的接收数据的速率;根据所述速率和网络回环延迟获得最大接收数据传输率;获取当前发送数据传输率;判断所述当前发送数据传输率与所述最大接收数据传输率的差值是否超出预设阈值，若是则调整编码器编码比特率和输入图像的编码帧率，对目标图像进行编码，使得编码后的最大动态数据率不大于所述最大接收数据传输率。该方案中，充分考虑到当前的网络环境，根据接收端反馈的接收数据的速率和网络回环延迟计算最大接收数据传输率，从而获得在延时允许范围内能够传输的数据量，以此作为编码后的数据量来进行编码，从而保证了数据传输的时效性，当网络带宽大时图像清晰些，网络传输慢时图像质量下降些，在网络快慢的情况下，都能保证数据传输的及时性，从而将信息的延迟控制在合理范围内，为实时远程控制技术创造条件。
[0038]2.本发明提供一种远程被控设备，包括采集单元、图像处理装置、接收单元和执行单元，通过图像处理装置可以将采集单元采集到的视频信息动态编码从而实时传输给控制终端，实现了视频信息的实时传输，将视频信息的延时控制在合理的范围内。
[0039]3.本发明提供一种虚拟现实系统，包括远程被控设备、控制终端及控制服务器，远程被控终端可以动态调整视频信息的编码使其在允许的延时范围内传输给控制终端和控制服务器，控制终端展示远程被控终端的视频信息，并根据用户输入的动作生成控制指令发送给远程被控终端，远程被控终端执行该控制指令并完成相应动作，控制终端实时显示远程被控终端的视频信息，从而完成虚拟现实功能，该方案中保证了数据传输的时效性，实现了基于远程控制的虚拟现实技术。
【附图说明】
[0040]为了更清楚地说明本发明【具体实施方式】或现有技术中的技术方案，下面将对【具体实施方式】或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0041]图1为本发明实施例1中信息实时传输方法的一个具体示例的流程图；
[0042]图2为本发明实施例2中信息实时传输装置的一个具体示例的结构框图；
[0043]图3为本发明实施例3中远程被控设备的一个具体实例的结构框图图；
[0044]图4为本发明实施例4中虚拟现实系统的一个具体示例的系统结构图。
【具体实施方式】
[0045]下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
[0046]实施例1
[0047]本实施例中提供一种图像处理方法，如图1所示，该方法用于发送端，对视频信息、音频信息或音频+视频信息等大数据的信息进行动态编码后发送，从而保证信息可以实时传输，将信息传输的延时控制在允许的时间内。该方法包括如下步骤:
[0048]S1、获取接收端反馈的接收数据的速率。由于网络是公共资源，因此使用该网络的用户的多少对网络速度会造成影响，导致网络速度产生时快时慢的情况。与该发送端对应的一端是接收端，接收端采用滑动窗口机制来实时测量接收数据速率，并周期性(比如200ms—次)反馈回发送方。
[0049]S2、根据所述速率和网络回环延迟获得最大接收数据传输率。网络包回环延迟DVmax是自动探测到的，根据所述速率和网络回环延迟能够获得最大可能的数据传输率，这样就可以得到接收端能够达到的最大可能的数据传输率，以此为参考，动态调整图像编码。
[0050]S3、获取当前发送数据传输率。
[0051]S4、判断所述当前发送数据传输率与所述最大接收数据传输率的差值是否超出预设阈值，此处的阈值本领域人员根据需要进行设置，若是则调整编码器编码比特率和输入图像的编码帧率，对目标图像进行编码，使得编码后的最大动态数据率不大于所述最大接收数据传输率。
[0052]所述编码后的最大动态数据率的计算公式如下:
[0053 ] SVmax = f (编码帧率CVmax) *f (编码比特率EVmax) *f (网络回环延迟DVmax)
[0054]其中，DVmax是自动探测到的，SVmax为所述最大接收数据传输率，也是根据当前情况得到的，编码后的最大动态数据率的最大值也就是所述最大接收数据传输率。
[°°55] 其中，SVmax的单位为比特每秒，f (编码帧率CVmax)的单位为帧每秒，f (编码比特率EVmax)的单位为比特每秒，f (网络回环延迟DVmax)的单位为毫秒，一般是200ms以内
[0056]该公式中需要调节的是编码帧率CVmax和编码比特率EVmax。
[0057]如果优先保证画面清晰度，则提高编码比特率EVmax，降低编码帧率CVmax，如果优先保证画面连续性，则降低编码比特率EVmax，提高编码帧率CVmax。
[0058]对目标图像进行编码过程中选择压缩比高、对动态比特率自适应强的HEVC或VP9编码方式，其中HEVC即High Efficiency Video Coding，是一种视频压缩标准，VP9是一个由Google开发的开放格式、无使用授权费的视频压缩标准。
[0059]此外，还包括将编码后的目标信息进行传输。为了加强实时通信，音视频流和控制信息数据均可以采用UDP协议在网络上传输。
[0060]该方案中，充分考虑到当前的网络环境，根据接收端反馈的接收数据的速率和网络回环延迟计算最大接收数据传输率，从而获得在延时允许范围内能够传输的数据量，以此作为编码后的数据量来动态调整图像编码，从而保证了数据传输的时效性，当网络带宽大时图像清晰些，网络传输慢时图像质量下降些，在网络快慢的情况下，都能保证数据传输的及时性，从而将信息的延迟控制在合理范围内，为实时远程控制技术创造条件。
[0061 ] 实施例2:
[0062]本实施例中提供一种信息实时传输装置，用于实现实施例1中的方法，该装置可用于远程被控设备，用于将远程被控设备的音视频信息进行实时传输，该信息实时传输装置如图2所示，包括:
[0063]第一获取单元01，用于获取接收端反馈的接收数据的速率；
[0064]计算单元02，用于根据所述速率和网络回环延迟计算最大接收数据传输率；
[0065]第二获取单元03，用于获取当前发送数据传输率；
[0066]编码调整单元04，用于判断所述当前发送数据传输率与所述最大接收数据传输率的差值是否超出预设阈值，若是则调整编码器编码比特率和输入图像的编码帧率，对目标图像进行编码，使得编码后的最大动态数据率不大于所述最大接收数据传输率。
[0067]该方案中，当网络带宽大时图像清晰些，网络传输慢时图像质量下降些，在网络速度快或慢的清下下均能保证数据传输的及时性，从而将信息的延迟控制在合理范围内。
[0068]实施例3:
[0069]本实施例中提供一种远程被控设备，例如抓布娃娃机，是一种可以被远程控制的设备，通过远程指令可以控制该设备的动作，如控制抓布娃娃机的抓手左右、上下移动。本实施例中的远程被控设备，如图3所示，包括:
[0070]采集单元11，包括设置在所述远程被控设备的周围视频采集装置，用于采集所述远程被控设备的视频信息。此处的视频采集装置可以是一个或多个摄像头，分布在远程被控设备的周围，可以从多个角度、多个方向拍摄该设备的视频图像，从而反应出该设备的实时状况。例如在抓布娃娃机的机器周围设置多个摄像头，可以从四周及顶部拍摄该抓布娃娃机内的布娃娃以及抓手的位置及动作。
[0071]图像处理装置12，即为实施例2中的图像处理装置，用于实现实施例1中的图像处理方法对视频图像进行动态编码，本实施例中用于将所述视频信息按照实施例1中的方法进行动态编码。由于该方法在实施例1中有详细介绍。
[0072]该远程被控设备对应的接收端为控制终端，可以是手机、电视、电脑等设备，控制终端采用滑动窗口机制来实时测量接收数据速率并周期性(比如200ms—次)并反馈回发送该远程被控设备的图像处理装置，图像处理装置根据此速率和网络回环延迟DVmax作参考计算后续最大可能的数据传输率SVmax，如果当前传输率离这个值偏差较远，则动态调节编码器编码比特率EVmax和视频采集模块的输入帧率CVmax，来满足编码后的最大动态数据率不大于SVmax。
[0073 ] SVmax = f (编码帧率CVmax) *f (编码比特率EVmax) *f (网络回环延迟DVmax)
[0074]其中，SVmax的单位为比特每秒，f (编码帧率CVmax)的单位为帧每秒，f (编码比特率EVmax)的单位为比特每秒，f (网络回环延迟DVmax)的单位为毫秒，一般是200ms以内。
[0075]其中SVmax和DVmax是自动探测到的，最后需要调节的是编码巾贞率CVmax和编码比特率EVmax，如果优先保证画面清晰度则提高编码比特率EVmax降低编码帧率CVmax，如果优先保证画面连续性则相反操作。
[0076]接收单元13，接收控制终端的控制指令。控制终端为用户进行远程操作的一端，如控制终端可以是电脑、手机或电视机，用于通过控制终端输入控制指令，远程被控设备实时地接收到该指令。
[0077]执行单元14，按照所述控制指令执行相应的动作。执行单元用于执行控制指令，如监控终端发送的是向下移动抓手的指令，执行单元则根据该指令将抓手下移完成该动作。
[0078]作为进一步的方案，所述采集单元11中还包括音频采集装置如麦克风，获取远程被控设备的音频信息，所述信息实时传输装置将采集到的所述视频信息和音频信息进行信息实时传输。
[0079]该方案中的远程被控设备，通过图像处理装置12可以将采集单元采集到的视频信息动态编码后实时传输给控制终端，实现了视频信息的实时传输，将视频信息的延时控制在合理的范围内。
[0080]实施例4:
[0081 ]本实施例中提供一种虚拟现实系统，如图4所示，包括:
[0082]远程被控设备21，在实施例3中已经详细描述，在此不再赘述。
[0083]控制终端22，可以是电脑、电视、手机等设备，通过APP应用软件对远程被控设备21进行远程控制。该控制终端22实时测量接收数据速率并周期性反馈回所述远程被控设备，接收所述远程被控设备21动态编码后传输的实时视频信息，并对这些音视频数据流进行解码和回放。例如展示抓布娃娃机的当前运动状态，从而可以实时观察到抓布娃娃机当前的抓手位置和其它现场情况，延时控制在预定时间(比如200ms)内。该控制终端还可以接收用户输入的控制指令，例如用户根据抓布娃娃机的当前运动状态，输入向左或向右的动作指令，该监控终端22接收用户的控制指令，并通过网络发送所述控制指令给所述远程被控终端。远程被控终端根据指令执行相应的抓手前后左右移动或抓取动作，并把操作的实时音视频信息回馈给控制终端。
[0084]控制服务器23，接收所述远程被控设备的视频信息，对所述远程被控设备和所述控制终端进行管理。例如对娃娃机资源进行合理分配和调度，能充分利用机器资源。
[0085]该方案中的虚拟现实设备，能够用于抓布娃娃机的远程控制，其控制终端的操作界面很简单，主要为前后左右方向键和抓取键即可，如同亲临现场一样操作，实现真正意义上的虚拟现实场景，而且可以在抓步娃娃机的机器端配置多个摄像头，从不同角度观察操控的过程和结果。此外，该方案不受限于抓布娃娃机的大小，任何能够操作电脑和智能电视、手机的人都可以玩。
[0086]本实施例中的虚拟现实系统，远程被控终端可以将视频信息在合理的延时范围内传输给控制终端和控制服务器，控制终端展示远程被控终端的视频信息，并根据用户输入的动作生成控制指令发送给远程被控终端，远程被控终端执行该控制指令并完成相应动作，控制终端实时显示远程被控终端的视频信息，从而完成虚拟现实功能，该方案中保证了数据传输的时效性，实现了基于远程控制的虚拟现实技术。
[0087]本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0088]本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0089]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0090]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0091]显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
【主权项】
1.一种图像处理方法，其特征在于，包括如下步骤: 获取接收端反馈的接收数据的速率； 根据所述速率和网络回环延迟获得最大接收数据传输率； 获取当前发送数据传输率； 判断所述当前发送数据传输率与所述最大接收数据传输率的差值是否超出预设阈值，若是则调整编码器编码比特率和输入图像的编码帧率，对目标图像进行编码，使得编码后的最大动态数据率不大于所述最大接收数据传输率。2.根据权利要求1所述的方法，其特征在于，所述编码后的最大动态数据率的计算公式如下: SVmax = f (编码帧率CVmax)*f (编码比特率EVmax)*f (网络回环延迟DVmax) 其中，DVmax是自动探测到的，SVmax为已经获得的最大接收数据传输率，需要调节的是编码帧率CVmax和编码比特率EVmax。3.根据权利要求2所述的方法，其特征在于，所述调整编码器编码比特率和输入图像的编码帧率的步骤，包括 如果优先保证画面清晰度，则提高编码比特率EVmax，降低编码帧率CVmax，如果优先保证画面连续性，则降低编码比特率EVmax，提高编码帧率CVmax。4.根据权利要求1所述的方法，其特征在于，所述获取接收端反馈的接收数据的速率的步骤中，周期性实时获取接收端采用滑动窗口机制测量的接收数据速率。5.根据权利要求1所述的方法，其特征在于，将所述目标信息进行编码的步骤中，使用HEVC或VP9编码方式。6.根据权利要求1所述的方法，其特征在于，还包括将编码后的目标信息进行传输的步骤，其中采用UDP协议在网络上传输。7.—种保证信息实时传输的图像处理装置，其特征在于，包括: 第一获取单元，用于获取接收端反馈的接收数据的速率； 计算单元，用于根据所述速率和网络回环延迟计算最大接收数据传输率； 第二获取单元，用于获取当前发送数据传输率； 编码调整单元，用于判断所述当前发送数据传输率与所述最大接收数据传输率的差值是否超出预设阈值，若是则调整编码器编码比特率和输入图像的编码帧率，对目标图像进行编码，使得编码后的最大动态数据率不大于所述最大接收数据传输率。8.一种远程被控设备，其特征在于，包括: 采集单元，包括设置在所述远程被控设备的周围视频采集装置，用于采集所述远程被控设备的视频信息； 权利要求5所述的图像处理装置，用于将所述视频信息进行动态编码处理后传输； 接收单元，接收控制终端的控制指令； 执行单元，按照所述控制指令执行相应的动作。9.根据权利要求5所述的远程被控设备，其特征在于，所述采集单元还包括音频采集装置，所述信息实施传输装置将所述视频信息和音频信息进行信息实时传输。10.一种虚拟现实系统，其特征在于，包括: 权利要求6或7所述的远程被控设备； 控制终端，实时测量接收数据速率并周期性反馈回所述远程被控设备，接收所述远程被控设备发送的视频信息并显示，接收用户输入的控制指令，并发送所述控制指令给所述远程被控终端； 控制服务器，接收所述远程被控设备的视频信息，对所述远程被控设备和所述控制终端进行管理。
【文档编号】H04N19/146GK105828072SQ201610177392
【公开日】2016年8月3日
【申请日】2016年3月25日
【发明人】肖荣权
【申请人】乐视控股（北京）有限公司, 乐视致新电子科技（天津）有限公司