时钟校准处理方法及装置制造方法
【专利摘要】本发明提供一种时钟校准处理方法及装置，该方法，包括：根据视频帧的传输时间和所述视频帧的压缩时间确定客户端自服务器接收视频帧的延时时间；根据所述延时时间对所述客户端进行时钟校准处理，本发明的技术方案可以实现无缝地从普通图片刷新切换到视频流播放，避免了视频播放的卡顿、丢帧或无法播放的现象。
【专利说明】时钟校准处理方法及装置
【技术领域】
[0001]本发明涉及计算机技术，尤其涉及一种远程虚拟桌面视频播放时的时钟校准处理方法及装置。
【背景技术】
[0002]独立计算环境简单协议(SimpleProtocol for Independent ComputingEnvironment,简称SPICE)是一种桌面虚拟化传输协议。在使用虚拟桌面时，用户在瘦客户端通过网络连接到服务器上，图1为基于SPICE协议的虚拟桌面框架示意图，如图1所示，客户端上使用服务器虚拟出的桌面操作系统，如图1中的客户端操作系统(GuestOperation System,简称Guest OS)完成各种任务,实际上桌面操作系统并不在本地运行，桌面操作系统其实运行在服务器端。利用虚拟桌面，用户可以使用瘦客户端使用服务器上强大的资源。SPICE协议定义了一个服务器程序(SPICE Server)和客户端程序(SPICEClient), SPICE Server运行在服务器的OS之上，SPICE Client运行在客户端的OS之上。SPICE Server负责处理Guest OS的图像、音频输出，通过通道传输给SPICE Client，由SPICE Client在瘦客户端上输出给用户。SPICE Client负责将键盘鼠标等输入操作，通过通道传输给SPICE Server，由SPICE Server把输入提交给Guest OS，为了让用户在客户端使用桌面的感觉就像在本地运行一样，那么就需要服务器不停地将Guest OS的屏幕显示图片传输给客户端，客户端不断地刷新图片更新本地的显示。
[0003]现有技术在使用基于SPICE协议的虚拟桌面时，当在局域网环境中播放视频时，采用的时钟校准方式是:服务器在初始化时，发送时钟报文设置客户端的时钟，服务器将服务器时间减去400ms后的值作为客户端时间并同步给客户端，最终，客户端的时钟比服务端的时钟早400ms。
[0004]然而，在局域网环境中播放视频时若采用现有技术的时钟校准方法，会出现视频开始I秒左右的时间的时候发生明显的卡顿现象，当暂停播放视频后，再重新继续播放时，出现同样的卡顿现象，不仅如此，如果在低带宽的情况下播放一些高清视频，会出现大量的丢帧现象，并且当服务器负荷较高，例如多台客户端同时连接服务器使用虚拟桌面服务，或者服务器性能较差时，也会出现视频无法播放的现象。
【发明内容】
[0005]本发明实施例提供一种时钟校准处理方法及装置，用以实现在播放视频时无缝地从普通图片刷新切换到视频流播放，避免了视频播放的卡顿、丢帧或无法播放的现象。
[0006]本发明第一个方面是提供一种时钟校准处理方法，包括:
[0007]根据视频帧的传输时间和所述视频帧的压缩时间确定客户端自服务器接收所述视频帧的延时时间；
[0008]根据所述延时时间对所述客户端进行时钟校准处理。
[0009]本发明第二个方面是提供一种时钟校准处理装置，包括:[0010]延时确定模块，用于根据视频帧的传输时间和所述视频帧的压缩时间确定客户端自服务器接收所述视频帧的延时时间；
[0011]时钟校准模块，用于根据所述延时时间对所述客户端进行时钟校准处理。
[0012]本发明提供的时钟校准处理方法及装置，通过首先根据视频帧的传输时间和视频帧的压缩时间确定服务器和客户端之间的延时时间，再根据延时时间对客户端进行时钟校准处理，可以实现无缝地从普通图片刷新切换到视频流播放，避免了视频播放的卡顿、丢帧或无法播放的现象。
【专利附图】
【附图说明】
[0013]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0014]图1为基于SPICE协议的虚拟桌面框架示意图；
[0015]图2为本发明提供的时钟校准处理方法实施例一的流程图；
[0016]图3为虚拟桌面的部署示意图；
[0017]图4为本发明提供的时钟校准处理方法实施例二的流程图；
[0018]图5为本发明提供的时钟校准处理方法实施例二的流程图；
[0019]图6为本发明提供的时钟校准处理装置实施例一的结构示意图；
[0020]图7为本发明提供的时钟校准处理装置实施例二的结构示意图；
[0021]图8为本发明提供的时钟校准处理装置实施例三的结构示意图；
[0022]图9为本发明提供的时钟校准处理装置实施例四的结构示意图。
【具体实施方式】
[0023]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0024]图2为本发明提供的时钟校准处理方法实施例一的流程图，如图2所示，本实施例的时钟校准处理方法包括:
[0025]S101、根据视频帧的传输时间和视频帧的压缩时间确定客户端自服务器接收视频帧的延时时间。
[0026]本发明的应用场景可以为虚拟桌面中的视频播放，该虚拟桌面可以是基于SPICE协议的虚拟桌面。
[0027]图3为虚拟桌面的部署示意图，如图3所示，服务器和客户端通过网络连接，可以理解的是，虚拟桌面中使用的客户端一般为瘦客户端。
[0028]本实施例的执行主体可以是时钟校准处理装置，该时钟校准处理装置可以为服务器或者服务器中的一部分。
[0029]采用现有技术中的时钟校准方案，会导致视频播放时的的卡顿、丢帧或无法播放，例如，在高带宽的情况下播放视频时，播放的前I秒钟，SPICE Client 一直在正常刷新普通图片，在SPICE Server检测到视频后，发送视频图片，可能视频图片传输和处理的延时并没有达到400ms，假设延时只有50ms，那么SPICE Client收到第一个视频帧后，将会延迟350ms后播放。那么切换成视频图片后350ms的时间内SPICE Client不刷新任何图片，画面一直停顿，350ms后才开始刷新，于是用户就感觉发生了卡顿；再如，如果在低带宽的情况下播放高清视频，视频帧延时可能超过了 400ms，那么将会出现大量的丢帧。此外，当有较多的客户端连接服务器或者服务器性能较差时，视频的延时也可能超过了 400ms，也会出现丢帧。
[0030]由于实际上服务器和客户端的延时是不固定的，播放视频时的网络带宽、视频帧的大小以及服务器压缩处理速度都会影响延时，本实施例通过实时根据视频帧的传输时间和视频帧的压缩时间计算服务器和客户端之间的延时时间，并使用计算得到的延时时间校准客户端的时间，而非采用现有技术中的固定延时时间，可以实现无缝地从普通图片刷新切换到视频流播放，避免了卡顿、丢帧或无法播放的现象。
[0031]S102、根据延时时间对客户端进行时钟校准处理。
[0032]进一步地，S102可以包括:
[0033]将服务器的时间减去延时时间确定客户端的时间；
[0034]向客户端发送时钟报文，时钟报文包括客户端的时间。
[0035]本实施例提供的时钟校准处理方法，通过首先根据视频帧的传输时间和视频帧的压缩时间确定客户端自服务器接收视频帧的延时时间，再根据延时时间对客户端进行时钟校准处理，可以实现无缝地从普通图片刷新切换到视频流播放，避免了视频播放的卡顿、丢帧或无法播放的现象。
[0036]图4为本发明提供的时钟校准处理方法实施例二的流程图，如图4所示，本实施例的时钟校准处理方法，在图2所示实施例的基础上，对确定传输时间和压缩时间的具体过程进行说明，包括:
[0037]S201、检测确定服务器和客户端之间的网络带宽。
[0038]举例来说，本实施例的时钟校准处理方法可以定时测量服务器与客户端之间的网络带宽，该定时时间可以为15秒钟。
[0039]可以理解的是，实施例的时钟校准处理方法可以在客户端连接服务器后就开始定时测量服务器与客户端之间的网络带宽，也可以在客户端开始接收服务器发送的图片时定时测量服务器与客户端之间的网络带宽。
[0040]S202、根据网络带宽和视频帧的数据大小确定传输时间。
[0041]进一步地，S202可以包括:使用视频帧的数据大小除以网络带宽确定传输时间。
[0042]S203、根据视频帧的时间戳和当前服务器的时间确定压缩时间。
[0043]进一步地，S203可以包括:使用当前服务器的时间减去视频帧的时间戳确定压缩时间。
[0044]具体来说，视频帧的时间戳为压缩该视频帧之前添加的时间，当前服务器的时间为该视频帧压缩完成之后的时间，所以可以使用当前服务器的时间减去视频帧的时间戳来确定压缩时间。
[0045]需要说明的是，本实施例不限定S203和S204的先后顺序。[0046]S204、将传输时间和压缩时间求和确定延时时间。
[0047]S205、根据延时时间对客户端进行时钟校准处理。
[0048]本实施例提供的时钟校准处理方法，首先检测确定服务器和客户端之间的网络带宽，根据网络带宽和视频帧的数据大小确定传输时间，根据视频帧的时间戳和当前服务器的时间确定压缩时间，将传输时间和压缩时间求和确定延时时间，根据延时时间对客户端进行时钟校准处理，可以实现无缝地从普通图片刷新切换到视频流播放，避免了视频播放的卡顿、丢帧或无法播放的现象。
[0049]图5为本发明提供的时钟校准处理方法实施例三的流程图，如图5所示，本实施例的时钟校准处理方法对待播放视频的第一帧进行时钟校准处理，可以包括:
[0050]S301、获取下一个图片。
[0051]S302、判断获取到的图片是否为视频帧，若是，则执行S303 ;否则执行S309。
[0052]S303、为视频帧添加时间戳。
[0053]S304、压缩视频帧。
[0054]S305、判断待发送的视频帧是否为待播放视频的第一帧，若是，则执行S306，否则执行S310。
[0055]S306、根据待播放视频的第一巾贞的传输时间和第一巾贞的压缩时间确定客户端自服务器接收第一巾贞的延时时间。
[0056]具体来说，S306可以包括:
[0057]根据网络带宽和视频帧的数据大小确定传输时间。
[0058]根据视频帧的时间戳和当前服务器的时间确定压缩时间。
[0059]需要说明的是，本实施例中计算确定延时时间过程中计算压缩时间是使用当前服务器的时间减去视频帧的压缩时间，所以已将计算确定延时时间的时间包括在内，并且由于本实施例计算确定延时时间的操作所耗费的时间非常短，所以不会影响服务器处理视频帧的时间。
[0060]S307、将服务器的时间减去延时时间确定客户端的时间。
[0061]S308、向客户端发送时钟报文，时钟报文包括客户端的时间。
[0062]具体来说，服务器在发送时钟报文时，由于时钟报文的数据量很小，可以看作是瞬间完成的，所以也不会对延时时间和服务器处理视频帧的时间造成影响。
[0063]S309、将获取到的图片作为普通图片处理。
[0064]S310、发送待发送的视频帧。
[0065]本实施例提供的时钟校准处理方法，通过首先根据待播放视频的第一帧的传输时间和第一帧的压缩时间确定客户端自服务器接收第一帧的延时时间，将服务器的时间减去延时时间确定客户端的时间，再向客户端发送时钟报文，时钟报文包括客户端的时间，可以实现无缝地从普通图片刷新切换到视频流播放，避免了视频播放的卡顿、丢帧或无法播放的现象。
[0066]可以理解的是，本发明的技术方案还可以应用于基于视频检测的其他虚拟桌面的协议中，这类协议在检测到视频后均会存在普通图片刷新和视频播放切换的问题。
[0067]图6为本发明提供的时钟校准处理装置实施例一的结构示意图，如图6所示，本实施例的时钟校准处理装置，包括:延时确定模块61和时钟校准模块62，其中，延时确定模块61用于根据视频帧的传输时间和视频帧的压缩时间确定客户端自服务器接收视频帧的延时时间；时钟校准模块62用于根据延时时间对客户端进行时钟校准处理。
[0068]进一步地，时钟校准模块62具体用于将服务器的时间减去延时时间确定客户端的时间，向客户端发送时钟报文，时钟报文包括客户端的时间。
[0069]本实施例的装置，可以用于执行图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0070]图7为本发明提供的时钟校准处理装置实施例二的结构示意图，如图7所示，本实施例的时钟校准处理装置，在图6所示实施例的基础上，还包括:
[0071]带宽检测模块63用于在根据网络带宽和视频帧的数据大小确定传输时间之前，检测服务器和客户端之间的网络带宽。
[0072]进一步地，延时确定模块61具体用于根据网络带宽和视频帧的数据大小确定传输时间，根据视频帧的时间戳和当前服务器的时间确定压缩时间，将传输时间和压缩时间求和确定延时时间。
[0073]更进一步地，延时确定模块61还用于使用视频帧的数据大小除以网络带宽确定传输时间；
[0074]可选地，延时确定模块61还用于使用当前服务器的时间减去视频帧的时间戳确定压缩时间。
[0075]本实施例的装置，可以用于执行图4所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0076]图8为本发明提供的时钟校准处理装置实施例三的结构示意图，如图8所示，本实施例的时钟校准处理装置，在图7所示实施例的基础上，还包括:判断模块64和发送模块65 ;延时确定模块61还用于:根据待播放视频的第一巾贞的传输时间和第一巾贞的压缩时间确定客户端自服务器接收第一巾贞的延时时间；
[0077]判断模块64用于在根据待播放视频的第一巾贞的传输时间和第一巾贞的压缩时间确定客户端自服务器接收第一帧的延时时间之前，判断待发送的视频帧是否为待播放视频的第一巾贞；若是，则延时确定模块61根据待播放视频的第一巾贞的传输时间和第一巾贞的压缩时间确定客户端自服务器接收第一帧的延时时间；若否，则发送模块65发送待发送的视频帧。
[0078]本实施例的装置，可以用于执行图5所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0079]图9为本发明提供的时钟校准处理装置实施例四的结构示意图，如图9所示，本实施例的时钟校准处理装置可以为服务器900，本实施例的服务器可以包括虚拟引擎910和服务器程序920，服务器程序920中可以包括:带宽检测模块921、延时确定模块922和时钟校准模块923，延时确定模块922在待播放视频的第一帧压缩之后、被发送之前被调用，获取第一帧的数据大小和第一帧的时间戳，并通过带宽检测模块921的查询接口获取服务器900和客户端之间的网络带宽，根据网络带宽、第一帧的数据大小和第一帧的时间戳以及服务器时间计算服务器900和客户端之间的延时时间，并通过接口将延时时间告知时钟校准模块923，以使时钟校准模块923将服务器的时间减去延时时间确定客户端的时间，并向客户端发送时钟报文,时钟报文包括客户端的时间。[0080]本实施例的装置，可以用于执行图2或图4所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0081]需要说明的是，上述各实施例对应的结构示意图仅为一种示意，各部分或模块的连接关系不限于图中示出的形式，可以以实际应用中的情况为准。
[0082]在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0083]所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0084]另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0085]上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory, ROM)、随机存取存储器(Random Access Memory, RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
[0086]本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0087]最后应说明的是:以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
【权利要求】
1.一种时钟校准处理方法，其特征在于，包括: 根据视频帧的传输时间和所述视频帧的压缩时间确定客户端自服务器接收所述视频帧的延时时间； 根据所述延时时间对所述客户端进行时钟校准处理。
2.根据权利要求1所述的方法，其特征在于，所述根据视频帧的传输时间和所述视频帧的压缩时间确定客户端自服务器接收所述视频帧的延时时间，包括: 根据网络带宽和所述视频帧的数据大小确定所述传输时间； 根据所述视频帧的时间戳和当前所述服务器的时间确定所述压缩时间； 将所述传输时间和所述压缩时间求和确定所述延时时间。
3.根据权利要求2所述的方法，其特征在于，所述根据网络带宽和所述视频帧的数据大小确定所述传输时间之前，还包括: 检测确定所述服务器和所述客户端之间的网络带宽。
4.根据权利要求1所述的方法，其特征在于， 所述根据视频帧的传输时间和所述视频帧的压缩时间确定客户端自服务器接收所述视频帧的延时时间，包括: 根据待播放视频的第一帧的传输时间和所述第一帧的压缩时间确定所述客户端自所述服务器接收所述第一帧的延时时间； 所述根据待播放视频的第一帧的传输时间和所述第一帧的压缩时间确定所述客户端自所述服务器接收所述第一帧的延时时间之前，还包括: 判断待发送的视频帧是否为所述待播放视频的第一帧； 若是，则执行所述根据待播放视频的第一帧的传输时间和所述第一帧的压缩时间确定所述客户端自所述服务器接收所述第一帧的延时时间； 若否，则发送所述待发送的视频帧。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述根据所述延时时间对所述客户端进行时钟校准处理，包括: 将所述服务器的时间减去所述延时时间确定所述客户端的时间； 向所述客户端发送时钟报文，所述时钟报文包括所述客户端的时间。
6.一种时钟校准处理装置，其特征在于，包括: 延时确定模块，用于根据视频帧的传输时间和所述视频帧的压缩时间确定客户端自服务器接收所述视频帧的延时时间； 时钟校准模块，用于根据所述延时时间对所述客户端进行时钟校准处理。
7.根据权利要求6所述的装置，其特征在于，所述延时确定模块具体用于根据网络带宽和所述视频帧的数据大小确定所述传输时间，根据所述视频帧的时间戳和当前所述服务器的时间确定所述压缩时间，将所述传输时间和所述压缩时间求和确定所述延时时间。
8.根据权利要求7所述的装置，其特征在于，还包括: 带宽检测模块，用于在所述根据网络带宽和所述视频帧的数据大小确定所述传输时间之前，检测所述服务器和所述客户端之间的网络带宽。
9.根据权利要求6所述的装置，其特征在于， 所述延时确定模块还用于根据待播放视频的第一帧的传输时间和所述第一帧的压缩时间确定所述客户端自所述服务器接收所述第一帧的延时时间； 所述装置还包括:判断模块和发送模块； 所述判断模块用于在所述根据待播放视频的第一帧的传输时间和所述第一帧的压缩时间确定所述客户端自所述服务器接收所述第一帧的延时时间之前，判断待发送的视频帧是否为所述待播放视频的第一帧；若是，则所述延时确定模块根据待播放视频的第一帧的传输时间和所述第一帧的压缩时间确定所述客户端自所述服务器接收所述第一帧的延时时间；若否，则所述发送模块发送所述待发送的视频帧。
10.根据权利要求6-9中任一项所述的装置，其特征在于，所述时钟校准模块具体用于将所述服务器的时间减去所述延时时间确定所述客户端的时间，向所述客户端发送时钟报文，所述时钟报文包括所述客户端的时间。
【文档编号】H04N21/24GK103607596SQ201310597172
【公开日】2014年2月26日 申请日期:2013年11月22日 优先权日:2013年11月22日
【发明者】陈彬 申请人:北京星网锐捷网络技术有限公司