专利名称：一种基于视频直播和游戏的数据处理方法和设备的制作方法
技术领域：
本发明的实施方式涉及互联网领域，更具体地，本发明的实施方式涉及一种基于视频直播和游戏的数据处理方法和设备。
背景技术：
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述可包括可以探究的概念，但不一定是之前已经想到或者已经探究的概念。因此，除非在此指出，否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认是现有技术。在互联网越来越高速发展的今天，用户对于互联网的应有也越来越广泛，用户可以通过互联网观看视频直播或者联网玩游戏等等。终端的视频直播是指利用互联网及流媒体技术进行直播，视频因融合了图像、文字、声音等丰富元素，声形并茂，效果极佳，用户通过客户端可以直接收看直播的视频。传统的视频直播系统，基本上是基于H264视频编码和AAC音频编码的视频流,通过视频发布客户端发布到⑶N (Content Delivery Network,内容分发网络)服务器上，而用户通过自主开发的客户端或者网页浏览器去查看直播。
发明内容
但是，本发明人在研究过程中发现，在现有技术中，已经切换至游戏场景玩游戏的用户如果需要观看视频直播，就需要退出当前的游戏场景，并且重新打开视频直播的应用程序才能观看视频。而用户退出游戏场景、切换应用程序以及打开视频直播的一系列操作，很显然不仅会增加用户与终端的交互次数，也会增加终端与CDN服务器的交互次数，以及终端与游戏发布客户端或者服务器的交互次数，等等，这样不仅会不必要的消耗终端、服务器的系统资源，也会占用一定的网络传输带宽，浪费网络传输带宽资源。此外，如果服务器或者终端需要处理的响应请求过多，势必也会延迟对用户的响应的处理时间，引起用户不好的使用体验。为此，非常需要一种改进的基于视频直播和游戏的数据处理方法和设备(例如，终端)，以解决现有技术中用户与终端的交互次数过多导致的终端系统资源浪费这一技术问题，进一步地，也提升用户的使用体验。在本上下文中，本发明的实施方式期望提供一种基于视频直播和游戏的数据处理方法和设备。在本发明实施方式的第一方面中，提供了一种基于视频直播和游戏的数据处理方法，例如可以包括:响应于满足基于游戏场景的视频直播的触发条件，获取待播放的视频直播数据流；获取所述视频直播数据流相对于所述游戏场景中预设的目标对象的坐标关系；按照所述坐标关系将所述视频直播数据流渲染至所述目标对象上进行播放。在本发明的一个实施方式中，其中，所述触发条件为:所述游戏场景中的虚拟用户与预设的目标对象之间的距离小于第一预设阈值。
在本发明的另一实施方式中，例如还可以包括:实时检测所述虚拟用户与所述目标对象之间的距离是否改变，如果是，则依据改变的距离大小相对应得调整所述视频直播数据流在播放过程中的声音大小。 在本发明的又一个实施方式中，其中，所述获取所述视频直播数据流相对于所述预设的目标对象的游戏场景的坐标关系，包括:获取所述目标对象的角屏幕坐标到所述视频直播数据流的视频帧图片的原始角坐标的透视投影矩阵；依据所述透视投影矩阵，确定所述目标对象的屏幕坐标集合与所述视频帧图片的原始坐标集合之间的映射关系，所述屏幕坐标集合为所述目标对象上除了所述角屏幕坐标之外的其他坐标，所述原始坐标集合为所述视频帧图片上除了所述原始角坐标之外的其他坐标。在本发明的再一个实施方式中，其中，所述按照所述坐标参数将所述视频直播数据流渲染至所述目标对象上进行播放，包括:获取所述视频直播数据流中视频帧图片上原始坐标集合的原始坐标值；依据所述映射关系确定所述视频帧图片的原始坐标值映射至目标对象上的屏幕坐标值。在本发明实施方式的第二方面中，提供了一种基于视频直播和游戏的数据处理设备，例如可以包括:第一获取单元，配置用于响应于满足基于游戏场景的视频直播的触发条件，获取待播放的视频直播数据流；第二获取单元，配置用于获取所述视频直播数据流相对于所述游戏场景中预设的目标对象的坐标关系；渲染单元，配置用于按照所述坐标关系将所述视频直播数据流渲染至所述目标对象上进行播放。在本发明的另一实施方式中，其中，所述触发条件为:所述游戏场景中的虚拟用户与预设的目标对象之间的距离小于第一预设阈值。在本发明的另一实施方式中，例如还可以包括:检测单元，配置用于实时检测所述虚拟用户与所述目标对象之间的距离是否改变；调整单元，配置用于所述检测单元的结果为是的情况下，依据改变的距离大小相对应得调整所述视频直播数据流在播放过程中的声音大小。在本发明的另一实施方式中，其中，所述第二获取单元包括:第一获取子单元，配置用于获取所述目标对象的角屏幕坐标到所述视频直播数据流的视频帧图片的原始角坐标的透视投影矩阵；第一确定子单元，配置用于依据所述透视投影矩阵，确定所述目标对象的屏幕坐标集合与所述视频帧图片的原始坐标集合之间的映射关系，所述屏幕坐标集合为所述目标对象上除了所述角屏幕坐标之外的其他坐标，所述原始坐标集合为所述视频帧图片上除了所述原始角坐标之外的其他坐标。在本发明的另一实施方式中，其中，所述渲染单元包括:第二获取子单元，配置用于获取所述视频直播数据流中视频帧图片上原始坐标集合的原始坐标值；第二确定子单元，配置用于依据所述映射关系确定所述视频帧图片的原始坐标值映射至目标对象上的屏幕坐标值。在本实施方式中，响应于满足基于游戏场景的视频直播的触发条件，获取待播放的视频直播数据流相对于游戏场景中预设的目标对象的坐标关系，再按照所述坐标关系将所述视频直播数据流渲染至所述目标对象上进行播放，可以将用户需要观看的视频直播在用户当前打开的游戏场景中进行播放，从而避免了用户需要退出游戏场景才能观看视频直播的问题，进而减少用户与终端的交互次数，也减少终端与CDN服务器的交互次数，以及终端与游戏发布客户端或者服务器的交互次数，等等，这样可以节约终端在响应用户请求时所消耗的系统资源。同时，也能提升用户的使用体验。
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中:图1示意性地示出了适于实现本发明实施方式的示例性计算系统100的框图；图2示意性地示出了本发明的实施方式的一个示例性应用场景的框架示意图；图3示意性地示出了根据本发明一实施方式的方法流程图；图4示意性地示出了本发明一实施方式中步骤302的流程图；图5示意性地示出了本发明一实施方式中步骤303的流程图；图6示意性地示出了根据本发明又一实施方式的方法流程图；图7示意性地示出了根据本发明的场景实施方式的流程图；图8示意性地示出了本发明一实施方式的设备(例如，客户端)的结构框架图；图9示意性地示出了本发明一实施方式中第二获取单元802的结构框架图；图10示意性地示出了本发明一实施方式中本发明又一实施方式的设备的渲染单元803的结构框架图；图11示意性地示出了本发明又一实施方式的设备(例如，客户端)的结构框架图。在附图中，相同或对应的标号表不相同或对应的部分。
具体实施例方式下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。图1示出了适于实现本发明实施方式的示例性计算系统100的框图。如图1所示，计算系统100可以包括:中央处理单元(CPU) 101、随机存取存储器(RAM) 102、只读存储器(ROM) 103、系统总线104、硬盘控制器105、键盘控制器106、串行接口控制器107、并行接口控制器108、显示控制器109、硬盘110、键盘111、串行外部设备112、并行外部设备113和显示器114。这些设备中，与系统总线104耦合的有CPU101、RAM102、R0M103、硬盘控制器105、键盘控制器106、串行控制器107、并行控制器108和显示控制器109。硬盘110与硬盘控制器105耦合，键盘111与键盘控制器106耦合，串行外部设备112与串行接口控制器107耦合，并行外部设备113与并行接口控制器108耦合，以及显示器114与显示控制器109耦合。应当理解，图1所述的结构框图仅仅是为了示例的目的，而不是对本发明范围的限制。在某些情况下，可以根据具体情况增加或减少某些设备口本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举示例)例如可以包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPR0M或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言一诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言一诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。下面将参照本发明实施方式的方法的流程图和设备(或系统)的框图描述本发明的实施方式。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置的产品。也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。根据本发明的实施方式，提出了一种基于视频直播和游戏的数据处理方法和设备。在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。发明概沭本发明人发现，因为现有技术中已经切换至游戏场景玩游戏的用户如果想观看视频直播，就需要退出当前的游戏场景，并且重新打开视频直播的应用程序才能观看视频。而用户退出游戏场景、切换应用程序以及打开视频直播的一系列操作，很显然不仅会增加用户与终端的交互次数，也会增加终端与CDN服务器的交互次数，以及终端与游戏发布客户端或者服务器的交互次数，等等。而如果能够使得切换至游戏场景玩游戏的用户在需要观看视频直播的时候，不需要退出当前的游戏场景即可观看视频，这样就可以不必进行用户退出游戏场景、切换应用程序以及打开视频直播等一系列操作，这样也就减少了用户与终端的交互次数，相应的也会减少终端与CDN服务器的交互次数，以及终端与游戏发布客户端以及服务器的交互次数。在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。应用场景总览首先参考图2，图2是本发明的实施方式的一个示例性应用场景的框架示意图。其中，玩游戏的用户使用客户端202进行基于游戏场景的视频直播的观看，用户通过客户端202与⑶N服务器201进行交互，可以通过⑶N服务器201获取到视频发布客户端203发布的直播视频。本领域技术人员可以理解，图2所示的框架示意图仅是本发明的实施方式可以在其中得以实现的一个示例。本发明实施方式的适用范围不受到该框架任何方面的限制。需要注意的是，此处的客户端202和视频发布客户端203可以是现有的、正在研发的或将来研发的、能够通过任何形式的有线或无线连接(例如，W1-F1、LAN、WAN、因特网等)与邮箱服务器201交互的任何客户端，包括但不限于:现有的、正在研发的或将来研发的、台式计算机、膝上型计算机、移动终端(包括智能手机、非智能手机、各种平板电脑)等。还需要注意的是，此处的⑶N服务器201仅是现有的、正在研发的或将来研发的、能够向用户提供邮件服务的设备的一个示例。本发明的实施方式在此方面不受任何限制。响应于满足基于游戏场景的视频直播的触发条件，客户端201可以通过⑶N服务器201获取视频发布客户端203发布的待播放的视频直播数据流，并可以获取所述视频直播数据流相对于所述游戏场景中预设的目标对象的坐标关系，以按照所述坐标关系将所述视频直播数据流渲染至例如客户端202的游戏场景中的目标对象上进行播放。示例性方法下面结合图2的应用场景，参考图3来描述根据本发明示例性实施方式的基于视频直播和游戏的数据处理方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。参考图3所示，为本发明公开的基于视频直播和游戏的数据处理方法一实施方式的流程图，本实施方式具体例如可以包括:
步骤301:响应于满足基于游戏场景的视频直播的触发条件，获取待播放的视频直播数据流。在本实施方式中，用户当前正在使用客户端进行游戏，即是用户当前所处的应用模式为游戏场景，在这种情况下，客户端需要实时检测是否满足基于游戏场景的视频直播的触发条件，即是判断是否需要在当前游戏场景下进行视频直播。在实际应用的游戏场景中，因为用户对应的游戏场景的中玩家会不断地通过各种关卡，所以玩家所经过的路径和场景都是相同的，因此，可以预先设置在玩家到达某一个游戏场景中的背景墙或者经过某个路面等目标对象时进行视频直播。例如，当游戏场景中的玩家经过第二关的第三面背景墙的时候，需要向该玩家对应的用户播放某一段固定的视频，那么客户端会在玩家与该背景墙的距离小于某一个预设阈值的时候，直接在该背景墙上向该玩家播放视频。当然，播放视频的不只可以是背景墙，也可以是有一定面积的其他对象，比如某个路面等，预先在哪个目标对象上播放视频可以预先设定，预先在哪个时刻播放视频也可以预先设定，即是通过预设触发条件的方式来实现。则该触发条件例如可以为:游戏场景中的虚拟用户(即是玩家)与预设的目标对象之间的距离小于第一预设阈值。可以理解的是，待播放的视频直播数据流的获取方式也可以有多种，例如，可以从⑶N服务器上实时下载，也可以是客户端的一段本地视频，也可以是用户在实际场景中实时录制的视频数据等。只要预先将待播放的视频直播数据流的信息与满足播放时的触发条件对应设置好即可。步骤302:获取视频直播数据流相对于游戏场景中预设的目标对象的坐标关系。在本实施方式中，因为是在游戏场 景中进行视频直播，所以获取到视频直播数据流之后，还不能直接在用户的客户端上进行播放，需要依据视频直播数据流中各个图片帧的位置信息，来获取其在游戏场景的目标对象上进行播放时的坐标关系，这样才能依据视频直播数据流相对于预设的目标对象的坐标关系来将该视频在该目标对象上进行播放。其中目标对象可以是规则或者不规则的四边形等，只需目标对象有一定的面积可以进行视频直播即可。参考图4所示，为步骤302在实际应用中一种可能的实施方式，本实施方式具体可以包括:步骤401:获取目标对象的角屏幕坐标到视频直播数据流的视频帧图片的原始角坐标的透视投影矩阵；在获取到视频直播数据流之后，需要获取目标对象的角屏幕坐标到视频直播数据流的视频帧图片的原始角坐标的透视投影矩阵。假设目标对象上任一个点(xi，yi)到原始角坐标任一点(ui，vi)的透视投影矩阵为M，则可得如下公式(I):
>00 cOl c02~clO cll cl2
c20 c2l c22/ - X
L」 (I )下面将推导M的求解过程。首先用M同目标对象上任一个点(xi，yi)坐标相乘，得到如公式(2)所示的(u，v，w):
权利要求
1.种方法，包括: 响应于满足基于游戏场景的视频直播的触发条件，获取待播放的视频直播数据流； 获取所述视频直播数据流相对于所述游戏场景中预设的目标对象的坐标关系； 按照所述坐标关系将所述视频直播数据流渲染至所述目标对象上进行播放。
2.据权利要求1所述的方法，其中，所述触发条件为: 所述游戏场景中的虚拟用户与预设的目标对象之间的距离小于第一预设阈值。
3.据权利要求1所述的方法，还包括: 实时检测所述虚拟用户与所述目标对象之间的距离是否改变，如果是，则依据改变的距离大小相对应得调整所述视频直播数据流在播放过程中的声音大小。
4.据权利要求1所述的方法，其中，所述获取所述视频直播数据流相对于所述预设的目标对象的游戏场景的坐标关系，包括: 获取所述目标对象的角屏幕坐标到所述视频直播数据流的视频帧图片的原始角坐标的透视投影矩阵； 依据所述透视投影矩阵，确定所述目标对象的屏幕坐标集合与所述视频帧图片的原始坐标集合之间的映射关系，所述屏幕坐标集合为所述目标对象上除了所述角屏幕坐标之外的其他坐标，所述原始坐标集合为所述视频帧图片上除了所述原始角坐标之外的其他坐标。
5.据权利要求 4所述的方法，其中，所述按照所述坐标参数将所述视频直播数据流渲染至所述目标对象上进行播放，包括: 获取所述视频直播数据流中视频帧图片上原始坐标集合的原始坐标值； 依据所述映射关系确定所述视频帧图片的原始坐标值映射至目标对象上的屏幕坐标值。
6.种设备,包括: 第一获取单元，配置用于响应于满足基于游戏场景的视频直播的触发条件，获取待播放的视频直播数据流； 第二获取单元，配置用于获取所述视频直播数据流相对于所述游戏场景中预设的目标对象的坐标关系； 渲染单元，配置用于按照所述坐标关系将所述视频直播数据流渲染至所述目标对象上进行播放。
7.据权利要求6所述的设备，其中，所述触发条件为: 所述游戏场景中的虚拟用户与预设的目标对象之间的距离小于第一预设阈值。
8.据权利要求6所述的设备，还包括: 检测单元，配置用于实时检测所述虚拟用户与所述目标对象之间的距离是否改变； 调整单元，配置用于所述检测单元的结果为是的情况下，依据改变的距离大小相对应得调整所述视频直播数据流在播放过程中的声音大小。
9.据权利要求6所述的设备，其中，所述第二获取单元包括: 第一获取子单元，配置用于获取所述目标对象的角屏幕坐标到所述视频直播数据流的视频帧图片的原始角坐标的透视投影矩阵； 第一确定子单元，配置用于依据所述透视投影矩阵，确定所述目标对象的屏幕坐标集合与所述视频帧图片的原始坐标集合之间的映射关系，所述屏幕坐标集合为所述目标对象上除了所述角屏幕坐标之外的其他坐标，所述原始坐标集合为所述视频帧图片上除了所述原始角坐标之外的其他坐标。
10.据权利要求9所述的设备，其中，所述渲染单元包括: 第二获取子单元，配置用于获取所述视频直播数据流中视频帧图片上原始坐标集合的原始坐标值； 第二确定子单元， 配置用于依据所述映射关系确定所述视频帧图片的原始坐标值映射至目标对象上的屏幕坐标值。
全文摘要
本发明的实施方式提供了一种基于视频直播和游戏的数据处理方法。该方法例如可以包括响应于满足基于游戏场景的视频直播的触发条件，获取待播放的视频直播数据流；获取所述视频直播数据流相对于所述游戏场景中预设的目标对象的坐标关系；按照所述坐标关系将所述视频直播数据流渲染至所述目标对象上进行播放。本发明的实施方式通过将用户需要观看的视频直播在用户当前打开的游戏场景中进行播放，避免了用户需要退出游戏场景才能观看视频直播的问题，进而节约终端在响应用户请求时所消耗的系统资源。同时，也能提升用户的使用体验。此外，本发明的实施方式提供了一种基于视频直播和游戏的数据处理设备，例如，客户端。
文档编号H04N21/24GK103096134SQ20131005096
公开日2013年5月8日 申请日期2013年2月8日 优先权日2013年2月8日
发明者林伟, 陈健生, 卢春城, 熊清亮, 梁江楼 申请人:广州博冠信息科技有限公司