移动终端中应用界面的直播方法及设备的制造方法
【专利摘要】本发明提供一种移动终端中应用界面的直播方法及设备，涉及通信技术领域，主要目的在于解决现有技术中利用摄像头直播实时的应用界面画面，当摄像头分辨率较低时，会导致在其他终端播放的画面清晰度较差的问题，提高直播移动终端中应用界面的画面的清晰度，及降低硬件成本。本发明所采用的技术方案是：首先获取移动终端中运行的应用程序的进程信息，然后从所述进程信息中提取所述应用程序界面的每一帧图像信息的视频源数据，再对所述每一帧图像信息的视频源数据进行解析，生成每一帧图像信息的视频流数据，最后向不同终端输出所述每一帧图像信息的视频流数据。本发明主要用于移动终端中应用界面的直播。
【专利说明】
移动终端中应用界面的直播方法及设备
技术领域
[0001]本发明涉及通信技术领域，尤其涉及一种移动终端中应用界面的直播方法及设备。
【背景技术】
[0002]随着移动终端应用系统的不断发展，用户对在移动终端中运行的应用程序的操作界面的实时直播需求也随之增加。例如，游戏玩家在运行手游游戏时，会希望将正在运行的画面实时的播放给其他玩家，以便与其他玩家进行互动。
[0003]目前，在进行移动终端中应用界面的画面直播时，通常通过摄像头记录实时应用界面画面的每一帧图像，然后将每一帧图像实时输出给不同终端设备。但是，当记录实时应用界面画面的摄像头分辨率较低时，会导致在其他终端播放画面的清晰度较低，造成现有移动终端中应用界面的画面直播的硬件成本较高。
【发明内容】
[0004]本发明提供一种移动终端中应用界面的直播方法及设备，用以解决现有技术中利用摄像头直播实时的应用界面画面，当摄像头分辨率较低时，会导致在其他终端播放的画面清晰度较差的问题。
[0005]本发明提供一种移动终端中应用界面的直播方法，包括:
[0006]获取移动终端中运行的应用程序的进程信息；
[0007]从所述进程信息中提取所述应用程序界面的每一帧图像信息的视频源数据；
[0008]对所述每一帧图像信息的视频源数据进行解析，生成每一帧图像信息的视频流数据；
[0009]向不同终端输出所述每一帧图像信息的视频流数据。
[0010]进一步地，所述方法还包括:
[0011]根据不同终端的显示分辨率对所述视频流数据进行编码；
[0012]向不同终端输出对应的编码后的所述每一帧图像信息的视频流数据。
[0013]进一步地，所述方法还包括:
[0014]判断所述终端设备是否接收到所述每一帧图像信息的音频数据；
[0015]若存在，为所述每一帧图像信息的视频源数据配置对应的音频数据。
[0016]进一步地，所述方法还包括:
[0017]向不同终端输出所述每一帧图像信息的视频流数据以及与所述视频流数据对应的音频数据。
[0018]进一步地，所述方法还包括:
[0019]判断是否接收到所述视频流数据对应的交互文本信息；
[0020]若接收到所述视频流数据对应的交互文本信息，在所述应用程序界面的预置位置显示所述交互文本信息。
[0021]本发明提供一种移动终端中应用界面的直播设备，包括:
[0022]获取单元，用于获取移动终端中运行的应用程序的进程信息；
[0023]提取单元，用于从所述进程信息中提取所述应用程序界面的每一帧图像信息的视频源数据；
[0024]生成单元，用于对所述每一帧图像信息的视频源数据进行解析，生成每一帧图像信息的视频流数据；
[0025]输出单元，用于向不同终端输出所述每一帧图像信息的视频流数据。
[0026]进一步地，所述设备还包括:
[0027]所述编码单元，用于根据不同终端的显示分辨率对所述视频流数据进行编码；
[0028]所述输出单元，具体用于向不同终端输出对应的编码后的所述每一帧图像信息的视频流数据。
[0029]进一步地，所述设备还包括:
[0030]判断单元，用于判断所述终端设备是否接收到所述每一帧图像信息的音频数据；
[0031]配置单元，用于判断单元判断出所述终端设备接收到所述每一帧图像信息的音频数据，为所述每一帧图像信息的视频源数据配置对应的音频数据。
[0032]进一步地，所述设备还包括:
[0033]所述输出单元，具体还用于向不同终端输出所述每一帧图像信息的视频流数据以及与所述视频流数据对应的音频数据。
[0034]进一步地，所述设备还包括:
[0035]所述判断单元，还用于判断是否接收到所述视频流数据对应的交互文本信息；
[0036]所述显示单元，用于若接收到所述视频流数据对应的交互文本信息，在所述应用程序界面的预置位置显示所述交互文本信息。
[0037]本发明提供的一种移动终端中应用界面的直播方法及设备，首先获取移动终端中运行的应用程序的进程信息，然后从所述进程信息中提取所述应用程序界面的每一帧图像信息的视频源数据，再对所述每一帧图像信息的视频源数据进行解析，生成每一帧图像信息的视频流数据，最后向不同终端输出所述每一帧图像信息的视频流数据。与目前利用摄像头直接拍摄实时应用界面画面的每一帧图像，然后将每一帧图像实时输出给不同终端设备相比，本发明通过提取应用程序界面的每一帧图像信息的视频源数据，对视频源数据进行解析，生成每一帧图像信息的视频流数据，避免因摄像头分辨率低而导致在其他终端播放画面不清晰的问题，从而可以提高直播移动终端中应用界面的画面的清晰度，及降低移动终端的硬件成本。
【附图说明】
[0038]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0039]图1为本发明实施例提供的一种移动终端中应用界面的直播方法的流程图；
[0040]图2为本发明实施例提供的另一种移动终端中应用界面的直播方法的流程图；
[0041]图3为本发明实施例提供的一种移动终端中应用界面的直播设备的结构示意图；
[0042]图4为本发明实施例提供的另一种移动终端中应用界面的直播设备的结构示意图。
【具体实施方式】
[0043]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0044]本发明实施例提供一种移动终端中应用界面的直播方法，如图1所示，所述方法包括:
[0045 ] 11、获取移动终端中运行的应用程序的进程信息。
[0046]其中，所述进程信息为移动终端中运行的待录制的应用程序实时执行的进程。例如，移动终端中运行的应用程序为某一款游戏，应用程序的进程信息即为该游戏的进程信息。
[0047]102、从所述进程信息中提取所述应用程序界面的每一帧图像信息的视频源数据。
[0048]其中，所述每一帧图像信息为视频播放过程中最小单位的单幅影像画面的图像信息，所述视频源数据为所有可以展现视频画面内容的源代码数据。例如，每一帧的单位为每秒48帧，每一帧图像信息则为在1/48秒时显示的单幅影像的图像信息，提取的源数据可以为包含图像颜色、人物、背景颜色等的一个二进制代码的数据库。
[0049]对于本发明实施例，所述获取视频源数据的方法可以通过在应用程序中预置SDK(Software Development Kit，软件开发工具包)编译代码，通过所述预置SDK抓取应用程序界面的源数据。
[0050]103、对所述每一帧图像信息的视频源数据进行解析，生成每一帧图像信息的视频流数据。
[0051]对于本发明实施例，通过对每一帧图像信息的视频源数据进行解析，避免直接利用摄像头拍摄画面导致分辨率低、画面不清晰，从而提高在其他终端播放画面的清晰度。
[0052]104、向不同终端输出所述每一帧图像信息的视频流数据。
[0053]其中，不同终端为用于实时播放该应用界面直播画面的设备，具体可以为手机、电脑等，本发明实施例不做限定。
[0054]对于本发明实施例，具体的应用场景可以如下所示，但不限于此，包括:运行的应用程序为手游游戏，通过SDK获取游戏运行程序的进程信息，游戏运行至游戏人物过河的画面，设置I秒包含48帧图像，将游戏中游戏人物过河的I秒分成48帧图像，从进程信息中提取游戏人物过河的每一帧图像信息的视频源数据，所述每一帧图像信息的视频源数据保存有人物颜色、人物所在河中的位置、背景颜色等的一个二进制代码数据库，待发送的终端播放器I和2的分辨率为640 X 480和1024 X 640，通过对每一帧图像信息的视频源数据进行解析，生成分辨率为640 X 480和1024 X 640的视频流数据，向终端I和终端2分别发送分辨率为640X 480和1024 X 640的视频流数据。
[0055]本发明实施例提供的一种移动终端中应用界面的直播方法，首先获取移动终端中运行的应用程序的进程信息，然后从所述进程信息中提取所述应用程序界面的每一帧图像信息的视频源数据，再对所述每一帧图像信息的视频源数据进行解析，生成每一帧图像信息的视频流数据，最后向不同终端输出所述每一帧图像信息的视频流数据。与目前利用摄像头直接拍摄实时应用界面画面的每一帧图像，然后将每一帧图像实时输出给不同终端设备相比，本发明通过提取应用程序界面的每一帧图像信息的视频源数据，对视频源数据进行解析，生成每一帧图像信息的视频流数据，避免因摄像头分辨率低而导致在其他终端播放画面不清晰的问题，从而可以提高直播移动终端中应用界面的画面的清晰度，及降低移动终端的硬件成本。
[0056]本发明实施例提供了另一种移动终端中应用界面的直播方法，如图2所示，所述方法包括:
[0057 ] 201、获取移动终端中运行的应用程序的进程信息。
[0058]其中，所述进程信息为移动终端中运行的待录制的应用程序实时执行的进程。
[0059]202、从所述进程信息中提取所述应用程序界面的每一帧图像信息的视频源数据。
[0060]其中，所述每一帧图像信息为视频播放过程中最小单位的单幅影像画面的图像信息，所述视频源数据为所有可以展现视频画面内容的源代码数据。
[0061]203、对所述每一帧图像信息的视频源数据进行解析，生成每一帧图像信息的视频流数据。
[0062]对于本发明实施例，通过对每一帧图像信息的视频源数据进行解析，避免直接利用摄像头拍摄画面导致分辨率低，进行画面不清晰，从而提高在其他终端播放画面的清晰度。
[0063]204、根据不同终端的显示分辨率对所述视频流数据进行编码。
[0064]其中，所述编码为将根据二进制代码的视频源数据生成的媒体流数据编译为与不同终端的显示分辨率对应的视频流数据。例如，待发送的终端的显示分辨率为1024X1024，则将根据二进制代码视频源数据生成的媒体流数据编译为分辨率为1024 X 1024的视频流数据。通过根据不同终端的显示分辨率对视频流数据进行编码，实现发送的视频流数据与不同终端匹配，从而提高直播移动终端中应用界面的画面的清晰度。
[0065]205、向不同终端输出对应的编码后的所述每一帧图像信息的视频流数据。
[0066]其中，不同终端为用于实时播放该应用界面直播画面的设备，具体可以为手机、电脑等，本发明实施例不做限定。
[0067]进一步地，步骤205之前包括:判断所述终端设备是否接收到所述每一帧图像信息的音频数据;若判断所述终端设备接收到所述每一帧图像信息的音频数据，为所述每一帧图像信息的视频源数据配置对应的音频数据。例如，I秒内的图像信息为游戏人物打怪，判断是否接受到与每一帧图像信息对应的游戏人物打怪的音频数据，若接收到，则为每一帧游戏人物打怪的画面配置对应的音频数据。通过为每一帧图像信息的视频源数据配置音频数据，实现视频与音频同时播放，避免出现画面与声音不匹配，从而提高移动终端应用界面的播放效果。
[0068]对于本发明实施例，步骤205具体可以为:向不同终端输出所述每一帧图像信息的视频流数据以及与所述视频流数据对应的音频数据。通过向不同终端输出视频流数据以及与视频流数据对应的音频数据，实现不同终端显示与所述终端对应的最优的画面及声音。
[0069]206、判断是否接收到所述视频流数据对应的交互文本信息。
[0070]其中，所述交互文本信息可以为文字、图片，本发明实施例不做具体限定。例如，对移动终端发送游戏人物打怪的视频流数据后，判断是否接收到对游戏人物打怪的评论信息。通过判断是否接收到与视频流数据对应的交互文本信息，实现不同终端对视频直播进行交互目的，从而提高移动终端应用界面直播的效果。
[0071 ] 207、若接收到所述视频流数据对应的交互文本信息，在所述应用程序界面的预置位置显示所述交互文本信息。
[0072]其中，所述预置位置可以为每一帧图像信息的上方、下方或者中间，本发明实施例不做具体限定。例如，当接收到游戏人物跳起的画面的视频流数据对应的交互文本信息为“哇，厉害!”时，在与游戏人物跳起对应的游戏界面的中间位置显示“哇，厉害!”。通过在应用程序界面显示交互文本信息，实现不同移动终端直播视频的信息交互，从而提高移动终端应用界面直播的效果。
[0073]对于本发明实施例，具体的应用场景可以如下所示，但不限于此，包括:通过SDK获取游戏进程信息，从进程信息中提取游戏人物跳起过程对应的每一帧图像信息的二进制代码的视频源数据，待发送终端分辨率为1024 X 1024和1024 X 480，通过对每一帧图像信息的二进制代码的视频源数据解析的媒体流数据进行编码，生成与分辨率对应的1024 X 1024和1024 X 480视频流数据，判断接收与游戏人物跳起画面对应的音频数据，为一阵风声，则将风声的音频数据配置成与每一帧图像信息对应的音频数据，将1024 X 1024视频流数据和对应的音频数据发送给终端I，将1024X480视频流数据和对应的音频数据发送给终端2，接收到终端I交互文本信息为“好高”，接收到终端2交互文本信息为“好像在飞”，将“好高”和“好像在飞”显示在对应视频流的游戏人物跳起画面的中间位置和下方位置。
[0074]本发明实施例提供的另一种移动终端中应用界面的直播方法，首先获取移动终端中运行的应用程序的进程信息，然后从所述进程信息中提取所述应用程序界面的每一帧图像信息的视频源数据，再对所述每一帧图像信息的视频源数据进行解析，生成每一帧图像信息的视频流数据，最后向不同终端输出所述每一帧图像信息的视频流数据。与目前利用摄像头直接拍摄实时应用界面画面的每一帧图像，然后将每一帧图像实时输出给不同终端设备相比，本发明通过提取应用程序界面的每一帧图像信息的视频源数据，对视频源数据进行解析，生成每一帧图像信息的视频流数据，避免因摄像头分辨率低而导致在其他终端播放画面不清晰的问题，从而可以提高直播移动终端中应用界面的画面的清晰度，及降低移动终端的硬件成本。
[0075]进一步地，作为图1所述方法的具体实现，本发明实施例提供了一种移动终端中应用界面的直播设备，如图3所示，所述设备包括:获取单元31、提取单元32、生成单元33、输出单元34。
[0076]获取单元31，用于获取移动终端中运行的应用程序的进程信息；
[0077]提取单元32，用于从所述进程信息中提取所述应用程序界面的每一帧图像信息的视频源数据；
[0078]生成单元33，用于对所述每一帧图像信息的视频源数据进行解析，生成每一帧图像信息的视频流数据；
[0079]输出单元34，用于向不同终端输出所述每一帧图像信息的视频流数据。
[0080]需要说明的是，本发明实施例提供的一种移动终端中应用界面的直播设备所涉及各功能单元的其他相应描述，可以参考图1所示方法的对应描述，在此不再赘述。
[0081]本发明实施例提供的一种移动终端中应用界面的直播设备，首先获取移动终端中运行的应用程序的进程信息，然后从所述进程信息中提取所述应用程序界面的每一帧图像信息的视频源数据，再对所述每一帧图像信息的视频源数据进行解析，生成每一帧图像信息的视频流数据，最后向不同终端输出所述每一帧图像信息的视频流数据。与目前利用摄像头直接拍摄实时应用界面画面的每一帧图像，然后将每一帧图像实时输出给不同终端设备相比，本发明通过提取应用程序界面的每一帧图像信息的视频源数据，对视频源数据进行解析，生成每一帧图像信息的视频流数据，避免因摄像头分辨率低而导致在其他终端播放画面不清晰的问题，从而可以提高直播移动终端中应用界面的画面的清晰度，及降低移动终端的硬件成本。
[0082]进一步地，作为图2所述方法的具体实现，本发明实施例提供了另一种移动终端中应用界面的直播设备，如图4所示，所述设备包括:获取单元41、提取单元42、生成单元43、输出单元44、编码单元45、判断单元46、配置单元47、显示单元48。
[0083]获取单元41，用于获取移动终端中运行的应用程序的进程信息；
[0084]提取单元42，用于从所述进程信息中提取所述应用程序界面的每一帧图像信息的视频源数据；
[0085]生成单元43，用于对所述每一帧图像信息的视频源数据进行解析，生成每一帧图像信息的视频流数据；
[0086]输出单元44，用于向不同终端输出所述每一帧图像信息的视频流数据。
[0087]进一步地，所述设备还包括:
[0088]编码单元45，用于根据不同终端的显示分辨率对所述视频流数据进行编码；
[0089]所述输出单元44，具体用于向不同终端输出对应的编码后的所述每一帧图像信息的视频流数据。
[0090]进一步地，所述设备还包括:
[0091]判断单元46，用于判断所述终端设备是否接收到所述每一帧图像信息的音频数据；
[0092]配置单元47，用于判断单元46判断出所述终端设备接收到所述每一帧图像信息的音频数据，为所述每一帧图像信息的视频源数据配置对应的音频数据；
[0093]所述输出单元44，具体还用于向不同终端输出所述每一帧图像信息的视频流数据以及与所述视频流数据对应的音频数据。
[0094]进一步地，所述设备还包括:显示单元48，
[0095]所述判断单元46，还用于判断是否接收到所述视频流数据对应的交互文本信息；
[0096]所述显示单元48，用于若接收到所述视频流数据对应的交互文本信息，在所述应用程序界面的预置位置显示所述交互文本信息。
[0097]需要说明的是，本发明实施例提供的另一种移动终端中应用界面的直播设备所涉及各功能单元的其他相应描述，可以参考图2所示方法的对应描述，在此不再赘述。
[0098]本发明实施例提供的另一种移动终端中应用界面的直播设备，首先获取移动终端中运行的应用程序的进程信息，然后从所述进程信息中提取所述应用程序界面的每一帧图像信息的视频源数据，再对所述每一帧图像信息的视频源数据进行解析，生成每一帧图像信息的视频流数据，最后向不同终端输出所述每一帧图像信息的视频流数据。与目前利用摄像头直接拍摄实时应用界面画面的每一帧图像，然后将每一帧图像实时输出给不同终端设备相比，本发明通过提取应用程序界面的每一帧图像信息的视频源数据，对视频源数据进行解析，生成每一帧图像信息的视频流数据，避免因摄像头分辨率低而导致在其他终端播放画面不清晰的问题，从而可以提高直播移动终端中应用界面的画面的清晰度，及降低移动终端的硬件成本。
[0099]以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0100]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如R0M/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0101]最后应说明的是:以上实施例仅用以说明本发明的技术方案，而非对其限制;尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
【主权项】
1.一种移动终端中应用界面的直播方法，其特征在于，包括: 获取移动终端中运行的应用程序的进程信息； 从所述进程信息中提取所述应用程序界面的每一帧图像信息的视频源数据； 对所述每一帧图像信息的视频源数据进行解析，生成每一帧图像信息的视频流数据； 向不同终端输出所述每一帧图像信息的视频流数据。2.根据权利要求1所述的移动终端中应用界面的直播方法，其特征在于，所述向不同终端输出所述每一帧图像信息的视频流数据之前，所述方法还包括: 根据不同终端的显示分辨率对所述视频流数据进行编码； 所述向不同终端输出所述每一帧图像信息的视频流数据包括: 向不同终端输出对应的编码后的所述每一帧图像信息的视频流数据。3.根据权利要求1或2所述的移动终端中应用界面的直播方法，其特征在于，所述向不同终端输出所述每一帧图像信息的视频流数据之前，所述方法还包括: 判断所述终端设备是否接收到所述每一帧图像信息的音频数据； 若存在，为所述每一帧图像信息的视频源数据配置对应的音频数据。4.根据权利要求3所述的移动终端中应用界面的直播方法，其特征在于，向不同终端输出所述每一帧图像信息的视频流数据包括: 向不同终端输出所述每一帧图像信息的视频流数据以及与所述视频流数据对应的音频数据。5.根据权利要求1或2所述的移动终端中应用界面的直播方法，其特征在于，所述向不同终端输出所述每一帧图像信息的视频流数据之后，所述方法还包括: 判断是否接收到所述视频流数据对应的交互文本信息； 若接收到所述视频流数据对应的交互文本信息，在所述应用程序界面的预置位置显示所述交互文本信息。6.一种移动终端中应用界面的直播设备，其特征在于，包括: 获取单元，用于获取移动终端中运行的应用程序的进程信息； 提取单元，用于从所述进程信息中提取所述应用程序界面的每一帧图像信息的视频源数据； 生成单元，用于对所述每一帧图像信息的视频源数据进行解析，生成每一帧图像信息的视频流数据； 输出单元，用于向不同终端输出所述每一帧图像信息的视频流数据。7.根据权利要求6所述的移动终端中应用界面的直播设备，其特征在于，所述设备还包括:编码单元， 所述编码单元，用于根据不同终端的显示分辨率对所述视频流数据进行编码； 所述输出单元，具体用于向不同终端输出对应的编码后的所述每一帧图像信息的视频流数据。8.根据权利要求6或7所述的移动终端中应用界面的直播设备，其特征在于，所述设备还包括: 判断单元，用于判断所述终端设备是否接收到所述每一帧图像信息的音频数据； 配置单元，用于判断单元判断出所述终端设备接收到所述每一帧图像信息的音频数据，为所述每一帧图像信息的视频源数据配置对应的音频数据。9.根据权利要求8所述的移动终端中应用界面的直播设备，其特征在于， 所述输出单元，具体还用于向不同终端输出所述每一帧图像信息的视频流数据以及与所述视频流数据对应的音频数据。10.根据权利要求8所述的移动终端中应用界面的直播设备，其特征在于，所述设备还包括:显示单元， 所述判断单元，还用于判断是否接收到所述视频流数据对应的交互文本信息； 所述显示单元，用于若接收到所述视频流数据对应的交互文本信息，在所述应用程序界面的预置位置显示所述交互文本信息。
【文档编号】H04N21/478GK105872827SQ201510890466
【公开日】2016年8月17日
【申请日】2015年12月7日
【发明人】武卫
【申请人】乐视云计算有限公司