视频画面的处理方法及装置制造方法
【专利摘要】本发明提出一种视频画面的处理方法及装置。其中，视频画面的处理方法包括：获得当前视频的信息；根据当前视频的信息截取当前视频的关键画面，关键画面包括带有完整字幕的视频帧画面；对关键画面进行排序，生成画面库；以及接收播放请求，根据播放请求从画面库中读取对应的关键画面进行播放。本发明实施例，通过获得当前视频的信息，根据当前视频的信息截取当前视频的关键画面，并对关键画面进行排序，生成画面库，以及根据播放请求从画面库中读取对应的关键画面进行播放，在节省流量的同时，保证了在网络卡顿的情况下，用户能够对视频进行预览，以使用户快捷、方便、完整地了解剧情，减少了用户在移动视频卡顿情况时的跳出率，提升了用户体验。
【专利说明】视频画面的处理方法及装置【技术领域】
[0001]本发明涉及通信【技术领域】，尤其涉及一种视频画面的处理方法及装置。
【背景技术】
[0002]随着终端技术的迅速发展，各种功能的应用也越来越多元化，用户越来越倾向于通过在终端上安装不同的应用程序，来辅助进行商务、娱乐、生活等多种活动。
[0003]目前，很多用户喜欢在移动终端上观看在线视频，但观看在线视频比较耗费移动流量，平均每看I分钟的手机视频，标清资源耗费流量在4M左右，高清资源耗费流量在20M左右，对于大多数每月仅有百兆流量的用户来说，观看在线视频存在很大壁垒。
[0004]另外，受网络速度、视频资源、手机性能等因素的影响，用户在观看移动视频的过程中经常会遇到视频卡顿情况。在发生视频卡顿时，近一半用户会直接跳出页面或退出产品，因而无法满足用户的视频观看需求。
[0005]由于网络环境对视频资源的传输速度有很大影响，所以用户只能在安静的、移动网络很好的环境里才可以观看在线视频，而在较差的网络环境诸如地铁上通常无法观看，同时，对于一些碎片时间也不适合进行观看。
[0006]由此可见，目前观看在线视频存在以下问题:1、耗费移动流量大；2、视频卡顿情况严重；3、观看场所、时间受限制。
[0007]针对第一个问题 ，目前通过提供流畅转码的格式来解决，针对第二个问题，可以通过减少帧数来解决，最低可以减少到24帧/秒；也可以在接到用户举报后被动更替视频资源或者鼓励用户更换视频节点、跳过卡顿片段；针对第三个问题，目前尚无解决方案。
[0008]但是，上述流畅转码和减少帧数的方式，对视频所耗费的流量和卡顿情况虽有改善，但现存问题依旧严重；用户举报或让用户更换节点是被动的方式，只能事后解决卡顿问题。
【发明内容】
[0009]本发明旨在至少解决上述技术问题之一。
[0010]为此，本发明的第一个目的在于提出一种视频画面的处理方法。该方法通过截取当前视频的关键画面，对关键画面进行排序，生成画面库，并对画面库中的关键画面进行播放，节省了流量，使用户快捷、方便地了解视频内容。
[0011]本发明的第二个目的在于提出一种视频画面的处理装置。
[0012]为了实现上述目的，本发明第一方面实施例的视频画面的处理方法，包括以下步骤:获得当前视频的信息；根据所述当前视频的信息截取当前视频的关键画面，所述关键画面包括带有完整字幕的视频帧画面；对所述关键画面进行排序，生成画面库；以及接收播放请求，根据所述播放请求从所述画面库中读取对应的关键画面进行播放。
[0013]本发明实施例的视频画面的处理方法，通过获得当前视频的信息，根据当前视频的信息截取当前视频的关键画面，并对关键画面进行排序，生成画面库，以及根据播放请求从画面库中读取对应的关键画面进行播放，在节省流量的同时，保证了在网络卡顿的情况下，用户能够快速对视频进行预览，以使用户快捷、方便地了解剧情，减少了用户在遇到移动视频卡顿情况时的跳出率，提升了用户体验。
[0014]为了实现上述目的，本发明第二方面实施例的视频画面的处理装置，包括:获得模块、截取模块、生成模块以及播放模块。
[0015]本发明实施例的视频画面的处理装置，通过获得当前视频的信息，根据当前视频的信息截取当前视频的关键画面，并对关键画面进行排序，生成画面库，以及根据播放请求从画面库中读取对应的关键画面进行播放，在节省流量的同时，保证了在网络卡顿的情况下，用户能够快速对视频进行预览，以使用户快捷、方便地了解剧情，减少了用户在遇到移动视频卡顿情况时的跳出率，提升了用户体验。
[0016]本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
【专利附图】
【附图说明】
[0017]本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，
[0018]图1是根据本发明一个实施例的视频画面的处理方法的流程图；
[0019]图2是根据本发明一个实施例的视频播放过程的流程图；
[0020]图3是根据本发明一个具体实施例的截取当前视频的关键画面的流程图；
[0021]图4是根据本发明另一个实施例的对关键字幕时间点序列进行补帧的示意图；
[0022]图5是根据本发明一个实施例的视频画面的处理装置的结构示意图；
[0023]图6是根据本发明一个具体实施例的视频画面的处理装置的结构示意图；
[0024]图7是根据本发明一个具体实施例的视频画面的处理装置的另一个结构示意图。
【具体实施方式】
[0025]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
[0026]在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0027]流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属【技术领域】的技术人员所理解。
[0028]下面结合说明书附图详细说明本发明实施例的视频画面的处理方法及装置。
[0029]为了解决目前观看在线视频存在的耗费移动流量大、视频卡顿情况严重以及观看场所、时间受限制的问题，本发明提出一种视频画面的处理方法。
[0030]图1是根据本发明一个实施例的视频画面的处理方法的流程图。如图1所示，该视频画面的处理方法包括以下步骤:
[0031]S101，获得当前视频的信息。
[0032]首先从视频资源库中获得当前视频的信息，该信息可以包括视频源路径、字幕文件路径等。
[0033]S102，根据当前视频的信息截取当前视频的关键画面，该关键画面包括带有完整字幕的视频帧画面。
[0034]截取当前视频的关键画面可通过以下步骤完成:首先，根据当前视频的信息获得关键字幕时间点序列，在获得关键字幕时间点序列之后，可以对关键字幕时间点序列进行补帧处理，也可以对关键字幕时间点序列中的关键字幕时间点进行偏移校正，最后根据关键字幕时间点序列对应截取当前视频的关键画面。需要说明的是，补帧处理和偏移校正并无严格的执行顺序，即可以先进行补帧后进行偏移校正，也可以先进行偏移校正后进行补帧；另外，上述偏移校正和进行补帧为可选步骤，若进行了补帧处理，则上述关键画面还包括根据间隔时间进行补帧的画面。
[0035]S103，对关键画面进行排序，生成画面库。
[0036]在本实施例中，对截取的当前视频的关键画面按照视频中的播放顺序进行排序，组成当前视频的连环画模式的画面库。其中，连环画模式，即截取视频的关键剧情画面，组成一系列按播放时间排序的图册，从而满足观看关键剧情的需求。
[0037]S104,接收播放请求，根据播放请求从画面库中读取对应的关键画面进行播放。
[0038]在本实施例中，视频内容具有连环画模式和正常的视频模式。用户可选择观看视频，也可以通过观看连环画模式的画面库浏览剧情。两种模式可以互相切换。在遇到视频卡顿时，可自动切换为连环画模式。具体地，在视频播放过程中，自动预加载视频或关键画面，当预设加载量低于预设阈值(例如，当预加载量无法支持5s的连续播放)，则自动切换至连环画模式，优先保证用户看剧情。同时用户也可手动切换至视频模式继续等待预加载。举例来说，如图2所示，将视频文件分为多个单元，以单元为单位对视频文件进行预加载并播放。具体地，包括以下步骤:
[0039]S201，预加载完一个单元后，播放当前单元的视频。
[0040]S202,当播放到0.75个单元时，判断是否预加载完下一个单元，如果预加载完毕，则执行步骤203，若未加载完毕，则执行步骤S204。
[0041]S203，继续播放下一个单元的视频，操作结束。
[0042]S204，切换为连环画模式，并预加载下一个单元的连环画，以使用户及时浏览剧情，然后转向步骤S202，以便当视频预加载完毕后，可以切换回视频模式，并播放对应单元的视频。
[0043]本实施例中，在连环画模式下进行播放时，可以通过自动方式进行播放，也可以通过手动方式进行播放。通过自动播放方式时，根据自动播放请求按顺序从画面库中读取对应的关键画面进行播放，并以预定时间间隔例如每3秒I帧的速度按顺序自动播放画面库。这样，可以保证用户顺利阅读字幕，播放速度与用户正常观看视频的播放速度保持一致，使用户获得正常观看视频的体验。可以理解，播放速度可通过用户根据自身需求预先设定。通过手动或自动播放时，可以根据调用请求从画面库中读取对应的关键画面进行播放。例如，当预加载量无法支持5s的连续播放时，会从画面库中读取对应的关键画面进行播放，当播放一段时间后，若预加载量可以支持5s的连续播放时，可以停止从画面库中读取关键画面并恢复正常的视频播放。
[0044]采用上述连环画模式，可以节省流量，比如，时长30分钟的一段标清视频所耗流量在100M以上，而连环画模式仅需9M左右，能节省90%的流量。因而，可以保证用户使用极少的流量就可以追剧，从而提升访问频率和用户满意度。
[0045]在连环画模式的每帧画面下，还提供支持用户交流互动的功能。用户可针对关键剧情进行互动交流，创造丰富的用户生成内容。并且，视频和图片形式的广告都能以图片形式插入画面库，为用户提供更多的信息。用户还可以利用碎片时间，像看小说、看图片一样，随时随地追剧，而不必受环境、网络的严格限制。
[0046]本发明实施例的视频画面的处理方法，通过获得当前视频的信息，根据当前视频的信息截取当前视频的关键画面，并对关键画面进行排序，生成画面库，以及根据播放请求从画面库中读取对应的关键画面进行播放，在节省流量的同时，保证了在网络卡顿的情况下，用户能够快速对视频进行预览，以使用户快捷、方便地了解剧情，减少了用户在遇到移动视频卡顿情况时的跳出率，提升了用户体验。
[0047]为了截取当前视频的关键画面，使用户能够对视频进行预览，更加快捷、方便、完整地了解剧情，本实施例提出了截取当前视频的关键画面的方法，如图3所示，该方法可以包括以下步骤:
[0048]S301，根据当前视频的信息获得关键字幕时间点序列。
[0049]在本实施例中，可以通过网络、语音识别或图像识别等技术获取当前视频中每段语音字幕的开始和结束时间点，在每段语音字幕的结束时间点上截取一帧画面，以保证仅通过截取画面，就可以完整地看完所有字幕。
[0050]具体地，可以基于字幕文件获得关键字幕时间点序列，其中，影片字幕一般分为图形类型的字幕文件和文本格式的字幕文件；对于图形类型的字幕文件，可以通过分析其索引文件来获得视频中拥有对白的“字幕时间范围”序列；对于文本格式的字幕文件例如.srt、.ass格式的字幕文件，可以通过现有程序自动分析获取其中的“字幕时间范围”序列；最后根据这个序列中每个“字幕时间范围”成员的中间值或其他值生成“关键字幕时间点”序列，当然上述中间值或其他值的设置均可以保证获得带有完整字幕的视频帧。
[0051]除了可以基于字幕文件获得关键字幕时间点序列外，还可以使用语音分析的方式，即基于语音识别区分出人声部分，获得语音字幕的开始和结束时间点，从而获得关键字幕时间点。也可以采用图像识别的方式，即以预定时间为间隔，将视频转换为连续的帧，再以图片识别的形式识别出特定区域带有完整字幕的帧，去重后直接获得最终的图片帧序列，则这些图片帧序列对应的时间即为关键字幕时间点序列。
[0052]其中，上述预定时间优选为大于1/24秒，因为这样视频的采样率是24帧/s。[0053]S302，对关键字幕时间点序列进行补帧处理。
[0054]该步骤为可选步骤，当两帧画面间隔时间过长，例如超过预定时间5秒时，则每5秒需截取一副“补帧”，这是因为，这段时间内虽没有语音，但可能有动作镜头发生，动作镜头也会影响用户对剧情的理解。因此，I分钟长的视频约截图15次，以保证剧情的连贯性，每张图片大小为20k，对应当前视频的所有图片文件共计300k。
[0055]具体地，补帧过程可以为:判断相邻两个关键字幕时间点之间的时间间隔是否大于预定值，若大于，则在相邻两个关键字幕时间点之间获取新增的关键字幕时间点，并将新增的关键字幕时间点插入关键字幕时间点序列中。例如，当相邻两个“关键字幕时间点”相差超过4s时，则在其之间插入一个中间值时间点上的截图，如图4所示，3.484和20.196之间的时间间隔大于4s的4倍，因此，需要在二者之间插入4帧，其中，带有“-tween”标记的帧为插入的帧；20.196和28.887之间的时间间隔大于4s的2倍，因此，需要在二者之间插入2帧，以此类推，以保证至少平均4s内有一个图片，从而可以保证剧情的连贯性。
[0056]其中，上述补帧过程用算法实现的结果的示例如下:
[0057]
【权利要求】
1.一种视频画面的处理方法，其特征在于，包括: 获得当前视频的信息； 根据所述当前视频的信息截取当前视频的关键画面，所述关键画面包括带有完整字幕的视频帧画面； 对所述关键画面进行排序，生成画面库；以及 接收播放请求，根据所述播放请求从所述画面库中读取对应的关键画面进行播放。
2.根据权利 要求1所述的方法，其特征在于，所述根据所述当前视频的信息截取当前视频的关键画面包括: 根据所述当前视频的信息获得关键字幕时间点序列； 根据所述关键字幕时间点序列对应截取当前视频的关键画面。
3.根据权利要求2所述的方法，其特征在于，在所述根据所述当前视频的信息获得关键字幕时间点序列之后，所述根据所述关键字幕时间点序列对应截取当前视频的关键画面之前，该方法还包括: 判断相邻两个关键字幕时间点之间的时间间隔是否大于预定值，若大于，则在所述相邻两个关键字幕时间点之间获取新增的关键字幕时间点，并将所述新增的关键字幕时间点插入所述关键字幕时间点序列中；和/或 对所述关键字幕时间点序列中的关键字幕时间点进行偏移校正。
4.根据权利要求2或3所述的方法，其特征在于，所述根据所述当前视频的信息获得关键字幕时间点序列包括: 根据所述当前视频的字幕文件获得字幕时间范围序列，根据字幕时间范围序列生成关键字幕时间点序列；或者 对当前视频进行语音识别，获得字幕时间范围序列，根据字幕时间范围序列生成关键字幕时间点序列；或者 将当前视频转换为视频帧，采用图像识别的方式识别出预定区域带有完整字幕的视频帧序列，对所述视频帧序列进行去重处理，将去重后的视频帧序列对应的时间作为关键字幕时间点序列。
5.根据权利要求1所述的方法，其特征在于，所述接收播放请求，根据所述播放请求从所述画面库中读取对应的关键画面进行播放，包括: 接收自动播放请求，根据所述自动播放请求按顺序从所述画面库中读取对应的关键画面进行播放；或者 接收调用请求，根据所述调用请求从所述画面库中读取对应的关键画面进行播放。
6.根据权利要求5所述的方法，其特征在于，所述根据所述调用请求从所述画面库中读取对应的关键画面进行播放之后，该方法还包括: 接收停止播放请求，根据所述停止播放请求停止从所述画面库中读取关键画面。
7.一种视频画面的处理装置，其特征在于，包括: 获得模块，用于获得当前视频的信息； 截取模块，用于根据所述获得模块获得的所述当前视频的信息截取当前视频的关键画面，所述关键画面包括带有完整字幕的视频帧画面； 生成模块，用于对所述截取模块截取到的所述关键画面进行排序，生成画面库；以及播放模块，用于接收播放请求，根据所述播放请求从所述生成模块生成的所述画面库中读取对应的关键画面进行播放。
8.根据权利要求7所述的装置，其特征在于，所述截取模块包括: 时间点序列获得单元，用于根据所述当前视频的信息获得关键字幕时间点序列； 截取单元，用于根据所述关键字幕时间点序列对应截取当前视频的关键画面。
9.根据权利要求8所述的装置，其特征在于，所述截取模块还包括位于所述时间点序列获得单元和所述截取单元之间的补帧单元和校正单元，其中: 所述补帧单元，用于判断所述时间点序列获得单元获得的或所述校正单元校正后的关键字幕时间点序列中的相邻两个关键字幕时间点之间的时间间隔是否大于预定值，若大于，则在所述相邻两个关键字幕时间点之间获取新增的关键字幕时间点，并将所述新增的关键字幕时间点插入所述关键字幕时间点序列中；和/或 所述校正单元，用于对所述 时间点序列获得单元或所述补帧单元获得的所述关键字幕时间点序列中的关键字幕时间点进行偏移校正。
10.根据权利要求8或9所述的装置，其特征在于，所述时间点序列获得单元，具体用于: 根据所述当前视频的字幕文件获得字幕时间范围序列，根据字幕时间范围序列生成关键字幕时间点序列；或者 对当前视频进行语音识别，获得字幕时间范围序列，根据字幕时间范围序列生成关键字幕时间点序列；或者 将当前视频转换为视频帧，采用图像识别的方式识别出预定区域带有完整字幕的视频帧序列，对所述视频帧序列进行去重处理，将去重后的视频帧序列对应的时间作为关键字幕时间点序列。
11.根据权利要求7所述的装置，其特征在于，所述播放模块，具体用于: 接收自动播放请求，根据所述自动播放请求按顺序从所述画面库中读取对应的关键画面进行播放；或者 接收调用请求，根据所述调用请求从所述画面库中读取对应的关键画面进行播放。
12.根据权利要求11所述的装置，其特征在于，所述播放模块，还用于: 在根据所述调用请求从所述画面库中读取对应的关键画面进行播放之后，接收停止播放请求，根据所述停止播放请求停止从所述画面库中读取关键画面。
【文档编号】H04N19/587GK103634605SQ201310646783
【公开日】2014年3月12日 申请日期:2013年12月4日 优先权日:2013年12月4日
【发明者】张婧, 邵丹丹, 徐振华 申请人:百度在线网络技术（北京）有限公司