一种直播时移的播放进度操控方法及系统与流程

本发明涉及多媒体播放技术领域，特别涉及一种直播时移的播放进度操控方法及系统。

背景技术：

所谓时移，是指观众可以任意回放过去时间的直播内容。时移是直播与点播相结合而形成的一种新业务，是直播业务的补充。用户在观看直播节目时，中途可以暂停，过后可以从暂停处继续收看，以免错过某些重要情节。从技术上讲，在暂停请求时，播放服务器把节目录下来，在继续播放时，再把录下来的节目采用单播形式重新播放。

对于直播的节目，具有时移功能的流媒体直播系统可以在之后的任何时间看节目，例如播放球赛，不一定要直播观看球赛，可以随时暂停、回放、前进或播放，也就是把球赛的播放时间同步性给去掉了，想什么时候看就什么时候看，想看任何一个进球的精彩瞬间均可以回放观看，给用户带来了便利。

目前，用户观看直播视频想要调整播放进度时，通常只能通过手动或案件拉动播放进度条调整播放进度，例如现有专利公开号为cn102664032a公开的一种直播时移的播放进度调节条及其控制方法，该技术中，用户通过调节进度条可以调节播放进度，但是通过该技术在播放进度调整过程中无法快速地、准确地定位到自己想看的进度，并且来回调节进度比较枯燥，定位误差较大，无法根据播放的内容进行快速定位跳转到用户想要的播放位置，进度调节不够人性化、用户体验度较差，为此，急需开发一种能够准确定位播放进度的直播时移的播放进度操控方法及系统。

技术实现要素：

为了解决现有视频播放进度调节技术中，无法快速地、准确地定位到自己想看的进度，并且来回调节进度比较枯燥，定位误差较大，无法根据播放的内容进行快速定位跳转到用户想要的播放位置，进度调节不够人性化、用户体验度较差等问题，本发明提供了一种能够准确定位播放进度的直播时移的播放进度操控方法及系统。

本发明具体技术方案如下：

本发明提供了一种直播时移的播放进度操控方法，所述操控方法包括以下步骤：

s1、采集直播视频流中各个视频帧内出现的内容信息，并记忆所述内容信息的发布时间点，所述发布时间点为所述视频帧在所述直播视频流中的播放时间戳，同时保存至数据库，所述内容信息包括字幕内容、弹幕内容或音频内容；

s2、将所述内容信息通过所述发布时间点与其对应的所述视频帧进行关联；

s3、用户发送时移播放请求，所述时移播放请求包括快退、快进或暂停；

s4、接收所述时移播放请求，判断当前所述直播视频流是否满足时移条件，若满足，则给予用户提供定位时移搜索界面；

s5、根据用户在所述定位时移搜索界面输入的关键字段在所述数据库中搜索所述内容信息并进行匹配处理；

s6、当匹配成功时，获取所述数据库中匹配的所述内容信息，根据所述内容信息的所述发布时间点快速跳转到与其关联的所述视频帧的帧画面，并进行播放。

进一步的，步骤s1，对所述直播视频流中各个所述视频帧内出现的所述内容信息的采集包括以下步骤：

①、判断所述视频帧的帧画面中是否存在字幕内容或弹幕内容，若存在，则抓取所述字幕内容或所述弹幕内容的关键字或关键词语并保存至所述数据库，若不存在，则进入步骤②；

②、监听所述视频帧内的所述音频内容，并对所述音频内容进行语音识别，获取所述音频内容中的关键字或关键词语并保存至所述数据库。

进一步的，步骤s2中，将所述内容信息通过所述发布时间点与其对应的所述视频帧进行关联，具体包括以下步骤：

s2-1、将所述内容信息与其对应的所述视频帧进行关联；

s2-2、若干所述视频帧的播放时间戳根据播放时间进度形成进度条，所述进度条的时刻节点与若干所述视频帧的播放时间戳对应；

s2-3、将所述进度条的所述时刻节点通过与其对应的所述播放时间戳链接各个所述视频帧。

进一步的，步骤s4中，接收所述时移播放请求，判断当前所述直播视频流是否满足时移条件，若满足，则给予用户提供定位时移搜索界面，具体方法为：

s4-1、接收用户发送的所述时移播放请求，退出直播状态，并转入带缓存的半直播状态，确定当前直播时间点和时移请求时间点；

s4-2、将所述时移请求时间点作为播放进度的起始时间，将所述当前直播时间点作为播放进度的结束时间；

s4-3、判断所述起始时间和所述结束时间之间的所述视频流是否存在缓存，并确定存储位置；

s4-4、若不存在缓存，则不满足时移条件，向用户发送时移失败信息；若存在缓存，则满足时移条件，此时，给予用户提供定位时移搜索界面。

优选的，步骤s5中，根据用户在所述定位时移搜索界面输入的关键字段在所述数据库中搜索所述内容信息并进行匹配处理，具体方法包括以下步骤：

s5-1、对用户在所述定位时移搜索界面输入的关键字段进行识别；

s5-2、根据识别出的所述关键字段在所述数据库中搜索与其相似的所述内容信息，并进行匹配处理；

s5-3、若匹配不成功则无法实现自动时移请求，用户仅能通过手动调节播放进度；若匹配成功，则进入步骤s6。

优选的，步骤s5-2中，还包括以下步骤：

若根据识别出的所述关键字段在所述数据库中搜索出多个与其相似的所述内容信息时，则提醒用户在所述定位时移搜索界面第二次输入其他所述关键字段，在第一次搜索出的相似的所述内容信息中搜索与两次所述关键字段均匹配的所述内容信息；

若根据两个所述关键字段在所述数据库中仍然搜索出多个所述内容信息，则提醒用户在所述定位时移搜索界面第三次输入其他所述关键字段，直至搜索出一个匹配的所述内容信息为止。

本发明还提供了一种直播时移的播放进度操控系统，包括数据库及与所述数据库相通讯的信息采集模块、关联模块、请求接收模块、界面创建模块、搜索匹配模块、跳转模块；

所述信息采集模块用于采集直播视频流中各个视频帧内出现的内容信息，并记忆所述内容信息的发布时间点，同时保存至所述数据库，所述发布时间点为所述视频帧在所述直播视频流中的播放时间戳，所述内容信息包括字幕内容、弹幕内容或音频内容；

所述关联模块用于将所述内容信息通过所述发布时间点与其对应的所述视频帧进行关联；

所述请求接收模块用于接收用户发送的所述时移播放请求，并判断当前所述直播视频流是否满足时移条件，若满足，则生成搜索指令发送至所述界面创建模块；

所述界面创建模块用于接收所述搜索指令并为用户提供创建的定位时移搜索界面；

所述搜索匹配模块用于根据用户在所述定位时移搜索界面输入的关键字段在所述数据库中搜索所述内容信息并进行匹配处理，若匹配则生成时移指令发送至所述跳转模块；

所述跳转模块用于获取所述数据库中匹配的所述内容信息，同时根据所述内容信息的所述发布时间点快速跳转到与其关联的所述视频帧的帧画面，并进行播放。

进一步的，所述信息采集模块包括与所述数据库相通讯的内容判断单元、抓取单元、监听单元、语音识别单元，所述内容判断单元用于判断所述视频帧的帧画面中是否存在字幕内容或弹幕内容，若存在，则生成内容抓取指令发送至所述抓取单元；所述抓取单元用于抓取所述字幕内容或所述弹幕内容的关键字或关键词语并保存至所述数据库；若不存在，则生成音频监听指令发送至所述监听单元，所述监听单元用于监听所述视频帧内的所述音频内容，并发送至所述语音识别单元；所述语音识别单元用于对所述音频内容进行语音识别，获取所述音频内容中的关键字或关键词语并保存至所述数据库。

进一步的，所述请求接收模块包括相通讯的接收单元、状态切换单元、缓存判断单元，所述接收单元用于接收用户发送的所述时移播放请求；所述状态切换单元用于根据所述时移播放请求，控制播放状态退出直播状态，并转入带缓存的半直播状态，确定当前直播时间点和时移请求时间点；所述缓存判断单元用于判断所述时移请求时间点和所述当前直播时间点之间的所述视频流是否存在缓存，并确定存储位置，若存在缓存，则生成搜索指令发送至所述界面创建模块。

优选的，所述搜索匹配模块包括与所述数据库相通讯的字段识别单元、搜索单元，所述字段识别单元用于对用户在所述定位时移搜索界面输入的关键字段进行识别，并发送至所述搜索单元；所述搜索单元用于根据识别出的所述关键字段在所述数据库中搜索与其相似的所述内容信息，并进行匹配处理，若匹配成功，则生成时移指令发送至所述跳转模块。

本发明的有益效果如下：本发明提供的方法能够实现快速、准确的定位时移到用户想看的进度，并且克服了现有技术中用户手动调节进度条，无法根据视频帧内容确切定位播放进度等缺陷，该方法有效提高了时移的准确率，不仅不影响直播效果，而且能够快速定位跳转到用户想要的播放位置，时移进度更具有人性化，节省了用户回放视频流中精彩画面的时间，定位准确，此外，该系统结构简单，能够实现用户对时移进度的准确定位，实用性强。

附图说明

图1为实施例1所述的一种直播时移的播放进度操控方法的流程示意图；

图2为实施例2所述的一种直播时移的播放进度操控方法中步骤s1中内容信息采集的方法流程图；

图3为实施例2所述的一种直播时移的播放进度操控方法中步骤s2的具体操作流程图；

图4为实施例2所述的一种直播时移的播放进度操控方法中步骤s4的具体操作流程图；

图5为实施例2所述的一种直播时移的播放进度操控方法中步骤s5的具体操作流程图；

图6为实施例3所述的一种直播时移的播放进度操控系统的结构框图；

图7为实施例4所述的一种直播时移的播放进度操控系统中信息采集模块的结构框图；

图8为实施例4所述的一种直播时移的播放进度操控系统中请求接收模块的结构框图；

图9为实施例4所述的一种直播时移的播放进度操控系统中搜索匹配模块的结构框图。

其中：1、数据库；2、信息采集模块；201、内容判断单元；202、抓取单元；203、监听单元；204、语音识别单元；3、关联模块；4、请求接收模块；401、接收单元；402、状态切换单元；403、缓存判断单元；5、界面创建模块；6、搜索匹配模块；601、字段识别单元；602、搜索单元；7、跳转模块。

具体实施方式

下面结合附图和以下实施例对本发明作进一步详细说明。

实施例1

如图1所示，本发明实施例1提供了一种直播时移的播放进度操控方法，所述操控方法包括以下步骤：

s1、采集直播视频流中各个视频帧内出现的内容信息，并记忆所述内容信息的发布时间点，所述发布时间点为所述视频帧在所述直播视频流中的播放时间戳，同时保存至数据库1，内容信息的时间码应该与视频帧的播放时间戳对应，这样才能通过内容信息对应查找视频帧，方便视频帧的定位。所述内容信息包括字幕内容、弹幕内容或音频内容；内容信息可以通过视频帧的帧画面的字幕或弹幕中提取关键字，若该帧画面中不具有字幕或弹幕，则可以采集帧画面中的音频，通过对音频的解析识别关键字信息，方便后期用户通过关键字检索该帧画面。

s2、将所述内容信息通过所述发布时间点与其对应的所述视频帧进行关联；将内容信息与视频帧关联后，才能通过内容信息直接连接视频帧。

s3、用户发送时移播放请求，所述时移播放请求包括快退、快进或暂停；时移播放请求可以为快退、快进或暂停，当发送时移播放请求时，退出直播模式，进入点播状态，此时，由发出时移播放请求开始至直播节点之间，系统持续进行缓存。

s4、接收所述时移播放请求，为了能够实现时移，需要判断当前所述直播视频流是否满足时移条件，若满足，则给予用户提供定位时移搜索界面；是否能够实现时移，主要系统有没有针对时移的阶段进行缓存。

s5、为了能够实现精确定位时移，提高时移的准确性和定位效率，需要通过关键字段进行定位检索，根据用户在所述定位时移搜索界面输入的关键字段在所述数据库1中搜索所述内容信息并进行匹配处理；

s6、当匹配成功时，获取所述数据库1中匹配的所述内容信息，根据所述内容信息的所述发布时间点快速跳转到与其关联的所述视频帧的帧画面，并进行播放。若匹配不成功，则系统会提示时移失败。

本发明提供的方法能够通过用户输入的关键字段在数据库1中检索，从而能够通过关键字段的匹配性，精确定位关联的视频帧，提高了时移定位的准确率，能够快速定位跳转到用户想要的播放位置，时移进度更具有人性化，节省了用户回放视频流中精彩画面的时间，定位准确，实用性强。

例如，当用户观看直播球赛时，若由于某些事情耽误观看精彩进球的瞬间，则为了能够回放该视频内容，用户可以暂停直播状态，通过发送时移播放请求进入点播状态，并通过输入“进球、进了、球门”等关键字段在数据库1中检索相关的内容信息，同时通过检索到的内容信息匹配相关的的视频帧，从而将检索到的视频帧播放。

实施例2

本发明实施例2在实施例1的基础上进一步限定了直播时移的播放进度操控方法中各步骤的具体操作方法，有效提高了直播时移的精确定位。

如图2所示，需要进一步说明的是，步骤s1，对所述直播视频流中各个所述视频帧内出现的所述内容信息的采集包括以下步骤：

①、判断所述视频帧的帧画面中是否存在字幕内容或弹幕内容，若存在，则抓取所述字幕内容或所述弹幕内容的关键字或关键词语并保存至所述数据库1，若不存在，则进入步骤②；

②、监听所述视频帧内的所述音频内容，并对所述音频内容进行语音识别，获取所述音频内容中的关键字或关键词语并保存至所述数据库1。

视频流是由若干视频帧随时间连续播放形成，为了能够实现对视频帧的定位，需要采集视频帧内的内容信息，视频帧内的信息可以包括字幕、弹幕或音频，为了提高内容信息的采集效率，可以首先识别字幕或弹幕，便于处理和内容提取，若该视频帧的帧画面中不具有字幕或弹幕，为了实现内容的提取，可以通过音频识别视频帧的信息，比如直播球赛过程中，可以采集主持人、球迷、队员、裁判等音频，识别关键信息，进行内容信息的采集，有效提高了信息提取效率。

如图3所示，需要进一步解释的是，步骤s2中，将所述内容信息通过所述发布时间点与其对应的所述视频帧进行关联，具体包括以下步骤：

s2-1、将所述内容信息与其对应的所述视频帧进行关联；

s2-2、若干所述视频帧的播放时间戳根据播放时间进度形成进度条，所述进度条的时刻节点与若干所述视频帧的播放时间戳对应；进度条即计算机在处理任务时，实时的，以图片形式显示处理任务的速度，完成度，剩余未完成任务量的大小，和可能需要处理时间，一般以长方形条状显示。进度条上的时间对应视频流中视频帧的播放时间戳。

s2-3、将所述进度条的所述时刻节点通过与其对应的所述播放时间戳链接各个所述视频帧。当调节进度条上的时间节点时，可以对应跳转出链接的视频帧，方便不同视频回放、前进的调节。

如图4所示，进一步需要说明的是，步骤s4中，接收所述时移播放请求，判断当前所述直播视频流是否满足时移条件，若满足，则给予用户提供定位时移搜索界面，具体方法为：

s4-1、接收用户发送的所述时移播放请求，退出直播状态，并转入带缓存的半直播状态，确定当前直播时间点和时移请求时间点；

s4-2、将所述时移请求时间点作为播放进度的起始时间，将所述当前直播时间点作为播放进度的结束时间；

s4-3、判断所述起始时间和所述结束时间之间的所述视频流是否存在缓存，并确定存储位置；

s4-4、若不存在缓存，则不满足时移条件，向用户发送时移失败信息；若存在缓存，则满足时移条件，此时，给予用户提供定位时移搜索界面。

只有当系统内存在视频缓存时，才能实现直播视频的时移，为此，当直播过程中，用户发送时移播放请求时，需要退出直播状态，并进行缓存，然后检测请求播放的时移时间点的视频是否存在缓存，若存在缓存才可以实现时移。

如图5所示，优选的，步骤s5中，根据用户在所述定位时移搜索界面输入的关键字段在所述数据库1中搜索所述内容信息并进行匹配处理，具体方法包括以下步骤：

s5-1、对用户在所述定位时移搜索界面输入的关键字段进行识别；

s5-2、根据识别出的所述关键字段在所述数据库1中搜索与其相似的所述内容信息，并进行匹配处理；

s5-3、若匹配不成功则无法实现自动时移请求，用户仅能通过手动调节播放进度；若匹配成功，则进入步骤s6。

当用户输入的关键字段能够在数据库1检索到提取的与视频帧关联的内容信息，则证明匹配成功，若没有检索到相关内容信息，则证明不存在相匹配的内容信息。

优选的，步骤s5-2中，还包括以下步骤：

若根据识别出的所述关键字段在所述数据库1中搜索出多个与其相似的所述内容信息时，则提醒用户在所述定位时移搜索界面第二次输入其他所述关键字段，在第一次搜索出的相似的所述内容信息中搜索与两次所述关键字段均匹配的所述内容信息；

若根据两个所述关键字段在所述数据库1中仍然搜索出多个所述内容信息，则提醒用户在所述定位时移搜索界面第三次输入其他所述关键字段，直至搜索出一个匹配的所述内容信息为止。

当用户输入第一个关键字时，若在数据库1中检索到若干内容信息时，则为了实现视频帧的精确定位，可以通过输入第二关键字，将关键字以“and”的形式进行检索，进一步精确定位内容信息，若仍然存在多个对应的内容信息，则可以进一步输入第三个关键字，进一步检索和定位，直至检索出只有一个对应的内容为止，从而实现了视频帧的精确定位。

例如在播放球赛时，可以检索“进球、进了”等作为关键字进行信息检索，若出现3个与其相匹配的内容信息，则再次以“进球and进球队员”作为关键字进行检索，即可检索出与其匹配的仅有一个内容信息，实现了视频帧的精确定位。

实施例3

如图6所示，本发明实施例3提供了一种直播时移的播放进度操控系统，包括数据库1及与所述数据库1相通讯的信息采集模块2、关联模块3、请求接收模块4、界面创建模块5、搜索匹配模块6、跳转模块7；

所述信息采集模块2用于采集直播视频流中各个视频帧内出现的内容信息，并记忆所述内容信息的发布时间点，同时保存至所述数据库1，所述发布时间点为所述视频帧在所述直播视频流中的播放时间戳，所述内容信息包括字幕内容、弹幕内容或音频内容；

所述关联模块3用于将所述内容信息通过所述发布时间点与其对应的所述视频帧进行关联；

所述请求接收模块4用于接收用户发送的所述时移播放请求，并判断当前所述直播视频流是否满足时移条件，若满足，则生成搜索指令发送至所述界面创建模块5；

所述界面创建模块5用于接收所述搜索指令并为用户提供创建的定位时移搜索界面；

所述搜索匹配模块6用于根据用户在所述定位时移搜索界面输入的关键字段在所述数据库1中搜索所述内容信息并进行匹配处理，若匹配则生成时移指令发送至所述跳转模块7；

所述跳转模块7用于获取所述数据库1中匹配的所述内容信息，同时根据所述内容信息的所述发布时间点快速跳转到与其关联的所述视频帧的帧画面，并进行播放。

本发明提供的系统结构简单，能够通过对视频帧的内容信息的采集，通过对内容信息的检索，能够实现用户对时移进度的准确定位，实用性强。

实施例4

如图7所示，本发明实施例4在实施例3的基础上进一步限定了，所述信息采集模块2包括与所述数据库1相通讯的内容判断单元201、抓取单元202、监听单元203、语音识别单元204，所述内容判断单元201用于判断所述视频帧的帧画面中是否存在字幕内容或弹幕内容，若存在，则生成内容抓取指令发送至所述抓取单元202；所述抓取单元202用于抓取所述字幕内容或所述弹幕内容的关键字或关键词语并保存至所述数据库1；若不存在，则生成音频监听指令发送至所述监听单元203，所述监听单元203用于监听所述视频帧内的所述音频内容，并发送至所述语音识别单元204；所述语音识别单元204用于对所述音频内容进行语音识别，获取所述音频内容中的关键字或关键词语并保存至所述数据库1。

通过信息采集模块2能够精确采集视频帧内的内容信息，方便后期通过内容信息对视频帧的定位和筛选，有效提高时移效率。

如图8所示，需要进一步说明的是，所述请求接收模块4包括相通讯的接收单元401、状态切换单元402、缓存判断单元403，所述接收单元401用于接收用户发送的所述时移播放请求；所述状态切换单元402用于根据所述时移播放请求，控制播放状态退出直播状态，并转入带缓存的半直播状态，确定当前直播时间点和时移请求时间点；所述缓存判断单元403用于判断所述时移请求时间点和所述当前直播时间点之间的所述视频流是否存在缓存，并确定存储位置，若存在缓存，则生成搜索指令发送至所述界面创建模块5。

如图9所示，优选的需要说明的是，所述搜索匹配模块6包括与所述数据库1相通讯的字段识别单元601、搜索单元602，所述字段识别单元601用于对用户在所述定位时移搜索界面输入的关键字段进行识别，并发送至所述搜索单元602；所述搜索单元602用于根据识别出的所述关键字段在所述数据库1中搜索与其相似的所述内容信息，并进行匹配处理，若匹配成功，则生成时移指令发送至所述跳转模块7。

当用户输入的关键字段能够在数据库1检索到提取的与视频帧关联的内容信息，则证明匹配成功，若没有检索到相关内容信息，则证明不存在相匹配的内容信息。

本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。