面向游戏直播场景的精彩时刻实时识别与预录制方法与流程

本发明涉及一种面向游戏直播场景的精彩时刻实时识别与预录制方法，属于人工智能及图像识别技术领域。

背景技术：

近年来，网络直播行业发展极为迅速，各种直播平台层出不穷并不断发展壮大，越来越多的游戏爱好者选择在网络上观看一些游戏直播。同时，随着互联网及游戏行业的飞速发展，各类游戏赛事及广大的游戏主播也越来越受到人们的关注。可以说，现如今，无论何时打开何种直播平台，人们总能看到诸多游戏直播间。

面对大量的游戏赛事和游戏主播的个人直播，观众们往往应接不暇。而且观众也无法做到因为害怕错过直播过程中的精彩瞬间而时刻坚守在电脑面前。为了应对这样的局面，各类游戏的精彩时刻集锦、主播高光时刻汇总等总结性质的网络节目专栏应运而生。但是这些集锦类节目的制作一般费时费力，需要将完整的直播内容录制下来后由人工识别精彩时刻再进行剪辑与后期制作。面对海量的直播内容与日益增长的主播数量，这种制作方式的成本越来越高，也越来越无法满足实际的节目制作需要。

综上所述，如何在现有技术的基础上提出一种依托于计算机技术的面向游戏直播场景的视频录制方法，快速且准确的完成对直播场景中精彩时刻的实时识别与预录制，也就成为了本领域内技术人员亟待解决的问题。

技术实现要素：

鉴于现有技术存在上述缺陷，本发明的目的是提出一种面向游戏直播场景的精彩时刻实时识别与预录制方法，包括如下步骤：

s1、直播开始后，在储存区域设置一个视频缓存池，对直播视频流进行缓存；

s2、对直播内容进行区域划分；

s3、为划分出各个区域设置各自的打分模式以及精彩程度加权系数，使用精彩时刻识别系统从多个维度对各个区内的精彩程度打分；

s4、对各个区域进行实时识别和打分后，通过加权统计后得到当前画面的精彩得分，当精彩得分符合精彩时刻评判标准后将当前画面识别为精彩时刻；

s5、识别到精彩时刻后触发预录制系统，预录制系统将缓存池中的内容取出并在其后继续录制直播内容，直至达到录制结束标准后停止对直播内容的录制并储存已录制内容。

优选地，所述视频缓存池的大小根据直播游戏的特性而变化，所述视频缓存池的大小可调，调节依据包括游戏精彩时刻的突发性、需要的铺垫程度以及游戏节奏的快慢。

优选地，s2具体包括如下步骤：对直播画面进行区域划分，将直播画面划分为游戏画面区、游戏界面区以及主播画面区。

优选地，所述精彩时刻识别系统采用文字识别技术、表情识别技术、图形识别技术并结合人工判断精彩时刻的训练样本进行训练。

优选地，s4中所述精彩时刻评判标准为：画面的精彩得分超过评分阈值或精彩得分出现剧烈波动。

优选地，s5中所述录制结束标准为：画面的精彩得分低于评分阈值且持续时间达到低分最大允许时长。

与现有技术相比，本发明的优点主要体现在以下几个方面：

本发明设计了一种面向游戏直播场景的系统架构，实现了对各类游戏直播内容中精彩时刻的实时识别及预录制。本发明通过对人工智能及图像识别技术的合理利用，免除了现有技术中人工剪辑和后期制作的作业负担，克服了视频制作过程中对人工操作的依赖，降低了制作成本。同时，本发明中所提出的的系统架构具有很强的通用性，可广泛应用于各种直播平台、各类游戏的直播场景中，适用范围广、有利于推广普及。

此外，本发明也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于同领域内其他的视频内容实时识别及预录制的技术方案中，具有十分广阔的应用前景。

以下便结合实施例附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握。

附图说明

图1为本发明的面向游戏直播场景的精彩时刻实时识别与预录制方法的系统流程示意图；

图2为本发明的系统对视频流处理的示意图；

图3为本发明的系统识别到精彩时刻后对视频流处理的示意图。

具体实施方式

如图1~图3所示，本发明揭示了一种面向游戏直播场景的精彩时刻实时识别与预录制方法，包括如下步骤：

s1、直播开始后，在储存区域设置一个视频缓存池，对直播视频流进行缓存。

视频缓存池可以保存一段时间的直播内容，随着新内容的到来旧内容会被抛弃。视频缓存池的主要作用是在系别系统识别到精彩时刻时，可以记录下精彩时刻发生前一段时间的直播内容作为精彩时刻的铺垫部分。具体实现时可以采用队列的方式对内容进行管理。

所述视频缓存池的大小根据直播游戏的特性而变化，具体而言，设置越大的缓存池则可以预存精彩时刻前越长的内容，根据直播游戏的特性，缓存池的大小可以进行适当的调节。具体调节尺度主要取决于游戏精彩时刻的突发性、需要的铺垫程度以及游戏节奏的快慢。对于慢节奏游戏，例如棋牌类游戏的精彩时刻往往需要一定的铺垫，可以设置较大的缓存池。而一些快节奏的游戏，例如射击游戏，其精彩时刻的突发性较强，且不需要较长的铺垫，可以设置较小的缓存池。

s2、对直播画面进行区域划分，主要将直播画面划分为游戏画面区、游戏界面区以及主播画面区。

此处的划分方式主要取决于游戏的类型和主播对于直播界内容的布置。其中游戏内容部分可以以人工的方式进行一次性划分，即按照游戏的类型，人工划分出各个区域交由系统分区域识别。而对于各个主播而言，其直播间的布置并不相同。可以通过人脸识别技术和图片处理技术来让系统自行判断出主播画面区的位置。同时，对于直播间画面中一些会影响系统对游戏内容识别的广告内容，可以以文字识别、二维码识别等技术加以语义分析技术来识别并屏蔽。

此外，对游戏画面区和界面区可以进行进一步地划分，例如对抗类游戏显示双方对抗得分明细的计分板区域，显示攻防事件、击杀事件或者环境变化的事件播报区域和聊天窗口区等，更多的区域划分可以从更多维度对直播内容的精彩程度进行分析，甚至互动直播中的弹幕区域也可以作为判断内容精彩程度的一个重要依据，因为精彩时刻的出现往往会导致弹幕数量激增。

s3、为划分出各个区域设置各自的打分模式以及精彩程度加权系数，使用精彩时刻识别系统从多个维度对各个区内的精彩程度打分。所述精彩时刻识别系统采用文字识别技术、表情识别技术、图形识别技术并结合人工判断精彩时刻的训练样本进行训练。

对于不同的区域需要安排不同的识别模式和打分模式，例如主播画面区可以采用表情识别技术来对主播表情进行识别，当主播出现剧烈的表情变化时可以认为大概率地出现了精彩时刻，此时给与该区域较高的打分。而计分板区域和事件播报区可以采用文字识别技术和语义分析技术来判断游戏内容的变化，如得分情况、击杀情况、占领情况等游戏中较为重要的变化，出现这些变化时可以给该区域较高的打分。游戏画面区是情况最为复杂的情况，主要以图像识别技术为主，对画面中的颜色和图形进行动态地分析，当出现画面的剧烈变化时可以给该区域较高的打分。以各种策略对画面中的各个区域进行打分后，还需要根据游戏的类型给以各个区域的分值进行加权求和。

s4、对各个区域进行实时识别和打分后，通过加权统计后得到当前画面的精彩得分，当精彩得分符合精彩时刻评判标准后将当前画面识别为精彩时刻。所述精彩时刻评判标准为：画面的精彩得分超过评分阈值或精彩得分出现剧烈波动。

根据游戏类型的不同，各个区域相应的权值也不同，例如棋牌类游戏中，游戏画面区的变化程度往往不高，对于游戏精彩程度的影响有限。而计分板区域对于棋牌类游戏来说较为关键，可以给与较高的权值。而一些激烈程度比较高的对抗性游戏，如moba、fps游戏，计分板区域能反应的精彩程度往往有限，此时事件播报区和游戏画面区甚至主播的表情变化对于精彩程度的反应都比较高，因此可以给这些区域以较高的权值。然后是精彩程度的评分阈值的设置，评分阈值的设置对系统的性能影响十分显著。较高的评分阈值对精彩程度的要求也较高，反之亦然。具体的设置方案可以采取如下法则，对于游戏一般进程中的得分求以平均值作为基础，再乘以一固定系数作为评分阈值。亦可以以经验法来设置，将大量人工判定的精彩时刻样本进行打分求均值作为评分阈值。除此以外，分值出现剧烈波动时的情况也应该在系统的考虑范围内，这种分值的剧烈波动往往代表着游戏的剧烈变化或者逆转，这种逆转也是精彩时刻的特征之一。我们可以设置一个得分队列来记录一定时间内的得分情况，通过计算队列的方差可以表示出的得分变化的剧烈程度。通过设置这种方差的评分阈值就可以将这种逆转式的精彩时刻也被考虑到。

s5、识别到精彩时刻后触发预录制系统，预录制系统将缓存池中的内容取出并在其后继续录制直播内容，直至达到录制结束标准后停止对直播内容的录制并储存已录制内容。所述录制结束标准为：画面的精彩得分低于评分阈值且持续时间达到低分最大允许时长。

当系统识别到精彩时刻时，视频缓存池中的内容将被保存，同时开始对接下来的直播内容进行实时录制，此时系统对视频流的处理如图3所示。根据经验，精彩时刻往往不是单一出现的，而且根据游戏内容的不同，精彩时刻的平均时长也有差异。慢节奏游戏的精彩时刻时长较长，快节奏游戏的则较短。同时，对于铺垫性较强的游戏类型，如棋牌类的精彩时刻发生之后，很可能伴随一定时长的打分较低的内容。所以根据游戏节奏的不同，对于截止录制的阈值设置也应该采用不同的策略。我们可以采用一种较为对称的方式来设置低分最大允许时长，即设置与缓存池最大缓存时长相同的低分允许时长。当得分情况持续低于评分阈值的时间超过该时长时视为精彩时刻结束。除了低分允许时长以外，评分阈值的设置对系统性能也有很大的影响。过低的评分阈值会导致录制在精彩时刻过后却迟迟无法停止，使得录制结果中充斥了大量垃圾时间，系统失去意义。而过高的评分阈值又会导致精彩时刻尚未结束便停止录制，造成录制不完全的情况。根据上一步骤的理解。我们应该将该阈值设定在游戏的平均阈值与启动阈值之间。具体的设置方案可以以大量人工判定的精彩时刻之后低分允许时长内容的样本进行打分求均值作为评分阈值。

本发明设计了一种面向游戏直播场景的系统架构，实现了对各类游戏直播内容中精彩时刻的实时识别及预录制。本发明通过对人工智能及图像识别技术的合理利用，免除了现有技术中人工剪辑和后期制作的作业负担，克服了视频制作过程中对人工操作的依赖，降低了制作成本。同时，本发明中所提出的的系统架构具有很强的通用性，可广泛应用于各种直播平台、各类游戏的直播场景中，适用范围广、有利于推广普及。

此外，本发明也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于同领域内其他的视频内容实时识别及预录制的技术方案中，具有十分广阔的应用前景。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。