一种体育赛事直播方案辅助设计方法与流程

本发明涉及一种体育赛事直播方案辅助设计方法，属于数字仿真技术领域。

背景技术：

随着现代竞技体育的发展，人们对体育赛事的关注度越来越高，大量的体育赛事采取直播的方式向观众播出。体育赛事通常会在赛场周围布设多个视频采集镜头，由导播来对多路实时采集的视频信号进行现场制作，按照导播规则的规定，剪辑与播出相应的直播视频。

对于直播任务的承担方(通常是电视台)，直播方案的关键通常包括两个部分：一是怎么布设和操控视频采集设备如手持摄像机、飞猫摄像机等，在一些场地复杂的比赛例如滑雪比赛中，还会包括无人机等复杂的视频采集设备；二是接收到多路视频信号之后，怎么在多路信号之间进行切换，获得最终的一路直播视频。在现在的体育赛事中，直播方案极大的依赖于人员的经验，如经验丰富的摄像师以及导播，不同人员制作出的直播视频往往水平差距很大。另一方面，由于体育赛事每次比赛场地、赛程、以及参赛选手情况都不同，所以对于体育赛事的直播方案无法进行效果预览，也就是在直播视频播出之前无法预估直播的效果，在直播视频播出之后即使发现了直播方案的缺陷也无法弥补。

以冬奥会的滑雪比赛项目为例，赛事举办方可以获得大量往届比赛的视频资料以供学习，但是仍然面临很多新的问题：比赛的场地是完全不同的，在新的场地上怎么布设视频采集设备能够获得最佳视角？以往的直播方案是否适用于新的环境？怎么能够对以往的大量直播方案进行智能学习？一些新的创造性的直播方案能否获得更好的效果？对于直播服务的提供方来说，迫切需要新的直播方案辅助设计工具，以便他们能根据新的比赛环境设计直播方案、预览直播效果，为直播方案的最终确定提供数据支持。

在大型人群表演领域，数字仿真技术已经得到广泛应用，通过对各表演元素及其表演过程进行数据建模和仿真预演，可以输出各表演元素在表演过程中的仿真数据，辅助编创人员指挥各表演元素排练。现有技术中，也有将数字仿真技术与体育赛事相结合的应用，例如广为流行的fifa游戏，就可以通过模拟仿真的环境展现足球比赛的过程。但是，通过模拟仿真的环境，对电视直播方案进行辅助设计的技术，在现有技术中还未见报道。

技术实现要素：

本发明的目的在于针对现有技术的不足，提供一种体育赛事直播方案辅助设计方法，通过搭建体育赛事的模拟仿真系统，为用户提供直播方案的设计平台和验证平台，为直播方案的设计和选择提供数据支持。

本发明提供了一种体育赛事直播方案辅助设计方法，包括以下步骤：

s1、搭建包含体育赛事环境，能够模拟比赛过程的预演仿真系统；

s2、根据用户设置的参数在预演仿真系统中生成多个虚拟摄像机；

s3、计算得到每个虚拟摄像机在预演仿真系统中拍摄的视频并渲染输出；

s4、根据用户选择或者设计的导播方案，在不同虚拟摄像机渲染视频中进行切换，并输出由不同虚拟摄像机渲染视频片段组成的直播视频；

s5、根据直播视频的效果，修改虚拟摄像机参数和导播方案，重复步骤s2至步骤s5，直到获得用户满意的直播视频；

s6、在以往比赛的多路输入信号中验证步骤s5中的导播方案，如果不满意则根据验证结果修改仿真系统，并重复步骤s2至步骤s5在修改后的仿真系统中进行直播方案设计；

s7、输出包括虚拟摄像机参数和导播方案的直播方案。

根据本发明实施例的一种具体实现方式，所述导播方案为导播规则的集合，所述导播规则包括相机切换触发条件及对应直播信号。

根据本发明实施例的一种具体实现方式，所述相机切换触发条件包括运动员关键动作。

根据本发明实施例的一种具体实现方式，步骤s4根据用户选择或者设计的导播方案，在不同虚拟摄像机渲染视频中进行切换的具体方法为：

1)对步骤s3中得到的虚拟摄像机输出视频进行实时动作识别；

2)将识别出的运动员动作与相机切换触发条件中的运动员关键动作进行逐条比对，判断是否同一动作；

3)如果为同一动作，则切换到该触发条件对应的直播信号。

根据本发明实施例的一种具体实现方式，步骤s4中包括通过智能学习从已有直播视频中学习导播方案并提供用户选择的步骤，所述智能学习具体方法为：

选择该体育赛事的多个比赛直播视频，进行镜头分割，将每个直播视频分割为多个不包含镜头突变的单一镜头视频片段；

使用动作识别技术识别每个视频片段的运动员动作；

从识别出的运动员动作中选择作为镜头切换触发条件的运动员关键动作；

将运动员关键动作和对应的切换信号作为导播规则记录到对应的导播方案中。

根据本发明实施例的一种具体实现方式，在步骤s3之后，还包括制作并输出特效的步骤，对虚拟摄像机视频渲染输出信号进行特效处理，生成特效视频；对应的，所述导播规则中的对应直播信号包括特效视频信号。

根据本发明实施例的一种具体实现方式，所述相机切换触发条件包括裁判关键动作；在步骤s2中设置一个专门拍摄裁判的虚拟摄像机，步骤s4还包括以下步骤：

1)对接收到的拍摄裁判的虚拟摄像机输出视频进行实时动作识别；

2)将识别出的裁判动作与相机切换触发条件中的裁判关键动作进行逐条比对，判断是否同一动作；

3)如果为同一动作，则切换到该触发条件对应的直播信号。

根据本发明实施例的一种具体实现方式，所述裁判关键动作包括裁判的动作及指向，根据裁判动作识别裁决类型，根据指向识别输赢方向。

作为本发明的另一实施方式，本发明还提供了一种终端，包括处理器、输入设备、输出设备和存储器，所述存储器用于存储程序代码，所述处理器被配置用于运行所述程序代码，执行所述的体育赛事直播方案辅助设计方法。

作为本发明的另一实施方式，本发明还提供了一种计算机可读存储介质，所述计算机存储介质存储有程序指令，所述程序指令当被处理器执行时使所述处理器执行所述的体育赛事直播方案辅助设计方法。

有益效果

本发明提供的一种体育赛事直播方案辅助设计方法，通过搭建体育赛事的模拟仿真系统，为用户提供直播方案的设计平台和验证平台，为直播方案的设计和选择提供数据支持，并且能够从以往比赛视频中进行直播方案智能学习，极大地方便和简化了直播方案的设计过程。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的体育赛事直播方案辅助设计方法的流程图。

图2为本发明实施例提供的导播方案和导播规则示意图。

图3为本发明实施例提供的根据导播方案进行信号切换的流程图。

具体实施方式

下面结合附图对本发明实施例进行详细描述。

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图示中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的形态、数量及比例可为一种随意的改变，且其组件布局形态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

如图1所示，本发明实施例公开了一种体育赛事直播方案辅助设计方法，包括以下步骤：

s1、搭建包含体育赛事环境，能够模拟比赛过程的预演仿真系统；

s2、根据用户设置的参数在预演仿真系统中生成多个虚拟摄像机；

s3、计算得到每个虚拟摄像机在预演仿真系统中拍摄的视频并渲染输出；

s4、根据用户选择或者设计的导播方案，在不同虚拟摄像机渲染视频中进行切换，并输出由不同虚拟摄像机渲染视频片段组成的直播视频；

s5、根据直播视频的效果，修改虚拟摄像机参数和导播方案，重复步骤s2至步骤s5，直到获得用户满意的直播视频；

s6、在以往比赛的多路输入信号中验证步骤s5中的导播方案，如果不满意则根据验证结果修改仿真系统，并重复步骤s2至步骤s5在修改后的仿真系统中进行直播方案设计；

s7、输出包括虚拟摄像机参数和导播方案的直播方案。

体育赛事直播方案辅助设计方法目的是为体育赛事直播服务的提供方提供一种设计直播方案的方法和平台，根据预演效果辅助生成直播方案。直播方案主要包括两部分内容：一是摄像机的布设，二是对不同摄像机拍摄结果的剪辑输出。

在本发明实施例提供的方法中，在步骤s2中可以预先设置一些常用的摄像机布设方案，提供给用户进行选择；也可以由用户设置个性化的摄像机布设方案，根据用户设置的方案在预演仿真系统中生成多个虚拟摄像机。用户设置的虚拟摄像机参数分为三类：摄像机性能参数、摄像机机位参数、摄像机操控参数。在摄像机的布设方案中，应该包括摄像机的性能参数例如摄像机的分辨率、灵敏度、信噪比等，使虚拟摄像机输出的结果尽量与实际比赛直播效果相一致，为直播摄像机的选择提供参考数据。摄像机布设方案还应该包括摄像机机位参数，即每个虚拟摄像机应该布设在仿真系统的什么位置，可以用该位置的三维坐标来表示，为直播摄像机在实际比赛场景中布设的位置提供参考数据。摄像机布设方案还应该包括摄像机操控参数，例如摄像机的各种角度以及焦距的调节；对某些特殊类型例如可以移动的飞猫相机、无人机视频采集设备等，也应该包括其位置随时间变化的参数。摄像机操控参数对于在实际比赛场景中对摄像机的调节和控制提供了参考数据。

在步骤s3中，通过预演仿真系统和摄像机参数得到每个虚拟摄像机所拍摄的视频并渲染输出。

在步骤s4中，根据用户设置或者选择的导播方案，将多个视频进行整合和剪辑，最后输出一路直播视频，也即观众在电视中看到的直播视频。

在步骤s5中，用户可以对摄像机参数和导播方案进行多次修改，直到获得满意的直播视频。

由于整个设计过程是在预演仿真系统中进行的，而预演仿真系统是对体育赛事的模拟，所以从预演仿真系统中获得的虚拟摄像机视频输出与实际比赛时用于直播的多路实时视频信号存在着差别。因此，在步骤s5之后，需要在步骤s6中用以往比赛的多路实时视频信号验证所获得的导播方案。如果预演仿真系统的直播效果和通过以往比赛实际信号获得的直播效果存在差别，需要分析差别的原因，并对仿真系统进行修改，使得通过仿真系统实现的比赛预演尽量与实际比赛过程相一致，以及使通过预演仿真系统能够获得的虚拟摄像机视频输出信号尽量与实际比赛时能够获得的视频信号相一致。在修改后的仿真系统中，可以反复执行步骤s2至s5，对用户的各种设计方案进行验证。

在整个方法中，用户关注的焦点在于最终获得的直播视频的具体内容和质量，一旦用户获得了满意的直播视频，就可以通过步骤s7将直播方案中所需要使用到的所有参数进行输出并且在直播中参照执行，极大的方便了直播方案的设计过程，降低了设计难度。

根据本发明实施例的一种具体实现方式，所述导播方案为导播规则的集合，所述导播规则包括相机切换触发条件及对应直播信号。

如图2所示，在步骤s4中可以包括多个导播方案1，例如对应不同风格可供用户选择的导播方案，所述导播方案为导播规则2的集合。导播规则2包括相机切换触发条件及对应直播信号，也就是与某个虚拟摄像机对应的一路输出信号。当满足触发条件时，就执行相应的切换操作，切换到触发条件对应的直播信号。

导播规则中的相机切换触发条件可以包含多种类型。例如，可以是时间相关的触发条件，或者由人工操作控制的触发条件等。本发明除了人工操作进行切换实现的导播，还为自动化导播提供了可能，也就是提供了内容相关的相机切换触发条件。自动化导播实现的关键是需要对实时信号的视频帧进行图像识别，从中识别并判断出是否满足镜头切换的触发条件。导播规则中，镜头切换触发条件通常是比赛中的一些关键事件，例如得分、犯规等。本发明提供了多种实施方式，可以提供对关键事件的检测。根据本发明的一种实现方式，镜头切换触发条件包括运动员关键动作，在对实时信号的视频帧进行图像识别时，通过动作识别技术(例如模板匹配技术或通过openpose数据集训练出动作识别模型)，识别出运动员动作；在另一种实现方式中，镜头切换触发条件包括比赛关键道具的状态，例如羽毛球比赛中的羽毛球，通过羽毛球触网、落地等状态可以定义出比赛中的关键事件；在第三种实现方式中，镜头切换触发条件包括裁判关键动作，通过裁判关键动作可以识别出比赛的关键事件以及输赢方向。显然，上述的实施例仅仅是本公开的一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，上述实施例及实施例中的特征可以相互组合。

根据本发明实施例的一种具体实现方式，所述镜头切换触发条件包括运动员关键动作。例如滑雪比赛，在比赛过程中，当滑雪运动员摔倒或者作出一个高空翻滚的动作时，无疑都需要进行镜头切换，播放运动员的特写镜头。针对滑雪运动，就应该对运动员在比赛中可能出现的动作进行总结，定义会引发相机切换的关键动作，作为触发条件。

在相机切换触发条件中定义了运动员关键动作之后，就为系统通过图像识别技术进行自动识别、比对和切换提供了可能。如图3所示，根据本发明实施例的一种具体实现方式，步骤s4根据用户选择或者设计的导播方案，在不同虚拟摄像机渲染视频中进行切换的具体方法为：

1)对步骤s3中得到的虚拟摄像机输出视频进行实时动作识别；

2)将识别出的运动员动作与相机切换触发条件中的运动员关键动作进行逐条比对，判断是否同一动作；

3)如果为同一动作，则切换到该触发条件对应的直播信号。

对于通过运动员关键动作进行直播信号切换的情况，运动员关键动作应该包括哪些动作、对应每个关键动作应该怎样进行切换变成十分关键的问题。运动员关键动作的定义可以通过从以往比赛视频中智能学习来获得。根据本发明实施例的一种具体实现方式，步骤s4中包括通过智能学习从已有直播视频中学习导播方案并提供用户选择的步骤，所述智能学习具体方法为：

选择该体育赛事的多个比赛直播视频，进行镜头分割，将每个直播视频分割为多个不包含镜头突变的单一镜头视频片段；

使用动作识别技术识别每个视频片段的运动员动作；

从识别出的运动员动作中选择作为镜头切换触发条件的运动员关键动作；

将运动员关键动作和对应的切换信号作为导播规则记录到对应的导播方案中。

根据本发明实施例的一种具体实现方式，在步骤s3之后，还包括制作并输出特效的步骤，对虚拟摄像机视频渲染输出信号进行特效处理，生成特效视频；对应的，所述导播规则中的对应直播信号包括特效视频信号。

在直播中，有时需要加入一些特效镜头，例如慢动作。由于虚拟摄像机视频渲染输出的都是直接的拍摄信号，所以需要在方法中加入一个专门的步骤，进行特效处理。特效处理步骤的输入信号是多个虚拟摄像机视频渲染输出信号，输出信号是经过特效处理的信号。特效处理信号和其他多个虚拟摄像机视频渲染输出信号一样，也作为导播模块可以切换的一路直播信号。

作为一种优选的实施方式，可以将裁判关键动作作为镜头切换的触发条件，因为基本上所有比赛关键时刻在裁判的动作中都会有所体现，而且裁判的判决动作类型较少，动作比较固定，识别正确率高，而且裁判动作的指向还可以体现关键事件例如输赢、开球的方向，不需要再通过其他复杂手段判断赢球方、输球方、发球方、接发方等。但是在应用本方法时，体育赛事的直播视频资源虽然非常丰富，直播视频中包含裁判的镜头却相对很少。如果要对裁判动作进行分析训练，可能会碰到数据资源太少的问题，影响结果的准确度。如果能够获得足够的视频资源，例如能够获得以往比赛时拍摄裁判的镜头记录的完整视频资料，可以将裁判关键动作作为本发明的一种优选实施方式。使用此方式，在虚拟摄像机布设方案中应该设置一个专门拍摄裁判的虚拟摄像机。

根据本发明实施例的一种具体实现方式，所述相机切换触发条件包括裁判关键动作；在步骤s2中设置一个专门拍摄裁判的虚拟摄像机，步骤s4还包括以下步骤：

1)对接收到的拍摄裁判的虚拟摄像机输出视频进行实时动作识别；

2)将识别出的裁判动作与相机切换触发条件中的裁判关键动作进行逐条比对，判断是否同一动作；

3)如果为同一动作，则切换到该触发条件对应的直播信号。

根据本发明实施例的一种具体实现方式，所述裁判关键动作包括裁判的动作及指向，根据裁判动作识别裁决类型，根据指向识别输赢方向。

根据本发明实施例的一种具体实现方式，在导播规则中定义裁判关键动作也是通过从以往的视频资料中进行智能学习来实现的，具体方法为：

对拍摄裁判的视频进行镜头分割，将视频分割为多个不包含镜头突变的单一镜头视频片段；

使用动作识别技术识别每个视频片段的裁判动作；

从识别出的裁判动作中选择作为镜头切换触发条件的裁判关键动作。

作为本发明的另一实施方式，本发明还提供了一种终端，包括处理器、输入设备、输出设备和存储器，所述存储器用于存储程序代码，所述处理器被配置用于运行所述程序代码，执行所述的体育赛事直播方案辅助设计方法。

作为本发明的另一实施方式，本发明还提供了一种计算机可读存储介质，所述计算机存储介质存储有程序指令，所述程序指令当被处理器执行时使所述处理器执行所述的体育赛事直播方案辅助设计方法。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称并不构成对该单元本身的限定。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。