一种导播方法、装置、终端设备及存储介质与流程

本发明实施例涉及计算机技术领域，尤其涉及一种导播方法、装置、终端设备及存储介质。

背景技术：

在直播或录播场景下，往往会使用多台摄像机拍摄，形成多路视频信号，然后由导播员对多路视频信号进行导播输出。如在包括体育赛事、大型活动等场景下的电视或新媒体直播过程中，需有专门的导播员人工通过导播台等设备，对多个摄像机位的多路视频信号进行画面切换、画面嵌套、画面分屏等操作，以使得输出画面清晰可辨、画面完整且被摄主体突出，具有观看价值。

然而，通过导播员进行导播时，具有导播员精力有限、成本较高和主观性较强的缺陷。

技术实现要素：

本发明实施例提供了一种导播方法、装置、终端设备及存储介质，以解决对多路视频信号进行导播时，导播员精力有效、成本较高和主观性较强的技术问题。

第一方面，本发明实施例提供了一种导播方法，包括：

获取至少两路视频信号；

根据预先确定的规则，处理各所述视频信号得到目标图像；

在设定时间内，将所述目标图像对应的视频信号进行导播输出。

可选的，所述根据预先确定的规则，处理各所述视频信号得到目标图像，包括：

分别从各所述视频信号中选取一帧画面作为所对应视频信号的图像；

根据预先确定的目标检测模型，提取各所述图像中所包含的目标元素，继续从各所述视频信号中选取下一帧画面作为所对应视频信号的图像，直至提取出设定数量的目标元素；

根据各所述目标元素和预先确定的导播规则，确定目标图像。

可选的，该方法还包括：构建并训练检测模型，获得目标检测模型。

可选的，构建并训练检测模型，获得目标检测模型，包括：

构建模型结构为一次多区检测器的检测模型；

基于所确定第一样本元素库训练所述检测模型，获得目标检测模型。

可选的，该方法还包括：基于下述操作确定第一样品元素库：

获取第一设定数量的包含历史目标元素的历史图像；

确定各所述历史图像所包括的历史目标元素；

基于各所述历史图像和对应的历史目标元素，形成第一样本元素库。

可选的，该方法还包括：构建并训练导播模型，获得目标导播模型，并将所述目标导播模型对应的规则作为导播规则。

可选的，构建并训练导播模型，获得目标导播模型，包括：

构建模型结构为长短期记忆网络的导播模型；

基于所确定第二样本元素库训练所述导播模型，获得目标导播模型。

可选的，该方法还包括：基于下述操作确定第二样品元素库：

获取第二设定数量的历史视频信号集合和对应各所述历史视频信号集合的历史目标图像；

基于各所述历史目标图像和对应的历史视频信号集合，形成第二样本元素库。

可选的，根据各所述目标元素和预先确定的导播规则，确定目标图像，包括：

若各所述目标元素中存在画面质量满足质量条件的目标元素，则从各所述目标元素中选取画面质量满足质量条件的目标元素，并基于选出的目标元素确定目标图像，所述画面质量包括以下至少之一：完整度、显示比例和显示位置；

若各所述目标元素的画面质量均不满足质量条件或各所述目标元素的移动速度大于速度阈值，则从各所述目标元素中选取满足广角条件的第一目标元素，并将所述第一目标元素对应的图像作为所述目标图像，所述广角条件包括以下至少之一：元素数量大于第一设定值和元素尺寸小于第二设定值。

可选的，基于选出的目标元素确定目标图像，包括：

若设定时长内输出的目标图像所包括的第二目标元素符合第一设定规则，则将所述第一目标元素对应的图像作为目标图像或从选出的目标元素中选取不同于所述第二目标元素的第三目标元素，并将所述第三目标元素对应的图像作为目标图像。

可选的，基于选出的目标元素确定目标图像，包括：

若选出的目标元素中存在包括目标局部信息的第四目标元素，则将所述第四目标元素对应的图像作为目标图像；

若选出的目标元素中存在满足特写条件的第五目标元素，则将所述第五目标元素对应的图像作为目标图像。

第二方面，本发明实施例还提供了一种导播装置，包括：

获取模块，用于获取至少两路视频信号；

处理模块，用于根据预先确定的规则，处理各所述视频信号得到目标图像；

输出模块，用于在设定时间内，将所述目标图像对应的视频信号进行导播输出。

第三方面，本发明实施例还提供了一种终端设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的导播方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的导播方法。

本发明实施例提供了一种导播方法、装置、终端设备及存储介质，利用上述技术方案，能够在获取至少两路视频信号后，根据预先确定的规则，处理各视频信号得到目标图像。并在设定时间内将目标图像对应的视频信号进行导播输出，有效的解决对多路视频信号进行导播时，导播员精力有效、成本较高和主观性较强的技术问题，实现了对至少两路视频信号的自动化的导播，减少了视频导播过程中的人工参与程度，达到了降低对至少两路视频信号导播的人工成本。

附图说明

图1a为本发明实施例一提供的一种导播方法的流程示意图；

图1b为人工进行导播的流程示意图；

图2a为本发明实施例二提供的一种导播方法的流程示意图；

图2b为本发明实施例提供的基于目标导播模型进行导播的示意图；

图2c为本发明实施例提供了目标检测模型训练的示意图；

图2d为目标导播模型训练示意图；

图3为本发明实施例三提供的一种导播方法的流程示意图；

图4为本发明实施例四提供的一种导播装置的结构示意图；

图5为本发明实施例五提供的一种终端设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合，形成多个可选方案，不应将每个编号的实施例仅视为一个技术方案。

实施例一

图1a为本发明实施例一提供的一种导播方法的流程示意图，该方法可适用于对至少两路视频信号进行导播的情况，该方法可以由导播装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在终端设备上，在本实施例中终端设备包括但不限于：导播台和计算机等设备。

图1b为人工进行导播的流程示意图。如图1b所示，常见人工视频导播方案，主要由导播员11通过导播台12观看不同摄像机13拍摄的视频画面，然后根据自身的导播经验和直播场景需要，通过导播台12的控制按键，对输出的画面进行人工切换，以实现多路视频画面的导播操作，如从画面14切换到画面15。

人工导播的包括如下缺点：(1)导播是一种专业性较强的工作，专业人员的单位时间成本较高，人工方案仅适合成本因素不是第一考虑因素的大型活动直播，而不适用于日益发展的大多数中小型视频直播应用场景。(2)受到导播员精力的限制，无法进行长时间的视频导播操作，在长时间直播的情况下，单人导播需要间歇进行休息；若通过增加导播员实现多人轮换的导播形式，则无形中增加了导播服务的使用成本。(3)导播员进行画面切换决策，主要通过以往的专业经验进行判断，主观性较强，无法进行标准化的经验移植和复制。

如图1a所示，本发明实施例一提供的一种导播方法，包括如下步骤：

s101、获取至少两路视频信号。

在本实施例中，至少两路视频信号可以为处于不同位置或具有不同功能的摄像机拍摄的视频信号。如通过特写摄像机、广角摄像机或侧面摄像机拍摄的视频信号。

本实施例中视频信号的路数由场景中所采用的摄像机的数量确定。本步骤可以直接获取各摄像机采集的视频信号，然后对各摄像机采集的视频信号进行导播。

s102、根据预先确定的规则，处理各所述视频信号得到目标图像。

预先确定的规则可以理解为预先确定的用于确定将哪路视频信号进行输出的规则。具体的，该规则可以分析各视频信号处于相同时刻的图像，然后对各图像进行识别，并从识别后的图像中选取目标图像，以基于目标图像进行导播。

目标图像可以理解为从视频信号中选出的图像，该图像所对应的视频信号将被进行输出，从而实现导播功能。

示例性的，本步骤通过预先确定的规则处理各视频信号以得到目标图像时，可以首先对各视频信号同一时刻的图像进行识别，识别的方法可以通过目标检测模型实现。

其中，目标检测模型可以为经过训练得到的能够进行目标检测的模型。目标检测模型的训练手段不作限定，只要能够保证目标检测模型能够对目标元素进行检测即可。

在从各视频信号中逐帧提取出设定数量的图像，并识别出各图像所包括的目标元素后，可以通过导播规则确定目标图像。导播规则可以为导播算法，也可以为目标导播模型对应的规则。导播算法可以根据各目标元素确定出导播输出的目标图像。目标导播模型可以为经过训练得到的能够基于各目标元素确定输出的目标图像的模型。目标导播模型的训练手段不作限定，只要保证目标导播模型能够确定目标图像即可。其中，设定数量可以为一帧也可以为至少两帧，具体数值可以根据实际情况进行设定。

需要注意的是，在通过目标检测模型进行目标元素检测时，可以对各视频信号中多帧画面进行分析。在通过导播规则确定目标图像时，可以对目标检测模型输出的各视频信号对应的一帧图像所包括的目标元素进行分析；也可以对目标检测模型输出的各视频信号对应的多帧图像所包括的目标元素进行分析。

s103、在设定时间内，将所述目标图像对应的视频信号进行导播输出。

确定出目标图像后，本步骤可以在设定时间内，将该目标图像对应的视频信号进行导播输出。目标图像对应的视频信号可以为与目标图像处于相同路的视频信号，即将采集目标图像的摄像机所采集的视频信号进行输出。

本步骤在将目标图像对应的视频信号进行导播输出时，可以输出设定时间，设定时间不作限定，本领域技术人员可以根据实际情况进行设定。在设定时间结束后，可以继续根据预先确定的规则，处理后续视频信号得到下一目标图像，直至各视频信号处理完成。

本发明实施例一提供的一种导播方法，利用上述方法，能够在获取至少两路视频信号后，根据预先确定的规则，处理各视频信号得到目标图像。并在设定时间内将目标图像对应的视频信号进行导播输出，有效的解决对多路视频信号进行导播时，导播员精力有效、成本较高和主观性较强的技术问题，实现了对至少两路视频信号的自动化的导播，减少了视频导播过程中的人工参与程度，达到了降低对至少两路视频信号导播的人工成本。

实施例二

图2a为本发明实施例二提供的一种导播方法的流程示意图，本实施例以实施例一中各个可选方案为基础进行具体化。本实施例将根据预先确定的规则，处理各所述视频信号得到目标图像，优化包括：分别从各所述视频信号中选取一帧画面作为所对应视频信号的图像；根据预先确定的目标检测模型，提取各所述图像中所包含的目标元素，继续从各所述视频信号中选取下一帧画面作为所对应视频信号的图像，直至提取出设定数量的目标元素；根据各所述目标元素和预先确定的导播规则，确定目标图像。

进一步地，本实施例优化包括构建并训练检测模型，获得目标检测模型。

进一步地，本实施例还优化包括构建并训练导播模型，获得目标导播模型，并将所述目标导播模型对应的规则作为导播规则。

本实施例尚未详尽的内容请参考实施例一。

如图2a所示，本发明实施例二提供的一种导播方法，包括如下步骤：

s210、构建并训练检测模型，获得目标检测模型。

本实施例在进行导播前，本步骤可以先构建并训练检测模型。本实施例中不限定构建检测模型的手段，如检测模型可以基于卷积神经网络(convolutionalneuralnetworks，cnn)或一次多区检测器(singleshotmultiboxdetector，ssd)构建。

然后基于基于第一样本元素库训练检测模型，得到目标检测模型。第一样本元素库中可以包括第一设定数量的历史目标元素和对应的历史图像。历史目标元素可以为目标元素的历史数据和/或与目标元素处于同一类别的元素。

s220、构建并训练导播模型，获得目标导播模型，并将所述目标导播模型对应的规则作为导播规则。

本实施例在进行导播前，本步骤可以先构建并训练导播模型。本实施例中不限定构建导播模型的手段，如导播模型可以基于递归神经网络算法(recurrentneuralnetwork，rnn)或长短期记忆网络(longshort-termmemory，lstm)构建。然后基于预先确定的第二样本元素库训练导播模型，得到目标导播模型。

第二样本元素库可以基于至少两路历史视频信号和对应的历史目标图像确定，也可以根据至少两路历史视频信号和对应的历史图像确定。其中历史目标图像可以为目标图像的历史数据。历史图像可以为与历史目标图像处于同一类别的图像，该图像为历史数据。

s210和s220的执行顺序不作限定，只要在基于目标检测模型和目标导播模型进行导播前确定即可。

s230、获取至少两路视频信号。

s240、分别从各所述视频信号中选取一帧画面作为所对应视频信号的图像。

根据预先确定的规则，处理各所述视频信号得到目标图像时，可以首先分别从每一路视频信号中选取一帧画面作为对应该视频信号的图像。每路视频信号中选出的图像可以为同一时刻获取的。通过对每路视频信号所包括的图像进行分析，确定将哪路视频信号进行输出。

可以理解的是，从各所述视频信号中选取一帧画面作为对应视频信号的图像时，可以逐帧选取，即对各视频信号中的每一帧均进行分析。

s250、根据预先确定的目标检测模型，提取各所述图像中所包含的目标元素，继续从各所述视频信号中选取下一帧画面作为所对应视频信号的图像，直至提取出设定数量的目标元素。

从各视频信号中提取出各自对应的图像后，本步骤可以通过目标检测模型对各图像进行识别，确定各图像所包含的目标元素。目标元素可以理解为图像中可以被观看者关注的元素。目标元素可以包括位置、大小和标签，其中该标签可以表征目标元素的属性，如标签为人。如当本实施例中的导播方法应用于体育比赛场景时，目标元素可以包括运动员、篮球、球框等。

需要注意的是，图像中所包括的目标元素的个数可以为至少一个。目标元素可以表征图像中包括了哪些物体，物体的尺寸、物体的位置和物体的状态信息。

本步骤在提取设定数量的目标元素时，可以对每一个视频信号进行逐帧分析，提取各视频信号对应图像所包含的目标元素，直至提取到设定数量的目标元素。

s260、根据各所述目标元素和预先确定的导播规则，确定目标图像。

确定出各图像所包含的目标元素后，本步骤可以基于预先确定的导播规则对各目标元素进行分析，确定目标图像。

其中，导播规则可以为能够针对各目标元素所表达的含义，确定将哪一目标元素输出的规则。

在本实施例中导播规则为目标导播模型所对应的规则，本步骤在确定目标图像时可以将各目标元素输入目标导播模型，并将目标导播模型输出的目标元素对应的图像作为目标图像。

s270、在设定时间内，将所述目标图像对应的视频信号进行导播输出。

以下对本实施例进行示例性说明，本实施例提供的导播方法可以为视频直播的智能导播方法。本实施例通过计算机视觉技术对多路视频信号进行画面物体识别和分类，以机器学习方式替代人力操作的方式，减少视频直播过程中的人工参与程度，实现视频信号的自动导播和输出，达到降低视频直播服务人工成本的目的。

图2b为本发明实施例提供的基于目标导播模型进行导播的示意图。如图2b所示，本实施例通过使用机器学习技术，代替导播员的人工操作，自动实现了导播操作，具体包括：

s201、多路视频画面的输入。

s202、目标检测模型进行目标元素检测。

s202主要实现目标检测。实现了多路待导播视频元素(即至少两路视频信号)的识别和结构化操作，即让计算机“看”懂视频画面所包含的信息和内容，为后续的导播算法提供实现基础。

目标检测过程可以通过cnn算法的一种变体模型ssd来实现，该目标检测模型的实现，分为训练和判断两个过程：

1.训练。

图2c为本发明实施例提供了目标检测模型训练的示意图。参见图2c，以cnn模型为例。使用包含常见物体和目标元素的大量图片素材21，对检测模型进行训练，使得该检测模型具有将待检测画面分区，并判断画面所包含目标种类的能力。

训练过程中，将图片素材21中的目标元素(如：狗)的图片的所有像素点数据，通过输入层22输入cnn神经网络，经过若干个隐含层23的神经元231间激活函数(activationfunction)的非线性变换后(即前向传播forwardpropagation)，经由输出层24进行目标分类。

前向传播算法：a²＝σ(z²)＝σ(a¹*w²+b²)。

其中，上标代表层数，星号表示卷积，b表示偏置项，σ表示激活函数，w为权重值。

在训练的第一次前向传播机制完成后，输出的目标分类结果近乎随机，其中错误的分类结果，通过神经网络的反向传播机制(backpropagation)，将会对神经网络25神经突触的权重值w进行负向调整；反之，正确的分类结果，反向传播机制对神经网络25的神经突触的权重值w进行正向调整。

上述过程通过大量训练样本的多次迭代后，使得该目标检测模型的输出结果对目标的分类正确率达到一定的精度(如99％以上)，即完成该检测模型对目标元素的训练过程，得到目标检测模型。

2.目标检测。

目标检测过程，与训练过程相反，即通过已经训练好的模型，在输入包含未知目标的图片后，模型给出画面包含的目标类型的分类结果。

s203、基于目标检测结果和目标导播模型实现智能导播输出。

s203主要实现智能导播。智能导播过程是在多路视频信号同时进行目标元素检测的基础上，针对每路视频画面元素所表达的含义，即每路视频信号对应图像的目标元素所表达的含义，对图像实现自动切换、裁剪和嵌套，形成待广播的直播视频流信号。针对视频直播的不同应用场景，视频画面的导播模式也会略有不同，因此，智能导播模型的训练，也将通过机器学习技术，在进行了大量导播素材的训练后实现。

1.目标导播模型训练

目标导播模型，通过rnn的变体lstm，对大量导播前的视频画面元素和人工导播的控制流进行训练，获得适合于不同直播场景的目标导播模型。

图2d为目标导播模型训练示意图。参见图2d，分别向导播模型输入通过目标元素检测的目标元素31和历史目标图像32。

目标元素31可以为通过目标元素检测的多路机位的原始视频画面元素，即通过目标元素检测的历史视频信号对应的图像。历史目标图像32可以人工导播的控制流(任意时间点切换的是哪一路机位视频)。

lstm算法作为rnn的变体，相对于深度神经网络(deepneuralnetwork，dnn)来说，最重要的特性是，lstm的学习过程考虑了时间维度信息，善于从时间序列数据里提取模式化特征。在本实施例中，视频信号作为典型时间序列数据(即：按时间展开的若干画面)，其经目标元素检测以后的画面元素数据(图像)，也继承了这一数据结构特征。

因此，导播模型的训练过程，通过对lstm算法，输入导播前的视频流画面元素以及相对应的人工导播控制流，使得该lstm模型学习人工导播的切换控制与画面元素之间的关系，从而使计算机习得专业导播在不同视频直播场景下的导播规则，以得到目标导播模型。

2.目标导播模型应用

通过上述过程训练好的lstm目标导播模型，在仅输入多路视频信号的情况下，可以根据已学习的人工导播控制流与画面元素之间的关系，自动完成视频画面的自动切流智能导播过程。

本发明实施例二提供的一种导播方法，具体化了得到目标图像的操作，还优化包括了得到目标检测模型和目标导播模型的操作。利用该方法，能够基于目标检测模型对各视频信号的图像进行检测，得到各视频信号对应的目标元素，提高了目标元素的检测效率。基于目标导播模型和各目标元素确定目标图像，并基于目标图像对各视频信号进行导播，实现了对至少两路视频信号的智能导播。

本实施例进一步提供了可选实施例，在该可选实施例中，将构建并训练检测模型，获得目标检测模型，优化包括：构建模型结构为一次多区检测器的检测模型；基于所确定第一样本元素库训练所述检测模型，获得目标检测模型。

第一样本元素库可以包括多个历史图像和历史图像所包括的历史目标元素的对应关系。

本实施例进一步提供了可选实施例，在该可选实施例中，基于下述操作确定第一样品元素库：获取第一设定数量的包含历史目标元素的历史图像；确定各所述历史图像所包括的历史目标元素；基于各所述历史图像和对应的历史目标元素，形成第一样本元素库。

同一目标元素可以具有多个的历史目标元素，该历史目标元素可以为目标元素与目标图像处于同一类别的元素在不同时刻、不同位姿下获取的。不同的历史图像可以包括不同的历史目标元素。

历史图像的获取手段不作限定，可以为预先收集的。第一设定数量的具体数值不作限定，本领域技术人员可以根据实际情况确定。可以理解的是第一设定数量的数值越大，得到的目标检测模型的准确度可以越高。

获取各历史图像后，可以确定每个历史图像所包括的历史目标元素，如对每个历史图像中所包括的历史目标元素进行标记。然后将各历史图像和对应的历史目标元素形成第一样本元素库，即在第一样本元素库中构建每个历史图像和对应的历史目标元素的对应关系。

进一步地，本实施例还将构建并训练导播模型，获得目标导播模型，优化包括：构建模型结构为长短期记忆网络的导播模型；基于所确定第二样本元素库训练所述导播模型，获得目标导播模型。

第二样本元素库可以包括多个历史目标图像和对应的历史视频信号集合的对应关系。

进一步地，本实施例还优化包括基于下述操作确定第二样品元素库：获取第二设定数量的历史视频信号集合和对应各所述历史视频信号集合的历史目标图像；基于各所述历史目标图像和对应的历史视频信号集合，形成第二样本元素库。

第二设定数量的数值不作限定，本领域技术人员可以根据实际情况设定。可以理解的是，第二设定数量的数值越大，目标导播模型的准确度可以越高。

历史视频信号集合可以包括至少两路历史视频信号。每个历史视频信号可以对应一个历史目标图像，基于该历史目标图像能够对历史视频信号集合进行导播输出，即在一定时间内，输出历史目标图像对应的历史视频信号。

历史视频信号集合及对应的历史目标图像的获取手段不作限定，如可以为预先收集的。获取各历史视频信号集合和对应的历史目标图像后，可以在第二样本元素库中存储各历史目标图像和对应的历史视频信号集合的对应关系，以训练导播模型。

实施例三

图3为本发明实施例三提供的一种导播方法的流程示意图。本实施例以实施例一中各个可选方案为基础进行具体化。本实施例将根据预先确定的规则，处理各所述视频信号得到目标图像，优化包括：分别从各所述视频信号中选取一帧画面作为所对应视频信号的图像；根据预先确定的目标检测模型，提取各所述图像中所包含的目标元素；根据各所述目标元素和预先确定的导播规则，确定目标图像。

进一步地，将根据各所述目标元素和预先确定的导播规则，确定目标图像，优化包括：若各所述目标元素中存在画面质量满足质量条件的目标元素，则从各所述目标元素中选取画面质量满足质量条件的目标元素，并基于选出的目标元素确定目标图像，所述画面质量包括以下至少之一：完整度、显示比例和显示位置；若各所述目标元素的画面质量均不满足质量条件或各所述目标元素的移动速度大于速度阈值，则从各所述目标元素中选取满足广角条件的第一目标元素，并将所述第一目标元素对应的图像作为所述目标图像，所述广角条件包括以下至少之一：目标元素数量大于第一设定值和目标元素尺寸小于第二设定值。本实施例尚未详尽的内容请参考上述实施例。

需要注意的是，本实施例中各步骤的执行顺序仅为示例性说明。在进行确定目标图像时，也可以同时确定各目标元素中是否存在画面质量满足质量条件的目标元素和各所述目标元素的移动速度是否大于速度阈值。还可以先确定各目标元素中是否存在画面质量满足质量条件的目标元素，再确定各所述目标元素的移动速度是否都大于速度阈值。

本实施例将导播规则进行具体化，导播规则可以满足以下条件：

画面质量优先(画面质量是多机位切换的前提条件)：

1、完整性原则：画面元素(即目标元素)在画面(即图像)的可视部分完整，无残缺。

2、主体突出原则：画面的主体，即目标元素(如：人、人脸等)大小占画面比例符合黄金分割原则或九宫格画面构图原则，并且确保至少一个画面主体不被遮挡。

多机位切换(在满足画面质量优先原则的情况下，进行多机位切换)：

1、当多路新品信号对应多个不同的画面主体时(如：人脸)，以预设时间为周期，进行多路信号的轮流切换。

2、当有广角画面(画面主体较多，每个画面主体所占画面空间较小)时，多主体切换间隙中，随机切入广角画面作为转场画面。

3、当多机位的特写镜头(画面主体单一，且占画面空间较大)的画面主体质量无法满足质量优先原则，或者移动速度较快时，切换到广角画面。

4、当多个机位画面中有清晰面部时，具有清晰面部的画面优先切换。

5、在多个特写面部清晰的特写镜头中，正在说话或有情绪化表情(面部、嘴部动作)的画面优先切换

以不同场景下的导播规则为例说明：

①教育直播：

教师面向黑板(检测不到人脸时)，视频画面剪裁成为特写画面，并跟随人物移动，同时，保证黑板上的板书在画面中完整。此处不对特写画面中所包括的具体内容进行限定，如将黑板进行特写。

教师面向学生时(检测到人脸时)，画面切换成广角画面，并保证人物移动时始终出现在画面里。此处不对广角画面的具体内容进行限定，如广角画面中教师和学生。

②体育直播：

当有多路画面时，优先切换包含球体、人脸和人体完整肢体的视频画面。

当球体高速、大范围移动时，切换广角画面，保证球体处在画面范围内。

当球体运动速度较慢时，切换特写画面，或将画面剪裁为特写镜头，并跟随球体和人物移动。

③大型活动直播：

广角画面、舞台特写和观众特写画面间隔切换。

特写画面根据舞台上人物移动或根据广角画面剪裁。

具体的，如图3所示，本发明实施例三提供的一种导播方法，包括如下步骤：

s301、构建并训练检测模型，获得目标检测模型。

s302、获取至少两路视频信号。

s303、分别从各所述视频信号中选取一帧画面作为所对应视频信号的图像。

s304、根据预先确定的目标检测模型，提取各所述图像中所包含的目标元素，继续从各所述视频信号中选取下一帧画面作为所对应视频信号的图像，直至提取出设定数量的目标元素。

s305、判断各所述目标元素的移动速度是否都大于速度阈值，若是，则执行s306；若否，则执行s307。

根据各目标元素和预先确定的导播规则，确定目标图像时，可以首先确定各所述目标元素的移动速度。本步骤可以通过对同一路视频信号对应的各图像所包含的目标元素进行分析，确定目标元素的移动速度。如对第一路视频信号的第3到5帧图像的目标元素进行分析，确定目标元素的速度。

速度阈值的具体数值不作限定，本领域技术人员可以根据导播方法的实际应用场景设定。

若各所述目标元素的移动速度均大于速度阈值，则可以认为各目标元素不适宜进行输出显示，故执行s306；否则，可以执行s307。

s306、从各所述目标元素中选取满足广角条件的第一目标元素，并将所述第一目标元素对应的图像作为所述目标图像，执行s309。

在各所述目标元素的移动速度均大于速度阈值，则可以从各目标元素中选取满足广角条件的第一目标元素。广角条件包括以下至少之一：元素数量大于第一设定值和元素尺寸小于第二设定值。

第一设定值和第二设定值的具体数值不作限定，本领域技术人员可以根据到导播方法的实际应用场景确定。

若各目标元素中存在元素数量大于第一设定值和/或元素尺寸小于第二设定值的第一目标元素，可以认为该第一目标元素对应的图像为广角画面，则本步骤可以将第一目标元素对应的图像作为目标图像。确定出目标图像后，执行s309。

s307、判断各所述目标元素中是否存在画面质量满足质量条件的目标元素，若是，则执行s308；若否，则执行s306。

在各所述目标元素的移动速度小于或等于速度阈值时，进一步判断各目标元素中是否存在画面质量满足质量条件的目标元素。质量条件可以根据画面质量所包括的具体内容进行确定，如当画面质量为完整度时，质量条件可以为完整度大于完整度阈值。完整度阈值可以根据目标元素的尺寸进行设定。当画面质量为显示比例时，质量条件可以为显示比例大于比例阈值，比例阈值可以根据目标元素的尺寸和目标元素对应图像的尺寸确定。当画面质量为显示位置时，质量条件可以基于黄金分割原则或九宫格画面构图原则确定。

若各目标元素中存在画面质量满足质量条件的目标元素，则可以进一步基于各目标元素确定目标图像，即执行s308；否则，从各目标元素中选取满足广角条件的第一目标元素，并将第一目标元素对应的图像作为目标图像，即执行s306。

s308、从各所述目标元素中选取画面质量满足质量条件的目标元素，并基于选出的目标元素确定目标图像。

若各目标元素中存在画面质量满足质量条件的目标元素，则从各目标元素中选取满足质量条件的目标元素，并根据选取出的目标元素确定目标图像。

根据选取出的目标元素确定目标图像包括但不限于：从选出的目标元素中选取清晰度大于清晰度阈值的目标元素，然后将清晰度大于清晰度阈值的目标元素对应的图像作为目标图像；从选出的目标元素中选取目标元素变化度大于变化度阈值的目标元素，然后将变化度大于变化度阈值的目标元素对应的图像作为目标图像。

需要注意的是，若清晰度大于清晰度阈值的目标元素的个数大于一个，则从清晰度大于清晰度阈值的目标元素中随机选取一个目标元素，并将该目标元素的图像作为目标图像。若变化度大于变化度阈值的目标元素的个数大于一个，则从变化度大于变化度阈值的目标元素中随机选取一个目标元素，并将该目标元素对应的图像作为目标图像。

s309、在设定时间内，将所述目标图像对应的视频信号进行导播输出。

本发明实施例三提供的一种导播方法，具体化了确定目标图像的操作。利用该方法，能够基于上一目标图像所包括目标元素的移动速度和各目标元素中是否存在画面质量满足质量条件的目标元素，确定目标图像，实现了对至少两路视频信号的智能导播，减少了人工参与程度，降低了导播成本。

进一步地，基于选出的目标元素确定目标图像，包括：若设定时长内输出的目标图像所包括的第二目标元素符合第一设定规则，则将所述第一目标元素对应的图像作为目标图像或从选出的目标元素中选取不同于所述第二目标元素的第三目标元素，并将所述第三目标元素对应的图像作为目标图像。

设定时长不作限定，本领域技术人员可以根据实际情况进行设定。

设定时长内输出的目标图像可以理解为在确定当前的目标图像前的设定时长内所确定出的目标图像。第一设定规则可以根据第二目标元素的具体内容进行确定，第一设定规则可以为各第二目标元素的变化程度小于变化阈值。变化阈值不作限定，本领域技术人员可以根据第二目标元素的具体内容确定。如，各第二目标元素为同一目标元素的不同状态。

若设定时长内输出的目标图像所包括的第二目标元素符合第一设定规律，可以认为设定时间内目标图像的变化程度不大，则输出广角画面，即将第一目标元素对应的图像作为目标图像或在输出不同于第二目标元素的目标元素，即从选出的目标元素中选取不同于第二目标元素的第三目标元素，将第三目标元素对应的图像作为目标图像。其中，第三目标元素可以和第二目标元素为不同目标元素。

进一步地，基于选出的目标元素确定目标图像，包括：若选出的目标元素中存在包括目标局部信息的第四目标元素，则将所述第四目标元素对应的图像作为目标图像；

若选出的目标元素中存在满足特写条件的第五目标元素，则将所述第五目标元素对应的图像作为目标图像。

目标局部信息可以理解为目标元素中关键局部的信息。目标局部信息的具体内容可以根据目标元素确定。示例性的，若目标元素为人，则目标局部信息可以为人脸。

在基于选出的目标元素确定目标图像时，可以将包括目标局部信息的第四目标元素对应的图像作为目标图像。

特写条件包括但不限于：清晰度大于清晰度阈值或变化度大于变化度阈值。如，在目标元素为人脸时，选取正在说话或有情绪化表情(面部、嘴部动作)的目标元素对应的图像作为目标图像，以优先切换。

实施例四

图4为本发明实施例四提供的一种导播装置的结构示意图，该装置可适用于对至少两路视频信号进行导播的情况，其中该装置可由软件和/或硬件实现，并一般集成在终端设备上。

如图4所示，该装置包括：获取模块41、处理模块42和输出模块43；

其中，获取模块41，用于获取至少两路视频信号；

处理模块42，用于根据预先确定的规则，处理各所述视频信号得到目标图像；

输出模块43，用于在设定时间内，将所述目标图像对应的视频信号进行导播输出。

在本实施例中，该装置首先通过获取模块41获取至少两路视频信号；然后通过处理模块42根据预先确定的规则，处理各所述视频信号得到目标图像；最后通过输出模块43在设定时间内，将所述目标图像对应的视频信号进行导播输出。

本实施例提供了一种导播装置，能够在获取至少两路视频信号后，根据预先确定的规则，处理各视频信号得到目标图像。并在设定时间内将目标图像对应的视频信号进行导播输出，有效的解决对多路视频信号进行导播时，导播员精力有效、成本较高和主观性较强的技术问题，实现了对至少两路视频信号的自动化的导播，减少了视频导播过程中的人工参与程度，达到了降低对至少两路视频信号导播的人工成本。

进一步地，处理模块42，具体用于：分别从各所述视频信号中选取一帧画面作为所对应视频信号的图像；根据预先确定的目标检测模型，提取各所述图像中所包含的目标元素，继续从各所述视频信号中选取下一帧画面作为所对应视频信号的图像，直至提取出设定数量的目标元素；根据各所述目标元素和预先确定的导播规则，确定目标图像。

进一步地，该装置还包括：第一构建模块，用于构建并训练检测模型，获得目标检测模型。

进一步地，第一构建模块，具体用于：构建模型结构为一次多区检测器的检测模型；基于所确定第一样本元素库训练所述检测模型，获得目标检测模型。

进一步地，该装置还包括第一确定模块，第一确定模块基于下述操作确定第一样品元素库：获取第一设定数量的包含历史目标元素的历史图像；确定各所述历史图像所包括的历史目标元素；基于各所述历史图像和对应的历史目标元素，形成第一样本元素库。

进一步地，该装置还包括：第二构建模块，用于构建并训练导播模型，获得目标导播模型，并将所述目标导播模型对应的规则作为导播规则。

进一步地，第二构建模块具体用于：构建模型结构为长短期记忆网络的导播模型；基于所确定第二样本元素库训练所述导播模型，获得目标导播模型。

进一步地，该装置还包括第二确定模块，用于基于下述操作确定第二样品元素库：获取第二设定数量的历史视频信号集合和对应各所述历史视频信号集合的历史目标图像；基于各所述历史目标图像和对应的历史视频信号集合，形成第二样本元素库。

进一步地，处理模块42根据各所述目标元素和预先确定的导播规则，确定目标图像时，执行如下操作：若各所述目标元素中存在画面质量满足质量条件的目标元素，则从各所述目标元素中选取画面质量满足质量条件的目标元素，并基于选出的目标元素确定目标图像，所述画面质量包括以下至少之一：完整度、显示比例和显示位置；若各所述目标元素的画面质量均不满足质量条件或各所述目标元素的移动速度都大于速度阈值，则从各所述目标元素中选取满足广角条件的第一目标元素，并将所述第一目标元素对应的图像作为所述目标图像，所述广角条件包括以下至少之一：元素数量大于第一设定值和元素尺寸小于第二设定值。

进一步地，处理模块42基于选出的目标元素确定目标图像时，执行如下操作：若设定时长内输出的目标图像所包括的第二目标元素符合第一设定规则，则将所述第一目标元素对应的图像作为目标图像或从选出的目标元素中选取不同于所述第二目标元素的第三目标元素，并将所述第三目标元素对应的图像作为目标图像。

进一步地，处理模块42基于选出的目标元素确定目标图像，执行如下操作：若选出的目标元素中存在包括目标局部信息的第四目标元素，则将所述第四目标元素对应的图像作为目标图像；若选出的目标元素中存在满足特写条件的第五目标元素，则将所述第五目标元素对应的图像作为目标图像。

上述导播装置可执行本发明任意实施例所提供的导播方法，具备执行方法相应的功能模块和有益效果。

实施例五

图5为本发明实施例五提供的一种终端设备的结构示意图。如图5所示，本发明实施例五提供的终端设备包括：一个或多个处理器51和存储装置52；该设备中的处理器51可以是一个或多个，图5中以一个处理器51为例；存储装置52用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器51执行，使得所述一个或多个处理器51实现如本发明实施例中任一项所述的导播方法。

所述设备还可以包括：输入装置53和输出装置54。

设备中的处理器51、存储装置52、输入装置53和输出装置54可以通过总线或其他方式连接，图5中以通过总线连接为例。

该设备中的存储装置52作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例一、二或三所提供导播方法对应的程序指令/模块(例如，附图4所示的导播装置中的模块，包括：获取模块41、处理模块42和输出模块43)。处理器51通过运行存储在存储装置52中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述方法实施例中导播方法。

存储装置52可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储装置52可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置52可进一步包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置53可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的键信号输入。输出装置54可包括显示屏等显示设备。

并且，当上述设备所包括一个或者多个程序被所述一个或者多个处理器51执行时，程序进行如下操作：获取至少两路视频信号；根据预先确定的规则，处理各所述视频信号得到目标图像；在设定时间内，将所述目标图像对应的视频信号进行导播输出。

实施例六

本发明实施例六提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行导播方法，该方法包括：获取至少两路视频信号；根据预先确定的规则，处理各所述视频信号得到目标图像；在设定时间内，将所述目标图像对应的视频信号进行导播输出。

可选的，该程序被处理器执行时还可以用于执行本发明任意实施例所提供的导播方法。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(randomaccessmemory，ram)、只读存储器(readonlymemory，rom)、可擦式可编程只读存储器(erasableprogrammablereadonlymemory，eprom)、闪存、光纤、便携式cd-rom、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(radiofrequency，rf)等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。