一种戏曲选段的输出装置及输出方法与流程

本发明属于多媒体技术领域，具体涉及一种戏曲选段的输出装置及输出方法。

背景技术：

中国戏曲伴随发展历程产生了众多的剧目和唱段，随着移动终端普及和网络的提速，短视频的大流量传播内容获得各大平台、粉丝和资本的青睐，因此通过碎片处理音视频素材方便推广传统内容，是一个发展方向。

相对于常规影视剧，部分戏曲诞生年代久远，剧目内容老旧音视频质量不高，且参数不一；同时受录制环境和录制设备影响，戏曲视频还存在噪音等影响音画质的问题；此外为了满足对网络视听节目合规的相关要求，对于不包含在版权库、未备案新编剧目等内容不应进行传播，所以需要对制作内容进行自动筛选，输出高质合规内容。这些问题都制约戏曲视频的传播。

目前的相关技术中，尚不存在对戏曲特定特征进行识别分割，同时进行降噪提升选段质量的方法。在近似的语音乐音分离领域中的常用技术诸如cn110493637a用于戏曲视频分割时也存在自动化低、效果差等多种问题。因此，当前主要通过人工方式对剧目进行人工分段，并人工标定噪音内容进行降噪，因此需要耗费大量的人工进行辨别、筛选和制作，不仅耗费时间多，成品效果也不稳定。

因此，针对以上不足，本发明急需提供一种戏曲选段的输出装置及输出方法。

技术实现要素：

本发明的目的在于提供一种戏曲选段的输出装置及输出方法，以解决现有技术戏曲剧目输出短视频的效率低且效果不稳定的问题。

本发明提供的戏曲选段的输出装置，包括：获取模块，用于获取待处理视频的关键帧集合以及关键帧集合中的特征信息；查找模块，用于根据特征信息查找视频库，判断视频库中是否存在与待处理视频特征信息一致的匹配视频；还用于根据特征信息逐一计算匹配视频与待处理视频的相似度，并根据相似度判断匹配视频是否与待处理视频的内容一致；确定模块，用于获取期望输出时长信息和关键帧集合的时间点集合，并根据特征信息和期望输出时长信息获取时间点集合中的剪辑时间点集合；剪辑模块，用于根据剪辑时间点集合中的剪辑时间点剪辑待处理视频，获取成品视频。

如上所述的戏曲选段的输出装置，进一步优选为，还包括视频库，所述视频库中存储有若干曲目、特征信息和噪音库；所述特征信息包括角色人物名称、服饰样式、剧种及伴奏乐器、章节剧情介绍、章节完整时长信息，且所述角色人物名称、服饰样式、剧种及伴奏乐器、章节剧情介绍、章节完整时长信息均与所述曲目相关联。

如上所述的戏曲选段的输出装置，进一步优选为，所述获取模块包括：第一提取模块：用于获取待处理视频，并等帧距抽取待处理视频的关键帧，构成关键帧集合；第二提取模块：用于逐帧识别关键帧集合中的关键帧，获取关键帧中的特征信息，并为每一项特征信息构建一个集合。

如上所述的戏曲选段的输出装置，进一步优选为，所述查找模块包括：第一分析模块，用于根据待处理视频的服饰样式、角色人物名称和剧种及伴奏乐器查找视频库，得到与待处理视频存在相同服饰样式和/或角色人物名称和/或剧种及伴奏乐器的匹配视频，若干匹配视频构成曲目集合；第二分析模块，用于根据特征信息逐一计算待处理视频与曲目集合中的每个元素的相似度，并根据相似度判断匹配视频是否与待处理视频的内容一致。

如上所述的戏曲选段的输出装置，进一步优选为，所述第二分析模块中相似度的计算公式为：

其中，d为相似度，j为曲目集合中曲目的序号，j＝1,2,3,4…n；xjfk为集合xj的元素，其中xj为曲目集合中序号为j的曲目的关键帧集合中fj集合出现的次数集合，xj＝{xjf1,xjf2,……,xjfk}；x0fk为集合x0的元素，其中x0为待处理视频的关键帧集合中fj集合出现的次数集合，x0＝{x0f1,x0f2,……,x0fk}；fj为待处理视频服饰样式集合和曲目集合中序号为j的曲目的服饰样式集合的并集，fj＝{fa1,fa2,……,fak}；k＝1,2,3,4…e；

yjfi为集合yj的元素，其中yj为曲目集合中序号为j的曲目的关键帧集合中rj集合出现的次数集合，yj＝{yjf1,yjf2,……,yjfi}；y0fi为集合y0的元素，其中y0为待处理视频的关键帧集合中rj集合出现的次数集合，y0＝{y0f1,y0f2,……,y0fi}；rj为待处理视频角色人物名称集合和曲目集合中序号为j的曲目的角色人物名称集合的并集，rj＝{ra1,ra2,……,rai}；i＝1,2,3,4…t。

如上所述的戏曲选段的输出装置，进一步优选为，所述确定模块包括：时长确认模块，用于获取期望输出时长及期望输出时长的浮动范围；节点提取模块，用于获取待处理视频关键帧的时间点集合，并根据特征信息得到关键帧的时间点集合中包括同时服饰样式变化时间点以及角色人物名称服饰样式变化时间点的时间点子集；节点确认模块，用于提取时间点子集中的若干对元素，构成剪辑时间点集合，所述剪辑时间点集合的每个元素的时间差均落入期望输出时长与其浮动范围所构成的范围内。

如上所述的戏曲选段的输出装置，进一步优选为，所述确定模块还包括时长比较模块，所述时长比较模块用于判断期望输出时长是否小于待处理视频的时长；若否，剪辑时间点为待处理视频开始与结束的时间；若是，根据节点提取模块和节点确认模块获取剪辑时间点集合。

如上所述的戏曲选段的输出装置，进一步优选为，所述剪辑模块包括：视频拆分模块，用于根据剪辑时间点剪辑待处理视频，得到输出视频集合；音频处理模块，用于获取输出视频集合中每个元素的音频波形，将每个元素的音频波形与噪音波形对比并去除音频波形的噪音，得到处理音频；视频输出模块，将处理音频与对应的输出视频混流，得到成品视频。

本发明还提供了超高清音视频输出质量选段的方法，用于上述任一项所述的戏曲选段的输出装置，包括：s1：获取模块获取待处理视频的关键帧集合以及关键帧集合中的特征信息；s2：查找模块用于根据特征信息查找视频库，并判断视频库中是否存在与待处理视频特征信息相同的匹配视频；s3：查找模块计算匹配视频与待处理视频的相似度，判断相匹配的视频是否存在与待处理视频一致；s4：确定模块获取期望输出时长信息和关键帧集合的时间点集合，并根据特征信息和期望输出时长信息获取时间点集合中的剪辑时间点集合；s5：剪辑模块根据剪辑时间点对待处理视频进行剪辑，获取成品视频。

如上所述的超高清音视频输出质量选段的方法，进一步优选为，s4还包括：s41：时长确认模块获取期望输出时长及期望输出时长的浮动范围；s42：时长比较模块判断期望输出时长是否小于待处理视频的时长；若否，剪辑时间点为待处理视频开始与结束的时间；若是，获取关键帧集合的时间点集合，并进行下一步；s43：根据特征信息获取同时包括服饰样式变化时间点以及角色人物名称服饰样式变化时间点的时间点子集；s44：提取时间点子集中时间差落入期望输出时长与其浮动范围所构成的范围内的若干对元素，得到剪辑时间点集合。

本发明所公开的戏曲选段的输出装置及方法中，所述装置包括获取模块、查找模块、确认模块和剪辑模块，其中查找模块能够根据特征信息查找视频库，判断视频库中是否存在与待处理视频特征信息一致的匹配视频，还能够根据特征信息逐一计算匹配视频与待处理视频的相似度，并根据相似度判断匹配视频是否与待处理视频的内容一致；所述确认模块能够获取期望输出时长信息和关键帧集合的时间点集合，并根据特征信息和期望输出时长信息获取时间点集合中的剪辑时间点集合。通过上述装置，不仅能够根据待处理视频的特征消息获取剧情转场点，进而得到剪辑时间点，从而自动、高效地根据输出戏曲选段，且得到的剪辑时间点相连贯，选段内容质量高，同时还能够确保输出的高质量选段不超出预设范围，使其符合传播法律法规的相关要求。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明中戏曲选段的输出装置的模块连接图；

图2为本发明中戏曲选段的输出方法的流程图；

图3为本发明中获取剪辑时间点的流程图。

具体实施方式

实施例1：

图1公开了本实施例中的戏曲选段的输出装置的模块连接图，具体的，如图1所示，本实施例中的戏曲选段的输出装置包括：

获取模块，用于获取待处理视频的关键帧集合以及关键帧集合中的特征信息；

查找模块，用于根据特征信息查找视频库，判断视频库中是否存在与待处理视频特征信息一致的匹配视频；还用于根据特征信息逐一计算匹配视频与待处理视频的相似度，并根据相似度判断匹配视频是否与待处理视频的内容一致；

确定模块，用于获取期望输出时长信息和关键帧集合的时间点集合，并根据特征信息和期望输出时长信息获取时间点集合中的剪辑时间点集合；

剪辑模块，用于根据剪辑时间点集合中的剪辑时间点剪辑待处理视频，获取成品视频。

进一步的，还包括视频库，所述视频库中存储有若干曲目、特征信息和噪音库；所述特征信息包括角色人物名称、服饰样式、剧种及伴奏乐器、章节剧情介绍、章节完整时长信息，且所述角色人物名称、服饰样式、剧种及伴奏乐器、章节剧情介绍、章节完整时长信息均与所述曲目相关联。

具体的，所述特征信息包括角色人物名称、服饰样式、剧种及伴奏乐器、章节剧情介绍、章节完整时长信息，且所述角色人物名称、服饰样式、剧种及伴奏乐器、章节剧情介绍、章节完整时长信息均与所述曲目相关联。具体的，每个曲目可对应一个剧种信息、章节剧情介绍、章节完整时长信息和多个角色人物名称、多种服饰样式、多种伴奏乐器，根据剧种信息、章节剧情介绍、章节完整时长信息以及任意一种角色人物名称、服饰样式、伴奏乐器均能够获取与其关联的曲目，同理，根据曲目也可以获取特征信息。上述设置适于双向检索，即根据特征信息检索对应的曲目，根据曲目信息检索对应的特征信息。

噪音库中则包括多种噪音效果。

进一步的，上述获取模块包括：第一提取模块：用于获取待处理视频，并等帧距抽取待处理视频的关键帧，构成关键帧集合；第二提取模块：用于逐帧识别关键帧集合中的关键帧，获取关键帧中的特征信息，并为每一项特征信息构建一个集合。

具体的，所述第一抽取模块获取待处理视频h0，并根据控制因子k从待处理视频h0中等帧距抽取关键帧，抽取的关键帧集合为b0。其中控制因子k的大小会控制从原始视频中抽取关键帧的总数，可通过输入控制因子k的值或赋予控制因子k固定值。

所述第二抽取模块用于提取关键帧集合b0中的特征信息，具体的，提取的服饰样式信息构成服饰样式集合f0，提取的角色人物名称信息构成角色人物集合r0，提取的伴奏乐器信息构成伴奏乐器集合p0。

进一步的，所述查找模块包括：第一分析模块，用于根据待处理视频的服饰样式、角色人物名称和剧种及伴奏乐器查找视频库，得到与待处理视频存在相同服饰样式和/或角色人物名称和/或剧种及伴奏乐器的匹配视频，若干匹配视频构成曲目集合；第二分析模块，用于根据特征信息逐一计算待处理视频与曲目集合中的每个元素的相似度，并根据相似度判断匹配视频是否与待处理视频的内容一致。

具体的，所述第一分析模块用于根据服饰样式集合f0、角色人物集合r0和伴奏乐器集合p0查找视频库，进而得到服饰样式集合f0对应的曲目集合hf、角色人物集合r0对应的曲目集合hr以及伴奏乐器集合p0对应的曲目集合hb，再根据曲目集合hf、曲目集合hr以及曲目集合hb求并集，得到曲目集合h1，即h1＝hf∩hr∩hb＝{h1,h2,……,hn}。若曲目集合h1为空，则待处理视频不包含在视频库中，停止后续处理；若曲目集合h1不为空，则需要对曲目集合h1中曲目进行匹配筛选。

所述第二分析模块用于对曲目集合h1中曲目进行匹配筛选，具体的，第二分析模块逐一计算曲目集合h1中每一个元素与原始视频的相似度，其中相似度的计算公式为：

计算公式为：

其中，d为相似度，j为曲目集合h1中曲目的序号，j＝1,2,3,4…n；

xjfk为集合xj的元素，其中xj为曲目集合中序号为j的曲目的关键帧集合中fj集合出现的次数集合，xj＝{xjf1,xjf2,……,xjfk}；

x0fk为集合x0的元素，其中x0为待处理视频的关键帧集合中fj集合出现的次数集合，x0＝{x0f1,x0f2,……,x0fk}；

fj为待处理视频服饰样式集合f0和曲目集合中序号为j的曲目的服饰样式集合fjw的并集，fj＝f0∩fjw＝{fa1,fa2,……,fak}；k＝1,2,3,4…e；

yjfi为集合yj的元素，其中yj为曲目集合中序号为j的曲目的关键帧集合中rj集合出现的次数集合，yj＝{yjf1,yjf2,……,yjfi}；

y0fi为集合y0的元素，其中y0为待处理视频的关键帧集合中rj集合出现的次数集合，y0＝{y0f1,y0f2,……,y0fi}；

rj为待处理视频角色人物名称集合r0和曲目集合中序号为j的曲目的角色人物名称集合rjc的并集，rj＝r0∩rjc＝{ra1,ra2,……,rai}；i＝1,2,3,4…t。

根据相似度公式得到曲目集合h1的相似度的值d1,d2,……,dn，其中相似度值越小，证明曲目集合h1中的元素与待处理视频越相似。比较d1,d2,……,dn大小，从中选出最小值dx在曲目集合h1中所对应的元素即为和原始视频最相似曲目。设定相似度阈值w，当dx大于w，则表明核心曲库中不包含原始视频曲目，则处理结束；当dx小于w，则表明dx对应的曲目hx则为原始视频h0对应的曲目，则处理继续进行。

进一步的，所述确定包括：时长确认模块，用于获取期望输出时长及期望输出时长的浮动范围；节点提取模块，用于获取待处理视频关键帧的时间点集合，并根据特征信息得到关键帧的时间点集合中包括同时服饰样式变化时间点以及角色人物名称服饰样式变化时间点的时间点子集；节点确认模块，用于提取时间点子集中的若干对元素，构成剪辑时间点集合，所述剪辑时间点集合的每个元素的时间差均落入期望输出时长与其浮动范围所构成的范围内。

具体的，所述时长确认模块用于获取期望输出片段的时长即期望输出时长s1，以及期望输出时长s1的可接受浮动范围p。

待处理视频中提取的关键帧集合b0所对应的时间点集合为t，t＝{t1,t2,……,tn}。关键帧集合b0中，服饰样式变化时间点集合为tx，tx＝{tx1,tx2,……,txn}；关键帧集合b0中，角色人物名称变化出现服饰样式变化的时间点集合为ty，ty＝{ty1,ty2,……,tyn}。同时服饰样式变化时间点以及人物名称变化时间点的时间点子集tz为服饰样式变化的时间点集合与人物名称变化时间点集合的交集，即tz＝tx∪ty。

节点确认模块用于提取时间点子集tz中元素的时间差值在s1-p到s1+p之间的剪辑时间点，并构成剪辑时间点集合a。

优选的，所述确定模块还包括时长比较模块，所述时长比较模块用于判断期望输出时长是否小于待处理视频的时长；若否，剪辑时间点为待处理视频开始与结束的时间；若是，根据节点提取模块和节点确认模块获取剪辑时间点集合。所述时长比较模块设于节点提取模块之前，用于避免s1≧s0这一情况中的后续处理，进而用于提高处理速度。

进一步的，所述剪辑模块包括：视频拆分模块，用于根据剪辑时间点剪辑待处理视频，得到输出视频集合；音频处理模块，用于获取输出视频集合中每个元素的音频波形，将每个元素的音频波形与噪音波形对比并去除音频波形的噪音，得到处理音频；视频输出模块，将处理音频与对应的输出视频混流，得到成品视频。

实施例2：

图2为本发明中戏曲选段的输出方法的流程图，如图2所示，本实施例公开了戏曲选段的输出方法，用于实施例1中任一项所述的戏曲选段的输出装置，包括：

s1：获取模块获取待处理视频的关键帧集合以及关键帧集合中的特征信息；

s2：查找模块用于根据特征信息查找视频库，并判断视频库中是否存在与待处理视频特征信息相同的匹配视频；

s3：查找模块计算匹配视频与待处理视频的相似度，判断相匹配的视频是否存在与待处理视频一致；

s4：确定模块获取期望输出时长信息和关键帧集合的时间点集合，并根据特征信息和期望输出时长信息获取时间点集合中的剪辑时间点集合；

s5：剪辑模块根据剪辑时间点对待处理视频进行剪辑，获取成品视频。

图3公开了获取剪辑时间点的流程图，如图3所示，s4还包括：

s41：时长确认模块获取期望输出时长及期望输出时长的浮动范围；

s42：时长比较模块判断期望输出时长是否小于待处理视频的时长；若否，剪辑时间点为待处理视频开始与结束的时间；若是，获取关键帧集合的时间点集合，并进行下一步；

s43：根据特征信息获取同时包括服饰样式变化时间点以及角色人物名称服饰样式变化时间点的时间点子集；

s44：提取时间点子集中时间差落入期望输出时长与其浮动范围所构成的范围内的若干对元素，得到剪辑时间点集合。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。