视频字幕的生成方法及系统的制作方法
【专利摘要】本发明公开了一种视频字幕生成方法和系统，检测视频字幕播放类型控制信息；获取与所述视频字幕播放类型控制信息相匹配的视频字幕播放信息；确定与所述视频字幕播放信息对应的视频字幕动画模型；提取视频字幕文字信息；最后采用所述视频字幕动画模型转化所述视频字幕文字信息，生成视频字幕，由于生成的视频字幕为具有字幕动画模型的视频字幕，实现了视频字幕的动态效果的目的。
【专利说明】视频字幕的生成方法及系统【技术领域】
[0001]本发明涉及数据处理【技术领域】，更具体地说，涉及一种视频字幕的生成方法及系统。
【背景技术】
[0002]当今，视频包括电影和电视，因能够给人们带来视觉体验的提升，正在被迅速普及。
[0003]然而，现有技术中视频的字幕的生成方式仍然只能满足平面固态显示的要求，不能实现动态显示。
【发明内容】
[0004]有鉴于此，本发明提供一种视频字幕的生成方法，以生成动态效果的视频字幕。
[0005]为了实现上述目的，现提出的方案如下:
[0006]一种视频字幕生成方法，包括:
[0007]检测视频字幕播放类型控制信息；
[0008]获取与所述视频字幕播放类型控制信息相匹配的视频字幕播放信息；
[0009]确定与所述视频字幕播放信息对应的视频字幕动画模型；
[0010]提取视频字幕文字信息；
[0011]采用所述视频字幕动画模型转化所述视频字幕文字信息，生成视频字幕。
[0012]优选地，所述检测视频字幕播放类型控制信息包括:
[0013]采集视频中与字幕对应的语音提供者的人脸表情信息。
[0014]优选地，所述检测视频字幕播放类型控制信息包括:
[0015]接收用户输入视频字幕播放类型控制信息。
[0016]优选地，所述检测视频字幕播放类型控制信息包括:
[0017]采集视频中与字幕对应的语音提供者的音调；
[0018]计算预设时间段的音调变化，确定与所述音调变化对应的视频字幕播放类型控制信息。
[0019]优选地，所述提取视频字幕文字信息包括:
[0020]采集视频中与字幕对应的语音提供者的语音信息；
[0021]识别所述语音信息，生成与所述语音对应的文字信息。
[0022]优选地，生成视频字幕之前还包括:
[0023]采集视频中与字幕对应的语音提供者的语音音量；
[0024]根据所述语音音量调整所述视频字幕动画模型的参数。
[0025]一种视频字幕生成系统，包括:
[0026]检测器，用于检测视频字幕播放类型控制信息；
[0027]处理器，用于获取与所述视频字幕播放类型控制信息相匹配的视频字幕播放信息；确定与所述视频字幕播放信息对应的视频字幕动画模型；提取视频字幕文字信息；采用所述视频字幕动画模型制作所述视频字幕文字信息，生成视频字幕。
[0028]优选地，所述检测器为图像采集器，用于采集视频中与字幕对应的语音提供者的人脸表情信息。
[0029]优选地，所述检测器为接收器，用于接收用户输入的视频字幕播放类型控制信息。
[0030]优选地，所述检测器为语音采集器，用于采集视频中与字幕对应的语音提供者的
首调;
[0031]所述处理器还用于获取所述音调，计算预设时间段的音调变化，确定与所述音调变化对应的视频字幕播放类型控制信息。
[0032]优选地，所述处理器提取视频字幕文字信息的方式包括:
[0033]采集视频中与字幕对应的语音提供者的语音信息；
[0034]识别所述语音信息，生成与所述语音对应的文字信息。
[0035]优选地，所述处理器还用于在生成视频字幕之前，采集视频中与字幕对应的语音提供者的语音音量；根据所述语音音量调整所述视频字幕动画模型的参数。
[0036]从上述的技术方案可以看出，本发明公开的视频字幕的生成方法中，生成的视频子.为具有子.动画|旲型的视频子.，实现了视频子.的动态效果。
【专利附图】
【附图说明】
[0037]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0038]图1为本发明实施例公开的一种视频字幕的生成方法的流程图；
[0039]图2为本发明另一实施例公开的一种视频字幕的生成方法的流程图；
[0040]图3为本发明另一实施例公开的一种视频字幕的生成方法的流程图；
[0041]图4为本发明另一实施例公开的一种视频字幕的生成方法的流程图；
[0042]图5为本发明另一实施例公开的一种视频字幕的生成方法的流程图；
[0043]图6为本发明另一实施例公开的一种视频字幕生成系统的结构图。
【具体实施方式】
[0044]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0045]本发明实施例提供一种视频字幕的生成方法，以生成动态效果的视频字幕。
[0046]参见图1，本发明实施例公开的视频字幕生成方法，包括步骤:
[0047]S101、检测视频字幕播放类型控制信息；
[0048]其中，所述视频字幕播放类型控制信息控制所述视频字幕的生成类型，且播放视频字幕时采用视频字幕的生成类型进行播放。[0049]S102、获取与所述视频字幕播放类型控制信息相匹配的视频字幕播放信息；
[0050]具体的，预先存储视频字幕播放类型控制信息和视频字幕播放信息的对应关系，当获取到所述视频字幕播放类型控制信息后，在所述对应关系中查找与所述视频字幕播放类型控制信息相匹配的视频字幕播放信息。
[0051]S103、确定与所述视频字幕播放信息对应的视频字幕动画模型；
[0052]S104、提取视频字幕文字信息；
[0053]具体的，可以预先存储视频字幕文字信息，当需要生成视频字幕时，获取预先存储的视频字幕文字信息；或者，当需要生成视频字幕时，接收输入的视频字幕文字信息。
[0054]S105、采用所述视频字幕动画模型转化所述视频字幕文字信息，生成视频字幕。
[0055]其中，当需要生成动画效果的视频字幕时，需要按照视频字幕动画模型来生成。
[0056]本实施例公开的视频字幕的生成方法中，生成的视频字幕为具有字幕动画模型的视频子.，实现了视频子.的动态效果。
[0057]优选地，本实施例公开的视频字幕生成方法中，步骤S105之前，还可以执行以下步骤:
[0058]采集视频中与字幕对应的语音提供者的语音音量；
[0059]根据所述语音音量调整所述视频字幕动画模型的参数。
[0060]具体的，所述视频字幕动画模型中的参数用于控制生成的视频字幕的动画效果的程度，当需要生成不同动画效果程度的视频字幕时，可以调整视频字幕动画模型的参数。
[0061]在视频的播放过程中，视频中的说话者的语音文字与字幕对应，采集说话者的语音音量，根据所述语音音量调整所述视频字幕动画模型的参数，生成不同动画效果程度的
视频字眷。
[0062]本发明另一实施例还公开了一种视频字幕生成方法，如图2所示，包括步骤:
[0063]S201、采集视频中与字幕对应的语音提供者的人脸表情信息；
[0064]具体的，视频播放过程中，当前显示的说话者的语音文字会和字幕相同。并且，说话者的人脸表情会根据视频的场景发生变化，采集当前显示的说话者的人脸表情信息，可以保证生成的视频字幕的动画效果与当前的视频的场景相同。
[0065]并且，人脸表情信息可以包括双眼的瞳距、眼睛的外形轮廓和嘴形等单特征信息，或者包括能够反映人脸表情变化的所有特征，包括眼睛、嘴角和眉毛等。
[0066]S202、获取与所述人脸表情信息相匹配的视频字幕播放信息；
[0067]具体的，采集到人脸表情信息后，通过识别所述人脸表情信息反映出当前视频的场景。并且，获取的视频字幕播放信息与人脸表情信息相匹配，可以保证生成的视频字幕满足视频场景的需求。
[0068]例如:当采集的人脸表情信息表明当前显示的说话者很高兴，说明当前视频的场景为欢快的场景；当采集的人脸表情信息表明当前显示的说话者很生气，说明当前视频的场景为紧张的场景。
[0069]其中，当所述人脸表情信息为双眼的瞳距，可以分析双眼的瞳距的大小，来确定当前显示的说话者的心情；当所述人脸表情信息为眼睛的外形轮廓时，可以分析眼睛的外形轮廓的走向，来确定当前显示的说话者的心情；当所述人脸表情信息为嘴形，同样可以分析嘴形的走向来确定当前显示的说话者的心情。[0070]当所述人脸表情信息为综合信息时，包括能够反映人脸表情变化的所有特征，可以将所述能够反映人脸表情变化的所有特征所组成的人脸表情与多个基本人脸表情模板进行匹配，匹配度较高的基本人脸表情模板所表明的人的心情为当前显示的说话者的心情。
[0071]或者，采用神经网络分析方法，将基本人脸的表情作为输出神经元，一般为六种基本人脸的表情，将采集到的人脸表情信息作为输入神经元，分析计算得到对应述人脸表情信息的人脸表情类型，确定当前显示的说话者的心情。
[0072]S203、确定与所述视频字幕播放信息对应的视频字幕动画模型；
[0073]其中:不同的视频字幕播放信息对应有不同的视频字幕动画模型；获取到视频字幕播放信息后，需要确定与所述视频字幕播放信息对应的视频字幕动画模型。
[0074]例如，当所述视频字幕播放信息反应当前显示的说话者的心情为高兴时，可以确定欢快的字幕跳动效果的模型；当所述视频字幕播放信息反应当前显示的说话者的心情为愤怒时，可以确定具有破坏性效果的模型。
[0075]S204、提取视频字幕文字信息；
[0076]与上述实施例相同，可以预先存储视频字幕文字信息，当需要生成视频字幕时，获取预先存储的视频字幕文字信息；或者，当需要生成视频字幕时，接收输入的视频字幕文字信息。
[0077]S205、采用所述视频字幕动画模型转化所述视频字幕文字信息，生成视频字幕。
[0078]本发明公开的视频字幕的生成方法中，生成的视频字幕为具有字幕动画模型的视频字幕，实现了视频字幕的动态效果；并且，所述视频字幕的字幕动画模型还和与所述字幕对应的语音提供者人脸表情信息相对应，将字幕的动态效果满足字幕语音提供者的人脸表情需求，增强了视屏画面的形象性。
[0079]与上述实施例相同，本实施例在步骤S205之前，还可包括步骤:
[0080]采集视频中与字幕对应的语音提供者的语音音量；
[0081]根据所述语音音量调整所述视频字幕动画模型的参数。
[0082]具体的，所述视频字幕动画模型中的参数用于控制生成的视频字幕的动画效果的程度，当需要生成不同动画效果程度的视频字幕时，可以调整视频字幕动画模型的参数。
[0083]例如:当确定的视频字幕动画模型为欢快的字幕跳动效果的模型，通过采集的语音音量来调整欢快的字幕跳动效果的模型的参数，确定跳动的字幕的幅度。
[0084]本发明另一实施例还公开了一种视频字幕生成方法，如图3所示，包括步骤:
[0085]S301、接收用户输入的视频字幕播放类型控制信息；
[0086]具体的，当需要人为控制生成的视频字幕的播放类型时，可以输入视频字幕播放类型控制信息。
[0087]S302、获取与所述视频字幕播放类型控制信息相匹配的视频字幕播放信息；
[0088]同样，预先存储有存储视频字幕播放类型控制信息和视频字幕播放信息的对应关系，当获取到所述视频字幕播放类型控制信息后，在所述对应关系中查找与所述视频字幕播放类型控制信息相匹配的视频字幕播放信息。
[0089]S303、确定与所述视频字幕播放信息对应的视频字幕动画模型；
[0090]S304、提取视频字幕文字信息；[0091]S305、采用所述视频字幕动画模型转化所述视频字幕文字信息，生成视频字幕。
[0092]本实施例的具体过程见上述两个实施例公开的内容，此处不再赘述。
[0093]本实施例公开的视频字幕生成方法，根据用户输入的视频字幕播放类型控制信息，最终确定视频字幕动画模型，再采用所述视频字幕动画模型转化所述视频字幕文字信息，生成视频字幕；如此，可以根据用户需求生成视频字幕。
[0094]本发明另一实施例还公开了一种视频字幕生成方法，如图4所示，包括步骤:
[0095]S401、采集视频中与字幕对应的语音提供者的音调；
[0096]具体的，在视频播放过程中，视频的场景不同，说话者的心情不同，说话者的说话的音调也不同；通过采集一段时间的视频中与字幕对应的语音提供者的音调来评判当前语首提供者的心情。
[0097]S402、计算预设时间段的音调变化，确定与所述音调变化对应的视频字幕播放类型控制信息；
[0098]具体的，根据实际使用需求设定时间段，计算该时间段的采集的音调的变化，根据音调变化确定视频字幕播放类型控制信息。
[0099]其中，一般情况下，当判断预设时间段的音调变化快，则表明说话者心情为兴奋或者愤怒，确定的视频字幕播放类型控制信息可以为控制视频字幕具有剧烈动画效果的视频字幕播放类型控制信息；
[0100]当判断预设时间的音调变化较小，或者没有变化，表明说话者心态平和，确定的视频字幕播放类型控制信息可以为控制视频字幕具有平缓动画效果的视频字幕播放类型控制信息。
[0101]S403、获取与所述视频字幕播放类型控制信息相匹配的视频字幕播放信息；
[0102]具体的，预先存储视频字幕播放类型控制信息和视频字幕播放信息的对应关系，当获取到所述视频字幕播放类型控制信息后，在所述对应关系中查找与所述视频字幕播放类型控制信息相匹配的视频字幕播放信息。
[0103]S404、确定与所述视频字幕播放信息对应的视频字幕动画模型；
[0104]S405、提取视频字幕文字信息；
[0105]S406、采用所述视频字幕动画模型转化所述视频字幕文字信息，生成视频字幕。
[0106]本实施例中，根据语音提供者音调变化生成视频字幕，将视频字幕的动态效果满足字幕语音提供者的音调变化，同样也增强了视屏画面的形象性。
[0107]对应图3和图4的实施例，优选地，均可以在生成视频字幕之前，执行步骤:
[0108]采集视频中与字幕对应的语音提供者的语音音量；
[0109]根据所述语音音量调整所述视频字幕动画模型的参数。
[0110]其中，具体的过程见对应图1和图2的实施例，此处不再赘述。
[0111]参见图5，本发明另一实施例还公开的视频字幕生成方法，包括步骤:
[0112]S501、检测视频字幕播放类型控制信息；
[0113]S502、获取与所述视频字幕播放类型控制信息相匹配的视频字幕播放信息；
[0114]S503、确定与所述视频字幕播放信息对应的视频字幕动画模型；
[0115]S504、采集视频中与字幕对应的语音提供者的语音信息；
[0116]S505、识别所述语音信息，生成与所述语音对应的文字信息。[0117]S506、采用所述视频字幕动画模型转化所述视频字幕文字信息，生成视频字幕。
[0118]本实施例中，当视频播放时，采集语音信息，识别语音信息，生成与所述语音对应的文字信息，不需要预先存储视频字幕文字信息，也不需要获取视频字幕文字信息，更加简单方便。
[0119]本实施例的具体过程见上述所有实施例公开的内容，此处不再赘述。
[0120]本发明另一实施例还公开了一种视频字幕生成系统，参见图6，包括:
[0121]检测器101，用于检测视频字幕播放类型控制信息；
[0122]处理器102，用于获取与所述视频字幕播放类型控制信息相匹配的视频字幕播放信息；确定与所述视频字幕播放信息对应的视频字幕动画模型；提取视频字幕文字信息；采用所述视频字幕动画模型制作所述视频字幕文字信息，生成视频字幕。
[0123]具体的，检测器101检测到视频字幕播放类型控制信息后传输至处理器102，处理器102内预先存储视频字幕播放类型控制信息和视频字幕播放信息的对应关系，当处理器102接收到所述视频字幕播放类型控制信息后，在所述对应关系中查找与所述视频字幕播放类型控制信息相匹配的视频字幕播放信息，再确定与所述视频字幕播放信息对应的视频字幕动画模型；并提取视频字幕文字信息，最后，采用所述视频字幕动画模型制作所述视频字幕文字信息，生成视频字幕。
[0124]其中，处理器102可以预先存储视频字幕文字信息，当需要生成视频字幕时，获取预先存储的视频字幕文字信息；或者，当需要生成视频字幕时，处理器102接收输入的视频字幕文字信息。
[0125]本实施例公开的视频字幕生成系统，当检测器101检测到视频字幕播放类型控制信息，并将其发送至处理器102，处理器102获取与所述视频字幕播放类型控制信息相匹配的视频字幕播放信息；确定与所述视频字幕播放信息对应的视频字幕动画模型；提取视频字幕文字信息；采用所述视频字幕动画模型制作所述视频字幕文字信息，生成视频字幕。这样，处理器102生成的视频字幕为具有字幕动画模型的视频字幕，实现了视频字幕的动态效果的目的。
[0126]优选地，上述实施例中的检测器101可以为图像采集器，用于采集视频中与字幕对应的语首提供者的人脸表情信息。
[0127]具体的，所述图像采集器可以为摄像头，拍摄视屏中说话者的人脸图像；其中，可以拍摄整个人脸，也可以仅针对人脸的局部拍摄，如:人眼、嘴等。
[0128]所述处理器获取摄像头拍摄的图像，识别图像，确定说话者的当前的心情，并获取与所述人脸表情信息相匹配的视频字幕播放信息。
[0129]其中，识别图像以确定说话者的当前的心情的过程见与图2对应的实施例，此处不再赘述。
[0130]或者，优选地，上述实施例中的检测器101为接收器，用于接收用户输入的视频字幕播放类型控制信息。
[0131 ] 具体的，所述接收器可以通信接口，所述处理器通过通信接口与外接设备相连，用户在外界设备的人机交互界面输入视频字幕播放类型控制信息，所述视频字幕播放类型控制信息通过通信接口传输至处理器。
[0132]再或者，优选地，上述实施例中的检测器101为语音采集器，用于采集视频中与字幕对应的语音提供者的音调；
[0133]具体的，所述语音采集器可以为语音传感器，采集说话者的语音的频率，即音调。处理器获取语音传感器采集的说话者的语音的频率，计算预设时间段的音调变化，确定与所述音调变化对应的视频字幕播放类型控制信息。
[0134]具体的，根据实际使用需求设定时间段，计算该时间段的采集的音调的变化，根据音调变化确定视频字幕播放类型控制信息。
[0135]所述处理器根 据音调变化的快慢来确定视频字幕播放类型控制信息，具体过程见图4对应的实施例的内容，此处不再赘述。
[0136]上述所有实施例中，所述处理器提取视频字幕文字信息的方式可以为:预先存储视频字幕文字信息，当需要生成视频字幕时，获取预先存储的视频字幕文字信息；或者，当需要生成视频字幕时，接收输入的视频字幕文字信息。
[0137]还可以包括:在视频播放的过程中，所述处理器采集视频中与字幕对应的语音提供者的语音信息；识别所述语音信息，生成与所述语音对应的文字信息。这样，不需要额外存储视频字幕文字信息或额外接收存储视频字幕文字信息，只需根据视频语音转化即可，简单方便。
[0138]并且，上述公开的所有实施例，在所述处理器采用所述视频字幕动画模型转化所述视频字幕文字信息，生成视频字幕之前，所述处理器还可以执行以下操作:
[0139]采集视频中与字幕对应的语音提供者的语音音量；
[0140]根据所述语音音量调整所述视频字幕动画模型的参数。
[0141 ] 具体的，所述视频字幕动画模型中的参数用于控制生成的视频字幕的动画效果的程度，当需要生成不同动画效果程度的视频字幕时，可以调整视频字幕动画模型的参数。
[0142]在视频的播放过程中，视频中的说话者的语音文字与字幕对应，采集说话者的语音音量，根据所述语音音量调整所述视频字幕动画模型的参数，生成不同动画效果程度的
视频字眷。
[0143]最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0144]本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
[0145]对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
【权利要求】
1.一种视频字幕生成方法，其特征在于，包括: 检测视频字幕播放类型控制信息； 获取与所述视频字幕播放类型控制信息相匹配的视频字幕播放信息； 确定与所述视频字幕播放信息对应的视频字幕动画模型； 提取视频字幕文字信息； 采用所述视频字幕动画模型转化所述视频字幕文字信息，生成视频字幕。
2.根据权利要求1所述的方法，其特征在于，所述检测视频字幕播放类型控制信息包括: 采集视频中与字幕对应的语音提供者的人脸表情信息。
3.根据权利要求1所述的方法，其特征在于，所述检测视频字幕播放类型控制信息包括: 接收用户输入视频字幕播放类型控制信息。
4.根据权利要求1所述的方法，其特征在于，所述检测视频字幕播放类型控制信息包括: 采集视频中与字幕对应的语音提供者的音调； 计算预设时间段的音调变化，确定与所述音调变化对应的视频字幕播放类型控制信肩、O
5.根据权利要求1所述的方法，其特征在于，所述提取视频字幕文字信息包括: 采集视频中与字幕对应的语音提供者的语音信息； 识别所述语音信息，生成与所述语音对应的文字信息。
6.根据权利要求1-5中任意一项所述的方法，其特征在于，生成视频字幕之前还包括: 采集视频中与字幕对应的语音提供者的语音音量； 根据所述语音音量调整所述视频字幕动画模型的参数。
7.一种视频字幕生成系统，其特征在于，包括: 检测器，用于检测视频字幕播放类型控制信息； 处理器，用于获取与所述视频字幕播放类型控制信息相匹配的视频字幕播放信息；确定与所述视频字幕播放信息对应的视频字幕动画模型；提取视频字幕文字信息；采用所述视频字幕动画模型制作所述视频字幕文字信息，生成视频字幕。
8.根据权利要求7所述的系统，其特征在于，所述检测器为图像采集器，用于采集视频中与字幕对应的语音提供者的人脸表情信息。
9.根据权利要求7所述的系统，其特征在于，所述检测器为接收器，用于接收用户输入的视频字幕播放类型控制信息。
10.根据权利要求7所述的系统，其特征在于，所述检测器为语音采集器，用于采集视频中与字幕对应的语音提供者的音调； 所述处理器还用于获取所述音调，计算预设时间段的音调变化，确定与所述音调变化对应的视频字幕播放类型控制信息。
11.根据权利要求7所述的系统，其特征在于，所述处理器提取视频字幕文字信息的方式包括: 采集视频中与字幕对应的语音提供者的语音信息；识别所述语音信息，生成与所述语音对应的文字信息。
12.根据权利要求7-11任意一项所述的系统，其特征在于，所述处理器还用于在生成视频字幕之前，采集视频中与字幕对应的语音提供者的语音音量；根据所述语音音量调整所述视频字幕动画模型的参数。
【文档编号】H04N21/83GK103945140SQ201310018669
【公开日】2014年7月23日 申请日期:2013年1月17日 优先权日:2013年1月17日
【发明者】赵永刚 申请人:联想(北京)有限公司