一种基于深度学习的照片音乐视频编排系统的制作方法

本发明涉及信息处理
技术领域：
，尤其涉及一种基于深度学习的照片音乐视频编排系统。
背景技术：
：在机器学习应用日趋成熟的时代，视频制作依然是一个相对比较复杂的流程，对相关人员要求一定的编排和相关资源收集和整理的能力，尤其是试图将照片融入视频中，其对照片的重新构图，动画，特效等，将会大大升高制作的复杂度，现有的视频/照片视频的制作软件通常仅能用视频本身进行加工，或将照片以幻灯片方式播放，前者受限于视频素材较少，后者受限于表现力。技术实现要素：本发明旨在提供一种基于深度学习的照片音乐视频编排系统，能够快速智能地制作音乐照片视频。为达到上述目的，本发明是采用以下技术方案实现的：本发明公开一种基于深度学习的照片音乐视频编排系统，s1、数据准备，包括：照片组p＝{p0，p1...pn}，视频组s＝{s0，s1...sm}，音乐；s2、将音乐切分为音乐段落q＝{q0，q1...qk}；s3、使用深度神经网络对照片组进行提取p′＝cnn_deep_feature(p)；s4、使用深度神经网络对视频组进行提取s′＝cnn_deep_feature(s)；s5、随机选择一张照片置于任意音乐段落，作为起始照片s6、将音乐段落的素材分配集合设为设的在的段落位置为s7、从段落位置开始计算中剩余所有的位置，其中剩余位置记为q，q∈{0....k}且计算应该放入剩余位置的最佳照片或最佳视频；s8、当中所有位置均确定分配的素材后，即为最终结果。优选的，步骤s2中，音乐的切分基于音乐节奏，使用人工或自动化工具。优选的，使用以下函数确认最佳照片，其中q为具体某个段落，p为照片集合中任意没有在中出现的照片。优选的，使用以下函数确认最佳视频，其中q为具体某个段落，p为照片集合中任意没有在中出现的照片，s为视频集合中任意没有在中出现的视频。优选的，将最佳照片或最佳视频确认为最佳素材，f(p，s)＝max(p，s)。本发明的有益效果：采用人工或自动化工具对音乐进行切点，使用深度神经网络分析照片和视频的关键内容，并使用循环神经网络将上述照片视频基于音乐切点进行融合，以达到快速智能地制作音乐照片视频的目的。附图说明图1为本发明的流程图。具体实施方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。如图1所示，本发明包括以下步骤：s1、数据准备，包括：照片组p＝{p0，p1...pn}，视频组s＝{s0，s1...sm}，音乐；s2、将音乐切分为音乐段落q＝{q0，q1...qk}，音乐的切分基于音乐节奏，使用人工或自动化工具进行切分；s3、使用深度神经网络对照片组进行提取p′＝cnn_deep_feature(p)；s4、使用深度神经网络对视频组进行提取s′＝cnn_deep_feature(s)；s5、随机选择一张照片置于任意音乐段落，作为起始照片s6、将音乐段落的素材分配集合设为设的在的段落位置为s7、从段落位置开始计算中剩余所有的位置，其中剩余位置记为q，q∈{0....k}且计算应该放入剩余位置的最佳照片或最佳视频，s7.1、使用以下函数确认最佳照片，其中q为具体某个段落，p为照片集合中任意没有在中出现的照片，s7.2、使用以下函数确认最佳视频，其中q为具体某个段落，p为照片集合中任意没有在中出现的照片，s为视频集合中任意没有在中出现的视频，s7.3将最佳照片或最佳视频确认为最佳素材，f(p，s)＝max(p，s)；s8、当中所有位置均确定分配的素材后，即为最终结果。实际使用的过程中，假设我们有照片3张，分别为p1，p2，p3，假设我们有视频7个，分别为s1，s2，s3，s4，s5，s6，s7，假设我们有音乐，其切分后段落为q1，q2，q3，q4，q5，这意味着我们需要在5个段落中分别填入照片或视频，通过步骤s1～s4，我们所设数据均为特征，可以被机器学习模型直接是做输入，其中cnn_deep_feature可以是任意现有卷积/非卷积图像神经网络包括但不限于开源和闭源的各种现有模型，其特征可以是卷积层后任意一层输出(具体层需要进行人工选择)rnn模型是一个序列模型可以是现有任意序列模型包括但不限于rnn、lstm、gru等，通过对序列中的上文和下文，可以计算出最匹配的未知项，通过步骤s5，随机选择一张图片后，段落状态可能如下:q1q2q3q4q5未分配未分配q2未分配未分配其中q2为随机分配的初始照片s7的计算流程中，我们需要逐一对q1，q2，q4，q5进行计算最佳段落素材.直到所有的q都被填充为止。当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。当前第1页12