一种组合数据的方法与流程

文档序号:17733383发布日期:2019-05-22 03:00阅读:188来源:国知局
一种组合数据的方法与流程

本发明涉及一种组合数据的方法,其中一些数据对应于具有预定持续时间的音频,并且其他数据对应于具有由用户定义的持续时间的视频。在一个实施例中,本发明涉及将与用户所捕获的视频有关的视频数据和具有预定持续时间的音频有关的音频数据进行组合。



背景技术:

视频通常伴随有并非与视频同时记录的音乐。这些视频可以将原始音频移除并替换为与视频同时播放的背景音轨(backingtracks),或者可以简单地在视频之上播放背景音轨。背景音轨是预先记录或创建的一定长度的音乐片段,以便于作为伴奏添加到视频中。

为了使背景音轨适合视频,背景音轨应与视频同时停止。由此,避免音频在预期的完成时间之前停止而导致突然停止。为此,能够使用编辑软件对背景音轨进行手动编辑以与视频同时结束。这可以通过例如剪切背景音轨长度以移除整段,或者添加第二背景音轨的方式实现。

手动编辑背景音轨十分耗时并且需要专门的软件来实现,此外,因为视频持续时间可能变化很大,编辑结果经常不令人满意。并且,对视频的任何编辑都需要进一步手动编辑背景音轨以确保同步。

发明的内容

在权利要求中说明了一项发明。

本发明公开了一种组合数据的方法。该方法包括接收视频数据,该视频数据对应于具有由用户确定的视频持续时间的记录视频。选择背景音频数据,该背景音频数据对应于具有预定持续时间的背景部分的背景音频。背景部分也可称为背景音轨。确定预定持续时间和视频持续时间之间的差异,并且修改背景音频数据。背景音频数据的修改包括基于视频持续时间调整预定持续时间以创建调整后的预定持续时间,调整后的预定持续时间使得可以同步地同时输出背景音频和记录视频。本文还公开了一种用于执行上述方法步骤的装置。

通过上述步骤,可以完美地同步输出视频和背景部分的背景音频。可以使用具有视频记录功能的任何设备捕获视频,例如智能手机或平板电脑。完成捕获后,设备上的软件会自动选择伴随音频的背景部分。由于背景部分是在独立于视频记录的不同时间创建的,因此不可避免地,背景部分的持续时间与记录视频的持续时间不同。由此,设备调整背景部分使得视频和背景音频完美同步。完美的同步是通过具有相同持续时间的背景音频和视频实现。因此,当两者同时播放时,两者在同一时刻结束。

背景部分的调整使得背景部分的持续时间与原始持续时间不同。当以不添加或剪切音乐部分的方式延长或缩短音乐的持续时间时,可能对音乐的音高产生影响,由此期待尽可能少地调整背景部分的持续时间。可以通过背景部分的选择来实现最小限度地调整背景部分的持续时间以匹配视频的持续时间。以这种方式,能够最小化背景部分的任何音乐失真。

在自动选择之前,软件能够向用户提供筛选特定音乐类型或其他特征的选项。在这种情况下,背景部分的选择限于该音乐类型或特征的背景部分。

在调整背景部分以与视频创建完美同步之后,可以在无缝且无限循环(loop)中对两者进行同时播放。背景部分的循环可以通过将背景部分重复插入音频缓冲器中实现。或者,视频和背景部分可能只循环几次并输出到包含两者的一些循环的单个文件中。可以将该文件发送到另一个设备或进行在线共享。

除了对背景部分进行调整以匹配视频外,来自视频的原始音频也可以与旋律部分相匹配。该旋律部分可以是自动地与背景部分相关联并且以与背景部分相同的方式调整的旋律部分。来自视频的匹配音频通过修正或调整音高的方法获得旋律部分的音高特征。然后,可以将所匹配的音频与背景部分一起存放在音频缓冲器中,以使得视频、匹配后的音频和背景部分可以一起根据需要在循环中无限地播放。

在创建无限循环之后,能够使用可以改变背景部分和/或旋律部分的效果的筛选器(filter)。可以通过例如在设备的触摸显示器上向左或向右滑动来执行这种筛选器选择。在选择新的筛选器之后,设备根据筛选器自动选择新的背景部分和/或旋律部分,以便自动输出完全不同的循环。因此,用户能够快速有效地改变输出的视频循环,而不必捕获任何新数据。

附图说明

接下来,通过参考附图与实施例对本发明进行说明。

图1为显示组合音频数据的方法的流程图。

图2为显示创建音频和视频循环的方法的流程图。

在整个说明书和附图中,相同的附图标记表示相同的部件。

具体实施方式

总的来说,本发明公开了一种将具有用户定义的持续时间的视频数据与预定持续时间的音频数据相组合的方法。因上述两种持续时间不可避免地不同,所以该方法调整预定持续时间,由此能够输出具有相同的持续时间的音频数据和视频。一旦完成,两者可以在无限且无缝的循环中同时播放,并且没有任何例如静音部分的音频伪影。

音频数据能够对应于具有一定持续时间的背景部分,其中,持续时间由背景部分中的节拍数和背景部分的每分钟节拍限定。背景部分的节拍是形成音乐小节的一部分的音乐节拍。许多音乐节拍组成了一个音乐小节。

图1示出了实现要输出的组合音频的顺序步骤的流程图100。

在步骤102中,设备接收视频数据。视频数据对应于包括视频和音频分量的记录视频的持续时间。设备可以通过外部设备接收视频数据,或者设备本身能够具有记录视频的功能。例如,设备用户记录或捕获视频以创建视频数据。该设备是能够记录视频的任何类型的设备,例如具有集成相机的智能电话或平板电脑。实际上,能够使用任何具有相机和视频记录功能的设备。所记录的视频将捕获用户定义的特定持续时间的脚本(footage)。可以使用传统的“开始记录”和“停止记录”功能,或本领域已知的任何其他传统方式来控制脚本的长度。例如,用户可以按压设备触摸屏的例如红色圆圈的特定区域,使得设备上的软件使用设备的相机和麦克风进行记录。再次按下相同的触摸屏区域使软件停止记录视频和音频。或者,按住触摸屏区域使设备的摄像头和麦克风开始记录,释放触摸屏区域使设备的摄像头和麦克风停止记录。

该设备在存储器中具有预设背景部分的列表。这些背景部分是具有不同持续时间的音频文件。每个背景部分由许多音乐节拍定义。每个背景部分可以是从音乐上讲的,通过重复播放相同的背景部分而产生的对听众“有意义”的音频。换句话说,背景部分的音乐结束(即最后一个节拍)被设置成进入相同背景部分的音乐开始(即第一拍)以产生连续的音乐音轨。

存储在设备上的音乐数据通常以压缩格式存储。当创建音乐数据(musicaldata)并将其导出以存储在设备上时,由于压缩格式,设备上的软件读取该数据时可能导致伪影。例如,这可能是软件对音乐数据执行解码处理而导致的。这种伪影可能是去除音乐数据的结束部分。实际上,这意味着当由设备上的软件进行解码时,移除了所存储的背景部分的末尾的时间段。这导致背景部分过早地停止,或者背景部分包括无声部分。因此,为了使背景部分与视频或其他数据完美同步,有必要将背景部分存储在考虑到这一问题的设备上。

本文公开了上述问题的解决方案。在背景部分的末端,可以具有从背景部分的终点开始的附加的背景部分。附加的背景部分是在背景部分结束后运行的额外的持续时间。例如,附加背景部分可以重复背景部分的第一节拍,或实际上任何数量的节拍或持续时间。由此,每个背景部分可以作为背景数据存储在背景文件中,该背景文件具有定义背景部分的多个节拍,以及具有在背景部分的音乐结束之后具有至少一部分节拍的附加背景部分。例如,背景部分可以是16节拍,附加背景部分是所重复的背景部分的第一节拍。由此,在这一示例中,背景文件总共有17个音乐节拍。

通过在背景部分之后具有附加的背景部分,背景文件的压缩和解码将不会导致移除任何背景部分。而只会影响附加的背景部分。背景文件在解码后仍完整地包括背景部分。具有背景部分和附加背景部分的背景文件是可选的,背景文件可以仅包括背景部分。

在步骤104中,软件从预设的背景部分列表中自动选择所存储的背景部分。可选地,在自动选择之前,设备上的软件可以允许设备的用户通过添加多个不同筛选器中的筛选器来指定所期待的音乐风格。预设背景部分的列表能够包括多组背景部分,每组具有与其相关联的不同筛选器特征,每个筛选器特征对应于多个不同筛选器中的一个。可以通过将筛选数据包括为每个背景部分的背景数据的一部分的方式对背景部分进行分组。筛选数据包括关于背景部分的筛选特征的信息。为进行筛选,分享相同筛选数据的背景部分以及相同的筛选特征在背景部分的同一组中。例如,用户可以从多个不同的筛选器中选择“摇滚”筛选器。通过选择该筛选器,背景部分的自动选择将局限于具有相应“摇滚”筛选器特征作为筛选数据的组中的背景部分。例如,可以通过下拉菜单向用户呈现不同的筛选器选项来实现筛选,也能够通过许多其他方法。作为另一示例,可以通过用户“滑动”设备的触摸屏来添加或更改筛选器,每个屏幕对应于不同的筛选器。

如将理解的,根据背景部分中的节拍数和背景部分的每分钟节拍数(bpm),通过将节拍数除以bpm来确定每个背景部分的持续时间。bpm值是播放一分钟背景部分时所输出的音乐节拍数。例如,如果背景部分的bpm为60且具有10节拍,则背景部分的持续时间为10秒。

设备上的软件基于在步骤102中的通过视频数据定义的脚本的持续时间自动确定要选择的最合适的背景部分。当每个背景部分是包括附加背景部分的背景文件的一部分时,出于步骤104的目的,设备基于背景部分持续时间自动确定。由于视频脚本的持续时间不是预定的并且可以是任何长度,因此由软件选择的背景部分不可避免地具有与视频脚本的持续时间不完全匹配的持续时间。由此,自动选择的背景部分是具有最接近视频脚本的持续时间的持续时间的背景部分。

可选地,设备上的软件可以将视频脚本的持续时间限制在预定的最长持续时间内,例如10秒。由此,软件可以记录最长达10秒的视频,并且在记录10秒视频后自动停止记录视频。

或者,所选择的背景部分可以是背景部分持续时间在持续时间上最接近视频脚本持续时间的特定分数倍的背景部分。该分数倍能够使得背景部分持续时间的整数倍近似于或接近脚本的总持续时间。相反,该分数倍能够使得脚本总持续时间的整数倍近似于或接近所选择的背景部分的背景部分持续时间。例如,所选择的背景部分可以是列表中具有最接近视频脚本总持续时间的一半的背景部分持续时间的背景部分,使得背景部分持续时间的两倍最接近于总的脚本持续时间。作为另一示例,所选择的背景部分可以是列表中的具有最接近视频脚本总持续时间的两倍的背景部分持续时间的背景部分,使得背景部分持续时间的一半最接近于总的脚本持续时间。由此,分数是分子为1且分母为1以外的整数的任何分数,例如1/2、1/3、1/4等;或分母为1分子为1以外其他整数,例如2/1、3/1、4/1等。换句话说,背景部分持续时间与脚本总持续时间的比是1:n或n:1,其中n是大于1的整数。

在任何上述示例中,自动选择的背景部分可以不是背景部分持续时间最接近脚本持续时间或者脚本持续时间的分数倍的背景部分。相反,自动选择可以是选择在脚本持续时间的阈值百分比内的背景部分持续时间的背景部分。例如,背景部分持续时间可以是脚本持续时间的90%,由此,可以选择具有该背景部分持续时间的背景部分。阈值百分比可以是任何百分比,但理想情况下接近脚本持续时间的100%。例如,阈值可以是脚本持续时间的正负10%,或者换言之,在脚本持续时间的10%内。自动选择还可以基于背景部分持续时间在脚本持续时间的分数倍的阈值百分比。该分数倍与先前描述的分数倍相同。在存在多个具有阈值内的背景部分持续时间的背景部分时,设备上的软件进行随机选择。所讨论的10%以内的阈值的情况仅作为示例,可以使用其他百分比的阈值。

尽管在上述内容中根据脚本持续时间的百分比说明阈值,但可以使用其他阈值。例如,可以基于在阈值范围内所要求的bpm调整来选择背景部分。所选择背景部分只能是在所需的bpm中调整其原始bpm的正负5bpm范围,或者换句话说在其原始bpm的5bpm内。作为示例,如果背景部分具有100bpm并且所期待的bpm是104bpm(关于下面的步骤108讨论),因bpm调整在原始100bpm的5bpm范围内,可以选择该背景部分。如果背景部分为90bpm,因为在此示例中,90bpm需要调整超过5bpm才能达到所需的bpm,因此会选择不同的背景部分。上述讨论中的5bpm内的阈值仅作为示例,也可以使用其他bpm阈值。

在一个实施例中,每个背景部分的音乐节拍的数量是相同的。在这种情况下,仅背景部分的bpm的差异导致背景部分持续时间不同。例如,如果每个背景部分具有16个音乐节拍,那么bpm为60的背景部分将具有16秒的背景部分持续时间,并且bpm为100的背景部分将具有9.6秒的背景部分持续时间。因此,对于该实施例,出于自动选择背景部分的目的,“bpm”实际上与“持续时间”相同。

如果每个背景部分的音乐节拍的数量相同,则可以基于视频脚本的持续时间确定背景部分的期待bpm。例如,如果视频脚本的持续时间为9秒,那么在知道每个背景部分均为16个节拍的情况下,背景部分的所期待的bpm是持续9秒的16次节拍的bpm。在这种情况下,期待的bpm是106.7。因此,尽管在步骤104仍然基于具有最接近脚本的持续时间(或脚本持续时间的特定分数倍)的背景部分持续时间自动选择背景部分,但是在这一实施例中,可以通过自动选择具有最接近所需bpm的bpm的背景部分来实现。在这一示例中,所选择的背景部分为具有最接近106.7的bpm的背景部分,这意味着背景部分持续时间最接近脚本持续时间。

通常,在存储在设备上的每个背景部分的音乐节拍的数量相同的情况下,视频脚本的持续时间允许计算期待的bpm。在步骤104中自动选择的背景部分是具有最接近期待bpm的bpm的背景部分。因此,这是背景部分持续时间最接近脚本持续时间的背景部分。以与先前描述的相同的方式,可替代地,所选择的背景部分是具有最接近期待bpm的特定分数倍的bpm的背景部分。该分数倍可以使得背景部分bpm的整数倍近似于或接近期待的bpm。相反,该分数倍也可以使得期待bpm的整数倍近似于或接近背景部分bpm。

在另一个实施例中,至少一些背景部分同时具有不同的bpm和不同数量的节拍。因此,背景部分的持续时间的差异是由不同数量的节拍和不同的bpm引起的。

通常,无论背景部分是否具有相同或不同数量的节拍,可以根据持续时间来讨论背景部分的自动选择。例如,脚本的总持续时间可能为10秒。预设背景部分的列表可包括具有7秒背景部分持续时间(由背景部分的bpm和节拍数确定)的背景部分,以及具有9秒背景部分持续时间的另一背景部分。由此,因更接近总的脚本持续时间,该设备自动选择具有9秒背景部分持续时间的背景部分。9秒是10秒的90%,而7秒只是10秒的70%。因此,9秒代表接近脚本总持续时间的100%的百分比。

作为另一个例子,脚本可以具有10秒的总持续时间,并且预设背景部分的列表可以包括具有7秒背景部分持续时间的背景部分,以及具有4秒背景部分持续时间的背景部分。尽管具有7秒背景部分持续时间的背景部分更接近总的脚本持续时间,但是,设备自动选择具有4秒背景部分持续时间的背景部分,因该持续时间接近脚本总持续时间的1/2(5秒)。4秒是5秒的80%,而7秒仅是10秒的70%。因此,4秒代表接近100%的脚本持续时间的百分比的百分比。

作为另一个例子,脚本可以具有5秒的持续时间,并且预设背景部分的列表可以包括具有8秒的背景部分持续时间的背景部分,以及具有11秒的背景部分持续时间的背景部分。虽然具有8秒背景部分持续时间的背景部分更接近脚本持续时间,但在这种情况下,设备自动选择具有11秒背景部分持续时间的背景部分,因其更接近脚本持续时间的2/1(10秒)。11秒是10秒的110%,而8秒是5秒的160%。因此,11秒代表接近100%的脚本持续时间的百分比的百分比。

在背景部分均具有相同数量的节拍的实施例中,自动选择基于如上所述的bpm。例如,脚本可以具有9秒的持续时间。如果背景部分具有例如16个节拍,则期待的bpm计算为106.7,即使得16次节拍持续9秒的bpm。预设背景部分的列表可包括bpm为90的背景部分和bpm为110的背景部分。此时,该设备自动选择更接近期待的bpm的110bpm的背景部分。90是106.7的84%,而110是106.7的103%。因此,110的bpm表示更接近期待bpm的100%的bpm。换句话说,110bpm背景部分的背景部分持续时间更接近总的脚本持续时间。上面讨论的相同原理同样适用于该实施例。因此,所选择的背景部分可具有小于期待bpm的bpm,即,背景部分持续时间长于脚本总持续时间,或者可具有更接近期待bpm的分数倍的bpm,即,背景部分持续时间更接近脚本总持续时间的分数倍。

通过bpm或其他方式,例如尽可能接近脚本总持续时间的100%,或脚本总持续时间的分数倍的100%,自动选择具有背景部分持续时间的背景部分,能够最小化对所选择的背景部分的调整,对此,将在步骤108中更详细地描述。

在预设背景部分的列表中可以包括具有相同背景部分持续时间的多个背景部分,在这种情况下,设备随机选择这些背景部分中的一个。

在背景文件可选地包括附加背景部分以及所选背景部分的情况下,该方法前进到步骤106。在步骤106中,从背景文件中提取背景部分。设备或设备上的软件可以通过以特定采样率对存储的背景文件进行采样的方式从背景文件中提取背景部分。技术人员会将采样率理解为每个时间段采样的数量,通常为每秒。基于了解背景部分中的节拍数和背景部分的bpm,设备可以如前所述地计算背景部分的持续时间。通过了解背景部分的持续时间,设备可以计算必须采取的样本数量,以便到达背景部分的末端(不进入附加的背景部分)。例如,如果设备以每秒50000个样本对背景文件进行采样,并且如果背景文件的背景部分计算为5秒,则会从背景文件中提取250000个样本以从背景文件中提取背景部分。

在每个背景部分具有相同数量的节拍的情况下,如前所述地,bpm有效地确定持续时间,并且提取是指从背景文件中提取预定数量的节拍。例如,如果每个背景文件包含17个节拍的背景数据,其中,前16个节拍是背景部分,则根据背景部分的bpm可以计算前16个节拍的持续时间。由此,该设备获取提取对应于前16个节拍的持续时间所需的样本数。

可替代地,可以通过在特定点之后移除所有背景数据的方式进行提取。例如,如果背景文件具有17个节拍的背景数据,并且背景部分是该背景数据的16个节拍,则软件会在16个节拍后删除所有数据。在背景部分具有不同数量的音乐节拍的情况下,软件通过移除标记背景部分的末端的特定点之后的背景数据来提取背景部分。

在从背景文件中提取背景部分之后,该方法进行步骤108,以调整自动选择的背景部分的背景部分持续时间。

在步骤108中,在自动选择背景部分之后,确定所选背景部分的背景部分持续时间与脚本持续时间之间的差异。这种差异是由于用户以模拟方式控制脚本持续时间,而背景部分持续时间是预定的所导致的。接着,响应于确定差异,调整背景部分持续时间以匹配脚本的持续时间,或者匹配脚本的持续时间的分数倍。

作为示例,背景部分可具有9秒的背景部分持续时间,并且所记录的脚本可具有10秒的总持续时间。因此,对背景部分进行调整使得背景部分持续时间也为10秒。这通过对背景部分进行“时间拉伸”来实现,由此在该特定示例中,放慢背景部分原速(tempo)以将背景部分持续时间延长到10秒。在这一示例中,背景部分的调整是减小所选背景部分的bpm。

相反,作为另一示例,背景部分可具有10秒的背景部分持续时间,并且所记录的脚本可具有9秒的总持续时间。在这一示例中,加快背景部分原速以将背景部分持续时间缩短至9秒。在这一示例中,对背景部分的调整是增加所选背景部分的bpm。

作为另一示例,背景部分能够具有5秒的背景部分持续时间,并且所记录的脚本可以具有10秒的总持续时间。在这一示例中,通过重复一次背景部分来调整背景部分,使得两个5秒的背景部分的连续播放。在这一示例中背景部分的调整是背景部分的重复。

当基于具有最接近脚本总持续时间的分数倍的背景部分持续时间来选择背景部分时,上述示例一起发挥作用。例如,背景部分可具有5秒的背景部分持续时间,并且脚本可具有10.6秒的总持续时间。在这种情况下,从列表中选择5秒背景部分,因为它是脚本持续时间的1/2(5.3秒)的94%。然后如前所述地,通过降低bpm将5秒背景部分时间拉伸至5.3秒,并重复一次以使背景部分总持续时间达到10.6秒。在这一示例中,降低bpm和重复得到“时间延长”的背景部分的方法都用于调整背景部分以与脚本总持续时间相匹配。能够理解,在其他情况下,如果所选择的背景部分具有稍微超过但非常接近脚本总持续时间的分数倍的背景部分持续时间,进行重复之前增加bpm可能是合适的。

类似地,相比重复所选择的背景部分,能够可替代地重复脚本。当分数倍是不适合的分数时,例如2/1(即背景部分持续时间最接近脚本总持续时间的两倍),脚本的总持续时间将重复一次,并且根据需要调整所选择的背景部分的bpm以将背景部分持续时间匹配到双倍的脚本持续时间。

通过以上步骤,最小化对背景部分的调整量。这一步骤十分有益,因为改变预设背景部分的bpm会改变音乐的音高,使背景部分与其原始声音相比失真。如果明显改变bpm,则对用户来说音乐听起来将并不悦耳,因此,上述步骤最小化了预设背景部分中的bpm变化。

尽管上面的示例中对有或没有bpm改变时的只重复一次背景部分的情况进行讨论,然而背景部分能够需要重复多次。例如,如果所选择的背景部分具有最接近脚本总持续时间的1/3的背景部分持续时间,则背景部分将重复两次(在任何必要的原速改变之后),即连续播放三次。根据最接近所选背景部分的分数倍,可以进行任意次数的重复。类似地,在分数倍是不适当的分数的情况下,脚本也可以重复任何次数以接近背景部分持续时间。

在步骤110中,选择旋律部分。该设备可以在存储器中具有与每个背景部分相关联的一个或多个旋律部分。每个旋律部分可以作为旋律数据存储在旋律文件中。这些旋律部分是具有不同持续时间和音调的音乐,即传统意义上的不同旋律。这样的旋律部分可以由单个音符形成,或者也可以替代地包括和弦。每个旋律部分具有与相关联的背景部分相同的节拍和持续时间。旋律部分的bpm也与其相关的背景部分的bpm相同。

旋律部分的选择可以由设备上的软件自动执行,或者可以由用户手动选择。在自动选择旋律部分时,可以基于在步骤104选择的背景部分进行选择。每个背景部分可以仅具有与其相关联的单个旋律部分,由此,特定背景部分的选择自动选择特定的旋律部分,因为只有一个旋律部分可用。或者,每个背景部分可以具有与其相关联的多个旋律部分的列表。在这种情况下,设备可以从列表中随机地自动选择一个旋律部分,或者可以使用用户输入从列表中选择特定的旋律部分。

可选地,旋律文件可以包括附加旋律部分以及旋律部分。附加旋律部分是在旋律部分结束之后的额外的持续时间。附加旋律部分对应于相关联的背景部分的附加背景部分,并且设置该附加旋律部分的原因与上述的提供附加背景部分的原因相同。例如,附加旋律部分也可以是重复旋律部分的第一节拍,或者实际上任何数量的节拍或持续时间以对应于背景文件的附加背景部分。

在旋律文件可选地包括附加旋律部分以及所选择的旋律部分的情况下,方法前进到步骤112。在选择旋律部分之后,在步骤112中,以与步骤106处的背景部分相同的方式从旋律文件中提取旋律部分。

在步骤114中,对旋律部分进行调整使其持续时间与相关联的背景部分(已在步骤108中完成调整)相同。默认情况下,所选定的旋律部分通过具有相同的bpm和节拍数来“适合”与其相关的背景部分。换句话说,因为旋律部分的持续时间将不再与调整后的背景部分同步,因此,需要以与对背景部分的调整方式相同的方式对旋律部分进行调整。由此,在步骤106中对背景部分的调整步骤同样应用于与其相关的旋律部分。这包括背景部分以及伴随此的旋律部分的任何重复,这可能是匹配脚本的总持续时间所必需的。因此,旋律部分以与其相关的背景部分相同的方式得到调整。

在步骤116中,来自视频脚本的音频被移除并与所选择的,调整的旋律部分相匹配。这可能需要如前所述的重复旋律部分或音频,使得两者的持续时间相同。当持续时间相同时,可以通过传统的音高修正或音高调整在不失去同步的情况下实现匹配。音高修正或音高调整技术是本领域普通技术人员所公知的,因此将不再详细描述。音高修正用于修改从视频脚本中获取的音频,使得音频具有与旋律部分相同的音高。技术人员熟悉各种音高修正方法,并且可以应用任何适当的方法将来自视频脚本的音频与旋律部分进行匹配。如本领域技术人员所理解的,音高修正的示例有声音编码。步骤116的输出是匹配后的音频。所匹配后的音频是来自与旋律的音高匹配的视频的音频。如果视频的音频中存在静音部分,则这些静音部分也将出现在匹配后的音频中。

在步骤118,组合视频脚本(没有原始音频,并且如果必要的话进行重复以匹配如前所述的背景部分持续时间)、背景部分(需要时,进行重复以匹配视频脚本的持续时间)和步骤116的所匹配的音频以连续循环进行重放。下面将结合图2说明循环。

在步骤120中,循环(a)视频、(b)背景部分和(c)步骤116的所匹配音频可以在步骤102记录视频的设备上作为单个无限且无缝循环进行输出。随着背景部分、匹配后的音频以及视频通过前面的步骤实现同步,背景部分、相匹配的音频和视频因实现无缝循环而保持同步。

通过步骤106和112去除音频伪影确保了当分别从背景文件和旋律文件中提取时,背景部分和旋律部分不受可能引入的伪影的影响。如前所述,可能由于对压缩文件进行解码而存在上述伪影。简言之,步骤106和112防止不需要的段落或部分分别影响背景部分和旋律部分。

去除可能存在于背景部分和/或旋律部分末端的音频伪影确保循环中没有静音部分或其他不需要的部分。即使与视频保持同步,循环中的静音也会导致所合成的循环声音不连续与中断。因此,去除静音部分改善循环的连续和无缝的特征。

此外,如果这些伪影导致数据被添加到背景部分或旋律部分的末端,或者,从背景部分或旋律部分移除,例如对应于额外的静音节拍的数据,则这些部分的持续时间也将受到影响,使得循环可能会导致视频和背景/旋律之间出现同步问题。如本领域技术人员所理解的,由于持续时间不匹配的伪影将导致所合成的循环随着时间不再同步。因此,通过去除上述音频伪影能够确保视频和音频之间保持同步。

或者,在步骤122中,循环的视频、背景部分和步骤106的匹配后的音频可以仅作为有限的循环而只循环设定的次数。例如,有限循环可以是在停止之前输出三次循环的单个视频文件,但能够包括仅输出一次在内的任何其他次数。可以通过步骤102中用于记录视频的设备上播放有限循环文件,或者可以将有限循环文件上传到外部设备或平台。例如,可以将文件上传到社交媒体平台。作为另一示例,可以将有限循环文件发送到不同设备以在不同设备处重放。

或者,可以将用于在步骤118中实现无限循环和无缝循环的特定软件设置以及视频脚本发送到具有相同软件的另一设备,以用于在另一设备上输出。以这种方式,仅通过接收设置和视频脚本,另一设备上的软件可以使另一设备输出无限循环,或者创建步骤122的有限循环。

应当注意,步骤110至116是可选的,由此,背景部分和视频(具有或不具有原始音频)能够是在步骤118或120处循环的唯一元素。

当背景部分和旋律部分最初存储在设备上的背景文件和旋律文件中,并且背景文件和旋律文件不包括附加背景部分或旋律部分时,步骤106和112是可选的。

尽管在步骤104中,用户可以可选地添加筛选器(例如,可以如前所述地指定特定类型的音乐),但是在步骤124中,可选地,软件可以额外地或替代地允许用户在步骤120之后添加或更改筛选器。换句话说,用户可以在已经到达步骤120并且循环(a)视频、(b)背景部分和(c)步骤116的匹配后的音频之后作为单个无限无缝循环得到输出之后,基于添加或更改筛选器改变背景部分以及旋律部分。添加或更改筛选器可以通过在步骤120之后或作为步骤120的一部分使用软件向用户呈现选择筛选器的选项方式实现。这可以通过任何常规手段实现,例如通过在设备的显示器上显示筛选器选项按钮,或者通过提供包含供选择的不同筛选器选项的下拉菜单。这些选项可以包括音乐风格筛选器,例如“摇滚”、“古典”或“流行”,但也可以呈现许多不同的筛选器。在一个实施例中,添加或选择筛选器可以通过设备的触摸显示器上的手势实现。例如,如前所述,向左或向右滑动可以添加或改变筛选器。

在步骤120之后仅向用户呈现添加筛选器的选项的情况下,背景部分的选择可能基于默认筛选器。例如,在没有用户输入的情况下,默认筛选器可以将背景部分的自动选择限制在具有特定筛选器特征的那些背景部分,即将某些筛选数据作为背景数据的一部分,例如具有“摇滚”筛选器特征的背景部分。或者,如果在步骤120之前没有添加筛选器,则该过程可以将所有存储的背景部分作为可能的选项,其中,具体的背景部分是基于如前所述的背景部分持续时间选择的。

当添加或更改筛选器时,处理过程在步骤104再次重新开始,并且自动选择不同的背景部分。不同背景部分的选择基于从具有相同筛选特征的一组背景部分自动选择背景部分,该筛选特征对应于所添加的筛选器。例如,当添加“经典”筛选器时,该过程在步骤104再次开始并自动从具有“经典”筛选器特征的背景部分的组中选择背景部分。尽管描述了背景部分的“组”,但是可能只存在具有各筛选器特征的单个背景部分,因此更改或添加筛选器可以意味着自动选择具有与所述筛选器对应的筛选器特征的背景部分。

尽管改变背景部分也被描述为改变旋律部分,但是筛选器可以仅应用于旋律部分,因此这将与背景部分隔离地改变。在这种情况下,当更改或添加筛选器时,过程在步骤110再次重新开始并且选择不同的旋律部分。不同旋律部分的选择基于自动选择具有与所选筛选器对应的筛选器特征的旋律部分。在这种情况下,每个旋律部分的旋律数据还包括筛选数据,该筛选数据包括关于旋律部分的筛选器特征的信息。

因此,步骤124在较早时间点处自动重启所述过程,以在步骤120提供非常不同的输出。这允许用户通过简单地添加或改变筛选器来快速且有效地改变背景部分和/或旋律部分。因此,可以基于用户的期待自动改变输出,而不必捕获任何新数据。因此,可以基于相同的捕获数据提供多个不同的输出。

虽然背景文件、背景数据、背景部分、旋律文件、旋律数据和旋律部分被描述为存储在输出图1的同步视频和音频的设备上,但是这样的数据可以替代地存储在外部设备或服务器上并由设备检索以在适当的时间执行各步骤。例如,步骤104可以包括通过与外部设备的数据连接从存储在外部设备上的预设背景部分列表中选择背景部分,并且步骤110可以包括通过与外部设备的数据连接从存储在外部设备上的预设旋律部分列表中选择旋律部分。

作为另一示例,第一设备可以捕获视频,第二设备可以执行所有步骤102-124。或者,第二设备可以仅执行步骤102至118,并且第一设备可以执行步骤120。在这种情况下,第二设备通过从第一设备发送捕获的视频来执行步骤102。

图2是更详细地示出了步骤110的视频脚本、背景部分和可选的匹配音频的组合和循环的流程图200。图1的步骤102到110使得视频和音频同步。因此,如果视频和音频同时输出,则两者将同步并在同一时刻结束。然而,由于该输出可能具有相对短的持续时间(取决于步骤102的视频脚本的持续时间),因此可能需要多次重复同步的视频和音频。重复音乐具有提高音乐吸引力的效果,这是因为人们对于音乐具有喜欢重复听相同内容的倾向。换句话说,重复音乐使音乐更加“吸引人”。

实现此目的的一种方法是创建单个文件,其中同步的视频和音频重复固定次数。结果可能是,例如,将同步的视频和音频数据连续三次放在一起,以创建三倍长的单个文件输出。这将在保持视频和音频之间的同步的情况下实现更长的输出,因为两者具有相同的持续时间。然而,许多设备在音频的开头或结尾处实现短的静音部分,这意味着重复音频将不是无缝的,因为静音部分将打破流动。静音部分可以是某些循环软件系统的伪影,或者可能在音频文件的导出或压缩期间引入(如前所述)。除了静音部分的问题之外,结果文件将比原始数据更大(在这种情况下,是原始数据的三倍),因此在设备中占用额外的存储器。创建其中同步的视频和音频重复固定次数的单个文件的缺点在于其无法实现无限循环的重放。用户必须在播放结束时重新打开文件才能再次收听/看到该文件。这不适于直到用户手动停止为止持续播放的无限循环的情况。

在传统方式中,如上所述,由于可能在循环的开始和/或结束处产生静音部分,循环音轨可能导致循环的问题。因此,循环整个音频音轨的一些传统方式将导致不完美的非无缝循环。当音频与视频同步时,这一问题会变得更大,因为由于静音部分使得音频可能会逐渐跟不上视频时间。其他伪影也可能存在于使用一些传统方法创建的音频循环中。

图2的过程实现无缝且无限的循环,同时最小化额外的数据存储并且不会失去与记录脚本的同步。该过程是自动的,无需用户干预即可生成无缝循环。

在步骤202中,创建音频缓冲器。音频缓冲器可以由在记录视频的设备上的软件创建。

在步骤204,将背景部分和步骤110的匹配音频同时置于音频缓冲区中创建循环部分。循环部分可以包括重复的背景部分以匹配视频脚本和匹配音频的持续时间。循环部分包括在时间上同步并在相同的时间点结束的背景部分和匹配后的音频。因此,可以通过将循环部分根据期望连续多次放置在音频缓冲器中来创建连续且无缝的循环。将循环部分重复放在音频缓冲区中会产生无限循环。

在步骤206,可以与循环部分同时输出所记录的脚本(没有原始音频)。

在脚本持续时间小于循环部分的持续时间的情况下,对于循环部分的每个单个输出,可以以常规方式多次重复所记录的脚本(没有原始音频)。例如,如果循环部分的持续时间是脚本的两倍,则对于循环部分的每一次播放,可以重复两次脚本。

由于循环部分的持续时间恰好等于记录的脚本持续时间,或者恰好等于记录的脚本持续时间的倍数,因此两者可以完美地同步输出。连续重复记录的脚本(没有原始音频),连同将循环部分连续放置在音频缓冲器中,创建了视频和音频的无缝且无限循环,其可以根据需要循环多次。

或者,在步骤208,可以同时输出所记录的脚本(没有原始音频)和循环部分以无缝地循环设定的次数。例如,循环部分可以放置在缓冲器中三次,以便在重复时与所记录的脚本(没有原始音频)一起播放三次。该固定循环可以呈现为用于在同一设备上下载、发送到另一设备或上传到服务器的文件。例如,这样的服务器可以托管社交媒体平台,例如因此上传可以将固定循环上传到社交媒体。

可以看出,通过简单地记录包括音频的视频,可以快速且自动地创建整首歌曲,而无需用户的任何进一步输入。自动选择和调整背景部分,使得背景部分和音频完全同步,并且还自动选择旋律部分以用于音频的音高修正。结果是输出具有完美同步的背景和旋律,并且能够以固定或无限次数播放。输出还包括与背景和音频完美同步的视频,使得该过程还自动创建音乐视频。

上述各种方法可以由计算机程序产品实现。位于捕获视频的设备上的软件是该计算机程序产品的示例之一。该计算机程序产品可以包括计算机代码,该计算机代码用于指示计算机或该设备执行上述各种方法中的一个或多个的功能。可以将用于执行这些方法的计算机程序和/或代码提供给计算机可读介质或计算机程序产品上的装置,例如计算机或设备。计算机可读介质可以是暂时的或非暂时的。计算机可读介质可以是例如电子、磁、光、电磁、红外或半导体系统,或用于数据传输(例如用于通过因特网下载代码)的传播介质。或者,计算机可读介质可以采用物理计算机可读介质的形式,例如半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器(ram)、只读存储器(rom)、硬磁盘和光盘,例如cd-rom、cd-r/w或dvd。

例如计算机或设备之类的装置可以根据上述代码来配置,以根据这里讨论的各种方法执行一个或多个程序。在一种设置中,该设备包括处理器、存储器和显示器。通常,这些连接到中央总线结构,显示器通过显示适配器连接。该系统还可以包括一个或多个输入设备(例如鼠标和/或键盘)和/或通信适配器,通信适配器用于将该设备连接到其他装置或网络,例如服务器106和网络104。在一种配置中,数据库在计算机系统的存储器中。这种装置可以采用数据处理系统的形式。这种数据处理系统可以是分布式系统。例如,这种数据处理系统可以分布在网络上。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1