专利名称：音乐信息计算设备和音乐再现设备的制作方法
技术领域：
本发明涉及用于计算音乐信息的设备，尤其涉及基于乐曲的声信号来计算用于控制将照明、视频等描绘至乐曲的装置的信息以便提供该信息的设备，以及能够控制照明和描绘的音乐再现设备。
背景技术：
传统上，作为用于将视频描绘至正被再现的音乐的设备，已建议了一种基于声信号计算音乐特征以描绘视频的设备(专利文献1)。该设备基于音乐数据计算低频分量和模式以获取节奏信息，并与已获取的节奏信息同步地显示图像。专利文献1中公开的设备计算节奏信息作为乐曲的音乐特征，因而可以改变与该节奏同步地显示并描绘视频的效果。
专利文献1日本专利特开2000-148107号公报发明公开本发明要解决的问题一般而言，曲调和音乐的生动部分随时间变化，即乐曲具有诸如音乐时间结构和旋律等音乐结构。然而，专利文献1中公开的图像处理设备仅仅基于乐曲的音乐特征中的节奏来执行显示和描绘。因此，存在难以执行带增强视觉效果的基于音乐结构的描绘，以例如“在乐曲变得生动时快速改变图像”或“在高潮部分开始时改变图像类型”的问题。
此外，为了执行带增强视觉效果的基于前述音乐构成的描绘，需要收听音乐的操作者手动获取音乐结构。因此，并不容易基于乐曲的音乐结构以增强的视觉效果来描绘视频。
因此，本发明的一个目的是提供一种能基于乐曲的声信号识别音乐结构的音乐信息计算设备。
本发明的另一个目的是提供一种基于已获取的音乐结构来再现音乐并用增强的视觉效果描绘视频的音乐再现设备。
问题的解决方案本发明的目的可以通过随后的音乐信息计算设备来达成。所提供的是声信号输入装置，用于输入乐曲的声信号；声音参数计算装置，用于使用该声信号来计算指示该乐曲的音量的至少第一声参数；抑扬度计算装置，用于使用至少该第一声参数来计算指示乐曲的抑扬的抑扬度；情节节点计算装置，用于使用至少该第一声参数来计算表示乐曲构成变化时刻的情节节点；以及情节信息计算装置，用于计算指示在已算出的情节节点和在由该情节节点所表示的时刻获得的抑扬度之间的至少一对应关系的信息作为指示乐曲构成的情节信息。
根据各特征，可以基于声信号来计算乐曲构成在音乐上变化的时刻以及乐曲的生动水平作为音乐信息，从而能够轻易地识别音乐结构而无需收听乐曲。
优选地，情节节点计算装置依据第一声参数的值来计算情节节点。
根据各特征，可以基于声信号来计算乐曲构成在音乐上变化的时刻，由此能够轻易地识别音乐结构而无需收听乐曲。
优选地，情节信息计算装置使用已算出的抑扬度来计算情节节点的类型，并且计算指示情节节点、在由情节节点表示的时刻获得的抑扬度和情节节点类型之间对应关系的信息作为指示乐曲构成的情节信息。
根据各特征，能够识别每个情节节点的音乐信息，因而能够更具体地识别音乐结构而无需收听乐曲。
优选地，声音参数计算装置还使用声信号来计算指示乐曲音调的第二声参数，且抑扬度计算装置使用第一声参数和第二声参数来计算抑扬度。
根据各特征，可以基于声信号来计算有关音调或音量的特征量，从而能够获取乐曲的生动水平以及乐曲构成在音乐上改变的时刻。
优选地，第一声参数指示声信号的短时功率平均值，第二声参数指示声信号的过零值，且抑扬度计算装置计算声信号的短时功率平均值和过零值的乘积作为抑扬度。
根据各特征，可以基于声信号来检测乐曲生动程度的变化，由此能识别音乐结构而无需收听乐曲。
优选地，第二声参数指示从由声信号的过零值、梅尔频率倒谱系数和频谱质心构成的组中选取的一个。
根据各特征，可以基于声信号来计算有关音调的特征量并能识别音乐结构而无需收听乐曲。此外，可通过使用过零值来以减少的计算量计算有关音调的特征量，并通过使用梅尔频率倒谱系数和频谱质心来获得有关音调的特征和幅度包络特征。
第一声参数指示从由声信号的短时平均值、梅尔频率倒谱系数和频谱质心构成的组中选取的一个。
根据各特征，可以基于声信号来计算有关音量的特征量，由此能识别音乐结构而无需收听乐曲。此外，能通过使用短时功率平均值来以减少的计算量计算有关音量的特征量。
本发明的目的是通过如下的音乐再现设备来达成的。再现与乐曲同步的视频的音乐再现设备包括声信号存储装置，用于存储乐曲的声信号；图像数据存储装置，用于存储图像数据；声参数计算装置，使用声信号来计算指示乐曲音量的至少第一声参数；抑扬度计算装置，用于使用至少该第一声参数来计算指示乐曲抑扬的抑扬度；情节节点计算装置，用于使用至少该第一声参数来计算表示乐曲构成变化时刻的情节节点；情节信息计算装置，用于计算指示在已算出的情节节点和在由情节节点表示的时刻处获得的抑扬度之间的至少一对应关系的信息作为指示乐曲构成的情节信息；音乐再现装置，用于再现乐曲的声信号；视频生成装置，用于使用图像数据来生成视频；以及显示装置，用于与由音乐再现装置再现的乐曲同步地显示由视频生成装置生成的视频，其中视频生成装置生成视频使得视频内容在由包含在情节信息内的情节节点所定义的时刻处经受预定变化，并使用在由情节节点表示的时刻获得的抑扬度来确定该预定变化的类型。
根据各特征，可以基于音乐结构使视频内容经受变化，由此能再现乐曲并以增强的视觉效果描绘该视频。
优选地，还提供了一种描绘表存储装置，用于存储表示乐曲的情节节点类型与视频在由情节节点类型所定义的时刻处经受的变化类型之间的对应关系的描绘表，并且情节信息计算装置使用在由情节节点表示的时刻获得的抑扬度来确定情节节点的类型，并且计算指示情节节点、在由情节节点表示的时刻获得的抑扬度和情节节点类型之间的对应关系的信息作为情节信息，并且视频生成装置生成视频，使得视频内容在由包含在情节信息内的情节节点所定义时刻处经受预定变化，并使用情节节点的类型来确定该预定变化的类型。
根据各特征，能够识别每个情节节点的音乐信息，因而能够更具体地识别音乐结构而无需收听乐曲。由此，以增强的视觉效果和广泛的变化范围来执行基于音乐结构的描绘。
优选地，描绘表存储装置存储含有渐隐处理与表示音乐结束的情节节点之间的对应关系的描绘表，且视频生成装置在具有被确定为音乐结束的情节节点的类型的情节节点结束点之前一预定时刻的点上开始使视频经受渐隐处理。
优选地，视频发生装置使视频内容经受变化的处理是从由渐显处理、渐隐处理、图像变化处理和图像旋转处理构成的组中选出的一个处理。
根据各特征，可以依据情节节点的类型来自动描绘视频而无需收听乐曲，由此能提供一种用户友好的音乐再现设备。此外，根据各特征，能容易地执行由专业人员在视频编辑中执行的编辑处理而无需收听乐曲。
本发明的目的可以通过以下的音乐信息计算方法来达成。所提供的是声信号输入步骤，用于输入乐曲的声信号；声参数计算步骤，用于使用声信号来计算指示乐曲音量的至少第一声参数；抑扬度计算步骤，用于使用至少该第一声参数来计算指示乐曲抑扬的抑扬度；情节节点计算步骤，用于使用至少该第一声参数来计算表示乐曲构成变化时刻的情节节点；以及情节信息计算步骤，用于计算指示在已算出的情节节点和在由该情节节点表示的时刻处获得的抑扬度之间的至少一对应关系的信息作为指示乐曲构成的情节信息。
本发明的目的可以通过以下的音乐信息计算电路来达成。所提供的是声信号输入装置，用于输入乐曲的声信号；声参数计算装置，用于使用该声信号来计算指示乐曲音量的至少第一声参数；抑扬度计算装置，用于使用至少该第一声参数来计算指示乐曲抑扬的抑扬度；情节节点计算装置，用于使用至少该第一声参数来计算表示乐曲构成变化时刻的情节节点；以及情节信息计算装置，用于计算指示在已算出的情节节点和在由该情节节点表示的时刻处获得的抑扬度之间的至少一对应关系的信息作为指示乐曲构成的情节信息。
本发明的目的可以通过以下由计算机执行的程序来达成。该程序使用于计算指示乐曲构成的情节信息的音乐信息计算设备的计算机执行声信号输入步骤，用于输入乐曲的声信号；声参数计算步骤，用于使用该声信号来计算指示乐曲音量的至少第一声参数；抑扬度计算步骤，用于使用至少该第一声参数来计算指示乐曲抑扬的抑扬度；情节节点计算步骤，用于使用至少该第一声参数来计算表示乐曲构成变化时刻的情节节点；以及情节信息计算步骤，用于计算指示在已算出的情节节点和在由该情节节点表示的时刻处获得的抑扬度之间的至少一对应关系的信息作为指示乐曲构成的情节信息。
本发明的目的可以通过以下存储介质来达成。所记录的是一种程序，该程序使用于计算指示乐曲构成的情节信息的音乐信息计算设备的计算机执行所记录的内容是一种程序，该程序使用于计算指示乐曲构成的音乐信息的音乐信息计算设备的计算机执行声信号输入步骤，用于输入乐曲的声信号；声参数计算步骤，用于使用该声信号来计算指示乐曲音量的至少第一声参数；抑扬度计算步骤，用于使用至少该第一声参数来计算指示乐曲抑扬的抑扬度；情节节点计算步骤，用于使用至少该第一声参数来计算表示乐曲构成变化时刻的情节节点；以及情节信息计算步骤，用于计算指示在已算出的情节节点和在由该情节节点表示的时刻处获得的抑扬度之间的至少一对应关系的信息作为指示乐曲构成的情节信息。
发明效果如上所述，本发明的音乐信息计算设备可以作为能够基于乐曲的声信号来识别音乐结构的音乐信息计算设备来应用。
另外还如上所述，本发明的音乐再现设备可以作为用于基于已获取的音乐结构来再现音乐并用增强的视觉效果描绘视频的音乐再现设备来应用。
附图简述
图1是示出根据第一实施例的音乐信息计算设备的结构的框图。
图2是示出在由根据第一实施例的音乐信息计算设备执行的过程期间输出信号在时间上的变化的示意图。
图3是示出由根据第一实施例的音乐信息计算设备执行的音乐信息计算过程的流程图。
图4是示出由根据第一实施例的音乐信息计算设备计算的情节在时间上的变化的示意图。
图5是示出根据第一实施例的示例性情节节点属性的示意图。
图6是示出根据第二实施例的音乐再现设备的结构的框图。
图7是示出根据第二实施例的音乐再现设备中描绘模式的示例性描绘表的图示。
图8是示出根据第二实施例的音乐再现装置中描绘模式和音乐情节信息在时间上的变化之间的关系的示意图。
图9是示出由根据第二实施例的音乐再现设备执行的音乐再现过程的流程图。
参考标号说明1音乐信息计算设备11声信号输入装置12声参数计算装置13抑扬度计算装置14评价函数计算装置15情节节点确定装置16情节值计算装置17判定规则存储装置51音乐数据存储装置52音乐信息计算装置53描绘模式发生装置54描绘表存储装置55再现控制装置56音乐再现装置57同步装置58图像数据存储装置59视频发生装置500音乐再现设备
510显示装置实现本发明的最佳方式(实施例1)图1是示出根据本发明第一实施例的音乐信息计算设备的结构的框图。如图1所示，音乐信息计算设备1主要包括声信号输入装置11；声参数计算装置12；抑扬度计算装置13；评价函数计算装置14；情节节点确定装置15；情节值计算装置16；以及判定规则存储装置17。该音乐信息计算设备被实现为例如结合到计算机中。
在图1中，声参数计算装置12、抑扬度计算装置13、评价函数计算装置14、情节节点确定装置15和情节值计算装置16被示出为分开的框。然而，这些设备无需彼此分开，并且他们可以作为诸如LSI或专用信号处理电路等集成电路而设置在一块芯片上。或者，可将起到各模块作用的电路分别作为芯片来提供。当LSI包括暂时存储器时，LSI内也可包括判定规则存储装置17。在此描述的LSI依集成程度还可被称为IC、系统LSI、超LSI或甚LSI。此外，集成电路不一定是LSI，而是可被实现为专用电路或通用处理器。还可以使用可在制造LSI之后编程的FPGA(现场可编程门阵列)，或可在制造LSI后重新配置LSI内部的电路单元之间的连接及其设置的可重新配置处理器。此外，当半导体技术的发展或从该发展中得到的其他技术导致能代替LSI的电路集成技术的出现时，不言而喻的是可以使用该技术来进行这些功能模块的集成。
一般而言，乐曲从其开始到结尾包括曲调变化点、乐曲变得生动的部分、节奏变化点以及乐句变化点等等。即，乐曲具有诸如音乐时间结构和旋律等音乐结构。在本实施例中，音乐时间结构和旋律的每一个都被称为“音乐情节”。下文中，音乐时间结构或旋律变化的边界被称为“情节节点”或“节点”。情节节点被表示为指示乐曲从开始起经过的时间的时间信息(下称“再现时间”)。
图2示出了由图1所示的每一组件算出的乐曲特征量在时间上的变化。图2(A)、2(B)、2(C)、2(D)和2(E)分别示出了将如下详述的短时功率平均值、过零值、抑扬度、评价函数和情节节点在时间上的变化。在各图中，纵坐标轴表示每个组件的输出值，而横坐标轴表示从乐曲开始起经过的时间。图2(D)和2(E)的每一个中的“n1”至“n5”表示确定各自代表音乐边界的情节节点的再现时间。
声信号输入装置11输入待处理的乐曲的声信号。声信号例如表示存储在诸如硬盘驱动器等记录介质内的一首完整乐曲的PCM数据。可以在输入一首完整乐曲之后将声信号输出至声参数计算装置，或者可以在每次输入声信号时实时计算特征量的情况下对每次输入输出声信号。对每次输入进行输出允许进行实时处理。
声参数计算装置12对每次输入或对一首完整的乐曲计算一个或多个预定的声参数。声参数表示声信号的波形或通过分析该波形所获得的特征量，并被表示为时间函数。在本实施例中，使用短时功率平均值rms(t)和过零值zcr(t)作为声参数。当以预定单位时间的间隔将声信号分成若干部分时，通过使声信号的幅度在每个部分内求均方根来获得短时功率平均值，并且该短时功率平均值表示每一部分内声信号的平均幅度大小。短时功率平均值是指示乐曲音量变化的指标。过零值表示每一部分内声信号符号变化的次数。过零值是指示乐曲音调的指标。通过使用短时功率平均值和过零值，声参数计算装置12能够以相对减少的计算处理量来计算乐曲的音量、音调等等。图2(A)示出了由声参数计算装置12输出的短时功率平均值在时间上的变化。图2(B)还示出了过零值在时间上的变化。如图2(A)和图2(B)所示，短时功率平均值和过零值的每一个都在乐曲内随时间经过而改变。
抑扬度计算装置13基于一个或多个声参数来计算抑扬度。此处，抑扬度表示乐曲的生动程度，即乐曲的抑扬度，并被表示为时间函数。在本实施例中，抑扬度是基于短时功率平均值和过零值使用以下公式来计算的tlv(t)＝rms(t)×zcr(t)(公式1)根据公式1，可以将“音量(短时功率平均值)高且音调(过零值)高”的部分确定为乐曲变得生动的部分。这样，通过将短时功率平均值与过零值相乘所获得的值可用于在每一再现时刻确定乐曲的生动程度，并且还能用于确定贯穿一首完整的乐曲的音乐抑扬。图2(C)示出了由抑扬度计算装置13输出信号在时间上的变化。图2(C)示出抑扬度所具有的数值越大，乐曲在音乐感觉上的生动性就越强。
评价函数计算装置14基于一个或多个声参数来计算评价函数。评价函数表示用于检测表示音乐边界的情节节点的函数，并被表示为时间函数。本实施例的评价函数fxl(t)是使用各声参数中的短时功率平均值通过以下公式来定义的。
fxl(t)＝-(rms(t)-rms(t-1))(公式2)
通常考虑音量在表示音乐边界的情节节点处显著变化。因此，使用该评价函数来计算短时功率平均值的变化量，由此能检测音乐边界，即情节节点。图2(D)示出了评价函数计算装置14的输出信号在时间上的变化。在图2(D)所示的示例中，评价函数的值在一首乐曲中的多个点处显著变化。
判定规则存储装置17存储为每个节点类型定义的判定规则。此处，节点类型表示音乐结构的音乐构成，即音乐属性。另外，下述情节节点确定装置15基于该判定规则来确定评价函数是否表示一特定的情节节点。例如，节点类型包括“齐唱起始点和齐唱结束点”、“间歇起始点和间歇结束点”、“乐章起始点和乐章结束点”以及“音乐起始点和音乐结束点”。每一节点类型具有如下的音乐构成。例如，“齐唱”表示在短期内插入乐曲以向乐曲提供变化的生动乐句部分，而“间歇”表示在短期内插入乐曲以向乐曲提供变化的安静部分。“乐章”表示乐曲的基本单元，诸如序曲、旋律A和旋律B。此外，“音乐的起始和结束”表示包括了音乐数据前后的非无声部分在内的且音乐实质上分别开始和结束的部分。
在此，将描述用于表示“间歇起始点”的节点类型的判定规则。判定规则存储装置17存储为“间歇起始点”所定义的判定规则如下。
(1)fxl(t)指示最大值处的再现时间被设为候选节点，并且fxl的值表示优先级。
(2)在当按优先顺序计算候选节点时，在其优先级高于待计算的目标候选节点优先级的候选节点在该待计算的目标候选节点前后5秒内出现的情况下，从候选节点中去除该待计算的目标候选节点。
(3)以(2)中描述的方式顺序地计算各节点，并且在节点数达到预定最大数时结束节点确定过程。
于是，判定规则存储装置17为每个节点类型存储为判定评价函数是否表示情节节点而定义的规则。
情节节点确定装置15判定已算出的评价函数是否表示代表音乐边界的情节节点。此时，通过基于存储在判定规则存储装置17内的判定规则判定已算出的评价函数是否表示一特定节点类型来执行确定过程。当已算出的评价函数表示该特定节点类型时，情节节点确定装置15将相关时间(情节节点)和节点类型输出至情节值计算装置16。图2中示出的“n1”至“n5”表示情节节点确定装置15将节点类型确定为“间歇”的点。由此，情节节点确定装置15能基于评价函数来检测表示音乐边界的情节节点。
情节值计算装置16基于由抑扬度计算装置13获取的抑扬度以及由情节节点确定装置15获取的情节节点来计算情节值。此处，情节值表示指示出乐曲的时间结构的数值。在本实施例中，计算每个情节节点的抑扬度值作为情节值。如图2(E)所示，情节值计算装置16计算每个情节节点(n1至n5)的抑扬度值作为情节值。
接着，将描述根据本实施例的音乐情节计算过程。图3是示出音乐信息计算过程的流程图。图3所示的过程例如可以在音乐信息计算设备通电时执行。
最初，在步骤S11处，声信号输入装置11读取存储在记录介质内的声信号。声信号输入装置11读取存储在未示出的硬盘内的一首完整乐曲的PCM数据。随后，在步骤S12处，声信号输入装置11将已读取的声信号转换成具有可由声参数计算装置12处理的数据格式的信号，并将已转换的信号输出至声参数计算装置12。
接着，在步骤S13的过程中，计算指示声信号的特征量的声参数。即，声参数计算装置12基于已由声信号输入装置11输出的声信号的数据来计算短时功率平均值和过零值。声参数计算装置12将已算出的短时功率平均值输出至抑扬度计算装置13和评价函数计算装置14。已算出的过零值则被输出至抑扬度计算装置13。
在步骤S14的过程中，计算指示乐曲抑扬的抑扬度。抑扬度计算装置13基于已在步骤S13中获取的短时功率平均和过零值使用公式1来计算抑扬度。已算出的抑扬度被输出至情节值计算装置16。
接着，在步骤S15的过程中，计算评价函数。如上所述，评价函数是用于检测情节节点的函数。评价函数计算装置14基于已在步骤S13中获取的短时功率平均值使用公式2来计算评价函数。已算出的评价函数被输出至情节节点确定装置15。
在步骤S16的过程中，情节节点确定装置15判定已在步骤S15中算出的评价函数是否表示一特定的节点类型。此时，基于存储在判定规则存储装置17内判定规则，由情节节点确定装置15执行该判定过程。当判定该评价函数表示特定的节点类型时，情节节点确定装置15在随后的步骤S17中将相关再现时间(情节节点)和节点类型输出至情节值计算装置16。
接着，在步骤S18的过程中，情节值计算装置16计算情节信息。情节信息表示指示出乐曲的情节(结构)的信息，并且具体表示指示在由每一情节节点表示的时刻获取的抑扬度的信息。即，情节值计算装置16计算步骤S14中已算出的抑扬度中由在步骤S17中已算出的情节节点表示的时刻所获取的抑扬度作为情节值。此外，在本实施例中，情节值计算装置16输出已算出的情节值、对应于该情节值的情节节点、以及该情节节点的节点类型作为情节信息。这是与音乐信息计算有关的一系列过程的结束。在图3所示的过程中，虽然评估函数是在计算抑扬度之后计算的，但是本发明不限于此。即使以相反的顺序执行步骤S14的过程和步骤S15至S17的过程，也能以与图3所示过程中所执行的相同的方式获取乐曲的情节信息。
图4示出了乐曲A中情节节点和抑扬度变化之间的关系。图5则进一步示出了乐曲A的情节节点属性。在图4中，纵坐标轴表示抑扬度值，横坐标轴表示时间，并且每个情节节点的抑扬度值如上所述表示情节值。在各图中，实曲线214表示乐曲A的抑扬度在时间上的变化。在曲线214上标出的节点201至213则各自表示由情节节点确定装置确定为对应于特定节点类型的情节节点。另外，图中形成从节点201连接至213的直线的虚线表示情节值在时间上的变化。音乐信息计算设备1通过如前述流程图所示地处理乐曲A的声信号来计算音乐信息，由此允许获取如图5所示的乐曲A的情节节点属性。由此，音乐信息计算设备1从乐曲A中获取音乐边界(情节节点)以及各边界处的抑扬度(情节值)。因此，音乐信息计算设备能通过基于声信号计算情节信息来识别音乐结构。
如上所述，根据本实施例的音乐信息计算设备能够基于声信号的特征量来检测一首完整乐曲内的音乐边界。此外，还可以每次基于声信号的特征量来检测音乐属性。因此，用户能够轻易地识别音乐结构而无需收听乐曲。
(实施例2)图6是示出根据第二实施例的音乐再现设备500的结构的框图。如图6所示，音乐再现设备500包括音乐数据存储装置51；音乐信息计算装置52；描绘模式发生装置53；描绘表存储装置54；再现控制装置55；音乐再现装置56；同步装置57；图像数据存储装置58；视频发生装置59；以及显示装置510。音乐再现设备500是用于与正被再现的音乐同步地显示图像的设备，并且是例如使用根据第一实施例的方法获取的情节信息在各图像之间切换和/或编辑图像的设备。
在本实施例中，音乐信息计算装置52、描绘模式发生装置53、同步装置57和视频发生装置59的每一个被示为分开的框。然而这些设备无需彼此分开，并且可以作为诸如LSI或专用信号处理电路等集成电路设置在一块芯片上。或者，也可将起到这些装置的作用的块分别作为芯片来提供。当LSI包括暂时存储器时，LSI内也可包括描绘表存储装置54。在此描述的LSI依集成程度还可称为IC、系统LSI、超LSI或甚LSI。此外，集成电路不一定是LSI，而是可被实现为专用电路或通用处理器。还可以使用可在制造LSI之后编程的FPGA(现场可编程门阵列)，或可在制造LSI后对LSI内的电路单元之间的连接及其设置进行重新配置的可重新配置处理器。此外，当半导体技术的发展或从该发展中得到的其他技术导致能代替LSI的电路集成技术的出现时，不言而喻的是可以使用该技术来进行这些功能块的集成。
例如可对应于硬盘设备之类的音乐数据存储装置51存储至少一首乐曲的声信号。音乐数据存储装置51能够将再现控制装置55所选的音乐的声信号输出至音乐信息计算装置52和音乐再现装置56。
由音乐数据存储装置51输出的声信号被输入到音乐信息计算装置52。音乐信息计算装置52执行与前述音乐信息计算设备1相同的处理，以便计算有关音乐结构的音乐情节信息。即，基于已输入的声信号计算情节值、情节节点和抑扬度。所生成的情节信息被输出至描绘模式生成装置53。
描绘模式生成装置53基于音乐信息计算装置52输出的音乐情节信息生成视频的描绘模式。此处，描绘模式表示指示再现时间与要在再现时刻执行和视频效果处理之间的对应关系的信息。视频效果处理表示使视频经受某一改变的处理，并且包括诸如渐显、渐隐和图像旋转的处理。已生成的描绘模式作为描绘表被存储在描绘表存储装置54内。
图7示出了含有已由描绘模式发生装置53生成的描绘模式的一个示例性描绘表。图7中示出的描绘表指示了节点类型和在检测到对应于该节点类型的情节节点时要执行的视频效果处理之间的对应关系。节点类型表示如第一实施例中所述的音乐属性，并且每个节点类型都具有音乐构成。图8是示出描绘模式和由音乐信息计算装置52算出的情节信息在时间上的变化之间的关系的示意图。纵坐标轴表示抑扬度，而横坐标轴表示音乐再现时间。另外，如同在第一实施例中抑扬，每个情节节点处的抑扬度被表示为情节值。在附图中，表示各节点的参考标号分别对应于表示图7所示的描绘表中的视频效果的标号。例如，在图7中，在音乐节点类型表示“音乐起始点”的部分(在图8中标记为(1)的节点)中，执行对应于“渐显”的视频效果处理。即，在对应于具有“音乐起始点”节点类型的情节节点的时刻执行渐显，即执行的是显示图像以使其随时间流逝而逐渐可见的视频效果处理。此外，例如，在节点类型表示“间歇”的部分(在图8中标记为(4)的节点)中，执行的是在显示装置510上显示0.5秒黑屏的视频效果处理。此外，在节点类型表示“高潮部分起始点”的部分(在图8中标记为(5)的节点)中，执行旋转图像一秒的的视频效果处理。这样，描绘模式生成装置依据音乐情节生成用于提供视频效果的描绘表。用户可以改变描绘表内节点类型和视频效果之间的对应关系。在节点类型表示“高潮部分开始”的部分中，可以组合各种视频效果例如以便于“显示用户选择的照片”。
再现控制装置55基于来自用户的音乐选择指令指示存储在音乐数据存储装置51内的声信号的输出。另外，再现控制装置55还控制音乐再现装置56以便执行诸如再现音乐、停止音乐之类的再现控制。
音乐再现装置56根据来自再现控制装置55的指令将由音乐数据存储装置51输出的声信号以用户能够收听该声信号的格式输出。例如，声信号可以被放大并由扬声器输出。
同步装置57监视由音乐再现装置56执行的音乐再现过程，并生成并输出用来与音乐再现过程同步的同步信号。由同步装置57生成的同步信号是用来将音乐与由下述视频发生装置59生成的视频数据同步的信号。同步装置57将已生成的同步信号输出至视频发生装置59。
图像数据存储装置58存储至少一个图像数据。静止图像或移动图像都可被存储为图像数据。已存储的图像数据依据来自视频生成装置59的指令被输出。
视频发生装置59顺序地获取存储在图像数据存储装置58内的图像数据，并且显示对每个情节节点经受某一变化的视频以便生成视频数据。此外，视频发生装置59与由同步装置57输出的同步信号同步地再现视频数据，并将再现的视频数据输出至显示装置510。当生成视频数据时，视频发生装置59基于描绘表执行使要在预定的再现时刻显示的图像经受预定视频效果的处理。于是，视频发生装置59能基于描绘表自动执行由专业人员在视频编辑中执行的编辑。
对应于显示设备之类的显示装置510显示由视频发生装置59输出的视频数据作为可视图像。
接着，将描述由音乐再现设备500执行的音乐再现过程。图9是示出由音乐再现设备500执行的音乐再现过程的流程图。图9所示的过程在选择音乐A的用户指令被输入到再现控制装置55时开始。最初，在步骤S31处，音乐数据存储装置51根据来自再现控制装置55的指令将音乐A的声信号输出至音乐信息计算装置52。
接着，在步骤S32的过程中，音乐信息计算装置52在如图3所示的过程中计算与音乐A有关的音乐信息。于是，输出有关音乐A的情节节点、抑扬度(情节值)和节点类型。
随后，在步骤S33的过程中，描绘模式发生装置53生成描绘模式。描绘模式发生装置53基于先前存储在描绘表存储装置54内的描绘表中所含有的视频效果和节点类型之间的对应关系，确定与已在步骤S32中获取的情节节点相对应的视频效果处理。已确定的描绘模式随后被输出至视频发生装置59。
接着，在步骤S34中，音乐再现装置56依据来自再现控制装置55的指令开始对音乐A的再现。此外，同步装置与正被再现的音乐A同步地将同步信号输出至视频发生装置59。
在步骤S35的过程中，视频发生装置59基于由描绘模式发生装置53生成的描绘模式确定是否出现情节节点。当情节节点出现时，视频发生装置59在步骤S36中通过依据描绘模式使图像经受视频效果处理来生成视频数据。另一方面，当情节节点没有出现时，视频发生装置59生成视频数据而不使图像经受视频效果处理，并且该过程前进至步骤S37。步骤S37的过程中生成的视频数据依据同步信号再现并显示在显示装置510上。
接着，在步骤S38的过程中，视频发生装置59基于描绘模式确定是否要执行视频数据的生成。当要生成视频数据时，视频发生装置59将该过程返回至步骤S35并确定后续的情节节点是否出现，然后执行与步骤S36和后续步骤相同的过程。另一方面，当描绘模式未指示不生成视频时，该过程前进至步骤S39。
在步骤S39处，音乐再现装置56响应于来自再现控制装置55的用于停止再现的指令，停止对音乐A的再现。与此同时，视频发生装置59在接收到用于停止再现的同步信号时停止再现视频数据。这是由音乐再现设备500执行的再现过程的结束。
如上所述，根据本实施例的音乐再现设备能够基于声信号的特征量识别音乐结构，由此能基于音调或音乐生动部分的变化来容易地描绘视频。此外，可以基于音乐属性来描绘视频而无需用户收听音乐乐曲，由此能实现具有改进的用户友好度的音乐再现设备。此外，根据本实施例的音乐再现设备与正被再现的音乐同步地生成视频，由此能以视觉和听觉效果来再现音乐和视频。
虽然在本实施例中对每个节点类型确定描绘模式，但是本发明不限于此。在图9中，也可依据情节值的大小来确定描绘模式。例如，在抑扬度较大的区域中，可以为缩短图像变化周期而生成视频数据，而在抑扬度较小的区域中，可以为延长图像变化周期而生成视频数据。此外，例如，可以执行描绘以使在情节值较大时选择具有明亮色调的图像，而在情节值较小时选择具有灰暗色调的图像。
虽然对用于与音乐同步地显示视频的音乐再现设备使用了第一和第二实施例的音乐信息计算设备和音乐信息计算装置，但是本发明不限于此。例如在被表示为音乐节点类型的“间歇起始点”和“间歇结束点”之间的区域内，可以结合由其他设备执行的例如调暗室内照明的过程来执行描绘过程。
虽然在第一和第二实施例中的音乐信息计算设备和音乐信息计算装置中使用了短时功率平均和过零值作为声参数，但是本发明不限于此。例如，可以使用色度向量作为声参数以便评价函数计算装置能够计算用于获得音乐音阶结构的相似性的评价函数。这样，通过检测音阶结构内重复部分之间的边界，也能识别乐章内的音乐结构。即，能够计算乐章部分中表示例如旋律A和旋律B之间的边界的情节节点。这样，音乐信息计算设备能更具体地实现音乐结构。
另外，例如MFCC(梅尔频率倒谱系数)也可被用作声参数。由此，能获取声信号的幅度包络特性和音调特性。评价函数计算装置通过使用MFCC来计算表示音乐的显著音调变化的评价函数。因此，音乐信息计算设备能检测表示音调变化的分界的情节节点，即表示齐唱的开始和结束部分的情节节点。
虽然第一和第二实施例的音乐信息计算设备和音乐信息计算装置使用过零值作为声参数，但是本发明不限于此。可以使用例如频谱质心来代替过零值。
虽然在第一和第二实施例中，根据公式1使用短时功率平均值与过零值的乘积作为抑扬度，但是本发明不限于此。例如，可以根据公式3仅使用短时功率平均值。
tlv(t)＝rms(t)(公式3)这样，与使用公式1的情况相比，能减少计算量。
在第一和第二实施例中，评价函数计算装置可以使已输入的声信号经受频域转换，以便基于通过该转换获得的信号的分布来计算评价函数。
第一和第二实施例中的音乐信息计算设备和音乐信息计算装置可以被实现为结合到或连接到计算机的硬件设备。此外，计算机可以使用软件来执行部分过程。
工业实用性本发明的音乐信息计算设备和音乐再现设备适用于基于音乐特征描绘视频所需的音乐再现设备和视频再现设备。
权利要求
1.一种音乐信息计算设备，包括声信号输入装置，用于输入乐曲的声信号；声参数计算装置，用于使用所述声信号来至少计算指示所述乐曲音量的第一声参数；抑扬度计算装置，用于至少使用所述第一声参数来计算指示所述乐曲抑扬的抑扬度；情节节点计算装置，用于至少使用所述第一声参数来计算表示所述乐曲构成变化时刻的情节节点；以及情节信息计算装置，用于计算指示已计算的情节节点和在由所述情节节点表示的时刻处获得的抑扬度之间的至少一对应关系的信息作为指示所述乐曲构成的情节信息。
2.如权利要求1所述的音乐信息计算设备，其特征在于，所述情节节点计算装置依据所述第一声参数的值来计算所述情节节点。
3.如权利要求1所述的音乐信息计算设备，其特征在于，所述情节信息计算装置使用已算出的抑扬度来计算所述情节节点的类型，并且计算指示所述情节节点、在由所述情节节点表示的时刻获得的抑扬度和所述情节节点类型之间的对应关系的信息作为指示所述乐曲构成的情节信息。
4.如权利要求1所述的音乐信息计算设备，其特征在于，所述声参数计算装置还使用所述声信号来计算指示所述乐曲音调的第二声参数，并且所述抑扬度计算装置使用所述第一声参数和所述第二声参数来计算所述抑扬度。
5.如权利要求4所述的音乐信息计算设备，其特征在于，所述第一声参数指示所述声信号的短时功率平均值，所述第二声参数指示素数声信号的过零值，并且所述抑扬度计算装置计算所述声信号的短时功率平均值和过零值的乘积作为所述抑扬度。
6.如权利要求4所述的音乐信息计算设备，其特征在于，所述第二声参数指示从由所声音信号的过零值、梅尔频率倒谱系数和频谱质心构成的组中选取的一个。
7.如权利要求1所述的音乐信息计算设备，其特征在于，所述第一声参数指示从由所述声信号的短时功率平均值、梅尔频率倒谱系数和频谱质心构成的组中选取的一个。
8.一种用来与乐曲同步地再现视频的音乐再现设备，所述音乐再现设备包括声信号存储装置，用于存储所述乐曲的声信号；图像数据存储装置，用于存储图像数据；声参数计算装置，用于使用所述声信号来至少计算指示所述乐曲音量的第一声参数；抑扬度计算装置，用于至少使用所述第一声参数来计算指示所述乐曲抑扬的抑扬度；情节节点计算装置，用于至少使用所述第一声参数来计算表示所述乐曲构成变化时刻的情节节点；情节信息计算装置，用于计算指示已算出的情节节点和在由所述情节节点表示的时刻处获得的抑扬度之间的至少一对应关系的信息作为指示所述乐曲构成的情节信息；音乐再现装置，用于再现所述乐曲的声信号；视频生成装置，用于使用所述图像数据来生成视频；以及显示装置，用于与正由所述音乐再现装置再现的乐曲同步地显示由所述视频生成装置生成的视频，其中所述视频生成装置生成所述视频使得所述视频内容在由包含在所述情节信息内的情节节点所定义时刻处经受预定变化，并使用在由所述情节节点表示的时刻获得的抑扬度来确定所述预定变化的类型。
9.如权利要求8所述的音乐再现算设备，其特征在于，还包括描绘表存储装置，用于存储表示在所述乐曲的情节节点类型与在由所述类型的情节节点所定义的时刻处使所述视频所经受的改变的类型之间的对应关系的描绘表，其中所述情节信息计算装置使用在由所述情节节点表示的时刻处获得的抑扬度来确定所述情节节点的类型，并且计算指示所述情节节点、在由所述情节节点表示的时刻处获得的抑扬度和所述情节节点类型之间的对应关系的信息作为指示所述乐曲构成的情节信息，并且所述视频生成装置生成所述视频使得所述视频内容在由包含在所述情节信息内的情节节点所定义时刻处经受预定变化，并且使用所述情节节点的类型来确定所述预定变化的类型。
10.如权利要求9所述的音乐再现算设备，其特征在于，所述描绘表存储装置存储含有渐隐处理与表示音乐结束的情节节点之间的对应关系的描绘表，并且所述视频生成装置在具有被确定为音乐结束的情节节点类型的情节节点结束点之前一预定时刻的点上开始使所述视频经受所述渐隐处理。
11.如权利要求8所述的音乐再现算设备，其特征在于，所述视频生成装置使所述视频内容经受变化的处理是从由渐显处理、渐隐处理、图像变化处理和图像旋转处理构成的组中选出的一个处理。
12.一种音乐信息计算方法，包括声信号输入步骤，用于输入乐曲的声信号；声参数计算步骤，用于使用所述声信号来至少计算指示所述乐曲音量的第一声参数；抑扬度计算步骤，用于至少使用所述第一音参数来计算指示所述乐曲抑扬的抑扬度；情节节点计算步骤，用于至少使用所述第一声参数来计算表示所述乐曲构成变化时刻的情节节点；以及情节信息计算步骤，用于计算指示在已算出的情节节点与在由所述情节节点表示的时刻处获得的抑扬度之间的至少一对应关系的信息作为指示所述乐曲构成的情节信息。
13.一种音乐信息计算电路，包括声信号输入装置，用于输入乐曲的声信号；声参数计算装置，用于使用所述声信号来至少计算指示所述乐曲音量的第一声参数；抑扬度计算装置，用于至少使用所述第一声参数来计算指示所述乐曲抑扬的抑扬度；情节节点计算装置，用于至少使用所述第一声参数来计算表示所述乐曲构成变化时刻的情节节点；以及情节信息计算装置，用于计算指示在已算出的情节节点与在由所述情节节点表示的时刻处获得的抑扬度之间的至少一对应关系的信息作为指示所述乐曲构成的情节信息。
14.一种程序，所述程序使用于计算指示乐曲构成的情节信息的音乐信息计算设备的计算机执行声信号输入步骤，用于输入所述乐曲的声信号；声参数计算步骤，用于使用所述声信号来至少计算指示所述乐曲音量的第一声参数；抑扬度计算步骤，用于至少使用所述第一声参数来计算指示所述乐曲抑扬的抑扬度；情节节点计算步骤，用于至少使用所述第一声参数来计算表示所述乐曲形态变化时刻的情节节点；以及情节信息计算步骤，用于计算指示在已算出的情节节点与在由所述情节节点表示的时刻处获得的抑扬度之间的至少一对应关系的信息作为指示所述乐曲构成的情节信息。
15.一种其上存储有如权利要求14所述的程序的计算机可读记录介质。
全文摘要
一种用于从音乐作品的声信号中抓取音乐作品结构的音乐作品信息计算设备。该音乐作品信息计算设备包括用于输入音乐作品的声信号的声信号输入装置，用于从声信号中计算指示音乐作品音量的至少第一声参数的声参数计算装置；用于在至少该第一声参数的基础上计算指示音乐作品抑扬的抑扬度的抑扬度计算装置；用于根据至少该第一声参数计算表示音乐作品结构变化时间点的情节节点的情节节点计算装置；以及用于计算在已算出的情节节点和在该情节节点时刻处的抑扬度之间的至少一对应关系的信息作为表示音乐作品结构的情节信息的情节信息计算装置。
文档编号G10L11/00GK1950879SQ20058001389
公开日2007年4月18日 申请日期2005年6月24日 优先权日2004年6月30日
发明者田川润一, 山根裕明 申请人:松下电器产业株式会社