专利名称：内容生成设备和内容生成方法
技术领域：
本发明涉及一种使用例如通过将乐曲细分成音乐声部或小节所得到的音频内容数据作为素材来生成关于新乐曲(音频内容)的音频内容数据。
背景技术：
近来便携式的硅音频播放器和硬盘音乐播放器的出现允许将几百至几万首乐曲(音乐内容)记录在一个回放设备中的记录介质里以回放所记录的乐曲。用户已经能够携带记录在他们自己的播放器中的偏`的乐曲并在任何时间听回放的所记录的乐曲。
将许多乐曲记录在记录介质中以使这些乐曲被回放使得用户能长时间享受听音乐的乐趣。另外，随机改变所要回放的乐曲的次序的所谓混洗(shuffle)回放使用户能以意想不到的次序听这些乐曲，从而使得用户不至于厌倦这些乐曲。然而，这样的音频播放器只回放预先记录的乐曲，并且尽管乐曲的数目增加了，但是一首一首来看的话，每次仍是回放相同的声音。
还已知有诸如自动作曲软件(自动作曲程序)等计算机软件。使用这种计算机软件，用户输入例如乐曲的氛围或他们的生日等情况就足以来作曲。例如，日本未审专利申请特开2002-117069号公报中公开了一种从数据库中的音乐项(要用作素材的音频数据)生成任意长度的合适的音乐序列(音频数据序列)的方法。
用户能通过个人计算机使用这种自动作曲软件来容易且自由地创作原创音频内容并享受听回放的音频内容的乐趣。
然而，因为上述自动作曲软件只对每个音调生成一个音符或只是将预定的素材加以组合，所以难以作成让用户观众感觉“极好的”高质量乐曲(音频内容)。另外，因为操作在个人计算机中调用的自动作曲软件很复杂或很困难，所以对于不熟悉个人计算机的用户来说很难使用该自动作曲软件。
大多数自动作曲软件使用乐器数字接口(MIDI)数据来作曲，因此，在自动作曲软件中存在限制。例如，在自动作曲软件的情形中，乐器的音色缺乏真实感，或不能回放人的自然嗓音。即使提高了真实感，自动作曲软件所作的乐曲在用户知道这些乐曲不是人演奏的时候常常不能唤起用户的感动。
因此，本发明的一个目的是提供一种能以各种模式将音频内容数据用作素材来容易地生成新的高质量的音频内容的设备和方法。
发明内容
为了解决上述问题，根据本发明的一种内容生成设备包括素材存储装置，用于存储用作素材的多个音频内容数据；以及附加数据存储装置，用于存储随附于每一个音乐内容数据并且起到索引/构成信息作用的附加数据。该内容生成设备还包括以下各项中的至少一个接收装置，用于接收外部信息；以及规则存储装置，用于存储在从多个音频内容数据中提取必要的数据来构成新音频内容的构成处理中所使用的规则信息。该内容生成设备还包括构成装置，用于在由接收装置接收的外部信息和规则存储装置中的规则信息中的至少一个的基础上根据附加数据存储装置中的附加数据从素材存储装置提取必要的音频内容数据并执行构成处理来生成新音频内容。
根据本发明的该内容生成设备，在素材存储装置中预先准备例如通过将关于乐曲的内容数据细分成乐器声部或小节所提供的用作素材的多个音频内容数据。起到索引/构成信息的作用的附加数据被随附于用作素材的每一个音频内容数据，并被存储在附加数据存储装置中。
构成装置在由接收装置接收的外部信息和存储在规则存储装置中的规则信息中的至少一个的基础上根据附加数据从素材存储装置提取用作素材的多个音频内容数据。构成装置使用所提取的音频内容数据来构成(生成)用于新乐曲的一系列音频内容数据并且使用所生成的音频内容数据。
根据本发明，以各种模式使用预先作为素材准备的音频内容数据使得能容易地作成和使用新的高质量乐曲。此外，响应于例如外部信息的变化，每次可生成和使用新的乐曲。
另外，能响应于来自用户的指令实时地变化乐曲并且甚至从少量的素材作成许多乐曲。因此，从根本上改变了如在公知的CD(光盘)中那样的重复欣赏相同的记录的乐曲的方式，以向用户提供一种享受音乐的新方式。
图1是示意地示出根据本发明的一种设备和方法的图。
图2是示出应用了本发明的一个实施例的回放设备的框图。
图3包括示出重构处理的一个具体例子的图。
图4A示出重构处理的一个具体例子。
图4B示出重构处理的另一具体例子。
图4C示出重构处理的另一具体例子。
图4D示出重构处理的另一具体例子。
图5示出重构处理的一个具体例子。
图6示出重构处理的一个具体例子。
图7包括示出重构处理的一个具体例子的图。
图8是示出重构规则数据库中的一部分信息的表。
图9是示出在图2中示出的回放设备中进行的重构(作成)新乐曲的处理的流程图。
具体实施例方式
现在将参照附图来说明根据本发明的设备和方法的诸实施例。在以下说明的诸实施例中，将以根据本发明的设备和方法被应用于回放诸如各种乐曲等音频内容数据的音频回放设备(下文简称为回放设备)为例。
图1是示意地示出应用了根据本发明的设备和方法的回放设备。根据该实施例的回放设备是例如便携式音频回放设备。如图1所示，根据该实施例的回放设备包括许多素材数据1，它是用于作成(构成)乐曲的音频内容数据；重构规则数据库2，它是包括预先确定的重构规则信息(规则信息)的数据库；以及重构算法3，它描述预先确定的重构处理。素材数据1是可以细分乐曲所得到的能以诸如乐器声部或小节等预定单位使用的音频内容数据。
根据该实施例的回放设备还包括用于接收包括温度和湿度在内的环境信息、包括回放设备的用户的心跳和皮肤温度在内的生物信息、以及包括来自用户的输入操作信息在内的外部信息的接收单元4。在回放中，根据该实施例的回放设备在用接收单元4接收的各种外部信息和重构规则数据库中的规则信息的基础上根据重构算法3从许多素材数据1中提取必要的素材数据，并重构所提取的素材数据，从而作成(重构)一首新乐曲(音频内容)以回放所作成(重构)的乐曲(音频内容)。
具体而言，作为存储完整的乐曲来简单地回放所存储的乐曲的替代，根据该实施例的回放设备存储许多个素材数据，即音频内容数据，从这许多个素材数据中提取必要的素材数据，并重构所提取的素材数据，从而作成一首新乐曲以回放所作成的乐曲。
现在将描述根据该实施例的回放设备的构造和操作。图2是示出根据该实施例的回放设备的框图。如图2中所示，根据该实施例的回放设备主要包括控制单元10、接收单元20、存储装置单元30、显示装置单元40以及输出单元50。
控制单元10是其中将CPU(中央处理单元)11、ROM(随机存取存储器)12和RAM(只读存储器)13通过CPU总线14彼此连接的微机。控制单元10控制根据该实施例的回放设备中的部件并执行各种数据处理，例如，从素材数据作成新乐曲等。
接收单元20包括生物信息传感器21、A/D(模数)转换器22、环境信息传感器23、A/D转换器24以及输入装置25。接收单元20接收包括生物信息、感性信息、环境信息和输入操作信息在内的各种外部信息，并向控制单元10提供所接收到的外部信息。输入装置25用于接收用户的输入，并且包括称为键盘的键操作部分、诸如鼠标、按钮和触板等定位装置。
存储装置单元30包括作成新乐曲(音频内容数据)所需的数据和程序。根据该实施例的回放设备中的存储装置单元30是例如硬盘。内置式硬盘包括素材数据存储装置31、素材数据库存储装置32、重构规则数据库存储装置33、算法实现程序存储装置34等，以存储各种信息。
显示装置单元40包括诸如LCD(液晶显示器)、PDP(等离子显示面板)、有机EL(有机电致发光面板)或CRT(阴极射线管)等显示元件和用于该显示元件的控制器等。包括各种消息信息的图像信息被显示在显示装置单元40上。输出单元50包括音频输出装置51和D/A(数模)转换器52。输出单元50输出与在根据该实施例的回放设备中作为声音新生成(构成)的音频内容数据相对应的乐曲。
根据该实施例的回放设备中的存储装置单元30中的素材数据存储装置31包括许多个音频内容数据，即用于构成新乐曲的素材数据。通过将关于乐曲的音频内容数据细分成例如如上所述的乐器声部或小节来生成音频内容数据，即素材数据。素材数据可以通过例如只新记录预定乐器声部来独立生成，并且所生成的素材数据可以被存储。
素材数据库存储装置32包括标识符和与这些标识符相关联的附加数据。这些标识符可用于标识素材数据存储装置31中所存储的素材数据。附加数据被随附于每个素材数据。素材数据库存储装置32中的附加数据使用预定标识符与素材数据存储装置31中的素材数据相关联。可以从附加数据标识素材数据或者可以从素材数据标识与该素材数据相应的附加数据。
重构规则数据库存储装置33包括重构规则信息(规则信息)等。重构规则信息指示使用哪个素材数据以及何时及如何将该素材数据用于执行重构以作成新乐曲。重构中的“重”不是指“再次再现同一事物”，而是指新乐曲的构成的“重复”。
算法实现程序存储装置34包括在构成乐曲时要执行的程序。诸程序中的算法还可以用于改变或调节使用素材数据的时间、素材数据的内容以及使用素材数据的方式。
虽然图2中的回放设备中只设置了一个存储装置单元30，但是素材数据存储装置31、素材数据库存储装置32、重构规则数据库存储装置33和算法实现程序存储装置34可以分布在多个存储装置单元(记录介质)中。具体来说，素材数据存储装置31、素材数据库存储装置32、重构规则数据库存储装置33和算法实现程序存储装置34可以被设置在不同存储装置单元(记录介质)中，或它们中的一些可以被设置在同一存储装置单元中。
在根据该实施例的回放设备中，当通过与控制单元10连接的输入装置25从用户接收到音频回放指令时，通过生物信息传感器21接收到的生物信息和关于用户的动作的信息通过A/D转换器22提供给控制单元10。通过环境信息传感器23接收到的环境信息通过A/D转换器24提供给控制单元10。通过输入装置25接收到的来自用户的输入信息也被提供给控制单元10。
控制单元10中的CPU11读出并执行存储在存储装置单元30中的算法实现程序存储装置34中的算法，以在将素材的属性和包括来自输入装置25的输入信息在内的外部信息和来自生物信息传感器21和环境信息传感器23的输入信息与重构规则数据库中的信息相比较的同时，根据该算法从素材数据存储装置31中提取必要的素材数据。CPU11基于上述算法和重构规则数据库存储装置33中的规则信息来重构所提取的素材数据(音频内容数据)以作成新乐曲。
但是，如后面所描述的，也可以通过素材数据库存储装置32提取具有相同附加数据的多个素材数据，并且可以根据重构规则数据库存储装置33中的规则信息来处理所提取的素材数据以作成新乐曲并回放所作的乐曲。换言之，根据该实施例的回放设备能通过素材数据库存储装置32或重构规则数据库存储装置33从存储装置单元30中的多个素材数据中提取必要的素材数据，并且能根据重构规则数据库存储装置33和重构算法来处理所提取的素材数据以作成(构成)新乐曲(音频内容)并回放所构成的乐曲。
现在将描述随附于根据该实施例的回放设备中所使用的素材数据的附加数据。表示属性的附加数据被随附于每一个音频内容数据，即素材数据，以灵活地使用预先存储在素材数据存储装置31中的素材数据来自由地作成新乐曲。
换言之，附加数据用作用于从多个素材数据中提取目标素材数据的索引。附加数据被存储在图2中所示的回放设备中的存储装置单元30中的素材数据库存储装置32中，并且根据附加数据提取目标素材数据以将目标素材数据用于构成新乐曲。现在将详细描述随附于音频内容数据即素材数据的附加数据。
附加数据大致分成(1)关于作为素材数据的音频内容数据的乐音信息(乐曲信息)和时间信息、(2)关于作为素材数据的音频内容数据的个人信息、(3)感性信息、(4)环境信息、以及(5)生物信息。现在将描述这五类附加数据中的每一类。
(1)关于作为素材数据的音频内容数据的乐音信息和时间信息(1)中的附加数据包括关于素材数据的乐音信息和与该乐音信息相关联的时间信息。时间信息指示乐音信息有多长。乐音信息涉及通过回放素材数据所得到的乐音(声音)。具体而言，乐音信息包括与通过回放素材数据得到的声音有关的音阶(调)、和弦、节拍、每分钟拍数(BPM)、拍子信息(鼓点模式)、拍子、小节数、音量、音符和休止符信息、循环信息、风格信息、乐器信息以及地域信息等。
音阶(调)指根据C大音阶或乐曲的基调的位置确定的乐曲的特性，诸如C大调或D大调等。和弦指乐曲的和弦，诸如“C”、“Am”或“Em7”等。当音阶或和弦在作为素材数据的音频内容数据的中途变更时，还将包括关于变更的音阶或和弦的位置信息或时间信息(从数据的起始的偏移量信息)。
节拍指乐曲的速度。BPM指如上所述的每分钟的拍数。这里拍子信息指鼓的节奏模式(鼓点模式)。对于每分钟120拍，BPM被表示为“120BPM”。节奏模式包括何处或何时加入Buss鼓或小军鼓的击打声的位置或时间信息(从数据的起始的偏移量信息)。
拍子指乐曲中的一组旋律所基于的拍数，诸如2拍子或3拍子等。例如，拍子被表示为3/4拍子或4/4拍子。小节数指上述拍子中有多少小节。例如，小节数被表示为一小节或两小节。
音量(峰值或响度)指声音的响度的峰值或强度(级)。音量能用于对每个素材数据统一音量的变更。音符和休止符信息指通过回放用MML(音乐宏语言)或MIDI信号记述的素材数据所得到的声音中的音符和休止符。例如，该音符和休止符信息用于提取关于素材数据的音符和休止符的信息。
循环信息指素材数据能被循环(loop)还是只被播放一次(单发)。如果诸素材数据(音频内容数据)的起始与其结尾连续地接合，则能循环使用的素材数据不产生噪声，不造成节拍中断，并且不产生不自然的声音。
风格信息是指示素材数据所属的风格——诸如爵士、摇滚或Techno(科技)等的值或字符串。乐器信息指示所使用的乐器的类型，诸如节奏乐器(鼓或打击乐器)、吉他、贝司吉他或钢琴等。因为在鼓乐器或特别是没有音阶的效果声的情形中不必改变音高(往往是不应改变音高)，所以能基于乐器信息来确定素材数据是否适应音高变更。在重构时，乐器信息还能用于确定乐器的平衡或类型。
地域信息指示与素材数据密切关联的任何地域，诸如印尼、冲绳或英国等。例如，地域信息用于标识印尼的加麦兰音乐的素材数据或具有冲绳音阶的素材数据。
使用各种乐音信息与指示该乐音信息的持续时间的时间信息的组合作为附加数据的一部分就能准确了解素材数据产生哪种声音及素材数据发声的时间长度，即各素材数据的属性或特性，并能适当地处理素材数据。
(2)关于作为素材数据的音频内容数据的个人信息(2)中的个人信息包括作曲者信息、演奏者信息、录音者信息和素材群组信息。作曲者信息指示通过回放素材数据所得到的旋律的作曲者。作曲者信息可在例如仅收集某个作曲者的素材数据来构成新乐曲时使用。作曲者信息可用于以作曲者的名字、艺名或笔名来标识作曲者。然而，作曲者信息的使用不限于上述。作曲者信息可包括诸如作曲者所属的团体的名称、指示他/她家乡或他/她活动的主要区域的地域信息以及作曲者的年龄和性别等关于作曲者的各种信息。
演奏者信息指示实际演奏通过回放素材数据所得到的旋律的演奏者。演奏者信息可在例如仅收集某个演奏者的素材数据来构成乐曲时使用。演奏者信息还能用于以演奏者的名字或艺名来标识演奏者。然而，演奏者信息的使用不限于上述。演奏者信息可包括诸如演奏者所属的团体的名称、指示他/她家乡或他/她活动的主要区域的地域信息以及演奏者的年龄和性别等关于演奏者的各种信息。
录音者信息涉及录音素材数据的录音工程师。录音者信息可在例如仅收集某个录音工程师所录的素材来构成乐曲时使用。录音者信息还能用于以录音者的名字或艺名来标识录音者。然而，录音者信息的使用不限于上述。录音者信息可包括诸如录音者所属的团体的名称、指示他/她家乡或他/她活动的主要区域的地域信息以及录音者的年龄和性别等关于录音者的各种信息。
素材群组信息指示诸如冲绳民谣或打击乐器组等素材数据的组。素材数据可以单独提供或可以作为多个素材的档案来提供。素材组信息由用于标识素材数据所属的组的标识符或字符串来表示。使用对素材组信息的使用允许使用某一素材组来构成乐曲。
(3)感性信息(3)中的感性信息被随附来在人的主观感性的基础上分类的素材数据。感性信息指示诸如“高兴”或“悲伤”等通过回放素材数据所产生的声音给予听众的印象，或指示“适合主旋律”、“适合序曲”或“适合背景音乐”。
感性信息可以通过在系统中预先设置的印象或感觉的分类或与对应于分类的分数来表示。例如，感性信息由“高兴7”或“悲伤8”来表示。或者，感性信息可以由系统或用户能解释的任意字符串或关键字来表示。使用感性信息，可以只使用具有感性信息“高兴而活跃”的素材数据来构成新乐曲或只使用具有感性信息“悲伤”的素材数据来构成新乐曲。
因为上述感性信息是主观的，由素材数据的提供者预先设置的感性信息(设置为值或字符串的感性信息)可能不可应用于实际使用素材数据的用户。因此，使感性信息由使用素材数据的用户更新。换言之，使涉及存储在素材数据库存储装置32中的素材数据的感性信息用回放设备中的输入装置25来更新。这使得能对素材数据设置与用户的感觉相匹配的感性信息。
(4)环境信息(4)中的环境信息涉及与素材数据期望地关联的环境。环境信息基本上通过素材数据的提供者的决定来随附。如在上述感性信息中，使环境信息由使用素材数据的用户来更新。
为了简化对环境信息的说明，环境信息在以下描述中被分成下列几类。环境信息被大致分成5类气候和时间信息、动作信息、位置信息、关系信息和其它信息。
气候和时间信息指示通过回放素材数据所产生的声音的属性并且涉及气候和时间。具体来说，气候和时间信息指示温度、湿度、天气、风速、日期、时刻、季节、降雪量、降雨量等。例如，当通过回放素材数据所产生的声音唤起“夏天的晴朗的夜晚”的画面时，则指示“季节夏天”、“天气晴朗”以及“时间夜晚”的气候和时间信息被随附于素材数据。当通过回放素材数据所产生的声音唤起“闷热的夜晚”的画面时，则指示“温度相对较高”、“湿度高”以及“时间夜晚”的气候和时间信息被随附于素材数据。
动作信息指通过回放素材数据所产生的声音的属性并且涉及移动。具体来说，动作信息指示移动速度、加速度、振动、重力变化等。例如，当通过回放素材数据所产生的声音具有“具有速度感的快节奏”时，声音可以通过将移动速度和振动的参数设置成适当的值来表示。
位置信息指通过回放素材数据所产生的声音的属性并且涉及位置。具体来说，位置信息指示纬度、经度、地图信息、周围物体信息、海拔等。
例如，地图信息或周围物体信息的使用使得能将属性“靠近海”或“涩谷一带”随附于素材数据。
关系信息指示通过回放素材数据所产生的声音的属性并且涉及人(人与人之间的关系)或组织。具体来说，关系信息指示具有某种关系的人或组织。例如，可能将涉及包括“与恋人在一起”、“与家人在一起”、“在拥挤的列车中”的情形的信息随附于素材数据。
除了上述信息之外，其它信息还包括诸如月龄、气味、环境噪声等级和大气污染程度和环境色等各种信息。例如，当通过回放素材数据所产生的声音具有印度旋律时，“咖喱”的环境信息被作为气味随附于素材数据。
上述各种信息可以由字符串表示或可以被数字化。
(5)生物信息如在上述环境信息中，(5)中的生物信息涉及与通过回放素材数据所产生的声音期望地关联的生物信息并且由素材数据的提供者随附。具体来说，生物信息指示排汗、心搏、脉波、呼吸、眨眼、眼球运动、凝视时间、瞳孔大小、血压、脑电波、肢体动作、体位、皮肤温度、皮肤电阻、微小振动(MV)、肌电位、血氧水平(SPO2)等。
例如，当通过回放素材数据所产生的声音唤起画面“保持安静”时，心搏、脉波和呼吸被设置成较低值。当通过回放素材数据所产生的声音唤起画面“心怦怦跳”时，心搏、脉波和呼吸被设置成较高值。另外，当声音唤起“紧张感觉”的画面时，凝视时间增加，或当声音唤起“激烈运动”的画面时，肢体动作被设置成指示激烈状态的值。
和感性信息和环境信息中一样，使生物信息由使用素材数据的用户在他/她自己的感觉或主观性的基础上更新。
如上所述，在根据该实施例的回放设备中，(1)关于作为素材数据的音频内容数据的乐音信息和时间信息、(2)关于作为素材数据的音频内容数据的个人信息、(3)感性信息、(4)环境信息和(5)生物信息作为附加数据与存储在素材数据存储装置31中的素材数据关联，并且具有关联的附加数据的素材数据被存储在素材数据库存储装置32中。
不一定要将所有上述附加数据随附于素材数据。只将与素材数据相对应的附加数据随附于素材数据。例如，如果作曲者、演奏者和/或录音者未知，则不将个人信息随附于素材数据。如果不存在与感性信息、环境信息和生物信息相对应的信息，则不将感性信息、环境信息和生物信息随附于素材数据。
如上所述，有可能在随附于素材数据的附加数据的基础上来提取构成新乐曲所必要的素材数据。
现在将参照图3-7对通过使用根据该实施例的回放设备中的素材数据来作成(重构)新乐曲的各种方式进行描述。在如下所述的新乐曲的作成(重构)中，根据重构规则应用包括素材的组合、节拍变更、音高变更、音量变更、加入效果、移动镜头(panning)变更、素材的跳过(提取)和素材的合成在内的处理来构成新乐曲。现在将对这些处理进行描述。
图3示出素材数据的组合。参见图3，上图示出所提取的素材数据A、B、C和D的波形而下图示出素材数据A、B、C和D组合而成的音频数据的波形。如图3中的上图所示，在素材数据的组合中，所提取的素材数据A、B、C和D以在时间轴的方向上不相互重叠的方式组合，以产生图3中的下图所示的连续音频数据(组合的结果X)。
图4A示出素材数据的节拍变更。参见图4A，上图示出节拍变更前素材数据的波形而下图示出节拍变更后素材数据的波形。节拍变更只改变节拍而不改变音高。节拍变更减少了回放时间但不改变音程。
图4B示出素材数据的音高变更。参见图4B，上图示出音高变更前素材数据的波形而下图示出音高变更后素材数据的波形。音高变更只改变音高而不改变节拍。音高变化不改变回放时间但改变音程。
图4C示出素材数据的音量变化。参见图4C，上图示出音量变更前素材数据的波形而下图示出音量变更后素材数据的波形。在图4C中所示的例子中，在素材数据的音量逐渐降低之后，其音量逐渐增大。或者，音量可以在音量逐渐增大之后逐渐降低，音量可以频繁地波动，或者音量可能被固定至某一等级。
图4D示出对素材数据加入效果。参见图4D，上图示出在加入效果之前素材数据的波形而下图示出在加入效果之后素材数据的波形。在图4D中所示的例子中，畸变被加入至素材数据。然而，效果处理不限于加入畸变。可以对素材数据加入包括混响、合声、均衡、低通滤波(LPF)和高通滤波(HPF)在内的各种效果处理。效果处理可应用于整个素材数据或可应用于素材数据的一部分。
图5示出素材数据中的移动镜头变更。图5中的两个波形示出由同一素材数据生成的左(L)声道和右(声道)的波形。改变素材数据中的移动镜头以改变声源的左右平衡。
移动镜头变更也可应用于整个素材数据或素材数据的一部分。虽然在图5中将两个(左和右)声道作为例子，但在多声道例如，四声道或5.1声道的情形中可以来回或上下调节声像的空间位置。
图6示出素材数据的跳过(提取)。参见图6，上图示出跳过前素材数据的波形而下图示出跳过后素材数据的波形。具体来说，在素材数据的跳过中，跳过素材数据的一部分并且只提取必要的部分来使用素材数据。
图7示出素材数据的合成。参见图6，上四个波形示出合成前素材数据A、B、C和D的波形。图7中的最下面的波形示出通过合成素材数据A、B、C和D所产生的音频数据的波形。在素材数据的合成中，在同一时间轴上将多个素材数据相互叠加以生成新音频数据。例如，有可能通过合成各种乐器声部或嗓音声部来作成合奏曲。
在通过使用素材数据来合成新乐曲的处理中，能组合上述各种处理或将两个或多个处理同时应用于素材数据以作成不同的乐曲。例如，对于通过录制5种乐器的音调(声音)所产生的素材数据，在将节拍统一成“120”，将和弦设置成“G和弦”并将畸变加入吉他素材之后，素材数据被合成并且最终混响效果被加入所合成的素材数据。能从许多个素材数据作成全新的乐曲。
现在将描述存储在重构规则数据库存储装置33中的信息。在由根据该实施例的回放设备用接收单元20取得的各种外部信息和存储在素材数据库存储装置32中的附加数据的基础上来参考重构规则数据库存储装置33中的信息以提供作成新乐曲所必要的信息。
重构规则数据库存储装置33包括新作成的乐曲所基于的乐曲构成信息、如下所述的关系信息以及指示可在例如外部信息的基础上选择的重构处理的内容的信息。关系信息指示作为必要素材数据提取中的输入关键字信息的外部信息与随附于素材数据的附加数据之间的关系。如上所述，在根据该实施例的接收单元20中，通过传感器21和23以及输入装置25接收外部信息。
基本乐曲构成信息指示作为新作成的乐曲的本质的乐曲构成。乐曲构成信息包括例如，关于和弦进行或乐曲的节拍的信息。多个乐曲构成信息被提供。例如，对诸如爵士、摇滚、流行乐或民谣等每一风格提供多个乐曲构成信息。乐曲构成信息可以由回放设备中的控制单元10随机地选择，可以根据用户用输入装置25输入的指令来选择，或可以在通过生物信息传感器21或环境信息传感器23接收到的信息的基础上来选择。
在关系信息和指示重构处理的内容的信息中，关系信息例如作为图8中所示的信息被存储在重构规则数据库存储装置33中。图8是示出指示重构规则数据库中的附加数据与外部信息之间的关系的关系信息的表。
参见图8，素材号指分配给素材数据存储装置31中所存储的多个素材数据的标识符。用户能引用这些标识符来从素材数据存储装置31中所存储的多个素材数据中标识目标素材数据。
参见图8，温度属性、肢体动作属性、时间属性和感性属性对应于该实施例中所使用的外部信息和随附于素材数据的附加数据。图8中的“N/A(不可应用)”指不存在相对应的数据。当肢体动作属性指示“10或以上”，时间属性指示“夜晚”且感性属性指示“安静”时，在通过生物信息传感器21、环境信息传感器23和输入装置25接收到的外部信息所生成的属性信息中，选择具有素材号“1”的素材数据。
因为存在多个素材数据具有相同属性信息的情况，因此可在其它外部信息的基础上从多个素材数据缩减将被使用的素材数据或可从素材数据库存储装置32中的其它附加数据中选择素材数据。例如，如果基本乐曲构成信息指示“摇滚”，则在素材数据库存储装置32中的相应数据的基础上不选择诸如日本民歌等不同流派的素材数据。
如下所述，指示重构处理的内容的信息指示如何处理每一素材数据。此信息指示包括组合、节拍变更、音高变更、音量变更、加入效果、移动镜头变更、素材的跳过(提取)和素材的合成在内的特定处理的内容。
这样的各种信息被预先存储在重构规则数据库存储装置33中。能基于由根据该实施例的回放设备所获得的外部信息来参考重构规则数据库存储装置33中的信息以获得乐曲构成信息、标识作成新乐曲所必要的素材数据、以及确定所标识的素材数据的处理方法。
现在将参照图9中的流程图来描述在根据该实施例的具有上述结构的回放设备中构成新乐曲的操作处理。如上所述，假设根据该实施例的回放设备是便携式音频回放设备并且被用于例如户外。还假设天气晴朗且该回放设备的用户正在高兴地步行。还假设根据该实施例的回放设备包括作为环境信息传感器23的温度传感器和加速度传感器。
在用户打开根据该实施例的回放设备后，回放设备中的控制单元10执行图9中的流程图中所示的处理。控制单元10首先从重构规则数据库存储装置33中取得指示要新作成的乐曲的基本乐曲构成的乐曲构成信息(步骤S101)，并确定要作成的乐曲的节拍(步骤S102)。
在步骤S101中获得的乐曲构成信息如上所述地指示例如乐曲的和弦进行和节拍。乐曲构成信息不限于一个，且记录多个乐曲构成信息将增加乐曲的变化性。乐曲构成信息能以各种模式选择。例如，乐曲构成信息可以由回放设备中的控制单元10随机地选择，或可以根据通过传感器21和23提供的信息和用户用输入装置25输入的信息来选择。用户可在自动选择和根据来自用户的指令选择之间切换。
在从乐曲构成信息确定节拍之后，控制单元10启动BPM(每分钟拍数)时钟(步骤S103)。BPM时钟用于对小节的头计数。虽然在图2中未示出，但是但设置在控制单元10中的时钟电路对BPM时钟计数。为依次且平滑地将诸素材数据彼此连结，重要的是要在诸小节的头上细分乐曲并将诸小节彼此连结。
接着，控制单元10通过传感器21和23取得输入。根据该实施例，控制单元10首先通过温度传感器取得输入(步骤S104)，然后通过加速度传感器取得输入(S105)。在此例中的通过温度传感器和加速度传感器的输入中，对在步骤S105中通过加速度传感器取得的输入进行几秒的积分或平均计算。虽然通过温度传感器和加速度传感器取得的信息被用作外部信息，但可以取得和考虑由用户用输入装置25或其它开关输入的明示的指令。
控制单元10通过使用在步骤S104和S105中通过传感器取得的输入值作为关键字来参考重构规则数据库存储装置33，由此来搜索并取得适合当前温度和运动量的素材数据(步骤S106)。具体来说，如以上参照图8所述，在重构规则数据库存储装置33中描述关于素材数据存储装置31中所记录的素材的附加信息与输入关键字(外部信息)之间的关系。因此，控制单元10基于用作输入关键字的外部信息搜索信息，以标识图8中的素材号并基于所标识的素材号从素材数据存储装置31中读出目标素材数据。
在重构规则数据库存储装置33中存储的关系信息的描述中，可以如图8中所示地简单描述对应于从某传感器提供的值的素材的匹配规则，或素材数据可以被分成多组以描述从某素材组到另一素材组的状态转移条件。
诸如以上详细描述的组合或合成等重构处理与输入关键字(外部信息)之间的关系也在重构规则数据库存储装置33中进行了描述。在重构规则数据库存储装置33中描述了将哪种信号处理应用于素材数据。控制单元10从重构规则数据库存储装置33取得指示所要进行的处理的信息(步骤S107)。控制单元10基于所取得的信息对在步骤S106中取得的素材数据进行重构信号处理(构成处理)(步骤S108)。
在步骤S108中，控制单元10不必只根据重构规则数据库存储装置33中的信息，而是可以根据实现的算法使用随机数要素或概率要素来改变重构以避免单调。根据算法改变处理的内容使得能有效地作成新乐曲。结果，可以变化所要作成的新乐曲。
进行了信号处理的重构的音频数据通过D/A转换器52和音频输出装置(扬声器)51进行处理，以从音频输出装置51输出与重构的音频数据相对应的声音(步骤S109)。重构的音频数据被临时提供给足够大的音频缓冲器以被连续地回放。这是因为在诸小节的头上进行上述处理会在诸小节的断点处中断声音。在回放一小节时，在后台准备下一小节的声音。
控制单元10确定要处理的下一音频数据是否对应于小节的头(步骤S110)。如果控制单元10确定要处理的下一音频数据对应于小节的头，则控制单元10返回步骤S104以重复上述步骤。如果控制单元10确定要处理的下一音频数据不对应于小节的头，则控制单元10确定是否从用户接收到停止请求(步骤S111)。如果控制单元10确定未接收到停止请求，则控制单元10返回步骤S110以重复上述步骤。
如果控制单元10在步骤S110中确定接收到停止请求，则控制单元10终止图9中的处理以终止新乐曲的生成。
如上所述，根据该实施例的回放设备能在任何时间使用多个素材数据来作成新乐曲，回放所作的乐曲，并向用户提供该乐曲。用户能根据生物信息、环境信息和由用户输入的信息来重构新乐曲以收听重构的乐曲。
用户能享受每次收听不同的乐曲。另外，用户还可以根据来自用户的请求或用户的状态改变重构方法来作成更适合这些情况的乐曲。创作者能建立新的商业模式，其中除了采用相关技术的完成一首乐曲的演奏和录音方法之外，还生成各种乐句(phrase)并将它们作为素材记录来出售这些乐句，从而拓宽了创作者的机会。
音乐厂牌能开拓一个不仅出售低迷的现有记录介质还出售其上记录有素材的介质的行业。使回放设备商品化的制造商能提供新的音乐回放设备作为高附加值的新型商品以开拓市场。总而言之，本发明能用于带来用户享受音乐的新文化，从而为整个音乐产业注入了活力。
重构规则数据库和重构算法能由设备的安装者自由地确定。只向用户提供重构规则数据库和重构算法就使得能改变输出的乐曲而无需改变其素材和属性。相反，用其它替换素材而不改变重构规则和算法也使得能改变输入乐曲。因此，可以通过使用多个素材和多个规则数据库和算法来生成基本上无限数量的乐曲组合。
为了取得环境信息和生物信息，用户可以从操作面板上的菜单中明示地选择信息，或者可以用键盘而不用传感器来输入信息。
在以上参照图9所述的重构方法中，基于通过传感器21和23提供的外部信息来访问重构规则数据库存储装置33，并且存储在重构规则数据库存储装置33中的附加数据用于提取用于重构新音频内容的素材数据。然而，重构方法不限于以上。
例如，当指定一个或多个作曲者以生成新音频内容时，可以从素材数据库存储装置32中的信息中提取由这一个或多个指定作曲者生成的素材数据，以通过使用所提取的素材数据来生成新音频内容。或者，可以基于通过传感器21和23提供的外部信息或用户用输入装置25输入的指令来访问素材数据库存储装置32，以提取必要的素材数据，以通过使用所提取的素材数据来生成新音频内容。
如上所述，可以使用重构规则数据库存储装置33和素材数据库存储装置32中的任何一个来生成新音频内容。乐曲构成信息对确定要新作成哪个乐曲很重要。可以使用存储在重构规则数据库存储装置32中的乐曲构成信息，或者可以使用与用户用输入装置25输入的指令相对应的乐曲构成信息。
虽然在上述实施例中，在重构规则数据库存储装置33中存储了乐曲构成信息、和将素材号、要使用的附加数据及指示重构处理的内容的信息彼此关联的信息，但乐曲构成信息和其它信息也可以被存储在不同记录介质中。
如上所述，在根据该实施例的回放设备中，基于关于其中以PCM(脉码编码调制)或压缩音频格式记录音乐素材的记录介质中的素材的素材数据和附加数据在回放中重构乐曲。因此，即使使用相同的素材也可以在每次回放素材数据时生成不同的乐曲。
因为对应于由演奏者实际演奏的乐句的素材数据被用作一个单位，所以和用MIDI数据进行的自动作曲不同，用户可以感觉到演奏者的实际演奏。另外，因为每一乐句不是自动作成的，并且演奏者或作曲者感觉“良好”的乐句被录音，所以和自动作曲软件不同，可以克服“乐节作为音乐不奇怪但不佳”的限制。换言之，能保留作曲者和演奏者的个性。
将记录素材与能被重构的信息一起记录和回放使得能自动重构灵活而高质量的乐曲。
作为素材数据的音频内容数据可以是线性PCM数据或者可以是以各种格式压缩的压缩音频数据。素材数据包括诸如线性PCM数据或压缩音频数据等音频数据的实体以及重构所需的附加数据。
如上所述，素材数据可以独立于重构数据库进行添加、改变、删除、部分替换、全部替换等。
虽然在上述实施例中硬盘被用作记录介质，但记录介质不限于硬盘。可以使用诸如光盘、磁光盘和磁盘等各种类型的盘记录介质或包括半导体存储装置在内的各种记录介质。在此情形中，素材数据可以与重构规则数据库记录在不同的记录介质中。
虽然在上述实施例中描述了便携式回放设备，但回放设备不限于便携式的。根据该实施例的回放设备可应用于安装和用于例如家中的台式回放设备。
如果以上参照图9描述的处理被编程，则可由能执行该程序的个人计算机实现根据该实施例的回放设备。根据本发明的方法能在个人计算机中实现。
虽然在根据该实施例的回放设备中实时地生成和回放新音频内容，但新音频内容的生成和回放不限于上述方式。例如，新音频内容可以被预先生成且所生成的音频内容可以被记录在记录介质中以回放记录在记录介质中的新生成的音频内容。
虽然在上述实施例中，控制单元10通过使用重构算法和重构数据库使用必要的素材数据进行重构处理，但重构处理不限于上述。用于音频内容数据的DSP(数字信号处理器)也可以用于重构新音频内容。
如上所述，因为可用的生物信息包括排汗、心搏、脉波、呼吸、眨眼、眼球运动、凝视时间、瞳孔大小、血压、脑电波、肢体动作、体位、皮肤温度、皮肤电阻、微小振动、肌电位、血氧水平等，所以设置供能检测上述信息的传感器增加了成本。因此，可以只检测部分生物信息来使用所检测到的生物信息。例如，可以只使用温度传感器和脉波传感器。
类似地，因为可用环境信息包括温度、湿度、天气、风速、日期、时刻、季节、亮度、气味、海拔、降雪量、降雨量、周围噪声等级、大气污染度、纬度、经度、地图信息、周围色彩、周围物体信息、移动速度、加速度、月龄、重力变化、振动、关系信息等，所以使用上述所有信息会不理想地增加成本。因此，如在根据上述实施例的回放设备中，例如，可以只设置温度传感器和加速度传感器，以得到可用环境信息。
另外，如果用户用输入装置25输入关于以上述方式自动生成(重构)的音频内容的信息，以修改或更新重构规则数据库中的信息，或如果使得能手动编排所生成的音频内容数据，则可以根据用户自身的品味更灵活地生成新音频内容。
权利要求
1.一种内容生成设备，包括素材存储装置，用于存储用作素材的多个音频内容数据；以及附加数据存储装置，用于存储随附于每一个音乐内容数据并且起到索引/构成信息的作用的附加数据，所述内容生成设备还包括以下各项中的至少一个接收装置，用于接收外部信息；以及规则存储装置，用于存储在从所述多个音频内容数据中提取必要的数据来构成新音频内容的构成处理中所使用的规则信息，所述内容生成设备还包括构成装置，用于在由所述接收装置接收的所述外部信息和所述规则存储装置中的所述规则信息中的至少一个的基础上根据所述附加数据存储装置中的所述附加数据从所述素材存储装置中提取必要的音频内容并执行所述构成处理来生成新的音频内容。
2.如权利要求1所述的内容生成设备，其特征在于，所述附加数据存储装置存储附加数据，所述附加数据包括节拍、音阶、和弦、拍子、小节数、音量、音符和休止符序列、循环信息、风格信息、乐器类型、地域信息、作曲者信息、演奏者信息、录音者信息、素材群组信息、感性信息、生物信息和环境信息中的至少一个。
3.如权利要求2所述的内容生成设备，其特征在于，所述附加数据存储装置存储由表示人的感觉、情绪或情感的数值和/或字符串描述的信息，作为包括在所述附加数据中的所述感性信息。
4.如权利要求2所述的内容生成设备，其特征在于，所述附加数据存储装置存储排汗、心搏、脉波、呼吸、眨眼、眼球运动、凝视时间、瞳孔大小、血压、脑电波、肢体动作、体位、皮肤温度、皮肤电阻、微小振动、肌电位以及血氧水平中的至少一个，作为包括在所述附加数据中的所述生物信息。
5.如权利要求2所述的内容生成设备，其特征在于，所述附加数据存储装置存储温度、湿度、天气、风速、日期、时刻、季节、亮度、气味、海拔、降雪量、降雨量、周围噪声等级、大气污染度、纬度、经度、地图信息、周围色彩、周围物体信息、移动速度、加速度、月龄、重力变化、振动、及关系信息中的至少一个，作为包括在所述附加数据中的所述环境信息。
6.如权利要求2所述的内容生成设备，其特征在于，还包括变更指令接收装置，用于接收关于包括在所述附加数据中的所述风格信息、生物信息、感性信息以及环境信息中的至少一个的变更指令，其中所述内容生成设备任意地变更所述风格信息、生物信息、感性信息以及环境信息中的至少一个。
7.如权利要求1所述的内容生成设备，其特征在于，所述内容生成设备包括生物信息检测和接收装置、环境信息检测和接收装置、用于从用户接收指令的指令接收装置、以及用于接收所述感性信息的感性信息接收装置中的至少一个作为所述接收装置。
8.如权利要求7所述的内容生成设备，其特征在于，所述生物信息检测和接收装置检测和接收排汗、心搏、脉波、呼吸、眨眼、眼球运动、凝视时间、瞳孔大小、血压、脑电波、肢体动作、体位、皮肤温度、皮肤电阻、微小振动、肌电位以及血氧水平中的至少一个。
9.如权利要求7所述的内容生成设备，其特征在于，由所述感性信息接收装置接收的所述感性信息由表示人的感觉、情绪或情感的数值和/或字符串来描述。
10.如权利要求7所述的内容生成设备，其特征在于，所述环境信息检测和接收装置检测和接收温度、湿度、天气、风速、日期、时刻、季节、亮度、气味、海拔、降雪量、降雨量、周围噪声等级、大气污染度、纬度、经度、地图信息、周围色彩、周围物体信息、移动速度、加速度、月龄、重力变化、振动以及关于与附近的人的关系的信息中的至少一个。
11.如权利要求1所述的内容生成设备，其特征在于，所述构成装置对用作素材的所述音频内容数据执行分类排序、合成、音高变更、节拍变更、音量变更以及音质变更中的至少一个。
12.如权利要求1所述的内容生成设备，其特征在于，所述规则存储装置存储使用乐曲构成信息、随附于素材的所述附加数据以及由所述接收装置接收的外部信息中的至少一个的规则信息，来确定所述构成处理的内容。
13.如权利要求1所述的内容生成设备，其特征在于，还包括回放装置，用于根据由所述构成装置对所述音频内容执行的构成处理实时地回放由所述构成装置生成的音频内容。
14.如权利要求1所述的内容生成设备，其特征在于，还包括生成内容存储装置，用于存储由所述构成装置生成的音频内容；以及回放装置，用于回放存储在所述生成内容存储装置中的所述音频内容。
15.一种内容生成方法，包括以下步骤存储用作素材的多个音频内容数据和随附于每一个音乐内容数据并且起到索引/构成信息的作用的附加数据；基于从外部接收到的外部信息和在从所述多个音频内容数据中提取必要的数据来构成新音频内容的构成处理中所使用的规则信息中的至少一个，根据所存储的附加数据，从所述多个音频内容中提取必要的音频内容数据，并执行所述构成处理以生成新音频内容。
16.如权利要求15所述的内容生成方法，其特征在于，所述附加数据包括节拍、音阶、和弦、拍子、小节数、音量、音符和休止符序列、循环信息、风格信息、乐器类型、地域信息、作曲者信息、演奏者信息、录音者信息、素材组信息、感性信息、生物信息和环境信息中的至少一个。
17.如权利要求16所述的内容生成方法，其特征在于，包括在所述附加数据中的所述感性信息由表示人的感觉、情绪或情感的数值和/或字符串描述。
18.如权利要求16所述的内容生成方法，其特征在于，包括在所述附加数据中的所述生物信息包括排汗、心搏、脉波、呼吸、眨眼、眼球运动、凝视时间、瞳孔大小、血压、脑电波、肢体动作、体位、皮肤温度、皮肤电阻、微小振动、肌电位以及血氧水平中的至少一个。
19.如权利要求16所述的内容生成方法，其特征在于，包括在所述附加数据中的所述环境信息包括温度、湿度、天气、风速、日期、时刻、季节、亮度、气味、海拔、降雪量、降雨量、周围噪声等级、大气污染度、纬度、经度、地图信息、周围色彩、周围物体信息、移动速度、加速度、月龄、重力变化、振动、以及关系信息中的至少一个。
20.如权利要求16所述的内容生成方法，其特征在于，还包括以下步骤接收关于包括在所述附加数据中的所述风格信息、生物信息、感性信息以及环境信息中的至少一个的变更指令，其中所述风格信息、生物信息、感性信息以及环境信息中的至少一个被任意地变更。
21.如权利要求16所述的内容生成方法，其特征在于，所述外部信息包括所述生物信息、环境信息、感性信息、以及关于来自用户的指令的信息中的至少一个。
22.如权利要求21所述的内容生成方法，其特征在于，所述生物信息包括排汗、心搏、脉波、呼吸、眨眼、眼球运动、凝视时间、瞳孔大小、血压、脑电波、肢体动作、体位、皮肤温度、皮肤电阻、微小振动、肌电位以及血氧水平中的至少一个。
23.如权利要求21所述的内容生成方法，其特征在于，所述感性信息由表示人的感觉、情绪或情感的数值和/或字符串来描述。
24.如权利要求21所述的内容生成方法，其特征在于，所述环境信息包括温度、湿度、天气、风速、日期、时刻、季节、亮度、气味、海拔、降雪量、降雨量、周围噪声等级、大气污染度、纬度、经度、地图信息、周围色彩、周围物体信息、移动速度、加速度、月龄、重力变化、振动以及关于与附近的人的关系的信息中的至少一个。
25.如权利要求15所述的内容生成方法，其特征在于，对在所述构成处理中用作素材的所述音频内容数据执行分类排序、合成、音高变更、节拍变更、音量变更以及音质变更中的至少一个。
26.如权利要求15所述的内容生成方法，其特征在于，所述规则信息使用乐曲构成信息、随附于所述素材的所述附加数据、以及所述外部信息中的至少一个来指示所述构成处理的内容。
27.如权利要求15所述的内容生成方法，其特征在于，还包括以下步骤实时地回放进行了所述构成处理的新生成的音频内容。
28.如权利要求15所述的内容生成方法，其特征在于，还包括以下步骤将所述进行了构成处理的新生成的音频内容存储在存储器中；以及回放存储在所述存储器中的所述音频内容。
全文摘要
通过使用作为素材准备的各种形式的声音内容数据，能容易地生成新的高质量声音内容。在素材数据存储装置部分(31)中准备用作素材数据的大量声音内容数据。附加数据被随附于素材数据并被存储在素材数据库存储部分(32)中。控制部分(10)基于由接收部分(20)接收的外部信息和存储在重构规则数据库存储部分(33)中的规则信息之一或此两者来通过附加数据从素材数据存储部分(31)中提取必要的素材数据以生成新的音乐作品。
文档编号G10K15/04GK101014994SQ200580030448
公开日2007年8月8日 申请日期2005年8月25日 优先权日2004年9月16日
发明者宫岛靖, 山下功诚, 高井基行, 佐古曜一郎, 寺内俊郎, 佐佐木彻, 酒井祐市 申请人:索尼株式会社