采用元信息来组织用户提供信息的方法及装置的制作方法

专利名称：采用元信息来组织用户提供信息的方法及装置的制作方法
技术领域：
本发明涉及用于采用元信息来组织用户提供信息的方法及装置。具体来说，用户提供信息是用户提供音频信息。元信息从连同用户提供信息可用的上下文信息中接收并在逻辑上与其相关。在越来越多地遇到处理在某种程度上相关的不同类型和种类的大量数据的移动终端装置和移动网络装置的领域中，本发明极为有用。
移动电子设备在工业国家的人口中的传播越来越迅速地增长，同时，与传统的基于纸张的应用相比，由于那些移动电子设备提供的优点，对于那些移动电子设备的使用的认同急剧增加。移动电子设备用于采集、获取、录制、存储、提供及处理电子信息的能力因此变为不断提高的处理和存储能力，使得移动电子设备将获得被用作通用信息处理系统的越来越多的能力，其中包括使用的“传统”形式，例如电子日历、个人电子地址簿和个人电子电话簿，以及包括使用的未来形式，其中包括任何种类和/或任何格式的数字(电子)信息。
当今，电子信息和数字化可用多媒体数据的获取主要基于分别从系统信息提供和服务系统中检索电子信息。将来，移动电子设备不断提高的能力将带来分别产生“自己的”电子信息和数字多媒体数据的能力，例如通过数字化遗留文档以及存储数字化形式的可能性，通过允许获取诸如图片/图像、电影、数字音频信息并且以电子(数字)形式存储那些数据的移动电子设备的组件。
从当今的电子信息系统中了解到，存取和检索信息的不断增长的可能涉及信息过负荷的问题，在涉及传递大量同时发生的信息的电子邮件、电子杂志、传真、备忘录、消息传递服务、基于万维网的信息服务等的使用的传统办公环境中，可能遇到上述问题。另外获取基于电子的信息的上述不断提高的能力将加剧信息过负荷的问题。
存取、管理、检索电子信息的可能性越来越多地从传统台式系统(例如个人计算机)转移到诸如电子组织器、个人数字助理(PDA)、移动通信使能终端等的移动电子设备，使得与用户一生中的用户和事件相关的个人多媒体信息的收集变为显著特征。个人多媒体信息可理解为包括通过音频录制、声音录制、照相、录像、从任何信息服务业务(文档/信息服务器)中检索电子信息、经由任何传送服务、传送载体等接收电子信息所获取的信息。
因此，如果所收集的信息是以有效、有意义、可靠及用户友好的方式可使用的，尤其是以节省成本的方式来满足用户的需求，则收集大量数据的可能性和机会才是有价值的。某种信息的检索主要基于并取决于配置了用于标识关联信息的索引和/或标记信息的存储信息的可靠及有效组织。有效、有意义、可靠及用户友好的检索将是处理信息过负荷的唯一途径，因为大量的可用信息否则将导致无意义信息的混乱收集。
本发明的一个目的针对用于采用元信息来管理用户提供信息的方法。元信息从在用户提供信息的上下文中提供并且可用的信息中提取。元信息用于检索用户提供信息。管理允许组织用户提供信息，用于建立采用关联元信息的检索系统。
本发明的另一个目的是提供一种用于采用元信息来管理用户提供音频信息的方法，其中，用户提供音频信息表示用户提供信息的子集。元信息同时提供给用户提供音频信息。
本发明的目的通过在独立权利要求中公开的用于组织用户提供信息的方法、适合执行该方法的相应装置、计算机程序和软件工具来实现。在从属权利要求中公开了本发明的优选实施例。
根据本发明的第一方面，提供一种用于采用元信息来组织用户提供信息的方法。经组织的用户提供信息与元信息一起允许建立信息历史功能性，它允许有目的地检索在其中存储的用户提供信息。用户提供信息在移动装置中可用，并且被获取以便进行处理。用户提供信息将被理解为已经产生、接收或者对于针对移动终端装置所执行的任何用户操作而出现的数据。用户提供信息可通过利用用户输入部件来产生，或者可经由移动终端装置提供的任何数据通信接口来接收或获取。还要理解，用户输入部件也许是按键装置、键盘、小键盘或任何其它手动可操作输入组件(操纵杆、笔等)，但也可以是增强输入部件，例如音频传感器(麦克风)、能够拍照和/或拍摄图像序列(视频)的数码相机(摄像机)以及另一种传感器输入。数据通信接口可以是能够采用对应装置来接收、发送或传递任何类型的电子数据的任何接口，特别是包括事务处理信息和/或通信信息。另外，同时获取上下文信息。上下文信息与用户提供信息关联。要理解，上下文信息例如包括与当前活动的并且用户提供信息最初与其相关的装置应用和/或装置功能的信息、定位/位置信息、时间信息以及与用户提供信息同时可用并且(在时间顺序和/或逻辑上)与用户提供信息相关的任何其它信息。
用户提供信息及相关上下文信息根据逻辑和/或时间顺序关系来组合。用户提供信息与相关上下文信息的组合通过从要用作元信息的上下文信息中获取个体信息来执行。用户提供信息以及所使用的元信息存储在历史存储器中。
元信息用于以有目的方式来允述对用户提供信息的先前检索。在检索的情况下，检索请求包含请求信息。请求信息与元信息比较，以及在匹配的情况下，相应地从历史存储器中检索相关用户提供信息。上下文信息表示可用作用户提供信息的元信息的个体信息的信息池。具体来说，如果用户提供信息本身(例如象视频序列、音频序列、图像等的多媒体信息)包括因适当的检索信息难以被定义的事实而避开检索的这种类型的信息，则可采用这种提供元信息。
根据本发明的一个实施例，元信息从相关上下文信息中提取，以及所提取的元信息分配给要存储在历史存储器中的用户提供信息。元信息包含在上下文信息中包括的个体信息部分，在其中，个体信息部分根据可取决于用户提供信息的种类及取决于上下文信息的成分改变的预定和/或用户定义规则来提取。
根据本发明的一个实施例，用户提供信息从移动终端装置的输入部件接收，作为用户输入信息。另外，用户提供信息从移动终端装置的任何数据通信接口接收，作为通信信息和/或事务处理信息。
根据本发明的一个实施例，标记信息和/或索引信息从上下文信息中提取。标记信息和/或索引信息分配给用户提供信息，并与其结合存储，以便允述通过用于指定已存储用户提供信息的内容的所分配标记信息和/或索引信息对所存储用户提供信息的检索。
类似地，标记信息和/或索引信息用于与请求信息进行比较，以便允述对于用户历史功能性所提供的用户提供信息的有目的检索、过滤和/或归类。
根据本发明的一个实施例，分别产生引用信息或寻址信息。对于用户提供信息的至少一部分产生引用信息。引用信息最好与允许检索的元信息一起存储在第一存储区，而由引用信息所引用的用户提供信息的部分存储在第二存储区。引用信息指定用户提供信息的那个部分的存储位置，并且允述从第二存储区对它的检索。
根据本发明的第二方面，提供一种用于采用元信息组织用户提供信息的方法。元信息允许检索在移动终端装置中可用的用户提供信息。与用户提供信息一起获取的上下文信息包含日历信息，它们由移动终端装置中实现的电子日历功能性(即电子日历应用程序)提供。日历信息和用户提供信息被匹配，以便从日历信息中得到元信息，其中，匹配日历信息分配给要存储在历史存储器中的用户提供信息。
根据本发明的一个实施例，第一时间信息根据用户提供信息来获得，即与用户提供信息相关的时刻、时间段等，例如已经输入/接收用户提供信息的时刻。
另一种日历信息包含多个日历条目，其中的每个与类似地有关时刻或时间段的第二时间信息关联。第一时间信息以及第二时间信息的每个被比较，以及如果第一时间信息与第二时间信息其中之一匹配，则在匹配日历条目中包含的信息的至少一部分被提取，用作元信息。
具体来说，用户提供信息将被理解为可与移动终端装置操作的任何多媒体信息。也就是说，例如，数字摄像机拍摄的视频序列插入到移动终端装置中并在其中实现，或者数字口授设备录制的音频序列同样插入移动终端装置中并在其中实现，等等。
根据本发明的一个实施例，隶属函数(参见模糊集合论)分配给第二时间信息，以及隶属度根据第一时间信息从这个隶属函数中获得。隶属度用来定义允许估算检索的可靠性的量度。
根据本发明的一个实施例，第一时间信息定义第一时间段。用户提供信息分区为多个信息部分。每个信息部分具有最大预定时间段。根据本发明的一个实施例，每个信息根据上述方法的任一个单独来处理。
根据本发明的一个实施例，第一时间信息定义第一时间段，以及第二时间信息定义第二时间段。如果第一时间段的长度超过第二时间段，即第一时间段与第二时间段重叠，则用户提供信息被分段为至少两个信息段，使得用户提供信息段的一个信息段与作为第一时间段的子段的时间段有关，并适合第二时间段。根据本发明的一个实施例，适合第二时间段的一个信息段根据上述方法的任一个来处理。
根据本发明的一个实施例，第二时间段具有使第二段延伸到先前时间以及延伸到后续时间的某些预定开销时间段。
根据本发明的一个实施例，日历信息以及尤其是在日历信息中包含的每个日历条目分别在语义上构成，即每个日历条目中包含的信息被组织成各与某个信息上下文等相关的若干字段，例如“谁”(who)、“哪里”(where)、“何时”(when)、“什么”(what)等，它允许从日历条目中获得可靠元信息。
根据本发明的第三方面，提供一种用于采用元信息来组织用户提供音频信息的方法。用户提供音频信息与在用户提供音频信息的录制过程中得到的、并具有提供音频信息的录制相关的上下文信息的附加用户提供信息关联。用户提供音频信息通过用户口述被输入移动终端装置。用户提供音频信息在移动终端装置中被接收、录制和存储。在用户提供音频信息的接收、录制和存储过程中，接收上下文信息。上下文信息至少包含可由用户操作以控制录制过程的用户输入信息。记录上下文信息，以及产生元信息，它基于录制上下文信息。
通过把配置了检索请求的请求信息与选取存储用户提供音频信息的录制上下文信息进行匹配，录制上下文信息将用于检索存储用户提供音频信息。录制上下文信息附加地提供与涉及用户提供音频信息的附加用户提供信息相关的信息。
根据本发明的一个实施例，在用户提供音频信息的录制过程中接收的用户输入信息包含与音频录制的操作相关的控制信号。在接收起始信号时，开始用户提供音频信息的录制和存储。在接收关键字信号时，开始用户提供音频关键字信息的接收、录制和存储。用户提供音频关键字信息所包含的一个或多个关键字涉及被录制和存储的用户提供音频信息，并且允许检索已存储用户提供音频信息。在接收连接信号(attach signal)时，附加信息、具体是由移动终端装置接收或提供的多媒体信息与用户提供音频信息关联。在接收暂停信号时，暂停用户提供音频信息的录制和存储。在接收继续信号时，恢复先前暂停的用户提供音频信息的录制和存储。以及在接收停止信号时，停止用户提供音频信息的录制和存储，并产生录制上下文信息。
根据本发明的一个实施例，上下文信息的记录至少包括与录制的用户提供音频信息有关的信息，包括与用户提供关键字音频信息有关的信息、与用户提供音频信息有关的时间信息、用户提供关键字音频信息、在记录过程中接收的用户输入信息以及与关联被录制的用户提供音频信息的附加信息有关的信息。
根据本发明的一个实施例，录制上下文信息的产生包括把作为元信息的录制上下文信息编码为基于标记语言(如扩展标记语言(XML))的文档。
根据本发明的一个实施例，显示与录制上下文信息相关的元信息。显示通过把图形元素分配给录制上下文信息中包含的信息来允述。专用图形元素分配给录制上下文信息中包含的每种信息条目。显示专用图形元素，以便以图形描述来说明录制上下文信息的内容及其互相关性，使用户可以对录制上下文信息具有清楚的了解。
根据本发明的第四方面，提供一种用于通过把元信息嵌入用户提供音频信息来组织用户提供音频信息的方法。用户提供音频信息被提供给移动终端装置。定义编码基数(code bases)的集合。编码基数的集合表示多个编码符号。编码基数的集合的每个代码基础(codebasis)定义至少一个预定频率。元信息映射到所提供的所述编码符号，以及所映射元信息直接包含到用户提供音频信息中，产生已经嵌入元信息的组合用户提供音频信息。
根据本发明的一个实施例，调制信号从所映射元信息中获取，以及调制信号通过在频域结合用户提供音频信息与调制信号来获得。此外，调制信号在信号的时域与用户提供音频信息组合，产生已经嵌入以编码基数集合所提供的编码符号进行编码的元信息的用户提供音频信息。
根据本发明的一个实施例，编码基数集合以作为总频率范围的一部分的某个频率子范围部分来定义。在编码基数的没一个中预定的至少一个频率被映射到总适用频率范围内的其它频率子范围。例如，某个频率子范围可以是在其中定义编码基数的倍频程。编码基数的频率定义相应地映射到处于总适用频率范围内的其它倍频程。总频率范围可分别通过移动终端装置的音频处理能力以及通过与用户提供音频信息有关的适用性来定义。
根据本发明的一个实施例，调制信号通过在信号的频域中把用户提供音频信息与调制信号相乘来获得。根据本发明的一个实施例，已经嵌入元信息的用户提供音频信息通过在信号的时域中把调制信号与用户提供音频信息相加来获得。
根据本发明的第五方面，提供一种用于从已经嵌入元信息的用户提供音频信息中提取元信息的方法。因此，提供了相关基础(correlation basis)。相关基础包括在已经用于把元信息嵌入音频信息的编码基数中定义的所有频率。相关基础被应用于已经嵌入元信息的用户提供音频信息，以便提取元信息。
根据本发明的一个实施例，调制信号根据相关基础以及被应用于已经通过卷积调制信号和嵌入了元信息及相关信号从而产生相关信号的用户提供音频信息而在信号的频域中嵌入元信息的用户提供音频信息的调制信号来获得。幅度值从相关信号中提取。每个幅度值对应于编码基数集合的一个代码基础。幅度值被评估，以便重构嵌入音频信息中的元信息。
根据本发明的一个实施例，评估还包括获取比率值。比率值从每对幅度值来计算。例如通过相对平均比率值进行归一化，对比率值进行归一化。归一化比率值的评估允许重构嵌入音频信息中的元信息。
根据本发明的一个实施例，相关信号通过在信号的频域中卷积调制信号与音频信息来获得。对于相关基础获取调制信号。相关基础在作为组成总适用频率范围的多个频率子范围其中之一的某个频率子范围内来定义。相关基础被映射到总的子范围所包含的频率子范围的每个，与编码基数结合元信息的编码的映射相似。
根据本发明的第六方面，提供一种用于检索信息历史功能性所提供的用户提供信息的方法。用户提供信息根据用于按照本发明的一个实施例组织移动终端装置的用户提供信息的方法来组织以便进行检索。请求被接收。请求包含请求信息，它指示检索通过把请求信息与已经分配给在历史存储器中组织的用户提供信息的元信息(标记信息和/或索引信息)进行比较可标识的某个用户提供信息。在匹配的情况相应地检索用户提供信息，并返回包含所检索用户提供信息的响应。
请求还可指示过滤器和/或对所检索用户输入信息归类。过滤可根据在请求中包含的过滤信息来操作，以及过滤可结合被分配给用户提供信息的元信息(标记信息和/或索引信息)来操作。归类可根据在请求中包含的归类信息来操作，以及归类可类似地结合元信息(标记信息和/或索引信息)来操作。
请求检索信息与元信息的匹配可能要求执行根据本发明的一个实施例、用于从已经嵌入元信息的用户提供音频信息中提取元信息的上述方法。
根据本发明的一个实施例，用户提供信息的检索包括与待检索的用户提供信息关联的引用信息或地址信息的检索以及根据引用信息或地址信息从第二存储区中检索用户提供信息。引用信息可与允许检索的元信息一起被存储在第一存储区。
根据本发明的一个实施例，与信息历史功能性所处理的用户提供信息关联的隶属度可用来导出在历史存储器中存储的匹配用户提供信息的可靠性量度。可靠性量度可用于过滤匹配用户提供信息、例如通过拒绝与低于预定/用户定义隶属度阈值的隶属度关联的匹配用户提供信息，或者可用于归类与个体隶属度对应的序列中的匹配用户提供信息。
根据本发明的第七方面，提供一种提供用于组织用户提供信息的存储容量的方法。根据针对本发明的任何实施例的上述方法的任何一种，采用元信息来组织用户提供信息。基本上，该方法涉及用于存储的存储容量的提供以及用于检索先前存储的用户提供信息的检索能力的提供。
存储容量的提供通过接收对于存储用户提供信息或者用户提供信息的至少一部分的请求来执行。因此，请求包含要存储的用户提供信息的部分以及同样要存储的引用信息。引用信息用于允许通过引用信息的先前检索。因此，在请求中包含的用户提供信息的部分以及引用信息以适当的方式被存储。
检索能力的提供通过接收对于检索用户提供信息的至少一部分的请求来执行。因此，请求包含(唯一)引用要检索的用户提供信息的部分的引用信息。用户提供信息的部分的检索采用已经在用户提供信息的部分的存储过程中被存储的引用信息。请求响应根据用户提供信息的所检索部分来编码，并回送到请求装置。
根据本发明的一个实施例，提供一种用于采用元信息来组织和检索用户提供音频信息的软件工具方法。该软件工具包括程序部分，用于当软件工具以计算机程序实现和/或运行时执行根据本发明的任何实施例的任何上述方法的操作。
根据本发明的一个实施例，提供一种用于采用元信息来组织和检索用户提供音频信息的计算机程序。该计算机程序包括可加载程序代码部分，用于当程序在处理装置、计算机或网络装置中运行时执行根据本发明的任何实施例的任何上述方法的操作。
根据本发明的一个实施例，提供一种计算机程序产品，它包括存储在计算机可读媒体中的程序代码部分，当该产品运行于处理装置、计算机或网络装置时执行根据本发明的任何实施例、用于采用元信息来组织和检索用户提供信息的上述方法。
根据本发明的一个实施例，提供一种计算机数据信号。该计算机数据信号以载波来体现，并且表示程序或程序代码部分，它在由处理器运行时，使根据本发明的任何实施例、用于采用元信息来组织和检索用户提供信息的上述方法被执行。
根据本发明的第八方面，提供一种移动终端装置，它能够根据按照本发明的实施例的上述方法的任一个采用元信息来组织用户提供信息。该移动终端装置包括用于获取(接收)用户提供信息以及与用户提供信息关联的上下文信息的组件。此外，用于把从上下文信息中得到的元信息分配给用户提供信息的组件。用于存储的组件，即存储装置，接收和存储元信息以及用户提供信息。
用户提供信息将被理解为已经产生、接收或者对于针对移动终端装置所执行的任何用户操作而出现的数据。用户提供信息可通过利用用户输入部件来产生，或者可经由移动终端装置提供的任何数据通信接口来接收或获取。还要理解，用户输入部件可能是按键装置、键盘、小键盘或任何其它手动可操作输入组件(操纵杆、笔等)，但也可以是增强输入部件，例如音频传感器(麦克风)、能够拍照和/或拍摄图像序列(视频)的数码相机(摄像机)以及另一种传感器输入。数据通信接口可以是能够采用对应装置来接收、发送或传递任何类型的电子数据的任何接口，特别是包括事务处理信息和/或通信信息。上下文信息与用户提供信息关联。要理解，上下文信息例如包括与当前活动的并且用户提供信息最初与其相关的装置应用和/或装置功能的信息、时间信息以及与用户提供信息并行可用并且(在时间顺序和/或逻辑上)与用户提供信息相关的任何其它信息。
根据本发明的第九方面，提供一种能够采用从日历信息中得到的元信息来组织用户提供信息的移动终端装置。移动终端装置能够执行根据本发明的实施例的上述方法的任一个。移动终端装置包括用于通过移动终端装置所实现的电子日历应用程序中获取日历信息的组件。用于匹配的组件允许把日历信息与用户提供信息进行匹配，以及用于获取元信息的组件允许、从匹配日历信息中获取元信息。
根据本发明的第十方面，提供一种移动终端装置，它能够采用元信息来组织用户提供音频信息。移动终端装置能够执行根据本发明的实施例的上述方法的任一个。移动终端装置包括用于获取用户提供音频信息以及用于获取与用户提供音频信息的录制和存储并行提供的附加用户提供信息的组件、用于录制用户提供音频信息的组件、以及用于存储用户提供音频信息的存储组件。此外，还包括用于获取上下文信息的组件。上下文信息包含在用户提供音频信息的录制和存储过程中根据用户动作因此而产生的用户输入信息。上下文信息被记录并提供给用于产生元信息的组件，其中元信息包含与得到的附加用户提供信息以及所记录的上下文信息有关的信息。
根据本发明的第十一方面，提供一种能够用于通过把元信息嵌入用户提供音频信息、采用元信息来组织用户提供音频信息的移动终端装置。移动终端装置能够执行根据本发明的实施例的上述方法的任一个。移动终端装置包括编码基数集合。编码基数表示多个编码符号。所述编码基数集合的每个代码基础定义至少一个频率。用于映射的组件把元信息映射到所述多个编码符号，以及用于获取已经嵌入元信息的用户提供音频信息的组件能够把所映射元信息嵌入用户提供音频信息。
根据本发明的第十二方面，提供一种能够提供用于组织设有元信息的用户提供信息的存储容量的存储装置。该存储装置包括用于接收对于存储的请求、用于接收对于检索的请求以及用于根据对于检索的所述请求因此而发送响应的接口组件。对于存储的请求是对于从执行根据权利要求1至29中的任一项的、用于采用元信息来组织用户提供信息的方法的移动终端装置所发送的用户提供信息的至少一部分的存储的请求。这个请求包含要存储的引用信息以及用户提供信息的一部分。对于检索的请求是对于从执行根据权利要求1至29中的任一项的、用于采用元信息来组织用户提供信息的方法的移动终端装置所发送的用户提供信息的至少一部分的检索的请求。那个请求包含允许检索用户提供信息的所请求部分的引用信息。
存储组件能够存储用户提供信息以及引用信息，使得用户提供信息是结合引用信息可检索的。用于检索的组件使得能够检索由根据包含在其中的引用信息进行检索的请求所请求的用户提供信息的部分，以及用于产生响应的组件准备包含要传送给请求移动终端装置的用户提供信息的所检索部分的响应。
参照附图、通过实施例更详细地描述本发明，附图包括

图1a表示框图，说明根据本发明的一个实施例的个人日志的结构组织和交互；图1b表示框图，说明根据本发明的一个实施例、允许构建个人日志的组件；图1c表示框图，说明根据本发明的一个实施例、包括与个人日志配合的另一个存储装置的适合的装置环境；图2a表示流程图，分别说明根据本发明的一个实施例、用于在如图1b所示的日志组件中操作、具体为用于建立已记录信息的操作序列；图2b表示流程图，分别说明根据本发明的一个实施例、用于从图1b所示的日志组件中操作、具体为用于检索信息的操作序列；图3a说明提供用于输入信息的语义字段结构的示意日历条目；图3b表示曲线图，说明根据本发明的一个实施例、用于把隶属度与某些事件关联的示例隶属函数；图3c表示流程图，说明根据本发明的一个实施例、用于产生一个或多个标记/索引信息的操作序列；图3d表示曲线图，说明根据本发明的一个实施例、与图3a所示的日历条目以及不同的相应多媒体数据的若干时标对应的示例隶属函数曲线；图3e表示包含根据图3a所示的日历条目、并根据本发明的一个实施例得到的标记/索引信息的相应多媒体数据的选择的上下文信息的说明；图4a表示流程图，说明根据本发明的一个实施例、用于录制音频信息以及用于把任何类型的附加信息与音频信息关联的操作序列；图4b表示在时间上的操作序列，说明根据本发明的一个实施例的示例使用序列；图4c表示图4b中提供的并根据本发明的一个实施例的示例使用序列方面的可能的示例描述；图4d表示框图，以图形方式说明根据本发明一个实施例的协议/描述的描述；
图4e表示表格，阐述根据本发明一个实施例的协议/描述信息的面向文本的说明；图5a表示曲线图，说明包括若干完整倍频程的音频录制/再现系统的示例频率范围；图5b表示一组曲线图，说明根据本发明一个实施例的不同编码方法；图5c表示框图，说明根据本发明一个实施例、信息到音频信号的嵌入；图5d表示框图，说明根据本发明一个实施例、被嵌入音频信号的信息的恢复；附图中所示的相同或相等部分、特征和/或操作将由相同的参考标号来表示。本发明的实施例的以下描述划分为独立部分，其中的每个部分涉及整体创造性概念的某一个方面。
I.个人日志电子终端装置的用户根据其偏好和重复需求来形成个人使用模式。基于移动通信终端的一个实例是“上一个呼叫”功能，在其中，由预定数量的接通电话呼叫组成的电话号码列表被呈现给用户，允许用户对它滚动以选择所呈现的列表条目其中之一。电话号码的列表往往与用户自己所建立和编辑的个人电话目录关联。用户易于选取相当频繁使用的那些号码其中之一来发起新的呼叫。在电话簿的情况下的思路是存储最后呼叫的号码并且还提供它们供将来使用。
这个概念将一般化为其它使用领域，并且在下文中表示为“个人日志”。图1a通过概念框图说明根据本发明的一个实施例的个人日志的结构组织和交互。框图说明三个示例信息流，其中的信息被传递给个人日志200用于记录、组合、归类、标记、索引以及提供用于检索。三个示例信息流包含用户输入信息流101、上下文信息流100和事务处理/通信细节信息流102。
个人日志200的基本输入参数和属性为用户输入信息、例如从用户输入信息的处理过程中并且结合可用及适合的上下文信息所产生的结果信息。用户输入通常基于诸如PDA、电子组织器、移动通信终端装置及相关电子数据处理装置等的电子设备所提供的输入部件。用户输入部件是用户可操作的，以及电子设备接收与输入部件的操作对应的用户输入信息。相应地，以下示例输入部件可操作的一个或若干用户输入或输入序列适合用于被记录-按键、小键盘、键盘键盘/小键盘输入，在其中个体字符输入被聚集，以及它们将与应用上下文、即键盘/小键盘输入被传递到其中以便进行处理的当前正运行装置应用程序或者当前被执行装置功能关联，以便经过解析以实现预期操作等。例如，用户输入包括表示其标题从应用上下文已知的表格字段的完整文本字符串的字符序列的聚集输入，例如被提供给WAP浏览器以便被解析并被解释为URL地址信息的字符串。
-光笔笔输入，在其中坐标信息可被传递给光字符识别以便首先被转换成基于文本的信息，或者表示作为草图的自由图形输入。例如，PDA为用户提供笔输入能力，用于操作DPA；-音频检测器(麦克风)语音输入，在其中语音输入作为稍后再现的语音备忘录，例如在口授机的形式中被录制，或者语音输入被传递给语音识别，它又返回与语音输入对应的文本信息。这种语音识别可直接在具有语音识别能力的电子设备中实现，或者可实现为经由无线或有线通信可访问的连网语音识别服务；-数字图像接收器(CCD相机)图像/视频输入，在其中图像或图像序列(视频)直接被存储，或者在其中只存储从图像/视频输入得到的且表示已识别的姿态的符号；-传感器附加传感器输入，例如加速度传感器信息等；-以及其它用户输入，它们可从电子设备的输入接收部件接收，以及它们适合控制其功能和/或应用。例如，其它适当的输入部件可以是任何用户可操作输入部件，例如操纵杆、触摸垫等。
用户输入信息流101自然地被限制为对于用户输入因此而接收的上述信息。用户输入信息流101可被理解为对于针对电子设备的任何用户操作因此而获得(接收)的用户输入信息，其还包含经由提供与任何其它对应装置的数据交换能力的任何接口所获得(接收)的任何信息。
上下文数据/信息由附加信息以及在其中用户输入被执行或者从电子设备在其中当前为活动的当前工作状态得到的条件来表示。上下文信息可包括-装置的定位信息(如果可用)，在其中，位置信息可从无线电接入网(位置服务使能的无线电接入网)或者从卫星定位系统(全球定位系统)传送-活动的时间信息，即与接收到用户输入的时间有关的信息、与接收用户输入的持续时间有关的信息、与用户输入开始/停止的时间有关的信息以及相关的时间信息；-与在用户输入期间具有输入/输出焦点、接收用户输入的活动应用程序有关的信息，以及用户输入针对该活动应用程序的哪个特征的更详细情况-环境详细情况(如果可用)，例如温度、湿度/气候条件、照明条件；-与用户的语气有关的信息(如果可用)；-以及通过电子设备可得到的并且适合作为上下文定义参数的所有其它信息。尤其是，与在电子设备中操作的应用程序、如日历应用程序、电话目录、地址簿应用程序以及用于组织专用信息的相关应用程序等一起可用的信息。
事务处理/通信详细信息是要馈送给个人日志200的第三信息流102。事务处理/通信详细信息可包含以下信息-与消息或已经接通的呼叫的发送方有关的身份信息，例如主叫电话号码、发送方的vCard、发送方的语气(参见上下文信息)；-与电子商务事务处理详细情况有关的信息，例如接受方、(银行)帐户信息、订单描述以及定价；以及-与事务处理有关的状态信息，包括事务处理的跟踪信息，例如关于订单生存周期、如订单发出-订单确认/接受-交付开始-交付保持(delivery on hold)(例如下载)-交付恢复-交付完成-订单计费-订单支付；事务处理/通信详细信息可视作上下文信息的组成部分。
可用信息到三个不同信息流的所提供归类被理解为根据本发明的概念的示例实施例，以便教导个人日志200所记录的信息的可能的但非必不可少的归类。要注意，与电子设备的操作一起出现并且能够被记录到不同信息流中的信息流的归类可能很困难，因为某些信息可能同时与不同信息流关联。所提供的概念还可结合包含一个、若干所选或者全部可用信息的单信息流可操作的。此外，根据本发明的一个实施例，分配给所提供的示例信息流其中之一的单信息部分表示单个示例信息部分。本创造性概念不能理解成限制于信息的那些所述单部分。
控制这些信息流100、101和102的电子设备向个人日志200提供信息流。在概念上，根据本发明的一个实施例的个人日志200的任务可分为三个不同的子任务-获取/接收和记录用户输入信息、上下文信息、事务处理信息以及其它可用信息，并处理所记录信息以便进行存储。
这个子任务可不需要其它用户活动而自动执行，即这种记录操作可以是后台活动。所获取/接收和记录的信息可通过定义要获取/接收和记录的信息的种类的预定和/或用户定义规则来确定。
-根据用户特定标准或系统特定标准来维护和归类在个人日志中存储的信息。这个子任务也可以是后台活动，以及维护和/或归类标准可以由用户预先定义。
-对于指定要应用于从个人日志200的信息的检索的某些过滤和/或归类标准的一个或多个检索指令因此而检索信息，并提供(呈现)所检索信息。一个或多个检索指令可从一个或多个应用程序300发送到日志200，以及日志200向其回送所检索信息。
个人日是志200的操作可以简单地通过以下描述来表达。个人日志200自动获取/接收和存储所有用户输入、应用上下文、在其中出现这个的位置上下文和时间上下文、以及来自外部的所有通信相关信息。信息根据不同的(预定/用户定义)标准来归类，以便于用户对所存储信息的检索访问。例如，用户能够跟踪他或她的输入/事务处理，因为跟随活动最可能基于这个上下文。
考虑到个人日志200的上述功能，可认识到对于信息过负荷难题的优点。解决信息过负荷难题的技术前提由日志来提供，日志允许存储在用户的日常生活中遇到的所有信息，从文档开始、到音频录制、直至用户生活的全天视频。这个信息、尤其是多媒体信息在没有实现允许自动或至少半自动组织这种信息的个人日志200的情况下可能是无用的。否则，用户无法专注于相干内容并它将来使用它。
图1b通过个人日志200的一个示例实施例说明根据本发明的一个实施例、允许构建图1a中所示的这种个人日志200的组件。个人日志200可通过信息接收接口或信息获取组件201、标记/索引组件202、引用组件203和日志存储器210来实现。这些组件201、202、203和210涉及以上在个人日志的主要操作方面所述的第一和第二子任务。所述日志存储器210可由可通过存储管理组件213分别连接到个人日志200和日志存储器210的外部日志存储器230来支持，它允许把信息疏散到其中以及从其中检索信息。此外，日志存储器210可以完全由作为存储日志相关信息的唯一存储组件进行工作的外部日志存储器230取代。
此外，个人日志200包括允许从日志存储器210和/或从外部日志存储器230(当它存在并用于存储时)检索信息的组件。请求接口220能够从例如已经对用户输入因此而产生信息检索请求的某个应用程序接收对信息的一个或多个请求。这种请求包括指示例如根据一个或多个检索、归类和/或过滤标准来检索某个信息的一个或多个命令。日志访问组件221负责访问日志存储器210以及可能的可用外部日志存储器230。协同日志访问组件221和响应接口222来产生分别包含来自日志存储器210和外部日志存储器230的信息、与信息的请求对应的响应，以便分别传送给能够接收响应的一个或多个应用程序或者返回给已经发起对信息的请求的应用程序。
图1c说明根据本发明的一个实施例、包括与个人日志配合的存储解决方案/存储组件和存储装置的适合的装置环境。上述外部日志存储器230可通过大量方法来实现。所述装置环境将说明外部日志存储器230的几个实施例，但它不限于此。装置环境包括已经实现根据本发明的一个实施例的个人日志的电子设备10、可拆卸连接存储组件11、耦合到电子设备10的外部存储装置12、各提供用于与根据本发明的个人日志的一个实施例结合使用的存储空间/容量的本地外部存储解决方案13以及连网的外部存储解决方案17。
可拆卸连接存储组件11可在技术上以目前用于移动电子设备产品的基于闪速存储器、磁存储器、铁氧体存储器等的任何存储卡(SD卡、多媒体卡、...)的形式来实现，或者以可一次写入或可重写存储媒体、如光记录媒体(例如CD-R、CD-RW、根据任何DVD标准的可一次写入/可重写DVD媒体)、磁记录媒体等的形式来实现。任何已知的大容量存储媒体均适合使用。相应地，这种大容量存储技术可用作经由有线或无线连接耦合到电子设备10的外部存储装置12。作为专用存储组件11或专用外部存储装置12的替代，可使用已经实现大容量存储组件的处理装置13、如台式计算机或笔记本，与所示和所述的外部日志存储器230一致。类似地，无线或有线通信连接提供与这种处理装置13的通信。另外，经由无线或有线通信网络15连接到电子设备10的连网存储装置17可提供用作外部日志存储器230的专用存储空间。
任何有线和/或无线连接技术可用于实现电子设备10与所述外部装置12和13其中之一的通信。例如，通用串行总线、FIREWIRE总线或其它任何串行但也并行总线均可用于有线连接，而蓝牙、无线局域网、无线本地环路、红外线通信及相关无线通信标准允许实现无线通信14。
如结合连网存储装置17所述的这种连网存储解决方案可通过可经由因特网18、广域网、局域网、公共陆地移动网络16(例如GSM、PCN、DCS、PCS、UMTS等)或者它们的任何组合进行访问的连网存储服务来提供。连网存储装置17的优点在于，所提供的存储容量可以不会因结合可拆卸存储媒体所施加的任何存储容量限制而受到限制，并且所提供的存储容量可以始终可用(只要到连网存储装置17的通信链路可用)。
个人日志200以及个人日志200中包含的组件的操作的更详细描述将结合以下与个人日志200的记录/维护和来自个人日志200的某种已记录信息的检索相关的操作序列来论述。
图2a表示流程图，分别说明根据本发明的一个实施例、用于在如图1b所示的日志组件中操作、具体为用于建立已记录信息的操作序列。
在操作S100中，个人日志200的记录操作开始。
在操作S110、操作S120和操作S130中，用户输入信息、上下文信息和/或事务处理信息/通信详细信息分别被获取和接收。由框图看来，个人日志200、具体为信息接收接口201，接收这个信息集合。根据已经实现个人日志200的电子设备的当前操作和/或操作状态，只有上述信息或附加信息的一部分可用于记录。要由个人日志200记录的信息种类可以预先定义或用户定义，以及根据(预先、用户)定义的记录规则的所有可用信息被记录。
在操作S140中，包含用户输入信息、上下文信息和/或事务处理信息/通信详细信息的至少一部分的所接收信息被结合到信息集合中。那就意味着，适时地同时接收的信息、逻辑相关和/或逻辑关联的信息等产生联系，并形成产生信息记录的信息集合。通过分别考虑时间信息或者其同时接收，所接收用户输入信息与所接收上下文信息关联。通过分别考虑时间信息或者其同时接收，所接收通信详细信息和/或事务处理信息与所接收上下文信息关联。此外，通信详细信息和/或事务处理信息可按照时间间隔来接收，并且可通过逻辑关系相关。
在操作S150中，所得信息记录分别被标记和索引，即分别配置了标记信息和索引信息。例如随后因信息请求，标记信息和索引信息用于检索信息记录或信息记录的一部分。标记和索引信息可以是分别从信息记录提取并允许以有用及有效方式检索、选择和/或评估已标记和/或已索引信息记录的个体元信息集合。标记和索引信息本身通过采用来自用户输入信息、上下文信息和/或事务处理信息/通信详细信息的个体信息从信息记录中获得(提取)。标记信息可表示与其结合已经从所接收信息组成信息记录的某个装置操作，即，标记信息可表明或表示对其因此而接收信息以及所接收信号与其相关的装置应用或装置功能。
例如，由已经嵌入根据本发明的一个实施例的个人日志200的移动通信使能终端装置的用户拨打某个号码。用户输入信息可包含表示所拨打电话号码的号码序列或者来自与相应电话号码关联的个人电话目录的姓名条目。作为上下文信息，电话呼叫的发起和结束的时刻、电话呼叫的持续时间、当前日期、当前地理位置以及其它可用上下文信息与这个用户输入信息关联。相应地，信息记录可从这个信息形成，以及标记信息“电话号码”或“电话呼叫”可分配给这个信息记录，其中，标记信息可从提供与当前焦点应用程序、在这里为电话呼叫应用程序有关的信息的上下文信息中提取。此外，可用上下文信息的部分可用作索引信息。连续检索操作可指示传递已经记录的所有电话呼叫或者已经在某个日期、在某段时间、在某个地理位置等已经记录的所有电话呼叫，使得索引信息用作使能所检索信息的过滤的信息或者类似地用作所检索信息的归类、即根据时间/日期、持续时间、地理位置等进行归类的信息。
又例如，已经嵌入根据本发明的一个实施例的个人日志200的移动通信使能终端装置的用户通过WAP(无线应用协议)浏览器访问因特网，以便通过采用电子商务服务提供商的服务的电子支付来支付旅馆帐单。个人日志接收与WAP浏览器使用对应的用户输入信息，例如其中，服务提供商的URL(通用资源定位符)以及由用户填写以便预订付费的表单的用户输入信息、如与旅馆有关的地址和帐户信息。用户输入信息类似地伴随着上下文信息，例如上述的WAP浏览器使用的开始和结束时刻、当前日期、当前地理位置以及要与用户输入信息关联的其它可用上下文信息。另外，事务处理信息也是可用的，并由日志接收，在其中，事务处理信息可包含(唯一的)事务处理ID(标识序列)以及与地址、帐户、金额等有关的个体信息。所得信息记录可以标记为“事务处理”，并采用所选个体上下文信息和/或个体事务处理信息来索引。
或者，所接收信息可结合成两个信息记录，一个只与WAP浏览器使用相关，以及另一个与事务处理相关。两个信息记录结合上述上下文信息来形成。相应地，第一信息记录可标记为“WAP浏览器”，以及第二信息记录可标记为“事务处理”。
可对发起的事务处理因此而接收其它事务处理信息。这种事务处理信息与上下文信息一起被记录。上述事务处理ID可包含在可对所发起的事务处理因此而接收的所有事务处理信息中，使得索引信息根据事务处理ID的创建允许用户检索与同一个事务处理过程相关的所有事务处理信息，即使在事务处理信息在不同时刻被记录的情况下。或者，在不同时刻记录的所有事务处理信息可根据基于唯一事务处理ID的逻辑关系来组合成信息集合。
在操作S160中，引用信息记录。根据逻辑分离，个人日志200可与在其中存储实际信息记录的日志存储器完全分离。在这种分离的情况下，个人日志200仅存储信息记录的不同示例之间的关系，并指向实际日志存储器，以便允许信息记录检索。信息记录的引用允许确定适合于从实际日志存储器、如外部日志存储器230检索信息记录的链接信息。更准确地说，链接信息、标记信息和/或索引信息存储在个人日志200本身中，也就是在日志ID存储器212中，它允许对所存储信息记录的有用检索、过滤、选择和/或归类，而与日志200的日志ID存储器212中所存储的信息关联的其它信息则被疏散到实际日志存储器，即疏散到外部日志存储器230，更精确地说是到个人日志200的外部的日志信息存储器232。
实际上，以上建议的个人日志与实际日志信息存储器的硬分离可能复杂，相反，只有信息的较大部分、如音频和视频剪辑可能分别移动到外部日志存储器320、更精确地说是外部日志信息存储器232，但信息的较小部分、如文本信息则分别保存在个人日志200、日志存储器210、更精确地说是日志信息存储器211中。
必要时，个人日志200的日志存储器210中存储的以及耦合到个人日志200的外部日志存储器230中存储的信息的链接可通过存储在专用存储区、即个人日志200所包含的日志存储器210的日志ID存储器212中以及外部日志存储器230的相应的对应日志ID存储器231中的上述引用信息来建立和实现。存储管理组件213管理嵌入个人日志220的日志存储器210与外部日志存储器230之间的信息交换。
所提出的概念把信息组织(个人日志)与信息存储分离，使得日志信息单独对用户也是有价值的，而(存储器密集的)内容则分开处理。虽然基本信息的记录可能已经在具有适当存储器预算的电子设备(终端)中实现，但信息及其组织的分离的完全益处在具有本地连接(在电子设备中实现或者与其以可拆卸方式连接)的或经由通信网络连接到电子设备的、诸如光可重写存储媒体(可重写计算机光盘(CD)、数字通用光盘(DVD)等)、磁存储媒体(硬盘等)、永久存储媒体(闪速存储器、磁存储器、铁氧体存储器等)、基于网络或基于因特网的存储解决方案等的大存储容量的电子设备(终端)中是非常明显的。
例如，可能假定，已经实现根据本发明的一个实施例的个人日志的移动通信使能处理装置(例如PDA或具有通信适配器的电子组织器或者移动通信终端装置)的用户下载视频呈现(幻灯片、图片、大电子文档)。下载信息与相应的上下文信息一起由个人日志记录，那意味着完整的视频呈现(幻灯片、图片、大电子文档)存在于日志存储器中。特别是，移动处理装置通常因其移动性(大小、重量)和可用性而配备了有限的存储容量。这个信息到具有高存储容量的外部耦合存储器的疏散可能是必要的。
在操作S170中，信息被存储。信息记录以及标记、索引和/或引用信息的存储根据为个人日志200所选择的上述存储解决方案来执行。标记、索引和/或引用信息以及信息记录可组织为数据库，它允许以有效方式访问标记和索引信息，用于标识与一个或多个检索指令匹配的一个或若干个信息记录。
由于信息的数量可能非常大，尤其是在诸如要求大量数据存储容量的视频剪辑、音频剪辑等多媒体信息方面，数据保存和删除的策略/规则必需到位。
独立于所选存储解决方案，总存储容量始终是有限的，使得要求要保存什么信息以及要丢弃什么信息的策略/规则。缺省情况下，生存时间可与所有信息(记录)关联，实际上意味着最旧的信息首先被删除。到期信息及时删除可在到期时、或者在要求被到期信息占用的并且需要用于存储新的信息的存储容量时自动操作。或者，到期或更旧的信息可移动到存档媒体，它可与上述外部存储解决方案类似地来体现，用于整理日志存储容量。存档媒体可以是以可拆卸方式与电子设备和个人日志连接供存档的个人计算机(PC)的大容量存储器、可移动存储媒体或基于网络的存储解决方案。相同的策略/规则可应用于日志、日志存储器和/或外部日志存储器。
在操作S180中，完成了相对用户输入信息、上下文信息和/或事务处理/通信详细信息的某个集合的记录信息。体现为作为根据本发明的一个可能的实施例的所提供操作序列的记录操作可作为已经实现个人日志的电子设备的后台进程来操作。当要记录的信息集合被个人日志接收到时，上述记录操作立即分别由电子设备和个人日志来执行。
如果所收集信息可与大范围的应用结合使用，则个人日志是用户最感兴趣的。上述记录过程的关键操作是标记/索引操作S150，因为只有有用的标记和索引才确保允许有效及有用地管理大量收集信息的日志信息的可能。
图2b表示流程图，分别说明根据本发明的一个实施例、用于从诸如图1b所示的日志组件中操作、具体为用于检索信息的操作序列。
在操作S210中，从个人日志200检索信息的检索操作开始。
在操作S220中，接收对于从个人日志检索信息的请求。这种请求可由个人日志200的上述请求接口220来接收。
在操作S230中，从个人日志200中检索一个或若干信息记录。请求包含指定要从个人日志200中检索的信息种类的指令。请求指定某个指定(designation)或指定组合，根据它可选择先前存储的信息记录。例如，根据在图2a所示的标记和/或索引操作S140，指令例如命令日志访问组件221检索与某个标记信息关联的、与某个索引信息关联的和/或与其的信息的任何组合关联的信息记录。
在操作S240中，与包含在请求中的检索指令匹配的已检索信息记录可根据请求所包含的附加指令来进一步归类。已检索信息记录的归类可类似地基于某个指定或指定的组合。例如，根据在图2a所示的标记和/或索引操作S140，指令例如命令日志访问组件221根据某个关联标记信息、某个关联索引信息和/或其的关联信息的任何组合对已检索信息记录归类。
操作S230和操作S240可以是组合操作，使得检索、过滤和/或归类在组合操作中进行操作。
在操作S250中，已检索、过滤和/或归类的信息记录传送给在电子设备中运行的某个应用程序。被定址的应用程序可在请求中编码。
在操作S260中，完成从个人日志200检索信息的检索操作。
在操作S230中，根据请求所包含的指令的信息的检索可涉及从用作疏散存储器的外部日志存储器中的信息的检索。根据信息请求匹配的信息记录的选择可结合包含标记信息、索引信息和/或链接(引用)信息的日志ID存储器212来执行。通过采用来自疏散存储器、即包括相应日志ID存储器231和具有待检索信息的日志信息存储器232的外部日志存储器230的相应链接(引用)信息，来检索实际信息。
例如，根据已经实现根据本发明的一个实施例的个人日志的移动通信终端装置，通过用户选择固定装置特点或应用程序特点、例如检索上一次拨打电话号码、上一次已接电话呼叫或上一次未接电话呼叫的命令(操作菜单项)，检索信息的请求可被产生并传送给个人日志。从个人日志检索与上一次拨打电话号码、上一次已接电话呼叫或上一次未接电话呼叫有关的信息的相应请求的产生可通过选择某个应用程序功能或者通过操作移动通信终端装置的某个专用键来发起。由于日志记录所有用户输入信息、上下文信息和通信详细信息，因此，要检索的对应的相应信息存在于个人日志中，并相应地提供给用户。同样，上一次事务处理等的历史列表可由用户来请求，并最终相应地提供给用户。
例如，根据已经实现按照本发明的一个实施例的个人日志的电子设备，请求可包含用户输入文本字符串(例如姓名、地址等)，根据它来检索包含匹配文本信息的信息记录。这个实例可产生包含例如与拨打电话号码相关的信息记录、与日历条目相关的信息记录、与个人电话目录的编辑相关的信息记录以及包含已输入文本字符串的其它信息记录等的多个不同信息记录的响应。为了从个人日志中检索匹配信息记录，已输入文本字符串可与关联信息记录的标记和/或索引信息进行比较，或者可与信息记录的整个信息内容进行比较。
根据已经实现按照本发明的一个实施例的个人日志的电子设备，请求可包含关联应用上下文的信息。例如，用户目前卷动个人电话目录，并查找他想检索其它信息的指定。对于用户指令，从个人日志检索信息的请求被产生，它例如包含个人电话目录的已发现条目的指定。相应地，个人日志服务于在其中已经记录和存储的所有信息，它们与从当前应用上下文中提取的所提供指定匹配。根据某个应用上下文的日志信息请求的产生还适用于具有类似上下文的其它应用程序和/或装置功能。
对于请求因此而检索和最终提供的日志信息可通过预定或用户定义方式来过滤或归类。历史列表通常以时间顺序(向后)归类，并限制为一定数量的条目(例如十个条目)。或者，检索信息记录的归类可基于使用率信息，那意味着，与低使用率关联的信息记录在所得信息记录序列结束时被归类或者被滤除。其它归类和过滤过程是可能的，因为上下文信息提供大量个体信息，允许有效和有用归类及过滤。
个人日志可基于用于组织所述存储结构的数据库技术。此外，标记/索引信息的编码可基于装置无关标记语言编码。由个人日志所管理的数据的适当编码技术可以是根据扩展标记语言(XML)或二进制编码XML结合相应文档类型描述(DTD)及相关标记语言表示的编码技术。日志数据的内容和表示/组织可以独立构造，以及内容可由配置了统一资源定位符(URL)、统一资源指示符(URI)以及可比资源定址方案的定址信息(引用信息)来引用。
以下部分将涉及个人日志所执行的不同操作，以及涉及被记录用于提供以便进行检索的某个用户提供信息。第一详细描述将涉及采用从电子日历及其日历条目获取的信息来标记和/或索引用户提供信息。第二详细描述将涉及采用从在音频录制期间被操作的用户动作所得到并由音频录制期间的用户动作所提供的信息来标记和/或索引用户提供音频信息。第三详细描述将涉及用于把任何类型的信息嵌入用户提供音频信息的方法。特别是，该方法定义新类型的标记语言编码，它基于音频剪辑周围或之内的任何标记语言的嵌入字符(符号)的字母和语言编码系统。
II.多媒体信息的上下文标记如前面根据个人日志而且对于信息的通用检索系统、更具体来说对于多媒体信息(数据)检索系统所述，这类系统必需利用可靠属性(本文中还表示为标记信息和/或索引信息)，以便允许可靠检索并提供有用结果。但是，可从多媒体信息、如视频或音频序列中自动提取的大部分属性或者可能从用户角度看来不太重要-例如颜色、纹理等，-或者不太可靠-例如人、物体等。
目前技术水平的现有多媒体信息检索系统呈现若干缺点。在多媒体信息的手动标记的情况下，可取得高可靠性，在其中，高可靠性将规定检索结果的高准确性，这无疑是必需且符合需要的。但是，手动标记迫使这种多媒体信息检索系统的用户可靠地维护采用甚至对于将来使用也是可理解并且可用的有用标记信息的标记。或者，多媒体信息的标记可基于自动数据分析，例如多媒体信息中的人的检测、如面部识别或说话人(语音)识别，它是需要可能无法使用的高数据处理能力的高要求过程。另外，对于要在视觉或听觉上被识别的所有的人，需要良好的视觉模型或听觉模式。因此没有包含在某个模型/模式库中的人无法被识别。此外，被认为与特定的人相干的多媒体信息限于直接包含此人的那些信息对象，即在涉及自动识别的情况中它的脸部、它的声音。
因此，本发明还涉及用于采用产生适用于对其检索的高可靠及节省成本的属性的日历数据来标记信息(更具体为多媒体信息)的方法。创造性概念利用日历条目以便标记/检索信息。这种标记/索引应该是可靠的，因为从其中获取的上下文信息已经由用户手动来构成，以及这种手动输入上下文信息的使用是节省成本的，因为用户知识的这个分支仅针对已经由用户存储在其个人日历中的信息。
标记/索引信息的以下描述将针对多媒体信息来给出，其中多媒体信息主要可包括图像、图片、遗留文档、幻灯序列、视频序列等，它们的共同点是用于标记和/或索引的可靠信息的提取困难甚至是不可能的。对于以上所提供的介绍，应当理解，即使描述涉及多媒体信息，但创造性概念不限于此，因为它适用于任何信息。
电子日历的使用因这类电子日历提供给用户的优点而广为传播。电子日历每当要求和/或需要时提供条目的编辑、修改、删除，而对整个外观没有任何负面影响。日历条目允许定义由时间和/或日期所触发的告警。此外，日历条目可以相互链接和内部链接，使得信息可从其它应用程序被传递或者传递到其它应用程序，例如包含在日历条目中并且与个人电话目录相互链接以便快速便捷地选择某个电话目录条目或者反之亦然的联络信息。
采用日历信息用于标记/索引多媒体信息要求与日历信息的语义结构相关的某些额外所得以及涉及要标记/索引的多媒体信息的上下文信息。
与某个事件关联的电子日历中的所有条目应当在语义上构成。作为日历条目的语言结构的一部分，以下字段看来对于多媒体信息的标记是有用的-“日期”这个字段将包含事件发生的日期；-“时间”这个字段将包含事件发生的时刻或时间段；-“谁”这个字段将包含电子日历的拥有者以及事件中的参与者；-“哪里”这个字段将包含与事件发生的位置有关的信息；-“注释”这个字段将包含任何自由文本注释；-“类型”这个字段将包含与诸如会议、电话呼叫、电话会议、
业余活动等的事件类型有关的信息；以及-“重要性”这个字段将包含与事件的重要性有关的分级信息(rating information)。
所提供的日历条目的语义结构只是一个实例。创造性概念主要是要求日历条目的日期和时间信息，它们因电子日历本身的概念是独立于特定实现的语义结构可用的。日历条目的语义结构涉及多媒体信息的标记/索引。最终与多媒体信息关联的标记和/或索引信息从日历条目中提取，使得所建议的语义结构确保所提取标记和/或索引信息是可靠且可察觉的。日历条目的所建议语义结构可以被改变、修改或适应某些条件，而没有背离本创造性概念的范围。
图3a说明两个在语义上构造的日历条目#i和#j。日历条目包含用于可靠地构造日历条目所包含的信息的以上意图的语义字段。第一示例日历条目#i指定在北极附近(字段“哪里”)、有Santa Clause和Rudy“Rednose”Reindeer(字段“谁”)、于2002年12月6日星期五(字段“日期”)下午6.00开始并在下午7.00结束(字段“时间”)的会议(字段“类型”)。日历条目#i还包含自由文本注释(字段“注释”)。第二示例日历条目#i指定于2002年12月6日星期五(字段“日期”)下午7.10开始并在下午7.25结束(字段“时间”)的、与Jane(字段“谁”)的电话会议(字段“类型”)。日历条目#i还包含自由文本注释(字段“注释”)。
根据示例日历条目#i和#j，可以认识到，日历条目的意图的语义结构极为有用，因为语义结构确保从日历条目提取并用于标记/索引多媒体信息的信息表示在检索基于这种信息的情况下保证高检索准确性的可靠信息。例如，多媒体信息可采用能够可靠地从“谁”字段提取的姓名信息来标记和/或索引，或者多媒体信息可采用能够可靠地从“哪里”字段提取的的位置信息来标记和/或索引。
要注意，要用于标记/索引的来自语义构造的日历条目的这种提取信息可传送给日历条目的其它任何结构。
时间点或时间段必需可分配给要标记/索引的多媒体信息。例如，多媒体信息的个人集合被提供并可用，它反映用户的真实性的个人记录。这个集合可包含自动拍摄的多媒体快照或手动触发的多媒体快照的连续多媒体录制，其中，快照用作用于执行包含图像、图片、图片序列、视频序列、遗留文档等的任何类型的多媒体信息的录制的通用术语。时标附加到多媒体信息的个人集合的每个条目，在其中，时标可指定执行录制的时刻或时间段。
创造性概念基于通过把日历条目提供的时间信息与关联到多媒体信息的时间信息(时标)匹配来关联日历条目和多媒体信息的主要思想。从其中得到的时间信息的匹配允许把一个或多个日历条目关联到一个或多个多媒体信息序列，尤其是把从匹配的一个或多个日历条目提取的信息作为一个或多个多媒体信息序列的标记/索引信息来分配。换言之，电子日历用于以追溯方式标记/索引多媒体信息。
因此，多媒体信息不仅采用其中的标记信息是明确地可分配给媒体信息的特定标记信息来标记，而且还是从一个或多个匹配日历条目可提取并在一般意义上相关的信息。
为了对这种标记准备更好的精度，所谓的隶属度(参见模糊集合论)的某种分配是可察觉的，在其中，隶属度取决于日历条目所定义的时间范围内的录制的特定时间相关性。
图3b表示曲线图，说明根据本发明的一个实施例、用于把隶属度与某些事件关联的示例隶属函数。横坐标包括时间值，而纵坐标包括隶属度。例如，预定的会议在时刻“开始”时开始并在时刻“停止”时结束。“开始”与“停止”之间的时间段是这个会议的时间范围。时刻“开始”以及“停止”均在图3b所示的曲线图中表示。
两个示例隶属函数分配给这个时间范围。隶属函数1和隶属函数2都在日历条目的时间范围的开始之前的第一不同时刻处的隶属度值零开始上升。隶属函数在某些不同时期的时间范围内成为有效之前以不同梯度连续上升到最大隶属度值一。随后，隶属函数再次以不同梯度下降，并在日历条目的时间范围结束之后的第二不同时刻变为零。
如果多媒体信息的时标在时间范围内，并且相对相应的日历条目的时间范围处于隶属函数的过度定义区域所定义的投影时期，则在时间范围实际开始之前隶属函数的上升以及在时间范围实际结束之后隶属函数的下降确保多媒体信息与时间范围所属的相应日历条目关联。下面将提供实例来阐明这个。
为了简洁起见，两个隶属函数1和2的上升点(以上表示为第一时刻)以及达到点(以上表示为第二时刻)选择为相同，以及隶属函数被定义为分段线性曲线。隶属函数的上升和到达点以及完整形状不限于所述示例，包含开始和终止点的任何形状都是可行的。所实现的可能性分布应当基于作为多媒体信息以及电子日历的拥有者的用户的习惯。但是，所采用的分布必需仅手动调整一次。此后，这种已调整分布分别对于过去已经录制和将来录制的所有多媒体信息以及对于日历条目均有效。
图3c说明根据本发明的一个实施例、用于产生多媒体信息的一个或多个标记/索引信息的操作序列。
基本上，概念思路可减小到图3c所示操作的操作选择。要实现的目的是分别采用一个或多个日历条目以及从一个或多个日历条目中提取的信息来标记和/或索引多媒体信息。
在第一步骤，时标被确定，它与要处理的多媒体信息关联。这个时标与可用日历条目进行比较，并选取其中匹配的条目。隶属度从分配给匹配日历条目的时标的上述隶属函数中获得，在其中，每个隶属度涉及各匹配日历条目。最后分别地，采用一个或多个匹配日历条目来标记/索引多媒体信息以及从一个或多个日历条目中提取的信息被用于标记/索引多媒体信息。
对操作序列的以下描述涉及根据本发明的一个实施例、用于标记多媒体信息的方法的更详细描述。
在操作S300中，用于标记多媒体信息的方法开始。
在操作S310中，分别获取涉及多媒体信息的录制事件的某个时刻或时间段。在操作S315中，与多媒体信息关联的时刻或时间段可从多媒体信息中提取，或者可从分别配置了或被分配给这个多媒体信息的信息中检索。
在操作S320中，检测时刻或时间段是否与多媒体信息关联。在时刻被确定为关联的情况下，操作序列继续进行操作S325，否则，即在时间段被确定为关联的情况下，操作序列继续进行操作S355。
在操作S325中，搜索可用日历条目的总数，以便查找匹配的日历条目。也就是说，所得到的时刻分别与日历条目的时间范围以及扩展时间范围进行比较，在其中，扩展时间范围通过分配给日历条目的时间范围的所使用隶属函数在其中不等于零的时间段来定义。如果时刻分别在时间范围和扩展时间范围之内，则日历条目匹配。
在操作S330中，对于每个匹配的日历条目，执行以下操作S335至S345。
在操作S335中，隶属度根据被确定为与多媒体信息关联的时刻、由分配给当前所选匹配日历条目的时间范围的隶属函数来确定。隶属度用作可靠性值，它表明当前所选日历条目以任何方式与多媒体信息相关的程度。
在操作S340中，多媒体信息分别被标记和索引。标记/索引基于从当前所选日历条目中可用的信息，即整个日历条目本身或者日历条目中包含的整个信息、从日历条目中提取的所选信息等，其中，所提取信息可用于日历条目包含在语义上构造的信息(字段)。
在操作S345中，确定是否已经处理所有匹配日历条目。如果存在到当前为止没有被处理的一个或多个剩余日历条目，则操作序列返回到操作S330，否则，操作序列继续进行操作S350。
在操作S350中，用于标记多媒体信息的方法完成。
在操作S355中，搜索可用日历条目的总数，以便查找匹配日历条目。也就是说，所得到的时间段分别与日历条目的时间范围以及扩展时间范围进行比较，在其中，扩展时间范围由时间段以及根据相应使用的隶属函数的时间范围的开始和结束时的开销来定义。如果时间段与时间范围及扩展时间范围重叠，则日历条目匹配，搜索可用日历条目的总数，以便查找匹配日历条目。也就是说，所得到的时刻分别与日历条目的时间范围以及扩展时间范围进行比较，在其中，扩展时间范围通过分配给日历条目的时间范围的所使用隶属函数在其中不等于零的时间段来定义。如果时刻分别完全或至少部分处于时间范围和扩展时间范围之内，则日历条目匹配。
在操作S360中，对于每个匹配日历条目，执行以下操作S365至S395。
在操作S365中，确定标识为与多媒体信息关联的时间段是否分别与当前所选日历条目的时间范围和扩展时间范围部分匹配。如果时间段和(扩展)时间范围部分重叠，则操作序列继续进行操作S367。如果时间段和(扩展)时间范围完全重叠，并且时间段分别处于(扩展)时间范围内，则操作序列继续进行操作S370。
在操作S367中，多媒体信息分为具有相应分段时期的多媒体信息的一段或多段。具有相应关联的分段时期的段其中之一分别与当前所选日历条目的时间范围和扩展时间范围匹配。具有相应关联的分段时期的其余段分别与当前所选日历条目的时间范围和扩展时间范围既不匹配也不重叠。
在操作S370中，多媒体信息划分为具有相应分区时期的多媒体信息的一部分或多个部分。如果可能的话，分区时期可具有实质相同的时期值、如5分钟。通过分区从多媒体信息中得到的最后部分的分区时期的值可能不同于预期时期值。分区时期的时期值可以预先定义和/或用户定义。
在操作S375中，对于每个部分，执行以下操作S365至S395。
在操作S380中，隶属度根据分区时间段、由分配给当前所选匹配日历条目的时间范围的隶属函数来确定。隶属度用作可靠性值，它表明当前所选日历条目以任何方式与多媒体信息的那个当前所选部分相关的程度。
在操作S385中，多媒体信息分别被标记和索引。标记/索引基于从当前所选日历条目中可用的信息，即整个日历条目本身或者日历条目中包含的整个信息、从日历条目中提取的所选信息等，其中，所提取信息可用于日历条目包含在语义上构造的信息(字段)。
根据多媒体信息的分区，这种分区多媒体信息对于某个时期按段标记和索引，增加作为评估检索可靠性的数量的已分配隶属度的值。分区允许建立应用于多媒体信息的精密可靠性值网格。
在操作S390中，确定是否已经处理分区日历条目的所有部分。如果存在到当前为止没有被处理的一个或多个剩余部分，则操作序列返回到操作S375，否则，操作序列继续进行操作S395。
在操作S395中，确定是否已经处理所有匹配日历条目。如果存在到当前没有被处理的一个或多个剩余日历条目，则操作序列返回到操作S360，否则，操作序列继续进行操作S350。
在操作S350中，用于标记多媒体信息的方法完成。
信息的后续检索最好基于确定的并关联到多媒体信息的键入标记/索引信息，但是，自由文本搜索也是可行的。
图3d说明根据本发明的一个实施例、与图3a所示的日历条目以及不同的个体多媒体数据的若干时标对应的示例隶属函数曲线。图3e表示包含根据图3a所示的日历条目、并根据本发明的一个实施例得到的索引信息的个体多媒体数据的选择的上下文信息的说明。图3d和图3e涉及相同的个体多媒体数据并在以下描述。
图3d所示的曲线图包含均在时间上由某些不同开销扩展的示例日历条目#i和示例日历条目#j的隶属函数。如上所述，日历条目#i中定义的时间段从下午6:00延伸到下午7:00，而相应的关联扩展时间范围从下午5:58延伸到下午7:06。类似地，日历条目#j中定义的时间段从下午7:10延伸到下午7:25，而相应的关联扩展时间范围从下午7:04延伸到下午7:28。关联到日历条目#i的隶属函数以及关联到日历条目#j的隶属函数为分段线性隶属函数。隶属函数#i分别从下午5:58至下午6:02上升(从隶属度零到隶属度一)，并从下午6:46至下午7:06下降(从隶属度一到隶属度零)，而之间的时间段不变(隶属度一)。隶属函数#j分别从下午7:04至下午7:08上升(从隶属度零到隶属度一)，并从下午7:20至下午7:28下降(从隶属度一到隶属度零)，而之间的时间段不变(隶属度一)。隶属函数#i和隶属函数#i在它们与下降期有关的形状方面不同。在这个实例中，隶属函数的形状可取决于时间范围的长度。
另外，与录制音频多媒体数据#a、音频多媒体数据#b以及音频多媒体数据#c的时间段相关的时间段在隶属函数上示意表示为灰色水平条。此外，与拍摄图像多媒体数据#a和图像多媒体数据#b的时刻相关的时刻在隶属函数之上示意表示灰色点。音频多媒体数据#a、音频多媒体数据#b和音频多媒体数据#c的相应精确时间段以及图像多媒体数据#a和图像多媒体数据#b的时刻可在图3e所示的相应上下文信息中看到。
音频多媒体数据#a在从下午6:14延伸到下午6:22的时间段中被录制。根据用于产生标记信息的上述方法，音频多媒体数据#a的时间段与日历条目#i的(扩展)时间范围匹配，以及音频多媒体数据#a根据6分钟的分区时间值被划分为两个部分，第一部分从下午6:14延伸到下午6:20，而第二部分则从下午6:20延伸到下午6:22。第一以及第二部分位于日历条目#i的扩展时间范围内，使得音频多媒体数据#a的两个部分分别采用日历条目#i(在此表示的)或者从日历条目#i中得到的信息(在此没有表示的)来标记/索引。两个部分的隶属度被确定为μ＝1.0。这些部分(由索引1和2表示)另外还在图3d所示的曲线图中根据它们相应的隶属度以及根据它们的分区时间段表示为黑色水平条。
音频多媒体数据#b在从下午6:46延伸到下午7:10的时间段中被录制。根据用于产生标记信息的上述方法，音频多媒体数据#b的时间段与日历条目#i的(扩展)时间范围以及与日历条目#j的(扩展)时间范围匹配。相应地，标记/索引相对于日历条目#i以及日历条目#j来执行。
在第一部分，将描述关于日历条目#i的标记/索引。音频多媒体数据#b的时间段匹配但不适合日历条目#i的(扩展)时间范围，使得音频多媒体数据#b被分段，以及从下午6:46延伸到下午7:06的适合音频多媒体数据#b的段将被进一步处理。适合的音频多媒体数据#b的段根据6分钟的分区时间值被划分为四个部分，第一部分从下午6:46延伸到下午6:52，第二部分从下午6:52延伸到下午6:58，第三部分从下午6:58延伸到下午7:04，而第四部分则从下午7:04延伸到下午7:06。
第一至第四部分位于日历条目#i的扩展时间范围内，使得音频多媒体数据#b的段的这些部分分别采用日历条目#i(在此表示的)或者从日历条目#i中得到的信息(在此没有表示的)来标记/索引。第一部分的隶属度被确定为μ＝0.85，它表示在与第一部分相关的时间段结合这个时间段中的隶属函数的形状来获取的平均隶属度。类似地，第二部分的隶属度被确定为μ＝0.55，第三部分的隶属度被确定为μ＝0.25，以及第四部分的隶属度被确定为μ＝0.05。这些部分(由索引1、2、3和4表示)另外还在图3d所示的曲线图中根据它们相应的隶属度以及根据它们的分区时间段表示为黑色水平条。
在第二部分，将描述关于日历条目#j的标记/索引。音频多媒体数据#b的时间段匹配但不适合日历条目#j的(扩展)时间范围，使得音频多媒体数据#b被分段，以及从下午7:04延伸到下午7:10的适合音频多媒体数据#b的段将被进一步处理。适合音频多媒体数据#b的段没有进一步划分，因为剩余段的时间段对应于分区时间值。
该段/部分位于日历条目#j的扩展时间范围内，使得音频多媒体数据#b的这个段/部分分别采用日历条目#j(在此表示的)或者从日历条目#j中得到的信息(在此没有表示的)来标记/索引。段/部分的隶属度被确定为μ＝0.67。此部分(由索引5表示)另外还在图3d所示的曲线图中根据其相应的隶属度以及与其时间段一致表示为黑色水平条。
某个时间段内的隶属度可通过不同方式从隶属函数中得到。以上提供的方式涉及在那个特定时间段内的隶属度值的求平均过程。或者，隶属度可通过分别提取某个时间段内存在的最大或最小隶属度值来获取。用于获取敏感隶属度的其它数学方法是可能且适用的。
音频多媒体数据#c在从下午7:12延伸到下午7:28的时间段中被录制。根据用于产生标记信息的上述方法，音频多媒体数据#c的时间段与日历条目#j的(扩展)时间范围匹配，以及音频多媒体数据#c按照分区时间值被划分为三个部分，第一部分从下午7:12延伸到下午7:18，第二部分信下午7:18延伸到下午7:24，而第三部分则从下午7:24延伸到下午7:28。第一、第二以及第三部分位于日历条目#j的扩展时间范围内，使得音频多媒体数据#c的三个部分分别采用日历条目#j(在此表示的)或者从日历条目#j中得到的信息(在此没有表示的)来标记/索引。第一部分的隶属度被确定为μ＝1.0，第二部分的隶属度被确定为μ＝0.92，以及第三部分的隶属度被确定为μ＝0.25。这些部分(由索引1、2和3表示)另外还在图3d所示的曲线图中根据它们相应的隶属度以及与它们的分区时间段一致表示为黑色水平条。
图像多媒体数据#a和图像多媒体数据#b在下午6:42与下午18:43拍摄，其中这两个时刻均位于日历条目#i的(扩展)时间范围内。根据用于产生标记信息的上述方法，图像多媒体数据#a和图像多媒体数据#b分别采用日历条目#i(在此表示的)或者从日历条目#i得到的信息(在此没有表示的)来标记/索引。图像多媒体数据#a以及图像多媒体数据#b的隶属度确定为μ＝1.0。图像多媒体数据#a和图像多媒体数据#b另外还在图3d所示的曲线图中根据它们相应的隶属度以及与它们的时刻一致表示为黑色点。
上述方法体现为把多媒体信息与基于时标比较操作的日历条目相关。其它上下文和传感器信息可包含在多媒体信息的标记操作中。用于相关多媒体信息的一种可能的受关注附加信息是以地理位置信息形式的或者以映射位置信息形式的位置信息。实现定位服务的现有装置、如GPS装置或移动通信终端装置提供关于装置的位置信息的数据。根据时标，位置/定位信息以及多媒体信息位置/定位信息两者均可归于多媒体信息。
例如由GPS组件所提供的位置/定位信息可能在某些情况下不够；相反，日历条目信息所提供的定位信息的解析度只取决于用户的指示(街编号、楼层编号、房号等)。如果两种信息、即诸如GPS数据等的位置/定位信息以及作为日历条目的组成部分的位置是可用的，则应当选取提供更好准确性的一个。同时可使用其他数据，以便验证所使用的位置/定位信息。甚至可使用例如从GPS组件获取的位置/定位信息，以便验证完整的日历条目和/或有助于结合日历条目所确定的隶属度。
通过个人日历条目的个人多媒体信息的标记提供针对多媒体信息的标记/索引及后续检索的极可靠方法。与多媒体信息的内容分析方法不同，本创造性方法提供更好的再调用以及还提供更好的准确性。此外，检索质量的这种提高是伴随几乎没有任何附加费用(包括用户方面的任何种类的所需工作以及计算费用)来实现的。
用于提取用于信息的检索的元信息的所提供方法把大量元信息与任何用户提供信息(多媒体信息)关联。在时间上与各日历条目重叠的每个用户提供信息配置了元信息，用于各日历条目中包含的信息所提供的检索。例如与包含关于作为会议成员的人的信息、诸如录制口授、图像等的用户提供信息、诸如文档等的下载信息的姓名字段相关的那个手段与会议成员的各姓名关联，使得根据会议人员的姓名之一的检索产生检索结果列表，其中至少包含已经由电子设备的用户在会议期间提供的那些信息部分。
此外，上述方法详细描述以获取用作评估检索的量度的隶属度值。这种量度在大量检索结果方面是有用的，用于归类和/或过滤检索结果，提供对检索结果的可靠处理。预定或用户定义隶属度阈值可被定义，然而如果对于各检索结果定义的隶属度值超过所定义的隶属度阈值，检索结果根据检索指令被提供给用户，它使得能够更易于查找目标检索结果，因为检索结果的数量以此来限制。
另外，隶属度值适合于例如以值下降序列对多个检索结果归类。用户可开始手动选择相干检索结果，以具有最高隶属度值的那些检索结果开始。
III.把上下文信息关联到多媒体信息鉴于与从电子日历以及从其日历条目中提取的信息关联的多媒体信息所述，以下实施例将针对上下文信息到音频(多媒体)信息的关联。在这里，上下文信息将被理解为用户选择并表示要关联到音频信息的任何信息。
更具体来说，表达和阐明人类思想以及交流观点的最自然的人类方法是在语言上对它们进行表达和阐明。通用口授机考虑这种自然人类行为，但在传统上，口授机限于只允许录制话音/语音信息的串行操作模式的种类。与当前多媒体信息(数据)的上述缺点相似，这类音频信息同样还遇到以下问题信息检索系统可能没有足够的关于音频信息的内容的可解释信息来允许可靠检索并提供其有用结果。另外，人类思想和观点的串行音频录制实际上是对此的最自然过程，但在表达思想和观点方面以及对于把伴随的上下文信息关联到音频信息的思路和观点是有利的，其中伴随的上下文信息可以是任何传感器信息、允许音频信息的可靠标记/检索的任何信息、放大或完成音频信息的任何信息，诸如图像、草图、视频序列等。
下面将提供这样一种增强的音频口授设备，允许把任何类型的其它信息关联到所录制音频信息。
图4a说明根据本发明的一个实施例、用于录制音频信息以及把任何类型的附加信息关联到所录制音频信息的操作序列。
用于录制音频信息的操作序列可由至少配备了诸如用于检测音频信号的麦克风、用于录制模拟音频信号或者由提供有模拟音频信号的模数转换器所获取的数字音频信息的音频录制组件、同样适合于接收及存储模拟音频信号或者数字音频信息的录制存储器、以及用于控制录制操作的部件(如特定按键、小键盘或键盘)等的适当设备或装置来操作。更具体来说，该设备或装置另外还可包括音频再现设备、如喇叭，用于再现所录制的音频信息。
在对所检测音频信号数字化的情况下，音频录制组件还可包括音频压缩组件，用于压缩模数转换器的数字音频信息以及用于解压缩要提供给数模转换器以便再现的压缩数字音频信息。录制存储器可以是能够存储及提供数字信息的任何存储装置和/或媒体。在传统上，存储器、磁盘存储器、可拆卸存储媒体装置是经由有线或无线通信网络连接的、用于存储数字信息的大容量存储系统。
考虑到把任何类型的附加信息关联到所录制音频信息以及特定多媒体信息，实现音频录制功能的设备或装置还应当有能力例如产生、检索、接收、处理附加信息。
考虑到对操作序列的以下描述中，将假定操作序列由移动终端来操作，更具体是由具有音频录制和再现能力、能够处理诸如多媒体信息之类的信息的移动通信终端来操作。更明确地说是具有任何多媒体功能的个人数字助理(PDA)或增强移动通信装置。
在操作S400中，用于把任何类型的附加信息关联到音频录制的操作序列开始。
在操作S410中，等待用户输入，以及根据通过用户输入、例如通过用户操作任何专用按键所引起的触发信号，接收相应的按键选择信号用于评估。
在操作S420中，检查“开始”按键是否被用户操作。如果“开始”按键被操作，则操作序列继续进行操作S425，否则，操作序列继续进行操作S430。
在操作S425中，音频录制开始。根据数字处理终端，所检测音频信号被转换为表示数字音频信息的音频(信息)流。数字音频信息可表示从应用目前技术水平的任何音频压缩编解码器一致产生的压缩数字音频信息。在音频信号的录制过程中得到的音频流连续存储在数字存储器中，例如存储在存储器或大容量存储器，如可拆卸磁或光媒体存储器中。考虑到数字音频信息所需的存储容量的数量和/或对于永久存储数字音频信息的合法请求，可建议采用可拆卸磁或光媒体的存储器来存储音频流。
已经通过用户操作“开始”按键开始的音频信号录制可连续工作，直到由用户指示音频信号录制的专用停止或暂停。
在操作S430中，检查“关键字”按键是否被用户操作。如果“关键字”按键被操作，则操作序列继续进行操作S435，否则，操作序列继续进行操作S440。
在操作S435，关键字被录制。关键字的录制可与音频信号录制并行工作。也就是说，来自音频信号录制的所得音频流或者可以分为两个不同的音频(信息)流，一个为上述音频(信息)流以及另一个为音频关键字(信息)流，使得能够独立地存储两种音频流，例如一个在耦合到具有音频录制能力的装置的可拆卸存储媒体中，以及另一个在具有音频录制能力的装置的存储器中。
或者，与连续音频录制相关的上述音频(信息)流可被暂停，使得所检测音频信号仅转换为音频关键字(信息)流，用于与上述音频(信息)流分开存储。
在操作S440中，检查“附加”按键是否被用户操作。如果“附加”按键被操作，则操作序列继续进行操作S445，否则，操作序列继续进行操作S450。
在操作S446中，附加命令用户把任何类型的附加信息关联到当前正在录制的音频信号，在其中，音频信号录制可继续工作或者可被中断。特别是，用户可获取要关联到所录制音频信息的任何类型的任何附加信息。那个另外的信息的获取可由所使用装置所提供的任何过程来执行。例如，录制装置可以已经实现允许拍摄图像或视频序列的数字摄像机。这些拍摄的图像和/或视频序列可对于其智能内容放大音频信息。类似地，要关联到所录制音频信息的信息可经由有线或无线通信接口从信息服务实体中获得，或者可从装置的存储器或从耦合到装置的存储媒体中检索。获取要关联到所录制音频信息的附加信息的可能性不限于上述过程，而是取决于已经嵌入音频信号录制功能的装置的能力。本领域已知的那些技术可补充所提供的过程列表，因为获取附加信息的种类超出了本发明的范围。
在操作S450中，检查“暂停”按键是否被用户操作。如果“暂停”按键被操作，则操作序列继续进行操作S455，否则，操作序列继续进行操作S460。
在操作S455中，音频信号的录制被暂停。音频信号录制可根据用户的指示来恢复。
在操作S460中，检查“继续”(“cont”)按键是否被用户操作。如果“连续”按键被操作，则操作序列继续进行操作S465，否则，操作序列继续进行操作S470。
在操作S465中，音频信号的录制继续进行。音频信号录制的继续进行允许用户在已经指示暂停音频信号录制之后恢复音频信号录制(与操作S450和操作S455比较)。
在操作S470中，检查“停止”按键是否被用户操作。如果“停止”按键被操作，则操作序列继续进行操作S475，否则，可操作任何其它操作(未示出)。
在操作S475中，音频信号录制完全停止。从连续的音频流产生的音频信息完成。
在操作S480中，在音频信号录制过程中的上下文信息在关联的音频上下文信息中积累。除了音频信息之外，在音频信号录制过程中已经由用户执行的每个活动也被记录，使得可从其中产生完整的协议/描述。特别是直接与音频信号录制相关的上下文信息被包含在协议中，即，例如与音频录制的开始/停止、关键字录制操作、暂停/恢复操作相关的时标信息，与要检索从音频(信息)流产生的音频信息的位置的地址信息相关的链接信息，从关键字音频(信息)流产生的音频信息和/或由用户指示与音频信息或音频录制事件关联的任何类型的附加信息。而且更通用的上下文信息也可添加到协议/描述中，例如录制装置、喇叭、所使用存储器(例如存储媒体)的标识、与录制的位置相关的位置/定位信息等。
参照图4c来说明这种协议/描述的一个可能实现。
在操作S490中，用于把任何类型的附加信息关联到音频录制的方法完成。
音频信号录制的操作已经考虑到用户可操作用于指示所述操作/命令的专用按键而作了描述。用于控制音频信号录制的这些命令也可通过操作具有多个分配的按键或者通过提供与音频信号录制功能对应的供用户选择的文本或图形菜单来产生。
图4b表示在时间上的操作序列，说明根据本发明的一个实施例的示例使用序列。时间上的操作可看作是用户总结会议结果的口授。
在第一操作中，用户开始音频信号录制，用于口授总结供以后使用或者供以后回忆。在用户指示开始音频信号录制(用户可选择按键“开始”)时，具有音频录制能力的移动终端开始把接收音频流录制到经由相应存储媒体接口(驱动器、接口等)耦合到移动终端装置的可拆卸存储媒体(磁盘、光盘、存储卡等)。可由用户手动定义或者由录制组件自动定义的指定被分配给音频信息，供以后检索。本文中，所得音频信息设有指定“AUDIO1”。音频录制的起始时间(时标)例如存储在装置的存储器或者在分配给负责音频信号录制的音频录制组件的存储器中。
用户向移动终端口授文本，它由音频传感器检测，被转换为数字音频流，并被相应地存储。
用户表明应当录制关键字，并相应地推按及保持“关键字”按键。根据用户的这个指示，一个或多个关键字的音频信号录制开始。如上所述，关键字的音频信号录制单独存储到先前口授的音频信息，以及先前开始的音频录制操作在一个或多个关键字的录制过程中或者继续进行或者暂停。关键字录制的起始时间被存储。
通过松开“关键字”按键，用户表明关键字录制已经完成，以及口授的录制继续进行。关键字的停止时间可被存储。
用户随后通过选择专用“暂停”按键来指示暂停音频录制。音频信号的录制相应地被暂停。开始的暂停的起始时间被存储。这时，用户可使用移动终端提供的其它功能或其它应用程序。在这里，用户采用以任何方式耦合到移动终端用于图像数据传送的或者内置于移动终端的数字摄机来拍摄图像。用户例如通过操作专用“附加”按键来表明这个图像将与录制音频信息关联(附加到其中)。考虑到与会议相关的实例，图片可从绘图板中取出，以便放大口授。所拍摄的图像被存储(在这里存储在存储器或任何其它可用的存储区)，以及手动或自动定义的指定(在此为“IMAGE1”)被分配图像，它使得能够在以后检索该图像。图像附加到音频信息的时间被存储。
随后，用户通过操作“继续”按键来恢复音频信号录制。恢复时间被存储。用户继续口授信息。
最终，音频信号录制分别根据用户指示或者根据用户对“停止”按键的操作来完成。音频录制的停止时间被存储。
在完成音频信号录制的用户指示之后，移动终端可在可用时把到当前存储在非永久存储器中的信息疏散到永久存储器。协议/描述根据上述用户和终端操作来产生。可得到的相应示例描述如以下图4c所示。
假定具有音频录制能力的移动终端支持可相比从传统计算机已知的文件系统，以下文件在音频录制停止之后可能已经产生AUDIO1，KEYWORDS_AUDIO1，IMAGE1，以及DESCRIPTION1其中，文件“AUDIO1”包含口授的数字音频信息，文件“KEYWORDS_AUDIO1”包含口授关键字的数字音频信息，文件“IMAGE1”包含口授期间拍摄的图片，以及文件“DESCRIPTION1”包含对音频录制的描述/协议。所产生文件的存储位置是任意的，但文件应当是可存取的，用于根据用户需求进行再现。文件“DESCRIPTION1”的示例编码和组织如图4c所示。
图4c表示图4b中提供的并根据本发明的一个实施例的示例使用序列方面的可能的示例描述。音频录制的描述/协议可编码为扩展标记语言(XML)编码描述/协议。相应的文档类型描述(DTD)定义XML编码描述的结构和元素，并且确保对描述的唯一解析。
图4c所示的示例文件“DESCRIPTION1”包括标题部分(行1至行3)，它包含与在其中至少存储了所录制音频信息“AUDIO1”的存储媒体/存储装置有关的信息、与录制装置有关的信息以及与发生音频录制或者已经最终存储音频信息的时间有关的信息。其它信息可包含在标题段，例如关于用户如何口授音频信息等的标识信息。
协议信息在主体部分、在此是从行6一直到行29中来编码。在主体的第一子段，定义了开始时间和停止时间。开始时间被定义为TIME1，以及停止时间被定义为TIME5。根据参照图4b详细描述的使用操作，这个时间信息已经在音频信号录制开始及停止时被存储。另外，所录制音频信息的地址信息被编码。地址信息可根据所采用的数据存储系统来编码，例如目录/文件地址信息或者更常用的统一资源定位符(URL)或统一资源指示符(URI)。或者，音频信息可直接嵌入子段。
主体的下一个子段包括与关键字相关的信息。在这里，与关键字的录制相关的时刻编码为TIME2。另外，对关键字音频信息的寻址信息也被编码。
在主体的下一个子段，暂停操作被编码。根据以上提供的实例，暂停在时刻TIME3已经开始，以及录制在时刻TIME4已经恢复。
主体的另一个子段包括与关联信息有关的信息，在这里表示为嵌入对象。时刻TIME3在附加信息已经关联到已录制音频信息的子段中被编码，以及与信息(对象)有关的地址信息在此子段中被编码，以便允许用户对这个关联信息的访问。
主体此后的子段包括其它上下文信息。在这里，位置/定位信息以及与附加传感器相关的其它信息被编码，例如从环境光传感器、加速度传感器、背景音频信号以及背景音频信号分析结果等得到的传感器信息。
参照图4c的详细XML编码描述/协议是在音频信号录制过程中执行上下文信息的记录的一种可能性。记录上下文信息的另一个可能性针对上述个人日志来描述。
转化为已经结合个人日志的详细描述使用的说法，已录制音频信息以及涉及音频信号录制的操作的用户命令可作为用户输入信息来记录。与信息到已录制口授的关联相关的其它信息可作为上下文信息提供给个人日志。在这种情况下，音频信息(它表示用户输入信息)的标记和/或索引产生相同的相依性结构，例如考虑到参考图4c所示的以下音频信息描述/协议以及对于参考图4d和图4e所示的以下图形说明所述。
话音/语音识别系统/应用程序正在改进，并且在不久的将来会增加重要性，因为把话音/语音输入所提供的信息转换为基于文本的信息是节省时间的。除了从话音/语音输入提供的信息中得到的基于纯文本的信息之外，原始音频录制将被保存，以便在任何时间检查话音识别(转换)。这种话音/语音识别可用于已录制音频信息，在其中，识别可在录制装置中操作，或者通过经由通信网络、在移动录制终端的情况下具体是经由移动通信网络可访问的任何外部实体所提供的话音识别服务来操作。从话音/语音识别中产生的所得的基于文本的信息可直接包含到音频录制的描述/协议信息中，或者用于检索基于文本的信息的地址信息可被包含。话音/语音识别可用于口授和/或用于关键字口授。
允许用户根据请求信息检索某个音频信息的检索系统可通过把音频录制输入的请求信息与音频信息的口授过程中所录制的先前录制音频关键字匹配，来采用音频关键字录制。此外，在使用话音/语音识别的情况下，关键字可以是作为基于文本的关键字可用的。在这种情况下，检索也可基于包含在检索请求中的文本信息的文本比较。包含在录制的描述/协议中的其它信息可用于检索，通过把那个信息用于标记/索引音频录制来进行，如上所述。
协议/描述信息可用来创建已记录信息的图形描述，用于提供支持信息的识别和检索的灵活的思路图(mind-map)。以下图4d和图4e均说明示例思路图，其中，图4d所示的思路图涉及图形用户界面，以及图4e所示的思路图涉及面向文本的用户界面。
图4d以图形方式说明根据本发明一个实施例的协议/描述信息的描述。图形描述可以仅包括可随音频信息使用的信息的提取。图形描述表示被表示为(音频)剪辑#002的已录制音频信息对象402的第一图形表示。此外，音频信息对象402的图形描述包括与录制日期/时间以及录制的位置有关的信息。多个其它图形表示可设置在所示音频信息对象402周围。链接图形表示的线条将表示例如关联等的相依性。一组图形表示403涉及关键字、关键字对象#4、关键字对象#5和关键字对象#6。把关键字对象#4、#5和#6的每个的图形表示与音频信息对象402连接的链接线条表明那些关键字对象#4至#6属于这个音频信息对象402。此外，还说明一组图形表示404，图形表示的每个通过连接线链接到音频信息对象402。相应地，链接线表明，图像对象#1、图像对象#2和文本对象#1分别与音频信息对象402和音频剪辑#002关联。
类似地，图形描述表示被表示为(音频)剪辑#001的已录制音频信息对象400的第二图形表示，以及音频信息对象400具有关联的关键字对象#1、#2和#3，它们表示为一组图形表示401，其中的每个经由线条与音频信息对象400连接。
图形描述不仅可用于支持思路，而且图形描述还可作为图形用户界面来工作。例如，用户可选择图形表示其中之一，以便检索相应表示的信息。也就是说，如果用户选择某个关键字对象，则移动终端再现已录制的数字音频序列。类似地，如果用户选择音频剪辑#002，则相应的口授被再现；如果用户选择图像对象的图形表示中的一个，则图像查看应用程序向用户显示相应图像；以及如果用户选择文本对象的图形表示，则文本查看应用程序向用户显示相应文本。
图4e说明根据本发明一个实施例的协议/描述信息的面向文本的描述。这个面向文本的描述是备选描述，向用户表明如参照图4d所述的相同的属性和信息。
已录制音频信息对象音频剪辑#001和音频剪辑#002的已记录属性以表格描述来提供。表格描述包括元素剪辑指定、录制的日期和时间、录制的位置以及关联信息、关联文本对象、关联关键字对象和关联图像对象的地址信息。表格描述允许清楚地了解已经通过用户指令关联到相应的音频信息的信息/对象。
类似地，所述表格中的地址信息条目的选取产生根据信息(对象)类型的相应所选信息的再现/说明。
IV.对信息加水印/嵌入到音频数据序列涉及可靠检索以及敏感检索结果的上述方法要求包含标记和/或索引信息的附加信息。也就是说，针对其来描述根据伴随元信息的检索、标记和/或索引的单信息属于有限的有用。因此，提供一种用于至少把有限数量的元信息直接嵌入或附加到信息、更具体是直接嵌入或附加到音频信息的方法是有利的。
除了采用标记和/或索引信息来完成音频信序列的所述可能性之外，用于把信息附加和/或嵌入音频信息序列的创造性概念还提供若干优点。
创造性概念还涉及用于把任何类型的信息嵌入音频序列的方法，它确保独立地防止所嵌入信息对音频序列进行转换及代码变换。也就是说，所嵌入信息保存在音频序列中，尽管音频序列从模拟编码音频序列被转换为数字编码音频序列，或者反过来从数字编码音频序列转换为模拟编码音频序列。此外，所嵌入信息保存在音频序列中，尽管音频序列从按照包含任何音频压缩格式的第一数字音频格式编码的音频序列经代码变换为按照第二数字音频格式编码的音频序列。
除了把与上下文信息、元信息等相关的任何类型的信息嵌入音频序列的可能性之外，根据本发明的一个实施例嵌入信息的能力还可用于嵌入也可被加密的认证和/或水印信息。
把信息添加和/或嵌入到音频信息序列的创造性概念以基于倍频程的编码方法为基础，它允许对于表示附加或嵌入信息的字符的编码。众所周知的字符编码为ASCII()编码，它把7或8位的序列唯一编码分配给一个字符/符号，产生把具有7位或8位长度的位序列的每个分别唯一地分配给一个字符/符号的代码表。根据要编码的附加或嵌入信息，所需的字符/符号总数可以不同，使得可采用相关的编码表。下文中，长度6位的位序列将用来描述创造性方法，其中，这个位序列允许对64个不同字符/符号进行编码。包含64个不同元素的这种代码表应当适合于编码HTML(超文本标记语言)标记、URL(统一资源定位符)序列、URI(统一资源指示符)序列等，对于它的编码，数字0-9、字符A-Z(26个字母)以及几个特殊符号()/\.#，@_是足够的。
每个字符/符号通过在一阶(倍频程)以上重复的音调的唯一组合来编码。对于涉及包含音调C、D、E、F、G、A和H的音阶的实例，这种编码可表达为“1”＝{C，B，A}；“2”＝{D，E，H}；“3”＝{C，F，H}；…其中，三个不同的音调用于各音调基础(tone basis)，组成一个代码。上述代码在音频系统的灵敏度范围、即用于音频处理/录制的频率范围内的所有倍频程上重复进行。
图5a说明包括若干完整倍频程的音频录制/再现系统的频率范围。在频率范围中表示了索引n，为了枚举而说明与在频率上连续的七个倍频程对应的、范围从1至7的所示倍频程。倍频程n＝6中的标号b1、b2和b3所示的三个频率涉及采用三个不同音调的某个字符/符号的特定代码基础(code bases)。与在所有倍频程上的上述重复对应，表示了其它每个倍频程(1、2、3、4、5和7)中的相应频率，它们涉及最初表示的频率b1、b2和b3。
在更一般的情况下，给定字符x的代码基础由预定数量的音调的不同序列来给出，它可表达为{bj(x)}＝{b1(x)，b2(x)，...}，其中下标j涉及所使用的音调数量，j＝1，2，...，jmax。
有许多方式来创建代码基础。在根据本发明的一个实施例中，代码基础是正交的，即字符/符号的代码基础没有相关性。根据本发明的另一个实施例，编码基数部分重叠、即部分相关，它考虑以下事实音频信息应当能够经受高噪声。
图5c表示信号流程图，说明用于把信息嵌入到根据本发明一个实施例的音频信号S0(t)的处理过程。
音频信号S0(t)530假定为没有嵌入信息的原始音频信号。具有代码{bj(x)}＝{b1(x)，b2(x)，...}540(j＝1，...，jmax)的字符/符号x将嵌入这个音频信号S0(t)530。音频信号S0(t)530以及代码表述(code formulation){bj(x)}540的组合在代码表述和信号的频域中执行。
相应地，音频信号S0(t)530被转换为频域，产生音频信号S0(t)530的音频傅立叶变换A(ω)535。基于预定数量的音调的代码{bj(x)}可在频域中直接表示，产生与代码{bj(x)}540对应的调制信号M0(ω)545，以及可以数学方式表达为M0(ω)=1+ΣnΣjKδ(ω-nbj),]]>其中，下标j涉及用于字符/符号x的代码的音调(频率)，下标n涉及音调(j＝1，...，jmax)如图5a所示在其中重复的频率段(倍频程)，以及K为预定衰减因子(K＜1)。表达调制信号M0(ω)545的上述给定数学定义表示理论数学表达。实际上，所呈现及使用的δ函数(deltafunction)不是可用的，使得所使用的δ函数将被适当的近似函数来取代，例如本领域的技术人员已知的正弦函数、高斯函数等。
这两个信号、即音频傅立叶变换A(ω)535以及调制信号M0(ω)545将在频域中组合。根据本发明的实施例，傅立叶变换A(ω)535和调制信号M0(ω)545可分别被相加或相乘，以便得到适当的调制信号M(ω)。
图5b表示一组曲线图，说明根据本发明的实施例从傅立叶变换A(ω)535和调制信号M0(ω)545的组合产生的调制信号M(ω)以及音频傅立叶变换A(ω)。
第一曲线图说明曲线500，表示频域中的原始音频信号s0(t)、即音频傅立叶变换A(ω)535。另外，作为频率轴的曲线图横坐标上或下的指示分别表示代码的音调在其中重复的频率段(倍频程)以及代码的音调。在这里，表示了三个频率段(倍频程)，以及基础代码包含一组两个音调{bj(x)}＝{b1(x)，b2(x)}，其在每个频率段(倍频程)内重复。与图5a类似，频率段(倍频程)通过横坐标下的指示来表示，而音调则由横坐标上的指示来表示。
第二曲线图说明曲线510，表示通过频率中的相加从音频傅立叶变换A(ω)和调制信号M0(ω)得到的调制信号M(ω)。第三曲线图说明曲线520，表示通过频率中的相乘从音频傅立叶变换A(ω)和调制信号M0(ω)得到的调制信号M(ω)。两个曲线图还包括分别如虚曲线515和525所示的原始音频傅立叶变换A(ω)，以便表明通过相加和相乘所产生的差异，用于与调制信号M0(ω)进行调制。
或者通过相加进行调制或者通过相乘进行调制的两种调制操作适用于导出适当的调制信号M(ω)。根据本发明的一个实施例，调制信号M(ω)的获取可以被使用，因为调制信号M0(ω)所导致的频率曲线中的所示偏差可能较小，使得最终音频信号中因这些偏差而产生的干扰对于用户听觉更不明显。衰减因子K以下列方式来预先确定嵌入音频信号的代码是稍后可解码的，但干扰低。
如参照图5b以及对于参照图5c的本发明的实施例所述，通过原始信号s0(t)530的傅立叶变换(例如由傅立叶变换器来执行)所得到的音频傅立叶变换A(ω)535与调制信号M0(ω)545相乘(550)(例如通过乘法组件、乘法器)，它产生调制信号M(ω)。音频傅立叶变换A(ω)与调制信号M0(ω)545的相乘可按点进行操作。
随后，所得调制信号M(ω)在时域例如通过可由反傅立叶变换器操作的反傅立叶变换变回调制音频信号m(t)。如果频域中的调制信号M(ω)为离散信号，则快速傅立叶变换可应用于变换到时域。
最后，调制音频信号m(t)与原始音频信号s0(t)结合。由于上述处理操作应用于原始音频信号s0(t)以便获取音频信号m(t)，音频信号m(t)和原始音频信号s0(t)在时间上可间隔一定时间-Δt。在没有考虑时间差-Δt的调制音频信号m(t)与原始音频信号s0(t)的组合可能导致组合信号中的干扰。因此，原始音频信号s0(t)可能被延迟，产生延迟的原始音频信号s0(t)＝s0(t-Δt)，它在时间上与调制音频信号m(t)一致。组合的最终音频信号s(t)580通过把延迟的原始音频信号s0(t)＝s0(t-Δt)和调制音频信号m(t)相加(例如由加法组件、加法器进行操作)来获得。
在较慢变化的原始音频信号s(t)以及相应的较缓慢变化的调制音频信号m(t)的情况下，音频信号m(t)因先前处理操作的时间上的延迟-Δt与音频信号的变化相比小，使得不需要对时间上的延迟-Δt的补偿。
根据本发明的一个实施例的在音频信号中的字符/符号x的嵌入已经参照图5c和5b进行了详细描述。下面的图5d表示根据本发明的一个实施例的已嵌入字符/符号从音频信号的提取。
图5d表示框图，说明根据本发明一个实施例的被嵌入音频信号的信息的恢复。
未知的字符/符号以及未知的字符/符号序列的解码需要输入嵌入未知字符符号的音频信号s(t)和未知字符/符号、相关基础{Bj}以及可能在音频信号s(t)中编码的字符/符号x、y、...的总集合的编码基数{bj(x)、{bj(y)}}。为了简洁起见但并不是限于此，与字符/符号x对应的编码基础{Bj(x)}以及与字符/符号y对应的编码基础{bj(y)}如图5d所示。假定音频信号s(t)已经嵌入字符/符号χ。
音频信号S(t)600例如通过傅立叶变换被转换为频域，产生傅立叶信号Z(ω)605。
相关基础{Bi}610可在频域中直接定义，并由用于对字符/符号编码的所有频率的集合来表示。与相关基础{Bi}610对应的调制C(ω)615可通过数学方法表示如下C(ω)=ΣnΣiδ(ω-nBi),]]>其中，下标i涉及包含在相关基础{Bi}中的频率(音调)，以及下标n涉及音调(j＝1，...，jmax)如图5a所示在其中重复的频率段(倍频程)。
定义在音频信号s(t)中嵌入字符/符号所使用的所有频率的调制C(ω)615允许从音频信号s(t)中删除所有音频信号信息，它根本没有与编码字符/符号相关。傅立叶信号Z(ω)605与调制C(ω)615进行卷积，产生卷积信号Y(ω)，它表示在分别包含于调制C(ω)615和相关基础{Bi}610中的频率处的音频傅立叶信号Z(ω)605的频率幅度信号。卷积可通过卷积组件来操作。在没有分别包含于调制C(ω)615和相关基础{Bi}610中的频率处的音频傅立叶信号Z(ω)605的频率幅度信号至少接近为零。
在下面操作中，整个卷积信号Y(ω)在与某个代码基础关联的频率处被评估。那意味着，卷积信号Y(ω)在代码基础{bi(x)}625所定义的频率处、在代码基础{bj(y)}所定义的频率处等被评估。卷积产生幅度值M(x，n)635、M(y，n)640、...，每个表示与分配给代码基础{bj(x)}、分配给代码基础{bj(y)}、...等的频率的幅度对应的评估值。
幅度值M(x，n)、M(y，n)、...可通过相加各代码基础所定义的频率处的频率幅度来获得。以下表达式以数学方式定义具有代码基础{bj(x)}的字符/符号x的实例的幅度值M(x,n)=ΣjY(nbj(x)),]]>其中，下标j涉及包含于代码基础{bj(x)}中的频率(音调)。幅度值M(x，n)、M(y，n)、...的计算可通过一个汇总组件或汇总器来执行，它接收卷积信号Y(ω)并且随后接收编码基数bj(x)}、bj(y)}、...的频率，以便相应地依次提供幅度值M(x，n)、M(y，n)、...；或者可通过多个汇总组件或汇总器来执行，每个接收卷积信号Y(ω)以及与编码基数bj(x)}、bj(y)}、...之一对应的频率集合其中之一，以便相应地并行提供幅度值M(x，n)、M(y，n)、...。
幅度值M(x，n)、M(y，n)、...的最终卷积通过把每个f与另一个进行比较来获得。幅度值M(x，n)、M(y，n)、...的每个相互进行的比较可定义为各字符/符号对(如(x，n))的幅度值的商。比值R(x，y，n)645可通过数学方式表达如下R(x,y,n)=M(x,n)M(y,n)=ΣjY(nbj(x))ΣjY(nbj(y))]]>其中，下标j涉及分别包含于代码基础{bj(x)}和代码基础{bj(y)}中的频率(音调)。在多个L编码基数{bj(zp)}(其中p＝1，...，L)的情况下，比值R(zp，zq/n)(其中，p，q＝1，...，L，且p≠q)的数量完全等于L*(L-1)。每个比值R(x，y，n)645可通过相应的除法器或除法装置来计算，或者，每个比值R(x，y，n)645随后可通过一个除法器或除法组件来计算和提供。
在适当或正交编码基数的情况下，与未知字符/符号χ对应的比值R(χ，y，n)显著大于不对应未知字符/符号χ的比值R(x，y，n)。因此，未知字符/符号χ从音频信号s(t)提取并确定。
一般来说，通过评估比值R(x，y，n)、...的未知字符/符号χ的标识可能是不确定的。在这种情况下，比值R(x，y，n)、...的概率评估可产生更可靠且确定的结果。可对其使用一种最大概率的评估。
代码基数的频率可编码为具有一定长度、尤其是恒定时间(如大约0,1秒的频率)，其中，属于不同编码基数的频率的编码分隔一定的持续时间、尤其是恒定时间(如大约0,05秒)。恒定时间间隔和恒定时间频率信号的编码使得极易对信号解码。此外，编码信息可通过例如从增强编码信息在干扰时的健壮度的信号处理技术已知的纠错信息、检验ode信息、冗余信息等来完成。
在图5d所示的实施例中，所有比值R(x，y，n)的平均值<R>650被导出。平均值<R>允许对比值R(x，y，n)、...进行归一化，产生归一化比值F(x，y，n)、...的相应集合。比值R(x，y，n)、...的归一化考虑了所评估的频率幅度结合原始音频信号s0(t)的幅度贡献的情况。归一化使比值R(x，y，n)、...映射或集中约1，它使所得比值R(x，y，n)或归一化比值F(x，y，n)、...的评估更容易。
平均值<R>650可通过用于从多个个体值计算平均值的组件来获得。算术平均、几何平均、均方通常是已知的平均值。其它不同的平均值、尤其是被加权或加权平均值可用于归一化。
在下文中，实例表示本发明的实施例，它们采用用于把信息直接嵌入音频序列的上述能力。
实例把标记和/或元信息预加/附加到音频序列上下文信息附加到音频序列是优选的，因为这个信息还是随音频序列立即可用的，而无需处理附加信息以及无需确保附加信息的可用性。
根据本发明的一个实施例、用于把任何类型的信息嵌入音频序列的方法还可用于在音频序列的开始附加信息，在下文中表示为预加，以及用于在音频序列的结尾附加信息，在下文中表示为附加。为了把信息预加和/或附加到音频序列，音频序列编码静寂被预加和/或附加到原始音频序列。相应的音频序列编码静寂用于嵌入信息，如结合用于把信息嵌入音频序列的上述方法所述，它形成预加和/或附加到音频序列的音频信号。
下列构造音频序列呈现设置到原始音频序列的预加和/或附加信息。构造音频序列可按照如下所述来建立BEGIN_TAG音调TAG音调，用于编码预加信息END_TAG音调BEGIN_CLIP音调音频序列(具有或没有已嵌入信息/标记)END_CLIP音调BEGIN_TAG音调TAG音调，用于编码附加信息END_TAG音调START_METADATA音调METADATA音调，用于编码元信息END_METADATA音调详细来说，预加信息通过具有某个一定频率或者具有多个某些频率的信号的初始(BEGIN_TAG)音调、用于编码信息的一个或多个TAG音调、以及同样是具有某个一定频率或者多个某些频率的信号的最终(END_TAG)音调来编码。初始的一个或多个TAG音调将使得能够唯一地标识音频序列，因此，初始的一个或多个TAG音调例如包括与音频序列的录制有关的时间信息(例如UTC编码的)、与已经用于录制的终端/装置有关的标识信息(例如蜂窝终端的IMEI编码)以及其它标识信息。但是，以上提供的时间和标识信息的组合提供唯一标识，因为只有一个音频序列(语音消息/邮件)一次可由一个给定终端/装置来记录。
一个或多个TAG音调可用于0到9的编码数字，它们具有与乐音一样的简单实现。例如于2002年1月15日世界协调时(UTC)9:45:17在终端357149/19/415292/7上创建的这种剪辑的TAG可编码为以下数列2·0·0·2·0·1·1·5·0·9·4·5·1·7·3·5·7·1·4·9·1·9·4·1·5·2·9·2·7。
类似地，附加信息同样通过具有某个频率或者具有多个某些频率的信号的初始(BEGIN_TAG)音调、用于编码信息的一个或多个TAG音调、以及同样是具有某个频率或者多个某些频率的信号的最终(END_TAG)音调来编码。
此外，附加的附加信息通过具有某个频率或者具有多个某些频率的信号的初始(START_METADATA)音调、用于编码元信息的一个或多个METADATA音调、以及同样是具有某个频率或者多个某些频率的信号的最终(END_METADATA)音调来编码。元信息可用于编码与原始音频序列关联的信息，例如地址信息(链接信息、URL信息等)，但也可用于内容信息，它例如可通过采用诸如超文本标记语言(HTML)、无线标记语言(WML)、可扩展标记语言(XML)等的标记语言自己编码。用于把信息嵌入音频序列的方法通过提供任意编码基数来允许对任何类型的信息编码。
上述音调系统可用来创建例如ASCII表或其子集加上以上所示的几个附加音调的基础。根据本发明的一个实施例，METADATA音调作为与ASCII字符/符号表对应的编码基数直接实现。根据上述方法、允许创建可靠的7或8位编码方案的编码基数是可行的。对ASCII字符/符号表编码的一个备选编码方案表示正被讨论的ASCII字符/符号的三位数表示的使用。例如，字符“A”由数列065表示。与ASCII字符/符号表的每个符号关联的相应编码表的一部分、唯一的三位数数列在下表中表示
其中，表的每个字符/符号已经关联列号和行号，其中相应的列号和相应的行号被汇总，以便确定相应的三位数数列。
通过使用这个ASCII编码，例如，html标记“<HEAD>”的ASCII表示将为060-072-069-065-068-062，给予音调0·6·0·0·7·2·0·6·9·0·6·5·0·6·8·0·6·2。这个编码创建许多冗余0，而其它某个编码方案(例如从ASCII表中省略小写字母)只使恰好两个数位可被使用。但这要求标准化。纯ASCII表表示的优点在于，它是全局的且完全标准化的。
根据本发明的一个实施例、对于把三位数编码的ACSII字符/符号表嵌入音频序列所需的数字0到9进行编码的相应编码基数可具有以下形式，每个包含基于表示乐音C、D、E、F、G、A和H的已知描述的两个不同乐音
“0”CD“1”C F“2” D A“3” DF“4” EF“5” E H“6” F H“7”C G“8” GA“9” E H所提供的编码基数表示有利的编码基数，因为编码基数的所有对最多共有一个音调，以及各代码的两个音调主要由至少两个频率分隔，它减小了频率间干扰。采用这种选择，能够使代码接近正交(具有小相关)，并且还相互充分分隔开，正交音频信号中小的假信号(glitches)(回放/录制)不会受到大的影响。
通过假定被编码的数字为包含乐音“C”和“G”的数字“7”，可认识到各包含两个乐音的编码基数的优点。此外，假定这个数字将从音频序列中被解码。幅度信号M(x，n)可通过数学方式表达为M(x,n)=ΣiA(nbi)*(1+Kδ(i+a))]]>其中，下标i涉及代码基础{bi(x)}中包含的频率(音调)，如果i为索引编码x其中之一，则δ(i，a)等于1，否则等于0、K和A(ω)，即数字“7”被嵌入其中的原始音频信号的贡献。上述数学表达可分为按部分定义的表达式
或者汇总为M(x,n)=ΣiA(nbi)+K[δ(x,{7,0,1})A(nbC)+δ(x,{7,8})A(nbG)]]]>作为极粗略的近似，可假定在长时间上各种A(nbi)将相等，表示为时间平均值<A>，得M(x,n)⟨A⟩≈7+K[δ(x,{7,0,1})+δ(x,{7,8})]]]>假定衰减值K预先定义为较小值K＝0，2，如果符号‘7’被嵌入，则信号的幅度(振幅)等于7，4，而如果其它符号(‘0’到‘6’、‘8’、‘9’)其中之一被嵌入，则信号的幅度(振幅)值等于7,0-7,2。系统必须能够分区大致5％信号差的幅度(振幅)值。
实例元信息考虑到参照个人日志详细描述的、采用元信息的用户提供信息的组织，这种元信息可直接嵌入这种音频信息。直接嵌入的优点在于，元信息始终存在且可检索，而没有采用如在个人日志的上下文中所述的任何检索功能性。元信息可用于编码与原始音频序列关联的信息，例如地址信息(链接信息、URL信息等)，但也可用于内容信息，它例如可通过采用诸如超文本标记语言(HTML)、无线标记语言(WML)、可扩展标记语言(XML)等的标记语言自己编码。用于把信息嵌入音频序列的方法通过提供任意编码基数来允许对任何类型的信息编码。语言编码系统和字母表在上文给出，允许独立于任何明文信息的含意及用途来对它进行编码。其中所述的字母表可用于把任何标记语言的字母嵌入音频剪辑本身的周围或之内，具体来说，标记代码可嵌入本文所述的METADATA字段。这些字母稍后则可通过上述方法从音频剪辑中检索，并转换成标记语言的机器可读格式。
实例对音频序列加水印加水印是一种例如用于编码与例如电子数据的源以及电子数据的发生器有关的信息的技术，其方式是，确保信息即使在电子数据已经被操纵的情况下也存在并且是可从电子数据中可解码的。基本上，引入加水印以便节省数字提供图像的著作权信息。这样一种技术对于提供用于数字音频信息也是受关注的。
最简单的水印就是音频序列的上述TAG信息。可采用具有相当长时间(如十分之几秒或以上)的恒定时间音调，因为更易于在统计上标识代码。需要时，还可添加更复杂的冗余度和纠错方案。
此外，通过根据本发明的一个实施例嵌入信息，还能够把TAG信息和元信息直接插入音频序列。嵌入信息取代在没有把预加/附加信息识别为被编码的信息的系统中可能干扰音频再现的TAG信息的附加/预加。
实例认证水印用于把任何类型的信息嵌入音频序列的上述方法可用于把隐藏认证水印嵌入音频序列。认证水印可能例如在一些法律情况下是相干的，并且允许检验是否已经进行了音频序列的修改。认证水印依靠已知的数字签名算法。
在本发明的一个实施例中，上述预加信息、即预加TAG可用作认证水印的基础。例如通过采用强不对称加密过程、诸如采用公开和私有(秘密)密钥的公共密钥加密，对预加信息加密，产生加密的ENCTAG。加密的ENCTAG被嵌入原始音频序列。
嵌入的加密ENCTAG的认证可通过相应的音频序列的接收方来检验，但只有发送方(发生器)实际上能够对嵌入的加密ENCTAG解密。
用于嵌入认证水印的上述方法可通过实现从原始音频信号获取一种校验和以便创建不可操纵或交换的签名来改进，从而产生更可靠的认证水印。音频傅立叶变换A(ω)被划分为例如恒定长度(如长度0.1秒)的若干不连续段，以及频率被离散为一定数量的频率段(如8个频率段)。经离散的振幅值A’(ω)从音频傅立叶变换A(ω)以及音频傅立叶变换A(ω)的振幅平均值<A>、即平均振幅中获得。如果音频傅立叶变换A(ω)的实际振幅值小于振幅平均值<A>，则相应的已离散振幅值A’(ω)被设置为等于零，而如果音频傅立叶变换A(ω)的实际振幅值大于振幅平均值<A>，则相应的已离散振幅值A’(ω)被设置为等于一。
所得已离散振幅值A’(ω)包含由“0”和“1”组成的序列，它可解释为位序列。此外，这个序列可划分为8个已离散振幅值的部分，它们被解释，组成音频序列的总时间的8位值的序列。如上所述，8位值的序列被处理，用于把信息嵌入音频序列、尤其是采用8位的ASCII编码。此外，8位值的序列可采用任何已知的加密方法来加密，例如不对称加密方法，象对公钥加密那样。已加密序列最后被嵌入音频序列，并且允许音频序列的接收方把已加密序列从音频序列分离，用于检验音频序列的认证。
加密信息的嵌入可以是隐藏的。根据本发明的一个实施例的在音频序列中嵌入的信息的隐藏可通过采用对用户唯一的且随时间改变的编码基数来实现。另外，标准编码基数可用于以透明方式把另外信息(这个信息对于再现音频序列的接收方是透明的)嵌入音频序列。
参照与嵌入信息的提取相关的图5d，如果最初用于嵌入信息的编码基数(相关基础)的频率为未知的，则几乎不可能从具有嵌入信息的音频序列中计算M(x，n)。根据编码密度(编码基础的每个信号的持续时间)，可对振幅系数K、即衰减K(它分别产生“不可见”和“不可听”的嵌入信息)选择小值。
实例FAT编码根据本发明的一个实施例的改进实现允许建立与从处理装置的文件处理和管理技术已知的文件分配表技术类似的文件分配表。这种FAT包含与标识序列有关的信息、关联名称、长度、存储媒体或存储装置中的位置(例如串行媒体中的起始时间)等。把ASCII编码映射为基于频率的音频编码的上述能力允许相应地对那个信息编码。
为了健壮性和安全性的原因，可建议每次音频FAT信息改变时重写嵌入音频序列中的音频FAT信息，并保留先前的音频FAT信息，直到新的音频FAT信息编码完成。
嵌入音频序列中的音频FAT信息的检索要求对音频序列的完全处理，以便从其中提取那个信息。与用于检索音频FAT信息的可用处理能力对应，提取过程可能是时间密集的，使得独立于音频序列的FAT信息的单独存储(镜像)对于保存处理能力和处理时间是有利的。完成操作可确保单独(镜像)提供的FAT信息以及嵌入音频序列的FAT信息相同。完成操作可作为同步操作，即在FAT信息的同步对于防止任何不同步情况是有用的某个时间间隔或者某个事件。
音频FAT信息可存储在音频序列中的固定位置上，例如由关于音频序列中的某个时刻的指针预先定义。此外，存储音频FAT信息所需的持续时间可对于音频FAT信息永久且明确地分配。
本领域的技术人员非常清楚，随着技术的进步，本发明的概念可以通过大量方式来实现。因此，本发明及其实施例不限于上述实施例，而是可以在权利要求书的范围内进行改变。
权利要求
1.用于采用元信息来组织在移动终端装置中可用的用户提供信息以允许对所述用户提供信息的检索的方法；所述方法包括-获取所述用户提供信息，所述用户提供信息根据所述移动终端装置上任何用户操作因此而被获得；-获取与所述用户提供信息关联的上下文信息；-把从所述上下文信息中得到的元信息分配给所述用户提供信息；以及-把所述用户提供信息和所述元信息存储在历史存储器中，以便建立信息历史功能性；其中，所述元信息用于通过把拥有检索请求的请求信息与所述元信息进行匹配来检索所述用户提供信息，用于选择分配给所述匹配元信息的用户提供信息。
2.如权利要求1所述的方法，其特征在于，所述分配包括-从所述上下文信息中提取元信息；以及-把所述元信息分配给所述用户提供信息；
3.如权利要求1所述的方法，其特征在于，所述获取所述用户提供信息包括-接收由任何输入部件的用户操作所产生的用户输入信息和/或-接收经由任何通信接口所接收的事务处理信息和/或通信信息，其中，所述用户输入信息和/或事务处理信息和/或通信信息表示所述用户提供信息。
4.如权利要求1所述的方法，其特征在于，所述元信息到所述用户提供信息的所述分配包括-从所述上下文信息中提取标记信息和/或索引信息；-把所述标记信息和/或索引信息分配给所述用户提供信息；以及-存储所述标记信息和/或索引信息以及所述用户提供信息；其中，所述标记信息和/或索引信息用作所述元信息，用于建立所述用户输入历史的检索功能性。
5.如权利要求1所述的方法，其特征在于，所述关联包括-对于所述用户提供信息的至少一部分产生引用信息；-把所述引用信息存储在第一存储区；以及-把所述用户提供信息的所述部分存储在第二存储区；其中，所述引用信息包含地址信息，它允许从所述第二存储区检索用户提供信息的所述部分。
6.如权利要求1所述的用于采用从日历信息中获取的元信息来组织用户提供信息的方法，所述方法包括-从所述移动终端装置中所实现的电子日历获取所述日历信息，所述日历信息表示上下文信息；-把所述日历信息和所述用户提供信息进行匹配，用于；-从所述日历信息中获取元信息；以及-把所述元信息分配给所述用户提供信息。
7.如权利要求6所述的方法，其特征在于，所述从所述日历信息中获取元信息包括-根据所述用户提供信息获取第一时间信息；-获取所述日历信息中包含的多个日历条目，各日历条目包含第二时间信息；-把所述第一时间信息与所述第二时间信息的每个进行匹配，用于-从所述多个日历条目的各匹配日历条目中获取元信息；以及-把所述用户提供信息和所述元信息存储在所述历史存储器中，以便建立所述信息历史功能性。
8.如权利要求7所述的方法，其特征在于，所述从各匹配日历条目中获取元信息包括-把隶属函数分配给所述第二时间信息；-根据所述第一时间信息从所述隶属函数中导出隶属度值；以及-把所述隶属度值分配给所述用户提供信息；所述隶属度值定义允许估算检索的可靠性的量度。
9.如权利要求7所述的方法，其特征在于，如果所述第一时间信息涉及第一时间段-把所述用户提供信息划分为多个信息部分，每个信息部分涉及最大预定时间段，每个信息部分被单独匹配。
10.如权利要求7所述的方法，其特征在于，如果所述第一时间信息涉及第一时间段，以及所述第二时间信息涉及第二时间段；并且如果所述第一时间段超过所述第二时间段-把所述用户提供信息分段为至少两个信息段，所述至少两个信息段其中的一个符合所述第二时间段，所述一个适合信息段被匹配。
11.如权利要求7所述的方法，其特征在于，所述第二时间段包括某些预定的开销时间段，它们附加到所述第二时间段的开始以及附加到所述第二时间段的结束。
12.如权利要求7所述的方法，其特征在于，包含在所述日历信息中的所述多个日历条目的每个在语义上构造，以及所述从各匹配日历条目中获取元信息包括-从所述匹配的语言上构造的日历条目的每个中获取元信息。
13.如权利要求1所述的用于采用元信息来组织用户提供音频信息的方法，所述方法包括-获取包含所述用户提供音频信息的所述用户提供信息以及并行获取附加用户提供信息，所述用户提供音频信息被录制和存储；-与所述用户提供音频信息并行获取所述上下文信息，所述上下文信息包含根据对所述移动终端装置的用户动作因此而产生的用户输入信息；以及-产生包含与所述附加用户提供信息有关的信息以及所述上下文信息的元信息。
14.如权利要求13所述的方法，其特征在于，所述用户输入信息包含与所述用户提供音频信息的所述录制相关的控制信号-在接收起始信号时开始所述用户提供音频信息的所述录制和存储；-在接收关键字信号时开始包含与所述用户提供音频信息相关的关键字的用户提供音频关键字信息的录制；-在接收连接信号时-把附加信息与所述用户提供音频信息关联；-在接收暂停信号时暂停所述用户提供音频信息的所述录制和存储；-在接收继续信号时在所述录制和存储的所述暂停之后恢复所述用户提供音频信息的所述录制和存储；以及-在接收停止信号时停止所述用户提供音频信息的所述录制和存储，并产生所述录制上下文信息。
15.如权利要求13所述的方法，其特征在于，所述录制上下文信息至少包括-与所述用户提供音频信息有关的信息和时间信息；-与所述用户输入信息有关的时间信息；以及-与所述附加用户提供信息有关的信息与用户提供音频信息关联。
16.如权利要求13所述的方法，其特征在于，所述录制上下文信息的所述产生包括-把所述元信息编码为根据标记语言编码的文档。
17.如权利要求13所述的方法，其特征在于，通过把图形元素分配给所述元信息中包含的每个信息条目以及预测说明所述元信息的内容和表示所述元信息中定义的关联的所述图形元素来显示所述元信息。
18.如权利要求1所述的用于通过把所述元信息嵌入所述用户提供音频信息、采用元信息来组织用户提供音频信息的方法，所述方法包括-提供表示多个编码符号的编码基数集，所述编码基数集的每个编码基数包含预定数量的预定频率；-把所述元信息映射到所述多个编码符号；以及-通过把所述映射元信息嵌入所述用户提供音频信息来组合所述用户提供音频信息和所述映射元信息。
19.如权利要求18所述的方法，其特征在于，所述组合包括-从所述映射元信息中获取调制信号；-通过在频域中组合所述用户提供音频信息和所述调制信号来获得已调制信号；以及-通过在时域中把所述已调制信号与所述用户提供音频信息组合来获取已经嵌入所述元信息的所述用户提供音频信息。
20.如权利要求18所述的方法，其特征在于，所述提供所述编码基数集包括-在第一频率范围内提供编码基数集，所述第一频率范围为多个频率范围中的一个频率范围；-把所述编码基数集映射到多个频率范围的各频率范围，所述多个频率范围组成可适用于所述用户提供音频信息的总频率范围。
21.如权利要求19所述的方法，其特征在于，所述获取所述已调制信号包括-通过在所述频域中把所述用户提供音频信息和所述调制信号相乘来获取所述已调制信号。
22.如权利要求19所述的方法，其特征在于，所述获取已经嵌入所述元信息的所述用户提供音频信息包括-通过在所述时域中把所述调制信号与所述原始音频信号相加，来获取已经嵌入所述元信息的所述用户提供音频信息。
23.如权利要求18所述的用于从已经嵌入所述元信息的音频信息中提取元信息的方法，所述方法包括-提供包括在表示多个编码符号的编码基数集合中包含的各频率的相关基础，所述编码符号用于对所述元信息编码；以及-把所述相关基础应用于已经嵌入所述元信息的所述音频信息，以便提取所述元信息；所述提取的元信息可用于检索。
24.如权利要求23所述的方法，其特征在于，所述应用包括-从所述相关基础中获取调制信号；-通过在频域中卷积所述调制信号以及已经嵌入所述元信息的所述音频信息，从所述音频信号中获取相关信号；-从所述相关信号中提取幅度信号值，所述幅度信号值对应于所述编码基数集的各代码基础；以及-评估所述幅度信号值，以便从所述音频信息中检索所述元信息。
25.如权利要求24所述的方法，其特征在于，所述评估所述幅度信号包括-获取每对所述幅度信号值的幅度比值；-对所述幅度比值进行归一化；以及-评估所述幅度信号值的所述归一化幅度比值，以便从所述音频信息中提取所述元信息。
26.如权利要求24所述的方法，其特征在于，所述相关基础在第一频率范围中定义，以及所述获取所述相关信号包括-提供包含多个频率范围的第一频率范围内的所述编码基数集的所有频率的相关基础；-把所述相关基础映射到多个频率范围的各频率范围，所述多个频率范围组成可适用于所述音频信息以获取所述调制信号的总频率范围；以及-通过在所述频域中卷积所述调制信号与所述音频信息，从所述音频信号中获取所述相关信号。
27.用于检索根据权利要求1至26中的任一项组织的用户提供信息的方法，包括-接收对检索的请求，所述请求包括用于指示检索某个用户提供信息的请求信息；-把所述请求信息与分配给所述用户提供信息的所述元信息进行比较，它由所述信息历史功能性提供；-检索分配给匹配的所述元信息的所述用户提供信息；-产生包含所述检索的用户提供信息的响应；以及-传送所述响应。
28.如权利要求27所述的方法，其特征在于，所述检索所述用户提供信息包括-检索与待检索的所述用户提供信息关联的引用信息，所述引用信息包含对第二存储区中存储的用户提供信息的所述部分寻址的地址信息；以及-从所述第二存储区中检索用户提供信息的所述部分。
29.如权利要求27所述的方法，其特征在于，所述检索所述用户提供信息包括-根据从日历条目中获取的所述隶属度值来评估所检索的所述用户提供信息；所述隶属度值定义允许估算检索的可靠性的量度。
30.提供用于组织配置有元信息的用户提供信息的存储容量的方法，包括通过以下方式来提供用于存储的存储容量-接收对于存储从执行根据权利要求1至29中的任一项的、用于采用元信息来组织用户提供信息的所述方法的移动终端装置来的用户提供信息的至少一部分的请求，所述请求包含要存储的用户提供信息的所述部分以及引用信息；-存储所述用户提供信息的所述部分以及所述引用信息，使得所述用户提供信息的所述部分是结合所述引用信息可检索的，通过以下方式提供用于检索的检索功能；-接收对于检索从执行根据权利要求1至29中的任一项的、用于采用元信息来组织用户提供信息的所述方法的移动终端装置来的用户提供信息的至少一部分的请求，所述请求包含引用信息；-根据所述引用信息来检索所述用户提供信息的所述部分；产生包含所述用户提供信息的所述已检索部分的响应；以及-把所述响应传送给所述移动终端装置。
31.用于采用元信息的用户提供信息的组织和检索的软件工具，包含程序部分，当所述程序通过在处理装置、连网装置、连网服务器、终端装置或通信终端装置中运行的计算机程序来实现时，执行如权利要求1至30中的任一项所述的操作。
32.用于采用元信息的用户提供信息的组织和检索的计算机程序产品，包含可加载的程序代码部分，当所述计算机程序在处理装置、连网装置、连网服务器、终端装置或通信终端装置中运行时，执行如权利要求1至30中的任一项所述的操作。
33.用于采用元信息的用户提供信息的组织和检索的计算机程序产品，其中，所述计算机程序产品包含计算机可读媒体中存储的程序代码部分，当所述计算机计算机程序产品在处理装置、连网装置、连网服务器、终端装置或通信终端装置中运行时，执行如权利要求1至30中的任一项所述的方法。
34.以载波体现并表示在由处理器运行时使得如权利要求1至30中的任一项所述的方法被执行的程序的计算机数据信号。
35.能够采用元信息来组织用户提供信息的移动终端装置，包括-用于获取所述用户提供信息以及与所述用户提供信息关联的上下文信息的组件，所述用户提供信息根据对所述移动终端装置的任何用户操作因此而被获得；-用于分配从所述上下文信息中得到的元信息的组件，包括-存储组件，用于存储所述用户提供信息和所述元信息；其中，所述元信息用于通过把拥有检索请求的请求信息与所述元信息进行匹配来检索所述用户提供信息，用于选择分配给所述匹配元信息的用户提供信息。
36.如权利要求35所述的能够采用从日历信息中获取的元信息来组织用户提供信息的移动终端装置，包括-用于从所述移动终端装置中所实现的电子日历获取所述日历信息的组件，所述日历信息表示上下文信息；-用于把所述日历信息和所述用户提供信息进行匹配的组件；以及-用于从所述匹配日历信息中获取元信息的组件。
37.如权利要求35所述的能够采用元信息来组织用户提供音频信息的移动终端装置，包括-用于获取所述用户提供音频信息以及附加用户提供信息的组件；-用于录制所述用户提供音频信息的组件；-用于存储所述用户提供音频信息的存储组件；-用于与所述用户提供音频信息并行获取上下文信息的组件，所述上下文信息包含根据对所述移动终端装置的用户动作因此而产生的用户输入信息；以及-用于产生包含与所述附加用户提供信息有关的信息以及所述上下文信息的元信息的组件。
38.如权利要求35所述的能够通过把所述元信息嵌入所述用户提供音频信息、采用元信息来组织用户提供音频信息的移动终端装置，包括-表示多个编码符号的编码基数集，所述编码基数集的每个编码基数包含预定数量的预定频率；-用于把所述元信息映射到所述多个编码符号的组件；以及-用于通过把所述映射元信息嵌入所述用户提供音频信息来获取已经嵌入所述元信息的用户提供音频信息的组件。
39.能够提供用于组织配置有元信息的用户提供信息的存储容量的存储装置，包括-接口组件，用于接收对于存储的请求、用于接收对于检索的请求以及用于根据对于检索的所述请求因此而发送响应，其中，对于存储的所述请求是对于存储从执行根据权利要求1至29中的任一项的、用于采用元信息来组织用户提供信息的方法的移动终端装置来的用户提供信息的至少一部分的请求，所述请求包含要存储的所述用户提供信息的所述部分以及引用信息；其中，对于检索的所述请求是对于检索从执行根据权利要求1至29中的任一项的、用于采用元信息来组织用户提供信息的方法的所述移动终端装置来的用户提供信息的至少一部分的请求，所述请求包含引用信息；-用于存储所述用户提供信息的所述部分以及所述引用信息、使得所述用户提供信息的所述部分是结合所述引用信息可检索的存储组件；-用于根据所述引用信息检索通过所述对于检索的所述请求所请求的所述用户提供信息的所述部分的组件；以及-用于产生包含所述用户提供信息的所述已检索部分的响应的组件。
全文摘要
本发明提供一种用于采用元信息来组织在移动终端装置中可用的用户提供信息以便允许对用户提供信息的检索的方法以及能够执行该方法的装置。用户提供信息根据对移动终端装置的任何用户操作因此而获得，以及获取与用户提供信息关联的上下文信息。元信息从上下文信息中得到，并分配给用户提供信息。用户提供信息和元信息存储在历史存储器中，以便建立信息历史功能性。元信息用于通过把拥有检索请求的请求信息与元信息进行匹配来检索用户提供信息，用于选择分配给匹配元信息的用户提供信息的元信息。此外，用于组织用户提供信息的方法采用日历信息以便获取元信息。日历信息从移动终端装置中所实现的电子日历中获取。日历信息与用户提供信息匹配，以便获取元信息。此外，用于组织用户提供信息的方法适合于组织用户提供音频信息。用户提供音频信息被获取、录制和存储。在录制过程中获取与录制操作相关的附加用户提供信息和上下文信息。元信息包含与附加用户提供信息有关的信息以及上下文信息。此外，用于组织用户提供信息的方法适合于通过把元信息嵌入用户提供音频信息来组织用户提供音频信息。嵌入基于表示多个编码符号的编码基数集，以及编码基数集适合于实现元信息到多个编码符号的映射。通过把映射元信息嵌入用户提供音频信息来组合用户提供音频信息和映射元信息。
文档编号H04M1/725GK1714584SQ02830053
公开日2005年12月28日 申请日期2002年12月20日 优先权日2002年12月20日
发明者W·泰默, K·哈伯兰德-施勒泽尔, P·魏因加特, R·塞拉法特, M·吕克, U·格尔茨, K·拉泰特谢克, J·梅克莱, A·米卡 申请人:诺基亚有限公司