用于基于声音标签对数据项进行分类的方法及设备的制造方法
【专利说明】用于基于声音标签对数据项进行分类的方法及设备
[0001 ] 相关申请案的交叉参考
[0002]本申请案主张2013年8月27日申请的第14/011，437号美国非临时专利申请案的优先权，所述申请案的内容明确以全文引用的方式并入本文中。
技术领域
[0003]本发明大体上涉及在移动装置中对数据项进行分类。更具体来说，本发明涉及基于移动装置的背景信息对数据项进行分类。
【背景技术】
[0004]近年来，例如智能电话及平板计算机等移动装置的使用已变得普遍。这些装置通常允许用户执行多种功能，例如数据及/或话音通信、浏览因特网、拍照片或视频、上载博客帖子及SNS(社交网络服务)帖子到因特网、进行电话或视频呼叫、发送电子邮件、文本消息及MMS消息、产生备忘录等。归因于此便利特征，用户通常在大多数时间将此移动装置携带在身上。
[0005]常规的移动装置经常用于俘获例如照片、声音剪辑等数据，其可存储在移动装置中。在照片的情况下，此移动装置可使用GPS(全球定位系统)位置信息标记照片以指示拍照片的位置。通过使用GPS位置信息，可将在指定地理位置中拍到的照片组织到相同群组中。另外，还可使用拍照片的时间标记照片。随后可根据时间信息组织照片。
[0006]然而，常规的移动装置可在多种背景中俘获数据项。例如，可在相同位置中(例如，建筑物)拍照片但具有不同背景(例如，建筑物中的餐馆及便利店)。而且，可在不同位置但在不同位置中的例如餐馆等类似背景中拍照片。在此些情况下，移动装置可不能够组织照片以充分反映类似或不同的背景。
【发明内容】
[0007]本发明提供用于在移动装置中基于声音标签对数据项进行分类的方法及设备。
[0008]根据本发明的一个方面，揭示一种用于在移动装置中将数据项分组的方法。在此方法中，存储多个数据项及与所述多个数据项中的每一者相关联的声音标签，且所述声音标签包含从指示所述数据项的环境背景的输入声音提取的声音特征。此外，所述方法可包含:产生新数据项;接收环境声音;通过从所述环境声音提取声音特征而产生与所述新数据项相关联的声音标签;及基于与所述新数据项及所述多个数据项相关联的所述声音标签而将所述新数据项与所述多个数据项中的至少一者分组在一起。本发明还描述了涉及此方法的设备、装置、系统、装置的组合以及计算机可读媒体。
[0009]根据本发明的另一方面，揭示一种在移动装置中将数据项分组的方法。此方法包含:产生第一数据项;接收第一环境声音;及通过从第一环境声音提取第一声音特征而产生第一声音标签。此外，所述方法可包含:产生第二数据项;接收第二环境声音;通过从第二环境声音提取第二声音特征而产生第二声音标签;及基于所述第一和第二声音标签将所述第一和第二数据项分组。本发明还描述了涉及此方法的设备、装置、系统、装置的组合以及计算机可读媒体。
[0010]根据本发明的仍另一方面，一种移动装置包含存储单元、数据项产生器、声音传感器、声音标签产生器及分组单元。所述储存单元经配置以存储多个数据项及与所述多个数据项中的每一者相关联的声音标签，且所述声音标签包含从指示所述数据项的环境背景的输入声音提取的声音特征。所述数据项产生器经配置以产生新数据项。所述声音传感器经配置以接收环境声音。所述声音标签产生器经配置以通过从所述环境声音提取声音特征而产生与新数据项相关联的声音标签。所述分组单元经配置以基于与所述新数据项及所述多个数据项相关联的声音标签而将所述新数据项与所述多个数据项中的至少一者分组在一起。
[0011]根据本发明的另一个方面，一种移动装置包含数据项产生器、声音传感器、声音标签产生器及分组单元。所述数据项产生器经配置以产生第一数据项及第二数据项。所述声音传感器经配置以接收第一环境声音及第二环境声音。所述声音标签产生器经配置以通过从第一环境声音提取第一声音特征而产生第一声音标签且通过从第二环境声音提取第二声音特征而产生第二声音标签。所述分组单元经配置以基于所述第一和第二声音标签而将所述第一和第二数据项分组。
【附图说明】
[0012]当结合附图阅读时，通过参考以下详细描述将理解本发明的发明性方面的实施例。
[0013]图1说明根据本发明的一个实施例的经配置以将包含基于环境声音在指定地理位置中产生的多个照片、备忘录、博客帖子及SNS帖子的数据项分组的移动装置。
[0014]图2说明根据本发明的一个实施例的经配置以将包含在三个不同建筑物中产生的多个照片、备忘录、博客帖子及SNS帖子的数据项分组的移动装置。
[0015]图3说明根据本发明的一个实施例的经配置以产生数据项且通过基于声音标签对数据项进行分类而将数据项分组的移动装置的框图。
[0016]图4是根据本发明的一个实施例的在移动装置中执行的用于基于指示环境背景的声音标签将数据项分组的方法的流程图。
[0017]图5说明根据本发明的一个实施例的从环境声音产生包含声音特征、音频群组识别符及背景标记的声音标签。
[0018]图6说明根据本发明的一个实施例的在移动装置中执行的用于从环境声音提取音频指纹以作为声音特征的示范性方法的流程图。
[0019]图7说明根据本发明的一个实施例的在移动装置中执行的用于从环境声音提取MFCC向量以作为声音特征的方法的流程图。
[0020]图8说明根据本发明的一个实施例的移动装置中的用于通过产生每一数据项的包含声音特征、音频群组识别符及背景标记的声音标签而对数据项进行分类或分组的声音标签产生器及控制单元的更详细框图。
[0021]图9说明根据本发明的一个实施例的示范性加标签的数据项，其中数据项附加有包含声音特征、音频群组识别符及背景标记的声音标签。
[0022]图10说明根据本发明的一个实施例的通过确定与选定数据项相关联的声音特征及与其它数据项相关联的每一声音特征之间的类似性值而将选定数据项与其它数据项分组在一起。
[0023]图11说明根据本发明的一个实施例的在移动装置的显示屏上显示为单一群组的选定数据项及其它数据项。
[0024]图12是根据本发明的一个实施例的说明用于多个输入音频群组识别符的背景标记的示范性背景标记数据库。
[0025]图13说明根据本发明的一个实施例的基于与数据项相关联的声音标签中的音频群组识别符而在移动装置的显示屏上显示的多个数据项群组。
[0026]图14说明在本发明的另一个实施例中的基于与数据项相关联的声音标签中的背景标记而在移动装置的显示屏上显示的多个数据项群组。
[0027]图15说明其中根据一些实施例可实施的基于声音标签对数据项进行分类的方法及设备的示范性移动装置的框图。
【具体实施方式】
[0028]图1说明根据本发明的一个实施例的经配置以将包含基于环境声音在指定地理位置100中产生的多个照片110、120及130、备忘录112、博客帖子122及SNS帖子132的数据项分组的移动装置140。如所说明，指定地理位置100在建筑物102处或附近且可由移动装置140分类或识别为相同位置。在指定地理位置100内的各个位置处，用户可操作移动装置140以产生数据项。
[0029]对于在各个位置处产生的数据项中的每一者，移动装置140可经配置以接收或俘获指示环境背景的环境声音。在一个实施例中，移动装置140可经配置以俘获与数据项相关联的环境声音持续预定时间周期。基于所俘获的环境声音，可在移动装置140中产生指示相关联的数据项的环境背景的声音标签。随后可通过移动装置140基于声音标签将所述数据项分类为多个群组。
[0030]在所说明的实施例中，用户可在指定地理位置100内的各个位置中操作移动装置140，例如在建筑物102的前方的室外、建筑物102内部的餐馆，及建筑物102内部的百货市场。所述各个位置可具有不同的环境背景。在室外情况中，用户操作移动装置140以产生包含照片110及备忘录112的数据项。对于这些数据项中的每一者，移动装置140可俘获环境声音以产生指示室外环境的声音标签，其可包含例如风噪声、车流声音、行人声音等室外声
■~>V.曰O
[0031]当用户处于餐馆中时，用户可操作移动装置140以产生包含照片120及博客帖子122的数据项。对于这些数据项中的每一者，移动装置140可俘获环境声音以产生指示餐馆环境的声音标签，其可包含例如餐具、音乐、食物预订的声音等声音。在百货市场的情况下，用户可操作移动装置140以产生包含照片130及SNS帖子132的数据项。对于这些数据项中的每一者，移动装置140可俘获环境声音以产生指示百货市场环境的声音标签，其可包含例如购物手推车、收银机、通告的声音等声音。
[0032]基于声音标签，移动装置140可根据所述三个不同的环境背景将数据项分类或分组为群组A、B及C。例如，包含照片110及备忘录112的数据项可根据指示室外环境的声音标签而被一起分组在群组A中。另一方面，包含照片120及博客帖子122的数据项可根据指示餐馆环境的声音标签而被分组在群组B中，而包含照片130及SNS帖子132的数据项可根据指示百货市场环境的声音标签而被一起分组在群组C中。因此，在指定地理位置100内产生的相同数据类型的数据项以及不同数据类型的数据项可根据它们的环境背景被分组到不同群组中。
[0033]图2说明根据本发明的一个实施例的经配置以将包含在三个不同建筑物210、220及230中产生的多个照片212、222及232、备忘录214、博客帖子224及SNS帖子234的数据项分组的移动装置140。所述三个建筑物210、220及230位于三个不同地理位置中且由移动装置140分类或识别为在不同位置中。建筑物210、220及230可包含具有类似环境背景的经营场所。
[0034]如所说明，建筑物210、220及230包含台球室，其中用户可操作移动装置140以产生具有类似环境背景(例如，台球室)的数据项。在位于建筑物210中的台球室中，用户可操作移动装置140以产生包含照片212及备忘录214的数据项。而在位于建筑物220中的另一台球室中，用户可操作移动装置140以产生包含照片222及博客帖子224的数据项。在建筑物230内的又一台球室内，用户可操作移动装置140以产生包含照片232及SNS帖子234的数据项。
[0035]当产生数据项中的每一者时，移动装置140可俘获环境声音持续预定时间周期。所俘获的环境声音可包含例如台球彼此撞击、桌球杆、滚动的台球的声音等声音。移动装置140可从所俘获的环境声音产生指示数据项中的每一者的台球环境的声音标签。基于数据项的声音标签，移动装置140可确定具有台球环境的类似背景的数据项，且将包含照片212、222及2