一种用户行为识别方法及装置与流程

本申请涉及计算机技术领域，尤其涉及一种用户行为识别方法及装置。

背景技术：

随着智能家电的不断发展，为了能够给用户提供更加优质的服务，服务商希望智能家电能够自动识别出当前用户的行为，并根据所识别出的用户行为为用户提供所需的服务，如，智能衣柜通过实时识别用户开闭家具门的行为，为从而为用户提供相应的服务。

而在实际应用中，怎么样识别出用户当前是否存在开闭家具门的行为成为了亟待解决的问题。

技术实现要素：

本申请实施例提供一种用户行为识别方法及装置，解决实际应用中如何识别用户当前是否存在开闭家具门的行为的问题。

本申请实施例提供的一种用户行为识别方法，包括：

获取用户的原始音频，其中，所述原始音频包括用户开闭家具门的声音；

根据所述用户的原始音频，训练所述用户的开闭家具门行为分类模型；

根据所述用户的开闭家具门行为分类模型识别所述用户的开闭家具门行为。

优选地，所述方法还包括：

在训练所述用户的开闭家具门行为分类模型完成之前，且在获取用户的原始音频之后，获取预先训练的开闭家具门行为分类通用模型；根据所述用户的原始音频，通过所述开闭家具门行为分类通用模型，识别所述用户的开闭家具门行为。

优选地，所述开闭家具门行为分类通用模型包括：开闭推拉式家具门行为分类通用模型以及开闭开门式家具门行为分类通用模型。

优选地，根据所述用户的原始音频，分别通过所述开闭推拉式家具门行为分类通用模型以及所述开闭开门式家具门行为分类通用模型，识别所述用户是否存在开闭家具门的行为；当根据所述用户的原始音频，通过所述开闭推拉式家具门行为分类通用模型，识别出用户存在打开家具门的行为，和/或，通过所述开闭开门式家具门行为分类通用模型，识别出用户存在打开家具门的行为，则所述用户存在开闭家具门的行为；当根据所述用户的原始音频，通过所述开闭推拉式家具门行为分类通用模型，识别出用户未存在打开家具门的行为，且，通过所述开闭开门式家具门行为分类通用模型，识别出用户未存在打开家具门的行为，则所述用户未存在开闭家具门的行为。

优选地，所述家具包括：衣柜。

本申请实施例提供的一种用户行为识别装置，包括：

设备端，用于获取用户的原始音频，其中，所述原始音频包括用户开闭家具门的声音；

云端服务器，用于根据所述用户的原始音频，训练所述用户的开闭家具门行为分类模型；

设备端，用于根据所述用户的开闭家具门行为分类模型识别所述用户的开闭家具门行为。

优选地，所述设备端还用于，在所述云端服务器训练所述用户的开闭家具门行为分类模型完成之前，且在所述设备端获取用户的原始音频之后，获取预先训练的开闭家具门行为分类通用模型，根据所述用户的原始音频，通过所述开闭家具门行为分类通用模型，识别所述用户的开闭家具门行为。

优选地，所述开闭家具门行为分类通用模型包括：开闭推拉式家具门行为分类通用模型以及开闭开门式家具门行为分类通用模型。

优选地，所述设备端具体用于，根据所述用户的原始音频，分别通过所述开闭推拉式家具门行为分类通用模型以及所述开闭开门式家具门行为分类通用模型，识别所述用户是否存在开闭家具门的行为，当根据所述用户的原始音频，通过所述开闭推拉式家具门行为分类通用模型，识别出用户存在打开家具门的行为，和/或，通过所述开闭开门式家具门行为分类通用模型，识别出用户存在打开家具门的行为，则所述用户存在开闭家具门的行为，当根据所述用户的原始音频，通过所述开闭推拉式家具门行为分类通用模型，识别出用户未存在打开家具门的行为，且，通过所述开闭开门式家具门行为分类通用模型，识别出用户未存在打开家具门的行为，则所述用户未存在开闭家具门的行为。

优选地，所述家具包括：衣柜。

本申请实施例提供一种用户行为识别方法及装置，该方法包括：获取用户的原始音频，其中，该原始音频包括用户开闭家具门的声音，根据所述用户的原始音频，训练所述用户的开闭家具门行为分类模型，根据所述用户的开闭家具门行为分类模型识别所述用户的开闭家具门行为。通过上述方法，能够准确的识别出用户当前是否存在开闭家具门的行为。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的用户行为识别的过程示意图；

图2为本申请实施例提供的一种用户开闭衣柜门行为识别的实施方式；

图3为本申请实施例提供的一种用户行为识别装置组成结构框图；

图4为本申请实施例提供的另一种用户行为识别装置组成结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例提供的用户行为识别过程，具体包括以下步骤：

s101：获取用户的原始音频。

在实际应用中，为了能够给用户提供更加优质的服务，服务商希望智能家电能够自动识别出当前用户的行为，并根据所识别出的用户行为为用户提供所需的服务，如，智能衣柜通过实时识别用户开闭家具门的行为，为从而为用户提供相应的服务。

进一步的，由于通常情况下用户在开闭家具门时会伴随着有开门声和关门声，开门声和关门声在一定程度上能够反映出用户当前是否存在开闭家具门的行为，因此，可以通过识别用户的开闭家具门的声音来确定当前是否存在用户开闭家具门的行为。

因此，在本申请中，在识别用户当前是否存在开闭家具门的行为时，首先需要获取用户的原始音频，其中，该原始音频包括用户开闭家具门的声音

在此还需要说明的是，所述用户的原始音频是通过位于设备端中的麦克风阵列来采集得到的，其中，麦克风阵列是由多个麦克风组成的，麦克风的数量可根据实际情况来设定，而热红外传感数据是由位于设备端中的热红外传感器采集得到的，热红外传感器的数量也可根据实际情况来设定。

s102：根据所述用户的原始音频，训练所述用户的开闭家具门行为分类模型。

进一步的，由于需要通过机器自动识别用户的起夜行为，因此，在本申请中，可通过机器学习的方式针对使用设备端的每个用户训练建立开闭家具门行为分类模型，后续，通过每个用户的开闭家具门行为分类模型来识别当前是否存在用户开闭家具门的行为。

在此需要说明的是，训练建立用户的开闭家具门行为分类模型，可在设备端直接训练建立，也可以在通过设备端将获取到的用户的原始音频发送给云端服务器来训练建立，后续，云端服务器将训练完成的用户的开闭家具门行为分类模型返回给设备端。

在此还需要说明的是，训练模型时所使用的用户的原始音频是用户在开闭家具门的过程中所产生的数据，如，开闭衣柜门的声音。用户的开闭家具门行为分类模型是针对使用设备端(即，智能设备)的用户来训练建立的，主要用于识别使用该设备端的用户当前是否存在用户开闭家具门的行为，而在本申请中，使用设备端的用户可以是已在设备端注册过账号或被设备端识别的人。

s103：根据所述用户的开闭家具门行为分类模型识别所述用户的开闭家具门行为。

进一步的，在针对使用设备端的用户训练完成用户的开闭家具门行为分类模型后，当再次获取到使用设备端的用户的原始音频时，可直接通过针对使用设备端的用户所训练完成的用户的开闭家具门行为分类模型来识别用户当前是否存在用户开闭家具门的行为。

通过上述方法，能够准确的识别出用户当前是否存在开闭家具门的行为。

进一步的，由于在实际应用中，不同的设备端的使用者是不同的，而用户的开闭家具门行为分类模型是针对使用设备端的每个用户训练建立的，因此，当用户在购买并使用智能设备后，新的设备端里是不存在用户的开闭家具门行为分类模型的，需要采集用户开闭家具门时的原始音频，并进行训练。

而在训练的这段时间内，设备端仍然需要识别用户当前是否存在用户开闭家具门的行为，并为用户提供所需的服务，因此，在本申请中，在训练所述用户的当前是否存在用户开闭家具门的行为完成之前，且在获取用户的起夜行为数据之后，获取预先训练的开闭家具门行为分类通用模型，根据所述用户的原始音频，通过所述开闭家具门行为分类通用模型，识别所述用户的开闭家具门行为。

在此需要说明的是，预先训练的开闭家具门行为分类通用模型是通过采集一批测试人员开闭家具门时所生成的声音音频数据训练而成的，主要用于区分用户当前是否存在开闭家具门的行为，后续还可以在如图3和图4所示的云端服务器中不断采集测试人员或者当前用户开闭家具门时所生成的声音音频数据训练优化开闭家具门行为分类通用模型，并将优化后的开闭家具门行为分类通用模型更新到如图3和图4所示的设备端中，替换掉设备端中已有的开闭家具门行为分类通用模型。

进一步的，在实际应用中，家具门的开闭方式通常存在推拉式和开门式两种，而开闭推拉式的家具门和开闭开门式的家具门所产生的声音存在很大差距，因此，在本申请中，为了提高识别当前用户是否存在开闭家具门的行为的准确性，可以在训练开闭家具门行为分类通用模型时，针对开门式的家具门，单独训练开闭开门式家具门行为分类通用模型，针对推拉式的家具门，单独训练开闭推拉式家具门行为分类通用模型。

进一步的，在本申请中，当通过所述开闭推拉式家具门行为分类通用模型以及所述开闭开门式家具门行为分类通用模型，来识别所述用户的开闭家具门的行为的过程中，可以根据所述用户的原始音频，分别通过所述开闭推拉式家具门行为分类通用模型以及所述开闭开门式家具门行为分类通用模型，识别所述用户是否存在开闭家具门的行为，当根据所述用户的原始音频，通过所述开闭推拉式家具门行为分类通用模型，识别出用户存在打开家具门的行为，和/或，通过所述开闭开门式家具门行为分类通用模型，识别出用户存在打开家具门的行为，则所述用户存在开闭家具门的行为，当根据所述用户的原始音频，通过所述开闭推拉式家具门行为分类通用模型，识别出用户未存在打开家具门的行为，且，通过所述开闭开门式家具门行为分类通用模型，识别出用户未存在打开家具门的行为，则所述用户未存在开闭家具门的行为。

在此需要说明的是，当通过所述开闭推拉式家具门行为分类通用模型以及所述开闭开门式家具门行为分类通用模型，来识别所述用户的开闭家具门的行为时，只需要存在一个通用模型识别出用户存在开闭家具门的行为即可。

进一步的，在实际应用中，家具可以是衣柜，也可以是碗柜，具体可以根据实际情况来定。

进一步的，本申请以家具为衣柜为例，给出了一种用户开闭家具门行为识别的实施方式，如图2所示。

s201：获取用户的原始音频。

s202：对所获取的原始音频进行处理。

在此需要说明的是，在本申请中，处理方式可以用滤波器过滤掉电流噪音等干扰数据。

s203：是否存在用户的开闭衣柜门行为分类模型，若是，执行步骤s204，若否，同时执行步骤s205和步骤s206。

s204：根据所述用户的开闭衣柜门行为分类模型识别所述用户的开闭衣柜门行为。

s205：根据开闭推拉式衣柜门行为分类通用模型识别所述用户的开闭衣柜门行为。

s206：根据开闭开门式衣柜门行为分类通用模型识别所述用户的开闭衣柜门行为。

以上为本申请实施例提供的用户行为识别方法，基于同样的思路，本申请实施例还提供一种用户行为识别装置，如图3所示，该装置包括：

设备端301，用于获取用户的原始音频，其中，所述原始音频包括用户开闭家具门的声音；

云端服务器302，用于根据所述用户的原始音频，训练所述用户的开闭家具门行为分类模型；

设备端301，用于根据所述用户的开闭家具门行为分类模型识别所述用户的开闭家具门行为。

所述设备端301还用于，在所述云端服务器302训练所述用户的开闭家具门行为分类模型完成之前，且在所述设备端301获取用户的原始音频之后，获取预先训练的开闭家具门行为分类通用模型，根据所述用户的原始音频，通过所述开闭家具门行为分类通用模型，识别所述用户的开闭家具门行为。

所述开闭家具门行为分类通用模型包括：开闭推拉式家具门行为分类通用模型以及开闭开门式家具门行为分类通用模型。

所述设备端301具体用于，根据所述用户的原始音频，分别通过所述开闭推拉式家具门行为分类通用模型以及所述开闭开门式家具门行为分类通用模型，识别所述用户是否存在开闭家具门的行为，当根据所述用户的原始音频，通过所述开闭推拉式家具门行为分类通用模型，识别出用户存在打开家具门的行为，和/或，通过所述开闭开门式家具门行为分类通用模型，识别出用户存在打开家具门的行为，则所述用户存在开闭家具门的行为，当根据所述用户的原始音频，通过所述开闭推拉式家具门行为分类通用模型，识别出用户未存在打开家具门的行为，且，通过所述开闭开门式家具门行为分类通用模型，识别出用户未存在打开家具门的行为，则所述用户未存在开闭家具门的行为。

所述家具包括：衣柜。

在此需要说明的是，在本申请中，预先训练的开闭家具门行为分类通用模型在云端服务器中完成，且，在用户购买使用智能设备之前就已经在云端服务器训练完成并存储在智能设备内。

另外，本申请还提供了另一种用户行为识别装置，如图4所示，该装置包括：

设备端401以及云端服务器402；

所述设备端401包括：获取模块4011，处理模块4012以及识别模块4013；

所述识别模块4013包括：开闭家具门行为分类模型识别模块40131以及开闭家具门行为分类通用模型识别模块40132；

所述云端服务器402包括：开闭家具门行为分类模型训练模块4021以及开闭家具门行为分类通用模型训练模块4022；

所述获取模块4011，用于获取用户的原始音频；

所述处理模块4012，用于对所获取的用户的原始音频，使用滤波器过滤掉电流噪音等干扰数据；

所述识别模块4013，用于根据所获取的用户的原始音频，识别用户的开闭家具门行为；

所述开闭家具门行为分类模型识别模块40131，用于根据所述用户的开闭家具门行为分类模型识别所述用户的开闭家具门行为；

所述开闭家具门行为分类通用模型识别模块40132，用于根据所述用户的原始音频，通过所述开闭家具门行为分类通用模型，识别所述用户的开闭家具门行为；

所述开闭家具门行为分类模型训练模块4021，用于根据所述用户的原始音频训练用户的开闭家具门行为分类模型；

所述开闭家具门行为分类通用模型训练模块4022，用于根据所述用户的原始音频训练开闭家具门行为分类通用模型。

在此需要说明的是，所述云端服务器中的训练模块会将训练完成以及优化后的识别模型发送给所述设备端，所述设备端会根据所接收的识别模型更新已有的模型。

在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。