储物装置中人机交互方法、装置、储物装置及存储介质与流程

本申请涉及侦测分析技术领域，特别是涉及一种储物装置中人机交互方法、装置、储物装置及存储介质。

背景技术：

随着人们消费水平及消费质量的进一步提升，人们对于消费环境、消费体验的要求也越来越高。

在传统的购物消费模式中，消费者在挑选商品时，往往需要通过向售货员询问商品的相关信息，从而进一步了解商品。在询问的过程中，需要耗费大量的人力和时间，而且询问结果也存在不准确甚至无法找到售货员询问等情况，传统的购物消费模式存在着消费者不能及时了解物品信息的缺陷。

技术实现要素：

基于此，有必要针对上述技术问题，提供一种能够基于用户行为提供准确物品信息的储物装置中人机交互方法、装置、储物装置及存储介质。

一种储物装置中人机交互方法，所述方法包括：

侦测预设区域内的用户行为，预设区域包括储物装置感应区域；

根据用户行为提取用户的语音信息和/或面部信息；

根据语音信息和/或面部信息，确定用户关注的物品的目标位置；

根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识；

推送物品标识对应的物品信息。

在其中一个实施例中，根据语音信息和/或面部信息，确定用户关注的物品的目标位置包括：

根据语音信息，提取用户关注的物品的信息；

根据用户关注的物品的信息，确定用户关注的物品；

获取用户关注的物品的目标位置。

在其中一个实施例中，面部信息包括眼球焦点信息和面部表情。

在其中一个实施例中，根据用户行为提取用户的语音信息和/或面部信息之后，包括：

根据用户行为提取用户的位置信息；

根据语音信息和/或面部信息，确定用户关注的物品的目标位置包括：

根据位置信息，确定用户关注的物品；

获取用户关注的物品的目标位置。

在其中一个实施例中，侦测预设区域内的用户行为之后，包括：

推送预设的推荐物品的物品信息。

在其中一个实施例中，推送物品标识对应的物品信息之后，包括：

接收用户反馈语音信息；

查找与用户反馈语音信息对应的操作指令，响应操作指令。

在其中一个实施例中，响应操作指令之后，包括：

存储用户的相关信息，用户的相关信息包括语音信息和/或面部信息以及用户反馈语音信息。

一种储物装置中人机交互装置，所述装置包括：

侦测模块，用于侦测预设区域内的用户行为，预设区域包括储物装置感应区域；

提取模块，用于根据用户行为提取用户的语音信息和/或面部信息；

处理模块，用于根据语音信息和/或面部信息，确定用户关注的物品的目标位置；

获取模块，用于根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识；

推送模块，用于推送物品标识对应的物品信息。

一种储物装置，包括储物装置本体和处理器，储物装置本体与处理器相连接，处理器内存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

侦测预设区域内的用户行为，预设区域包括储物装置感应区域；

根据用户行为提取用户的语音信息和/或面部信息；

根据语音信息和/或面部信息，确定用户关注的物品的目标位置；

根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识；

推送物品标识对应的物品信息。

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

侦测预设区域内的用户行为，预设区域包括储物装置感应区域；

根据用户行为提取用户的语音信息和/或面部信息；

根据语音信息和/或面部信息，确定用户关注的物品的目标位置；

根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识；

推送物品标识对应的物品信息。

上述储物装置中人机交互方法、装置、储物装置及存储介质，通过侦测预设区域内的用户行为，根据用户行为提取用户的语音信息和/或面部信息，对语音信息和/或面部信息进行分析，从而确定用户关注的物品的目标位置，根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识，推送物品标识对应的物品信息，使用户能够及时了解到自己感兴趣的物品信息，解决了传统的购物消费模式存在的问题。

附图说明

图1为一个实施例中储物装置中人机交互方法的流程示意图；

图2为另一个实施例中储物装置中人机交互方法的流程示意图；

图3为一个实施例中根据眼球焦点信息确定用户关注的物品的示意图；

图4为另一个实施例中储物装置中人机交互方法的流程示意图；

图5为一个实施例中储物装置中人机交互装置的结构框图；

图6为另一个实施例中储物装置中人机交互装置的结构框图；

图7为一个实施例中计算机设备的内部结构图；

图8为一个实施例中储物装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种储物装置中人机交互方法，包括以下步骤：

s120：侦测预设区域内的用户行为，预设区域包括储物装置感应区域。

侦测常用于无人值守的监控领域，在预设区域内对用户行为进行侦测，可以降低人工监控成本，提高监控效率和监控精度。侦测技术是运动检测录像技术的基础，被广泛的应用于各个领域。预设区域指的是储物装置感应区域，感应区域的范围阈值可根据需要自行设置，其中，储物装置指的是用于存放物品的装置。用户行为包括用户在预设区域内的语言行为和动作行为，通过侦测预设区域内的用户语言行为和动作行为，可为推送物品信息提供依据。

s140：根据用户行为提取用户的语音信息和/或面部信息。

根据用户的语言行为通过语音识别技术可提取用户的语音信息，语音识别技术也成为自动语音识别，其目标是将人类的语音中的词汇内容转换为计算机可读的输入，语音识别技术提取用户的语音信息，分析用户的语音信息中包括的词汇，根据用户的语音信息中包括的词汇，确定用户关注的物品。用户的面部信息包括用户的眼球焦点信息和面部表情，根据用户的动作行为通过眼球焦点定位可提取用户的眼球焦点信息，根据用户的动作行为通过人脸识别技术可提取用户的面部信息，用户的眼球焦点信息可用于确定用户关注的物品的目标位置，用户的面部表情可以判断用户对放置于储物装置中的物品的喜好程度。

s160：根据语音信息和/或面部信息，确定用户关注的物品的目标位置。

根据用户的语音信息中包括的词汇，分析用户的意图，确定用户关注的物品。举例说明，当用户的语音信息中包括“饮料”等词汇时，可认为用户此时需要的物品为饮料，进一步的，若用户的语音中包括“可乐”等词汇时，可认为用户此时需要的物品为可乐；当用户的语音信息中包括“饼干”或“面包”等词汇时，可认为用户此时需要的物品为食物；当用户的语音信息中包括“饿”等词汇时，可认为用户此时需要的物品为食物；当用户的语音信息中包括“渴”等词汇时，可认为用户此时需要的物品为饮料。当确定用户此时需要的物品之后，进一步确定物品的目标位置。

根据用户面部信息中的眼球焦点信息可确定用户关注的物品的目标位置，分析眼球焦点信息，确定用户眼球焦点，将与用户眼球焦点相对应的物品的位置作为用户关注的物品的目标位置。根据用户面部信息中的面部表情可以判断用户对放置于储物装置中的物品的喜好程度。举例说明，当用户靠近储物装置时，储物装置会推送预设的推荐物品的物品信息，通过分析用户在看到推荐物品的物品信息时的面部表情，判断用户是否喜好当前推荐物品；当用户站在储物装置前时，通过分析用户的面部表情可以判断用户是否喜好与其正对的放置于储物装置内的物品。当确定用户喜欢的物品之后，进一步确定物品的目标位置。

s180：根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识。

储物装置中存储物品位置与存储物品标识是对应关系，可根据存储物品位置获取对应的存储物品标识。在本实施例中，可根据用户关注的物品的目标位置获取与目标位置对应的物品标识。举例说明，在储物装置中，存储有可乐、雪碧、饼干、面包，它们的位置分别为a、b、c、d，对应的标识分别为1、2、3、4，当确定用户关注的物品为可乐时，此时确定用户关注的物品的目标位置为a位置，进一步可获取a位置对应的物品标识1。

s190：推送物品标识对应的物品信息。

物品标识对应不同的物品，当确定用户关注的物品的目标位置之后，进一步获取目标位置对应的物品标识，推送物品标识对应的物品信息，物品信息包括物品的价格、重量以及保质期等。其中，物品标识以及其对应的物品信息已存储于储物装置中的处理器内。

上述储物装置中人机交互方法，通过侦测预设区域内的用户行为，根据用户行为提取用户的语音信息和/或面部信息，对语音信息和/或面部信息进行分析，从而确定用户关注的物品的目标位置，根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识，推送物品标识对应的物品信息，使用户能够及时了解到自己感兴趣的物品信息，解决了传统的购物消费模式存在的问题。

在其中一个实施例中，如图2所示，s160包括：

s202：根据语音信息，提取用户关注的物品的信息；

s204：根据用户关注的物品的信息，确定用户关注的物品；

s206：获取用户关注的物品的目标位置。

根据语音信息中包括的词汇提取用户关注的物品的信息，将用户语音信息中包括的词汇与储物装置中的物品的名称、类别以及用途进行匹配，提取用户关注的物品的信息。举例说明，当用户的语音信息中包括“饮料”等词汇时，可认为用户关注的物品为饮料，进一步的，若用户的语音中包括“可乐”等词汇时，可认为用户关注的物品为可乐；当用户的语音信息中包括“饼干”或“面包”等词汇时，可认为用户关注的物品为食物；当用户的语音信息中包括“饿”等词汇时，可认为用户关注的物品为食物；当用户的语音信息中包括“渴”等词汇时，可认为用户关注的物品为饮料。当确定用户关注的物品之后，进一步确定物品的目标位置。

在其中一个实施例中，面部信息包括眼球焦点信息和面部表情。

眼球焦点信息包括用户眼球焦点的位置信息，根据用户眼球焦点的位置信息可确定用户关注的物品，即将与用户眼球焦点的位置相对应的物品作为用户关注的物品。如图3所示，储物装置内放置有物品标识分别为①、②、③、④的四个物品，当用户关注的物品为④号物品时，通过分析用户眼球焦点的位置信息，可确定④号物品为用户关注的物品。通过人脸识别技术可识别到用户的面部表情，通过用户的面部表情可判断用户对与其面部正对的放置于储物装置中的物品的喜好程度，确定正对用户面部的物品是否为用户关注的物品。

在其中一个实施例中，如图4所示，s140之后，包括：

s402：根据用户行为提取用户的位置信息；

s160包括：

s404：根据位置信息，确定用户关注的物品；

s406：获取用户关注的物品的目标位置。

根据用户行为可提取用户的位置信息，根据位置信息以及语音信息和/或面部信息，确定用户关注的物品的目标位置。举例说明，当用户站在储物装置的左侧时，可确定用户关注的物品的目标位置在储物装置的左侧。

在其中一个实施例中，如图4所示，s120之后，包括：

s408：推送预设的推荐物品的物品信息。

在侦测预设区域内的用户行为之后，当用户不断靠近预设区域内时，推送预设的推荐物品的物品信息。其中，推荐物品包括储物装置中的畅销物品，在推送预设的推荐物品的物品信息的同时，也会推送欢迎信息，吸引用户靠近储物装置。

在其中一个实施例中，如图4所示，s190之后，包括：

s410：接收用户反馈语音信息；

s412：查找与用户反馈语音信息对应的操作指令，响应操作指令。

在推送物品标识对应的物品信息之后，会接收用户反馈语音信息，查找与用户反馈语音信息对应的操作指令，响应操作指令。其中，操作指令包括推送物品标识对应的物品的详细信息和推送预设的推荐物品的物品信息等。举例说明，在推送物品标识对应的物品信息之后，若用户想进一步了解物品的详细信息时，接收用户反馈的“进一步了解”的语音信息，查找与用户反馈的“进一步了解”的语音信息对应的操作指令，推送物品标识对应的物品的详细信息；当用户不想进一步了解物品的详细信息时，接收用户反馈的“不感兴趣”的语音信息，查找与用户反馈的“不感兴趣”的语音信息对应的操作指令，不再推送物品标识对应的物品信息，转而推送预设的推荐物品的物品信息。其中物品的详细信息包括物品的价格、重量、名称和保质期等。

在其中一个实施例中，s412之后，包括：

s414：存储用户的相关信息，用户的相关信息包括语音信息和/或面部信息以及用户反馈语音信息。

存储用户的相关信息可用于数据分析，以及在下一次用户靠近储物装置时实现精准推送。

应该理解的是，虽然图1-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种储物装置中人机交互装置，包括：侦测模块100、提取模块200、处理模块300、获取模块400和推送模块500，其中：

侦测模块100，用于侦测预设区域内的用户行为，预设区域包括储物装置感应区域；

提取模块200，用于根据用户行为提取用户的语音信息和/或面部信息；

处理模块300，用于根据语音信息和/或面部信息，确定用户关注的物品的目标位置；

获取模块400，用于根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识；

推送模块500，用于推送物品标识对应的物品信息。

在其中一个实施例中，如图6所示，处理模块300包括语音模块320，用于：

根据语音信息，提取用户关注的物品的信息；

根据用户关注的物品的信息，确定用户关注的物品；

获取用户关注的物品的目标位置。

在其中一个实施例中，如图6所示，储物装置中人机交互装置还包括位置模块600，用于：

根据用户行为提取用户的位置信息；

处理模块300包括位置获取模块340，用于：

根据位置信息，确定用户关注的物品；

获取用户关注的物品的目标位置。

在其中一个实施例中，如图6所示，储物装置中人机交互装置还包括推荐模块700，用于推送预设的推荐物品的物品信息。

在其中一个实施例中，如图6所示，储物装置中人机交互装置还包括反馈模块800，用于：

接收用户反馈语音信息；

查找与用户反馈语音信息对应的操作指令，响应操作指令。

在其中一个实施例中，如图6所示，储物装置中人机交互装置还包括存储模块900，用于存储用户的相关信息，用户的相关信息包括语音信息和/或面部信息以及用户反馈语音信息。

上述储物装置中人机交互装置，通过侦测预设区域内的用户行为，根据用户行为提取用户的语音信息和/或面部信息，对语音信息和/或面部信息进行分析，从而确定用户关注的物品的目标位置，根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识，推送物品标识对应的物品信息，使用户能够及时了解到自己感兴趣的物品信息，解决了传统的购物消费模式存在的问题。

关于储物装置中人机交互装置的具体限定可以参见上文中对于储物装置中人机交互方法的限定，在此不再赘述。上述储物装置中人机交互装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种储物装置中人机交互方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

一种储物装置，如图8所示，包括储物装置本体820和处理器840，储物装置本体820与处理器840相连接，处理器内存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

侦测预设区域内的用户行为，预设区域包括储物装置感应区域；

根据用户行为提取用户的语音信息和/或面部信息；

根据语音信息和/或面部信息，确定用户关注的物品的目标位置；

根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识；

推送物品标识对应的物品信息。

储物装置本体包括侦测器和显示器，储物装置本体用于放置存储物品，侦测器用于根据处理器的指令对预设范围内的用户行为进行侦测，显示器用于根据处理器的指令显示处理器推送的物品标识对应的物品信息、推荐物品的信息、欢迎信息以及物品的详细信息。

上述储物装置，通过侦测预设区域内的用户行为，根据用户行为提取用户的语音信息和/或面部信息，对语音信息和/或面部信息进行分析，从而确定用户关注的物品的目标位置，根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识，推送物品标识对应的物品信息，使用户能够及时了解到自己感兴趣的物品信息，解决了传统的购物消费模式存在的问题。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

侦测预设区域内的用户行为，预设区域包括储物装置感应区域；

根据用户行为提取用户的语音信息和/或面部信息；

根据语音信息和/或面部信息，确定用户关注的物品的目标位置；

根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识；

推送物品标识对应的物品信息。

上述计算机设备，通过侦测预设区域内的用户行为，根据用户行为提取用户的语音信息和/或面部信息，对语音信息和/或面部信息进行分析，从而确定用户关注的物品的目标位置，根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识，推送物品标识对应的物品信息，使用户能够及时了解到自己感兴趣的物品信息，解决了传统的购物消费模式存在的问题。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据语音信息，提取用户关注的物品的信息；

根据用户关注的物品的信息，确定用户关注的物品；

获取用户关注的物品的目标位置。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据用户行为提取用户的位置信息；

根据位置信息，确定用户关注的物品；

获取用户关注的物品的目标位置。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

推送预设的推荐物品的物品信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

接收用户反馈语音信息；

查找与用户反馈语音信息对应的操作指令，响应操作指令。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

存储用户的相关信息，用户的相关信息包括语音信息和/或面部信息以及用户反馈语音信息。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

侦测预设区域内的用户行为，预设区域包括储物装置感应区域；

根据用户行为提取用户的语音信息和/或面部信息；

根据语音信息和/或面部信息，确定用户关注的物品的目标位置；

根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识；

推送物品标识对应的物品信息。

上述存储介质，通过侦测预设区域内的用户行为，根据用户行为提取用户的语音信息和/或面部信息，对语音信息和/或面部信息进行分析，从而确定用户关注的物品的目标位置，根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识，推送物品标识对应的物品信息，使用户能够及时了解到自己感兴趣的物品信息，解决了传统的购物消费模式存在的问题。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据语音信息，提取用户关注的物品的信息；

根据用户关注的物品的信息，确定用户关注的物品；

获取用户关注的物品的目标位置。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据用户行为提取用户的位置信息；

根据位置信息，确定用户关注的物品；

获取用户关注的物品的目标位置。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

推送预设的推荐物品的物品信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

接收用户反馈语音信息；

查找与用户反馈语音信息对应的操作指令，响应操作指令。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

存储用户的相关信息，用户的相关信息包括语音信息和/或面部信息以及用户反馈语音信息。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

下面通过一个实施例来说明本申请的方案。

当用户靠近储物装置感应区域时，推送欢迎信息和推荐物品的信息吸引用户，侦测储物装置感应区域内的用户行为，根据用户行为提取用户的语音信息和/或面部信息，以及位置信息，根据用户的语音信息和/或面部信息，以及位置信息确定用户关注的物品的目标位置，根据预设的储物装置中存储物品位置与存储物品标识对应关系，获取目标位置对应的物品标识，推送物品标识对应的物品信息，接收用户反馈语音信息，当用户想进一步了解物品的详细信息时，推送物品的详细信息；当用户对推送的物品信息不感兴趣时，停止推送与物品标识对应的物品信息，转而推送推荐物品的信息。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。