多模态智能推荐方法、装置、存储介质及电子装置与流程

本申请涉及智能家居/智慧家庭，具体而言，涉及一种多模态智能推荐方法、装置、存储介质及电子装置。

背景技术：

1、目前随着社会经济的迅速发展，人们的生活水平日益提高。饮品作为日常生活中必不可少的一部分，其种类和样式也随着经济的发展在不断地增加和丰富，目前为了提升用户体验感，降低人工运营成本，现有技术中推出线上点单或者自动售货机的人机交互方式，提供饮品自助点单服务。

2、然而现有技术中的自助点单服务中，用户需要自己在页面中多次点击选择饮品，导致人们在选择美食时需要花费更多的精力和时间。

3、目前部分自动售货机可以给用户主动推荐饮品，然而自动售货机只能根据自动售货机的历史购买订单进行饮品推荐，无法针对每一用户进行针对化推荐，导致推荐结果不精准。

技术实现思路

1、本申请提供一种多模态智能推荐方法、装置、存储介质及电子装置，用于解决现有技术中的自助点单服务中饮品推荐不精准的技术问题。

2、本申请提供一种多模态智能推荐方法，包括：

3、采集目标用户的用户图像，从所述用户图像中提取人体特征，并获取所述用户图像对应的图像采集信息；

4、在接收到所述目标用户输入的语音信息的情况下，确定所述语音信息对应的语义信息，并提取所述语音信息中的声纹特征；

5、在所述语义信息中未解析出目标饮品的情况下，基于所述人体特征及所述图像采集信息确定所述目标用户的人体状态，基于所述声纹特征及所述语义信息确定所述目标用户的饮品偏好；

6、基于所述人体状态及所述饮品偏好确定所述目标用户的推荐饮品。

7、根据本申请提供的一种多模态智能推荐方法，所述基于所述人体特征及所述图像采集信息确定所述目标用户的人体状态，包括：

8、基于所述人体特征确定所述目标用户的冷热感状态及情绪状态；

9、基于所述图像采集信息确定所述目标用户的体感温度；

10、根据所述冷热感状态、所述情绪状态及所述体感温度确定所述目标用户的人体状态。

11、根据本申请提供的一种多模态智能推荐方法，所述人体特征包括面部特征、人体行为特征及人体附属物特征中的至少一种；

12、所述图像采集信息包括时间信息、地点信息及天气信息中的至少一种。

13、根据本申请提供的一种多模态智能推荐方法，所述基于所述声纹特征及所述语义信息确定所述目标用户的饮品偏好，包括：

14、从所述声纹特征中解析出所述目标用户的年龄段及性别；

15、若从所述语义信息中解析出饮品特征，则基于所述年龄段、所述性别及所述饮品特征确定所述目标用户的饮品偏好；

16、若从所述语义信息中未解析出饮品特征，则获取所述年龄段及所述性别匹配的历史点单饮品列表，并基于所述历史点单饮品列表确定所述目标用户的饮品偏好；

17、其中，所述饮品特征包括饮品种类、饮品配料、饮品温度及饮品甜度中的至少一种。

18、根据本申请提供的一种多模态智能推荐方法，所述采集目标用户的用户图像，包括：

19、在预设持续时间监测到人体红外感应数据的情况下，判定监测到目标用户；

20、启动摄像头，以采集所述目标用户的用户图像。

21、根据本申请提供的一种多模态智能推荐方法，所述基于所述人体状态及所述饮品偏好确定所述目标用户的推荐饮品之后，还包括：

22、在接收到所述目标用户点单所述推荐饮品的提示信息的情况下，获取所述推荐饮品相关的配料信息；

23、获取所述配料信息中的各配料匹配的舱室编号；

24、将所述舱室编号发送至饮品制作机器终端，以控制所述饮品制作机器终端进行推荐饮品制作。

25、根据本申请提供的一种多模态智能推荐方法，

26、所述基于所述人体状态及所述饮品偏好确定所述目标用户的推荐饮品，包括：

27、从饮品数据库中筛选出与所述饮品偏好匹配的饮品列表；

28、计算出所述饮品列表中各饮品与所述人体状态之间的适配度；

29、选取适配度最高的饮品作为所述目标用户的推荐饮品。

30、本申请还提供一种多模态智能推荐装置，包括：

31、图像模块，用于采集目标用户的用户图像，从所述用户图像中提取人体特征，并获取所述用户图像对应的图像采集信息；

32、语音模块，用于在接收到所述目标用户输入的语音信息的情况下，确定所述语音信息对应的语义信息，并提取所述语音信息中的声纹特征；

33、第一推荐模块，用于在所述语义信息中未解析出目标饮品的情况下，基于所述人体特征及所述图像采集信息确定所述目标用户的人体状态，基于所述声纹特征及所述语义信息确定所述目标用户的饮品偏好；

34、第二推荐模块，用于基于所述人体状态及所述饮品偏好确定所述目标用户的推荐饮品。

35、本申请提供一种计算机可读的存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的多模态智能推荐方法。

36、本申请提供一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的多模态智能推荐方法。

37、本申请提供的多模态智能推荐方法，通过采集目标用户的用户图像，并从用户图像中提取人体特征，并获取用户图像对应的图像采集信息；在接收到目标用户输入的语音信息的情况下，确定语音信息对应的语义信息，并提取语音信息中的声纹特征；在语义信息中未解析出目标饮品的情况下，基于人体特征及图像采集信息确定目标用户的人体状态，基于声纹特征及语义信息确定目标用户的饮品偏好；基于人体状态及饮品偏好确定目标用户的推荐饮品，由此在用户未直接进行饮品点单的情况下，通过多模态识别技术，实现自动便捷地为目标用户进行精准推荐，有效提高用户体验感。

技术特征：

1.一种多模态智能推荐方法，其特征在于，包括：

2.根据权利要求1所述的多模态智能推荐方法，其特征在于，所述基于所述人体特征及所述图像采集信息确定所述目标用户的人体状态，包括：

3.根据权利要求2所述的多模态智能推荐方法，其特征在于，所述人体特征包括面部特征、人体行为特征及人体附属物特征中的至少一种；

4.根据权利要求1所述的多模态智能推荐方法，其特征在于，所述基于所述声纹特征及所述语义信息确定所述目标用户的饮品偏好，包括：

5.根据权利要求1所述的多模态智能推荐方法，其特征在于，所述采集目标用户的用户图像，包括：

6.根据权利要求1所述的多模态智能推荐方法，其特征在于，所述基于所述人体状态及所述饮品偏好确定所述目标用户的推荐饮品之后，还包括：

7.根据权利要求1至6任一项所述的多模态智能推荐方法，其特征在于，所述基于所述人体状态及所述饮品偏好确定所述目标用户的推荐饮品，包括：

8.一种多模态智能推荐装置，其特征在于，包括：

9.一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的多模态智能推荐方法。

10.一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的多模态智能推荐方法。

技术总结
本申请公开了一种多模态智能推荐方法、装置、存储介质及电子装置，涉及智能家居/智慧家庭技术领域，该方法包括：采集目标用户的用户图像，并从用户图像中提取人体特征，并获取用户图像对应的图像采集信息；在接收到目标用户输入的语音信息的情况下，确定语音信息对应的语义信息，并提取语音信息中的声纹特征；在语义信息中未解析出目标饮品的情况下，基于人体特征及图像采集信息确定目标用户的人体状态，基于声纹特征及语义信息确定目标用户的饮品偏好；基于人体状态及饮品偏好确定目标用户的推荐饮品，由此通过多模态识别技术，实现自动便捷地为目标用户进行精准推荐，有效提高用户体验感。

技术研发人员：何雪薇
受保护的技术使用者：青岛海尔科技有限公司
技术研发日：
技术公布日：2024/2/8