一种菜品推荐方法及系统与流程

1.本发明涉及图像处理技术领域，特别涉及一种菜品推荐方法及系统。


背景技术：

2.由于传统人工点餐效率低，现有提供了一种人脸识别点餐系统，通过生成历史数据库，记录用户点餐偏好，当用户再次点餐时，利用人脸识别技术，对用户身份进行识别，并自动检索出用户之前就餐常点的产品并呈现给用户。整个过程未考虑用户实时感受以及口味的变化，菜品推荐效果较差。此外，还可以是在人脸识别的基础上向人脸特征相似的用户推荐相似的用餐口味，然而人脸特征相似用餐口味可以不同，菜品推荐实用性不强。所以，如何提高菜品推荐效果就变得额外重要。


技术实现要素：

3.本发明提供了一种菜品推荐方法及系统，用于提高菜品推荐效果。
4.第一方面，本发明实施例提供了一种菜品推荐方法，包括：
5.获取包括至少一帧图像的人脸视频数据；
6.对所述人脸视频数据中包括目标对象的至少部分图像进行人脸属性识别，获得所述目标对象的人脸表情数据和面部姿态数据；
7.根据所述人脸表情数据和所述面部姿态数据生成所述目标对象的当次点单偏好；
8.在确定存在所述目标对象的历史点单数据时，根据所述历史点单数据生成所述目标对象的历史点单偏好；
9.按照预设规则，根据所述历史点单偏好和所述当次点单偏好获得待推荐菜品，并将所述待推荐菜品显示给所述目标对象。
10.在一种可能的实现方式中，所述根据所述人脸表情数据和所述面部姿态数据生成所述目标对象的当次点单偏好，包括：
11.根据所述人脸表情数据确定用于表征所述目标对象的目标表情的表情编码；
12.确定所述表情编码对应的目标时刻；
13.从所述面部姿态数据中确定出所述目标时刻对应的面部朝向数据；
14.确定所述面部朝向数据对应的关注热力区域，以及所述关注热力区域对应的第一菜品集合；
15.将所述第一菜品集合作为所述目标对象的当次点单偏好。
16.在一种可能的实现方式中，所述在确定存在所述目标对象的历史点单数据时，根据所述历史点单数据生成所述目标对象的历史点单偏好，包括：
17.根据所述历史点单数据，确定所述目标对象的历史点餐记录；
18.从所述历史点餐记录中确定出第二菜品集合以及各个菜品的点餐次数；
19.根据所述第二菜品集合以及所述点餐次数，生成所述目标对象的历史点单偏好。
20.在一种可能的实现方式中，所述按照预设规则，根据所述历史点单偏好和所述当
次点单偏好获得待推荐菜品，并将所述待推荐菜品显示给所述目标对象，包括：
21.根据菜品销售情况，分别设定所述历史点单偏好和所述当次点单偏好的权重；
22.根据所述历史点单偏好以及所述当次点单偏好对应的权重，确定所述待推荐菜品的权重；
23.按照权重由大到小的顺序，将所述待推荐菜品显示给所述目标对象。
24.在一种可能的实现方式中，所述对所述人脸视频数据中包括目标对象的至少部分图像进行人脸属性识别，获得所述目标对象的人脸表情数据和面部姿态数据，包括：
25.通过深度神经网络对所述人脸视频数据中包括目标对象的至少部分图像进行特征提取，确定出所述目标对象的人脸表情数据；
26.从所述至少部分图像的每帧图像中提取出所述目标对象的至少一个关键点；
27.根据所述至少一个关键点，确定出所述目标对象的面部姿态数据。
28.在一种可能的实现方式中，在所述获取包括至少一帧图像的人脸视频数据之后，所述方法还包括：
29.对所述至少部分图像中的每帧图像进行人脸检测，从中筛选出人脸清晰度与人脸遮挡程度满足预设质量的图像；
30.将所述至少部分图像中满足所述预设质量的图像作为待人脸属性识别的人脸图像。
31.在一种可能的实现方式中，在所述获取包括至少一帧图像的人脸视频数据之后，所述方法还包括：
32.若检测到所述目标对象下单完成，则停止对所述目标对象进行所述待推荐菜品的推荐。
33.第二方面，本发明实施例一种菜品推荐系统，包括：
34.图像获取模块、人脸属性识别模块和处理模块；
35.其中，所述图像获取模块用于获取包括至少一帧图像的人脸视频数据；
36.所述人脸属性识别模块用于对所述人脸视频数据中包括目标对象的至少部分图像进行人脸属性识别，获得所述目标对象的人脸表情数据和面部姿态数据，并将所述人脸表情数据和所述面部姿态数据发送至所述处理模块；
37.所述处理模块用于根据所述人脸表情数据和所述面部姿态数据生成所述目标对象的当次点单偏好，在确定存在所述目标对象的历史点单数据时，根据所述历史点单数据生成所述目标对象的历史点单偏好，按照预设规则，根据所述当次点单偏好和所述历史点单偏好获得待推荐菜品，并将所述待推荐菜品显示给所述目标对象。
38.在一种可能的实现方式中，所述处理模块用于：
39.根据所述人脸表情数据确定用于表征所述目标对象的目标表情的表情编码；
40.确定所述表情编码对应的目标时刻；
41.从所述面部姿态数据中确定出所述目标时刻对应面部朝向数据；
42.确定所述面部朝向数据对应的关注热力区域，以及所述关注热力区域对应的第一菜品集合；
43.将所述第一菜品集合作为所述目标对象的当次点单偏好。
44.在一种可能的实现方式中，所述处理模块用于：
45.根据所述历史点单数据，确定所述目标对象的历史点餐记录；
46.从所述历史点餐记录中确定出第二菜品集合以及各个菜品的点餐次数；
47.根据所述第二菜品集合以及所述点餐次数，生成所述目标对象的历史点单偏好。
48.在一种可能的实现方式中，所述处理模块用于：
49.根据菜品销售情况，分别设定所述历史点单偏好和所述当次点单偏好的权重；
50.根据所述历史点单偏好以及所述当次点单偏好对应的权重，确定所述待推荐菜品的权重；
51.所述菜品推荐系统还包括显示模块，所述显示模块用于：按照权重由大到小的顺序，将所述待推荐菜品显示给所述目标对象。
52.本发明的有益效果如下：
53.本发明实施例提供了一种菜品推荐方法及系统，首先，获取包括至少一帧图像的人脸视频数据，然后，对该人脸视频数据中包括目标对象的至少部分图像进行人脸属性识别，比如，在该人脸视频数据包括的至少一帧图像为多帧时，可以是对该多帧图像中包括目标对象的每帧图像进行人脸属性识别，还可以是对该多帧图像中包括目标对象的部分图像进行人脸属性识别，从而获得目标对象的人脸表情数据和面部姿态数据，然后，根据该人脸表情数据和该面部姿态数据生成目标对象的当次点单偏好，由于人脸表情数据和面部姿态数据可以实时变化，根据目标对象实时变化的人脸表情数据和面部姿态数据所确定出的当次点单偏好更贴近目标对象的实际点单需求，此外，还可以在确定存在该目标对象的历史点单数据时，根据该历史点单数据生成该目标对象的历史点单偏好，也就是说，在目标对象为老用户时，可以根据其历史点单数据确定出相应的历史点单偏好。然后，按照预设规则，根据该目标对象的历史点单偏好和当次点单偏好获得待推荐菜品，并将该待推荐菜品显示给该目标对象。也就是说，可以结合目标对象的历史点单偏好和当次点单偏好来向该目标对象进行菜品推荐，如此一来，菜品推荐既兼顾了目标对象当次的点单偏好，又兼顾了历史的点单偏好，从而提高了菜品推荐的效果。
附图说明
54.图1为本发明实施例提供的一种点单推荐方法的方法流程图；
55.图2为图1中步骤s103的方法流程图；
56.图3为图1中步骤s104的方法流程图；
57.图4为图1中步骤s105的方法流程图；
58.图5为图1中步骤s102的方法流程图；
59.图6为在图1中步骤s101之后的其中一种方法流程图；
60.图7为本发明实施例提供的一种点单推荐方法的其中一种整体流程图；
61.图8为本发明实施例提供的一种点单推荐系统的结构框图。
具体实施方式
62.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。并且在不冲突的情况下，本发明中的实施例及实
施例中的特征可以相互组合。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
63.除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
64.需要注意的是，附图中各图形的尺寸和形状不反映真实比例，目的只是示意说明本发明内容。并且自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
65.在现有技术中，往往通过用户的历史点餐偏好来对用户进行菜品推荐，整个推荐过程并未考虑用户的实时感受以及口味的变化，菜品推荐效果较差。
66.鉴于此，本发明实施例提供了一种菜品推荐方法及系统，用于提高菜品推荐的效果。
67.如图1所示，本发明实施例提供的一种菜品推荐方法，包括：
68.s101：获取包括至少一帧图像的人脸视频数据；
69.在具体实施过程中，可以是通过包括电荷耦合元件(charge-coupled device，ccd)或者互补金属氧化物半导体(complementary metal oxide semi-conductor，cmos)的图像采集单元来获取所述人脸视频数据，所述人脸视频数据可以是包括一帧图像，还可以是包括多帧图像，该多帧图像可以是按照时间先后顺序有序排列，在实际应用中可以根据实际使用需求来设定所述人脸视频数据所包括的图像，在此不做限定。
70.s102：对所述人脸视频数据中包括目标对象的至少部分图像进行人脸属性识别，获得所述目标对象的人脸表情数据和面部姿态数据；
71.在具体实施过程中，在获取所述人脸视频数据之后，可以利用机器学习的方法对所述人脸视频数据中第一帧图像进行人脸检测，提取出图像中的人脸位置及所占的区域面积，根据人脸位置以及各个人脸位置所占的区域面积，确定出至少一个对象，在至少一个对象为多个时，可以将多个对象中距离用于获取所述人脸视频数据的图像采集单元最近的对象作为目标对象，还可以将多个对象中人脸位置所占区域面积最大的对象作为目标对象；在至少一个对象为一个时，直接将该对象作为目标对象，当然，还可以根据实际应用需要来设定目标对象，在此不做限定。在确定出目标对象之后，可以对所述人脸视频数据中的包括所述目标对象的至少部分图像进行人脸属性识别，确定出目标对象的人脸表情数据和面部姿态数据，其中，所述人脸表情数据用于表征所述目标对象的表情，比如，高兴、愤怒等，所述面部姿态数据用于表征所述目标对象的面部姿态，比如，面部朝向点单屏幕的左上角，再比如，面部朝向点单屏幕的右下角等。
72.s103：根据所述人脸表情数据和所述面部姿态数据生成所述目标对象的当次点单偏好；
73.在具体实施过程中，可以根据所述人脸表情数据和所述面部姿态数据生成所述目标对象的当次点单偏好，通过所述人脸表情数据在所述目标对象点单过程中的变化情况，可以确定所述目标对象在点单过程中的情绪变化，通过所述面部姿态数据在所述目标对象点单过程中的变化情况，可以确定所述目标对象在点单过程中关注对象的变化情况，如此
一来，通过所述人脸表情数据和所述面部姿态数据所生成的所述目标对象的当次点单偏好更符合所述目标对象的当次点单情况。此外，在所述目标对象点单过程中，还可以通过所述面部姿态数据确定所述目标对象在当前点单页面上所关注的文本位置，以及所述目标对象关注该文本位置处的菜品的停留时长，比如，停留时长越长相应地该文本位置处的菜品的权重越大，更接近所述目标对象的当次点单需求。如此一来，可以将所述目标对象点单过程中的所述人脸表情数据和所述面部姿态数据的变化情况结合在一起来确定所述目标对象的当次点单偏好，从而提高了当前菜品推荐的效率。
74.s104：在确定存在所述目标对象的历史点单数据时，根据所述历史点单数据生成所述目标对象的历史点单偏好；
75.在具体实施过程中，在确定存在所述目标对象的历史点单数据时，可以根据所述历史点单数据生成所述目标对象的历史点单偏好，如此一来，在所述目标对象为老用户或者老客户时，可以根据所述目标对象的历史点单数据生成其历史点单偏好，通过所述历史点单偏好可以对所述目标对象的菜品推荐提供相应的指导意见。
76.s105：按照预设规则，根据所述历史点单偏好和所述当次点单偏好获得待推荐菜品，并将所述待推荐菜品显示给所述目标对象。
77.在具体实施过程中，可以按照预设规则，根据所述历史点单偏好和所述当次点单偏好进行获得待推荐菜品，可以是将所述历史点单偏好和所述当次点单偏好融合在一起来确定待推荐菜品。其中，所述预设规则可以是根据实际应用需要预先设定的规则，比如，预先设定所述历史点单偏好和所述当次点单偏好的权重，比如，所述当次点单偏好的权重设定为0.8，所述历史点单偏好的权重设定为0.2，当然，还可以是设定其它的规则，在此不做限定。可以结合目标对象的历史点单偏好和当次点单偏好来向该目标对象进行菜品推荐，如此一来，菜品推荐既兼顾了目标对象当次的点单偏好，又兼顾了历史的点单偏好，从而提高了菜品推荐的效果。此外，由于可以根据所述人脸表情数据和所述面部姿态数据来生成该目标对象的当次点单偏好，在确定存在目标对象的历史点单数据时，可以根据该历史点单数据生成该目标对象的历史点单偏好，根据该当次点单偏好和历史点单偏好来生成待推荐菜品并向该目标对象进行推荐，整个菜品推荐过程中，可以完全在点单用户无感知的情况下进行，在保证菜品推荐的效果的同时，提高了用户的点单体验。
78.在本发明实施例中，如图2所示，步骤s103：根据所述人脸表情数据和所述面部姿态数据生成所述目标对象的当次点单偏好，包括：
79.s201：根据所述人脸表情数据确定用于表征所述目标对象的目标表情的表情编码；
80.s202：确定所述表情编码对应的目标时刻；
81.s203：从所述面部姿态数据中确定出所述目标时刻对应的面部朝向数据；
82.s204：确定所述面部朝向数据对应的关注热力区域，以及所述关注热力区域对应的第一菜品集合；
83.s205：将所述第一菜品集合作为所述目标对象的当次点单偏好。
84.在具体实施过程中，步骤s201至步骤s205的具体实现过程如下：
85.首先，可以采用人脸表情检测，记录所述目标对象浏览点单页面的过程中的实时人脸表情数据，根据所述人脸表情数据确定用于表征所述目标对象的目标表情的表情编
码，可以是先确定出所述至少部分图像中包括有所述目标对象的每帧图像的表情编码，然后再筛选出目标表情所对应的表情编码。可以是预先设定人脸表情与表情编码之间的对应关系，比如，预先设定人脸表情为愤怒时的表情编码为1，人脸表情为正常时的表情编码为2，人脸表情为高兴时的表情编码为3，人脸表情为吃惊时的表情编码为4，当然，还可以根据实际应用情况来设定人脸表情与表情编码之间的对应关系，在此不做限定。
86.在根据所述人脸表情数据确定用于表征所述目标对象的目标表情的表情编码之后，确定所述表情编码的目标时刻，比如，根据对象a的人脸表情数据确定对象a高兴时对应的表情编码为3时的时刻有时刻a、时刻b和时刻c，然后，采用人脸姿态检测，从所述面部姿态数据中确定出所述目标时刻时的面部朝向数据，然后，确定所述面部朝向数据对应的关注热力区域，以及所述关注热力区域对应的第一菜品集合。仍以上面例子为例，从所述面部姿态数据中确定出时刻a时对象a面部朝向当前点单页面p的左上角，时刻b时对象a面部朝向当前点单页面p的右下角，相应地，确定在当前点单页面p的左上角对应的关注热力区域i以及关注热力区域i对应的菜品h1，在当前点单页面p的右下角对应的关注热力区域j对应的菜品h2，如此一来，获得所有的关注热力区域所对应的第一菜品集合包括菜品h1和菜品h2。其中，可以预先设定各个点单页面在不同区域的菜品，这样的话，可以相应点单页面上各关注热力区域所对应的菜品。然后，将所述第一菜品集合作为所述目标对象的当次点单偏好。通过对目标对象在点单过程中实时变化的人脸表情数据和面部姿态数据进行分析，以此来生成当次点单偏好，所生成的当次点单偏好更接近目标对象的实际点单需求，从而提高了点单推荐的效率。而且整个当次点单过程可以在目标对象完全无感知的情况下进行，保证了点单用户的使用体验。此外，在实际应用中，可以将人脸表情通过表情编码进行量化，提高了人脸表情识别的速度。
87.在本发明实施例中，如图3所示，步骤s104：在确定存在所述目标对象的历史点单数据时，根据所述历史点单数据生成所述目标对象的历史点单偏好，包括：
88.s301：根据所述历史点单数据，确定所述目标对象的历史点餐记录；
89.s302：从所述历史点餐记录中确定出第二菜品集合以及各个菜品的点餐次数；
90.s303：根据所述第二菜品集合以及所述点餐次数，生成所述目标对象的历史点单偏好。
91.在具体实施过程中，步骤s301至步骤s303的具体实现过程如下：
92.首先，根据所述历史点单数据，确定所述目标对象的历史点餐记录，然后，从所述历史点餐记录中确定出第二菜品集合以及各个菜品的点餐次数，比如，若检测到点餐用户b为老用户，可以获取其历史点单数据，确定相应的历史点餐记录，从该历史点餐记录中确定出对应的菜品集合包括菜品s1、菜品s2和菜品s3，菜品s1的点餐次数为1，菜品s2的点餐次数为3，菜品s3的点餐次数为5。然后，根据所述第二菜品集合以及所述点餐次数，生成所述目标对象的历史点单偏好，仍以上述例子为例，通过点餐用户b的历史点单记录中菜品集合和各个菜品的点餐次数的统计，可以确定该点餐用户b更偏好菜品s3的历史点单偏好。根据所述目标对象的历史点单数据实现对历史点单偏好的生成，如此一来，可以根据目标对象的历史点单偏好来向其进行菜单推荐，从而提高了点单推荐的效果。
93.在本发明实施例中，如图4所示，步骤s105：按照预设规则，根据所述历史点单偏好和所述当次点单偏好获得待推荐菜品，并将所述待推荐菜品显示给所述目标对象，包括：
94.s401：根据菜品销售情况，分别设定所述历史点单偏好和所述当次点单偏好的权重；
95.s402：根据所述历史点单偏好以及所述当次点单偏好对应的权重，确定所述待推荐菜品的权重；
96.s403：按照权重由大到小的顺序，将所述待推荐菜品显示给所述目标对象。
97.在具体实施过程中，步骤s401至步骤s403的具体实现过程如下：
98.首先，根据菜品销售情况，分别设定所述历史点单偏好和所述当次点单偏好的权重，比如，根据对菜品销售情况的统计，新推出的菜单更受欢迎，卖的比较好，可以将所述当次点单偏好的权重设定为1，所述历史点单偏好的权重设定为0.5。当然，还可以根据实际菜品销售情况，来调整所述历史点单偏好的权重和所述当次点单偏好的权重，在此不做限定。然后，根据所述历史点单偏好以及所述当次点单偏好对应的权重，确定所述待推荐菜品的权重。仍以所述当次点单偏好的权重为1，所述历史点单偏好的权重为0.5为例，所述当次点单偏好的第一菜单集合包括的菜品为c1和c2，所述历史点单偏好的第二菜品集合包括的菜品为c1和c3，则菜品c1的权重为1.5，菜品c2的权重为1，菜品c3的权重为0.5。在确定出所述待推荐菜品的权重之后，按照权重由大到小的顺序，将所述待推荐菜品显示给所述目标对象。仍以上述例子为例，按照权重由大到小的顺序，将c1、c2、c3显示给所述目标对象。由于可以根据菜品销售情况，将所述历史点单偏好和所述当次点单偏好融合在一起进行待推荐菜品的推荐，提高了菜品推荐的效果。
99.在本发明实施例中，如图5所示，步骤s102：对所述人脸视频数据中包括目标对象的至少部分图像进行人脸属性识别，获得所述目标对象的人脸表情数据和面部姿态数据，包括：
100.s501：通过深度神经网络对所述人脸视频数据中包括目标对象的至少部分图像进行特征提取，确定出所述目标对象的人脸表情数据；
101.s502：从所述至少部分图像的每帧图像中提取出所述目标对象的至少一个关键点；
102.s503：根据所述至少一个关键点，确定出所述目标对象的面部姿态数据。
103.在具体实施过程中，步骤s501至步骤s503的具体实现过程如下：
104.首先，通过深度神经网络对所述人脸视频数据中包括目标对象的至少部分图像进行特征提取，确定出所述目标对象的人脸表情数据。所述深度神经网络可以是对至少部分图像进行特征提取与分类，输出一个尺寸为4的特征向量，四个输出分别表示愤怒、正常、高兴与吃惊，如此一来，可以实现对至少部分图像中的每帧图像中的目标对象的人脸表情数据的识别，从而可以确定目标对象实时的人脸表情数据。此外，还可以采用人脸关键点提取，从所述至少部分图像的每帧图像中提取出所述目标对象的至少一个关键点，比如，从所述至少部分图像中图像p1中提取出所述目标对象的左眼、右眼、鼻子、左嘴角以及右嘴角。然后，根据所述至少一个关键点，确定出所述目标对象的面部姿态数据。可以是使用矩阵运算，计算出人脸姿态，将其表示为x、y与z三个方向的偏转角度，对这三个偏转角度进行线性放大，转化为二维空间内的点坐标，从而可以确定目标对象面部朝向点单屏幕的位置，进而确定相应位置的菜品。
105.在本发明实施例中，如图6所示，在步骤s101：获取包括至少一帧图像的人脸视频
数据之后，所述方法还包括：
106.s601：对所述至少部分图像中的每帧图像进行人脸检测，从中筛选出人脸清晰度与人脸遮挡程度满足预设质量的图像；
107.s602：将所述至少部分图像中满足所述预设质量的图像作为待人脸属性识别的图像。
108.在具体实施过程中，步骤s601至步骤s602的具体实现过程如下：
109.首先，对所述至少部分图像中的每帧图像进行人脸检测，从中筛选出人脸清晰度与人脸遮挡程度满足预设质量的图像，可以是采用人脸检测技术，从每帧图像中提取出人脸位置与大小，即从每帧图像中人脸部分切割出来，然后进行人脸清晰度检测和人脸遮挡检测，从所切割出的人脸中筛选出人脸清晰度与人脸遮挡程度满足预设质量的图像，可以是从所切割出的图像中过滤掉模糊、有遮挡的图像，从而筛选出人脸清晰度较高且未遮挡的图像，将其作为满足预设条件的图像，然后将所述至少部分图像中满足所述预设质量的图像作为待人脸属性识别的图像，由于是基于包括所述目标对象的所述至少部分图像中满足所述预设质量的图像所进行的人脸属性识别，从而保证了人脸属性识别的精度。比如，人脸清晰度由低到高分为0、1、2、3、4共五个等级，相应地，人脸清晰度为4时为质量最清晰的图像。人脸遮挡程度可以分为有遮挡与无遮挡这两个类别，在人脸属性识别过程中当人脸清晰度低于4或者人脸有遮挡时，自动跳过该帧图像，对下一帧进行人脸属性识别，只要在人脸清晰度为4且无遮挡时，对该帧图像进行人脸属性识别，从而在提高了人脸属性识别的速度的同时，保证了人脸属性识别的精度。
110.在具体实施过程中，在步骤s602：将所述至少部分图像中满足所述预设质量的图像作为待人脸属性识别的图像之后，还可以利用机器学习对所述待人脸属性识别的图像进行人脸身份识别，首先，使用卷积神经网络提取包括多帧图像的预设图像集的人脸图像特征，比如，提取出尺寸为512的特征向量，将其存入人脸库。当有待人脸属性识别的图像输入时，对所输入的图像进行特征提取获得相应的特征向量，并与人脸库中的每一个特征向量进行欧氏距离的计算，从而得到当前待识别人脸的最佳匹配，实现相应对象的身份识别。比如，对于输入的一张待人脸属性识别的图像，首先，使用卷积神经网络对其进行特征提取，将所提取出的特征与人脸库中预先存储的人脸特征进行距离计算，比如，余弦距离，设定阈值为0.95，当人脸特征的相似度高于该设定阈值时，则判断当前人脸特征所对应的目标对象为老用户，否则判断为新用户，在目标对象为老用户时，可以在点单信息数据库中搜索该目标对象的历史点单数据，从而确定其历史点餐偏好，在目标对象为新用户时，可以在当前点单流程结束之后，将该用户的当次点单数据信息存储至点单信息数据库中，并将该当次点单数据信息与该用户的人脸特征绑定在一起，以便后续对用户进行较为精确的菜品推荐。
111.如图7所示为本发明实施例提供的一种点单推荐方法的其中一种整体流程图，对于各个步骤的具体实现在前述已经详尽介绍了，在此就不再赘述了。由于可以在人脸检测筛选出符合预设质量的人脸图像之后，进行人脸识别以及人脸属性识别，在目标对象为老用户时确定其历史点单数据，以及根据该目标对象的人脸表情数据和面部姿态数据实时确定其当次点单偏好，从而结合目标对象的历史点单偏好和当次点单偏好来向该目标对象进行菜品推荐，如此一来，菜品推荐既兼顾了目标对象当次的点单偏好，又兼顾了历史的点单
偏好，从而提高了菜品推荐的效果。
112.在本发明实施例中，在步骤s101：获取包括至少一帧图像的人脸视频数据之后，所述方法还包括：
113.若检测到所述目标对象下单完成，则停止对所述目标对象进行所述待推荐菜品的推荐。
114.在具体实施过程中，在获取包括至少一帧图像的人脸视频数据之后，若检测到所述目标对象下单完成，则停止对所述目标对象进行待推荐菜品的推荐，可以是若检测到所述目标对象按压点单菜单上的“下单”按钮的操作，则停止对所述目标对象进行待推荐菜品的推荐，还可以是若检测到所述目标对象浏览动作结束，比如，预设时长内未获取到所述目标对象的人脸图像，则停止对所述目标对象进行待推荐菜品的推荐。如此一来，避免了菜品的无效推荐，提高了菜品推荐效率。当然，还可以根据实际应用需要来确定所述目标对象的下单完成，在此不做限定。
115.在具体实施过程中，对所述人脸视频数据中的图像进行人脸检测、人脸识别、人脸属性识别等算法处理，各个算法之间可以传递人脸框、人脸关键点以及各属性识别算法的输出结果，可以是利用预设的人脸结构体来实现对各算法结果的记录与输入，从而实现各算法之间的通信，进而提高菜品推荐的速度。此外，由于菜品推荐过程中各算法之间彼此通信，从而保证了计算量小、参数量低，可以将本发明实施例中的菜品推荐方法应用在边缘智能设备中，即便是对低算力的边缘智能设备，仍能快速进行菜品推荐。
116.基于同一发明构思，如图8所示，本发明实施例还提供了一种点单推荐系统，包括：
117.图像获取模块10、人脸属性识别模块20和处理模块30；
118.其中，所述图像获取模块10用于获取包括至少一帧图像的人脸视频数据；
119.所述人脸属性识别模块20用于对所述人脸视频数据中包括目标对象的至少部分图像进行人脸属性识别，获得所述目标对象的人脸表情数据和面部姿态数据，并将所述人脸表情数据和所述面部姿态数据发送至所述处理模块；
120.所述处理模块30用于根据所述人脸表情数据和所述面部姿态数据生成所述目标对象的当次点单偏好，在确定存在所述目标对象的历史点单数据时，根据所述历史点单数据生成所述目标对象的历史点单偏好，按照预设规则，根据所述当次点单偏好和所述历史点单偏好获得待推荐菜品，并将所述待推荐菜品显示给所述目标对象。
121.在本发明实施例中，所述处理模块30用于：
122.根据所述人脸表情数据确定用于表征所述目标对象的目标表情的表情编码；
123.确定所述表情编码对应的目标时刻；
124.从所述面部姿态数据中确定出所述目标时刻对应的面部朝向数据；
125.确定所述面部朝向数据对应的关注热力区域，以及所述关注热力区域对应的第一菜品集合；
126.将所述第一菜品集合作为所述目标对象的当次点单偏好。
127.在本发明实施例中，所述处理模块30用于：
128.根据所述历史点单数据，确定所述目标对象的历史点餐记录；
129.从所述历史点餐记录中确定出第二菜品集合以及各个菜品的点餐次数；
130.根据所述第二菜品集合以及所述点餐次数，生成所述目标对象的历史点单偏好。
131.在本发明实施例中，所述处理模块30用于：
132.根据菜品销售情况，分别设定所述历史点单偏好和所述当次点单偏好的权重；
133.根据所述历史点单偏好以及所述当次点单偏好对应的权重，确定所述待推荐菜品的权重；
134.所述菜品推荐系统还包括显示模块，所述显示模块用于：
135.按照权重由大到小的顺序，将所述待推荐菜品显示给所述目标对象。
136.在本发明实施例中，所述人脸属性识别模块20用于：
137.通过深度神经网络对所述人脸视频数据中包括目标对象的至少部分图像进行特征提取，确定出所述目标对象的人脸表情数据；
138.从所述至少部分图像的每帧图像中提取出所述目标对象的至少一个关键点；
139.根据所述至少一个关键点，确定出所述目标对象的面部姿态数据。
140.在本发明实施例中，在所述图像获取模块10获取包括至少一帧图像的人脸视频数据之后，所述装置还包括人脸检测模块，所述人脸检测模块用于：
141.对所述至少部分图像中的每帧图像进行人脸检测，从中筛选出人脸清晰度与人脸遮挡程度满足预设质量的图像；
142.将所述至少部分图像中满足所述预设质量的图像作为待人脸属性识别的图像。
143.在本发明实施例中，在所述图像获取模块10获取包括至少一帧图像的人脸视频数据之后，所述处理模块30还用于：
144.若检测到所述目标对象下单完成，则停止对所述目标对象进行所述待推荐菜品的推荐。
145.在具体实施过程中，所述处理模块30与所述图像获取模块10、所述人脸属性识别模块20、所述人脸检测模块之间可以通过传输控制协议(transmission control protocol，tcp)通信，可以将数据封装成结构体，并使用socket工具在服务端与客户端之间传送，从而保证了点单推荐系统的使用性能。
146.此外，该点单推荐系统解决问题的原理与点单推荐方法相似，因此该点单推荐系统的实施可以参见前述点单推荐方法的实施，重复之处不再赘述。
147.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
148.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。