1.本发明涉及智能服装推荐系统及智能服装推荐方法。
背景技术：
2.顾客在自助商店里选购商品时，店员担当的仅仅是咨询和帮助的角色。一来让顾客购物更自在，有需要的时候才叫店员提供服务；二来让店员可以腾出精力做好其他工作(如整理被试穿后的衣服、整理库存、货物上架、回答顾客咨询等)，提高效率之余也能节约成本。
技术实现要素：
3.【发明要解决的技术问题】
4.但另一方面，当顾客在试穿商品时，他们可能只对商品上的某一点不满意，在没有店员帮助的情况下，如何自动识别顾客不满意的地方并正确地提出建议是一个问题。
5.本发明是鉴于上述情况而完成的，其目的在于提供一种能够自动识别顾客的关注点并进行商品推荐的智能服装推荐系统及智能服装推荐方法。
6.【解决问题的技术手段】
7.为了达成上述的目的，本发明的方案1所记载的智能服装推荐系统用于向在商店中试穿商品的顾客推荐合适的其他商品，所述智能服装推荐系统具备：摄像单元，其拍摄所述顾客的图像；显示单元，其实时显示所述摄像单元拍摄到的所述图像；关注点检测单元，其基于所述摄像单元拍摄到的所述图像，检测所述顾客对于试穿商品的关注点，所述关注点是预先规定的商品的部位信息；人机交互单元，其将检测到的关注点提示给所述顾客，并通过人机交互而最终确定所述顾客的关注点；以及商品推荐单元，其基于确定的关注点，向所述顾客推荐与该确定的关注点相关的其他商品，并将推荐的商品显示在显示单元上。
8.根据本发明的智能服装推荐系统，能够自动识别顾客的关注点并结合顾客的关注点进行商品推荐。
9.方案2所记载的发明中，智能服装推荐系统还具备：存储单元，其在所述人机交互单元确定关注点之后，将确定的关注点和对应的所述图像作为一个样本进行存储；以及自学习单元，其采用所述存储单元中存储的关注点与图像的样本，重新训练所述关注点检测单元。
10.通过重新训练能够提高关注点检测单元的检测的准确性。
11.方案3所记载的发明中，所述关注点检测单元通过进行所述顾客的视线追踪或/和动作检测来检测关注点。
12.方案4所记载的发明中，所述关注点检测单元利用目标检测算法检测所述顾客的人体图像和人眼图像，基于所述人眼图像、利用视线追踪的神经网络确定所述顾客的视线在所述图像上的位置，基于所述人体图像、利用关节点检测算法确定所述顾客的各关节点在所述图像上的位置，结合视线位置和各关节点位置来确定所述顾客的视线注视的关节
点，最终确定与视线注视的关节点对应的关注点。
13.方案5所记载的发明中，所述关注点检测单元利用目标检测算法检测所述顾客的人体图像，基于所述人体图像、利用动作识别的神经网络确定典型动作的类别，最终确定与所述确定的典型动作的类别对应的关注点，所述动作识别的神经网络通过将自定义的典型动作的类别与图像的映射作为样本进行训练而获得。
14.通过结合视线追踪或和动作检测能够提高关注点检测单元的检测的准确性。
15.方案6所记载的发明中，在所述存储单元中存储有商品标签数据库，针对每个商品预先定义多个标签并保存在所述商品标签数据库中，所述商品推荐单元确定与确定的关注点对应的所述试穿商品的标签，去除具有与所述试穿商品的所述标签相同的标签的商品，计算剩余的各商品与所述试穿商品的近似程度，按照近似程度从大到小的顺序来向所述顾客推荐商品。
16.顾客在试穿商品时，很有可能仅对其中的某一个点不满意，通过去除不满意的部分，向顾客推荐相似商品，实现更加针对性的推荐。
17.方案7所记载的发明中，在所述存储单元中存储有商品标签数据库，针对每个商品预先定义多个标签并保存在所述商品标签数据库中，所述人机交互单元在确定关注点之后，通过人机交互进一步确定所述顾客对确定的关注点是否满意，在所述顾客对确定的关注点不满意的情况下，所述商品推荐单元确定与确定的关注点对应的所述试穿商品的标签，去除具有与所述试穿商品的所述标签相同的标签的商品，计算剩余的各商品与所述试穿商品的近似程度，按照近似程度从大到小的顺序来向所述顾客推荐商品，在所述顾客对确定的关注点满意的情况下，所述商品推荐单元确定与确定的关注点对应的所述试穿商品的标签，在具有与所述试穿商品的所述标签相同的标签的商品中，计算各商品与所述试穿商品的近似程度，按照近似程度从大到小的顺序来向所述顾客推荐商品。
18.通过进一步与顾客确认，了解顾客的喜好，能够更加准确地向顾客推荐商品。
19.方案8所记载的发明中，在所述存储单元中还存储有搭配数据库，针对每个商品预先定义可以搭配的其他商品，在通过人机交互确定所述顾客对确定的关注点满意的情况下，所述商品推荐单元在所述搭配数据库中进行检索，向所述顾客推荐所述试穿商品可以搭配的其他商品。
20.通过建立搭配数据库，能够向顾客推荐更多合适的商品。
21.方案9所记载的发明中，商品与所述试穿商品相比，相同的标签的数量越多，则该商品与所述试穿商品的近似程度越大。
22.【发明的效果】
23.通过本发明的智能服装推荐系统，能够自动识别顾客的关注点并结合顾客的关注点进行商品推荐。
附图说明
24.图1是本发明的智能服装推荐系统的构成图。
25.图2是示出摄像单元及显示单元的示意图。
26.图3是示出关注点检测单元工作的流程图。
27.图4是示出通过视线追踪进行关注点检测的流程图。
28.图5是示出通过动作检测进行关注点检测的流程图。
29.图6是示出智能服装推荐方法的流程图。
具体实施方式
30.下面结合附图对本发明的实施方式作进一步地详细描述。
31.《第一实施方式》
32.本发明的智能服装推荐系统100用于向在商店中试穿商品的顾客推荐合适的其他商品，图1是本发明的智能服装推荐系统100的构成图，如图1所示，智能服装推荐系统100具备：摄像单元11、显示单元12、关注点检测单元13、人机交互单元14、商品推荐单元15、存储单元16、以及自学习单元17。
33.摄像单元11和显示单元12是智能服装推荐系统100的输入输出设备。智能服装推荐系统100通过摄像单元11来获取输入图像数据，并通过显示单元12来输出数据。摄像单元11可以是高清摄像头，拍摄顾客试衣的图像作为智能服装推荐系统100的输入。显示单元12可以是显示屏，实时显示摄像单元11拍摄到的顾客的试衣图像。
34.图2是示出摄像单元11及显示单元12的示意图。
35.如图2所示，摄像单元11设置于显示单元12的上方，显示单元12包含2个区域。区域1用于实时显示摄像单元11拍摄的顾客图像，该区域1可看作是顾客试衣时的镜子，顾客可以在区域1可以看到试衣效果。区域2用于显示推荐系统根据顾客的关注点推荐给顾客的商品。
36.关注点检测单元13基于摄像单元11拍摄到的图像，检测顾客对于试穿商品的关注点，关注点是预先规定的商品的部位信息，例如衣服的衣领、衣袖，裤子的裤腰、裤腿等
37.关注点检测单元13可以通过进行顾客的视线追踪和动作检测来检测关注点。关注点检测单元13的工作流程如图3所示。如图3所示，在步骤s1中，输入摄像单元11拍摄到的顾客试衣的图像。在步骤s2中，利用一般的目标检测算法在拍摄的图像中检测顾客的人体图像，即定位人体在图像中的位置。目标检测算法例如采用【j.redmon and a.farhadi,"yolo9000:better,faster,stronger,"2017ieee conference on computer vision and pattern recognition(cvpr)】中记载的方法。在步骤s3中，通过视线追踪来检测顾客对于试穿商品的关注点。视线追踪的具体方法将在后文中详细说明。在步骤s4中，通过动作检测来检测顾客对于试穿商品的关注点。动作检测的具体方法将在后文中详细说明。在步骤s5中，将检测到的关注点输出。在步骤s3和步骤s4中检测到的关注点一致的情况下，输出该一致的关注点，在不一致的情况下，输出两个关注点给顾客，由顾客进行最终的选择。
38.在图3中示出了通过进行顾客的视线追踪和动作检测来检测关注点的方式。但也可以仅通过视线追踪来检测关注点，或者仅通过动作检测来检测关注点。
39.图4示出通过视线追踪进行关注点检测的流程图。在步骤s31中，输入检测到的顾客的人体图像。在步骤s32中，利用一般的目标检测算法在拍摄的图像中检测顾客的人眼图像，即定位人眼在图像中的位置，目标检测算法可以采用上述的方法。在步骤s33中，基于人眼图像、利用视线追踪的神经网络确定顾客的视线在图像上的位置。关于实现视线追踪的方法可以参照【seonwook park,adrian spurr,and otmar hilliges."deep pictorial gaze estimation".in european conference on computer vision.2018】。在步骤s34中，
基于人体图像、利用关节点检测算法确定顾客的各关节点在图像上的位置。关节点包含眼睛、耳朵、脖子、左右肩膀、左右肘部、左右手踝、左右跨、左右膝盖、左右脚踝。关节点检测方法例如参照【zhe cao,tomas simon,shih-en wei,yaser sheikh，“realtime multi-person 2d pose estimation using part affinity fields，”，cvpr2017】。结合视线在图像上的位置和各关节点在图像上的位置，能够确定顾客的视线注视的关节点。本发明中，预先设定好关节点与关注点的对应关系，例如关节点“脖子”对应于关注点“衣领”，关节点“左右肘部”对应于关注点“左右衣袖”。由此，在步骤s35中，最终确定与视线注视的关节点对应的试穿商品的关注点。
40.图5示出通过动作检测进行关注点检测的流程图。在步骤s41中，输入检测到的顾客的人体图像。在步骤s42中，基于输入的人体图像、利用动作识别的神经网络确定典型动作的类别。在建立动作识别的神经网络之前，需要自定义典型动作的类别，例如，摸衣服领子动作、提裤腰动作。通过将自定义的典型动作的类别与图像的映射作为样本进行训练而获得动作识别的神经网络。而且，本发明还需要定义典型动作的类别与关注点之间的对应关系，例如，摸衣服领子动作代表关注点在衣领，提裤腰动作代表关注点在裤腰。在步骤s43中，基于这样的对应关系，最终确定与确定的典型动作的类别对应的关注点。
41.人机交互单元14将检测到的关注点提示给顾客，并通过人机交互而最终确定顾客的关注点。可以在显示单元12上划分出部分区域进行与顾客的人机交互，也可以另外设置人机交互的装置。例如检测到关注点在衣领，可以在显示单元12上提问“您是关注衣领吗？”。
42.在通过人机交互确定关注点之后，将确定的关注点和对应的图像作为一个样本存储到存储单元16，用于线下自学习单元17对关注点检测单元13中的神经网络进行优化和再训练。
43.商品推荐单元15基于确定的关注点，向顾客推荐与该确定的关注点相关的其他商品，并将推荐的商品显示在显示单元12上。
44.在存储单元16中存储有商品标签数据库，针对每个商品预先定义多个标签并保存在商品标签数据库中。例如，衣服种类标签有t恤、毛衣、衬衫，衣领标签有圆领、鸡心领、高领，衣袖标签有长袖、短袖、无袖等。
45.商品推荐单元15可以在商品标签数据库中进行检索。具体可以采用如下检索方式：商品推荐单元15确定与确定的关注点对应的试穿商品的标签，去除具有与试穿商品的标签相同的标签的商品，计算剩余的各商品与试穿商品的近似程度，按照近似程度从大到小的顺序来向顾客推荐商品。例如，根据交互结果确定顾客的关注点是衣领时，说明顾客可能对衣领不满意。商品推荐单元15确定与衣领对应的试穿商品的标签为高领。在这种情况下，先筛选掉具有高领标签的商品，剩下的不具有高领标签的就是可选商品。然后在剩下可选商品中，计算每个商品和顾客试穿商品的近似程度。近似程序用标签一致性来判断，两个商品的相同的标签数越多，则近似程度越大。可以按照近似程度从大到小的顺序将推荐商品展示在顾客面前。
46.《第二实施方式》
47.第二实施方式与第一实施方式的不同点在于人机交互单元14和商品推荐单元15，下面仅针对不同点进行说明。
48.在第一实施方式中默认关注点是客户不满意的地方，但顾客也有可能对满意的地方产生关注。因此，在第二实施方式中，人机交互单元14在确定关注点之后，通过人机交互进一步确定顾客对确定的关注点是否满意。例如在通过人机交互确定顾客的关注点是衣领之后，可以继续向客户提问：“您对衣领满意吗？”。
49.在顾客对确定的关注点不满意的情况下，执行与第一实施方式相同的处理。
50.在顾客对确定的关注点满意的情况下，商品推荐单元15可以采用如下检索方式：商品推荐单元确定与确定的关注点对应的试穿商品的标签，在具有与试穿商品的标签相同的标签的商品中，计算各商品与试穿商品的近似程度，按照近似程度从大到小的顺序来向顾客推荐商品。例如，确定的关注点是衣领时，确定与衣领对应的试穿商品的标签为高领。在这种情况下，在具有高领标签的商品中，计算每个商品和顾客试穿商品的近似程度。近似程序用标签一致性来判断，两个商品的相同的标签数越多，则近似程度越大。可以按照近似程度从大到小的顺序将推荐商品展示在顾客面前。
51.《第三实施方式》
52.第三实施方式与第二实施方式的不同点在于：在存储单元16中还存储有搭配数据库，针对每个商品预先定义可以搭配的其他商品。在通过人机交互确定顾客对确定的关注点满意的情况下，商品推荐单元15在搭配数据库中进行检索，向顾客推荐试穿商品可以搭配的其他商品。
53.下面对上述智能服装推荐系统100中使用的智能服装推荐方法进行说明。图6示出智能服装推荐方法的流程图。
54.如图6所示，在步骤s101中，由摄像单元11拍摄试穿商品的顾客的图像。在步骤s102中，将实时显示拍摄到的顾客的图像显示在显示单元12上。在步骤s103中，关注点检测单元13基于拍摄到的图像，检测顾客对于试穿商品的关注点。在步骤s104中，将检测到的关注点提示给顾客，并通过人机交互而最终确定顾客的关注点。在步骤s105中，基于确定的关注点，向顾客推荐与该确定的关注点相关的其他商品，并将推荐的其他商品显示在显示单元12上。
55.本说明书中，为了使读者更好地理解本技术而提出了许多技术细节。但是，本领域技术人员可以理解，即使没有这些技术细节和基于上述各实施方式的种种变化和修改，也可以实现本技术各权利要求所要求保护的技术方案。
56.本文中应用了具体实施方式对本技术的原理进行了阐述，以上实施方式的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。