基于机器视觉与AR技术的导购方法及导购设备、存储介质与流程

基于机器视觉与ar技术的导购方法及导购设备、存储介质
技术领域
1.本发明涉及智能机器人技术领域，尤其涉及基于机器视觉与ar技术的导购方法及导购设备、存储介质。


背景技术：

2.商场中商店及商品琳琅满目、更新速度快，顾客难以在短时间掌握自己所需要的商店或者商品的位置，需要导购辅助顾客挑选。但由于大部分顾客倾向客户倾向独自购物，并不喜欢存在他人陪伴。现有导购机器人，一般设置在商场的入口，可以为用户提供商场店铺的指引，但智能化程度较低，无法及时给用户提供关于商品问题的解答，难以满足顾客的使用需求。


技术实现要素：

3.为了克服现有技术的不足，本发明的目的之一在于提供一种基于机器视觉及ar技术的导购方法，快速为用户提供导购信息，满足用户的购物需求。
4.本发明的目的之二在于提供一种设备，执行上述一种基于机器视觉及ar技术的导购方法，快速为用户提供导购信息，满足用户的购物需求。
5.本发明的目的之三在于提供一种存储介质，执行上述一种基于机器视觉及ar技术的导购方法，快速为用户提供导购信息，满足用户的购物需求。
6.本发明的目的之一采用如下技术方案实现：
7.一种基于机器视觉及ar技术的导购方法，包括以下步骤：
8.步骤s1、获取样品信息，所述样品信息包括产品或店铺的数据；通过ar装置拍摄所述样品，得到第一图像，通过机器视觉装置拍摄所述样品，得到第二图像；
9.步骤s2、根据所述第一图像与所述第二图像、样品信息建立导购模型；
10.步骤s3、在接收到目标物品的导购请求后通过所述导购模型确定目标物品并输出目标物品的导购信息。
11.进一步地，步骤s2、根据所述第一图像与所述第二图像、样品信息建立导购模型，包括以下步骤：
12.步骤s21、以所述第一图像、第二图像、样品信息及预先收集的导购请求作为输入样本，以目标物品的匹配度及导购信息作为输出，训练所述导购训练模型；所述第一图像包括样品的使用场景、实物模型图，第二图像包括样品的实物图。
13.进一步地，所述步骤s3中，在接收到导购请求时通过所述导购训练模型输出导购信息，包括以下步骤：
14.步骤s31、接收所述导购请求，所述导购请求包括目标物品信息，所述目标物品信息包括名称、种类、功能、图像或位置信息的至少一项；
15.步骤s32、根据所述目标物品信息通过所述导购训练模型确定数据库内样品的匹配度，按照样品匹配度从高到底的顺序依次排列；
16.步骤s33、接收用户的选择指令，根据所述选择指令确定目标物品，输出所述目标物品的导购信息。
17.进一步地，还包括以下步骤：
18.步骤s4、通过第一图像及样品信息获取所述样品的种类、尺寸，确定使用场景及实物图的比例关系并构建三维模型，通过第二图像及样品信息获取所述样品的空间位置坐标，根据所述样品的空间位置坐标及三维模型进行坐标转换；
19.步骤s5、通过ar装置拍摄用户图像，确定用户图像与样品匹配的目标位置，将所述第一图像叠加至用户图像的目标位置。
20.进一步地，所述步骤s5还包括：
21.步骤s51、获取用户的交互指令，根据所述交互指令完成对应交互动作。
22.进一步地，所述目标物品的导购信息包括名称、形状、位置信息及实物图。
23.进一步地，所述交互指令包括放大指令、缩小指令、试用指令及地图导航指令。
24.本发明的目的之二采用如下技术方案实现：
25.一种导购设备，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上任一所述一种基于机器视觉及ar技术的导购方法。
26.本发明的目的之三采用如下技术方案实现：
27.一种存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如上任一所述一种基于机器视觉及ar技术的导购方法。
28.相比现有技术，本发明的有益效果在于：
29.本发明提供了一种基于机器视觉及ar技术的导购方法、导购设备、存储介质，通过ar装置与所述机器视觉装置拍摄样品的第一图像与第二图像，根据第一图像与第二图像、样品信息建立导购训练模型，在用户发出导购请求时通过所述导购训练模型输出目标物品的导购信息，从而为用户提供帮助，提高购物效率且提高用户的体验感。
附图说明
30.图1为本发明所提供实施例的流程示意图。
具体实施方式
31.下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
32.如图1所示，本发明提供了一种基于机器视觉与ar技术的导购方法，快速为用户提供导购信息，满足用户的购物需求。
33.具体的，本方法可应用于导购终端，如智能手机、平板或移动机器人等，本方法包括以下步骤：
34.步骤s1、获取样品信息，所述样品信息包括产品或店铺的数据；通过ar装置拍摄所述样品，得到第一图像，通过机器视觉装置拍摄所述样品，得到第二图像。一般的，商场内设置有种类众多的产品或者店铺，因此需要获取所述有产品或者店铺的样品信息，样品信息
包括产品或店铺的名称、功能、位置信息、参数、实物图等，以后续便于能够全方位、多角度地从导购信息中展现给用户。在本技术中，ar装置及机器视觉装置一般是指ar相机与高清相机。
35.步骤s2、根据所述第一图像与所述第二图像、样品信息建立导购训练模型。所述导购训练模型可以根据用户输入导购信息对数据库内的样品进行匹配，计算样品的匹配度，从而输出目标物品的导购信息。具体的，还包括以下步骤：
36.步骤s21、以所述第一图像、第二图像、样品信息及预先收集的导购请求作为输入样本，以目标物品的匹配度及导购信息作为输出，训练所述导购训练模型；所述第一图像包括样品的使用场景、实物模型图，第二图像包括样品的实物图。事先收集多个用户可能输入的导购请求，如样品的种类：上衣、化妆品或者玩具，或者样品的名称、样品的图形等。将导购请求与第一图像、第二图像及样品信息结合，训练所述导购模型。可以在线下事先训练。在实际使用中，用户无需等待模型的时间，只需将导购请求输入，可以直接通过导购模型输出目标物品的匹配度及其导购信息。
37.步骤s3、在接收到目标物品的导购请求后通过所述导购训练模型确定目标物品并输出目标物品的导购信息。由于商场内相似的样品较多，难以保证导购模型输出的导购信息为用户所需要的。因此，在本技术中还设置有以下步骤：
38.步骤s31、接收所述导购请求，所述导购请求包括目标物品信息，所述目标物品信息包括名称、种类、功能、图像或位置信息的至少一项；
39.步骤s32、根据所述目标物品信息通过所述导购训练模型确定数据库内样品的匹配度，按照样品匹配度从高到底的顺序依次排列；
40.步骤s33、接收用户的选择指令，根据所述选择指令确定目标物品，输出所述目标物品的导购信息。当所述导购模型接收到用户输入的导购请求时，分析该导购请求，根据导购请求在数据库中进行匹配并通过导购模型计算其匹配度。根据匹配度高低展现于屏幕上，以供用户选择。用户输入的导购请求信息越多，模型输出的目标物品匹配则越精确。用户在屏幕上做出选择动作，以发出选择指令，确定目标物品。在确定用户的目标物品后，则显示目标物品的导购信息屏幕上。所述目标物品的导购信息包括名称、形状、位置信息及实物图，用户可以通过导购信息快速找到自己所需要的店铺或者产品。
41.在用户得到导购信息后，需要进一步了解该目标物品的使用场景，或者需要直接试用该目标物品。因此还设置有以下步骤：
42.步骤s4、通过第一图像及样品信息获取所述目标物品的种类、尺寸，确定使用场景及实物图的比例关系并构建三维模型，通过第二图像及样品信息获取所述目标物品的空间位置坐标，根据所述目标物品的空间位置坐标及三维模型进行坐标转换；
43.步骤s5、通过ar装置拍摄用户图像，确定用户图像与目标物品匹配的目标位置，将所述第一图像叠加至用户图像的目标位置。
44.步骤s51、获取用户的交互指令，根据所述交互指令完成对应交互动作。将第一图像与第二图像的坐标系进行整合，调整所述目标物品的比例大小，以便于能够快速匹配到用户图像上，使得用户了解到该目标物品试用的效果。同时用户还可以直接发出交互指令，进一步查看目标物品的形状、大小或者店铺位置。所述交互指令包括放大指令、缩小指令、试用指令及地图导航指令。
45.本发明提供了一种基于机器视觉及ar技术的导购方法通过ar装置与所述机器视觉装置拍摄样品的第一图像与第二图像，根据第一图像与第二图像、样品信息建立导购训练模型，在用户发出导购请求时通过所述导购训练模型输出目标物品的导购信息，从而为用户提供帮助，提高购物效率且提高用户的体验感。
46.本发明还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前述一种基于机器视觉及ar技术的导购方法的步骤。
47.本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
48.基于相同的发明思想，还提供了一种导购设备，包括存储器、处理器以及存储在存储器中的程序，所述程序被配置成由处理器执行，处理器执行所述程序时实现上述一种基于机器视觉及ar技术的导购方法。
49.本实施例中的设备与前述实施例中的方法是基于同一发明构思下的两个方面，在前面已经对方法实施过程作了详细的描述，所以本领域技术人员可根据前述描述清楚地了解本实施中的系统的结构及实施过程，为了说明书的简洁，在此就不再赘述。
50.上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。