本发明涉及智能控制领域，尤其是一种多维视觉导购系统和方法。
背景技术：
在日新月异的信息化时代，为了满足人们快节奏上的生活需求，大、中型超市或商场等不仅要在自身经营管理、物流管理、价格控制、库存控制等方面做出努力，提高自身市场竞争力，还要从消费者的角度出发，以最高效率满足消费者的购买欲望。为此，商场内一般会有导购员为顾客提供商品讲解和物件咨询，但是，这种方式增加了导购人员的管理成本，而且在客户量特别大的情况下，导购员不能够为每一个客户进行充分的讲解，影响了服务质量和用户体验。此外，这种方式较为单一，只能通过导购人员口头讲解的方式来使客户了解商品，未能将讲解与商品的虚拟模型展示等结合起来为客户提供更加直观、维度更丰富和交互性更强的用户体验，对客户的吸引力不足。
技术实现要素：
为解决上述技术问题，本发明的目的在于：提供一种成本低、全天候和用户体验好的多维视觉导购系统和方法。
本发明所采取的第一技术方案是：
一种多维视觉导购系统，包括：
输入模块，用于获取用户的至少一个输入信号，所述输入信号包括图像信号、触摸信号、手势信号、语音信号和脑波信号；
智能导购模块，用于根据所述至少一个输入信号进行智能导购，所述智能导购包括用户的眼球跟踪、用户的语音识别、ai智能语音宣讲和物品的虚拟模型显示控制；
空气展示屏，用于通过空气成像的方式显示物品的虚拟模型。
进一步，还包括展示柜，所述空气展示屏设置在展示柜的一个组成平面上。
进一步，所述展示柜内设有用于放置物品或物品的真实模型的展台。
进一步，所述展示柜上还设有氛围灯和状态指示灯，所述氛围灯的输入端和状态指示灯的输入端均与智能导购模块的输出端连接。
进一步，所述展示柜内还设有电源模块和喇叭，所述电源模块的输出端与智能导购模块的输入端连接，所述智能导购模块的输出端与喇叭的输入端连接。
进一步，所述智能导购模块包括：
手势识别单元，用于根据获取的手势信号识别用户的手势；
语音对讲单元，用于根据获取的语音信号识别用户的语音指令；
图像识别单元，用于根据获取的图像信号进行眼部跟踪和面部表情识别；
脑波信号识别单元，用于根据获取的脑波信号识别用户的脑波；
触摸信号识别单元，用于根据获取的触摸信号识别用户的触摸指令；
分析单元，用于根据用户的手势、用户的语音指令、眼部跟踪和面部表情识别的结果、用户的脑波和用户的触摸指令中的至少一种进行导购智能分析；
ai单元，用于根据导购智能分析的结果对物品的虚拟模型进行ai智能控制和物品的ai智能语音宣讲，其中，ai智能控制包括物品的虚拟模型的缩放控制、视角切换控制和颜色变换控制。
进一步，所述智能导购模块还包括：
选择单元，用于用户选择物品的颜色、类型、大小、尺寸和品牌中的至少一个；
二维码支付单元，用于在用户选择好要购买的物品后通过扫描二维码进行支付；
存储单元，用于存储用户的手势、用户的语音指令、眼部跟踪和面部表情识别的结果、用户的脑波、用户的触摸指令、导购智能分析的结果和ai智能语音宣讲内容。
进一步，所述智能导购模块还连接有后台服务器，所述后台服务器用于与智能导购模块远程通信，远程存储ai智能语音宣讲内容和物品的虚拟模型，通过智能导购模块远程控制空气展示屏的显示内容以及根据智能导购模块的数据进行大数据分析。
进一步，所述输入模块包括摄像头、触摸屏、体感装置、语音采集模块和脑波采集设备中的至少一种。
本发明所采取的第二技术方案是：
一种多维视觉导购方法，包括以下步骤：
获取用户的至少一个输入信号，所述输入信号包括图像信号、触摸信号、手势信号、语音信号和脑波信号；
根据所述至少一个输入信号进行智能导购，所述智能导购包括用户的眼球跟踪、用户的语音识别、ai智能语音宣讲和物品的虚拟模型显示控制；
根据智能导购的结果在空气展示屏上通过空气成像的方式显示物品的虚拟模型。
本发明的有益效果是：本发明一种多维视觉导购系统和方法，根据用户的图像信号、触摸信号、手势信号、语音信号和脑波信中的至少一种进行智能导购，智能导购包括用户的语音识别和ai智能语音宣讲，通过用户的语音识别和ai智能语音宣讲无需导购人员就能根据用户的需要为用户提供24小时全天候的商品讲解和物件咨询服务，减少了导购人员的管理成本且不受客户量大小的限制，服务质量高和用户体验好；智能导购包括用户的眼球跟踪、用户的语音识别、ai智能语音宣讲和物品的虚拟模型显示控制，通过智能导购识别用户关注的焦点和用户的语音指令，能为用户进行相应的ai智能语音宣讲并在ai语音讲解的同时根据用户的图像信号、触摸信号、手势信号、语音信号或脑波信号在空气展示屏上利用空气成像技术为用户动态展示相应物品360度无死角的虚拟模型，更加直观、维度更丰富和交互性更强，极大地增加了对客户的吸引力。
附图说明
图1为本发明一种多维视觉导购系统的整体结构框图；
图2为本发明一种多维视觉导购方法的步骤流程图；
图3为本发明智能导购模块的内部模块框图；
图4为本发明多维视觉导购系统的一种具体实施例结构示意图；
图5为本发明多维视觉导购方法的一种具体实施例流程图。
具体实施方式
参考图1，本发明一种多维视觉导购系统，包括：
输入模块，用于获取用户的至少一个输入信号，所述输入信号包括图像信号、触摸信号、手势信号、语音信号和脑波信号；
智能导购模块，用于根据所述至少一个输入信号进行智能导购，所述智能导购包括用户的眼球跟踪、用户的语音识别、ai智能语音宣讲和物品的虚拟模型显示控制；
空气展示屏，用于通过空气成像的方式显示物品的虚拟模型。
进一步作为优选的实施方式，还包括展示柜，所述空气展示屏设置在展示柜的一个组成平面上。
进一步作为优选的实施方式，所述展示柜内设有用于放置物品或物品的真实模型的展台。
进一步作为优选的实施方式，所述展示柜上还设有氛围灯和状态指示灯，所述氛围灯的输入端和状态指示灯的输入端均与智能导购模块的输出端连接。
进一步作为优选的实施方式，所述展示柜内还设有电源模块和喇叭，所述电源模块的输出端与智能导购模块的输入端连接，所述智能导购模块的输出端与喇叭的输入端连接。
进一步作为优选的实施方式，所述智能导购模块包括：
手势识别单元，用于根据获取的手势信号识别用户的手势；
语音对讲单元，用于根据获取的语音信号识别用户的语音指令；
图像识别单元，用于根据获取的图像信号进行眼部跟踪和面部表情识别；
脑波信号识别单元，用于根据获取的脑波信号识别用户的脑波；
触摸信号识别单元，用于根据获取的触摸信号识别用户的触摸指令；
分析单元，用于根据用户的手势、用户的语音指令、眼部跟踪和面部表情识别的结果、用户的脑波和用户的触摸指令中的至少一种进行导购智能分析；
ai单元，用于根据导购智能分析的结果对物品的虚拟模型进行ai智能控制和物品的ai智能语音宣讲，其中，ai智能控制包括物品的虚拟模型的缩放控制、视角切换控制和颜色变换控制。
进一步作为优选的实施方式，所述智能导购模块还包括：
选择单元，用于用户选择物品的颜色、类型、大小、尺寸和品牌中的至少一个；
二维码支付单元，用于在用户选择好要购买的物品后通过扫描二维码进行支付；
存储单元，用于存储用户的手势、用户的语音指令、眼部跟踪和面部表情识别的结果、用户的脑波、用户的触摸指令、导购智能分析的结果和ai智能语音宣讲内容。
参考图1，进一步作为优选的实施方式，所述智能导购模块还连接有后台服务器，所述后台服务器用于与智能导购模块远程通信，远程存储ai智能语音宣讲内容和物品的虚拟模型，通过智能导购模块远程控制空气展示屏的显示内容以及根据智能导购模块的数据进行大数据分析。
进一步作为优选的实施方式，所述输入模块包括摄像头、触摸屏、体感装置、语音采集模块和脑波采集设备中的至少一种。
参考图2，本发明一种多维视觉导购方法，包括以下步骤：
获取用户的至少一个输入信号，所述输入信号包括图像信号、触摸信号、手势信号、语音信号和脑波信号；
根据所述至少一个输入信号进行智能导购，所述智能导购包括用户的眼球跟踪、用户的语音识别、ai智能语音宣讲和物品的虚拟模型显示控制；
根据智能导购的结果在空气展示屏上通过空气成像的方式显示物品的虚拟模型。
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。
参考图1，本实施例提供了一种多维视觉导购系统，该系统主要包括输入模块、智能导购模块、电源模块、后台服务器以及设置在展示柜一个侧面上的空气展示屏。
其中，所述展示柜由若干个平面和/或曲面组成，在一些实施例中，所述展示柜可以是长方体，由六个平面组成。在另一些实施例中，所述展示柜可以是长方体的变体，例如在长方体中，有一个面由曲面构成。或者，展示柜可以是其他多面体的形状。在一些实施例中，所述展示柜的多个面围成的空间可以是一个密闭空间，也可以是一个开放空间，如可以是一个顶部开放的长方体。展示柜内设有用于放置物品或物品的真实模型的展台。
空气展示屏设置在展示柜的一个组成平面上，空气展示屏可以是透明液晶触摸屏等。所述空气展示屏可以是平面屏或者是曲面屏。所述空气展示屏，用于显示至少一个物品的虚拟模型，所述虚拟模型，为待售商品(如汽车等)的虚拟二维或三维模型，即在计算机中通过图像处理软件生成的模型。在一些实施例中，所述空气展示屏还能用于显示二维图像或者文字。在一些实施例中，展示柜有多个面是空气展示屏，可以在不同的方向显示该物品的虚拟模型。在另一些实施例中，部分空气展示屏可以显示除了虚拟模型以外的信息，如二维图像、文字介绍、产品logo等等。优选地，所述空气展示屏有两种工作模式：一种是待机工作模式，此时空气展示屏可以显示动态广告或游戏视频等待机画面；另一种是导购模式，此时空气展示屏可为用户提供智能导购服务。此外，空气展示屏还可在显示界面上提供相应的软件按钮供用户进行选择，如工作模式/待机模式切换按钮、二维码支付按钮、颜色切换按钮、视角切换按钮等。
输入模块，用于获取用户的至少一个输入信号，以便于与用户进行交互。如图1所示，本实施例的输入模块可包括摄像头、触摸屏、体感装置、语音采集模块和脑波采集设备。
摄像头，用于捕捉用户(主要是需要购买商品的潜在客户)的图像。优选地，所述摄像头可采用能同时采集二维人脸图像信息和深度信息的rgb-d的摄像头，以获取更加精确的用户图像。
体感装置，用于捕捉用户的手势信号(如抓取某件商品进行视角切换的信号等)。优选地，所述体感装置可以是kinect体感传感器。
语音采集模块，用于采集用户的语音信号。以汽车导购为例，用户的语音信号可以是“打开车门”、“打开车内空调”、“将车身颜色换成黑色”等用户的语音指令信号。优选地，语音采集模块可以是拾音器、麦克风等语音采集设备。
脑波采集设备，用于采集用户的脑波信号，以便于识别用户的意念或想法。脑波采集设备可采用tgam模块或其他脑波传感器来实现。
触摸屏，用于用户通过触摸的方式输入触摸指令。优选地，触摸屏可以贴在空气展示屏上或与空气展示屏合二为一。
智能导购模块，用于接收用户的图像信号、手势信号、语音信号、触摸信号和脑波信号，并根据用户的图像信号、手势信号、语音信号、触摸信号和脑波信号中的至少一种进行智能导购，所述智能导购包括用户的眼球跟踪、用户的面部表情识别、用户的语音指令识别、用户的脑波、触摸指令识别、ai智能语音宣讲和物品的虚拟模型显示控制。智能导购模块是整个系统的核心，能为用户提供多维度、多视角和交互性强的智能导购服务。其中，用户的眼球跟踪主要是识别用户关注的焦点所在(在看到关注的部分时，用户的眼球会与未看到关注部分的情况不同，如眼球停留的时间不同)，以便于空气展示屏直接将物品的虚拟模型切换至用户关注的焦点(如识别到用户关注汽车的车身，则直接切换至车身的虚拟模型)；用户的面部表情识别，主要是识别用户当前的心情(如开心、不开心等)，这二者的识别都基于摄像头采集的图像。用户的语音指令识别，主要是为了识别用户的语音信号中所包含的语音指令，以便于对空气展示屏所显示的虚拟模型进行相应的操作，如颜色切换等。触摸信号识别，用于识别用户的触摸指令，以便于对空气展示屏所显示的虚拟模型进行相应的操作，如颜色切换等。脑波识别，主要是识别用户的意念或想法，以便于对空气展示屏所显示的虚拟模型进行相应的操作，如颜色切换等。ai智能语音宣讲，是指由机器学习训练得到的ai模型充当现有导购人员的角色，根据用户的指令或用户的需求提供相应物品的详细介绍和讲解。只要训练的精度高和维度足够丰富，该ai模型可以24小时全天候地为客户提供相应的宣讲服务，类似于聊天机器人但更智能，大大减少了导购人员的数量。物品的虚拟模型显示控制，主要包括物品的虚拟模型的缩放控制、视角切换控制、颜色变换控制等。在一些实施例中，所述物品的虚拟模型的数据可存储在智能导购模块中。在另一些实施例中，所述物品的虚拟模型的数据可以实时或者非实时地通过互联网、wifi或usb接口等方式下载到智能导购模块中。
所述智能导购模块分别与输入模块和空气展示屏之间可以通过有线或者无线的方式传输数据，包括但不限于hdmi、vga、usb、wifi、蓝牙和红外信号等连接方式。所述智能导购模块内设有驱动空气展示屏的显示驱动模块，并由电源模块进行供电。所述智能导购模块可以是软件、硬件、固件及其组合。例如，智能导购模块可以是但不限于智能电话、平板电脑、笔记本电脑、智能手表、计算机、工控机等。
如图3所示，智能导购模块内的具体组成单元主要包括手势识别单元、语音对讲单元、图像识别单元、脑波信号识别单元、触摸信号识别单元、分析单元和ai单元。其中，手势识别单元，用于根据获取的手势信号识别用户的手势；语音对讲单元，用于根据获取的语音信号识别用户的语音指令；图像识别单元，用于根据获取的图像信号进行眼部跟踪和面部表情识别；脑波信号识别单元，用于根据获取的脑波信号识别用户的脑波；触摸信号识别单元，用于根据获取的触摸信号识别用户的触摸指令。分析单元，用于根据用户的手势、用户的语音指令、眼部跟踪和面部表情识别的结果、用户的脑波和用户的触摸指令中的至少一种进行导购智能分析。分析单元进行导购智能分析的内容包括用户的眼球动作、面部表情、语音指令、触摸指令、体感手势所代表的含义(如代表需切换颜色的手势等)、意念或想法、需要进行ai语音讲解的内容。ai单元，用于根据导购智能分析的结果对物品的虚拟模型进行ai智能控制和物品的ai智能语音宣讲。其中，物品的ai智能语音宣讲是基于预先存储在智能导购模块本地或从互联网获取的物品详细内容(如历史、销量、性能、特点和售后服务等)进行的，用户可以通过触摸、手势、语音等方式选择或获取自己所需要了解的内容。而ai智能控制包括物品的虚拟模型的缩放控制、视角切换控制和颜色变换控制等。例如，ai智能控制能根据用户的手势或者语音等输入信号来放大或者缩小虚拟模型。
在一些实施例中，智能导购模块还可以包括选择单元，以供用户选择物品的颜色、类型、大小、尺寸和品牌中的至少一个来实现个性化的导购服务。
在一些实施例中，智能导购模块还可以包括二维码支付单元，当用户选好要购买的商品后，该二维码支付单元能在空气展示屏上生成或呈现用于付款并链接到第三方支付平台(如微信支付平台)的二维码，以供用户进行灵活和方便的付款操作。
在一些实施例中，智能导购模块还可以包括存储单元，所述存储单元存储用户的手势、用户的语音指令、眼部跟踪和面部表情识别的结果、用户的脑波、用户的触摸指令、导购智能分析的结果和ai智能语音宣讲内容。
在一些实施例中，智能导购模块还可连接有后台服务器，所述后台服务器用于与智能导购模块远程通信，远程存储ai智能语音宣讲内容和物品的虚拟模型，通过智能导购模块远程控制空气展示屏的显示内容以及根据智能导购模块的数据进行大数据分析(如用户的行为分析、心情分析等)。
本领域技术人员应当清楚的是，该多维视觉导购系统还可以包含用于固定所述展示柜的支撑结构。其中，支撑结构可以是柜体、支架或者吊架等等。在本发明中支撑结构不限于具体的形状或者结构，所述空气展示屏可以朝上安装或者安装在容易展示的一侧。
参照图4，本实施例示出了一种多维视觉导购系统的具体结构，该系统包括展示柜100、空气展示屏200、智能导购模块(包括分析单元301、显示驱动模块302和电源模块303，)、支撑结构400(本实施例中支撑结构是柜体)、喇叭500、状态指示灯和氛围灯600。其中，智能导购模块和喇叭500均安装在支撑结构400内部，展示柜100嵌入在支撑结构400中。所述空气展示屏200构成展示柜100的其中一个面。而状态指示灯和氛围灯600均安装在支撑结构400的上部边缘，所述状态指示灯用于指示空气展示屏的状态(如待机或工作状态)。所述氛围灯400可以有多个，主要作用是提升多维视觉导购系统的灯光效果。如图4所示，可以看到展示柜100的多个面构成一个展示空间，供商家或店主等放置商品或者商品的实物模型700。本实施例的模块框图如图1所示，其中，用户通过空气展示屏操作，智能导购模块根据空气展示屏的输入信号控制空气展示屏200、喇叭500、状态指示灯和氛围灯600。在应用中，商家或店主等可以根据需要，设置状态指示灯或氛围灯600的颜色，例如设置为红色、蓝色、绿色或者多种颜色轮流变换等等。商家或店主等也可以设置喇叭播放的声音，例如设置音乐、语音提示、ai智能语音宣讲内容或者用户交互式的反馈声等等。
参照图5，本实施例提供了一种多维视觉导购方法。在本实施例中，以图1中的一种多维视觉导购系统为例对本实施例进行说明。所述多维视觉导购系统包括输入模块、智能导购模块、电源模块以及设置在展示柜一个侧面上的空气展示屏。其中，展示柜由若干个平面和/或曲面组成，所述若干个平面和/或曲面围成一个用于展示实物商品或者模型的空间，所述空气展示屏设置在展示柜的至少一个侧面上。所述空气展示屏用于显示至少一个物品的虚拟模型。输入模块包括摄像头、触摸屏、体感装置、语音采集模块和脑波采集设备。摄像头，用于捕捉用户(主要是需要购买商品的潜在客户)的图像。体感装置，用于捕捉用户的手势信号(如抓取某件商品进行视角切换的信号等)。语音采集模块，用于采集用户的语音信号。脑波采集设备，用于采集用户的脑波信号，以便于识别用户的意念或想法。触摸屏，用于用户通过触摸的方式输入触摸指令。智能导购模块，用于根据用户的图像信号、手势信号、语音信号、触摸信号和脑波信号中的至少一种进行智能导购，所述智能导购包括用户的眼球跟踪、用户的面部表情识别、用户的语音指令识别、用户的脑波、触摸指令识别、ai智能语音宣讲和物品的虚拟模型显示控制。
如图5所示，本实施例的方法包括以下步骤：
s1、用户通过触摸空气展示屏的工作模式/待机模式切换按钮选择进入相应的模式：若选择进入工作模式，则执行步骤s2；若选择进入待机模式，则在空气展示屏显示待机画面。其中，待机画面可以显示广告、游戏或其他内容。
s2、空气展示屏显示物品的至少一个二维或三维虚拟模型。例如在展示柜中展示汽车的实物模型时，可以在空气展示屏上显示该汽车的三维虚拟模型(此处的三维虚拟模型是指通过图像软件生成的三维虚拟模型)。
s3、智能导购模块通过输入模块采集用户的图像信号、触摸信号、手势信号、语音信号和脑波信号中的至少一种信号。
s4、智能导购模块根据采集的至少一种信号和物品的虚拟模型进行智能导购。
所述步骤s4可进一步细分为以下步骤：
s41、根据用户的图像信号进行用户的眼球跟踪和用户的面部表情识别，以分析用户的关注焦点和心情。分析出的用户关注焦点可使得空气展示屏直接将物品的虚拟模型切换至用户关注的焦点(如识别到用户关注汽车的车身，则直接切换至车身的虚拟模型)；而分析出的用户心情可以存储到本地或通过互联网上传给后台服务器等，以作为后续对用户的行为进行分析的数据基础。
s42、根据用户的语音信号识别用户的语音指令，并根据用户的语音指令对物品的虚拟模型进行控制操作。以汽车导购为例，可根据“打开车内空调”语音指令打开车内的空调，根据“将车身颜色变为黑色”语音指令将车身颜色变为黑色等。
s43、根据用户的手势信号对物品的虚拟模型进行控制操作。以汽车导购为例，可根据用户的手势信号对汽车的虚拟模型进行缩放(不受实物的限制，可无限缩放)、视角切换和车身颜色更改等。
s44、根据用户的触摸信号对物品的虚拟模型进行控制操作。以汽车导购为例，可根据用户触摸空气展示屏上相应的按钮对汽车的虚拟模型进行缩放(不受实物的限制，可无限缩放)、视角切换和车身颜色更改等。
s45、根据用户的脑波信号对物品的虚拟模型进行控制操作。以汽车导购为例，可根据用户脑波信号所代表的想法或意念对汽车的虚拟模型进行缩放(不受实物的限制，可无限缩放)、视角切换和车身颜色更改等。
s46、根据用户的图像信号、触摸信号、手势信号、语音信号和脑波信号中的至少一种为用户提供ai智能语音宣讲服务。以汽车导购为例，可根据客户的需要通过ai模型为客户详细讲解国内某款知名汽车的性能、价格、销量和历史等详细内容，以取代导购人员充当24小时全天候导购ai的角色。
对于上述实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序可根据本领域技术人员的理解来进行适应性调整。
本领域技术人员可以应当了解的是，本发明可以应用来进行汽车、食品、背包、手表、手机等商品的智能导购和展示。
综上所述，本发明相对于现有技术具有以下优点：
1)通过用户的语音识别和ai智能语音宣讲无需导购人员就能根据用户的需要为用户提供24小时全天候的商品讲解和物件咨询服务，减少了导购人员的管理成本且不受客户量大小的限制，服务质量高和用户体验好。
2)通过智能导购分析用户关注的焦点，能自动为用户切换至用户关注的焦点所在，更加智能和方便；通过智能导购分析用户的心情，为后续对用户的行为进行分析提供了数据来源。
3)根据用户的图像信号、触摸信号、手势信号、语音信号或脑波信号在空气展示屏上利用空气成像技术为用户动态展示相应物品360度无死角的虚拟模型，更加直观、维度更丰富和交互性更强，极大地增加了对客户的吸引力。
4)增设了后台服务器，能对空气展示屏的显示内容进行远程控制并对导购模块的数据进行进一步分析，无需在现场即可对空气展示屏进行管理和控制，更加方便。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。