一种混合现实购物环境可视交流系统的制作方法

本实用新型属于社交领域，具体涉及一种混合现实超市购物环境可视交流系统。

背景技术：

消费购物行为广泛存在于居民的日常生活、工作中，在紧张的工作之余，人们通过花时间逛商场，浏览商品，购买需要的商品来满足入场需求，同时消费购物也是一种很好的放松身心，缓解压力的方式。

对于城市白领来说，逛商场购物需要花费时间、经历，最好还有比较好的天气，这些限制条件使得逛商场购物也并不是一件想到就能马上进行的活动。此外，当遇到一些突发情况，如得病在家不能外出，或传染病流行期间，人们难以方便的外出逛街。

此外，逛街购物消费也是一种很普遍的社交活动，约上三五好友一起购物能够很好的增进友谊。当遇到一些特殊时期，或朋友之间不方便聚集时，朋友之间相约的购物逛街行为只能取消。若能通过科技手段，人们在家中的一些行为与购物结合一起，实现共同虚拟购物交流的场景，则可以避免以上的遗憾；或者通过科技手段，在逛超市的过程中能够看到虚拟伙伴在身边，能够进行互动交流，也能很好的增加感情。本申请在此方向上进行了研究。

中国专利cn202010092067.8，该申请公开了一种混合现实购物装备，至少包括一vr/ar眼镜和运动健身机，所述vr/ar眼镜，至少用于显示一超市空间范围内的3d内景；在所述vr/ar眼镜的视场中，所述运动健身机的前端被覆盖显示为3d虚拟超市购物车，当所述运动健身机感应到运动，所述3d内景则相应地进行位移显示。本申请中的混合现实购物装备使用时，购物者带上vr眼镜或ar眼镜，然后运动健身机上进行健身操作，vr眼镜或ar眼镜的视场中显示超市中的（虚拟）场景，随着购物者在运动健身机上走动，（虚拟）场景也随着前景，在健身的同时，实现虚拟逛超市。此外本申请还涉及一种购物可视系统和使用方法，扩展了购物行为的发生场景。

但是其中也存在了一个问题，在超市中的（虚拟）场景中，怎么与其他消费者进行交流，如何实时面对面交流商品的使用心得或者经验方法，这个是纯电子商务无法给到的。

技术实现要素：

针对以上现有技术中的不足，本实用新型提供了一种混合现实购物环境可视交流系统，使人们在家中通过设备就能够进入虚拟商场中，进行逛商场和购物的操作，同时可以实现线上/线下与他人进行互动，达到可视化交流的目的。

为了解决上述技术问题，本实用新型通过下述技术方案得以解决。

本申请中的一种混合现实购物环境可视交流系统，至少包括二个mr眼镜，在超市空间范围，通过所述mr眼镜，至少用于显示所述超市空间范围内的虚拟购物者；在非所述超市空间范围，通过所述mr眼镜，至少用于显示所述超市空间范围内的3d内景和真实购物者；并且，非所述超市空间范围内的所述mr眼镜上设有用于感知运动的运动感应机构，所述运动感应机构为动作感知摄像头，或者非所述超市空间范围内的所述mr眼镜与动作感应器连接，所述动作感应器设于运动健身机上，所述动作感应器可感知运动健身机上的动作组件的运动。

本申请中的混合现实购物环境可视交流系统，在使用时，使用者带上mr眼镜（混合现实眼镜，具体为ar/vr眼镜），mr眼镜的视场中显示超市中的3d内景，随着使用者的走动，虚拟场景也随着前景。当使用者在超市空间内时，mr眼镜中除了显示真实的超市场景和真实购物者之外，还显示通过系统进入到超市中进行虚拟购物的虚拟购物者。当使用者不在超市中时（作为虚拟购物者），其mr眼镜的视场中显示超市空间范围内的3d内景，同时还显示其他人（真实购物者或其他虚拟购物者），如：购物者带着mr眼镜在运动健身机上走动或进行其他运动操作，购物者的运动被动作感知摄像头拍摄到，并转换为虚拟场景中的前进、后退、转弯等操作，实现虚拟超市场景的变换。或者，运动健身机上可以设有动作感应器，动作感应器可感知动作组件的运动，如：跑步机/走路机上，动作感应器可以感知滚轴的转动变化，或者感知设备上滚动带的移动，来获得运动状态，并转换为虚拟场景中的前进、后退、转弯等操作，实现虚拟超市场景的变换，在健身的同时，实现虚拟逛超市。

一种优选的实施方式中，还包括至少一个运动健身机，且：在非所述超市空间范围，在所述mr眼镜的视场中，所述运动健身机的前端被覆盖显示为3d虚拟超市购物车，当所述运动健身机感应到运动，所述3d内景则相应地进行位移显示。

一种优选的实施方式中，在所述3d内景中，至少设有一个3d货架；在所述3d货架上，至少设有一个3d商品，使虚拟超市的场景尽可能丰富。

一种优选的实施方式中，所述mr眼镜设有信息输入装置，所述信息输入装置包括麦克风、控制手柄、手势识别器、动作捕捉器、数字手套、智慧戒指、肌电感应器、头瞄器、眼动跟踪器、鼠标、轨迹球、键盘、空间定位器中的至少一种，用于与虚拟场景实现交互操作；所述mr眼镜设有信息输出装置至少为扬声器。所述空间定位器至少包括陀螺仪、地磁仪、高度计、速度计、加速度计或者角速度计。

一种优选的实施方式中，当所述智慧手柄、头瞄器或眼动跟踪器识别到鼠标点中所述3d货架/3d商品时，或者，当所述手势识别器识别到手指指向的所述3d货架/3d商品时，在所述3d货架/3d商品周边进一步显示虚拟电子标签，在所述虚拟电子标签内，至少显示一与该所述3d货架/3d商品相关的信息。

一种优选的实施方式中，所述3d货架相关的信息至少包括该货架的空间位置信息、该货架上存放商品的内容信息；所述3d商品相关的信息至少包括该商品的外包装印刷的文字信息、图片信息。

一种优选的实施方式中，在所述mr眼镜的视场中，显示虚拟导购员和/或虚拟商品介绍员。具体的，所述虚拟导购员，用于指示具体商品存放的货架的空间位置；所述虚拟商品介绍员，用于通过视频、音频、动画、文字或图片方式介绍具体所述商品的商品名、功效、产地、生产时间、上架时间、保质期限、使用/食用方法、适合人群或者适用年龄。

一种优选的实施方式中，在所述超市空间范围，通过所述mr眼镜，所述真实购物者与所述虚拟购物者、真实导购员、真实商品介绍员、虚拟导购员和/或虚拟商品介绍员进行语言和/或手势交流，如介绍商品特点、交流商品使用心得、推销商品、问询演示等等。

一种优选的实施方式中，在非所述超市空间范围，通过所述mr眼镜，所述虚拟购物者与所述真实购物者、真实导购员、真实商品介绍员、虚拟购物者、虚拟导购员和/或虚拟商品介绍员进行语言和/或手势交流，如介绍商品特点、交流商品使用心得、推销商品、问询等。

一种优选的实施方式中，所述虚拟购物者、虚拟导购员和/或虚拟商品介绍员根据设定显示其3d人体模型。在非所述超市空间范围的mr眼镜使用者登陆系统后选择自己的3d人体模型、服饰装配等；虚拟导购员和虚拟商品介绍员则根据程序设定显示对应的3d人体模型、服饰装配等；比如夏天显示短袖服饰，冬天显示长袖服饰，再比如不同性别消费类的商品设定不同性别的3d人体模型。

一种优选的实施方式中，所述运动健身机包括上肢运动器械和/或下肢运动器械。具体的，所述上肢运动器械包括轮椅机或者划船机；所述下肢运动器械包括跑步机、水中跑步机、万向跑步机、踏步机或者自行车机。

一种优选的实施方式中，所述超市空间范围中设置若干摄像头，所述摄像头包括固定摄像头和/或移动摄像头。摄像头用于拍摄超市中的实时场景，并更新至系统中。其中移动摄像头可安装于地面上、天花板上或移动式机器人上，移动摄像头可作为虚拟购物者的视觉影像获取装置，随着虚拟购物者在3d场景中的移动而移动。不在同一面上的至少三个摄像头可以捕捉现场三维超市场景和现场人员。而三维数据包括长宽高尺寸，也包括移动的位置、转动的角度等等。在现场还有若干带（全景）摄像头的机器人/无人机在超市空间中移动行走。所述超市空间范围中还设置若干空间定位测量器，所述空间定位测量器包括蓝牙定位器、rfid定位器、红外线定位测量器、结构光定位测量器或者uwb定位器。

一种优选的实施方式中，至少包括超市仿真模型库、货架模型库、商品模型库、商品信息数据库、超市地图数据库、虚拟人模、可视结算子系统或者登录者管理子系统。

一种优选的实施方式中，所述超市仿真模型库和超市地图数据库，根据实地超市环境建立。所述商品模型库和商品信息数据库，根据超市库存实物信息建立。所述虚拟人模库，根据使用所述mr眼镜的不同用户对应的3d数字人体模型和/或服饰外观而建立。

一种优选的实施方式中，在超市空间范围，佩戴所述mr眼镜的所述真实购物者不显示其对应的所述3d数字人体模型和/或服饰外观。

一种优选的实施方式中，所述mr眼镜和/或运动健身机设有账户登陆装置，通过所述账户登陆装置验证用户信息后，进入所述登录者管理子系统；所述mr眼镜与运动健身机通过有线或无线方式进行连接；所述账户登陆装置包括人脸验证器、手掌静脉验证器、虹膜验证器、指纹验证器、声纹验证器、密码验证器或者秘密手势验证器。

一种优选的实施方式中，当所述实地超市环境中的货架发生变化时，超市空间范围内的3d虚拟内景相应地发生变化；和/或，当所述实地超市环境中的所述货架上的商品发生变化时，所述3d货架上的3d商品相应地发生变化；和/或，当所述超市库存实物信息真实购物者/虚拟购物者在所述实地超市环境中的位置发生变化时，所述虚拟购物者在所述mr眼镜视场中的显示位置信息将相应地发生变化。

以上为本申请中的混合现实购物环境可视交流系统，将现实购物场景与虚拟购物行为相结合，并且可以实现交流沟通，极大的扩展了购物行为的发生场景。

本申请中的一种混合现实购物环境可视交流方法，包括：通过mr眼镜登录混合现实购物环境可视交流系统；在超市空间范围的真实购物者与在非所述超市空间范围的虚拟购物者进行语言和/或肢体交流；或者，在非所述超市空间范围的虚拟购物者之间进行语言和/或肢体交流。

一种优选的实施方式中，通过所述mr眼镜的视场显示所述超市空间范围内的3d虚拟内景；和/或，导航显示所述3d商品所在3d货架；和/或，通过虚拟电子标签显示所述3d商品的相关信息。

一种优选的实施方式中，在非所述超市空间范围，在所述mr眼镜的视场中，所述运动健身机的前端被覆盖显示为3d虚拟超市购物车；当所述运动健身机感应到运动，所述3d内景则相应地进行位移显示。

一种优选的实施方式中，在所述mr眼镜的视场中，显示虚拟导购员和/或虚拟商品介绍员。所述虚拟导购员指示具体商品存放的货架的空间位置；所述虚拟商品介绍员通过视频、音频、动画、文字或图片方式介绍具体所述商品的商品名、功效、产地、生产时间、上架时间、保质期限、使用/食用方法、适合人群或者适用年龄。

一种优选的实施方式中，所述真实购物者/所述虚拟购物者与虚拟导购员和/或虚拟商品介绍员进行语言和/或手势交流。

一种优选的实施方式中，在所述mr眼镜的视场中，叠加显示小工具软件，所述小工具软件包括但不限于语言文字翻译器、商品价格计算器、货币汇率表、时钟、日历、天气、颜色标记或者所述超市空间范围的电子地图。

与现有技术相比，本实用新型及其实施例具有以下有益效果：提供了一种混合现实购物环境可视交流系统和该系统的使用方法，通过mr设备的使用和构建3d虚拟超市，使人们在家中就能够方便的进入虚拟商场中，进行逛商场和购物的操作，同时可以方便进行人与人之间的交流沟通。当遇到一些突发情况，如得病在家不能外出，或传染病流行期间，人们难以方便的外出逛街社交。电视购物或网络代购主播的新变革，现场网络融合式商品介绍和咨询交互，ai虚拟主持人和ai虚拟主播将进入商品营销的领域中，现场和非现场的消费者还可以直接进行交流。

附图说明

图1为本实用新型中的使用者在跑步机上使用mr设备的示意图。

图2为本实用新型中的在混合现实的超市环境中显示的虚拟购物者的示意图。

图3为本实用新型中的在混合现实购物环境可视交流系统的沉浸式混合现实超市环境的示意图。

图4为本实用新型中的佩戴mr眼镜的购物者拿着（虚拟）商品展示虚拟电子标签的示意图。

图5为本实用新型中的混合现实超市中的两位虚拟购物者交流的示意图。

图6为本实用新型中的混合现实超市中的两位佩戴mr眼镜的真实购物者交流的示意图。

图7为本实用新型中的混合超市中的虚拟购物者（没有显示佩戴mr眼镜）与真实购物者交流的示意图。

图8为本实用新型中的虚拟商品介绍员在进行商品讲解演示的示意图。

图9为本实用新型中的混合现实超市中的真实购物者在咨询真实商品介绍员的商品使用的示意图。

图10为本实用新型中的混合现实超市中的虚拟购物者在咨询虚拟商品介绍员的商品使用的示意图。

图11为本实用新型中的混合现实超市中的真实购物者在咨询虚拟商品介绍员的商品使用的示意图。

具体实施方式

下面结合附图与具体实施方式对本实用新型作进一步详细描述。

以下实施方式中，自始至终相同或类似的标号表示相同或类似的原件或具有相同或类似功能的原件，以下通过参考附图描述的实施方式是示例性的，仅用于解释本实用新型，而不能理解为对本实用新型的限制。

参照图1至图11，本实用新型中涉及的一种混合现实购物环境可视交流系统，至少包括二个mr眼镜，所述mr眼镜用于：在超市空间范围，通过一所述mr眼镜，至少用于显示所述超市空间范围内的虚拟购物者；在非所述超市空间范围，通过另一所述mr眼镜，至少用于显示所述超市空间范围内的3d内景和真实购物者；并且，非所述超市空间范围内的所述mr眼镜上设有用于感知运动的运动感应机构，所述运动感应机构为动作感知摄像头，或者非所述超市空间范围内的所述mr眼镜与动作感应器连接，所述动作感应器设于运动健身机上，所述动作感应器可感知运动健身机上的动作组件的运动。在所述3d内景中，至少设有一个3d货架；在所述3d货架上，至少设有一个3d商品，使虚拟超市的场景尽可能丰富，所述3d货架相关的信息至少包括该货架的空间位置信息、该货架上存放商品的内容信息；所述3d商品相关的信息至少包括该商品的外包装印刷的文字信息、图片信息。

此外，进一步的，可视交流系统还包括至少一个运动健身机，且：在非所述超市空间范围，在所述mr眼镜的视场中，所述运动健身机的前端被覆盖显示为3d虚拟超市购物车，当所述运动健身机感应到运动，所述3d内景则相应地进行位移显示。具体的，本申请中的运动健身机包括上肢运动器械和/或下肢运动器械。具体的，所述上肢运动器械包括轮椅机或者划船机；所述下肢运动器械包括跑步机、水中跑步机、万向跑步机、踏步机或者自行车机，可以实现腿部或手部的动作，这些动作可以被识别装置识别之后，映射成为虚拟场景中的操作，实现虚拟购物行为。

本申请中，在mr眼镜上设有信息输入装置，所述信息输入装置包括麦克风、控制手柄、手势识别器、动作捕捉器、数字手套、智慧戒指、肌电感应器、头瞄器、眼动跟踪器、鼠标、轨迹球、键盘中的至少一种，用于与虚拟场景实现交互操作。mr眼镜上还设有信息输出装置，除了虚拟显示系统以外，还设有扬声器，方便进行行为显示和语音扬声。

本申请中的系统中，还包括超市仿真模型库、货架模型库、商品模型库、商品信息数据库、超市地图数据库、虚拟人模、可视结算子系统或者登录者管理子系统。所述超市仿真模型库和超市地图数据库，根据实地超市环境建立。所述商品模型库和商品信息数据库，根据超市库存实物信息建立。所述虚拟人模库，根据使用所述mr眼镜的不同用户对应的3d数字人体模型和/或服饰外观而建立，可以与实体超市中的场景、布置、商品一一对应。

以下结合具体实施例详细说明。

实施例一

如图1所示，家中，使用者带上mr眼镜1，在跑步机2上走路或慢跑。使用者通过mr眼镜1、或者跑步机2上的账户登陆装置进行登陆，登陆混合现实购物环境可视交流系统方式可以为人脸验证器、手掌静脉验证器、虹膜验证器、指纹验证器、声纹验证器、密码验证器、秘密手势验证器中一种。登陆详细验证通过后，选择3d人体模型和/或服饰进入混合现实的购物系统；所述mr眼镜与运动健身机通过有线或无线方式进行连接。

如图2所示，登陆之后，mr眼镜的视场中显示为超市中的场景，跑步机2的前端被覆盖显示为3d（混合现实的）超市购物车，使用者手握着跑步机把手时与推着购物车的场景类似。如图3所示，使用者在跑步机上走动或慢跑，沉浸式的体验，犹如推着购物车穿梭在真实超市的场景。在混合现实购物环境可视交流系统的环境中，使用者可以看到其他虚拟购物者，也穿梭于混合现实超市购物环境中。双方可以相互可视，并进行语言和手势交流。如在图5中，虚拟购物者可以显示为不佩戴mr眼镜（后续为表示清楚，不佩戴mr眼镜者为3d人模）。如在图6中，佩戴mr眼镜的真实购物者在进行语言交流。

如图4所示，mr眼镜上的信息输入装置可以识别使用者的一些操作，如伸手、取货、放下、转向等。具体的，在当所述智慧手柄、头瞄器或眼动跟踪器识别到鼠标点中所述3d货架/3d商品时，或者，当所述手势识别器识别到手指指向的所述3d货架/3d商品时，在所述3d货架/3d商品周边进一步显示虚拟电子标签，在所述虚拟电子标签内，至少显示一与该所述3d货架/3d商品相关的信息。所述3d货架相关的信息至少包括该货架的空间位置信息、或该货架上存放商品的内容信息；所述3d商品相关的信息至少包括该商品的外包装印刷的文字信息和/或图片信息。

在逛虚拟超市的过程中，当所述实地超市环境中的货架发生变化时，则超市空间范围内的3d虚拟内景相应地发生变化；和/或，当所述实地超市环境中的所述货架上的商品发生变化时，则所述3d货架上的3d商品相应地发生变化；和/或，当超市库存实物信息发生变化时，则所述3d商品的虚拟电子标签显示信息将相应地发生变化。这可以通过设置在超市中的摄像头实时连接ai机器视觉，更新后台的商品eap系统数据，来实现混合现实购物环境可视交流系统中3d虚拟内景、3d货架和3d商品的显示变化。

使用者在逛虚拟超市的过程中，可以将选中的虚拟商品放入到虚拟购物车中，该过程通过手势识别器实现，用于识别与所述3d商品的交互手势，当所述3d商品被放置于所述3d虚拟超市购物车中，所述3d商品自动生成种类和数量的购物清单，或者虚拟推车经过结算通道进行结算。系统中的可视结算子系统根据购物清单的商品数量、种类、促销优惠或会员等级进行下单结算，形成的订单发生至实地超市的线上订单系统，进行商品价格结算。在线付款后可以完成购物操作，所购的商品之后可以配送至家中。

实施例二

家中，使用者带上mr眼镜1，在跑步机2上走路或慢跑，通过mr眼镜1登录系统，根据选择3d人体模型和/或服饰，推着虚拟购物车进行逛混合现实超市。超市中，使用者带上mr眼镜登录系统，推着真实购物车进行逛混合现实超市。在超市中遍布各种摄像头，有固定的，也有移动的，有全景功能的，也有3d测距功能的（tof摄像头或者结构光摄像头），这样现场超市的任何变化都会被各种摄像头捕捉到混合现实购物环境可视交流系统中，正因如此，如图7所示，非现场远程的购物者（图中不带mr眼镜的虚拟购物者）可以看到现场真实购物者（图中佩戴mr眼镜者），可以与之进行语言和手势交流；在现场的真实购物者也可以看到虚拟购物者（特定3d人体模型和服饰），也可以与之进行语言和手势交流；沉浸式的混合现实体验，借助混合现实技术和5g移动通讯技术，实现实时的交流互动。让人难辨虚实真假。

实施例三

在上述实施例的基础上。在逛混合现实超市的过程中，当虚/实购物者需要快速找到特定商品时，可以移动到现实超市中的真实导购员附近，告诉真实导购员所需要的商品后，佩戴mr眼镜的真实导购员可以将引导指示出商品存放的货架的空间位置，方便虚/实购物者前往。

此外，图9所示，在逛混合现实超市的过程中，虚/实购物者（佩戴mr眼镜）会经过现实超市中的真实商品介绍员（商品促销员，佩戴mr眼镜）附近，此时，佩戴mr眼镜的真实商品介绍员观察到虚/实购物者，可以通过语言和现场演示的方式介绍具体商品的商品名、功效、产地、生产时间、上架时间、保质期限、使用/食用方法、适合人群、适用年龄等等，虚/实购物者如果感兴趣的话，可以停留接受信息。当虚/实购物者看到心仪的商品时，还可以详细询问佩戴mr眼镜的真实商品介绍员。

实施例四

在逛混合现实超市的过程中，当虚/实购物者需要快速找到特定商品时，可以移动到混合现实超市中的虚拟导购员附近，告诉虚拟导购员所需要的商品后，虚拟导购员根据询问的触发，可以通过引导标识指示出商品存放的货架的空间位置，方便前往。

此外，在逛混合现实超市的过程中，虚/实购物者也会经过虚拟商品介绍员如图8所示附近，如图10所示，在混合现实购物环境可视交流系统中，虚拟购物者、虚拟导购员和虚拟商品介绍员可以显示为不佩戴mr眼镜者。此时，虚拟商品介绍员根据询问或者周边位置感应器（如tof摄像头）的触发，可以通过视频、音频、动画、文字、图片、演示中的至少一种方式介绍具体所述商品的商品名、功效、产地、生产时间、上架时间、保质期限、使用/食用方法、适合人群、适用年龄中的一种或多种，虚/实购物者如果感兴趣的话，可以停留接受信息。当虚/实购物者看到心仪的商品时，还可以点击该商品的虚拟电子标签中的按钮将该商品分享给好友；虚拟电子标签中的按钮至少包括放弃、放入购物车、购买、询问、接通联系人或开视频远程共享等。

如图11所示，在混合现实购物环境可视交流系统中，虚拟商品介绍员可以向佩戴mr眼镜的真实购物者进行商品演示。

选择需要的商品后，结算的过程与实施例一中相同。

实施例五

在上述实施例的基础上，混合现实购物环境可视交流系统中的混合超市环境的各种沟通交互，还有如下进一步展示：

如图5、6、7所示，在混合现实购物过程中，虚拟购物者的3d人体模型出现在系统内的场景中，并随着虚拟购物者在场景中的移动而移动。其他的虚拟购物者在3d场景中能够见到该虚拟购物者的虚拟3d人体模型，互相之间的虚拟形象可见，且能够进行交流沟通。即现场购物者与现场购物者沟通交流；线上购物者与线上购物者沟通交流；现场购物者与线上购物者沟通交流等多种混合现实的超市社交沟通，甚至于拿起3d商品进行相互可视地交流，都可不受限地实时发生。

如图9、10、11所示，虚拟导购员或虚拟商品介绍员也可由真实导购员或真实商品介绍员，佩戴mr眼镜登陆到混合现实购物环境可视交流系统中，他们在系统中显示为特定3d人模和服饰的虚拟导购员或虚拟商品介绍员。同样，ai虚拟导购员或ai虚拟商品介绍员可以与虚/实购物者进行沟通交流；真实导购员或真实商品介绍员可以与虚/实购物者进行沟通交流；由真实导购员或真实商品介绍员登陆进系统的虚拟导购员或虚拟商品介绍员，可以与虚/实购物者进行沟通交流；现场购物者与线上购物者与导购员或商品介绍员沟通交流等多种混合现实的超市社交沟通，甚至于拿起3d商品进行相互可视地交流，都可不受限地实时发生。

实施例六

此外，在非超市环境中进行购物的远程购物者，如果带上mr眼镜，登录所述混合现实购物环境可视交流系统后，选择进入具体的不同地域的实体超市所对应的虚拟超市。

在实际的超市空间范围中设置若干摄像头，所述摄像头包括固定摄像头和/或移动摄像头。摄像头用于拍摄超市中的实时场景，并更新至系统中。其中移动摄像头可安装于地面上、天花板上、无人机上或移动式机器人上，移动摄像头可作为虚拟购物者的视觉影像获取装置，随着虚拟购物者在3d场景中的移动而移动，模拟虚拟购物者的移动。借助上述的各种摄像头，在所述mr眼镜的视场中，即可看见真实购物者、真实导购员或真实商品介绍员，又可显示虚拟购物者、虚拟导购员和/或虚拟商品介绍员。

当所述实地超市环境中的货架发生变化时，超市空间范围内的3d虚拟内景相应地发生变化；和/或，当所述实地超市环境中的所述货架上的商品发生变化时，所述3d货架上的3d商品相应地发生变化；和/或，当所述超市库存实物信息真实购物者/虚拟购物者在所述实地超市环境中的位置发生变化时，所述虚拟购物者在所述mr眼镜视场中的显示位置信息将相应地发生变化。

在以上的实施例中，在所述mr眼镜的视场中，还可以叠加显示小工具软件，所述小工具软件包括语音翻译器、图片文字翻译器、商品价格计算器、货币汇率表、时钟、日历、天气、颜色标记、所述超市空间范围的电子地图中的一种或多种，在虚拟购物的过程中可以随时调取使用。

以上可以看出，本申请中的混合现实购物环境可视交流系统，在使用时，使用者带上mr眼镜（混合现实眼镜），mr眼镜的视场中显示超市中的3d内景，随着使用者在运动健身机上的走动，虚拟场景也随着前进/后退显示。当使用者在超市空间内时，mr眼镜中除了显示真实的超市场景和真实购物者之外，还显示通过系统进入到超市中进行虚拟购物的虚拟购物者。当使用者不在超市中时（作为虚拟购物者），其mr眼镜的视场中显示超市空间范围内的3d内景，同时还显示其他人（真实购物者或虚拟购物者）。本申请中的混合现实购物环境可视交流系统，将现实购物场景与虚拟购物行为相结合，并且可以实现交流沟通，极大的扩展了购物行为的发生场景。

本实用新型解决了混合超市环境中的社交问题，也解决了：当遇到一些突发情况，如得病在家不能外出，或传染病流行期间，人们难以方便的外出逛街社交。

本实用新型的保护范围包括但不限于以上实施方式，本实用新型的保护范围以权利要求书为准，任何对本技术做出的本领域的技术人员容易想到的替换、变形、改进均落入本实用新型的保护范围。