本发明涉及全息技术领域，具体而言，涉及一种实时人机交互全息展示系统。
背景技术：
近年来，随着广告显示行业的发展，市场迫切的需要新颖、方便的显示设备。全息显示作为一种新型的显示方式，由于其特有的透视显示形式，科技感十足，非常具有潜力。目前主流的全息显示方案包括投影与旋转显示。然而现有旋转扫描led显示设备只能播放内置的视频或二进制文件，虽然播放形式新颖，但缺乏互动性，无法进一步吸引人群。另外，现有的其他全息显示方案虽然有极少数能够完成人机交互，但由于全息显示方案本身的限制，使用场景十分有限，且造价昂贵。
技术实现要素：
本发明的目的在于提供一种实时人机交互全息展示系统，可以解决现有技术中的存在的缺乏互动性的技术问题。
本发明的实施例是这样实现的：
一种实时人机交互全息展示系统，其包括旋转显示装置、图像深度传感器、控制装置、传感器组件和上位机；所述旋转显示装置与所述上位机通过网络无线通信，所述图像深度传感器与所述控制装置均与所述上位机连接，所述控制装置与所述传感器组件电连接；所述图像深度传感器用于捕捉用户的动作图像及语音，并将所述动作图像与所述语音发送至所述上位机；所述传感器组件用于采集当前环境信息，并将所述环境信息发送至所述控制装置；所述控制装置用于接收所述环境信息以及接收用户输入的控制指令，并将所述环境信息与所述控制指令发送至所述上位机；所述上位机用于根据所接收的所述动作图像、所述语音和/或所述环境信息以及所述控制指令生成输出目标画面，并将所述目标画面的视频流通过无线网络传输至所述旋转显示装置中，以使所述旋转显示装置在接收该视频流后并实时解码播放；所述旋转显示装置用于接收所述上位机发送的所述视频流，并实时解码播放，以实现实时人机交互全息的展示。
在本发明较佳的实施例中，上述旋转显示装置包括显示屏、解码模块、主控模块和无线通信模块，所述解码模块、所述主控模块和所述无线通信模块均安装在所述显示屏内，所述主控模块的输出端与所述解码模块的输入端电连接，所述解码模块的输出端与所述显示屏电连接，所述无线通信模块与所述主控模块的输入端电连接。
在本发明较佳的实施例中，上述传感器组件包括加速度计和陀螺仪，所述加速度计和所述陀螺仪均与所述控制装置电连接。
在本发明较佳的实施例中，上述传感器组件还包括温湿度传感器和红外传感器，所述温湿度传感器和所述红外传感器均与所述控制装置电连接。
在本发明较佳的实施例中，上述传感器组件还包括光敏电阻，所述光敏电阻与所述控制装置电连接。
在本发明较佳的实施例中，上述传感器组件还包括电容传感器，所述电容传感器与所述控制装置电连接。
在本发明较佳的实施例中，上述控制装置包括单片机，所述单片机分别与所述加速度计、所述陀螺仪、所述温湿度传感器、所述红外传感器、所述光敏电阻和所述电容传感器电连接。
在本发明较佳的实施例中，上述控制装置还包括按键，所述按键与所述单片机电连接。
在本发明较佳的实施例中，上述控制装置还包括触控条，所述触控条与所述电容传感器电连接。
在本发明较佳的实施例中，上述无线通信模块为wifi通信芯片。
本发明实施例的有益效果是：本发明实施例提供了一种实时人机交互全息展示系统，通过所述图像深度传感器捕捉用户的动作图像及语音，并将所述动作图像与所述语音发送至所述上位机，以及通过所述传感器组件采集当前环境信息，并将所述环境信息发送至所述控制装置，以使所述控制装置接收所述环境信息以及接收用户输入的控制指令，并将所述环境信息与所述控制指令发送至所述上位机，使得所述上位机根据所接收的所述动作图像、所述语音和/或所述环境信息以及所述控制指令生成输出目标画面，并将所述目标画面的视频流通过无线网络传输至所述旋转显示装置中，以使所述旋转显示装置在接收该视频流后并实时解码播放，进而实现实时人机交互全息的展示，从而通过人机交互的功能，引导用户参与到旋转显示装置的播放当中，使得用户投入更多的精力关注该实时人机交互全息展示系统，进而极大的提高了人机交互的互动效率，进一步提升对用户的吸引力，进一步增强引流能力。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例提供的实时人机交互全息展示系统的功能模块示意图；
图2为图1所示的实时人机交互全息展示系统中的旋转显示装置的功能模块示意图；
图3为图1所示的实时人机交互全息展示系统中的传感器组件的功能模块示意图；
图4为图1所示的实时人机交互全息展示系统中的控制装置的功能模块示意图。
图标：100－实时人机交互全息展示系统；110－旋转显示装置；120－图像深度传感器；130－传感器组件；140－控制装置；150－上位机；111－显示屏；112－解码模块；113－主控模块；114－无线通信模块；131－加速度计；132－陀螺仪；133－温湿度传感器；134－红外传感器；135－光敏电阻；136－电容传感器；141－单片机；142－按键；143－触控条。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例
请参照图1至图4，本实施例提供一种实时人机交互全息展示系统100，其包括旋转显示装置110、图像深度传感器120、控制装置140、传感器组件130和上位机150。
其中，所述旋转显示装置110用于接收所述上位机150发送的所述视频流，并实时解码播放，以实现实时人机交互全息的展示，从而通过人机交互的功能，引导用户参与到旋转显示装置110的播放当中，使得用户投入更多的精力关注该实时人机交互全息展示系统100，进而大大提升实时人机交互全息展示系统100对用户的吸引力，进一步增强引流能力。
在本实施例中，所述旋转显示装置110与所述上位机150通过网络无线通信，具体地，所述旋转显示装置110与所述上位机150通过wifi无线通信。
其中，所述旋转显示装置110包括显示屏111、解码模块112、主控模块113和无线通信模块114。
在本实施例中，所述解码模块112、所述主控模块113和所述无线通信模块114均安装在所述显示屏111内，所述主控模块113的输出端与所述解码模块112的输入端电连接，所述解码模块112的输出端与所述显示屏111电连接，所述无线通信模块114与所述主控模块113的输入端电连接。
在本实施例中，所述显示屏111用于播放所述解码模块112实时解码后的视频流，以实现实时人机交互全息的展示。
在本实施例中，所述显示屏111对比投影设备，所占空间小，且属于自发光，亮度更高，因此适用场景更多。
在本实施例中，所述解码模块112用于实时解码所述上位机150所发送的视频流。具体地，所述解码模块112用于实时解码所述主控模块113从所述无线通信模块114所获取到的所述上位机150所发送的视频流。
其中，所述解码模块112的型号可以是tvp5150，也可以是mb86h51。在此，不作具体限定。
在本实施例中，所述主控模块113可以是通用处理器，包括中央处理器(centralprocessingunit，cpu)、也可以微控制器(microcontrollerunit，mcu)、也可以是数字信号处理器(digitalsignalprocessing，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(fieldprogrammablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本实施例中，所述主控模块113的型号可以是stc90c516rd，也可以是stm32f103vet6，还可以是stm32f107cct6，还可以是基于arm内核的单片机。在此，不作具体限定。
在本实施例中，所述主控模块113用于通过所述无线通信模块114接收所述上位机150所发送的视频流，并通过所述解码模块112进行实时解码，然后再通过所述显示屏111进行实时播放，以实现实时人机交互全息的展示。
在本实施例中，所述无线通信模块114一端与所述主控模块113连接，所述无线通信模块114的另一端与所述上位机150无线连接。
可选地，所述无线通信模块114的型号可以是ap6535、rtl8188或nrf24l01+。例如，当所述无线通信模块114的型号为nrf24l01+时，无线通信模块114使用硬件spi方式与所述主控模块113进行通讯，所述无线通信模块114的sck端口连接至所述主控模块113的pa5接口，所述无线通信模块114的miso端口连接至所述主控模块113的pa6接口，所述无线通信模块114的mosi端口连接至所述主控模块113的pa7接口，所述无线通信模块114的int端口连接至所述主控模块113的pc5接口，所述无线通信模块114的ce端口连接至所述主控模块113的pa4接口，所述无线通信模块114的cs端口连接至所述主控模块113的pc4接口。
在本实施例中，所述图像深度传感器120与所述上位机150电连接，例如所述图像深度传感器120与所述上位机150通过usb连接。
其中，所述图像深度传感器120用于实时捕捉用户的动作图像及语音，并将所述动作图像与所述语音发送至所述上位机150。
在本实施例中，所述图像深度传感器120可以是但不限于kinect或razerstargazer深度感应摄像头。
在本实施例中，所述传感器组件130包括加速度计131和陀螺仪132。
其中，所述加速度计131和陀螺仪132均与所述控制装置140电连接。
在本实施例中，所述加速度计131用于检测用户拿起所述控制装置140时的加速度。
可选地，所述加速度计131的型号可以是mpu6050，所述加速度计131采用i2c接口连接所述控制装置140。
在本实施例中，所述陀螺仪132的型号可以是pa－arg－0050，所述陀螺仪132采用i2c接口连接所述控制装置140。
作为一种实施方式，所述传感器组件130还包括温湿度传感器133、红外传感器134和光敏电阻135，所述温湿度传感器133、所述红外传感器134和所述光敏电阻135均与所述控制装置140电连接。
可选地，所述温湿度传感器133的型号可以是am2320b，所述温湿度传感器133采用i2c接口连接所述控制装置140。
可选地，所述红外传感器134的型号可以是hc－sr501，所述红外传感器134与所述控制装置140的i/o端口连接。
可选地，所述光敏电阻135的型号可以是5506，所述光敏电阻135通过所述控制装置140的adc读取阻值。
作为一种实施方式，所述传感器组件130还包括电容传感器136，所述电容传感器136与所述控制装置140电连接。
可选地，所述电容传感器136的型号可以是ad9142－1设计完成，并利用其设计一根可以滑动触控的触控条。
在本实施例中，所述控制装置140包括单片机141，所述单片机141分别与所述加速度计131、所述陀螺仪132、所述温湿度传感器133、所述红外传感器134、所述光敏电阻135、所述电容传感器136和所述上位机150电连接。
在本实施例中，所述单片机141的型号可以是stc90c516rd，也可以是stm32f103vet6，还可以是stm32f107cct6。在此，不作具体限定。
作为一种实施方式，所述控制装置140还包括按键142，所述按键142与所述单片机141电连接。
在本实施例中，所述按键142用于采集用户输入的按键指令，如通过所述按键142生成开启指令或者是关闭指令或者是供用户选择控制模式。在此，不作具体限定。
作为一种实施方式，所述控制装置140还包括触控条143，所述触控条143与所述电容传感器136电连接。
在本实施例中，所述触控条143用于实现触控功能，具体地，当用户触摸所述触控条143时，通过所述电容传感器136的电容变化实现触控功能。
在本实施例中，所述上位机150与所述单片机141通过usb接口连接，并通过预设的无线通信芯片与所述无线通信模块114进行无线通信。
可选地，所述无线通信芯片的型号可以是与所述无线通信模块114相同。
所述上位机150用于根据所接收的所述动作图像、所述语音和/或所述环境信息以及所述控制指令生成输出目标画面，并将所述目标画面的视频流通过无线网络传输至所述旋转显示装置110中，以使所述旋转显示装置110在接收该视频流后并实时解码播放。
在本实施例中，上位机150包含图像处理的功能，能够根据原始图像进行处理，完成诸如替换人物背景、增强现实、美化人像、提取面部表情替换头像等操作。例如，所述上位机150利用图像深度传感器120(如kinect摄像头)获取人的图像及深度信息，根据深度关系可以区分人的图像和背景，将背景删除即可获得人像，将人像放置在预设的背景图案中，完成背景替换；然后利用利用图像深度传感器120捕获人脸图像，利用深度关系确立人脸面部轮廓。对面部各个轮廓套用面部模板进行拉伸、圆滑、打光处理，即可完成人像美化；再提取面部轮廓的特征部分，如嘴巴、眼睛、鼻子、眉毛等，用特定曲线描绘面部表情，再将该曲线套用至面部3d动画模型中，用动画模型替换人脸的图像，并显示对应的表情以实现增强现实。
在本实施例中，所述上位机150包括但不限于电脑，智能手机等设备。
在本实施例中，该实时人机交互全息展示系统100包括多种模式，所述多种模式包括第一模式、第二模式和第三模式。
作为一种实施场景，在第一模式下，如远距离控制设备互动模式时，用户在与该实时人机交互全息展示系统100进行互动操作时，会观察旋转显示装置110的所播放的全息图像，并根据所显示的全息图像，做出对应的操作。所述图像深度传感器120会捕捉到用户的动作图像、声音，并将所述动作图像、声音发送至所述上位机150，所述上位机150根据用户的动作图像，如手势、表情以及语音，生成对应的例如缩放、选取亮度调节、音量调节、切换播放的指令，并将对应的图像实时上传到所述旋转显示装置110中。当所述图像深度传感器120内出现多名用户时，会自动关闭语音操控的功能，将用户按在所述图像深度传感器120中出现的顺序编号，最先出现的用户拥有对旋转显示装置110的控制权。直到该用户走出所述图像深度传感器120的检测范围，下一顺位的用户继承控制权。例如，当前出现所述图像深度传感器120中出现了用户a和用户b，用户a所出现的时刻在用户b出现的时刻之前，则当用户a走出所述图像深度传感器120的检测范围后，则用户b继承控制权。
举例来说，用户可以用手势进行操作。例如，用食指向上下滑动，该实时人机交互全息展示系统100对应地调节亮度大小；食指左右滑动，实时人机交互全息展示系统100对应地调节音量大小；该操作也可由用户用语音完成。双手食指、拇指拼成一个合拢的方框，然后展开向外扩张，实时人机交互全息展示系统100会对应地从方框处放大图像；单手五指张开，做抓取合拢动作，实时人机交互全息展示系统100会对应地将放大的图像恢复；当用语音完成放大/缩小时，放大只会从中心处放大，说出一次放大指令会将视频放大至原先的2倍，直到达到原始视频尺寸的8倍大小会停止放大；而缩小指令也是将视频缩小到原先的1/2，直到视频尺寸达到原始的尺寸。单手食指中指合并，向左右方向滑动，实时人机交互全息展示系统100会对应地向前(向左滑动)、向后(向右滑动)切换播放的视频内容；该操作也可由用户用(向前/向后)语音完成。
在该模式下，当用户拿起所述控制装置140时，通过所述陀螺仪132、加速度计131会检测到这一动作，并将互动的优先控制权由图像深度传感器120中的用户更新为控制装置140。通过陀螺仪132以及加速度计131、电容传感器136、以及按键142操作可以用于控制旋转显示装置110播放的内容。用户在改变传感器组件130的空间姿态时，控制装置140内的单片机141读取陀螺仪132、加速度计131数值，计算出实时姿态用usb口上传到所述上位机150，所述上位机150根据所述空间姿态，改变播放内容的倾角(对应3维空间内的倾角)，如果播放内容为3d物品，该操作就可以控制该物品在空间中自由旋转。控制装置140上的按键142可以供用户选择控制模式；通过电容传感器136连接到一个触控条143上，用户用手指滑动控制该触控条143。用户通过按键142选择调节亮度，再滑动触控条143，调节具体的亮度数值；通过按键142选择调节音量，再滑动触控条143，调节音量大小；通过按键142选择控制播放进度，再通过触控条143滑动到特定地点，控制播放内容。
作为第二种实施场景，在第二模式下，即在实时屏幕投影互动模式下，所述上位机150通过所述图像深度传感器120获取操作者的图像，所述图像包括用户的操作手势或表情，将该图像的视频流通过wifi传输至旋转显示装置110中，旋转显示装置110接收该视频流，并实时解码播放。在该模式下，用户可以选择上传原始视频或者上传处理后的视频。其中，所述原始视频是指由所述图像深度传感器120采集到的原始图像；上位机150根据用户的选择，上传对应的处理后的视频流至旋转显示装置110。
作为第三种实施场景，在第三模式下，即在环境感知模式下，所述上位机150通过wifi与所述旋转显示装置110建立连接，并向所述旋转显示装置110传输视频流，实时播放所述上位机150输出的视频。所述上位机150通过图像深度传感器120以及传感器组件130获取环境信息，并根据获得的例如环境亮度、空气温湿度、是否有人靠近等信息，对应地修改输出的画面，再将该画面的视频流输出至所述旋转显示装置110。
举例来说，所述上位机150通过图像深度传感器120以及红外传感器134检测所述图像深度传感器120正对方向是否有人经过，当检测到有人由远到近靠近所述实时人机交互全息展示系统100时，将该实时人机交互全息展示系统100的模式切换至所述第一模式，并进行合成语音播报；所述上位机150通过光敏电阻135检测环境亮度，自动根据环境亮度调节所述旋转显示装置110的亮度；所述上位机150通过温湿度传感器133读取环境的温度与湿度，实时显示当前温度与湿度，并在环境温湿度高于或低于预定值时播放特定动画特效，如在湿度较高时在播放视频的同时在视频上添加一层水汽、在温度较低时在播放视频的同时在视频上添加一层冰霜等。
综上所述，本发明提供一种实时人机交互全息展示系统，通过所述图像深度传感器捕捉用户的动作图像及语音，并将所述动作图像与所述语音发送至所述上位机，以及通过所述传感器组件采集当前环境信息，并将所述环境信息发送至所述控制装置，以使所述控制装置接收所述环境信息以及接收用户输入的控制指令，并将所述环境信息与所述控制指令发送至所述上位机，使得所述上位机根据所接收的所述动作图像、所述语音和/或所述环境信息以及所述控制指令生成输出目标画面，并将所述目标画面的视频流通过无线网络传输至所述旋转显示装置中，以使所述旋转显示装置在接收该视频流后并实时解码播放，进而实现实时人机交互全息的展示，从而通过人机交互的功能，引导用户参与到旋转显示装置的播放当中，使得用户投入更多的精力关注该实时人机交互全息展示系统，进而极大的提高了人机交互的互动效率，进一步提升对用户的吸引力，进一步增强引流能力。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。