基于全息成像的实时交互方法、装置、设备及存储介质与流程

本发明涉及全息交互技术领域，尤其涉及一种基于全息成像的实时交互方法、装置、设备及存储介质。

背景技术：

随着全息投影技术的问世，全息投影技术已经被广泛地应用到影视、科技展览等领域，但在车载、远程监控领域涉猎甚少，现有车载产品和远场监控系统大多只是单向性的平面展示，缺少互动设计，用户只能被动接收信息，不能够采用语音、动作指令、远程终端等进行人机交互，操控体验欠佳，无法满足人们多样性、创新性和互动性的需求。因此，如何基于全息成像技术实现实时人机交互以提高全息交互的实用性和用户体验，成为一个亟待解决的问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现要素：

本发明的主要目的在于提供了一种基于全息成像的实时交互方法、装置、设备及存储介质，旨在解决如何基于全息成像技术实现实时人机交互以提高全息交互的实用性和用户体验的技术问题。

为实现上述目的，本发明提供了一种基于全息成像的实时交互方法，所述方法包括以下步骤：

获取目标场景的环境信息和生命体信息，并根据所述环境信息和所述生命体信息建立目标场景模型；

对所述目标场景模型进行全息投影，并获取所述目标场景模型中的预设交互点；

基于所述预设交互点建立交互模式，根据所述交互模式对所述目标场景中对应的场景调节装置或所述目标场景模型进行交互。

优选地，所述获取目标场景的环境信息和生命体信息，并根据所述环境信息和所述生命体信息建立目标场景模型的步骤，具体包括：

分别从预设位置获取目标场景的环境信息和生命体信息；

基于所述环境信息进行三维建模，生成第一模型，并将所述第一模型输入至第一拼接层中；

基于所述生命体信息进行三维建模，生成第二模型，并将所述第二模型输入至第二拼接层中；

对处于所述第一拼接层中的所述第一模型和处于所述第二拼接层中的所述第二模型进行自适应拼接，生成初阶场景模型；

对所述初阶场景模型进行效果处理，生成目标场景模型。

优选地，所述对所述初阶场景模型进行效果处理，生成目标场景模型的步骤，具体包括：

获取用户的位置参数和预设效果增强参数；

根据所述位置参数和所述预设效果增强参数对所述初阶场景模型进行效果处理，获得目标场景模型。

优选地，所述对所述目标场景模型进行全息投影，并获取所述目标场景模型中的预设交互点的步骤之前，还包括：

对所述目标场景模型进行生命体动作识别和装置驱动识别，获得所述目标场景模型中的生命体动作信息和装置驱动信息；

将所述生命体动作信息与预设动作数据库中的动作样本进行匹配，在匹配成功时，获取匹配成功的动作样本的标识信息；

获取所述目标场景模型的预设调节点；

根据所述装置驱动信息、所述标识信息和所述预设调节点确定预设交互点。

优选地，所述基于所述预设交互点建立交互模式，根据所述交互模式对所述目标场景中对应的场景调节装置或所述目标场景模型进行交互的步骤，具体包括：

接收来自预设路径的指令信息，识别所述指令信息对应的指令对象；

根据所述指令对象确定交互模式的交互类型，所述交互类型包括第一交互模式和第二交互模式，所述第一交互模式基于所述预设交互点中的所述预设调节点建立，所述第二交互模式基于所述预设交互点中的所述装置驱动信息和所述标识信息建立；

在所述交互类型为所述第一交互模式时，根据所述第一交互模式对所述目标场景模型进行交互；

在所述交互类型为所述第二交互模式时，根据所述第二交互模式对所述目标场景中对应的场景调节装置进行交互。

优选地，所述接收来自预设路径的指令信息，识别所述指令信息对应的指令对象的步骤之前，还包括：

基于预设词汇数据库建立预设词汇识别模型；

对所述预设词汇模型进行预设精度训练，获得预设对象识别模型；

相应地，所述接收来自预设路径的指令信息，识别所述指令信息对应的指令对象的步骤，具体包括：

接收来自用户的语音指令信息，对所述语音指令信息进行特征提取，获得语音关键信息；

将所述语音关键信息输入至所述预设对象识别模型中进行识别，获得所述语音指令信息对应的指令对象。

优选地，所述接收来自预设路径的指令信息，识别所述指令信息对应的指令对象的步骤，具体包括：

根据所述生命体信息和所述标识信息确定目标警示等级；

在所述目标警示等级大于预设警示等级时，获取所述目标警示等级对应的警示动作；

根据所述警示动作生成警示指令信息，识别所述警示指令信息对应的指令对象。

此外，为实现上述目的，本发明还提出一种基于全息成像的实时交互装置，所述装置包括：

模型建立模块，用于获取目标场景的环境信息和生命体信息，并根据所述环境信息和所述生命体信息建立目标场景模型；

交互建立模块，用于对所述目标场景模型进行全息投影，并获取所述目标场景模型中的预设交互点；

实时交互模块，用于基于所述预设交互点建立交互模式，根据所述交互模式对所述目标场景中对应的场景调节装置或所述目标场景模型进行交互。

此外，为实现上述目的，本发明还提出一种基于全息成像的实时交互设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于全息成像的实时交互程序，所述基于全息成像的实时交互程序配置为实现如上文所述的基于全息成像的实时交互方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于全息成像的实时交互程序，所述基于全息成像的实时交互程序被处理器执行时实现如上文所述的基于全息成像的实时交互方法的步骤。

本发明获取目标场景的环境信息和生命体信息，并根据所述环境信息和所述生命体信息建立目标场景模型，对所述目标场景模型进行全息投影，并获取所述目标场景模型中的预设交互点，基于所述预设交互点建立交互模式，根据所述交互模式对所述目标场景中对应的场景调节装置或所述目标场景模型进行交互，通过将所述目标场景中的生命体和非生命体对应的生命体信息和环境信息进行分类获取，再基于所述环境信息和所述生命体信息建立目标场景模型以提高建模速度和所述目标场景模型的精度；通过对所述目标场景模型进行全息投影以实现对所述目标场景模型的全方位展示，并提高所述目标场景模型展示的直观程度和形象程度；通过获取所述目标场景模型中的预设交互点，基于所述预设交互点建立交互模式，再根据所述交互模式对所述目标场景中对应的场景调节装置或所述目标场景模型进行交互以实现对所述目标场景模型和所述场景调节装置的实时人机交互，满足用户多样性、创新性和互动性的需求，提高全息交互的实用性和用户体验。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的基于全息成像的实时交互设备的结构示意图；

图2为本发明基于全息成像的实时交互方法第一实施例的流程示意图；

图3为本发明基于全息成像的实时交互方法第二实施例的流程示意图；

图4为本发明基于全息成像的实时交互装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于全息成像的实时交互设备结构示意图。

如图1所示，该基于全息成像的实时交互设备可以包括：处理器1001，例如中央处理器（centralprocessingunit，cpu），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（display）、输入单元比如键盘（keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（wireless-fidelity，wi-fi）接口）。存储器1005可以是高速的随机存取存储器（randomaccessmemory，ram）存储器，也可以是稳定的非易失性存储器（non-volatilememory，nvm），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对基于全息成像的实时交互设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及基于全息成像的实时交互程序。

在图1所示的基于全息成像的实时交互设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明基于全息成像的实时交互设备中的处理器1001、存储器1005可以设置在基于全息成像的实时交互设备中，所述基于全息成像的实时交互设备通过处理器1001调用存储器1005中存储的基于全息成像的实时交互程序，并执行本发明实施例提供的基于全息成像的实时交互方法。

本发明实施例提供了一种基于全息成像的实时交互方法，参照图2，图2为本发明基于全息成像的实时交互方法第一实施例的流程示意图。

本实施例中，所述基于全息成像的实时交互方法包括以下步骤：

步骤s10：获取目标场景的环境信息和生命体信息，并根据所述环境信息和所述生命体信息建立目标场景模型；

易于理解的是，本实施例在对目标场景进行全息投影前，还需对所述目标场景进行三维建模，生成目标场景模型，在对所述目标场景进行三维建模时，还可对其进行三维建模时，为提高建模的精度，可对生命体和非生命体分开建模，对所述生命体可先进行物种分类，获得所述生命体的物种类别，再根据所述物种类别进行对应类别的状态监测和动作捕捉，获得生命体信息，对所述非生命体进行三维信息扫描，获得环境信息，再基于所述环境信息和所述生命体信息建立目标场景模型。

需要说明的是，在对所述非生命进行三维信息扫描时，也可获取所述非生命体的类别，在具体实现中，可将所述非生命体先分为可调节装置和不可调节装置，再对所述可调节装置进行进一步分类，获得所述可调节装置的类别，根据所述可调节装置的类别进一步获取所述可调节装置的装置驱动信息，所述装置驱动信息包括调节枢纽、调节开关、控制阀门等。

步骤s20：对所述目标场景模型进行全息投影，并获取所述目标场景模型中的预设交互点；

需要说明的是，在对所述目标场景模型进行全息投影前，需先建立预设交互点，所述预设交互点是一种可调节的虚拟交互点，可基于所述目标场景模型建立以实现对所述目标场景模型的旋转、放大、缩小等操作，也可基于所述目标场景中的所述可调节装置建立以实现对所述目标场景中的可调节装置的启动、关闭、对应的调节数据的幅度调整（如电灯的亮度档位调节、空调的风力调节、音频设备的音量调节、显示设备的亮度调节）等。

在具体实现中，可对所述目标场景模型进行生命体动作识别和装置驱动识别，获得所述目标场景模型中的生命体动作信息和装置驱动信息，将所述生命体动作信息与预设动作数据库中的动作样本进行匹配，在匹配成功时，获取匹配成功的动作样本的标识信息，所述标识信息可为所述动作样本的动作类别，所述动作类别可基于所述动作样本已建立的预设类别映射表进行确定，也可用户自行录入目标动作至所述预设动作数据库作为动作样本，然后获取所述目标场景模型的预设调节点，再根据所述装置驱动信息、所述标识信息和所述预设调节点确定预设交互点，所述预设交互点可分为第一预设交互点和第二预设交互点，所述第一预设交互点可为所述预设调节点，用来调节所述目标场景模型；所述第二预设交互点可为基于所述装置驱动信息和所述标识信息建立的交互点，具体可通过预设交互模拟模型计算所述动作样本的标识信息和所述装置驱动信息的交互项，获取符合用户需求的目标交互项，将所述目标交互项对应在所述目标场景模型中各场景调节装置对应的装置模型的预设装置交互点记为第二预设交互点，所述预设装置交互点基于目标场景中所述场景调节装置的各驱动单元（如开关单元、风挡单元等）建立，所述驱动单元在预设全息交互控制中心有一体的控制单元，所述控制单元用以控制所述场景调节装置（主要是场景调节装置中的可调节装置）的启动、关闭、对应的调节数据的幅度调整等，所述预设交互模拟模型通过卷积神经网络算法对基于预设交互行为数据和历史交互行为数据建立的初阶交互模拟模型进行进一步训练获得。

步骤s30：基于所述预设交互点建立交互模式，根据所述交互模式对所述目标场景中对应的场景调节装置或所述目标场景模型进行交互。

易于理解的是，在建立完所述预设交互点后，可对所述目标场景模型进行全息投影，并获取所述目标场景模型中的所述预设交互点，基于所述预设交互点建立交互模式，并根据所述交互模式对所述目标场景中对应的场景调节装置或所述目标场景模型进行交互，可对所述目标场景模型和所述目标场景中的场景调节装置建立不同的交互模式来分别对所述目标场景中对应的场景调节装置和所述目标场景模型进行交互，也可建立一种交互模式，然后根据接收到的指令信息对二者进行选择性交互，即若接收到的指令信息中，仅涉及对所述目标场景模型的调节，则仅对所述目标场景模型进行调节；若接收到的指令信息中，仅涉及对所述目标场景中的可调节装置的调节，则仅对所述可调节装置进行调节；若接收到的指令信息中，既涉及所述目标场景模型，也涉及所述可调节装置，则对所述可调节装置和所述目标场景模型进行综合调节，如，识别出接收到的指令信息中，对应的控制指令为放大所述目标场景模型中电灯所在区域，并开启所述电灯，则对所述电灯所在的区域以预设幅度进行放大，并开启所述电灯至预设档位，至于先放大所述电灯所在的区域还是先开启电灯，本领域技术人员可以根据需要进行设置，本实施例对此不加以限制。

在具体实现中，可先接收来自预设路径的指令信息，识别所述指令信息对应的指令对象，根据所述指令对象确定交互模式的交互类型，所述交互类型包括第一交互模式和第二交互模式，所述第一交互模式基于所述预设交互点中的所述预设调节点建立，用于实现所述目标场景模型旋转、放大、缩小等操作，所述第二交互模式基于所述预设交互点中的所述装置驱动信息和所述标识信息建立，用于实现对所述目标场景中的场景调节装置的启动、关闭、幅度调整等；在所述交互类型为所述第一交互模式时，根据所述第一交互模式对所述目标场景模型进行交互；在所述交互类型为所述第二交互模式时，根据所述第二交互模式对所述目标场景中对应的场景调节装置进行交互。

需要说明的是，所述来自预设路径的指令信息可为用户的语音指令信息，也可为预设全息交互控制中心生成的警示指令信息，在所述预设路径的指令信息为用户的语音指令信息时，可先基于预设词汇数据库建立预设词汇识别模型，然后对所述预设词汇模型进行预设精度训练，获得大于预设识别精度的预设对象识别模型，所述预设精度训练为对所述预设词汇模型进行情感分析训练和识别精度优化，获得所述预设对象识别模型，然后接收来自用户的语音指令信息，对所述语音指令信息进行特征提取，获得语音关键信息，将所述语音关键信息输入至所述预设对象识别模型中进行识别，获得所述语音指令信息对应的指令对象，如用户说出“放大”时，通过预设对象识别模型可识别出为放大所述目标场景模型，则将所述目标场景模型放大至预设倍数，又如，用户说出“开灯”时，通过预设对象识别模型可识别出为打开所述目标场景中的电灯开关，则将所述目标场景模型中的电灯开启至预设亮度档位；

在所述预设路径的指令信息为所述警示指令信息时，可先根据所述生命体信息和所述标识信息确定目标警示等级，在所述目标警示等级大于预设警示等级时，获取所述目标警示等级对应的警示动作，根据所述警示动作生成警示指令信息，识别所述警示指令信息对应的指令对象，所述生命体信息不仅包括生命体的体型数据，还包括生命体的呼吸频率、体温等生命体状态数据，如，在进行宠物所在场景的全息交互时，若检测到宠物的体温高于预设体温值，且宠物的当前动作符合动作样本中的趴伏样本已超过预设时长，确定的目标警示等级已大于预设警示等级，则获取所述目标警示等级对应的警示动作（所述警示动作可根据目标场景的不同自行设置，此处可设置为启动或调节空调对应的驱动单元，并通过体温检测仪持续记录宠物温度），根据所述警示动作生成警示指令信息，并识别所述警示指令信息对应的指令对象（此场景识别出对象为空调和体温检测仪），根据所述指令对象确定交互模式的交互类型，此处对应为目标场景中的场景调节装置，则确定交互类型为第二交互模式，然后根据所述第二交互模式对所述目标场景中对应的场景调节装置进行交互（此场景为启动或调节空调至预设温度，并持续记录宠物体温，在宠物体温仍高于预设体温值且超过预设体温警示时长时，可启动通讯功能进行救急呼叫，同时放大宠物所在的区域在所述目标场景模型中对应的区域）。

应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。

本实施例获取目标场景的环境信息和生命体信息，并根据所述环境信息和所述生命体信息建立目标场景模型，对所述目标场景模型进行全息投影，并获取所述目标场景模型中的预设交互点，基于所述预设交互点建立交互模式，根据所述交互模式对所述目标场景中对应的场景调节装置或所述目标场景模型进行交互，通过将所述目标场景中的生命体和非生命体对应的生命体信息和环境信息进行分类获取，再基于所述环境信息和所述生命体信息建立目标场景模型以提高建模速度和所述目标场景模型的精度；通过对所述目标场景模型进行全息投影以实现对所述目标场景模型的全方位展示，并提高所述目标场景模型展示的直观程度和形象程度；通过获取所述目标场景模型中的预设交互点，基于所述预设交互点建立交互模式，再根据所述交互模式对所述目标场景中对应的场景调节装置或所述目标场景模型进行交互以实现对所述目标场景模型和所述场景调节装置的实时人机交互，满足用户多样性、创新性和互动性的需求，提高全息交互的实用性和用户体验。

参考图3，图3为本发明基于全息成像的实时交互方法第二实施例的流程示意图。

基于上述第一实施例，在本实施例中，所述步骤s10包括：

步骤s101：分别从预设位置获取目标场景的环境信息和生命体信息；

易于理解的是，在获取所述环境信息和所述生命体信息时，可从不同预设位置对所述目标场景的环境信息和生命体信息进行获取，也可从预设位置的不同角度对所述目标场景的环境信息和生命体信息进行获取，所述不同位置可为以所述目标场景的轴心点建立的相互垂直且以轴心点作为相交点的两条线段的四端，如所述目标场景近似一个圆，则轴心点为圆心，所述的两条线段则为相互垂直且相交的两条直径与圆的交点；在从所述不同角度对所述目标场景的环境信息和生命体信息进行获取时，所述预设位置的不同角度可设置为所述轴心点的正前方、正后方、正左方、正右方四个角度，也可设置为按照预先设置的便于全息投影的角度进行投影，还可根据用户需求对所述目标场景的目标区域进行环境信息和生命体信息的采集，所述预设位置以及预设位置的不同角度具体可根据实际需求进行设置，本实施例对此不加以限制。

在本实施例中，需要理解的是，“前”、“后”、“左”、“右”等指示的方位或位置关系的术语仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

步骤s102：基于所述环境信息进行三维建模，生成第一模型，并将所述第一模型输入至第一拼接层中；

步骤s103：基于所述生命体信息进行三维建模，生成第二模型，并将所述第二模型输入至第二拼接层中；

步骤s104：对处于所述第一拼接层中的所述第一模型和处于所述第二拼接层中的所述第二模型进行自适应拼接，生成初阶场景模型；

需要说明的是，在基于所述环境信息和所述生命体信息进行三维建模时，可先基于所述环境信息进行三维建模，生成第一模型，并将所述第一模型输入至第一拼接层中，基于所述生命体信息进行三维建模，生成第二模型，并将所述第二模型输入至第二拼接层中，再对处于所述第一拼接层中的所述第一模型和处于所述第二拼接层中的所述第二模型进行自适应拼接，生成初阶场景模型，所述第一模型基于非生命体对应的环境信息建立的模型，所述第二模型为基于生命体对应的生命体信息建立的模型，所述第一拼接层为储存所述第一模型用于后续自适应拼接的拼接层，所述第二拼接层为存储所述第二模型用于后续自适应拼接的拼接层，在具体实现中，可根据用户需求进行进一步的细化建模，如对非生命体的环境信息再进一步分成可调节装置对应的环境信息和不可调节装置对应的环境信息，再对可调节装置对应的环境信息和不可调节装置对应的环境信息分别进行建模，由此可见，本实施例也并不仅限于所述第一模型和所述第二模型，在对可调节装置对应的环境信息和不可调节装置对应的环境信息分别进行建模时，可基于可调节装置对应的环境信息建立第一模型，基于不可调节装置对应的环境信息建立第二模型，基于生命体对应的生命体信息建立第三模型，相应地，本实施例也不仅限于所述第一拼接层和所述第二拼接层，即将基于可调节装置对应的环境信息建立的第一模型导入至第一拼接层中，将基于不可调节装置对应的环境信息建立的第二模型导入至第二拼接层中，将基于生命体对应的生命体信息建立的第三模型导入至第三拼接层中，再对处于所述第一拼接层中的所述第一模型、处于所述第二拼接层中的所述第二模型和处于所述第三拼接层中的所述第三模型进行自适应拼接，生成初阶场景模型。

在另一种实现方式中，还可根据用户需求进行第一模型和第二模型的划分，如用户侧重对某一目标区域进行实时全息交互（比如在实现对超市的实时全息交互时，所述目标区域可设置为失窃率高的货架区域；在实现对宠物所在场景的实时全息交互时，所述目标区域可设置宠物的常规活动区域），则对所述目标区域进行三维建模，生成第一建模，将所述第一建模导入至第一拼接层中，再对非所述目标区域的区域进行三维建模，生成第二建模，将所述第二建模导入至第二拼接层中，对处于所述第一拼接层中的所述第一模型和处于所述第二拼接层中的所述第二模型进行自适应拼接，生成初阶场景模型。在具体实现中，为了进一步提高建模速度，还可对所述目标区域进行第一精度的三维建模，生成第一建模，将所述第一建模导入至第一拼接层中，对所述对非所述目标区域的区域进行第二精度的三维建模，生成第二建模，将所述第二建模导入至第二拼接层中，所述第一精度大于所述第二精度，再对处于所述第一拼接层中的所述第一模型和处于所述第二拼接层中的所述第二模型进行自适应拼接。

步骤s105：对所述初阶场景模型进行效果处理，生成目标场景模型。

需要说明的是，在对所述初阶场景模型进行效果处理时，可获取用户的位置参数和预设效果增强参数，再根据所述位置参数和所述预设效果增强参数对所述初阶场景模型进行效果处理，获得目标场景模型，在具体实现中，可先获取所述初阶场景模型的模型构成个体的类别，再根据所述模型构成个体的类别渲染所述初阶场景模型的模型构成个体表面的光源效果和材质，还可对所述初阶场景模型进行三维环境光源方向、影子处理等。进一步地，还可对经上述处理后的初阶场景模型进行比例调整和差异处理，具体可通过矩阵变换运算，对初阶场景模型的全息投射画面进行比例调整以达到符合预设成像比例规则，所述预设成像比例规则可为符合历史渲染数据库中模型构成个体所对应的比例参数，也可为符合根据预设比例关系映射表中模型构成个体所对应的比例系数，还可为根据用户需求对用户想着重关注的目标区域作区别于周围环境的放大显示，具体放大比例可根据实际需求而定，本实施例对此不加以限制。接着，还可根据用户的左右眼的成像差异，对初阶场景模型的投射画面进行对应的差异处理以进一步提升初阶场景模型的立体度，还可根据位置参数确定投射画面的投射角度，在存在多个用户时，可综合多个用户所对应的投射角度进行折中处理，并对初阶场景模型的投射画面进行角度偏移和转换，使所述符合反透视原理的投射画面处于用户所在的角度范围内，还可根据所述预设效果增强参数对自适应处理后的初阶场景模型进行效果增强和画面渲染，具体可根据所述预设效果增强参数进行画面边界设置、画面阴影设置、动态效果渲染等处理，然后利用反透视原理将预设位置或预设角度下的初阶场景模型的投射画面根据视觉成像规律反向投射到预设显示设备，生成目标场景模型。

应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。

本实施例通过对所述环境信息和所述生命体信息分别进行三维建模，并输入至各自对应的拼接层中，再对处于不同拼接层中的不同模型进行自适应拼接，生成初阶场景模型以实现差异化建模，提高了建模精度，进一步提高了全息投影的投影精度，通过获取用户的位置参数和预设效果增强参数，根据所述位置参数和所述预设效果增强参数对所述初阶场景模型进行效果处理，获得目标场景模型以提高所述目标场景模型的立体度和用户的交互体验。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于全息成像的实时交互程序，所述基于全息成像的实时交互程序被处理器执行时实现如上文所述的基于全息成像的实时交互方法的步骤。

参照图4，图4为本发明基于全息成像的实时交互装置第一实施例的结构框图。

如图4所示，本发明实施例提出的基于全息成像的实时交互装置包括：

模型建立模块10，用于获取目标场景的环境信息和生命体信息，并根据所述环境信息和所述生命体信息建立目标场景模型；

易于理解的是，本实施例在对目标场景进行全息投影前，还需对所述目标场景进行三维建模，生成目标场景模型，在对所述目标场景进行三维建模时，还可对其进行三维建模时，为提高建模的精度，可对生命体和非生命体分开建模，对所述生命体可先进行物种分类，获得所述生命体的物种类别，再根据所述物种类别进行对应类别的状态监测和动作捕捉，获得生命体信息，对所述非生命体进行三维信息扫描，获得环境信息，再基于所述环境信息和所述生命体信息建立目标场景模型。

需要说明的是，在对所述非生命进行三维信息扫描时，也可获取所述非生命体的类别，在具体实现中，可将所述非生命体先分为可调节装置和不可调节装置，再对所述可调节装置进行进一步分类，获得所述可调节装置的类别，根据所述可调节装置的类别进一步获取所述可调节装置的装置驱动信息，所述装置驱动信息包括调节枢纽、调节开关、控制阀门等。

交互建立模块20，用于对所述目标场景模型进行全息投影，并获取所述目标场景模型中的预设交互点；

需要说明的是，在对所述目标场景模型进行全息投影前，需先建立预设交互点，所述预设交互点是一种可调节的虚拟交互点，可基于所述目标场景模型建立以实现对所述目标场景模型的旋转、放大、缩小等操作，也可基于所述目标场景中的所述可调节装置建立以实现对所述目标场景中的可调节装置的启动、关闭、对应的调节数据的幅度调整（如电灯的亮度档位调节、空调的风力调节、音频设备的音量调节、显示设备的亮度调节）等。

在具体实现中，可对所述目标场景模型进行生命体动作识别和装置驱动识别，获得所述目标场景模型中的生命体动作信息和装置驱动信息，将所述生命体动作信息与预设动作数据库中的动作样本进行匹配，在匹配成功时，获取匹配成功的动作样本的标识信息，所述标识信息可为所述动作样本的动作类别，所述动作类别可基于所述动作样本已建立的预设类别映射表进行确定，也可用户自行录入目标动作至所述预设动作数据库作为动作样本，然后获取所述目标场景模型的预设调节点，再根据所述装置驱动信息、所述标识信息和所述预设调节点确定预设交互点，所述预设交互点可分为第一预设交互点和第二预设交互点，所述第一预设交互点可为所述预设调节点，用来调节所述目标场景模型；所述第二预设交互点可为基于所述装置驱动信息和所述标识信息建立的交互点，具体可通过预设交互模拟模型计算所述动作样本的标识信息和所述装置驱动信息的交互项，获取符合用户需求的目标交互项，将所述目标交互项对应在所述目标场景模型中各场景调节装置对应的装置模型的预设装置交互点记为第二预设交互点，所述预设装置交互点基于目标场景中所述场景调节装置的各驱动单元（如开关单元、风挡单元等）建立，所述驱动单元在预设全息交互控制中心有一体的控制单元，所述控制单元用以控制所述场景调节装置（主要是场景调节装置中的可调节装置）的启动、关闭、对应的调节数据的幅度调整等，所述预设交互模拟模型通过卷积神经网络算法对基于预设交互行为数据和历史交互行为数据建立的初阶交互模拟模型进行进一步训练获得。

实时交互模块30，用于基于所述预设交互点建立交互模式，根据所述交互模式对所述目标场景中对应的场景调节装置或所述目标场景模型进行交互。

易于理解的是，在建立完所述预设交互点后，可对所述目标场景模型进行全息投影，并获取所述目标场景模型中的所述预设交互点，基于所述预设交互点建立交互模式，并根据所述交互模式对所述目标场景中对应的场景调节装置或所述目标场景模型进行交互，可对所述目标场景模型和所述目标场景中的场景调节装置建立不同的交互模式来分别对所述目标场景中对应的场景调节装置和所述目标场景模型进行交互，也可建立一种交互模式，然后根据接收到的指令信息对二者进行选择性交互，即若接收到的指令信息中，仅涉及对所述目标场景模型的调节，则仅对所述目标场景模型进行调节；若接收到的指令信息中，仅涉及对所述目标场景中的可调节装置的调节，则仅对所述可调节装置进行调节；若接收到的指令信息中，既涉及所述目标场景模型，也涉及所述可调节装置，则对所述可调节装置和所述目标场景模型进行综合调节，如，识别出接收到的指令信息中，对应的控制指令为放大所述目标场景模型中电灯所在区域，并开启所述电灯，则对所述电灯所在的区域以预设幅度进行放大，并开启所述电灯至预设档位，至于先放大所述电灯所在的区域还是先开启电灯，本领域技术人员可以根据需要进行设置，本实施例对此不加以限制。

在具体实现中，可先接收来自预设路径的指令信息，识别所述指令信息对应的指令对象，根据所述指令对象确定交互模式的交互类型，所述交互类型包括第一交互模式和第二交互模式，所述第一交互模式基于所述预设交互点中的所述预设调节点建立，用于实现所述目标场景模型旋转、放大、缩小等操作，所述第二交互模式基于所述预设交互点中的所述装置驱动信息和所述标识信息建立，用于实现对所述目标场景中的场景调节装置的启动、关闭、幅度调整等；在所述交互类型为所述第一交互模式时，根据所述第一交互模式对所述目标场景模型进行交互；在所述交互类型为所述第二交互模式时，根据所述第二交互模式对所述目标场景中对应的场景调节装置进行交互。

需要说明的是，所述来自预设路径的指令信息可为用户的语音指令信息，也可为预设全息交互控制中心生成的警示指令信息，在所述预设路径的指令信息为用户的语音指令信息时，可先基于预设词汇数据库建立预设词汇识别模型，然后对所述预设词汇模型进行预设精度训练，获得大于预设识别精度的预设对象识别模型，所述预设精度训练为对所述预设词汇模型进行情感分析训练和识别精度优化，获得所述预设对象识别模型，然后接收来自用户的语音指令信息，对所述语音指令信息进行特征提取，获得语音关键信息，将所述语音关键信息输入至所述预设对象识别模型中进行识别，获得所述语音指令信息对应的指令对象，如用户说出“放大”时，通过预设对象识别模型可识别出为放大所述目标场景模型，则将所述目标场景模型放大至预设倍数，又如，用户说出“开灯”时，通过预设对象识别模型可识别出为打开所述目标场景中的电灯开关，则将所述目标场景模型中的电灯开启至预设亮度档位。

在所述预设路径的指令信息为所述警示指令信息时，可先根据所述生命体信息和所述标识信息确定目标警示等级，在所述目标警示等级大于预设警示等级时，获取所述目标警示等级对应的警示动作，根据所述警示动作生成警示指令信息，识别所述警示指令信息对应的指令对象，所述生命体信息不仅包括生命体的体型数据，还包括生命体的呼吸频率、体温等生命体状态数据，如，在对宠物所在场景进行全息交互时，若检测到宠物的体温高于预设体温值，且宠物的当前动作符合动作样本中的趴伏样本已超过预设时长，确定的目标警示等级已大于预设警示等级，则获取所述目标警示等级对应的警示动作（所述警示动作可根据目标场景的不同自行设置，此处可设置为启动或调节空调对应的驱动单元，并通过体温检测仪持续记录宠物温度），根据所述警示动作生成警示指令信息，并识别所述警示指令信息对应的指令对象（此场景识别出对象为空调和体温检测仪），根据所述指令对象确定交互模式的交互类型，此处对应为目标场景中的场景调节装置，则确定交互类型为第二交互模式，然后根据所述第二交互模式对所述目标场景中对应的场景调节装置进行交互（此场景为启动或调节空调至预设温度，并持续记录宠物体温，在宠物体温仍高于预设体温值且超过预设体温警示时长时，可启动通讯功能进行救急呼叫，同时放大宠物所在的区域在所述目标场景模型中对应的区域）。

应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。

本实施例获取目标场景的环境信息和生命体信息，并根据所述环境信息和所述生命体信息建立目标场景模型，对所述目标场景模型进行全息投影，并获取所述目标场景模型中的预设交互点，基于所述预设交互点建立交互模式，根据所述交互模式对所述目标场景中对应的场景调节装置或所述目标场景模型进行交互，通过将所述目标场景中的生命体和非生命体对应的生命体信息和环境信息进行分类获取，再基于所述环境信息和所述生命体信息建立目标场景模型以提高建模速度和所述目标场景模型的精度；通过对所述目标场景模型进行全息投影以实现对所述目标场景模型的全方位展示，并提高所述目标场景模型展示的直观程度和形象程度；通过获取所述目标场景模型中的预设交互点，基于所述预设交互点建立交互模式，再根据所述交互模式对所述目标场景中对应的场景调节装置或所述目标场景模型进行交互以实现对所述目标场景模型和所述场景调节装置的实时人机交互，满足用户多样性、创新性和互动性的需求，提高全息交互的实用性和用户体验。

基于本发明上述基于全息成像的实时交互装置第一实施例，提出本发明基于全息成像的实时交互装置的第二实施例。

在本实施例中，所述模型建立模块10，还用于分别从预设位置获取目标场景的环境信息和生命体信息；

易于理解的是，在获取所述环境信息和所述生命体信息时，可从不同预设位置对所述目标场景的环境信息和生命体信息进行获取，也可从预设位置的不同角度对所述目标场景的环境信息和生命体信息进行获取，所述不同位置可为以所述目标场景的轴心点建立的相互垂直且以轴心点作为相交点的两条线段的四端，如所述目标场景近似一个圆，则轴心点为圆心，所述的两条线段则为相互垂直且相交的两条直径与圆的交点；在从所述不同角度对所述目标场景的环境信息和生命体信息进行获取时，所述预设位置的不同角度可设置为所述轴心点的正前方、正后方、正左方、正右方四个角度，也可设置为按照预先设置的便于全息投影的角度进行投影，还可根据用户需求对所述目标场景的目标区域进行环境信息和生命体信息的采集，所述预设位置以及预设位置的不同角度具体可根据实际需求进行设置，本实施例对此不加以限制。

在本实施例中，需要理解的是，“前”、“后”、“左”、“右”等指示的方位或位置关系的术语仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

所述模型建立模块10，还用于基于所述环境信息进行三维建模，生成第一模型，并将所述第一模型输入至第一拼接层中；

所述模型建立模块10，还用于基于所述生命体信息进行三维建模，生成第二模型，并将所述第二模型输入至第二拼接层中；

所述模型建立模块10，还用于对处于所述第一拼接层中的所述第一模型和处于所述第二拼接层中的所述第二模型进行自适应拼接，生成初阶场景模型；

需要说明的是，在基于所述环境信息和所述生命体信息进行三维建模时，可先基于所述环境信息进行三维建模，生成第一模型，并将所述第一模型输入至第一拼接层中，基于所述生命体信息进行三维建模，生成第二模型，并将所述第二模型输入至第二拼接层中，再对处于所述第一拼接层中的所述第一模型和处于所述第二拼接层中的所述第二模型进行自适应拼接，生成初阶场景模型，所述第一模型基于非生命体对应的环境信息建立的模型，所述第二模型为基于生命体对应的生命体信息建立的模型，所述第一拼接层为储存所述第一模型用于后续自适应拼接的拼接层，所述第二拼接层为存储所述第二模型用于后续自适应拼接的拼接层，在具体实现中，可根据用户需求进行进一步的细化建模，如对非生命体的环境信息再进一步分成可调节装置对应的环境信息和不可调节装置对应的环境信息，再对可调节装置对应的环境信息和不可调节装置对应的环境信息分别进行建模，由此可见，本实施例也并不仅限于所述第一模型和所述第二模型，在对可调节装置对应的环境信息和不可调节装置对应的环境信息分别进行建模时，可基于可调节装置对应的环境信息建立第一模型，基于不可调节装置对应的环境信息建立第二模型，基于生命体对应的生命体信息建立第三模型，相应地，本实施例也不仅限于所述第一拼接层和所述第二拼接层，即将基于可调节装置对应的环境信息建立的第一模型导入至第一拼接层中，将基于不可调节装置对应的环境信息建立的第二模型导入至第二拼接层中，将基于生命体对应的生命体信息建立的第三模型导入至第三拼接层中，再对处于所述第一拼接层中的所述第一模型、处于所述第二拼接层中的所述第二模型和处于所述第三拼接层中的所述第三模型进行自适应拼接，生成初阶场景模型。

在另一种实现方式中，还可根据用户需求进行第一模型和第二模型的划分，如用户侧重对某一目标区域进行实时全息交互（比如在实现对超市的实时全息交互时，所述目标区域可设置为失窃率高的货架区域；在实现对宠物所在场景的实时全息交互时，所述目标区域可设置宠物的常规活动区域），则对所述目标区域进行三维建模，生成第一建模，将所述第一建模导入至第一拼接层中，再对非所述目标区域的区域进行三维建模，生成第二建模，将所述第二建模导入至第二拼接层中，对处于所述第一拼接层中的所述第一模型和处于所述第二拼接层中的所述第二模型进行自适应拼接，生成初阶场景模型。在具体实现中，为了进一步提高建模速度，还可对所述目标区域进行第一精度的三维建模，生成第一建模，将所述第一建模导入至第一拼接层中，对所述对非所述目标区域的区域进行第二精度的三维建模，生成第二建模，将所述第二建模导入至第二拼接层中，所述第一精度大于所述第二精度，再对处于所述第一拼接层中的所述第一模型和处于所述第二拼接层中的所述第二模型进行自适应拼接。

所述模型建立模块10，还用于对所述初阶场景模型进行效果处理，生成目标场景模型。

需要说明的是，在对所述初阶场景模型进行效果处理时，可获取用户的位置参数和预设效果增强参数，再根据所述位置参数和所述预设效果增强参数对所述初阶场景模型进行效果处理，获得目标场景模型，在具体实现中，可先获取所述初阶场景模型的模型构成个体的类别，再根据所述模型构成个体的类别渲染所述初阶场景模型的模型构成个体表面的光源效果和材质，还可对所述初阶场景模型进行三维环境光源方向、影子处理等。进一步地，还可对经上述处理后的初阶场景模型进行比例调整和差异处理，具体可通过矩阵变换运算，对初阶场景模型的全息投射画面进行比例调整以达到符合预设成像比例规则，所述预设成像比例规则可为符合历史渲染数据库中模型构成个体所对应的比例参数，也可为符合根据预设比例关系映射表中模型构成个体所对应的比例系数，还可为根据用户需求对用户想着重关注的目标区域作区别于周围环境的放大显示，具体放大比例可根据实际需求而定，本实施例对此不加以限制。接着，还可根据用户的左右眼的成像差异，对初阶场景模型的投射画面进行对应的差异处理以进一步提升初阶场景模型的立体度，还可根据位置参数确定投射画面的投射角度，在存在多个用户时，可综合多个用户所对应的投射角度进行折中处理，并对初阶场景模型的投射画面进行角度偏移和转换，使所述符合反透视原理的投射画面处于用户所在的角度范围内，还可根据所述预设效果增强参数对自适应处理后的初阶场景模型进行效果增强和画面渲染，具体可根据所述预设效果增强参数进行画面边界设置、画面阴影设置、动态效果渲染等处理，然后利用反透视原理将预设位置或预设角度下的初阶场景模型的投射画面根据视觉成像规律反向投射到预设显示设备，生成目标场景模型。

应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。

所述模型建立模块10，还用于获取用户的位置参数和预设效果增强参数；

所述模型建立模块10，还用于根据所述位置参数和所述预设效果增强参数对所述初阶场景模型进行效果处理，获得目标场景模型。

所述交互建立模块20，还用于对所述目标场景模型进行生命体动作识别和装置驱动识别，获得所述目标场景模型中的生命体动作信息和装置驱动信息；

所述交互建立模块20，还用于将所述生命体动作信息与预设动作数据库中的动作样本进行匹配，在匹配成功时，获取匹配成功的动作样本的标识信息；

所述交互建立模块20，还用于获取所述目标场景模型的预设调节点；

所述交互建立模块20，还用于根据所述装置驱动信息、所述标识信息和所述预设调节点确定预设交互点。

所述实时交互模块30，还用于接收来自预设路径的指令信息，识别所述指令信息对应的指令对象；

所述实时交互模块30，还用于根据所述指令对象确定交互模式的交互类型，所述交互类型包括第一交互模式和第二交互模式，所述第一交互模式基于所述预设交互点中的所述预设调节点建立，所述第二交互模式基于所述预设交互点中的所述装置驱动信息和所述标识信息建立；

所述实时交互模块30，还用于在所述交互类型为所述第一交互模式时，根据所述第一交互模式对所述目标场景模型进行交互；

所述实时交互模块30，还用于在所述交互类型为所述第二交互模式时，根据所述第二交互模式对所述目标场景中对应的场景调节装置进行交互。

所述实时交互模块30，还用于基于预设词汇数据库建立预设词汇识别模型；

所述实时交互模块30，还用于对所述预设词汇模型进行预设精度训练，获得预设对象识别模型；

所述实时交互模块30，还用于接收来自用户的语音指令信息，对所述语音指令信息进行特征提取，获得语音关键信息；

所述实时交互模块30，还用于将所述语音关键信息输入至所述预设对象识别模型中进行识别，获得所述语音指令信息对应的指令对象。

所述实时交互模块30，还用于根据所述生命体信息和所述标识信息确定目标警示等级；

所述实时交互模块30，还用于在所述目标警示等级大于预设警示等级时，获取所述目标警示等级对应的警示动作；

所述实时交互模块30，还用于根据所述警示动作生成警示指令信息，识别所述警示指令信息对应的指令对象。

本发明基于全息成像的实时交互装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光盘）中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。