实现与虚拟3D模型交互的方法及MR混合现实智能眼镜与流程

本申请要求申请号为201810598599.1的专利申请的优先权。

本发明涉及混合现实数据计算领域，尤其涉及实现与虚拟3d模型交互的方法及mr混合现实智能眼镜。

背景技术：

目前，与虚拟3d模型交互是ar/mr(增强现实/混合现实，augmentedreality/mixedreality)领域中的重要组成部分之一。现有技术中，与虚拟3d模型交互涉及识别计算(图形图像识别)和，位置姿态计算(至少包括混合现实设备的位置姿态、虚拟3d模型的位置姿态)。

位置姿态数据是通过惯性传感单元(inertialmeasurementunit，imu)采集设备的当前位置和空间姿态数据采集混合现实智能眼镜的当前位置和空间姿态数据。处理器(例如cpu)对上述数据(例如：欧拉角，加速度，地磁数据)进行计算，根据计算结果来确定其的实际移动距离和角度，最终将需要显示的图像和/或虚拟3d模型(一个或多个)叠加于准确的坐标上，并折射/投射至混合现实智能眼镜的光学显示介质上。

公知的，在混合现实的应用场景中，在激活应用状态下，混合现实智能眼镜的位置和其采集的图像会不断变化，相对的虚拟3d模型的位置也会产生变化，从而，混合现实智能眼镜与虚拟模型的相对位置关系动态改变，在相对位置改变的过程中，虚拟3d模型的折射/投射也会随之变化，从而数据量呈几何倍增长。数据量呈几何倍增长主要体现在：各个输入装置采集的周围环境信息数据以及对这些数据的处理方面。

在以前ar/mr场景中，仅仅以显示3d虚拟模型或将2d图形图像可视化折射/投射至ar/mr设备为目的。但随着技术的发展，现有场景通常有多个虚拟3d模型同时显示或之前产生互动，每个虚拟3d模型都会有对应的位置姿态数据实时产生，同时，这些虚拟3d模型所处的环境图像及相关环境也会持续变化，主要体现在环境光线，当前虚拟3d模型叠加的显示平面是否平整等。

现有技术对ar/mr数据处理时，通常采用单一处理器的架构，其负责所有运算cpu负责包括位置姿态运算和图形图像运算在内的所有运算，由上述可知，现有技术中所有ar/mr相关计算均在处理器中进行，但cpu处理器为串行处理方式，逐条处理相应任务，当数据任务的增长速率大于处理速率时，会不可避免的造成任务堆积，处理速率也会一定程度的降低。ar/mr应用场景中还需要对被可视化折射/投射的多个虚拟3d模型进行跟踪，cpu在处理数据任务过程中需要同时对这些虚拟3d模型的位置姿态和图形图像数据进行持续数据处理，这时，cpu对上述数据进行逐个数据处理，通常会首先对图形图像数据处理完毕后再处理位置姿态数据，由于串行处理这一处理方式使得上述两个数据结果无法同时输出，在虚拟3d模型被可视化折射/投射时无法避免的出现卡顿，当显示都无法连贯时，更无法达到与虚拟3d模型交互的目的。

处理器(cpu)在上述数据(图形图像识别，位置姿态)的同时还要兼顾处理其他任务，待处理任务必然会产生大量积压，而主处理器(cpu)无法及时处理这些任务，由于任务不能被及时处理，输出数据无法及时融合，必然会导致数据输出不同步，这样，更加无法实现对虚拟3d模型的追踪(因为追踪必然会产生极大量的位置姿态数据)。例如：当位置姿态数据结果和识别计算结果不同步时，会导致混合现实智能眼镜上显示的虚拟3d模型其在虚空中叠加的位置不精确，成像不连贯、卡顿，甚至于导致设备死机，更无法与虚拟3d模型进行交互。

技术实现要素：

本发明提供实现与虚拟3d模型交互的方法及mr混合现实智能眼镜，图像感应模组采图像数据集，位置姿态感应模组采集位置姿态数据集。混合现实协处理器对位置姿态数据集进行数据处理，输出虚拟3d模型与混合现实智能眼镜之间的相对位置关系，还对图像数据集进行数据处理，获取虚拟3d模型待交互位置的深度信息。通过增加混合现实协处理器，分担现有技术中处理器任务负担，能够连续对虚拟3d模型的位置跟踪，解决了现有技术中混合现实智能眼镜上显示的虚拟3d模型在虚空中叠加的位置不精确，由于处理能力不够造成的数据输出不同步，导致的虚实融合不连贯、甚至于设备死机，更无法与虚拟3d模型进行交互。

为了实现上述目的，本发明技术方案提供了实现与虚拟3d模型交互的方法，包括：位置姿态感应模组采集位置姿态数据集，图像感应模组采图像数据集。混合现实协处理器对图像数据集进行数据处理，获取所述虚拟3d模型待交互位置的深度信息。混合现实协处理器对位置姿态数据集进行数据处理，输出虚拟3d模型与混合现实智能眼镜之间的相对位置关系。混合现实协处理器根据相对位置关系、深度信息及交互指令，实现佩戴所述混合现实智能眼镜的佩戴者与所述虚拟3d模型的交互。其中，交互指令及其对应的指令内容预存于所述混合现实智能眼镜中的存储器或云端。

作为上述方案的优选，位置姿态感应模组采集位置姿态数据集，包括：惯性测量单元连续采集混合现实智能眼镜的三维空间中的角速度变化数据和加速度变化数据。地磁传感器，用于至少感知所述混合现实智能眼镜在当前使用环境中的磁场数据和经纬度变化数据。

作为上述方案的优选，所述混合现实协处理器对位置姿态数据集进行数据处理，输出虚拟3d模型与混合现实智能眼镜之间的相对位置关系，包括：混合现实协处理器中位置姿态逻辑门电路阵列依据其内部的位置姿态ip核对角速度变化数据、加速度变化数据、磁场数据、经纬度变化数据，连续数据处理，获取到所述虚拟3d模型与混合现实智能眼镜之间的相对位置数据，并将相对位置数据整合，输出相对位置关系。位置姿态逻辑门电路阵列的获取方式为，对位置姿态算法文件进行压缩，重设数据接口类型，验证后，将压缩后的所述位置姿态算法文件、设后的所述数据接口类型封装至可编程逻辑门电路阵列，固化的硬件电路为位置姿态ip核，位置姿态逻辑门电路阵列中有至少两个通过上述方法获取的位置姿态ip核。

作为上述方案的优选，所述图像感应模组采图像数据集，包括：单/双/多目深度摄像模组采集深度帧图像；光飞传感器连续采集虚拟3d模型待交互位置与所述混合现实眼镜之间的间距。

作为上述方案的优选，混合现实协处理器对图像数据集进行数据处理，获取虚拟3d模型待交互位置的深度信息，包括：混合现实协处理器中的图像识别逻辑门电路阵列从深度帧图像中，获取虚拟3d模型待交互位置所处表面为平面或非平面。还根据所述间距，结合预设比例关系确定所述虚拟3d模型的虚拟尺寸，其中所述虚拟尺寸为，虚拟3d模型现实空间内的虚拟叠加尺寸。其中，图像识别逻辑门电路阵列的获取方式为，对图像识别算法文件进行压缩，根据黄金参考模型判断压缩结果是否正确，若正确，将压缩结果下载至可编程逻辑门电路阵列生成硬件电路生成图像识别ip核，图像识别逻辑门电路阵列中有至少两个通过上述方法获取的所述图像识别ip核。

作为上述方案的优选，混合现实协处理器中的图像识别逻辑门电路阵列从所述深度帧图像中，获取所述虚拟3d模型待交互位置所处表面为平面或非平面，包括：图像识别逻辑门电路阵列中的所述图像识别ip核，从深度帧图像中提取像素特征点。根据所述像素特征点构成的形状，判断虚拟3d模型待交互位置所处表面为平面或非平面。若像素特征点构成完整轮廓，且轮廓中无其余像素特征点则所述表面为水平平面，若轮廓中有其余像素特征点所述表面为非平面。

作为上述方案的优选，混合现实协处理器根据所述相对位置关系、深度信息及交互指令，实现佩戴所述混合现实智能眼镜的佩戴者与所述虚拟3d模型的交互，包括：混合现实协处理器，依据所述交互指令调取相应指令内容。虚拟3d模型在待交互位置依据指令内容产生形状/形态/位置变化，并根据所述待交互位置所处表面为平面或非平面的判断结果，将所述虚拟3d模型虚拟叠加于待交互位置上，变化后的虚拟3d模型被折射/投射至所述混合现实智能眼镜的数字光学显示组件上。其中，混合现实协处理器还根据所述相对位置关系对所述虚拟3d模型跟踪。其中，若为所述表面为平面，则所述虚拟3d模型虚拟依照交互指令，虚拟叠加于平面中任意一像素点上；若为非平面，则所述虚拟3d模型依照交互指令，虚拟叠加于此平面中的任意一像素特征点上。

为了实现上述目的，本发明技术方案还提供了实现与虚拟3d模型交互的mr混合现实智能眼镜，包括：图像感应模组，用于采图像数据集；其中，所述图像感应模组至少包括：单/双/多目深度摄像模组，用于采集深度帧图像；光飞传感器，用于连续采集所述所述虚拟3d模型待交互位置与所述混合现实眼镜之间的间距。位置姿态感应模组，用于采集位置姿态数据集；其中，位置姿态感应模组至少包括：惯性测量单元，用于连续采集所述混合现实智能眼镜的三维空间中的角速度变化数据和加速度变化数据；地磁传感器，用于至少感知混合现实智能眼镜在当前使用环境中的磁场数据和经纬度变化数据。混合现实协处理器，用于对位置姿态数据集进行数据处理，输出虚拟3d模型与混合现实智能眼镜之间的相对位置关系。混合现实协处理器，还用于对所述位置姿态数据集进行数据处理，输出所述虚拟3d模型与混合现实智能眼镜之间的相对位置关系。混合现实协处理器，还用于对图像数据集进行数据处理，获取虚拟3d模型待交互位置的深度信息，用于根据相对位置关系、深度信息及交互指令，实现佩戴混合现实智能眼镜的佩戴者与所述虚拟3d模型的交互。其中，所述交互指令及其对应的指令内容预存于所述混合现实智能眼镜中的存储器或云端。

作为上述方案的优选，所述混合现实协处理器，至少包括：图像识别逻辑门电路阵列，位置姿态逻辑门电路阵列。图像识别逻辑门电路阵列，用于从所述深度帧图像中，获取虚拟3d模型待交互位置所处表面为平面或非平面，具体包括：像素特征点提取单元，用于图像识别逻辑门电路阵列中的图像识别ip核，从所述单/双/多目深度摄像模组采集的所述深度帧图像中提取像素特征点。表面类型获取单元，用于根据像素特征点提取单元提取的所述像素特征点构成的形状，获取所述虚拟3d模型待交互位置所处表面为平面或非平面，包括，若所述像素特征点构成完整轮廓，且轮廓中无其余像素特征点则所述表面为平面，若轮廓中有其余像素特征点所述表面为非平面。位置姿态逻辑门电路阵列，用于依据其内部的位置姿态ip核对所述角速度变化数据、加速度变化数据、磁场数据、经纬度变化数据，连续数据处理，获取到所述虚拟3d模型与所述混合现实智能眼镜之间的相对位置数据，并将所述相对位置数据整合，输出所述相对位置关系。混合现实协处理器还用于，依据交互指令调取相应指令内容，指示所述虚拟3d模型在所述待交互位置依据所述指令内容产生形状/形态/位置变化，并并根据所述待交互位置所处表面为平面或非平面的判断结果，将所述虚拟3d模型并依据所述表面类型虚拟叠加于待交互位置上，变化后的所述虚拟3d模型被折射/投射至所述混合现实智能眼镜的数字光学显示组件上。其中，若表面类型获取单元获取虚拟3d模型待交互位置所处表面为平面，则所述虚拟3d模型依照所述交互指令，虚拟叠加于平面中任意一像素点上；若表面类型获取单元获取虚拟3d模型待交互位置所处表面为非平面，则所述虚拟3d模型依照所述交互指令，虚拟叠加于此平面中的任意一像素特征点上。其中，混合现实协处理器还根据所述间距，结合预设比例关系确定所述虚拟3d模型的虚拟尺寸；其中虚拟尺寸为，所述虚拟3d模型现实空间内的虚拟叠加尺寸。其中，图像识别逻辑门电路阵列的获取方式为，对图像识别算法文件进行压缩，根据黄金参考模型判断压缩结果是否正确，若正确，将压缩结果下载至可编程逻辑门电路阵列生成硬件电路生成图像识别ip核；所述图像识别逻辑门电路阵列中有至少两个通过上述方法获取的所述图像识别ip核。位置姿态逻辑门电路阵列的获取方式为，对位置姿态算法文件进行压缩，重设数据接口类型，验证后，将压缩后的所述位置姿态算法文件、重设后的所述数据接口类型封装至可编程逻辑门电路阵列，固化的硬件电路为位置姿态ip核，所述位置姿态逻辑门电路阵列中有至少两个通过上述方法获取的所述位置姿态ip核。其中，混合现实协处理器还根据所述相对位置关系对所述虚拟3d模型跟踪。

作为上述方案的优选，所述的mr混合现实智能眼镜，其特征在于，还包括：无线通讯组件，用于实现混合现实智能眼镜在私有/公有网络环境中，同时或非同时，与私有/公有云端、至少一个移动/非移动智能终端、至少一个可穿戴智能设备之间，通过蓝牙、无线网络进行数据传输。控制组件，用于接收控制指令，并发送至集成运算组件，控制指令的种类至少包括：触摸指令，按键指令，遥控指令，语音控制指令。集成运算组件，用于接收所述控制组件发送的控制指令并作出相应反馈，还用于与所述混合现实协处理器互相配合的进行数据处理。电源组件，至少包括一组聚合物电池，用于对所述混合现实智能眼镜进行电源管理，至少包括：电源管理功能、显示电量功能、快速充电功能，当低于电量阈值时通过集成运算组件切换至节能模式。其中，电源组件中的快充控制电路、升压控制电路、低压稳压器控制电路用于实现快速充电功能。

本发明提供实现与虚拟3d模型交互的方法及mr混合现实智能眼镜，此眼镜中的混合现实协处理器中处理位置姿态数据集的逻辑门电路阵列，根据位置姿态感应模组采集相关数据，输出虚拟3d模型与混合现实智能眼镜之间的相对变化位置关系；混合现实协处理器中还有处理图像数据集的逻辑门电路阵列，根据图像感应模组采图像数据集，获取虚拟3d模型待交互位置的深度信息。上述位置关系和深度信息，经由本混合现实协处理器中逻辑门电路阵列根据相对位置关系、所述深度信息及交互指令，实现佩戴所述混合现实智能眼镜的佩戴者与虚拟3d模型的实时交互。

本发明的优点是，通过以上技术方案，通过增加混合现实协处理器，分担现有技术中处理器任务负担，能够连续对虚拟3d模型的位置跟踪，解决了现有技术中解决了处理器能力不够造成的混合现实智能眼镜上显示的虚拟3d模型在虚空中叠加的位置不精确，由于处理能力不够造成的数据输出不同步，导致的虚实融合不连贯、设备死机、佩戴者无法即时与虚拟3d模型交互的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的实现与虚拟3d模型交互的方法的流程图；

图2为本发明具体实施例的流程图；

图3为图2中步骤203的具体流程图；

图4为本发明提供的实现与虚拟3d模型交互的mr混合现实智能眼镜的结构示意图；

图5为图4中位置姿态感应模组41的结构示意图；

图6为图4中图像感应模组42的结构示意图；

图7为图4中混合现实协处理器43结构示意图；

图8为图7中图像识别逻辑门电路阵列72结构示意图；

图9为应用本发明技术方案的移动交互指令的场景示意图；

图10为应用本发明技术方案的点触交互指令的场景示意图；

图11为本发明提供的混合现实智能眼镜中各个组件的连接及传输示意图；

图12为本发明提供的混合现实智能眼镜的产品示意图；

图13为本发明技术方案中位置姿态感应模组中惯性测量单元的测量示意图；

图14a和图14b，为本发明技术方案中pcba主控板的结构示意图；

图15a和图15b，为本发明技术方案中pcba数据采集板的结构示意图；

图16a和图16b，为本发明方案中混合现实智能眼镜中pcba功能板的结构示意图；

图17为，本发明方案中混合现实智能眼镜的触摸组件的pcba触摸板；

图18中有图14a-图17所示的pcba板以及电池组件的实际装配图；

图19为，本发明技术方案中位置姿态感应模组中惯性测量单元的电气连接示意图；

图20为本发明技术方案中位置姿态感应模组中地磁传感器的电气连接示意图；

图21为本发明技术方案中图像感应模组模组中光飞传感器的电气连接示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的实现与虚拟3d模型交互的方法的流程图，如图1所示，包括：

步骤101、图像感应模组采图像数据集，位置姿态感应模组采集位置姿态数据集。

对于图像感应模组：

单/双/多目深度摄像模组采集深度帧图像。光飞传感器连续采集所述所述虚拟3d模型待交互位置与所述混合现实眼镜之间的间距。

对于位置姿态感应模组：

惯性测量单元连续采集所述混合现实智能眼镜的三维空间中的角速度变化数据和加速度变化数据；

地磁传感器，用于至少感知所述混合现实智能眼镜在当前使用环境中的磁场数据和经纬度变化数据。

步骤102、混合现实协处理器对图像数据集进行数据处理，获取虚拟3d模型待交互位置的深度信息。

所述混合现实协处理器中的图像识别逻辑门电路阵列从所述深度帧图像中，获取所述虚拟3d模型待交互位置所处表面为平面或非平面。

具体的：图像识别逻辑门电路阵列根据其中的图像识别ip核，从深度帧图像中提取像素特征点。根据所述像素特征点构成的形状，判断所述虚拟3d模型待交互位置所处表面为平面或非平面。若像素特征点构成完整轮廓，且轮廓中无其余像素特征点则待交互位置所处表面为平面，若轮廓中有其余像素特征点则待交互位置所处表面为非平面。

混合现实协处理器还根据所述间距，混合现实协处理器还根据所述间距，结合预设比例关系确定虚拟3d模型的虚拟尺寸。虚拟尺寸为，所述虚拟3d模型现实空间内的虚拟叠加尺寸。

图像识别逻辑门电路阵列的获取方式为，对对图像识别算法文件进行压缩，根据黄金参考模型判断压缩结果是否正确，若正确，将压缩结果下载至可编程逻辑门电路阵列生成硬件电路生成图像识别ip核。图像识别逻辑门电路阵列中有至少两个通过上述方法获取的所述图像识别ip核。

步骤103、混合现实协处理器对位置姿态数据集进行数据处理，输出虚拟3d模型与混合现实智能眼镜之间的相对位置关系。

所述混合现实协处理器中位置姿态逻辑门电路阵列依据其内部的位置姿态ip核对所述角速度变化数据、加速度变化数据、磁场数据、经纬度变化数据，连续数据处理，获取到所述虚拟3d模型与所述混合现实智能眼镜之间的相对位置数据，并将所述相对位置数据整合，输出所述相对位置关系。

位置姿态逻辑门电路阵列的获取方式为，对位置姿态算法文件进行压缩，重设数据接口类型，验证后，将压缩后的所述位置姿态算法文件、重设后的所述数据接口类型封装至可编程逻辑门电路阵列，固化的硬件电路为位置姿态ip核，位置姿态逻辑门电路阵列中有至少两个通过上述方法获取的所述位置姿态ip核。

步骤104、混合现实协处理器根据相对位置关系、深度信息及交互指令，实现混合现实智能眼镜的佩戴者与虚拟3d模型的交互。

混合现实协处理器，依据所述交互指令调取相应指令内容。

所述虚拟3d模型在所述待交互位置依据所述指令内容产生形状/形态/位置变化，并根据所述待交互位置所处表面为平面或非平面的判断结果，将所述虚拟3d模型虚拟叠加于待交互位置上，变化后的虚拟3d模型被折射/投射至混合现实智能眼镜的数字光学显示组件上。

具体的，混合现实协处理器在对虚拟3d模型进行显示还根据所述相对位置关系对所述虚拟3d模型跟踪。

其中，若为所述表面为平面，则所述虚拟3d模型依照所述交互指令，虚拟叠加于平面中任意一像素点上；若为非平面，则此虚拟3d模型依照所述交互指令，虚拟叠加于此平面中的任意一像素特征点上。

本发明提供实现与虚拟3d模型交互的方法，此眼镜中的混合现实协处理器中处理位置姿态数据集的逻辑门电路阵列，根据位置姿态感应模组采集相关数据，输出虚拟3d模型与混合现实智能眼镜之间的相对变化位置关系；混合协处理器中还有处理图像数据集的逻辑门电路阵列，根据图像感应模组采图像数据集，获取虚拟3d模型待交互位置的深度信息。上述两个逻辑门电路阵列同时工作，同时输出上述位置关系和深度信息，经由本混合现实协处理器中逻辑门电路阵列根据相对位置关系、所述深度信息及交互指令，实现佩戴所述混合现实智能眼镜的佩戴者与虚拟3d模型的实时交互。

本发明的优点是，通过以上技术方案，通过增加混合现实协处理器，分担现有技术中处理器任务负担，能够实现图像数据与位置姿态数据的同步输出，从而实现对虚拟3d模型的即时交互，解决了处理器能力不够造成的混合现实智能眼镜上显示的虚拟3d模型在虚空中叠加位置不精确，数据输出不同步，导致的虚实融合不连贯，佩戴者无法即时与虚拟3d模型交互的问题。

现用一具体实施例描述本发明技术方案，在本实施例中，位置姿态逻辑门电路阵列涉及的具体位置姿态算法以undistortpoints为例进行说明，并非用以对位置姿态逻辑门电路阵列中的具体算法类型进行限制。

图2为本发明具体实施例的流程图，如图2所示：

步骤201、惯性测量单元采集角速度变化和加速度变化数据。

其中惯性测量单元具体为imu(inertialmeasurementunit)。其中有，三个加速度传感器和三个角速度传感器(陀螺)，分别用于获取混合现实智能眼镜的加速度分量和角度信息。

步骤202、地磁传感器感知当前环境磁场和经纬度变化。

imu利用其中的加速传感器和陀螺仪，基本可以描述设备的完整运动状态。但是随着长时间运动，也会产生累计偏差，不能准确描述运动姿态，比如操控画面发生倾斜。

地磁传感器中有电子罗盘利用测量地球磁场，通过绝对指向功能进行修正补偿，可以有效解决累计偏差，从而修正人体的运动方向、姿态角度、运动力度和速度等。

步骤203、位置姿态ip核将上述数据进行编码，生成相对位置关系及轨迹。

位置姿态ip核在位置姿态逻辑门电路阵列中。

上述数据包括：间距、角速度变化数据、加速度变化数据、磁场数据、经纬度变化数据。

相对位置关系具体指虚拟3d模型与混合现实眼镜的相对位置关系。

在应用场景中，步骤201和步骤202中各个组件不间断采集相应数据，最终在步骤203中获取了虚拟3d模型与混合现实智能眼镜之间的动态位置关系，以及各自的运动轨迹。

具体的，位置姿态逻辑门电路阵列的获取方式为，对位置姿态算法文件进行压缩，重设数据接口类型，验证后，将改写后的位置姿态算法文件、数据接口类型封装至可编程逻辑门电路阵列(例如：fpga芯片)，从而固化为硬件电路，此硬件电路为位置姿态ip核。从而，此位置姿态ip核具有高并发多通道处理数据的能力。

现具体说明步骤203中提及的位置姿态逻辑门电路阵列中某一位置姿态ip核对应的逻辑门电路的获取方式，以位置姿态算法中的undistortpoints算法为例，如图3所示：

步骤301、将solvepnp函数改写为solvepnp_mc函数。

使用convertto函数，将points3d转化为mat的形式points3dm，然后输入slovepnp后进行改写。拆分类的成员变量为各子函数接口，由于hls不识别，所以不采用全局变量的形式。拆分类的函数成员为各子函数。

步骤302、定义接口mat类型。

类型为hls::mat<pnum,pnum_col,hls_32fc2>points2d_s；

hls::mat<pnum,pnum_col,hls_32fc3>points3d_s。

步骤303、扩展rt接口为输入输出接口。

步骤304、输入赋初值，完成运行框架。

其中，在向主函数输入赋初值时，屏蔽其他计算。

具体的，将mat替换为window，采用loop_fill:for(intbuf_row＝0；buf_row<w_height；buf_row++)为window赋初值。

步骤305、undistortpoints逻辑门电路完成。

具体的，将上述替换函数，rt输入输出接口，和接口数据类型，映射到fpga芯片中，生成了具有undistortpoints这一算法功能的逻辑门电路阵列，上所述过程为对undistortpoints这一算法的重构。

将重构的位置姿态算法封装至可编程逻辑门阵列中，得到此算法对应的位置姿态ip核，位置姿态计算逻辑门电路阵列中多个这样的位置姿态ip核，每个位置姿态ip核中各有与其相对应的位置姿态算法。

同样的，本发明技术方案中涉及的图像识别ip核其获取方法与位置姿态ip核相同。

从而，将位置姿态算法和图像识别算法分别压缩为位置姿态ip核和图像识别图像识别ip核，并封装至fpga芯片中，而fpga芯片有片上存储(blockram)，其片上存储区与数据运算电路在同一芯片上无缝对接，待处理数据在芯片内部流转，与现有技术相比，待处理数据的流转速度更快。

进一步的，fpga芯片中有若干逻辑门电路单元，每个逻辑门电路单元有下属百万级逻辑门电路阵列，在进行数据处理时可以将待处理数据分流，同时进行数据处理，极大地提升了处理速度。

步骤204、深度摄像模组采集待交互位置的深度帧图像。

具体的，深度摄像模组根据设备需求可以是单目深度摄像头，也可以是双目深度摄像模组，还可以是多个深度摄像头组成的深度摄像头阵列。

步骤205、光飞传感器采集虚拟3d模型和混合现实眼镜之间的间距。

用于根据向目标连续发送光脉冲并接收从物体返回的光，通过探测光脉冲的飞行(往返)时间获取混合现实智能眼镜与虚体物体之间的距离。具体来说是根据光在眼镜和虚拟3d模型对应的虚拟坐标中的飞行时间，来计算眼镜与虚拟3d模型待交互位置之间的距离。

步骤206、获取虚拟3d模型待交互位置所处表面为平面或非平面。

图像识别逻辑门电路阵列中的图像识别ip核根据深度帧图像中的像素特征点获取虚拟3d模型待交互位置所处表面为平面或非平面。具体的，图像识别ip核提取当前深度帧图像中的中心像素点，计算与中心像素点相邻像素点的权值，分别与其对应的相邻像素值进行对比，若此邻近像素点的值比中心像素值小，就将此位置记0，反之，则记1并标记为像素特征点。对深度帧图像中的像素点都处理完毕后，最终获取到像素特征点的集合，这些像素特征点构成相应轮廓形状，从而获取表面类型(平面或非平面)。

若特征点集合中各个特征的是连续的，能够构成一个连续的图形形状且此形状中无其他特征点，则待交互位置所处表面为平面。

若特征点结合中各个特征点是在一个形状内呈离散状，则待交互位置所处表面为非平面。

其中，图像识别逻辑门电路阵列的获取方式为，对图像识别算法文件进行压缩，根据黄金参考模型判断压缩结果是否正确，若正确，将压缩结果下载至可编程逻辑门电路阵列生成硬件电路生成图像识别ip核。图像识别逻辑门电路阵列中有至少两个通过上述方法获取的图像识别ip核。

黄金参考模型是，参考图像依据原图像识别算法处理后的像素图像，在本发明中作为验证改写结果是否正确的标准。

步骤207、获取交互指令内容。

交互指令及其对应的指令内容，预存于混合现实智能眼镜中的存储器或云端，用于在交互时被调取并执行。包括但不限于存储以下交互指令：单指点触指令，手掌朝上显示指令，双指张开/闭合为放大/缩小指令，单指滑动为旋转指令。这些交互指令对应的指令内容仅仅用于举例，实际应用中交互指令及其对应的交互内容可根据佩戴者/软件需求自由定义。

图像识别逻辑门电路阵列根据与存储在寄存器的交互指令，对单/双目深度摄像头采集的深度帧图像，进行指令特征轮廓提取，获取深度帧图像中与交互指令对应的动作。

步骤208、根据间距虚拟3d模型的虚拟尺寸。

根据步骤205中光飞传感器采集的间距，结合预设比例关系确定虚拟3d模型在现实空间内的虚拟叠加尺寸。

例如，当步骤205中光飞传感器采集到待交互位置与混合现实智能眼镜间距为l(l为自然数，单位为长度单位)时，虚拟3d模型的虚拟尺寸为a*b*c(abc为自然数，单位为长度单位)，若间距l减少了10％，则虚拟3d模型的虚拟尺寸为0.9a*0.9b*0.9c，等比例缩小。

步骤209、将交互结果折射/投射至数字光学显示组件上。

交互结果至少包括：虚拟3d模型依据指令内容进行改变，依据上述预设比例关系调整后的虚拟尺寸。

数字光学显示组件，由数字光学微显示器件和数字光显示介质等器件组成，包括但不限于以下折射/投射数字光学微显示器件，lcd(liquidcrystaldisplay，液晶显示器)、led(lightemittingdiode，发光二极管)、oled(organiclight-emittingdiode,有机发光二极管)、dmd(digitalmicromirrordevice，数据微镜装置)、dlp(digitallightprocessing，数字光处理)、lcos(liquidcrystalonsilicon，硅基液晶)。数字光显示介质器件，包括但不限于，贴有光波导光栅的镜片、半透/全透显示光学棱镜组件、自由曲面光学透镜半透/全透显示组件、波导光学半透/全透显示镜片组件等。

下表(表1)为，采用本发明技术方案的，混合现实协处理器中图像识别逻辑门电路阵列与现有技术中8核arm-cortexa7cpu在同等条件下，1帧的，相同大小的600p、720p和1080p分辨率的图像的处理速度对比，如表中所示，在处理600p图像时图像逻辑门阵列的处理速度是8核arm-cortexa7cpu的199.2倍，在处理720p图像时图像逻辑门阵列的处理速度是8核arm-cortexa7cpu的327.8倍，在处理1080p图像时图像逻辑门阵列的处理速度是8核arm-cortexa7cpu的282.8倍。(注：数据均为1000次测量的平均值)。在处理过程中用的算法为手势识别算法中常调用的elbp算法。

表1

从表1中的处理速度可以看出，相对于传统cpu，混合现实协处理器在处理速度上有巨大优势。且上表为对1帧图像的处理速度对比，在实际应用场景中，图像是多帧连续的，显而易见的，若有m帧的图像(m≥2)，图像数据量就会增加m倍。由此可见，在处理连续帧图像时，处理速度会成倍增加，解决了数据处理能力不够的问题。

本发明提供实现与虚拟3d模型交互的方法，此眼镜中的混合现实协处理器中处理位置姿态数据集的逻辑门电路阵列，根据位置姿态感应模组采集相关数据，输出虚拟3d模型与混合现实智能眼镜之间的相对变化位置关系；混合现实协处理器中还有处理图像数据集的逻辑门电路阵列，根据图像感应模组采图像数据集，获取虚拟3d模型待交互位置的深度信息，上述两个逻辑门电路阵列同时工作，同时分别输出位置关系和深度信息。本混合现实协处理器中逻辑门电路阵列根据相对位置关系、深度信息及交互指令，实现佩戴所述混合现实智能眼镜的佩戴者与虚拟3d模型的实时交互。

本发明的优点是，通过上述技术方案，能够实现图像数据与位置姿态数据的同步输出，从而实现对虚拟3d模型的即时交互，解决了处理器能力不够造成的混合现实智能眼镜上显示的虚拟3d模型在虚空中叠加位置不精确，数据输出不同步，导致的虚实融合不连贯，佩戴者无法即时与虚拟3d模型交互的问题。

图4为本发明提供的实现与虚拟3d模型交互的mr混合现实智能眼镜的结构示意图：

图像感应模组41，用于采图像数据集。

位置姿态感应模组42，用于采集位置姿态数据集。

混合现实协处理器43，用于对图像感应模组41采集的图像数据集进行数据处理，获取虚拟3d模型待交互位置的深度信息，用于根据相对位置关系、深度信息及交互指令，实现佩戴混合现实智能眼镜的佩戴者与所述虚拟3d模型的交互。其中，交互指令及其对应的指令内容预存于所述混合现实智能眼镜中的存储器或云端。

混合现实协处理器43，还用于对位置姿态感应模组42采集的位置姿态数据集进行数据处理，输出虚拟3d模型与混合现实智能眼镜之间的相对位置关系。

无线通讯组件44，用于实现混合现实智能眼镜在私有/公有网络环境中，同时或非同时，与私有/公有云端、至少一个移动/非移动智能终端、至少一个可穿戴智能设备之间，通过蓝牙、无线网络进行数据传输。还用于，佩戴混合现实智能眼镜的佩戴者根据自身需求，打开相应网站/应用，进行视频、文本、图像等数据资料的传输。

具体的，私有/公有网络环境至少包括局域网、城域网、广域网和互联网。

智能终端包括但不限于：智能家居终端(智能灯、智能门锁、智能净化器等等)、智能交通设备、平板电脑、手提电脑、智能手机，智能电子词典等。可穿戴智能设备包括但不限于：智能手环，智能耳机(有线/无线)、智能手表等。

上述智能终端和可穿戴智能设备，与本发明技术方案提供的混合现实智能眼镜，可以通过蓝牙或无线网络进行一对一的连接组合，也可以多个互相连接形成物联网，通过混合现实智能眼镜控制此物联网中的一个或多个智能设备，也可以被这些智能设备控制，达到智能设备与眼镜交互的目的。

控制组件45，用于接收控制指令，并发送至集成运算组件46，控制指令的种类至少包括：触摸指令，按键指令，遥控指令，语音控制指令。上述控制指令是用于实现佩戴者与混合现实智能眼镜之间的命令交互。

其中，触摸指令通过混合现实智能眼镜表面的触摸板实现，通过包括但不限于红外线感应非接触触控、电容触控、电阻触控等触控方式进行操控。按键指令通过位于混合现实智能眼镜表面的物理按键实现。遥控指令通过与混合现实智能眼镜相连接的智能遥控设备发送，智能遥控设备与混合现实眼镜的连接方式包括但不限于蓝牙、红外线、zigbee、wifi无线网络连接。智能遥控设备包括但不限于：智能遥控器、智能家居终端，智能手机、智能平板电脑等。语音控制指令通过，语音数据采集组件获取，包括但不限于，数字硅麦克风单元、模拟麦克风单元、硅微麦克风单元、数字矩阵话筒单元等。声音外放设备包括但不限于，扬声器单元/扬声器阵列，骨传导扬声器阵列单元等组件。

集成运算组件46，用于接收控制组件45发出的控制指令并执行相应指令内容，例如：开机、关机、ui系统菜单切换、音量/亮度调整、显示视角切换等等功能性指令。

还至少包括：打开/关闭此混合现实智能眼镜中的应用，还能够通过无线通讯组件44打开/关闭与此混合现实智能眼镜连接的移动/非移动智能终端中的应用，对动/静态像素文件进行拍摄，对此混合现实智能眼镜中的其它组件进行优化设置/功能设置等。

电源组件47，至少包括一组聚合物电池，用于对所述混合现实智能眼镜进行电源管理，至少包括：电源管理功能、显示电量功能、快速充电功能，当低于电量阈值时通过集成运算组件切换至节能模式。其中电源组件中的供电装置可以是：卷绕式聚合物电池和叠片式聚合物电池。

电源管理，还包括：低水平电量通知，是否允许设备睡眠，在mr混合现实应用运行中是否增大电量输出优化输出效果，根据当前电量状况对集成预算组件和混合现实协处理器等进行合理的供电量分配，能够自适应的调整对混合现实智能眼镜中各个组件的电量分配等。

混合现实智能眼镜中电源组件47有快充控制电路、升压控制电路、低压稳压器控制电路，能够实现快速充电功能。

数字光学显示组件48，用于显示上述交互结果。

数字光学显示组件48，包括左目数字光学显示组件48a，右目数字光学显示组件48b。

数字光学显示组件48，由数字光学微显示器件和数字光显示介质等器件组成，包括但不限于以下折射/投射数字光学微显示器件，lcd(liquidcrystaldisplay，液晶显示器)、led(lightemittingdiode，发光二极管)、oled(organiclight-emittingdiode,有机发光二极管)、dmd(digitalmicromirrordevice，数据微镜装置)、dlp(digitallightprocessing，数字光处理)、lcos(liquidcrystalonsilicon，硅基液晶)。数字光显示介质器件，包括但不限于，贴有光波导光栅的镜片、半透/全透显示光学棱镜组件、自由曲面光学透镜半透/全透显示组件、波导光学半透/全透显示镜片组件等。

如图5所示，图像感应模组41，包括：

单/双/多目深度摄像模组51，用于采集深度帧图像。

光飞传感器52，用于连续采集所述所述虚拟3d模型待交互位置与所述混合现实眼镜之间的间距。

如图6所示，位置姿态感应模组42，包括：

惯性测量单元61，用于连续采集混合现实智能眼镜的三维空间中的角速度变化数据和加速度变化数据。

地磁传感器62，用于至少感知所述混合现实智能眼镜在当前使用环境中的磁场数据和经纬度变化数据。

如图7所示，混合现实协处理器43，包括：

图像识别逻辑门电路阵列71，位置姿态逻辑门电路阵列72。

图像识别逻辑门电路阵列71，用于从所述深度帧图像中，获取所述虚拟3d模型待交互位置所处表面为平面或非平面。

图像识别逻辑门电路阵列71的获取方式为，对图像识别算法文件进行压缩，根据黄金参考模型判断压缩结果是否正确，若正确，将压缩结果下载至可编程逻辑门电路阵列生成硬件电路生成图像识别ip核。图像识别逻辑门电路阵列中有至少两个通过上述方法获取的所述图像识别ip核。

位置姿态逻辑门电路阵列72，用于依据其内部的位置姿态算法对所述角速度变化数据、加速度变化数据、磁场数据、经纬度变化数据，连续数据处理，获取到虚拟3d模型与混合现实智能眼镜之间的相对位置数据，并将所述相对位置数据整合，输出相对位置关系。

位置姿态逻辑门电路阵列72的获取方式为，对位置姿态算法文件进行压缩，重设数据接口类型，验证后，将压缩后的所述位置姿态算法文件、重设后的所述数据接口类型封装至可编程逻辑门电路阵列，固化的硬件电路为位置姿态ip核，位置姿态逻辑门电路阵列72中有至少两个通过上述方法获取的所述位置姿态ip核。

如图8所示，图像识别逻辑门电路阵列71，具体包括：

图像素特征点提取单元81，用于图像识别逻辑门电路阵列52根据其中的图像识别算法，从单/双/多目深度摄像模组61采集的深度帧图像中提取像素特征点。

表面类型获取单元82，用于根据像素特征点提取单元81提取的像素特征点构成的形状，判断虚拟3d模型待交互位置所处表面为平面或非平面，具体的：若像素特征点构成完整轮廓，且轮廓中无其余像素特征点则表面为平面，若轮廓中有其余像素特征点所述表面为非平面。

混合现实协处理器43还用于，依据交互指令调取相应指令内容，指示所述虚拟3d模型在待交互位置依据所述指令内容产生形状/形态/位置变化，并根据所述表面类型获取单元82对待交互位置所处表面为平面或非平面的结果，将所述虚拟3d模型虚拟叠加于待交互位置上，变化后的所述虚拟3d模型被折射/投射至所述混合现实智能眼镜的数字光学显示组件上。

其中，混合现实协处理器还根据所述间距，结合预设比例关系确定所述虚拟3d模型的虚拟尺寸。虚拟尺寸为，虚拟3d模型在现实空间内的虚拟叠加尺寸。

其中，混合现实协处理器43还根据相对位置关系对虚拟3d模型跟踪。

其中，若表面类型获取单元82获取虚拟3d模型待交互位置所处表面为平面，则所述虚拟3d模型依照所述交互指令，虚拟叠加于平面中任意一像素点上；若表面类型获取单元获取虚拟3d模型待交互位置所处表面为非平面，则所述虚拟3d模型依照所述交互指令，虚拟叠加于此平面中的任意一像素特征点上。

在本技术方案中涉及的数字光学显示组件，由数字光学微显示器件和数字光显示介质等器件组成，包括但不限于以下折射/投射数字光学微显示器件，lcd(liquidcrystaldisplay，液晶显示器)、led(lightemittingdiode，发光二极管)、oled(organiclight-emittingdiode,有机发光二极管)、dmd(digitalmicromirrordevice，数据微镜装置)、dlp(digitallightprocessing，数字光处理)、lcos(liquidcrystalonsilicon，硅基液晶)。数字光显示介质器件，包括但不限于，贴有光波导光栅的镜片、半透/全透显示光学棱镜组件、自由曲面光学透镜半透/全透显示组件、波导光学半透/全透显示镜片组件等。

本发明技术中提及的图像感应模组、位置姿态感应模组、混合现实协处理器、无线通讯组件、控制组件、集成运算组件、电源组件、数字光学显示组件之间的通信协议包括但不限于：i2c、mipicsi、mipidsi、usb、spi、sdio,uart、pcm。

现用实际应用场景中说明本发明技术方案，在举例的实际场景中，交互指令以手势指令为例进行说明，并不用以对交互指令的获取方式进行限制。用双目深度摄像模组作为具体的图像采集设备，并非对深度摄像模组的数量进行限制。在本场景中，虚拟3d模型待交互位置所处的表面以平面为例进行说明，并非对表面类型进行限制。

示意图如图8所示：

图9为移动交互指令的场景示意图。

在位置a，虚拟3d模型-恐龙被放置于混合现实智能眼镜佩戴者的掌心，佩戴者掌心朝上，且手掌姿态能够被混合现实智能眼镜中的双目深度摄像模组拍摄。依照箭头方向，佩戴者保持掌心朝上的动作持续移动手掌至位置b，虚拟3d模型-恐龙跟随手掌移动而移动至位置b。

图10为点触交互指令的场景示意图。

在形态c，混合现实眼镜佩戴者的手指虚空触摸虚拟3d模型-恐龙的显示图像，指令生效后，恐龙旁边出现虚拟3d模型-树木即为形态d。

需要说明的是，在图9中，a至b的过程中产生位移变化；在图10中，c至d的过程中只有虚拟3d模型-恐龙的形态变化没有位移变化，仅仅是为了更直观的展现虚拟3d模型形态变化的前后对比才将c与d的状态放置在同一张图中。

通过图9和图10的相关描述以及上述对本发明技术方案的说明，本方案能够，在视场角范围内，通过肉眼感知经mr混合现实协处理器输出的虚拟3d模型，并持续与之互动。

本发明技术方案提供的，混合现实智能眼镜其中各个部分之间的传输协议如图11中所示。

图12为，本发明提供的混合现实智能眼镜的产品示意图，上述各个组件位置在产品中位置如图所示(眼镜图)。

图13为，本发明技术方案中，位置姿态感应模组中惯性测量单元的测量示意图。惯性测量单元中x，y，z轴的正变化方向如图中箭头所示。

图14a和图14b为，本发明技术方案中pcba主控板的结构示意图。

pcba(printedcircuitboardassembly，印刷电路板装配)。

如图所示，混合现实协处理器及其通讯单元和存储器，集成运算组件及其通讯单元和存储器，通过贴片等制作流程，将以上组件贴合于pcb印刷电路板上，从而获取到pcba主控板。其中，集成运算组件通讯单元，混合现实协处理器通讯单元分别用于集成运算组件与混合现实协处理器与其他组件/单元/存储器进行数据数据传输。

图14a为pcba主控板的a面，图14b为pcba主控板b面。

图15a和图15b为，本发明技术方案中pcba数据采集板的结构示意图。

如图所示，所述单/双/多目深度摄像模组的驱动组件，所述惯性测量单元、光飞传感器、地磁传感器，通过贴片等制作流程将以上组件贴合于pcb印刷电路板上，形成pcba数据采集板。

图15a为pcba数据采集板的a面，图15b为pcba数据采集板的b面，图15b中的排线接口用于，与图14a所示的pcba主控板连接。

图16a和图16b为，本发明方案中混合现实智能眼镜中pcba功能板的结构示意图。

无线通讯组件，所述电源组件的电源管理芯片，所述感应模组的驱动组件通过贴片等制作流程将以上组件贴合于pcb印刷电路板上，形成pcba功能板。此pcba功能板上还包括其它连接组件，具体如图所示。

图16a为pcba功能板的a面，图16b为pcba功能板的b面，图16b图中的排线接口用于，与图14所示的pcba主控板连接。

图17为，本发明方案中混合现实智能眼镜的触摸组件的pcba触摸板。

如图所示，pcba触摸板用于接收/感知触摸动作，该触摸板驱动组件用于将触摸板接收/感知的触摸动作转化为触摸指令并传输。

图18中有图14-图17所示的pcba板以及电池组件的实际装配图。

图14a和图14b所示的pcba主控板位于混合现实智能眼镜的右镜腿内侧(靠近佩戴者头部)，图17所示pcba触摸板位于右镜腿外侧，便于佩戴者触摸。

图15a和图15b所示的pcba数据采集板位于混合现实智能眼镜的镜框上部半部分。

图16a和图16b所示的pcba功能板位于混合现实智能眼镜的左镜腿外侧，电源组件位于左镜腿内侧，具体位置如图所示。

图18中电池组件中至少包括一组聚合物电池(固体聚合物电解质锂离子电池、聚合物正极材料的锂离子电池等)，防短路的保护电路及其快充控制电路、升压控制电路、低压稳压器控制电路，用于根据电源管理芯片的指令控制电池充/放电。

本发明提供实现与虚拟3d模型交互的mr混合现实智能眼镜，通过位置姿态感应模组采集位置姿态数据集。图像感应模组采图像数据集。混合现实协处理器，用于对位置姿态数据集和图像数据集进行数据处理，输出虚拟3d模型与混合现实智能眼镜之间的相对位置关系，获取虚拟3d模型待交互位置的深度信息。混合现实协处理器根据相对位置关系、所述深度信息及交互指令，实现佩戴所述混合现实智能眼镜的佩戴者与所述虚拟3d模型的交互。

本发明的优点是，通过以上技术方案，通过增加混合现实协处理器，分担现有技术中处理器任务负担，能够实现图像数据与位置姿态数据的同步输出，从而实现对虚拟3d模型的即时交互，解决了处理器能力不够造成的混合现实智能眼镜上显示的虚拟3d模型在虚空中叠加位置不精确，数据输出不同步，导致的虚实融合不连贯，佩戴者无法即时与虚拟3d模型交互的问题。

本发明技术方案应用于，包括但不限于ar/mr人机互动操作及相关应用。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。