一种基于重构算法集并加速处理混合现实数据流的MR智能眼镜及方法与流程

本发明涉及混合现实领域，尤其涉及基于重构算法集的加速处理混合现实数据流mr智能眼镜及方法。

背景技术：

随着科技的发展，虚拟现实vr、增强现实ar和混合现实mr逐渐进入大众视野。目前应用于ar/mr领域的计算机视觉、计算机图形学技术以及人工智能技术，均采用绝大部分依托于cpu+gpu架构。而且由cpu进行来主导运算处理。cpu在处理多线程调度任务等领域有诸多优势，但其处理运算方式为串行运算。

具体来说，cpu在对混合现实mr数据流进行运算时，首先将各指令任务分类，根据数据类型的优先级，对任务逐项进行处理。根据每一任务中包含的数据调取相应算法对其进行处理。以计算机视觉数据为例：cpu对每个待处理数据中的每个像素数据依次进行一次完整运算，完整运算包括对其行数据和列数据的遍历，当遍历完成所有像素数据并输出完整图像结果后，才能对下一图像的像素数据进行数据处理。

但是，在这些待处理的像素数据中会包含大量重复的类型数据，在对每个任务进行数据处理时对涉及的相关支撑库算法都需要在内存中进行进行反复调用读写，这些算法在cpu中进行计算，十分耗时，会降低cpu的运行效率，增加了系统整体功耗，从而导致了数据处理速度慢的问题。

技术实现要素：

本发明提供基于重构算法集的加速处理混合现实数据流mr智能眼镜及方法，通过类型数据感知器感知mr数据流中类型数据，综合深度神经网络的训练结果，对算法集中的原ip算法模块中逻辑单元计算并行化，用以解决现有设备中混合现实mr数据处理速度慢的问题。

为了实现上述目的，本发明的实施例采用如下技术方案：

第一方面，本发明技术方案提供了一种基于重构算法集并加速处理混合现实数据流的mr智能眼镜，所述mr智能眼镜包括：感知组件，用于类型数据感知器感知混合现实mr数据流中类型数据。并行及重构组件，用于根据所述感知组件感知的所述类型数据的类型，对原始算法集中的每个原ip算法模块中的逻辑单元计算并行化，得到每个原ip算法模块的重构逻辑单元，并对其设置相同驱动信号，得到重构ip算法模块，进一步得到所述重构算法集。接收组件，用于所述重构及驱动组件重构得到的，所述重构算法集中的重构ip算法模块接收混合现实mr数据流中的类型数据。加速处理输出组件，用于所述重构及驱动组件中的所述重构ip算法模块，对所述接收组件接收的所述类型数据进行加速处理后输出。

在第一种可能实现的方式中，结合第一方面的实现方式，所述感知组件，包括：传感器阵列，用于采集混合现实mr数据流。类型数据感知模块，用于根据预存的数据特征，对感知所述传感器阵列采集的所述混合现实mr数据流中的类型数据。所述传感器阵列中的传感器包括至少一组的：深度摄像模组传感器，温湿度传感器，光飞传感器，气体检测传感器和姿态矫正传感器。

在第二种可能实现的方式中，结合第一方面的第一种可能，所述并行及重构组件，包括：深度神经网络模块，用于，深度神经网络被重构ip算法模块的重构过程和重构结果训练，得到的训练结果，存储在所述深度神经网络模块的深度神经网络训练器中。逻辑单元数量增加模块，用于根据所述类型数据感知模块感知的所述类型数据，和深度神经网络训练器中的训练结果，对与此类型相对应的原ip算法模块中的逻辑单元数量正整数倍增加。选通模块，用于对所述逻辑单元数量增加模块增加后的各逻辑单元下辖并控制的晶体管电路组合进行选通，得到逻辑单元阵列。重构逻辑单元获取模块，用于对所述选通模块编译得到的所述逻辑单元阵列设置为共用同一个驱动接口，得到所述重构逻辑单元。设置及接口获取模块，用于设置驱动信号，并从所述重构逻辑单元获取模块中获取每个所述重构逻辑单元的驱动信号输入接口。信号输入模块，用于将所述设置模块设置的驱动信号从接口获取模块获取每个所述逻辑单元的驱动信号输入接口输入，得到所述重构ip算法模块。

在第三种可能实现的方式中，结合第一方面的实现方式，所述接收组件，用于：从所述感知组件中感知的所述混合现实mr数据流，重构ip算法模块根据自身职能接收所述混合现实mr数据流的类型数据。其中，所述类型数据至少包括：计算机视觉数据、三维地图构建数据、手部姿态位移数据、人脸特征数据。

在第四种可能实现的方式中，结合第一方面的第二种和第三种可能，所述加速处理输出组件，包括：横向缓存模块，用于对所述类型数据中的第一子数据进行横向数据缓存，得到第一横向缓存结果。发送模块，用于将所述横向缓存模块缓存得到的所述第一横向缓存结果发送至纵向缓存，同时，所述横向缓存模块对所述类型数据中第二子数据进行横向数据缓存，得到第二横向缓存结果。数据处理输出模块，用于所述纵向缓存与所述重构ip算法单元对接收的所述第一横向缓存结果进行数据处理，得到第一子数据结果并输出。数据处理输出模块，还用于在输出所述第一子数据结果的同时，对所述纵向缓存与所述重构ip算法单元对所述第二横向缓存结果进行数据处理，之后得到第二子数据结果并输出。其中，所述横向缓存数据容量是纵向缓存数量的正整数倍；所述类型数据中至少包含两个子数据。

第二方面，本发明技术方案提供了一种基于重构算法集并加速处理混合现实数据流的方法，所述方法包括：类型数据感知器感知混合现实mr数据流中类型数据。根据所述类型数据的类型，对原始算法集中的每个原ip算法模块中的逻辑单元计算并行化，得到每个原ip算法模块的重构逻辑单元，并对其设置相同驱动信号，得到重构ip算法模块，进一步得到所述重构算法集；所述重构算法集中的所述重构ip算法模块接收混合现实mr数据流中的类型数据；所述重构ip算法模块对接收的所述类型数据进行加速处理后输出。

在第一种可能实现的方式中，结合第二方面的实现方式，所述类型数据感知器感知混合现实mr数据流中类型数据，包括：类型数据感知器中的传感器阵列采集混合现实mr数据流。传感器阵列中的传感器包括至少一组的：深度摄像模组传感器，温湿度传感器，光飞传感器，气体检测传感器和姿态矫正传感器。

在第二种可能实现的方式中，结合第二方面的第一种可能，所述根据所述类型数据的类型，对原始算法集中的每个原ip算法模块中的逻辑单元计算并行化，得到每个原ip算法模块的重构逻辑单元，并对其设置相同驱动信号，得到重构ip算法模块，进一步得到所述重构算法集，包括：根据所述类型，和深度神经网络训练器中的训练结果对与此类型相对应的原ip算法模块中的逻辑单元数量正整数倍增加。对各逻辑单元下辖并控制的晶体管电路组合进行选通，得到逻辑单元阵列及信号传输通路。将所述逻辑单元阵列中的各个逻辑单元设置为共用同一个驱动接口，得到所述重构逻辑单元。设置驱动信号，获取每个所述重构逻辑单元的驱动信号输入接口；将所述驱动信号输入每个所述逻辑单元，得到所述重构ip算法模块。其中，每次重构ip算法模块的过程和重构结果都对深度神经网络进行训练，得到所述训练结果，所述训练结果存储在所述深度神经网络训练器中。

第三种可能实现的方式中，结合第二方面的实现方式，所述重构算法集中的所述重构ip算法模块接收混合现实mr数据流中的类型数据，包括：从所述类型数据感知器中接收的所述混合现实mr数据流。所述重构ip算法模块根据自身职能接收所述混合现实mr数据流的类型数据。其中，所述类型数据至少包括：计算机视觉数据、三维地图构建数据、手部姿态位移数据、人脸特征数据。

在第四种可能实现的方式中，结合第二方面的第二种和第三种可能，所述重构ip算法模块对接收的所述类型数据进行加速处理后输出，包括：对所述类型数据中的第一子数据进行横向数据缓存，得到第一横向缓存结果。将所述第一横向缓存结果发送至纵向缓存，同时，对所述类型数据中第二子数据进行横向数据缓存，得到第二横向缓存结果。所述纵向缓存与所述重构ip算法单元对接收的所述第一横向缓存结果进行数据处理，得到第一子数据结果并输出。在输出所述第一子数据结果的同时，所述纵向缓存与所述重构ip算法单元对所述第二横向缓存结果进行数据处理，之后得到第二子数据结果并输出。其中，所述横向缓存数据容量是纵向缓存数量的正整数倍；所述类型数据中至少包含两个子数据。

本发明技术方案提供了一种基于重构算法集并加速处理混合现实数据流的方法：类型数据感知器感知mr数据流中类型数据后，原始算法集中的每个原ip算法模块中的逻辑单元计算并行化后同步驱动信号，最终得到重构算法集，在重构过程中深度神经网络根据训练结果(学习的重构过程)辅助重构。之后重构算法集中的重构ip算法模块接收混合现实mr数据流中的类型数据，并对其加速处理后输出。

本发明技术方案还提供了一种基于重构算法集并加速处理混合现实数据流的mr智能眼镜：感知组件，感知混合现实mr数据流中类型数据。并行及重构组件，根据类型数据的类型，对原始算法集中的每个原ip算法模块中的逻辑单元计算并行化，得到每个原ip算法模块的重构逻辑单元。重构及驱动组件，对重构逻辑单元设置相同驱动信号，最后得到重构算法集。接收组件，重构ip算法模块接收混合现实mr数据流中的类型数据。加速处理输出组件，用于重构ip算法模块对类型数据进行加速处理后输出。

本发明的优点：基于重构算法集的加速处理混合现实数据流方法及mr智能眼镜，传感器阵列感知mr数据流中类型数据，通过对算法集中的原ip算法模块中逻辑单元进行重构，在重构过程中深度神经网络根据训练结果对重构过程进行辅助，使得每个ip算法模块由传统的串行计算变为并行计算，从而能够以更高的效率对当前混合现实mr数据流进行处理。在处理过程中，通过对待处理类型数据进行加速处理进一步提高运算效率。本发明技术方案通过以上方式实现了：通过对重构ip算法模块中的逻辑单元进行重构，使得在数据处理过程中ip算法模块能够一次读取大量数据，从而提升了系统的运算效率，鲁棒性，和现有技术相比精简了系统对mr数据流的读写次数，提高了系统性能。由上可知，本发明技术方案还能够提升：mr智能眼镜在本地对混合现实数据流进行数据处理的速度进行。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种基于重构算法集并加速处理混合现实数据流的方法的流程图；

图2为本发明实施例二提供的一种基于重构算法集并加速处理混合现实数据流的方法的流程图；

图3为本发明技术方案中逻辑单元的结构示意图；

图4为本发明实施例二流程图中步骤207中加速处理过程的流程图一；

图5为本发明实施例二流程图中步骤207中加速处理过程的流程图二；

图6为本发明实施例二的运算时间示意图一；

图7为本发明实施例二的运算时间示意图二；

图8为本发明实施例二的运算时间比较示意图三；

图9为本发明实施例二的框架流程示意图一；

图10为本发明实施例二的框架流程示意图二；

图11为本发明实施例三提供的一种基于重构算法集并加速处理混合现实数据流的mr智能眼镜的结构示意图；

图12为图10所示的并行组件1101的结构示意图；

图13为图10所示的重构及驱动组件1102的结构示意图；

图14为图10所示的加速处理输出组件1104的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的一种基于重构算法集并加速处理混合现实数据流的方法，用于解决现有技术中存在的混合现实mr数据处理速度慢的问题。下面结合附图对本发明实施例提供的基于重构算法集的加速处理混合现实数据流方法进行详细描述。

图1为本发明实施例一提供的流程示意图，如图1所示，本实施例提供一种基于重构算法集并加速处理混合现实数据流的方法，包括：

步骤101、类型数据感知器感知混合现实mr数据流中类型数据。

类型数据感知器中的传感器阵列采集混合现实mr数据流。传感器阵列由多个功能相同过不同的传感器组成。传感器阵列中包括至少一组的：深度摄像模组传感器(depthcameramodulesensor)，温湿度传感器(temperatureandhumiditysensor)，光飞传感器(timeofflightsensor)，气体检测传感器(gasdetectionsensor)和姿态矫正传感器(attitudecorrectionsensor)等。

姿态矫正传感器用于感知角度、加速度、地磁的变化等数据。

步骤102、根据数据类型，对原始算法集中的相应原ip算法模块中的逻辑单元计算并行化，得到每个原ip算法模块的重构逻辑单元。

首先，根据类型数据的类型，和深度神经网络训练器中的训练结果，对每个原ip算法模块中的逻辑单元数量正整数倍增加(通常数量级是百万级)。每个逻辑单元下对应有晶体管电路组合，通过对晶体管电路进行选通，达到对每个逻辑单元重构的目的，进而得到逻辑单元阵列(每个ip算法模块对应一个逻辑单元阵列)，同时也得到了与ip算法模块对应的新的信号传输通路。再然后，将逻辑单元阵列中的各个逻辑单元设置为共用同一个驱动接口，使得这些逻辑单元能够同时启动或关闭，从而得到重构逻辑单元。

每次重构的过程，都是对神经网络进行的一次训练，累积后得到训练结果。训练结果存储在所述深度神经网络训练器中。训练结果用来对重构过程进行辅助作用，目的在于起到加速重构的效果。

步骤103、对每个重构逻辑单元设置相同驱动信号，得到重构ip算法模块，进一步得到重构算法集。

首先，设置驱动信号，通常驱动信号为时钟信号。再次，获取每个重构逻辑单元的驱动信号输入接口信息。最后，将驱动信号根据输入接口信息，分别输入每个所述逻辑单元，最终得到重构ip算法模块。

步骤104、重构算法集中的所述重构ip算法模块接收混合现实mr数据流中的类型数据。

数据采集设备采集混合现实mr数据流。重构ip算法模块根据自身能够处理的类型数据，自动接收数据流中的相应数据。类型数据至少包括：计算机视觉数据(cv，computervisiondata)、三维地图构建数据(slam，simultaneouslocalizationandmappingdata)、手部姿态位移数据(handgesturedisplacementdata)、人脸特征数据(facialfeaturedata)。

步骤105、重构ip算法模块对接收的类型数据进行加速处理后输出。

对接收的类型数据中的第一子数据进行横向数据缓存，得到第一横向缓存结果。将第一横向缓存结果发送至纵向缓存，同时，对数据中第二子数据进行横向数据缓存，得到第二横向缓存结果。纵向缓存与重构ip算法单元对接收的第一横向缓存结果进行数据处理，得到第一子数据结果并输出。

在输出第一子数据结果的同时，纵向缓存与所述重构ip算法单元对第二横向缓存结果进行数据处理，之后得到第二子数据结果并输出。

其中，横向缓存数据容量是纵向缓存数量的正整数倍。类型数据中至少包含两个子数据。

输出方式包括但不限于：sdk(softwaredevelopmentkit，软件开发工具包)，智能眼镜，移动终端等具有显示功能的显示平台，也可以是通过网络传输至云端另一智能眼镜设备，以及其它固定终端或移动终端平台以实现输出结果共享。

本发明技术方案提供了一种基于重构算法集并加速处理混合现实数据流的方法：类型数据感知器感知mr数据流中类型数据后，原始算法集中的每个原ip算法模块中的逻辑单元计算并行化后同步驱动信号，最终得到重构算法集，在重构过程中深度神经网络根据训练结果(学习的重构过程)辅助重构。之后重构算法集中的重构ip算法模块接收混合现实mr数据流中的类型数据，并对其加速处理后输出。

本发明的优点：传感器阵列感知mr数据流中类型数据，通过对算法集中的原ip算法模块中逻辑单元进行重构，在重构过程中深度神经网络根据训练结果对重构过程进行辅助，使得每个ip算法模块由传统的串行计算变为并行计算，从而能够以更高的效率对当前混合现实mr数据流进行处理。在处理过程中，通过对待处理类型数据进行加速处理进一步提高运算效率。本发明技术方案通过以上方式实现了：通过重构ip算法模块中的逻辑单元进行重构，使得在数据处理过程中ip算法模块能够一次读取大量数据，从而提升了系统的运算效率，鲁棒性，和现有技术相比精简了系统对mr数据流的读写次数，提高了系统性能。

现用具体实施例(实施例二)描述本发明技术方案，在本实施例中，以混合现实mr数据流中包含的类型数据为计算机视觉数据，三维地图构建数据和手部姿态位移数据为例进行说明。并非用以对本发明技术方案中涉及的混合现实mr数据流中包含的类型数据数量进行限制。在本实施例中，数据采集设备以深度摄像模组为例进行说明，并非用以对本发明技术方案中涉及的数据采集设备种类进行限制，数据采集设备还可以是麦克风阵列、传感器阵列、触控组件、无线传输装置等相关硬件。在本发明技术方案中由于对不同类型的，待处理类型数据的处理过程相似，所以在本实施例中，对待处理类型数据的描述具体通过对三维地图构建数据的处理进行描述。计算机视觉、三维地图构建数据、手部姿态位移数据中分别含有大量的像素、3d地图、手势轮廓子数据。

混合现实mr数据流通常包括上述数据特征中的一种或几种，而用户指令中具体包含的指令内容有指示系统不仅仅是只处理一种数据。在本发明技术方案中，处理类型数据的数量是随着用户指令的具体内容而变化的。

在本发明实施例中仅用单独处理三维地图构建数据为例对本发明技术方案进行详细说明，并非特指只能单独处理一种数据。

图2为本发明实施例二提供的流程示意图，如图2所示，包括：

步骤201、mr智能眼镜中传感器阵列采集混合现实mr数据流。

传感器阵列由多个不同种类的传感器组成，传感器种类包括但不限于：深度摄像模组传感器，温湿度传感器，光飞传感器，气体检测传感器和姿态矫正传感器等。

步骤202、根据混合现实mr数据流中的类型数据，和深度神经网络的训练结果，增加与此类型相对应的原ip算法模块中的逻辑单元数量。

每次重构ip算法模块的过程和重构结果都对深度神经网络进行训练，得到训练结果。训练结果存储在深度神经网络训练器中。

根据训练结果对原ip算法模块中的逻辑单元数量增加，通常数量级为百万级。最后逻辑单元数量增加后，能够形成原始逻辑单元阵列。

逻辑单元的结构示意图如图3所示。

步骤203、对晶体管电路组合选通设置。

逻辑单元下对应有晶体管电路组合。根据mr数据流的规模，对每个逻辑单元对应的晶体管电路组合中各个晶体管间的电路的连通与否进行重新设置。以达到对每个逻辑单元重构的目的，进而得到逻辑单元阵列(每个ip算法模块对应一个逻辑单元阵列算法模块对应若干个逻辑单元阵列)，同时也得到了与ip算法模块对应的新的信号传输通路。

步骤204、统一同一逻辑单元阵列中各个逻辑单元的驱动接口。

统一驱动接口的目的是：使逻辑单元阵列中的各个逻辑单元能够同时启动或关闭。在统一驱动接口之前，需要获取每个重构逻辑单元的驱动信号输入接口信息。

步骤205、对每个重构逻辑单元设置相同时钟信号，得到重构算法集。

首先，设置时钟信号，时钟信号周期的长短是设置的固定值。其次，时钟信号设置完成后，得到重构逻辑单元阵列，进一步得到重构ip算法模块，最终得到重构算法集。

步骤206、深度摄像模组采集mr数据流。

其采集的mr数据流由若干图像组成。这些图像中至少包含了：计算机视觉信息(单纯的图像形状)对应计算机视觉数据，地图信息(图像上3d地图点构成的地图信息)对应三维地图构建数据和手势信息(用户的手势动作)对应手部姿态位移数据。

步骤207、重构ip算法模块接收混合现实mr数据流中的类型数据。

数据采集设备采集混合现实mr数据流。重构ip算法模块根据自身能够处理的类型数据，自动接收数据流中的相应数据。类型数据至少包括：计算机视觉数据、三维地图构建数据、手部姿态位移数据、人脸特征数据。

步骤208、重构ip算法模块对接收的类型数据进行加速处理后输出。

具体，如图4所示，对于步骤208中提到的加速处理进行详细说明：

具体的，对于步骤208，如图4所示：

在图4中，仅以一个三维地图构建数据一共包含两个3d地图子数据为例进行说明，在本发明技术方案实际实施时，三维地图构建数据包含n个3d地图子数据(n≥2)。

步骤401、读取三维地图构建数据中第一3d地图子数据，进行横向缓存得到第一3d地图横向缓存结果。

具体的横向缓存规则是根据3d地图子数据的数据顺序定义的。

步骤402、将第一3d地图横向缓存结果放入纵向缓存中，之后对其进行坐标检测及匹配，同时读取三维地图构建数据中第二3d地图子数据，横向缓存后得到第二3d地图横向缓存结果。

步骤403、得到第一3d地图子数据的坐标检测及匹配结果后，继续对其进行位姿计算，同时，第二3d地图横向缓存结果放入纵向缓存中并对其进行坐标检测及匹配。

步骤404、根据位姿计算结果对第一3d地图子数据进行坐标检测，得到第一待输出三维地图构建数据并输出，同时，对第二3d地图子数据进行位姿计算。

步骤405、得到第二3d地图子数据的位姿计算结果后，对第二3d地图子数据进行坐标检测，得到第二待输出三维地图构建数据并输出。

为了更直观的说明，再用一流程图对上述对子数据加速处理的流程进行详细说明，如图5所示：

第一步，图像输入以1080*720为例，将图像中各个像素数据依次放入横向缓存中。第二步，纵向缓存为3*3阵列，横向缓存中的像素数据放入纵向缓存的3*3阵列中，依图所示，每个阵列为一个纵向缓存，总共有718个纵向缓存。第三步，在每个纵向缓存中对图像进行处理，得到每个纵向缓存中子数据的数据结果，并逐一输出，输出后得到的结果暨为输出图像。

为了对本发明技术方案体现的计算并行性能进行验证，对比了传统非重构的基于串行处理方式的cpu与本发明技术方案同时处理一张720p图像的相关算法效率。

如图6所示：如手势识别算法中常调用的elbp算法，采用opencv中elbp算法，在i7-7700八核处理器(cpu)中计算运算时间得13.46秒。

如图7所示：为满足720p实时运算，模块驱动时钟采用83.3mhz，采用本发明技术方案的处理方法后，运行时间如图所示，运算时间为0.059秒。是图6所示的cpu中运行速度的将近224倍。

由图6和图7可知，对于同一图像，用本发明技术方案提供的能够加速处理混合现实数据流的方法进行数据处理的速度远远大于用传统cpu处理的速度，具体比较结果如图8所示。

图9为本发明实施例二的框架流程示意图，如图9所示：

i/o设备用于向重构算法集输入混合现实数据流和输出已经加速处理完毕的数据结果。类型数据感知器，用于感知从i/o设备输入的混合现实数据流中的各个类型数据，将感知结果发从给重构算法集。深度神经网络模块，用于，将之前对重构过程进行学习得到的学习结果发送至重构算法集，学习结果用于辅助新一轮的重构过程。

时钟信号模块用于向重构算法集发送时钟信号，重构算法集模块在接收时钟信号后开始对从i/o设备输入的混合现实数据流进行加速处理。可编程存储器用于在异步传输时，由于重构ip算法模块间处理速度有差值产生的缓存数据。指令处理器，用于对由i/o设备、时钟信号模块、重构算法集模块和可编程存储器组成的重构处理器发出动作指令。

可编程存储器还用于，当i/o设备向重构算法集输入高于帧频率阈值的数据流时，对此数据流进行缓存。i/o设备向重构算法集输入的数据流向如图9所示。

在本发明技术方案所提到的识别步骤中，可以加入dnn(深度神经网络，deepneuralnetwork)，通过dnn学习上述重构和数据处理过程进一步提高系统效率减少系统能耗。除此之外，dnn还可以学习系统中三维地图构建传感器、九轴传感器、深度摄像模组等输入设备的运作方式以便于后续数据传输及处理。

由上可知，采用本发明技术方案后，系统的处理速度得到显著提升，进而系统功耗降低。

现再用一框架流程示意图进一步的说明本发明技术方案，如图10所示：

mr智能眼镜中包括：双目近眼成像端(bin-ned，binocularneareyedisplay)、主控硬件组件(mainboard)、重构处理器(reconfigurableprocessor)、驱动控制组件(driver)、传感器阵列(seneorsarray)。

双目近眼成像端用于将，mr混合现实数据及图形图像等mr内容呈现于其显示介质上。

主控硬件组件至少包括：中央处理器、电源管理系统(含充电管理系统)、无线传输模组、音频输入/输出模组、操作控制模组(2d/3d触控模组)、外设接口(用于连接i/o设备)。

重构ip算法模块中包含的算法模块至少有：计算机视觉算法模块、手部姿态位移算法模块、人脸特征算法模块和深度神经网络模块。

传感器阵列由多个不同种类的传感器组成，包括但不限于：深度摄像模组传感器，温湿度传感器，光飞传感器(tof)，气体检测传感器和姿态矫正传感器等。

驱动控制组件至少包括：驱动器组件、控制器组件。

首先，传感器阵列中各个传感器和/或通过外设接口连接的i/o设备，采集mr混合现实数据流。进一步，重构ip算法模块中根据数据流中的类型数据，和深度神经网络模块的训练结果开始对相应算法进行重构，重构完成后，被重构的，能够处理相应类型数据的ip算法模块对此类型数据进行加速处理。得到数据结果后基础硬件组中的中央处理器将其输出至双目近眼成像端。

本发明实施例二提供的一种基于重构算法集并加速处理混合现实数据流的方法，通过，增加逻辑单元数量并对晶体管电路选通设置，设置相同时钟信号，达到重构算法集的目的。深度摄像模组采集混合现实数据流，重构ip算法模块根据其职能接收数据流中类型数据，加速处理后输出。

本发明的优点：通过对算法集中的原ip算法模块中逻辑单元进行重构，使得每个ip算法模块由传统的串行计算变为并行计算，从而能够以更高的效率对当前混合现实mr数据流进行处理。在处理过程中，通过对待处理类型数据进行加速处理进一步提高运算效率。本发明技术方案通过以上方式实现了：通过重构ip算法模块中的逻辑单元进行重构，使得在数据处理过程中ip算法模块能够一次读取大量数据，从而提升了系统的运算效率，鲁棒性，和现有技术相比精简了系统对mr数据流的读写次数，提高了系统性能。

图11为本发明实施例三提供的一种基于重构算法集并加速处理混合现实数据流的mr智能眼镜的结构示意图，如图所示：

感知组件1101，用于类型数据感知器感知混合现实mr数据流中类型数据；

并行及重构组件1102，用于根据所述感知组件1101感知的所述类型数据的类型，对原始算法集中的每个原ip算法模块中的逻辑单元计算并行化，得到每个原ip算法模块的重构逻辑单元，并对其设置相同驱动信号，得到重构ip算法模块，进一步得到重构算法集。

接收组件1103，用于重构及驱动组件1102重构得到的，重构算法集中的重构ip算法模块接收混合现实mr数据流中的类型数据。

加速处理输出组件1104，用于重构及驱动组件1102中的所述重构ip算法模块，对接收组件1103接收的类型数据进行加速处理后输出。

如图12所示，感知组件1101，包括：

传感器阵列1201，用于采集混合现实mr数据流。

类型数据感知模块1202，用于根据预存的数据特征，感知传感器阵列1201采集的所述混合现实mr数据流中的类型数据。

所述传感器阵列中的传感器包括至少一组的：深度摄像模组传感器，温湿度传感器，光飞传感器，气体检测传感器和姿态矫正传感器。

如图13所示，并行及重构组件1102，包括：

深度神经网络模块1301，用于，深度神经网络被重构ip算法模块的重构过程和重构结果训练。得到训练结果，存储在所述深度神经网络模块的深度神经网络训练器中。

逻辑单元数量增加模块1302，用于根据类型数据感知模块1202感知的类型数据，和深度神经网络模块中的训练结果，对与类型数据的类型相对应的原ip算法模块中的逻辑单元数量正整数倍增加。

选通模块1303，用于对逻辑单元数量增加模块1201增加后的各逻辑单元下辖并控制的晶体管电路组合，并分别对其选通，得到逻辑单元阵列。

重构逻辑单元获取模块1304，用于对选通模块1202编译得到的逻辑单元阵列设置为共用同一个驱动接口，得到重构逻辑单元。

设置及接口获取模块1305，用于设置驱动信号，并从所述重构逻辑单元获取模块中获取每个所述重构逻辑单元的驱动信号输入接口。

信号输入模块1306，用于将设置模块1301设置的驱动信号从接口获取模块获取每个逻辑单元的驱动信号输入接口输入，得到重构ip算法模块。

具体的，接收组件1103，用于：从感知组件1201中感知的混合现实mr数据流，重构ip算法模块根据自身职能接收所述混合现实mr数据流的类型数据。其中，所述类型数据至少包括：计算机视觉数据、三维地图构建数据、手部姿态位移数据、人脸特征数据。

如图14所示，加速处理输出组件1104，包括：

横向缓存模块1401，用于对类型数据中的第一子数据进行横向数据缓存，得到第一横向缓存结果。

类型数据来自于接收组件1303。

发送模块1402，用于将横向缓存模块1401缓存得到的第一横向缓存结果发送至纵向缓存，同时，横向缓存模块1401对所述类型数据中第二子数据进行横向数据缓存，得到第二横向缓存结果。

数据处理输出模块1303，用于所述纵向缓存与重构ip算法单元对接收的所述第一横向缓存结果进行数据处理，得到第一子数据结果并输出。

数据处理输出模块1303，还用于在输出第一子数据结果的同时，对所述纵向缓存与重构ip算法单元对所述第二横向缓存结果进行数据处理，之后得到第二子数据结果并输出。

其中，所述横向缓存数据容量是纵向缓存数量的正整数倍；类型数据中至少包含两个子数据。

本发明技术方案还提供了一种基于重构算法集并加速处理混合现实数据流的mr智能眼镜：感知组件，感知混合现实mr数据流中类型数据。并行及重构组件，根据类型数据的类型，对原始算法集中的每个原ip算法模块中的逻辑单元计算并行化，得到每个原ip算法模块的重构逻辑单元。重构及驱动组件，对重构逻辑单元设置相同驱动信号，最后得到重构算法集。接收组件，重构ip算法模块接收混合现实mr数据流中的类型数据。加速处理输出组件，用于重构ip算法模块对类型数据进行加速处理后输出。

本发明的优点：通过传感器阵列感知mr数据流中类型数据，通过对算法集中的原ip算法模块中逻辑单元进行重构，在重构过程中深度神经网络根据训练结果对重构过程进行辅助，使得每个ip算法模块由传统的串行计算变为并行计算，从而能够以更高的效率对当前混合现实mr数据流进行处理。在处理过程中，通过对待处理类型数据进行加速处理进一步提高运算效率。本发明技术方案通过以上方式实现了：通过重构ip算法模块中的逻辑单元进行重构，使得在数据处理过程中ip算法模块能够一次读取大量数据，从而提升了系统的运算效率，鲁棒性，和现有技术相比精简了系统对mr数据流的读写次数，提高了系统性能。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。