一种可加速数字光瞳信号传输的视网膜光场显示MR混合现实眼镜的制作方法

本发明涉及混合现实显示领域，尤其涉及一种可加速数字光瞳信号传输的视网膜光场显示mr混合现实眼镜。

背景技术：

现有技术中，混合现实近眼成像技术中普遍采用led、lcd、oled屏幕基于硅基液晶的显示呈像方式。在近眼显示端中应用的导光入眼系统，用于将图像投影至近眼显示端中的近眼显示屏上。为了能够进一步提供沉浸式观感，通常将4:3或16:9的画面通过透镜放大后直接投射，由于像素直接被放大后投射，导致了入眼画面颗粒感明显画面观感不佳，沙窗效应明显。

还有于混合现实图像数据量巨大，主要运算集中在计算机视觉中，因此即使是加入了gpu的现有移动处理器解决方案，实现高清图像处理，也会受到外部存储器的限制。具体体现在两个方面：

1、存储带宽会成为性能瓶颈。

2、储访问会限制功耗效率。

具体，cpu中处理运算时，每个支撑库算法都需要对内存进行反复读写，这些算法如在cpu中进行计算，十分耗时，会降低cpu的运行效率，导致了刷新率不足，进一步导致使用者产生眩晕的问题。

技术实现要素：

本发明提供一种可加速数字光瞳信号传输的视网膜光场显示mr混合现实眼镜，用以提升数据刷新率，降低入眼画面颗粒感。

为了实现上述目的，本发明技术方案提供了一种可加速数字光瞳信号传输的视网膜光场显示mr混合现实眼镜，所述视网膜光场显示mr混合现实眼镜包括：单/双目深度摄像模组、图像加速处理器、高速数字微镜，双目近眼折射光路系统，其中，单/双目深度摄像模组用于采集混合现实数据流，生成图形图像信号。图像加速处理器对所述图形图像信号进行数据处理，得到二进制数据流，并发送至所述高速数字微镜。所述高速数字微镜用于通过光路反射和折射的方式将所述二进制数据流由电信号转变为光信号得到出瞳。出瞳经所述双目近眼折射光路系统中数字光栅阵列折射最终投射至视网膜上。

作为上述技术方案的优选，所述视网膜光场显示mr混合现实眼镜至少包括一组单/双目深度摄像模组，所述一组单/双目深度摄像模组包括左目深度摄像头和/或右目深度摄像头，位置与人眼位置平行。

作为上述技术方案的优选，所述图像加速处理器对图形图像信号进行数据处理，得到二进制数据流，并发送至所述高速数字微镜，包括：图像加速处理器中有基于fpga的重构elbp-ip核，接收图形图像信号后，所述重构elbp-ip核通过并行处理方式对其进行数据处理，得到二进制数据流。

作为上述技术方案的优选，重构elbp-ip核中有并列存在的逻辑门阵列电路通路阵列，用于并行接收所述图形图像信号后，所述阵列中每个电路同时对其进行数据处理，从而得到所述二进制数据流。

作为上述技术方案的优选，所述高速数字微镜用于通过光路反射和折射的方式将所述二进制数据流由电信号转变为光信号得到出瞳，还包括：原色光光源，包括，蓝光光源，绿光光源，红光光源；所述原色光光源用于向所述高速数字微镜不间断发射光信号，其中所述原色光光源具体为激光或led光。原色光光源位于高速数字微镜的后方。

作为上述技术方案的优选，所述在所述高速数字微镜用于通过光路反射和折射的方式将所述处理结果由电信号转变为光信号得到出瞳，包括：高速数字微镜中镜片部分接收原色光光源发送的光信号，其电路部分同时接收所述二进制数据流。高速数字微镜根据所述二进制数据流中包含的信息控制其各个反射镜面，得到出瞳。其中，二进制数据流是通过所述图像加速处理器中的重构elbp-ip核对图形图像处理后得到的。

作为上述技术方案的优选，所述出瞳经所述双目近眼折射光路系统中数字光栅阵列折射最终投射至视网膜上，包括：双目近眼折射光路系统包括左目近眼光路准直组件和右目近眼光路准直组件，在左目近眼光路准直组件和右目近眼光路准直组件上分别有所述数字光栅阵列。出瞳经所述数字光栅阵列中各个深度数字光栅反射，将折射后的光线投射至视网膜上。

作为上述技术方案的优选，所述双目近眼折射光路系统，还包括：左目近眼光路准直组件和右目近眼光路准直组件均由左目准直透镜、右目准直透镜、滤光镜、左目光学显示介质和右目光学显示介质组成。左目光学显示介质和右目光学显示介质上有所述数字光栅阵列。

作为上述技术方案的优选，出瞳经所述数字光栅阵列中各个深度数字光栅反射，将折射后的光线投射至视网膜上，还包括：深度数字光栅阵列中每个数字光栅之间有差值的非平行排列，所述出瞳经所述深度数字光栅阵列中各个数字光栅反射产生出瞳差，得到立体图像。所述立体图像经由瞳孔虹膜投射在视网膜上。

作为上述技术方案的优选，视网膜光场显示mr混合现实眼镜，还包括，至少一组的单/双目深度摄像模组和所述高速数字微镜。

本发明技术方案提供了一种可加速数字光瞳信号传输的视网膜光场显示mr混合现实眼镜，通过单/双目深度摄像模组单/双目深度摄像模组用于采集混合现实数据流，生成图形图像信号，图像加速处理器对其进行数据处理，得到二进制数据流，高速数字微镜对二进制数据流进行编码并反射/折射，得到出瞳。出瞳经双目近眼折射光路系统中数字光栅阵列折射最终投射至视网膜上。本发明通过对图形图像信号加速处理后，高速数字微镜能够更及时完成电到光的信号转换，从而提升了数据刷新率从而达到降低入眼画面颗粒感的目的，进一步的，数字光栅阵列中的深度数字光栅通过对光信号的深度折射，将图像投射为深度投射，提升了用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的结构示意图；

图2为本发明实施例中涉及的门电路通路的结构示意图；

图3为本发明实施例提供的结构示意图二；

图4为本发明实施例提供的结构示意图三；

图5为本发明技术方案中深度数字光栅的结构示意图；

图6为本技术方案的总结构示意图；

图7为本发明实施例提供的结构示意图四；

图8为本发明实施例的焦距比和对角视场角变化关系的趋势图；

图9为本发明技术方案的硬件结构示意图；

图10为本发明提供的一种可加速数字光瞳信号传输的视网膜光场显示mr混合现实眼镜的外观图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

现用具体实施例描述本发明技术方案，在本实施例中，以一组双目深度摄像模组为例进行说明。并非用以对双目深度摄像模组数量进行限制。在本发明技术方案中，图像采集装置也可以是单目深度摄像模组。

本实施例包括：双目深度摄像模组11，图像加速处理器12，高速数字微镜13，双目近眼折射光路系统14，原色光光源15。

其中，双目深度摄像模组11中包括有，左目深度摄像头101，右目深度摄像头102。高速数字微镜13中包括有，左目高速数字微镜131，右目高速数字微镜132。双目近眼折射光路系统14中包括有，左目近眼光路准直组件141、右目近眼光路准直组件142、左目光学显示介质143、右目光学显示介质144。其中，左目近眼光路准直组件141、右目近眼光路准直组件142分别包括至少一个左目准直透镜、至少一个右目准直透镜。原色光光源15包括有左目原色光光源151，右目原色光光源152。

图1为本发明实施例提供的结构示意图，如图1所示，包括：

双目深度摄像模组11中的左目深度摄像头101和右目深度摄像头102分别采集使用者双眼看到的图像。之后，图像加速处理器12接收采集到的图像，图像加速处理器12中的重构elbp-ip核对图像以并行处理的方式对其进行数据处理，得到包含有图形轮廓及图像的二进制数据流。高速数字微镜13接收二进制数据流和原色光光源15发出的原色光束，对二者编码，得到出。双目近眼折射光路系统14，通过反射和折射将出瞳导光入眼，将立体图像投射到视网膜上。

具体的，重构elbp-ip核是基于fpga(field-programmablegatearray，即现场可编程门阵列)运行的，在重构elbp-ip核中有多个并列的可编辑门电路通路，具体的一个门电路通路的结构示意图如图2所示。

现具体说明elbp-ip核：首先，定义算法常量：

cv_pi＝3.1415926(圆周率)，neighbors＝8(相邻的8个像素点)，radius＝1(半径)；

计算各个采样点浮点坐标：

floatcos_x＝cos(2.0*cv_pi*n/(neighbors))；(n为0～7的正整数)

floatsin_y＝sin(2.0*cv_pi*n/(neighbors))；

x＝radius*cos_x；y＝-radius*sin_y；

计算采样点的相关角标：

intfx＝floor(x)；//向下取整

intfy＝floor(y)；

intcx＝ceil(x)；//向上取整

intcy＝ceil(y)；

现解释向下/向上取整，例如得到数值为2.4567，向下取整得到数值2；若向上取整得到数值3。

计算小数部分：

floatty＝y-fy；

floattx＝x-fx；

计算差值权重：

floatw1＝(1-tx)*(1-ty)；

floatw2＝tx*(1-ty)；

floatw3＝(1-tx)*ty；

floatw4＝tx*ty；

遍历整张图像，计算输出图像的每个点的像素值，以中心点为中心的周围8个点，计算中心点的差值：

floatt＝(w1*src.at(i+fy,j+fx)+w2*src.at(i+fy,j+cx)+w3*src.at(i+cy,j+fx)+w4*src.at(i+cy,j+cx))；

通过中心点与周围像素点比较，计算结果像素点的每一位，同时检查浮点精度：

dst.at(i-radius,j-radius)+＝((t>src.at(i,j))||(std::abs(t-src.at(i,j))<std::numeric_limits<float>::epsilon()))<<n；

其中，src.at(i,j)为原像素点。最终得到包含有图形轮廓及图像的二进制数据流。并发送至高速数字微镜13。

重构elbp-ip核中有多个图2所示的电路通路，能够同时运行以上数据处理过程，从而提高了数据处理效率，进一步使得高速数字微镜能够更及时接收由二进制数据流构成的电信号，提升出瞳速度。

以左目为例，左目高速数字微镜131接收图像加速处理器12发送的二进制数据流。同时，左目原色光光源151连续向高速数字微镜发射原色光光源信号，结构示意图如图3所示。

如图3所示，原色光光源位于高速数字微镜后方。高速数字微镜在接收二进制数据流后，根据其中的信息(0和1编码组成)高速翻折其具有的微镜阵列中各个反射镜面，此过程为光信号与电信号的编码耦合过程，之后得到待投射的轮廓和图像即出瞳。其中，原色光光源发出的光包括红绿蓝三色，可以是激光或led光。

通过上述过程后，双目近眼折射光路系统14接收出瞳，并投射至视网膜，还原人眼感觉到的256色阶自然画面。

如图4所示，图4以双目近眼折射光路系统14中的左目近眼光路准直组件141(由至少一个准直透镜组成)、左目光学显示介质143、为例进行详细说明，如图所示：

左目高速数字微镜131投射出瞳后，出瞳经左目近眼光路准直组件141准直后，通过左目光学显示介质143的入射端进入数字光栅阵列，经数字光栅阵列中各个深度数字光栅反射，经多次反射后投射至人眼视网膜上。

现对数字光栅阵列中深度数字光栅进行说明，如图5所示：

以左目光学显示介质143上的深度数字光栅为例，深度数字光栅排列如图所示，它们多个层叠排列，其间有差值。出瞳在被投射过程中，经多个上述深度数字光栅反射产生光路差，从而有出瞳差，所述立体图像经由瞳孔虹膜投射在视网膜上。

本技术方案中的图形图像采集装置还可以是单目深度摄像模组。每个单目/双目深度摄像模组对应一个/一对高速数字微镜。

具体如图7所示，本技术方案提供的视网膜光场显示mr混合现实眼镜，原色光光源15发出三种原色光，数字高速微镜13接收三种原色光，同时接收二进制数据流。二进制数据流是通过图像加速处理器12中重构elbp-ip核加速处理得到的，图像加速处理器基于fpga芯片构建，具有多通路并行处理数据的能力。

进一步，如图7所示，数字高速微镜13对上述接收到的信息编码完成后，得到包含图像信息的出瞳，继续进行折射，光栅阵列中各个深度光栅的位置与尺寸以出瞳经过且只经过一次该光栅区域为准，从而能够进行像差补偿。

若采用高折射率材料可精简系统，减小系统重量。

如图8所示，出射光瞳直径越小，对角视场角度越大，焦距比越小。在本技术方案中，数字高速微镜尽可能的靠近双目近眼折射光路系统。以减少光路在传输过程中的损耗。基本波导光学系统出瞳直径4mm，光圈f/1.5时，对角视场角为53°。

进一步的，如图9所示，触摸板和音频输入输出装置，同步或异步的接收用户发出的外部指令。传感器模组(包括但不限于，位置姿态传感器，温湿度传感器，光飞传感器，紫外线传感器)用于获取外部信息来协助数据处理。深度摄像模采集/拍摄用户看到的画面，同时传送至cpu和图像加速处理器，cpu将外部指令和传感器模组获取的外部信息中与图像有关的部分发送至图像加速处理器，图像加速处理器将上述信息综合，对接收的图形图像进行处理(基于fpga进行加速处理)，得到二进制数据流，发送至高速数字微镜。高速数字微镜中的微镜阵列根据数据流中的编码高速翻转，将原色光光源编码为与数据流对应的画面，投射至双目成像模组。双目成像模组由数字光学显示介质，其上有数字光栅阵列，数字光栅阵列由多个深度数字光栅组成。在投射过程中形成视差，使得最终投射到用户视网膜中的图像是立体的。其中，cpu与图像加速处理器通过i2c协议进行通信。

在上述过程中，传感器模组中的各个传感器分别获取相应感应数据，通过cpu发送至控制器，使得设备能够判断当前所处环境和位置，具体的：

位置姿态传感器，用于获取近眼显示设备当前的姿态数据，控制器根据此传感器采集的九轴位置姿态信息判断当前设备的位姿和地理位置。

温湿度传感器，用于采集当前环境的温湿度，控制器根据其采集的感应信息得到当前运行环境，并根据当前运行环境选择最优运行方案。

光飞传感器，用于根据向目标连续发送光脉冲并接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离。

紫外线传感器，光传感器用于采用光数据，并发送给控制器，由主控单元根据该光数据分析感知太阳光的变化进而调整屏幕的显示亮度。

综上所述，控制器接收来自每个传感器的感应检测数据，根据这些数据做出相应控制指令，发送回cpu，cpu根据控制指令对相应组件做出调整。

在本技术方案中涉及的数字光显示介质，包括但不限于：lcos(liquidcrystalonsilicon，硅基液晶)，lcd(liquidcrystaldisplay，液晶显示器)、贴有光波导光栅的镜片，棱镜组半透/全透显示光学组件，自由曲面光学棱镜半透/全透显示组件，波导光学半透/全透显示镜片组件等。

通讯组件中包括无线通讯装置和有线通讯装置。cpu对通讯组件传输的数据进行处理。无线通讯装置包括但不限于无线网络通讯组件、蓝牙组件。有线通讯装置包括但不限于usb。

本发明技术方案提供了一种可加速数字光瞳信号传输的视网膜光场显示mr混合现实眼镜，通过单/双目深度摄像模组单/双目深度摄像模组用于采集混合现实数据流，生成图形图像信号，图像加速处理器对其进行数据处理，得到二进制数据流，高速数字微镜对二进制数据流进行编码并反射/折射，得到出瞳。出瞳经双目近眼折射光路系统中数字光栅阵列折射最终投射至视网膜上。本发明通过对图形图像信号加速处理后，高速数字微镜能够更及时完成电到光的信号转换，从而提升了数据刷新率从而达到降低入眼画面颗粒感的目的，进一步的，数字光栅阵列中的深度数字光栅通过对光信号的深度折射，将图像投射为深度投射，提升了用户体验。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。