一种便携式MR眼镜、手机和MR眼镜系统的制作方法

本发明涉及一种便携式MR眼镜、手机和MR眼镜系统。

背景技术：

混合虚拟现实，即MR(Mixed Reality)，它是虚拟现实VR(Virtual Reality)和扩增实境AR(Augmented Reality)的结合体。MR眼镜就是综合利用多个图像传感器对现实环境进行图像的采集、物体的定位、和相对位置的跟踪，然后利用计算机图像成像系统在现实场景里叠加计算机生成的3D影像或动画，最终通过USB或HDMI等连接线在眼镜显示器件上对合成后的图像进行显示。人们通过MR眼镜终端可以沉浸在计算机生成的真实世界和虚拟事务叠加后的三维视觉环境中。目前，MR眼镜已经有了一定的应用，但在分辨率、视野范围、交互方式、运动跟踪、立体呈现等几个方面还存在很多的缺陷。

目前，MR眼镜最主要的问题是(1)目前大多数的VR或MR设备本身无法识别并跟踪人们眼睛的移动方向，因此也没有办法用人的眼睛对显示的界面进行操作和控制；(2)目前市场上的VR或MR眼镜里面画面的调节只能依靠VR或MR眼镜内部所按装的陀螺仪或加速度传感器对头部的旋转角度进行跟踪，但并不能跟踪头部左右、上下、或前后的移动位置；(3)目前市场上的AR或MR眼镜在复现现实周边场景的时候，没法采用真实的双目立体视觉采集方式复现周边环境，脱离真实的体验。

针对目前MR眼镜无法直接与手机实现信息互通的问题，是本领域亟待解决的技术问题。

技术实现要素：

本发明的目的是提供一种便携式MR眼镜、手机和MR眼镜系统，以解决目前MR眼镜无法直接与手机实现信息互通的问题。

为解决上述技术问题，作为本发明的一个方面，提供种便携式MR眼镜，包括：

眼镜前罩和设置在所述眼镜前罩左侧的左眼镜支架和设置在所述眼镜前罩右侧的右眼镜支架；

设置在所述左眼镜支架或所述右眼镜支架上的手机连接端口。

进一步的，所述眼镜前罩内侧的左右边部分别设置有第一左IR摄像头和第一右IR摄像头；在所述第一左IR摄像头周边设置第一IR灯，所述第一右IR摄像头周边设置第二IR灯；

所述眼镜前罩内设置控制处理器，所述控制处理器与所述第一左IR摄像头和第一右IR摄像头连接，用于接收所述第一左IR摄像头和第一右IR摄像头采集的人眼瞳孔位置信息；所述控制处理器根据人眼瞳孔位置信息计算眼球的视点方向和眼球的运动方向，来控制MR眼镜屏幕上鼠标点的人机交互操作。

进一步的，所述控制处理器计算眼球的视点方向和眼球的运动方向后，对眼球直视的区域3D纹理做精细化处理，非直视区域不做精细化处理；或，

所述控制处理器计算眼球的视点方向和眼球的运动方向后，对眼球直视的区域做精细化镜头修正，非直视的区域做简单化镜头修正。

进一步的，所述眼镜前罩的外侧正前部位左侧区域设置用于采集可见光(RGB)图像和红外(IR)图像的第一RGB-IR图像传感器，所述第一RGB-IR图像传感器与所述控制处理器连接并将采集的信息传输给所述控制处理器；

所述眼镜前罩的外侧正前部位右侧区域设置用于采集可见光图像和红外图像的第二RGB-IR图像传感器，所述第二RGB-IR图像传感器与所述控制处理器连接并将采集的信息传输给所述控制处理器；

所述眼镜前罩的外侧正前部位中间区域设置用于把红外条纹或点组成的图像投影到对面物体的IR投影灯；

所述控制处理器根据第一RGB-IR图像传感器和第二RGB-IR图像传感器传输的信息计算对面物体的三维空间位置，然后根据三维空间位置描绘虚拟景物，并将虚拟景物叠加到第一RGB-IR图像传感器和第二RGB-IR图像传感器得到的RGB图像上，然后显示在显示屏上。

进一步的，所述手机连接端口通过USB-Type-C接口连接手机。

本发明还提供一种手机，所述手机用于连接上述的便携式MR眼镜；

所述手机屏幕一侧设置N个红外定位灯，N大于等于2；

所述手机屏幕另一侧设置M个红外定位灯，M大于N。

进一步的，所述控制处理器通过第一RGB-IR图像传感器和第二RGB-IR图像传感器采集所有红外定位灯，根据所述红外定位灯的位置计算手机屏幕在三维空间中的位置，根据三维空间位置描绘虚拟景物，并将虚拟景物叠加到手机屏幕的三维空间位置上，然后显示在MR眼镜的显示屏上。

进一步的，所述红外定位灯设置在所述手机屏幕边侧并向所述手机屏幕打光。

进一步的，所述红外定位灯为LED红外灯；

所述手机通过USB-Type-C接口连接所述便携式MR眼镜。

本发明还提供一种MR眼镜系统，包括上述的便携式MR眼镜及上述的手机；其中，所述便携式MR眼镜连接所述手机。

与现有技术相比，本发明的有意效果在于：

本发明提供的一种便携式MR眼镜、手机和MR眼镜系统，包括：眼镜前罩和设置在所述眼镜前罩左侧的左眼镜支架和设置在所述眼镜前罩右侧的右眼镜支架；设置在所述左眼镜支架或所述右眼镜支架上的手机连接端口。通过在所述左眼镜支架或所述右眼镜支架上的手机连接端口，可以实现MR眼镜直接与手机实现信息互通的功能。

所述眼镜前罩内侧的左右边部分别设置有第一左IR摄像头和第一右IR摄像头；在所述第一左IR摄像头周边设置第一IR灯，所述第一左IR摄像头周边设置第二IR灯；所述眼镜前罩内设置控制处理器，所述控制处理器与所述第一左IR摄像头和第一右IR摄像头连接，用于接收所述第一左IR摄像头和第一右IR摄像头采集的人眼瞳孔位置信息并做预定处理。控制处理器计算眼球的视点方向和眼球的运动方向，来控制MR眼镜屏幕上鼠标点移动轨迹或点选菜单的人机交互操作。

为了让图像效果更好，控制处理器计算眼球的视点方向和眼球的运动方向后，对眼球直视的区域3D纹理做精细化处理，非直视区域不做精细化处理。

由于采集的镜头存在畸变，为了让图像效果更好，对眼球直视的区域做精细化镜头修正，非直视的区域做简单化镜头修正。

该MR眼镜属于便携式MR(Mixed Reality)混合虚拟现实眼镜，其可以通过USB-Type-C接口与手机连接。此MR眼镜可以通过多个CMOS图像传感器(RGB-IR图像传感器)对人的双眼瞳孔进行移动轨迹的跟踪、可以对眼镜前方的现实世界进行立体的图像采集、可以通过双红外摄像头对手机的位置进行跟踪并计算眼镜与头盔之间的相对位置变化、还可以通过深度图像传感器感知眼镜前方的现实物体的位置和距离。设备本身可以支持OLED的显示方式，也可以支持投影显示的显示方式。此设备会作为手机或笔记本电脑的配件使用，设备本身带有视频采集、视频显示、音频采集、和音频输出的功能，通过USB-Type-C接口与手机实现视频和音频交互，但设备本身并不带有电池或无线通讯等模块。用户在使用这个设备过程中，可以通过眼球的运动来控制屏幕上鼠标点的移动轨迹，并通过计算设备本身与手机的相对位置反向推算人体移动的变化，实现对虚拟场景里面的精准控制。

该“便携式的混合虚拟现实眼镜”，其集成了虚拟现实VR(Virtual Reality)和扩增实境AR(Augment Reality)两种功能和应用模式，并可以搭配手机、平板、和普通PC进行使用，并通过多种定位算法完成对虚拟场景的精准控制。

附图说明

图1示意性示出了本发明的实施例中该便携式MR眼镜的内侧视角的立体结构示意图；

图2示意性示出了本发明的实施例中该便携式MR眼镜的外侧视角的立体结构示意图；

图3示意性示出了应用于本发明的实施例中的一种手机的结构示意图；

图4示意性示出了应用于本发明的实施例中的另一种手机的结构示意图。

图中附图标记：01、眼镜前罩；02、左眼镜支架；03、右眼镜支架；1、第一左IR摄像头；2、第一IR灯；3、第二IR灯；4、第一右IR摄像头；6’、第一RGB-IR图像传感器；8、IR投影灯；9、第二RGB-IR图像传感器；11、USB连接线；12、第一红外灯管；13、第二红外灯管；14、第五红外灯管；15、第三红外灯管；16、第四红外灯管。

具体实施方式

以下对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

如图1-图3所示，一种便携式MR眼镜，包括：眼镜前罩和设置在所述眼镜前罩左侧的左眼镜支架和设置在所述眼镜前罩右侧的右眼镜支架；设置在所述左眼镜支架或所述右眼镜支架上的手机连接端口，可以实现该便携式MR眼镜与手机的信息交互。

所述眼镜前罩内侧左右边中心区域分布设置显示屏，在眼镜前罩内侧的左右边部分别设置有第一左IR摄像头和第一右IR摄像头；在所述第一左IR摄像头周边设置第一IR灯，所述第一右IR摄像头周边设置第二IR灯。所述眼镜前罩内设置控制处理器，所述控制处理器与所述第一左IR摄像头和第一右IR摄像头连接，用于接收所述第一左IR摄像头和第一右IR摄像头采集的人眼瞳孔位置信息；所述控制处理器根据人眼瞳孔位置信息计算眼球的视点方向和眼球的运动方向，来控制MR眼镜屏幕上鼠标点的人机交互操作。

为了让图像效果更好，所示控制处理器计算眼球的视点方向和眼球的运动方向后，对眼球直视的区域3D纹理做精细化处理，非直视区域不做精细化处理。

由于采集的镜头存在畸变，为了让图像效果更好，对眼球直视的区域做精细化镜头修正，非直视的区域做简单化镜头修正。

第一RGB-IR图像传感器6和第二RGB-IR图像传感器9均是RGB Pixel(RGB的感光像素)和IR Pixel(IR的感光像素)集成在一个图像传感器里面的RGB-IR图像传感器，用这种传感器，既能得到可见光(RGB)的图像同时又能得到红外(IR)图像，并且这两种图像在位置上是完全重合的。所以根据可见光的图像计算的位置信息和根据红外图像计算的位置信息相同，可以互用。

根据第一RGB-IR图像传感器6’和第二RGB-IR图像传感器9’得到的两个可见光RGB图像，控制处理器计算两幅图的视觉差能得到对面景物的深度信息，但如果景物中有墙等大面积没有特征边缘的物体时，就需要计算第一RGB-IR图像传感器6’和第二RGB-IR图像传感器9’得到的红外图像了，IR投影灯8把红外条纹或点组成的图像投影到对面物体上，包含对面墙等大面积没有特征边缘的物体，第一RGB-IR图像传感器6’和第二RGB-IR图像传感器9’拍摄得到的红外的投影图像，能根据同一个投影在第一RGB-IR图像传感器6’和第二RGB-IR图像传感器9’中得到两幅红外图像，并根据红外图像的视觉差得到对面景物的深度信息，红外得到的深度信息和可见光得到的深度信息互相补充，就能得到墙等大面积没有特征边缘的物体的深度信息了。得到位置信息和深度信息后，就能得到对面物体的三维空间的位置，根据三维空间位置描绘虚拟景物，把虚拟景物叠加到第一RGB-IR图像传感器6’和第二RGB-IR图像传感器9’得到的RGB图像上，并显示在MR的显示屏上，就得到增强现实的图像了。

本发明实施例还提供一种与该便携式MR眼镜连接使用的手机，如图3所示，MR眼镜通过USB线11连接手机，该手机的屏幕的一侧边角设置第一红外灯管12和第四红外灯管16，在屏幕另一侧边角设置第二红外灯管13、第三红外灯管15和第五红外灯管14，图3中为在手机屏幕周边直接打孔后安装五个红外灯管；作为其他选择，也可以如图4所示，在靠近手机屏幕的一侧设置五个红外灯管，红外灯管向手机屏幕的侧边打出红外光，红外光照亮了屏幕的四角(或四边)，这样不用在手机壳上直接打孔安装IR灯了。

在手机上一侧设置两个红外灯管，另一侧设置三个红外灯管，设置不同数目的红外灯管，便于正确判断手机屏幕位置，当然也可以设置其他数目的红外灯管。

第一RGB-IR图像传感器6’和第二RGB-IR图像传感器9’能得到手机屏幕四角的红外图像两幅，控制器根据这两幅图像得到4角的角度和位置，能得到视觉差并计算出深度。根据这些角度、位置、深度就能计算出手机屏幕在三维空间的位置，根据三维空间位置描绘虚拟景物，并将虚拟景物叠加到手机屏幕的三维空间位置上，然后显示在MR的显示屏上，就能得到增强现实的手机屏幕了，就能在手机的增强现实的界面上来交互操作了。

本发明实施例还提供一种MR眼镜系统，该MR眼镜系统包括上述的便携式MR眼镜及上述的手机；其中，所述便携式MR眼镜连接所述手机。由于上述便携式MR眼镜和手机具有上述的有益效果，所以包括该便携式MR眼镜和手机的MR眼镜系统也同样具有上述效果，具体内容详见上述描述，在此不再赘述。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。