本发明涉及多模态成像及多层感知技术领域，尤其是一种基于多模态成像和多层感知技术的增强现实眼镜。
背景技术
增强现实眼镜在现实生活中的应用前景巨大，自从谷歌开始发布谷歌眼镜以来，世界上很多企业都开始涉足增强现实眼镜领域。就市面上的现有的增强现实及其相关的眼镜产品而言，主要有谷歌眼镜(g.inc.,googleglass,2012)、esight3(e.co.,esight3,2017)、orcam(o.t.ltd.,orcam,2015)、enchroma(i.enchroma,enchroma,2013)、intoer(l.hangzhoukr-visiontechnologyco.,intoer,2017)等主流产品。其中大部分产品都是产品都是单一的rgb相机作为数据采集设备，然后采用视觉或声音的反馈方式进行信息的传输。这些产品存在的模态和感知形式单一的问题是目前这些产品应用场景受限的最大原因之一。
在我国的专利数据库中以“增强现实眼镜”为关键词来搜索，则会有约540项的专利、325项发明专利(含公开的发明专利)。以下对现有的相关专利进行罗列并分析：如增强现实智能眼镜(申请号：201510009348.1)通过相机实时采集周围环境信息，并将虚拟对象和现实画面叠加现实，产生三维立体效果，通过动作传感器和声音传感器与系统进行互动；大视场角增强现实眼镜(申请号：201510573508.5)主要通过光学架构实现了大视场角增强现实眼镜，从而增强了用户的使用体验，该专利申请人在另外一个专利中增加了触摸屏，实现了用户的交互，实际上用户的感知和交互是分不开的，有了感知，才有交互；带增强现实的智能眼镜(申请号：201610035054.0)采用可见光和深度相机协同的方式增强视觉障碍的用户对外界事物的感知；增强现实眼镜(申请号：201610270873.3)采用了双可见光相机加闪光灯的模式大幅改善聚集功能和成像画质；多层式增强现实智能眼镜(申请号：201610316464.2)结合使用滤光镜片、显示镜片、功能镜片的光学设计方案实现了多层的感知；用于实现增强现实交互和展示的方法、设备(申请号：201610049175.0)通过通讯协议实现了不同模块之间的通讯，然后通过视觉、声音、振动的形式来进行用户的多层感知。
综上所述，现有技术的增强现实眼镜存在着模态单一、感知模式匮乏等问题，未能将感知与进行较好的交互和整合，限制了增强现实眼镜的大规模实际应用，这也是目前这些产品应用场景受限的最大原因之一。
技术实现要素：
本发明的目的是针对现有技术的不足而设计的一种基于多模态成像和多层感知的增强现实眼镜，采用多模态成像架构融合的多感知结构，实现复杂应用场景下有效信息的准确获取和精准全面的传递，以满足智能执法、视障辅助、辅助驾驶等不同环境下的应用需求，结构简单，使用方便，可靠性高。
本发明的目的是这样实现的：一种基于多模态成像和多层感知的增强现实眼镜，包括由设置在镜架上的常规镜片与全透模式镜片组成的现实眼镜，其特点是镜架一侧镜腿上设有可见光/近红外相机、近红外点阵光源、深度相机和微处理器，另一侧镜腿上设有触感发生器、气体喷射器、传输模块、振动发生器和骨传导耳机，以及连接两镜片的鼻架上设有点阵激光器、栅栏状激光器和陀螺仪，所述常规镜片上方设有红外测距传感器；所述全透模式镜片上方设有超声波测距传感器和远红外热像仪，其下方设有麦克风；所述可见光/近红外相机、近红外点阵光源、深度相机、点阵激光器、栅栏状激光器、陀螺仪、超声波测距传感器和远红外热像仪将获取的外界信息输入微处理器，并由微处理器将处理后的图像流和数据流反馈至触感发生器、气体喷射器、振动发生器、骨传导耳机和全透模式镜片进行全面精准的传递，使用者通过反馈的信息做出相应的行为决策，并通过麦克风进行交互，实现应用场景下有效信息的准确获取和精准传递。
所述触感发生器为产生痛觉阈值之下的热和电刺激。
所述振动发生器为产生痛觉阈值之下的敲打刺激。
所述骨传导耳机设置在镜架的内侧。
所述镜架上设有与两镜腿连接的头绑式承重带。
所述传输模块为蓝牙、4g或wifi无线传输。
所述全透模式镜片为多模态图像信息映射到对应的即时场景的oled显示屏，并设有眼动或机械开关切换不同模态的图像信息及其融合态显示。
所述麦克风设有语音识别功能。
本发明与现有技术相比具有复杂应用场景下有效信息的准确获取和精准全面的传递，以满足智能执法、视障辅助、辅助驾驶等不同环境下的应用需求，结构简单，使用方便，可靠性高，为高精度的复杂环境下信息的获取和感知提供了一种解决思路，有效整合了可见光相机、近红外相机、远红外相机、激光生物散斑成像技术和深度相机，并辅以近红外点阵光源、点阵激光器和栅栏状激光器等不同类型的结构光，确保在复杂多样环境下信息的高精准获取，高度地整合了包括触觉、视觉和声音等不同人类感知类型层次的感知技术，以及热/电触感发生器、气体喷射器、振动发生器、骨传导耳机和oled显示屏等不同形式的感知数据，可以较大程度地提高系统的准确度和鲁棒性，从而满足智能执法、视障辅助、辅助驾驶等不同的应用需求，较大程度地辅助多模态成像模块和多层感知模块完成特定场景下的复杂任务，并可根据实际要求进行相关调整，更好的满足不同场景的应用需求。
附图说明
图1为本发明结构示意图；
图2为图1俯视图。
具体实施方式
参阅附图1～图2，本发明由设置在镜架20上的常规镜片17与全透模式镜片18组成，所述镜架20的一侧镜腿上设有可见光/近红外相机1、近红外点阵光源2、深度相机3和微处理器10，镜架20的另一侧镜腿上设有触感发生器7、气体喷射器8、传输模块9、振动发生器11和骨传导耳机15，以及连接两镜片的鼻架上设有点阵激光器4、栅栏状激光器5和陀螺仪6，所述常规镜片17上方设有红外测距传感器13；所述全透模式镜片18上方设有超声波测距传感器12和远红外热像仪14，其下方设有麦克风16；所述骨传导耳机15设置在镜架20的内侧；所述镜架20上设有与两镜腿连接的头绑式承重带19；所述可见光/近红外相机1、近红外点阵光源2、深度相机3、点阵激光器4、栅栏状激光器5、陀螺仪6、超声波测距传感器12和远红外热像仪14将获取的外界信息输入微处理器10，并由微处理器10将处理后的图像流和数据流反馈至触感发生器7、气体喷射器8、振动发生器11、骨传导耳机15和全透模式镜片18进行全面精准的传递，使用者通过反馈的信息做出相应的行为决策，并通过麦克风16进行交互，实现应用场景下有效信息的准确获取和精准传递。
所述可见光/近红外相机1、近红外点阵光源2、深度相机3、点阵激光器4、栅栏状激光器5和远红外热像仪14为多模态成像的组合器件，其中可见光/近红外相机1需要结合近红外点阵光源2使用，且两者之间需要相应的电路设备和感光设备来实现有光模式和无光模式的切换，主要用于获取场景中物体的颜色、纹理等常规图像信息；所述点阵激光器4和栅栏状激光器5是为了实现激光生物散斑成像模式，需要结合可见光/近红外相机1一起使用，主要用于获得场景中物体的生物散斑特性，激光器波段的选型和激光器的数量则需要根据具体的应用需求来配备；所述深度相机3一般需要配合其他模态的图像使用，主要用于获取场景中物体的距离信息；所述远红外热像仪14一般需要配合其他模态的图像使用，主要用于获取场景中物体的温度信息。
所述触感发生器7、气体喷射器8、振动发生器11、骨传导耳机15和全透模式镜片18为涵盖触觉、视觉和声音等人类多层感知的组合器件，其中，触感发生器7可以产生热、电两种刺激来让佩戴者感知周边的环境变化情况，热、电的刺激强度都控制在产生痛觉的阈值之下，通过热、电刺激的强度来给佩戴者传递外界相应的信息；气体喷射器8通过向佩戴者皮肤上喷射不同强度的气体来传达多模态成像器件获取的信息，另外，气体喷射器8还可以增加其他的功能，如风扇功能用于降温、缓解眼睛疲劳功能等；振动发生器11通过控制敲打佩戴者皮肤的形式，实现外界信息的准确的传递，振动发生器11的敲打力度控制在产生痛觉的阈值以下；骨传导耳机15通过机械振动将声音信息通过骨骼传递到耳朵，这种方式可以防止佩戴者隐私的泄露，在特定的用户需求下，该部分可以替换成传统的耳机；全透模式镜片18为oled显示屏，可以将多模态图像信息一一映射到对应的即时场景中，同时，该显示屏中可以用相应的眼动装置或者机械开关，可以切换不同模态的图像信息及其融合态到屏幕上显示，此外，oled显示屏可以换成其他具备类似功能的显示屏。
所述陀螺仪6、超声波测距传感器12、远红外热像仪14和麦克风16为辅助传感器件，其中，陀螺仪6为用户的姿态分析和视频的对齐校准等；超声波测距传感器12为辅助多模态成像器件的测距、测速等场景信息的获取；麦克风16为使用者与各器件进行交互，同时，也可以根据实际需求增设语音识别功能。
所述传输模块9和微处理器10为控制终端，其中：传输模块9实现各器件间的信息传输，同时，当器件的计算量增加的时传输模块9还负责将本地获取的数据传输到云端进行处理，然后接收处理后的数据或相应的决策信息；所述传输模块9为4g、蓝牙、wifi或其他无线传输；微处理器10用于多模态图像信息和感知信息的处理，考虑到器件的续航能力，在实际产品开发过程中，可以在器件的某处增加几个可以放置电池的机械架构，同时也可以在器件某处如头绑式承重带19上增加太阳能充电模块。
以上只是对本发明作进一步的说明，并非用以限制本专利，凡为本发明等效实施，均应包含于本专利的权利要求范围之内。