一种头戴式眼动跟踪操作辅助的智能装置的制作方法

本发明涉及装配制造领域辅助工具，具体涉及一种头戴式眼动跟踪操作辅助的智能装置。

背景技术：

随着信息技术、智能化技术的不断发展和在制造业的应用，为解决大型复杂的装配加工和制造过程的问题提供了新的方法和思路。如大型飞机、高铁火车、轮船等复杂的装配制造周期长，工况复杂，人为因素造成的质量问题多，迫切需要新的工具和方法辅助作业提高工作效率和质量。诸如飞机、高铁火车等大型装配制造业，装配工人在现场工作需要仔细翻阅大量的图纸、工艺文件等，无法解放双手，效率较低下，且工作人员易疲劳、紧张或者注意力分散，会出现工作上的失误，造成装配质量问题，影响装配周期。据统计，人为因素引起的装配制造质量事故占大飞机装配质量事故的60%以上，特别在某些狭小空间无法查看纸质图纸，平板设备无法解放双手情况下，在封闭环境下工作，往往引起作业人员情绪、心情的异常变化，也会引起质量事故。也有借助智能眼镜实现信息查阅的研究，佩戴式眼镜在一定程度降低了操作人员频繁查看图纸的频率，但现有的设备显示屏过小，只能现实图纸局部浏览，信息查阅效率仍然较低。如果能从现场作业人员的生理、状态等多方面监测，并能集成安全防护装置，实现对现场作业人员的指导，将会极大的缓解作业人员的疲劳、烦躁等情绪，对于提高装配制造的效率和质量具有重要的意义。因此本发明设计了一款头戴式具有操作指导，对工作人员状态实时监测，兼具护目功能的头戴式操作辅助护目装置。

技术实现要素：

本发明的目的在于针对已有的技术的不足，提供一种头戴式眼动跟踪操作辅助的智能装置，可以眼动跟踪为现场作业人员提供作业指导，资料查询和防差错过程监控，能够解放现场作业人员双手，以提高工作效率及降低差错率，同时兼具护目功能。

为了实现上述目的，本发明采用下述技术方案：

头戴式可折叠操作辅助监控护目装置，包括通信模块（i）、显示模块（ⅱ）、交互模块（ⅲ）、监测模块（ⅵ）、图像采集模块（ⅳ）、生理信息监测模块（ⅴ）、投影姿态调节模块（ⅶ）、视频监测姿态调节模块（ⅶ）、处理器（ⅸ）、头戴式可折叠支架（ⅹ）。所述生理信息监测模块（ⅴ）包括生理信息传感器（17）和眼动仪（10），眼动仪（10）安装在显示屏（11）左侧，显示屏（11）与眼动仪（10）组合的模块（21）与连杆（9）可动连接，连杆（9）与装置支撑架（22）可动连接，显示屏（11）接应用处理器（ⅸ）输出。生理信息传感器（17）安装在壳体（3）右侧，输出信号接处理器（ⅸ）输入。所述交互模块（ⅲ）包括眼动仪（10）、语音模块（23）和触摸板（2），接处理器（ⅸ）输入，触摸板（2）与语音模块（23）都安装于装置壳体（3）左侧。交互模块（ⅲ）感知用户操作意图，由处理器（ⅸ）做出判断，发出控制信号。图像采集模块（ⅳ）与第一舵机（1）转轴连接，第一舵机（1）连接于支撑架（22）左侧，眼动仪（10）输出信号经由应用处理器（ⅸ）处理之后输出控制信号，控制第一舵机（1），使图像采集模块（ⅳ）角度跟随视线俯仰变化。微型投影仪（14）与第二舵机（13）转轴连接，陀螺仪（7）输出信号接应用处理器（10）输入，第二舵机（13）接收控制信号，跟踪用户头部姿态变化，保持微型投影仪（14）水平位置。

采用可调节护目镜，其特征在于：携镜架（19）通过连镜杆（18）与壳体（3）可动连接，可前后移动，用于适应不同人群面部特征，以及便于折叠收纳。携镜架（19）与连镜杆（18）可动连接，可旋转180°，三个极限位置，0°:收纳；90°：正常使用；180°：闲时不用护目镜。

装置可折叠，其特征在于：头带（12）与支撑架（22）可动连接，头带（12）可旋转至与支撑架（22）平行位置。连杆（9）与支撑架（22）可动连接，可旋转至与壳体（3）接触平行位置。携镜架（19）可旋转至0°位置，使镜片（20）与整个壳体（3）平行。实现将装置空间尺寸最小化。

图像采集模块（ⅳ）采用眼动跟踪技术，眼动仪（10）位于连接于支撑架（22）的连杆（9）上，采集图像提取眼部特征，应用处理器（ⅸ）对特征进行处理后，根据视线方向，向第一舵机（1）发出控制信号，第一舵（1）机将力矩传给图像采集模块（ⅳ），使图像采集模块（ⅳ）采集的图像位于视线中心。

投影姿态调节模块（ⅶ），其特征在于：微型投影仪（14）与第二舵机（13）连接，第二舵机（13）与头带（12）固定连接，第二舵机（13）通过正转反转，将力矩传予微型投影仪（14），根据用户头部俯仰姿态实现调节微型投影仪（14）的俯仰角度。

所述投影功能，微型投影仪（14）含有第二蓝牙模块，装置壳体含有第一蓝牙模块（6），第二蓝牙模块与第一蓝牙模块（6）配对，实现信息传递。

装置的监测预警功能，包括：眼动跟踪视频监测，用于判断用户工具遗漏，操作失误；用户生理信息监测，用于判断用户工作状态，疲劳，紧张，注意力分散。通过语音模块（23），显示模块（ⅱ）用户，并通过通信模块（i）发送给服务器，实现用户状态跟踪监测。

所述视频监测预警，其特征在于：图像采集模块（ⅳ）采集用户视角画面，利用机器视觉技术对用户的操作过程全程记录并分析，对用户错误操作加以预警提示。

所述生理信息监测预警，其特征在于：通过安装位于装置壳体（3）右侧的生理信息传感器（17），检测用户生理信息：皮电，心率，以及基于眼动仪的面部信息采集系统，采集面部信息。采集的用户生理信息经由通信模块（i）发送给服务器，结合用户面部信息，综合判断用户工作状态。

作业指导可视化技术，图像采集模块（ⅳ）获取作业环境中的信息，通过与设备或服务器中知识库与案例库中内容匹配，利用增强现实技术，在显示屏（11）中显示融合指导信息指导用户操作，避免操作时频繁的查看资料，减少出错的可能性。

多交互通道操作辅助技术，交互通道包括眼动仪（10）、语音（23）、触摸板（2），眼动仪（10）位于连接于支撑架（22）的连杆（9）上，采集图像提取眼部特征，采取的特征传送至处理器（ⅸ），语音模块（23）、触摸板（2）安装在壳体（3）左侧，输出接处理器（ⅸ），处理器（ⅸ）通过通信模块（i）与远端服务器相连接，远端服务器存储有知识库和案例库。例如，应用处理器（ⅸ）对用户的行为做出意图判断，对远端服务器的知识库和案例库文件实现显示和控制功能。处理器（ⅸ）输入信号接眼动仪（10）、语音模块（23）、触摸板（2），输出信号接显示屏（11），微型投影仪（14）。当有对文件读取请求时：处理器（ⅸ）通过通信模块（i）向服务器发送读写文件请求。当有对显示界面操作请求时：处理器（ⅸ）对用户的界面操作意图做出判断，对显示的界面做出相应的移动，放大，缩小。

基于眼动仪的用户界面显示操作，眼动仪（10）位于连接于支撑架（22）的连杆（9）上，采集用户的眼部特征，眼部特征信息交由处理器（ⅸ）处理，当视线向上时偏转时，显示界面向下移动；当视线向下偏转时，显示界面向上移动；当视线向左偏转时，显示界面向右移动；当视线向右偏转时，显示界面向左移动。

所述多交互通道辅助技术，交互通道可以互相切换，包括主动切换，被动切换，主动切换由用户选择交互模式，被动切换由处理器（ⅸ）针对操作过程自主切换，眼动模式可以切换为语音模式、触摸板模式，语音模式可以切换为眼动模式、触摸板模式，触摸板模式可以切换为眼动模式、语音模式。交互通道可以互相协作，一个操作由多个过程组成，针对特定的过程采用不同交互通道。

与现有技术相比，本发明具有以下显而易见的实质性特点和技术进步：

1.本发明可针对不同的头部姿态，自动调节采集图像的角度，保证采集的图像位于用户视线的中心；自动调节投影角度，保证投影的图像不产生变形。

2.本发明可以显示较大图纸文件，克服小屏幕的不足。

3.本发明可以实现眼动跟踪驱动的文件显示和控制功能，解放双手，提高作业效率和质量，弥补现有语音控制技术的不足。

4.本发明装置可以折叠收纳，避免空间的占用。

5.本发明装置可以对用户的工作状态进行监测，有效减少用户低效作业产生的失误。

6.本发明在提供操作辅助和监测的同时，还提供护目镜功能，为用户提供必要的保护。

7.本发明可以融合显示指导信息，更加直观地给用户提供指导。

附图说明

图1为头戴式操作辅助监测护目智能装置结构示意图；

图2为头戴式操作辅助监测护目智能装置硬件结构示意图；

图3为装置的微型投影仪和图像采集模块俯仰姿态调整示意图；

图4为头戴式操作辅助监测护目智能装置的可调节护目镜结构图；

图5为头戴式操作辅助监测护目智能装置的折叠方式图。

具体实施方式

下面结合附图，对本发明的实施例做详细说明：

实施例一：

参见图1-图5，本头戴式眼动跟踪操作辅助的智能装置,包括通信模块（i）、显示模块（ⅱ）、交互模块（ⅲ）、监测模块（ⅵ）、图像采集模块（ⅳ）、生理信息监测模块（ⅴ）、投影姿态调节模块（ⅶ）、视频监测姿态调节模块（ⅶ）、处理器（ⅸ）、头戴式可折叠支架（ⅹ），其特征在于，所述处理器（ⅸ）连接通信模块（i）、显示模块（ⅱ）、交互模块（ⅲ）、监测模块（ⅵ）、图像采集模块（ⅳ）、生理信息监测模块（ⅴ）、投影姿态调节模块（ⅶ）和视频监测姿态调节模块（ⅶ），而安装在头戴式可折叠支架（ⅹ）上。显示模块（ⅱ）接处理器（ⅸ）输出，显示辅助操作信息，其中一个微型投影仪（14）可通过投影姿态调节模块（ⅶ）调节投影姿态；交互模块（ⅲ）接处理器（ⅸ）输入，交互模块（ⅲ）感知用户操作意图，由处理器做出判断，发出控制信号；监测模块（ⅵ）用于监测用户状态，一方面通过图像采集模块（ⅳ）采集用户操作过程信息，另一方面通过生理信息监测模块（ⅴ）监测用户生理状态；视频监测姿态调节模块（ⅷ）用于调节图像采集模块（ⅳ）的采集角度。

实施例二：

本实施例与实施例一基本相同，特别之处如下：显示模块（ⅱ），包括微型投影仪（14）和显示屏（11）含有多种显示方式，显示屏显示，投影显示，外部输出接口。微型投影仪（14）能够自适应调整投影角度；微型投影仪（14）与所述姿态调节模块（ⅲ）中的一个第二舵机（13）连接，第二舵机（13）与所述头戴式可折叠支架（ⅹ）中的一个头带（12）固定连接，第二舵机（13）通过正转反转，将力矩传予微型投影仪（14），根据用户头部俯仰姿态实现调节微型投影仪（14）的俯仰角度。图像采集模块（ⅳ）采集角度可自适应调节；所述生理信息监测模块（ⅴ）包括生理信息传感器（17）和眼动仪（10），眼动仪（10）位于连接于所述头戴式可折叠支撑架（22）的连杆（9）上，采集图像提取眼部特征，处理器（7）对特征进行处理后，根据视线方向，向所述视频监测姿态调节模块（ⅶ）中的一个第一舵机（1）发出控制信号，第一舵机（1）将力矩传给图像采集模块（8），使图像采集模块（ⅳ）采集的图像位于视线中心。具有监测预警功能，包括：视频监测预警技术，生理信息监测预警技术。所述视频监测预警技术：通过图像采集模块（ⅳ）采集用户视角画面，利用机器视觉技术对用户的操作过程全程记录并分析，对用户错误操作加以预警提示；所述生理信息监测预警技术：通过生理信息监测模块中的一个生理信息传感器（17），检测用户生理信息：皮电，心率，以及基于眼动仪（10）的面部信息采集系统，采集面部信息。采集的用户生理信息包括面部信息，经过信息处理，判断用户工作状态疲惫，注意力分散。交互通道包括眼动仪（10）、语音（23）和触摸板（2）。交互模块（ⅲ）的交互通道可以互相切换，包括主动切换，被动切换，主动切换由用户选择交互模式，被动切换由处理器（ⅸ）针对操作过程自主切换，眼动模式可切换为语音模式、触摸板模式，语音模式可切换为眼动模式、触摸板模式，触摸板模式可切换为眼动模式、语音模式。交互模块（ⅲ）的交互通道可互相协作，一个操作由多个过程组成，针对特定的过程采用不同交互通道。含有基于眼动仪的用户界面显示操作，所述眼动仪（10）位于连接于支撑架（22）的连杆（9）上，采集用户的眼部特征，眼部特征信息交由处理器处理（ⅸ），当视线向上时偏转时，显示界面向下移动；当视线向下偏转时，显示界面向上移动；当视线向左偏转时，显示界面向右移动；当视线向右偏转时，显示界面向左移动。作业指导可视化，图像采集模块（ⅳ）获取作业环境中的信息，通过与设备或服务器中知识库与案例库中内容匹配，利用增强现实技术，在所述显示模块（ⅱ）中的显示屏（11）中显示融合指导信息。头戴式可折叠支架（ⅹ）得结构包括：一个护目镜可调节结构：携镜架（19）通过一个连镜导杆（18）与壳体甲（3）可动连接，可前后移动，携镜架（19）与连镜导杆（18）可动连接，可旋转180°，三个极限位置为，0°，90°，180°；一个可折叠结构：一个头带（12）与一个支撑架（22）转动连接，头带（12）可旋转至与支撑架（22）平行位置；连杆（9）连接显示屏（11）、眼动仪（10），与支撑架（22）可动连接，可旋转至与壳体甲（3）平行位置。携镜架（19）可旋转至0°位置，使镜片与整个壳体平行，连镜导杆可向装置内测方向移动。

实施例三：

如图1所示，本头戴式眼动跟踪操作辅助的智能装置，能够实现解放双手，以及提供必要的护目装置。如图2所示，本发明装置包括：由第一舵机（1）和图像采集模块（8）构成的眼动跟踪视频监测姿态调整模块，自适应姿态感知模块（陀螺仪）（6），交互模块（包括：眼动仪（10），触摸板（2），语音模块（23）），显示屏（11），微型投影仪（14），处理器（7），通信模块（包括：蓝牙，wi-fi，usb接口），生理信息监测模块（包括：眼动仪（10），生理信息传感器（17）），可调节护目镜装置（包括：导杆（18）、携镜架（19）、护目镜片（20），连杆（9），壳体甲（3），支撑架（22），电池仓（16），电池仓盖（15），头带（12）。

如图1所示，本发明的显示模块包括微型投影仪投影显示（14）和显示屏（11）显示，其中，微型投影仪有第二蓝牙模块，其与装置的第一蓝牙模块配对连接，用来传递信号。

如图1所示，所述眼动跟踪视频监测姿态调整模块，包括：图像采集模块（8），第一舵机（1），支撑架（22）。第一舵机（1）固定于支撑架（22）上，第一舵机(1)转轴与图像采集模块（8）相连接。第一舵机(1)正转或反转，带动图像采集模块（8）俯仰姿态调整。所述自适应姿态调整投影模块，包括：头带（12），第二舵机(13),微型投影仪（14）。第二舵机(13)固定于头带（12）上，第二舵机（13）转轴与微型投影仪（14）相连接。第二舵机（13）正转或反转，带动微型投影仪（14）俯仰姿态调整。

如图4所示，所述可调节护目镜，包括：壳体甲（3），导杆（18），携镜架（19），护目镜片（20）。护目镜片（20）与携镜架（19）固定连接，携镜架（19）与导杆（18）转动连接，导杆（18）与壳体甲（3）滑动连接。导杆（18）可以以壳体甲（3）为支撑滑动，实现护目镜前后距离的调节。

如图1所示，所述折叠机构包括上述可调节护目镜，还包括：壳体乙（21），连杆（9），支撑架（22），头带（12）。壳体乙（21）与连杆（9）转动连接，连杆（9）与支撑架（22）转动连接。连杆（9）可以绕着与支撑架（22）连接处转动，实现折叠，壳体乙（21）可以绕着与连杆（9）连接处转动，是显示屏（11）与眼动仪（10）转到装置内侧，以保护显示屏（11）和眼动仪（10）不受伤害，如图5所示。

如图2所示，本发明头戴式眼动跟踪操作辅助监测装置的硬件组成主要包括：处理器；由显示屏和微型投影仪组成的显示模块；投影姿态、视频监测姿态调节模块；由生理信息监测，视频监测组成的监测模块；由语音模块、触摸板和眼动仪组成的交互模块；通信模块；用于感知用户姿态的陀螺仪。处理器主要用来处理一些核心算法，用于信息处理。显示模块主要用于显示要给予用户的提示信息。投影姿态调节模块用于调节调节微型投影的俯仰的角度，使投影的图像上下不产生变形。视频监测姿态调节模块主要用于调节图像采集的角度，使采集的图像基本位于视线的中心。生理信息检测模块所检测的生理信息和眼动仪采集的面部特征，经由通信接口发送给远端服务器，实现用户状态的跟踪，对用户的状态做出判断。服务器将用户的不良状态（疲惫，注意力分散等）经由设备的通信接口反馈给用户，给予用户提示。交互模块主要用来采集用户控制意图信息，由处理器做出判断，然后做出操作响应。陀螺仪用于感知用户俯仰姿态信息，为投影姿态调节模块提供调节信息。

如图3，本发明姿态调整主要包括微型投影仪投影姿态调整、图像采集模块姿态调整。陀螺仪（6）接受头部姿态信息，交由处理器（7）处理，处理器对第二舵机（13）发出控制信号，低头时，微型投影仪（14）上扬，抬头时，微型投影仪（14）向下偏转。眼动仪（10）采集眼部特征信息，交由处理器（7）处理，处理器对第一舵机（1）发出控制信号，视线往下时，图像采集模块（8）向下偏转，视线往上时，图像采集模块（8）向上偏转。

如图1，本发明监测功能主要包括生理信息监测和视频监测。生理信息监测模块采集用户生理信息，图像采集模块（8）采集用户操作过程信息。这些信息经过运算处理，如有不良信息（疲惫，注意力分散，操作失误等），将通过语音或显示屏反馈给用户，提醒用户注意。

本发明的操作辅助的核心在于作业指导可视化技术，图像采集模块（8）获取作业环境中的信息，通过与设备或服务器中知识库与案例库中内容匹配，利用增强现实技术，在显示模块中显示融合指导信息指导用户操作。

在人机交互方面，在语音和触摸板的基础上还引入眼动仪，不同的交互方式可以相互切换，一个操作也可采用多种交互方式相互协作，即，通过不限于一种交互方式完成一个操作。其中，本装置可以基于眼动仪对用户界面进行操作。眼动仪（10）采集用户的眼部特征，眼部特征信息交由处理器（7）处理，当视线向上时偏转时，显示界面向下移动；当视线向下偏转时，显示界面向上移动；当视线向左偏转时，显示界面向右移动；当视线向右偏转时，显示界面向左移动。