一种基于封闭式座舱的高效交互系统的制作方法

本发明属于显示交互技术领域，特别涉及了一种基于封闭式座舱的高效交互系统。

背景技术：

座舱显示在航空中应用广泛，其显示界面包含较多的参数以及飞行状态信息，操作方式为较为传统的操作杆交互以及按键交互，整体系统要求运行流畅，画面清晰，交互及时。显示交互技术在指挥控制系统，诸如航空航天、舰艇指控中应用广泛，被认为是“人与机器之间的桥梁”。其具体技术是指机器通过展示设备给人提供大量有用信息及提示请示等，人通过输入设备给机器发送指令信息来实现人与机器互动的过程。它与认知学、人机工程学、心理学等领域有密切的联系。

当前所应用的交互技术与应用场景中的需求相比，存在三个方面的差距：

1、显示交互手段的集成度不高；大部分交互技术还是采用传统的显示交互手段，简单集成应用于控制设备，没有集成较为先进、高效的显示交互手段，与此同时也未充分考虑交互效率、操控的便捷舒适性等对用户体验和实际效果的影响。

2、多种模式下交互方式的优化不足；虽然集成了较多的交互方式，但只是对交互方式做简单的堆砌，没有深入对交互方式做优化，导致用户的决策效率下降，各个交互方式的协作性不强。

3、辅助交互方式的智能化不强，交互方式在交互过程中的主动性不够，还未构建能够适应不同应用场景、不同操控角色的自适应人机交互体系。

技术实现要素：

为了解决上述背景技术提出的技术问题，本发明旨在提供一种基于封闭式座舱的高效交互系统，实现在封闭式座舱应用情形下的高效交互，并增加用户的沉浸式体验。

为了实现上述技术目的，本发明的技术方案为：

一种基于封闭式座舱的高效交互系统，包括一个封闭式座舱，该封闭式座舱外侧的前、后、左、右四个方向分别安设一个摄像头，且每个摄像头安装在舵机云台上；封闭式座舱内侧的前、后、左、右四个方向分别安设一个背投影，每个背投影通过数据传输线与前述同一方向的摄像头相连接，从而显示对应摄像头采集的图像；封闭式座舱内部的中心处安设有固定式转动座椅，该固定式转动座椅的椅背和座垫分别设置压力传感器阵列，用户坐于固定式转动座椅上，用户的头部和躯干各处安设陀螺仪；固定式转动座椅的正前方设置触摸屏，触摸屏的下方设置了手势识别设备；摄像头的对焦控制端、舵机云台的控制端、压力传感器阵列的输出端、陀螺仪的输出端、触摸屏的输出端和手势识别设备的输出端分别与系统主控制器相连。

进一步地，该高效交互系统采用基于坐姿姿态校正的体感交互方式和结合手势识别的触摸交互方式。

进一步地，所述基于坐姿姿态校正的体感交互方式为，将固定式转动座椅的椅背和座垫上的压力传感器阵列以及用户头部和躯干各处的陀螺仪采集的数据实时传送给系统主控制器，系统主控制器根据压力传感器阵列采集的数据求解出用户当前坐姿信息，根据陀螺仪采集的数据求解出用户当前体感姿态信息，并通过用户当前坐姿信息校正不同体感姿态所触发响应的阈值，从而获得最终的用户当前体感姿态，系统主控制器根据用户当前体感姿态控制各摄像头的对焦点和各舵机云台的偏转角度，完成体感交互。

进一步地，设固定式转动座椅的椅背和座垫上均设置3×3的压力传感器阵列，将各压力传感器采集的信号按下式进行计算：

maxrow＝max{row_f1,row_f2,row_f3}

maxcol＝max{col_f1,col_f2,col_f3}

location(x,y)＝(rowmax,colmax)

上式中，f(i,j)为3×3阵列中第i行第j列压力传感器采集的信；location(x,y)为阵列受力点最大的坐标，rowmax,colmax为maxrow,maxcol对应的行列坐标，{(x,y)|(x,y)∈(1,1),(1,2),(1,3),(2,1),(2,2),(2,3),(3,1),(3,2),(3,3)}；

根据location(x,y)和陀螺仪输出的三轴信号gyroscope(x,y,z)求解用户当前坐姿：

state＝function_correction[maxrow-back,maxcol-back,maxrow-seat,maxcol-seat,

location(x,y)back,location(x,y)seat,gyroscope(x,y,z)]上式中，maxrow-back,maxcol-back,location(x,y)back为椅背压力传感器阵列得到的maxrow,maxcol,location(x,y)值，maxrow-seat,maxcol-seat,location(x,y)seat为座垫压力传感器阵列得到的maxrow,maxcol,location(x,y)值；function_correction[]为坐姿识别函数，state∈{front,behind,left,right,idle}，即用户坐姿包括前、后、左、右、中5种坐姿，这5种坐姿对应的体感姿态依次为前倾、后仰、左倾、右倾和居中；

当用户长期处于某一坐姿state，将该坐姿state视为用户的习惯坐姿，则系统主控制器增大触发该坐姿对应的体感姿态的响应触发阈值。

进一步地，所述结合手势识别的触摸交互方式为，用户通过手指在触摸屏上的敲击和滑动输入指令，同时通过手势识别设备识别用户的手势指令，且系统主控制器执行手势指令的优先级高于触摸屏采集的指令。

进一步地，将手势识别设备安装在一维舵机云台上，该一维舵机云台的偏转角度受系统主控制器控制，系统主控制器根据触摸屏所接收到的输入信息判断出当前用户手所在的位置，据此控制一维舵机云台偏转，从而调整手势识别设备的检测范围。

采用上述技术方案带来的有益效果：

本发明综合了两种交互方式——基于坐姿姿态校正的体感交互方式和结合手势识别的触摸交互方式。两种交互方式所对应的侧重点不同，基于坐姿姿态校正的体感交互方式用来控制外界摄像头下舵机云台的转动以及摄像头的对焦点，用来调整所显示的外界环境输入画面，其中切换画面的速度依照用户的设置进行改变，避免过快和过慢的现象影响用户体验。结合手势识别的触摸交互方式则用来处理交互封闭式座舱本身的设备工作状态，即封闭式座舱中相应的参数均通过触摸屏显示给用户，用户也可以通过此触摸屏实现对封闭式座舱的命令输入，手势识别则是在此基础上更快速简便的一种交互方式。综合此两种交互方式，用户可以在封闭式座舱中实现与外界的良好交互，并在此基础上可以体验较好的沉浸式效果。

附图说明

图1是本发明封闭式座舱示意图；

图2是本发明传感器设置示意图；

图3是本发明基于坐姿姿态校正的体感交互方式流程图；

图4是本发明压力传感器阵列设置示意图；

图5是本发明结合手势识别的触摸交互系统示意图；

图6是本发明触摸交互系统各部件位置示意图；

图7是本发明结合手势识别的触摸交互方式流程图；

图8是本发明整个系统实施流程图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

本发明设计了一种基于封闭式座舱的高效交互系统，如图1所示，所述封闭式座舱的前端、后端、左端右端分别放置一个可变焦距的摄像头，参见图1中的标号1、2、3、4，摄像头安装在舵机云台上，其中舵机云台可以通过控制信号控制转向，从而带动摄像头向不同方向转动，用于呈现不同的景象。在封闭式座舱内部设置4个背投影，参见图1中标号5、6、7、8，四个摄像头所采集的图像信息通过数据线传输至封闭式座舱内部的背投影，用以向封闭式座舱内的人员传递外界图像信息。固定式转动座椅(仅底部固定)设置在封闭式座舱内部中心处，参见图1中的标号9。本发明采用基于坐姿姿态校正的体感交互方式和结合手势识别的触摸交互方式。

对于基于坐姿姿态校正的体感交互方式，首先建立基于用户压力分布的坐姿模型，根据座位各处所布置的压力传感器将压力数据采集进入系统主控制器中，经过运算可获得用户当前状态的坐姿。其次，根据分布在用户身体关键部位的陀螺仪采集用户当前的体感信息。为了避免外部不规律的抖动影响陀螺仪的数值，陀螺仪的数据应经过卡尔曼滤波。如图2所示，10和12分别为设置在座椅座垫和椅背的压力传感器，11和13分别为设置在用户头部和躯干的陀螺仪。系统主控制器采集体感信息并结合用户当前坐姿进行运算，根据当前用户的坐姿信息改变相应体感动作响应的阈值。例如，如果压力传感器检测到用户的压力分布主要集中在座椅的前部分(这意味着用户比较习惯靠前的坐姿)，则微控制器在判断用户的体感姿态时会增加前倾姿态触发的阈值，这种方法规避了不同用户由于坐姿习惯的不同而引起体感姿态响应不准的问题。最后微控制器根据运算的结果输出当前用户的体感状态信息，用于交互，该过程如图3所示。

在基于坐姿姿态校正的体感交互方式中，系统主控制器所输出的当前用户体感姿态信息将用来调整外界摄像头的对焦点和舵机云台的偏转角度，此种实施方式类似于现实世界中的人与外界交互方式。例如，当人身体倾向于某一特定方向，视野将会聚焦于某一特定物体，物体也将以一种更加清晰的方式呈现在人眼中。将此情景映射至封闭式座舱中，当用户的姿态前倾时，摄像头底座的舵机将使摄像头对准面前的方向，摄像头也将根据前倾的角度适度调焦，以实现对面前物体的观察。

在本发明中，根据座椅各处压力传感器数值来构建用户坐姿模型的方法为：在用户的座椅的座垫和椅背上分别布置9个压力传感器，形成3×3阵列，如图4中的14、15所示，通过建立坐标计算每个坐标点的压力数值便可以将用户的坐姿计算出来，进行后续的运算，分别计算该坐标系中每一行和每一列的压力值占整体压力的比值，比较之后即可得到用户的坐姿状态。计算公式如下：

maxrow＝max{row_f1,row_f2,row_f3}

maxcol＝max{col_f1,col_f2,col_f3}

location(x,y)＝(rowmax,colmax)

上式中，f(i,j)为3×3阵列中第i行第j列压力传感器采集的信；location(x,y)为阵列受力点最大的坐标，rowmax,colmax为maxrow,maxcol对应的行列坐标，{(x,y)|(x,y)∈(1,1),(1,2),(1,3),(2,1),(2,2),(2,3),(3,1),(3,2),(3,3)}。

根据location(x,y)和陀螺仪输出的三轴信号gyroscope(x,y,z)求解用户当前坐姿：

state＝function_correction[maxrow-back,maxcol-back,maxrow-seat,maxcol-seat,

location(x,y)back,location(x,y)seat,gyroscope(x,y,z)]上式中，maxrow-back,maxcol-back,location(x,y)back为椅背压力传感器阵列得到的maxrow,maxcol,location(x,y)值，maxrow-seat,maxcol-seat,location(x,y)seat为座垫压力传感器阵列得到的maxrow,maxcol,location(x,y)值；function_correction[]为坐姿识别函数，state∈{front,behind,left,right,idle}，即用户坐姿包括前、后、左、右、中5种坐姿。

对于结合手势识别的触摸交互方式，在座椅的面前设置触摸屏用于接收用户的手势输入，同时在触摸屏的下方设置leapmotion用于接收用户的特定手势信息。考虑到该实施方式的触摸屏位置相对固定，但屏幕的尺寸可能相对较大，容易超出leapmotion的识别范围，所以考虑到leapmotion中用户手势的识别范围必须在倒三棱锥之内，设计配套的一维舵机云台动态跟踪用户手势来解决上述问题。一维所及云台的具体实施方式为：在leapmotion底座安装自由度为1的舵机云台，实现手势检测范围的扩大，实现模型如图5所示，其中，(a)表示用户手势不在leapmotion检测范围，(b)表示经过多级云台调整使用户手势位于leapmotion检测范围内，标号16表示leapmotion中有效的手势识别范围，17表示触摸屏，18表示leapmotion，19表示一维舵机云台。舵机云台的转动角度由系统主控制器给出，系统主控制器根据触摸屏所接收到的输入触摸信息判断出当前用户手所在的位置，经过计算后输出对应的转动角度至舵机云台以此实现leapmotion对用户手势的动态跟踪。如图6所示触摸交互系统各部件的安装位置，标号20为一维舵机云台，21为安装在云台上方的leapmotion，22为触摸屏，23为leapmotion的有效范围。

在结合手势识别的触摸交互方式中，手势识别的优先级大于触摸识别优先级，系统主制器将优先考虑手势识别的结果。该部分的设计主要考虑到在紧急情况下，用户来不及在触摸界面做出一系列的操作动作来完成对某一紧急事件的处理，所以采用手势识别的方法来提高交互的效率。其程序执行的流程如图7所示。

在本发明中，系统主控制器采用通用架构的微处理器。固定式转动座椅封闭式座舱底部的接触位置应布置有缓冲装置，如弹簧、橡胶等，以此来避免外界干扰。图8可以完整展示两种交互模式的实施过程。

实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。