一种头戴式多通道交互系统及多通道交互方法
【技术领域】
[0001]本发明涉及虚拟现实、增强现实和多通道交互技术领域，尤其涉及一种头戴式多通道交互系统及多通道交互方法。
【背景技术】
[0002]本发明涉及虚拟现实、增强现实、多通道人机交互等诸多技术领域，目前，虚拟现实(VR)和增强现实(AR)掀起新热潮，众多厂商推出沉浸式虚拟现实头盔、手机眼镜盒子、头盔式立体播放器等。虚拟现实头戴式装备也开始融合自然交互技术，并将向多通道智能交互发展，多通道自然交互未来将会占据桌面、膝上、掌上系统。
[0003]目前，市面上的头戴式产品还不能做到多种自然交互方式有机地融合，大多只能集成其中的一种或者两种交互方式，本发明旨在提供一种有机融合多种交互方式的头戴式多通道交互系统及多通道交互方法。
【发明内容】
[0004]本发明的目的在于提供一种头戴式多通道交互系统及多通道交互方法，解决头戴式系统中多种自然交互方式的实时融合问题，实现增强现实、虚拟现实多通道自然交互。
[0005]本发明的技术方案实现如下:
[0006]本发明的一个目的在于提供一种头戴式多通道交互系统，包括头戴式交互设备以及数据处理系统；
[0007]所述头戴式交互设备包括:
[0008]用于采集佩戴者的运动姿态、手势、语音、心率以及脑电信号的传感器组件；
[0009]用于将所述传感器组件所采集到的信号进行数字化处理的信号处理装置，所述信号处理装置电性连接于所述传感器组件；
[0010]用于输出声音及图像的输出装置；以及
[0011]与所述佩戴者头部匹配的本体，其中，所述传感器组件、所述信号处理装置以及所述输出装置均设置于所述本体之中；
[0012]所述数据处理系统包括:
[0013]用于接收信号经过数字化处理所得信息的输入驱动模块，所述输入驱动模块通信连接于所述信号处理装置；
[0014]用于识别所述输入驱动模块所接收的信息并将其融合为多通道交互信息的多通道处理单元，所述多通道处理单元通信连接于所述输入驱动模块；
[0015]用于接收所述多通道交互信息进行多通道交互的应用系统，应用系统响应多通道交互信息生成交互输出信息，所述应用系统通信连接至所述多通道处理单元；以及
[0016]用于把应用系统的交互输出信息输出至所述输出装置的输出驱动模块，所述输出驱动模块通信连接于所述输出装置。
[0017]在本发明所述的头戴式多通道交互系统中，所述传感器组件包括:
[0018]用于采集所述佩戴者的运动姿态的运动姿态传感器；
[0019]用于采集所述佩戴者的手势图像的图像传感器；
[0020]用于采集所述佩戴者的语音的声音传感器；
[0021]用于采集所述佩戴者的心率信号的心率传感器；
[0022]用于采集所述佩戴者的脑电信号的脑电传感器。
[0023]在本发明所述的头戴式多通道交互系统中，所述图像传感器为双路传感器或单路传感器。
[0024]在本发明所述的头戴式多通道交互系统中，所述信号处理装置包括:
[0025]用于对所述运动姿态信号进行数字化处理的第一数字化处理模块，其电性连接于所述运动姿态传感器；
[0026]图像同步模块，其电性连接于所述图像传感器；
[0027]图像处理模块，其电性连接于所述图像同步模块；
[0028]高速USB接口，其电性连接于所述图像处理模块；
[0029]声音信号调理模块，其电性连接于所述声音传感器；
[0030]心率信号调理模块，其电性连接于所述心率传感器；
[0031]脑电信号调理模块，其电性连接于所述脑电传感器；
[0032]第二数字化处理模块，其分别电性连接于所述声音信号调理模块、所述心率信号调理模块以及所述脑电信号调理模块；
[0033]USB集线器，其分别电性连接于所述第一数字化处理模块、所述高速USB接口以及所述第二数字化处理模块。
[0034]在本发明所述的头戴式多通道交互系统中，所述输入驱动模块包括运动输入驱动模块、图像输入驱动模块、声音输入驱动模块、脑电输入驱动模块以及心率输入驱动模块。
[0035]在本发明所述的头戴式多通道交互系统中，所述多通道处理单元包括:
[0036]运动识别模块，其通信连接于所述运动输入驱动模块；
[0037]手势识别模块，其通信连接于所述图像输入驱动模块；
[0038]语音识别模块，其通信连接于所述声音输入驱动模块；
[0039]脑电识别模块，其通信连接于所述脑电输入驱动模块；
[0040]心率识别模块，其通信连接于所述心率输入驱动模块；
[0041]多通道融合模块，其分别通信连接于所述运动识别模块、所述手势识别模块、所述语音识别模块、所述脑电识别模块、所述心率识别模块以及所述应用系统。
[0042]在本发明所述的头戴式多通道交互系统中，所述输出驱动模块包括:
[0043]显示输出驱动模块，其通信连接于所述应用系统；
[0044]声音输出驱动模块，其通信连接于所述应用系统。
[0045]在本发明所述的头戴式多通道交互系统中，所述输出装置包括:
[0046]视频接口，其通信连接于所述显示输出驱动模块；
[0047]显示器，其电性连接于所述视频接口，并设置于所述本体中与所述佩戴者眼睛相对应的位置；
[0048]音频接口，其通信连接于所述声音输出驱动模块；
[0049]耳机，其电性连接于所述音频接口。
[0050]另一方面，提供一种多通道交互方法，该方法采用如上所述的头戴式多通道交互系统，包括以下步骤:
[0051]S1、头戴式交互设备采集佩戴者的运动姿态、手势、语音、心率以及脑电信号，对其进行数字化处理，并发送至数据处理系统；
[0052]S2、所述数据处理系统的多通道处理单元对信号数字化处理后的信息进行识别和融合处理，将其融合后的多通道交互信息传递给应用系统，所述应用系统接收所述多通道交互信息进行多通道交互响应处理，并生成交互输出信息，通过输出驱动模块输出至所述头戴式交互设备；
[0053]S3、所述头戴式交互设备接收应用系统生成的交互输出信息，输出声音及图像。
[0054]在本发明所述的多通道交互方法中，所述步骤S2包括以下子步骤:
[0055]S21、多通道处理单元对所述佩戴者的运动姿态、手势、语音、心率以及脑电信号数字化后的信息进行识别处理，得到各个通道的交互信息；
[0056]S22、将识别到的运动姿态、手势、声音、心率以及脑电各个通道的交互信息融合，得到的融合后的语义一致的多通道交互信息；其中，依据心率以及脑电信号按照预设生理模型分析所述佩戴者的生理状态，并依据所述生理状态生成提示信息，将所述提示信息融合至所述多通道交互信息；
[0057]S23、基于多通道融合模块的多通道交互控制机制，所述应用系统对所述多通道交互信息进行多通道交互响应处理，生成交互输出信息并发送至所述头戴式交互设备。
[0058]因此，本发明的有益效果是，实现手势、语音、头部运动姿态、心率、脑电等多种自然交互方式的实时融合，集成沉浸式3D立体显示与声音，提升虚拟现实和增强现实的交互体验效果，并可根据生理感知实现对所述佩戴者的健康关怀。
【附图说明】
[0059]下面将结合附图及实施例对本发明作进一步说明，附图中:
[0060]图1为本发明提供的一种头戴式多通道交互系统的结构方框图；
[0061]图2为本发明第一实施例提供的图像传感器的结构示意图；
[0062]图3为本发明第二实施例提供的图像传感器的结构示意图；
[0063]图4为本发明第一实施例提供的显示器的结构示意图；
[0064]图5为本发明第二实施例提供的显示器的结构示意图；
[0065]图6为本发明第三实施例提供的显示器的结构示意图；
[0066]图7为本发明实施例提供的本体的外观示意图；
[0067]图8为本发明提供的一种多通道交互方法的流程图。
【具体实施方式】
[0068]为了对本发明的技术特征、目的和效果有更加清楚的理解，以下将对照附图详细说明本发明的【具体实施方式】。应当理解，以下说明仅为本发明实施例的具体阐述，不应以此限制本发明的保护范围。
[0069]本发明提供一种头戴式多通道交互系统100及多通道交互方法，其目的在