一种增强虚拟现实浸入感的视觉反馈平台的制作方法
【技术领域】
[0001] 本发明设及人机交互技术领域，特别设及一种增强虚拟现实浸入感的视觉反馈平 台，利用Kinect双目摄像头及姿态控制机构，虚拟现实设备，机器人和人构建一种闭合的 3D临场感人机义互系统。 技术背景
[0002] 近些年来，机器人技术获得了广泛应用，已在工业生产，高危作业等领域发挥了巨 大作用，并带来了较好的市场收益。在可预见的未来，机器人将逐步走向人的个人生活，充 当个人助理，遥控作业，整理家务，处理办公室日常重复性业务等。但是目前条件下，机器人 的智能化程度还不足W理解人的意图，独立完成各种日常任务，此外多数机器人需要经过 专业人员训练，才能操作，因而其人机交互界面普适性不强，无法满足人的个性化，多样化 需求。
[0003] 人机交互技术随着机器人的广泛应用越来越受到机器人研究人员和用户的重视， 其交互技术的普适性将会影响机器人在生产，参与人的生活的效能。通常人与机器人交互 通过手柄实现机器人位置，速度等参数的控制或者通过图形化编程界面，对机器人进行快 速编程。手柄控制往往需要用户对机器人场景有一个较为充分的熟练度，否则很难对机器 人进行精确，成功操作。图形编程界面往往需要对机器人具备一定的专业知识，逻辑性较 强，对非专业用户普适性不强。基于视觉人的行为意图理解近些年来也获得了较多应用，通 过人体行为意图的视觉提取，使机器人跟随人的运动或与人共同完成一项任务，或实现远 程操作。虽然借助视觉，人可W与机器人实现自然交互，但是浸入感不强，不能获得较好的 临场感，尤其在遥操作作业时，由于空间限制，人的活动和机器人的活动空间不能很好实现 匹配，因而会出现视觉上的误差，出现"屯、有余而力不足"的情况。所W人的活动空间和机 器人的活动空间匹配，融合对人和机器人处在同一时空环境至关重要。
[0004] 中国专利公开号CN103921266A，发明名称为《一种基于Kinect的体感控制冰雪机 器人方法》，主要提供了一种利用体感传感器Kinect遥操作机器人的方法，通过对人的肢体 动作识别控制机器人的运行。通过体感传感器虽然能够很好的对机器人实现实时控制，由 于该发明没有进行人，机器人，和环境的融合及反馈，因而操作者的临场感不够强，必须经 过专口训练学习才能实现对机器人的控制。
[0005] 中国专利公开号CN203092551U，发明名称为《一种基于Kinect和FPGA的家庭服 务机器人》，该发明提供了一共提供了一种基于Kinect和FPGA的家庭服务机器人，用于跟 踪人的运动。同样地，该发明仅实现对人的运动信息的提取，而未对机器人信息和人的信息 实现时空融合，交互不具有双向性，因而功能单一，不能很好实现人机的协同作业。
【发明内容】
[0006] 本发明的目的在于克服现有技术的缺点与不足，提供一种增强虚拟现实浸入感的 视觉反馈平台，目的在于增加人与机器人交互时的浸入感，实现直觉控制，同时要解决机器 人遥操作过程中，由于时空限制不能很好进行人及协同完成复杂任务功能的问题。
[0007] 本发明的目的通过如下技术方案实现：一种增强虚拟现实浸入感的视觉反馈平 台，由机器人、视觉伺服跟踪控制单元、浸入式视觉反馈单元构成，并与用户构成闭合的临 场感系统；所述视觉伺服跟踪控制单元用于跟踪用户的动作行为和环境建模，浸入式视觉 反馈单元接收用户的动作行为和环境建模信息后将其与机器人的肢体模型一起融合在3D 虚拟现实界面中，用户通过穿戴虚拟现实设备进行一系列的人机交互。
[0008] 所述视觉伺服跟踪控制单元包括Ξ自由度转台、Kinect摄像头。
[0009] 所述Kinect摄像头识别人体几何模型，构建人的运动学实时模型，包括手势模 型、环境3D建模和人的表情模型。
[0010] 所述Ξ自由度转台由机器人适配器通过连接螺钉连接摆动电机，所述摆动电机使 Kinect摄像头起到摆动作用，摆动角为±40度，所述摆动电机通过转动轴连接支撑座，所 述支撑座底板上连接直流伺服电机一和直流伺服电机二，所述直流伺服电机一和直流伺服 电机二通过同步带一和同步带二连接两自由度差动齿轮机构，所述差动齿轮机构由锥齿轮 一，锥齿轮二，锥齿轮Ξ，锥齿轮四构成，所述锥齿轮一和锥齿轮二通过预紧连接杆连接；通 过调节电机的转速和转向实现该机构的俯仰和旋转两种自由度的运动；锥齿轮一上连接有 Kinect摄像头连接器，通过过盈配合和Kinect摄像头构成紧连接。
[0011] 锥齿轮一 7上连接有Kinect摄像头连接器，通过过盈配合和Kinect摄像头构成 紧连接。锥齿轮一 7和双目摄像头支座8通过螺钉连接，并通过放松螺纹孔al和模形压板 曰2防止摄像头轴向和横向跳动。
[0012] 所述Ξ自由度转台的控制通信方式采用模块化嵌入式无线通信，通过构建机器 人，控制计算机W及相关设备的局域网，实现数据的双向互通互联。
[0013] 所述Ξ自由度转台的控制界面参数调整采用图形化调节方式。便于用户或研究人 员根据具体任务或环境变化进行相应的调整，使跟踪平台满足跟踪人的运动及相应的人机 协同等作业。
[0014] 所述浸入式视觉反馈单元包括虚拟现实设备和双目摄像头。
[0015] 所述视觉伺服跟踪控制单元的运动参数由人的头部运动参数确定，通过配置在虚 拟现实设备上的惯导单元IMU检测人的头部运动方向和速度大小，经过控制计算机处理， 通过无线网络和Kinect摄像头运动控制嵌入式单元实现Kinect摄像头和人的头部运动随 动。
[0016] 所述计算机运行空间齐次转换矩阵计算法，W达到人手动作跟随和人手工作空间 与机器人手工作空间匹配。
[0017] 所述虚拟现实设备接受所述Kinect摄像头构建的3D虚拟场景，并把人的肢体几 何运动学模型和机器人的肢体模型融合到3D环境中，用户通过穿戴虚拟现实设备通过其 3D虚拟现实界面进行一些列人机交互。
[0018] 本发明与现有技术相比，具有如下优点和有益效果：
[0019] 1、本发明中采用双目摄像头W及Ξ自由度人体头部运动跟踪转动平台，解决了W 往用Kinect或双目视觉进行人机交互时视场固定，单一，机器人工作空间受限的问题。
[0020] 2、本发明的视觉反馈3D界面融合机器人工作空间和人的肢体运动空间，实现了 人的直觉控制，减少了训练和适应的时间。
[0021] 3、本发明的人机交互浸入感强，硬件投入少，系统简单，集成度高，适用于构建不 同用途的机器人人机交互系统。
【附图说明】
[0022] 图1为本发明整体系统示意图；
[0023] 图2为双目视觉转动平台示意图；
[0024] 图3为双目视觉支撑座结构图；
[00巧]图4转动平台控制界面；
[0026] 图5人眼-手-机器人坐标变换示意图；
[0027] 图6人手运动跟踪算法简图。
【具体实施方式】
[0028] 下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限 于此。
[0029] 一种增强虚拟现实浸入感的视觉反馈平台，如图1所示，由机器人、视觉伺服跟踪 控制单元、浸入式视觉反馈单元构成，并与用户构成闭合的临场感系统；所述视觉伺服跟踪 控制单元用于跟踪用户的动作行为和环境建模，浸入式视觉反馈单元接收用户的动作行为 和环境建模信息后将其与机器人的肢体模型一起融合在3D虚拟现实界面中，用户通过穿 戴虚拟现实设备进行一系列的人机交互。
[0030] 所述视觉伺服跟踪控制单元包括Ξ自由度转台、Kinect。
[0031] 所述Kinect识别人体几何模型，构建人的运动学实时模型，包括手势模型、环境 3D建模和人的表情模型。
[0032] 所述Ξ自由度转台如图2所示，由机器人适配器1通过连接螺钉连接摆动电机14， 摆动电机14使Kinect起到摆动作用，摆动角±40度。摆动电机通过转动轴连接支撑座5， 支撑座5底板上连接直流伺服电机一 3和直流伺服电机二13,直流伺服电机一 3和直流伺 服电机二13通过同步带一 4和同步带二12连接两自由度差动齿轮机构，如图3所示，差动 齿轮机构由锥齿轮一 7,锥齿轮二11，锥齿轮Ξ6,锥齿轮四9构成，锥齿轮一 7和锥齿轮二 11通过预紧连接杆10连接。通过调节电机的转速和转向实现该机构的俯仰和旋转两种自 由度的运动。锥齿轮一 7上连接有Kinect连接器，通过过盈配合和Kinect构成紧连接。
[0033] 所述Ξ自由度转台的控制通信方式采用模块化嵌入式无线通信，通过构建机器 人，控制计算机W及相关设备的局域网，实现数据的双向互通互联。
[0034] 所述Ξ自由度转台的控制界面参数调整采用图形化调节方式。便于用户或研究人 员根据具体任务或环境变化进行相应的调整，使跟踪平台满足跟踪人的运动及相应的人机 协同等作业。
[0035] 所述浸入式视觉反馈单元包括虚拟现实设备和双目摄像头。
[0036] 所述视觉伺服跟踪控制单元的运动参数由人的头部运动参数确定，如图4所示， 通过配置在虚拟现实设备上的惯导单元IMU检测人的头部运动方向和速度大小，经过控制 计算机处理，通过无线网络和Kinect运动控制嵌入式单元实现Kinect和人的头部运动随 动。
[0037] 所述计算机运行空间齐次转换矩阵计算法，W达到人手动作跟随和人手工作空间 与机器人手工作空间匹配。即人手的工作空间和机器人手的工作空间用齐次转换矩阵进行 转化，首先在人手和机器人手W及Kinect上建立空间坐标系，然后使用旋转矩阵和位移矩 阵两两将其联系