一种用于重型机械远程无人操作的立体视觉随动显示系统的制作方法

本实用新型属于重型机械远程无人操作技术领域，更为具体地讲，涉及一种用于重型机械远程无人操作的立体视觉随动显示系统。

背景技术：

随着基建工程技术的大力发展，重型机械的应用范围日益广泛。而随着电子技术的参与度越来越高，重型机械的远程无人操作也成为行业热点。重型机械的远程无人操作在某些极端或危险环境下具有明显的优势，例如抗洪抢险、危险品泄露抢救、山体塌陷泥石清除、矿洞挖掘、高层建筑灌浆等作业场景。然而现有的技术方案还停留在使用单目摄像头、平面显示器显示影像、人眼辅助作业的阶段，缺乏相应的临场感知和深度感知，操作复杂、估计不准。目前国内市场还没有一套可供远距离操作、具备现场环境深度信息感知的无人作业系统提供给施工人员使用。

技术实现要素：

本实用新型的目的在于克服现有技术的不足，提供一种用于重型机械远程无人操作的立体视觉随动显示系统，通过本地模拟舱和远端随动平台进行配合，使得本地操作人员可以实时观看重型机械工作现场的立体高清影像，从而实现具有真实临场感的实时远程操控，进一步加强远程无人操控的安全性、沉浸感、环境感知等特色体验。

为实现上述目的，本实用新型提供一种用于重型机械远程无人操作的立体视觉随动显示系统，包括本地模拟舱和远端随动平台，其特征在于，所述本地模拟舱包括姿态惯性传感器、图像处理模块、虚拟现实头戴显示器和本地通信模块，远端随动平台安装在重型机械上，包括立体摄像头、图像采集模块、电机控制模块、驱动电机和远端通信模块；

本地模拟舱的姿态惯性传感器佩戴于操作人员头部，采集操作人员头部俯仰角度和左右转动角度，通过本地通信模块无线发送给远端随动平台的远端通信模块；

远端通信模块将所接收到的操作人员头部俯仰角度和左右转动角度转发给电机控制模块，电机控制模块根据头部俯仰角度和左右转动角度，向驱动电机发送垂直和水平转动信号；

驱动电机根据接收到的垂直和水平转动信号进行转动，立体摄像头固定在驱动电机的转动底板上，跟随驱动电机转动；

立体摄像头持续拍摄视频图像，图像采集模块获取立体摄像头所拍摄到的视频图像后通过远端通信模块无线发送给本地通信模块，本地通信模块将所接收到的视频图像转发给图像处理模块，图像处理模块对视频进行处理后发送至虚拟现实头戴显示器向操作人员进行显示。

进一步地，姿态惯性传感器嵌入虚拟现实头戴显示器内部。

进一步地，姿态惯性传感器包含地磁传感器、加速度传感器、陀螺仪传感器，通过加速度传感器和陀螺仪传感器检测操作人员头部俯仰角度和左右转动角度，通过地磁传感器对操作人员头部俯仰角度和左右转动角度进行漂移误差修正。

进一步地，本地通信模块和远端通信模块采用5GHz频段进行无线通信。

进一步地，驱动电机包括两台电机，其中一台用于垂直方向的转动驱动，另外一台用于水平方向的转动驱动。

进一步地，立体摄像头采用免驱USB3.0高清双目摄像头。

本实用新型用于重型机械远程无人操作的立体视觉随动显示系统，包括本地模拟舱和安装于重型机械上的远端随动平台，本地模拟舱的姿态惯性传感器采集操作人员头部俯仰角度和左右转动角度，发送到远端随动平台由电机控制模块生成垂直和水平转动信号，控制驱动电机带动立体摄像头进行转动，立体摄像头拍摄到的视频图像将回传至本地模拟舱，由本地模拟舱的图像处理模块按照预设操作对视频进行处理后发送至虚拟现实头戴显示器向操作人员进行显示。本实用新型通过在重型机械上架设远端随动平台，使得本地操作人员可以通过本地模拟舱的姿态惯性传感器来对远端随动平台的立体摄像头进行控制，并使用虚拟现实头戴显示器观看到实时立体高清影像，从而实现具有真实临场感的实时远程操控，进一步加强远程无人操控的安全性、沉浸感、环境感知等特色体验。

附图说明

图1是本实用新型用于重型机械远程无人操作的立体视觉随动显示系统的具体实施方式结构图。

具体实施方式

下面结合附图对本实用新型的具体实施方式进行描述，以便本领域的技术人员更好地理解本实用新型。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本实用新型的主要内容时，这些描述在这里将被忽略。

图1是本实用新型用于重型机械远程无人操作的立体视觉随动显示系统的具体实施方式结构图。如图1所示，在本实施例中，用于重型机械远程无人操作的立体视觉随动显示系统包括本地模拟舱1和远端随动平台2，操作人员通过本地模拟舱1向远端随动平台2发出指令，观看远端传输回来的视频图像，而远端随动平台安装在重型机械上，用于跟随操作人员指令进行动作，采集工作现场的视频图像并发回本地模拟舱。其中，本地模拟舱包括姿态惯性传感器11、图像处理模块12、虚拟现实头戴显示器13和本地通信模块14，远端随动平台2安装在重型机械上，包括立体摄像头21、图像采集模块22、电机控制模块23、驱动电机24和远端通信模块25。

本实用新型用于重型机械远程无人操作的立体视觉随动显示系统的工作过程可以划分为两条工作线，其中一条是角度驱动，由姿态惯性传感器11、电机控制模块23、驱动电机24完成，另外一条是视频采集与显示，由图像处理模块12、虚拟现实头戴显示器13、立体摄像头21、图像采集模块22完成，本地模拟舱1和远端随动平台2之间的通信由本地通信模块14和远端通信模块25来完成，本实施例中本地通信模块14和远端通信模块25采用5GHz频段进行无线通信，以实现远距离高清图像无线传输。

姿态惯性传感器11佩戴于操作人员头部，采集操作人员头部俯仰角度和左右转动角度，通过本地通信模块14无线发送给远端随动平台2的远端通信模块25。姿态惯性传感器11是一种检测和测量加速度、倾斜、冲击、振动、旋转和多自由度(DoF)运动的传感器，是解决导航、定向和运动载体控制的重要部件，目前已经在多个领域得到了广泛的应用。本实施例中，姿态惯性传感器11包含地磁传感器、加速度传感器、陀螺仪传感器，通过加速度传感器和陀螺仪传感器检测操作人员头部俯仰角度和左右转动角度，通过地磁传感器对操作人员头部俯仰角度和左右转动角度进行漂移误差修正。为了便于佩戴，可以将姿态惯性传感器11嵌入虚拟现实头戴显示器13内部。

远端通信模块25在接收到操作人员头部俯仰角度和左右转动角度后转发给电机控制模块23，电机控制模块23根据头部俯仰角度和左右转动角度，向驱动电机24发送垂直和水平转动信号。

驱动电机24根据接收到的垂直和水平转动信号进行转动。本实用新型中立体摄像头21固定在驱动电机24的转动底板上，因此当驱动电机24转动时，立体摄像头21就会跟随驱动电机转动，从而使立体摄像头21的视角与操作人员的视角保持一致。本实施例中，驱动电机包括两台电机，其中一台用于垂直方向的转动驱动，即完成根据操作人员头部俯仰角度生成的垂直转动信号的执行，另外一台用于水平方向的转动驱动，即完成根据操作人员左右转动角度生成的水平转动信号的执行。

立体摄像头21持续拍摄视频图像，发送给图像采集模块22。立体摄像头是一种用于模拟人类两眼摄像图像的摄像头。人类观看自然景物时，不仅能看到其高度和宽度，而且能辨别远近，产生深度感，形成立体视觉。目前业内普遍认为立体视觉主要靠双眼获取双目立体信息，经大脑融合而得。人两眼瞳距约58～72mm，这使两眼看同一物体时，左右视角略有差别，成像于视网膜亦不仅相同，这种双眼视觉差异称为双目视差。因此，立体摄像头通常采用双目摄像头，来模拟两眼摄取图像。本实施例中立体摄像头21采用免驱USB3.0高清双目摄像头，以便于安装与维护。

图像采集模块22获取立体摄像头所拍摄到的视频图像，通过远端通信模块25无线发送给本地通信模块14，本地通信模块14将所接收到的视频图像转发给图像处理模块12。

图像处理模块12用于接收本地通信模块14转发的由远端随动平台2上的立体摄像头21采集的视频图像，按照预设操作对视频进行处理后发送至虚拟现实头戴显示器13向操作人员进行显示。图像处理模块12的预设操作一般包括图像去噪、对比度增强、图像校正、图像融合等，可以根据实际应用场景的具体情况来进行配置。

虚拟现实头戴显示器13即VR(Virtual Reality虚拟现实)头显，是一种利用头戴式显示器将人的对外界的视觉、听觉封闭，引导用户产生一种身在虚拟环境中的感觉。虚拟现实头戴显示器13的显示原理是左右眼屏幕分别显示左右眼的图像，人眼获取这种带有差异的信息后在脑海中产生立体感。采用虚拟现实头戴显示器13对立体摄像头21采集的视频图像进行显示，可以使操作人员对重型机械工作现场的场景有更加清晰、深入的观测，从而避免操作失误，提高操作效率和安全性。

尽管上面对本实用新型说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本实用新型，但应该清楚，本实用新型不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本实用新型的精神和范围内，这些变化是显而易见的，一切利用本实用新型构思的发明创造均在保护之列。