一种主从遥视系统的制作方法

本发明涉及远程控制技术领域，具体涉及一种主从遥视系统。

背景技术：

随着计算机网络、远程控制，以及摄像头硬件等技术的不断发展及应用，远程控制系统已经逐渐成为人类社会经济生活中不可缺少的一部分，例如远程视频会议、虚拟旅游、虚拟课堂、远程医疗等。上述远程控制系统具有良好的即时性，极大地降低了地理距离对人类生产生活的限制，但就目前而言，这些系统大都功能比较单一，各自存在弊端，比如，有些系统是基于二维平面的，不具有临场感，有些系统中摄像头的焦距只能通过人为手动或通过控制按钮进行调整，由于人为因素，使得调整过程存在“理想”与“现实”的偏差，导致交互过程中用户的满意度下降，又有些系统摄像头之间的距离是固定的，这样形成的三维画面纵深度不可调，导致拍摄的远处视频画面立体感差。

技术实现要素：

有鉴于此，为解决上述问题，本发明实施例提供了一种主从遥视系统，同时实现了摄像头模组的运动与使用者的头部自然运动同步和三维沉浸式远程遥视，以及用眼动控制双摄像头焦距和间距。

本发明提供了一种主从遥视系统，包括网络连接的虚拟现实头盔和视频采集终端，视频采集终端，用于利用双摄像头模组采集两路视频信息，并发送给虚拟现实头盔，同时接收来自虚拟现实头盔的控制指令，完成相应动作；虚拟现实头盔，用于接收两路视频信息，并通过显示器进行三维视频显示，同时利用眼动仪采集眼部运动信息，生成相应的控制指令，发送给视频采集终端；所述控制指令包括针对调焦电机的调焦指令，以及针对间距调整机构的间距调整指令，所述控制指令包括针对调焦电机的调焦指令，以及针对间距调整机构的间距调整指令。

根据本发明提供的主从遥视系统，视频采集终端的双摄像头模组对应人的双眼，一方面双摄像头模组的左、右摄像头分别采集具有视差的视频信息，该具有视差的视频信息通过远程虚拟现实头盔的显示器进行显示，最终在人脑中呈现三维立体画面，实现了三维沉浸式远程观测，增强临场感；另一方面，视频采集终端的双摄像头的焦距调整和间距调整均与使用者的眼部运动信息同步，避免了手动调整带来的误差，极大地满足了用户的体验需求，同时通过对焦距和间距的调整，实现了可调的观测范围，以及固定观测范围中可调的画面纵深度，提高了用户体验满意度。

附图说明

图1所示为本发明一实施例提供的主从遥视系统的结构框图。

图2所示为本发明一实施例提供的间距调整机构的结构示意图。

图3所示为本发明另一实施例提供的主从遥视系统的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种主从遥视系统，包括网络连接的作为主部的虚拟现实头盔和作为从部的视频采集终端，其中，视频采集终端，用于利用双摄像头模组采集两路视频信息，并发送给虚拟现实头盔，同时根据接收到的来自虚拟现实头盔的调焦指令控制双摄像头的调焦电机动作，以及根据间距调整指令控制间距调整机构动作；虚拟现实头盔，用于接收两路视频信息，并进行三维视频显示，同时采集眼部运动信息，生成相应的调焦指令和间距调整指令，发送给视频采集终端。

根据本发明提供的主从遥视系统，可以呈现三维遥视视频画面，实现了三维沉浸式视觉体验。与此同时，视频采集终端的双摄像头的焦距调整和间距调整均与使用者的眼部运动信息同步，避免了手动调整带来的误差，极大地满足了用户的体验需求，同时通过对焦距和间距的调整，实现了可调的观测范围，以及固定观测范围中可调的画面纵深度，提高了用户体验满意度。

在一个实施例中，虚拟现实头盔，进一步用于利用头部动作跟踪器采集头部动作信息，生成动作变化调整指令；视频采集终端，进一步用于接收所述动作变化调整指令，并根据所述动作变化调整指令控制云台完成相应动作。进一步提高主从遥视系统的自动化程度。

下面通过具体实例详细描述本发明的主从遥视系统。

图1所示为本发明一实施例提供的主从遥视系统的结构框图。从图中可以看出，该主从遥视系统包括网络连接的虚拟现实头盔10和视频采集终端20，其中，虚拟现实头盔10包括处理器11，以及分别与处理器11数据连接的显示器12、第一网络传输单元13、眼动仪14；视频采集终端20包括依次数据连接的双摄像头模组22、第二网络传输单元23、控制器21，以及分别与控制器21数据连接的调焦电机24和间距调整机构25。具体地，视频采集终端20，用于利用双摄像头模组22采集两路视频信息，并发送给虚拟现实头盔10，同时根据接收到的来自虚拟现实头盔10的调焦指令控制双摄像头的调焦电机24动作，以及根据间距调整指令控制间距调整机构25动作；虚拟现实头盔10，用于接收两路视频信息，并进行三维视频显示，同时采集眼部运动信息，生成相应的调焦指令和间距调整指令，发送给视频采集终端20。

在一个实施例中，显示器12包括对应人双眼的双显示屏，双显示屏与双摄像头模组22中的两个摄像头一一对应组成两个彼此独立的数据传输链路。

这种情况下，根据本发明实施方式的主从遥视系统实现三维画面远程遥视的过程具体为：双摄像头模组22的左、右摄像头分别采集具有视差的两路外界视频信息，并分别通过各自的传输链路，即分别经过第二网络传输单元23发送给远端的虚拟现实头盔10，虚拟现实头盔10通过第一网络传输单元13分别接收该具有视差的两路外界视频信息，并行送入处理器11进行处理，处理之后的两路外界视频信息分别通过左、右显示屏显示，这样，人的左、右眼分别接收左、右显示屏的具有视差的外界视频画面，通过大脑的作用，实现三维立体显示。

在一个实施例中，显示器12包括一块三维显示屏，双摄像头模组22作为一个整体与该三维显示屏组成一条数据传输链路。

这种情况下，根据本发明实时方式的主从遥视系统实现三维画面远程遥视的过程具体为：双摄像头模组22的左、右摄像头分别采集具有视差的两路外界视频信息，并依次经过第二网络传输单元23发送给远端的虚拟现实头盔10，虚拟现实头盔10通过第一网络传输单元13依次接收该具有视差的两路外界视频信息，传输到虚拟现实头盔10的处理器11后，经过三维图像运算处理过程生成对应三维显示器类型的三维视频数据，最后通过三维显示器显示。本发明对三维显示器的类型不作限定，只要保证经过三维图像运算处理过程生成的三维视频数据文件能够在三维显示器中正常显示即可，例如可以是视察挡板法显示器、透镜阵列显示器、指向光源显示器中的任一种。

眼动仪是一种在医疗领域使用频率极高的设备，可以对眼动轨迹进行记录，并从眼动轨迹中提取诸如视点、注视时间和次数、眼跳距离、瞳孔大小等数据。本发明利用眼动仪14采集到的信息生成相应的调焦指令和间距调整指令，分别用于控制双摄像头模组22的调焦电机和间距调整机构动作，从而实现对双摄像头的调焦操作和调间距操作。

具体的，眼动仪14可以实施为一个内置摄像头和一个眼动数据处理单元的组合。为了确保检测数据的准确性，可以进一步包括一个与处理器通信连接的红外线摄像头，用于辅助捕捉眼动信息。

在一个实施例中，眼动仪14用于分别采集左、右眼的瞳孔大小变化信息。该左、右眼的瞳孔大小变化信息分别用于生成对应双摄像头模组22中的左、右摄像头的调焦指令。其控制原理可以是，瞳孔大小与摄像头焦距正相关。在另一个实施例中，眼动仪14用于分别采集左、右眼的眨眼次数信息。这种情况下，可以设置与眨眼次数相匹配的档位，根据眨眼次数来控制摄像头焦距的调整幅度。通过对双摄像头焦距的调节过程，可以根据人的主观意愿选择观看视野范围内的近处画面或者远处画面。

考虑到，双摄像头间距一定的情况下，拍摄画面的纵深度不可调。这种情况下，当物体距离摄像头越远时，双摄像头拍摄画面的视差会越小，使得物体呈现的三维效果越差。为了使距离摄像头较远的物体也能够实现较好的三维显示效果，需要使得双摄像头间距可调。

在一个实施例中，眼动仪14进一步用于分别采集左、右眼眼球的运动轨迹信息。该左、右眼眼球的运动轨迹信息用于生成双摄像头模组的间距调整信息，其控制过程，例如可以是，左、右眼球同步左移，增大双摄像头模组的间距；左、右眼球同步右移，缩小双摄像头模组的间距。

本领域技术人员可以理解，由于眼动仪14可输出如上所述的多种眼动数据，因此在实际应用过程中到底采用哪种眼动数据作为生成调焦指令和调间距指令的基础，可以根据实际情况人为选择，上述给出的眼动仪具体采集的眼动信息，以及给出的相应的控制策略都是示例性的，对此不予限定。

间距调整机构25，可以是电致伸缩结构、压力伸缩结构、液力伸缩结构等，双摄像头模组22的两个摄像头分别固定在间距调整机构25的两端，在间距调整命令的控制下通过伸缩实现间距调整。下面通过一个具体的间距调整机构25来说明本发明主从遥视系统对双摄像头间距的调整过程。

图2所示为本发明一实施例提供的间距调整机构的结构示意图。如图2所示，该间距调整机构包括壳体01、固定凸台03和调节器04。其中，控制器21和第二网络传输单元23设置在壳体内，调节器04为伸缩管结构，在中部的固定管两端，沿固定管延伸方向各设置一组依次套接的中空连杆，固定管的中心固定在固定凸台03上。在调节器04的两端分别固定一个摄像头06。

其实现双摄像头模组间距调整的过程为：当第二网络传输单元接收到来自虚拟现实头盔10的间距调整指令后，将该指令上传给控制器21，控制器21控制调节器04两端的中空连杆缩短或伸长，从而带动固定于两端的摄像头靠近或远离，来实现双摄像头间距的调整。

通过对双摄像头间距的调节过程，即便是拍摄远处画面，也可以实现良好的三维显示效果。

在一个实施例中，双摄像头模组22采用3D双目摄像头。优选地，3D双目摄像头中的每一个采用广角摄像头，来扩大视域。

连接虚拟现实头盔10和视频采集终端20的网络，可以是有线类型，也可以是无线类型。在一个实施例中，连接虚拟现实头盔10和视频采集终端20的无线网络为蓝牙、wifi、Zigbee、GPRS中的任一种。

根据本实施方式的主从遥视系统，视频采集终端20的双摄像头模组22对应人的双眼，一方面双摄像头模组22的左、右摄像头分别采集具有视差的视频信息，该具有视差的视频信息通过远程虚拟现实头盔的显示器进行显示，最终在人脑中呈现三维立体画面，实现了三维沉浸式远程观测，增强临场感；另一方面，根据使用者的眼动信息同步调整双摄像头模组22中摄像头的焦距以及双摄像头之间的间距，提高控制准确度。

图3所示为本发明另一实施例提供的主从遥视系统的结构框图。从图中可以看出，根据本实施例的主从遥视系统相比于图1所示的主从遥视系统而言，虚拟现实头盔10进一步包括与处理器11数据连接的头部动作跟踪器15；相应地，视频采集终端20进一步包括与控制器21数据连接的云台26。

头部动作跟踪器15，用于采集头部动作信息，生成动作变化调整指令。该头部动作信息包括头部运动轨迹和/或头部姿态角信息。根据本发明的头部动作跟踪器15可以是光学式、机械式、电磁式、声学式、视频式、惯性式中的任一种。

在一个实施例中，采用惯性式头部动作跟踪器，该惯性式头部动作跟踪器包括加速度计、陀螺仪、磁场计传感器中的一种或多种。

云台26，是指光学设备底部和固定支架连接的转向轴，用于根据头部动作跟踪器15生成的动作变化调整指令完成相应动作。在本发明的一个实施例中，采用三轴自稳云台。该三轴自稳云台包括六个自由度，具体为前后、上下及左右三个移动和前后、上下级左右三面旋转。与此同时，还可以对拍摄画面进行补偿，避免因使用环境的晃动造成画面不稳定。

根据本实施例的主从遥视系统的工作过程，与图1所示的主从遥视系统比较而言，进一步包括双目摄像头模组22动作变化调整过程，这一过程是通过云台实现的，其具体为：虚拟现实头盔10的头部动作跟踪器15捕捉头部运动轨迹和/或头部姿态角信息，并上传给处理器11，该头部运动轨迹和/或头部姿态角信息经过处理器11的处理，转换成相应的动作变化调整指令，该动作变化调整指令通过第一网络传输单元13以最小的时延发送给视频采集终端20；视频采集终端20通过第二网络传输单元23接收该动作变化调整指令，并发送给控制器21，控制器21根据该动作变化调整指令控制云台26动作，间接实现对双摄像头模组22的动作调整。

根据本实施例的主从遥视系统在使用时，头部动作跟踪器可以追踪使用者头部的运动(包括头部运动轨迹和/或头部姿态角信息)，并根据头部的运动信息生成相应的动作变化信息来控制云台运动，使得云台26的动作与使用者头部自然动作保持一致，控制灵敏度高。由于双摄像头模组22是固定在云台26上的，这样，就间接实现了对双摄像头模组22的动作调整。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。