专利名称：一种基于摄像机实时定标的可视遥在装置及其工作方法
技术领域：
本发明涉及遥在系统，尤其涉及种基于摄像机实时定标的可视遥在装置及其工作方法。
背景技术：
早在上个世纪80年代中期，Susumu Tachi就提出了遥在(tele-existence)的概念并在早期作了大量的工作，提出了各种具有前瞻性的概念，并在有限的硬件条件下进行了测试，奠定遥在技术研究的基础。这一时期的研究还主要集中在如何能够通过本地设备感受到遥远场景的视觉和听觉信息，着重于在遥远场景的“出现”。其后Susumu Tachi 在1990年首次提出了用于远程遥控的遥在主从系统(Tele-existence Master Salve System)，通过传感设备捕获人类手臂的运动信息，通过计算机将其转换为远程机器人的控制信息，控制远程机器手臂做出相同的动作，使人类操作者可以进行远程操作任务，并且具有存在于远程场景中某个远程机器人之后的感觉。1、最新发展随着现代技术的快速发展，各种测量仪器越来越精密，对人类运动信息的捕捉越来越快速精确；另一方面机器人技术日益成熟，现有机器人的性能越来越出色，尤其是拟人机器人的出现使可以完成的任务越来越复杂，遥在技术获得了快速发展。Oyama Eimei以及 Tsunemoto Naoki在1993年在虚拟现实环境中的远程操作，使遥在技术研究不再局限于真实环境的局限，可以在虚拟现实环境中进行各种测试实验。之后Susumu Tachi提出了虚拟现实环境中交互式的遥在系统，可以使多个操作者看到其他操作操作者在虚拟现实环境中的实时投影。C. DiSalvo等人在2000年提出一种拟人机器人头部的设计和感知方法。Susumu Tachi在2003年发明一种对于远程拟人机器人控制的遥在驾驶系统(tele-existence cockpit system)，使操作者的真实感受又上了新的台阶。H. Baier等在2003年提出一种交互式的用于远程展示的立体视觉。R.Tadakuma，Y. Asahara等人在2005年发明了一种用于遥在主从系统的多自由度的拟人机器人手臂，可以完成灵巧复杂的远程操作任务甚至可以通过手势与其它人交流。Kouichi Watanabe等人在2008年开发了一种可以精确的模拟人的头部和颈部运动的6自由度机器人-T0RS0，并构造了一个遥在视觉系统HMD-T0RS0 System。2、交互式遥在系统随着遥在技术不断成熟完善，人们更加注重交互式遥在系统的研究和实现，M. Inami等人提出一种新的视觉展示技术RPT (Retro-reflective Projection Technology)，可以将人的影像投影到机器人里，使交互更加真实，其后S. Tachi详细的讲述了该技术在tele-existence中的应用。S. Tachi在2005年中提出了交互式遥在系统的两种发展方式TELESAR，TWISTER，并总结现有遥在系统中使用的机器人，提出机器人发展两条思路“机器人作为单独的智能体”，“机器人作为人类的延伸”，并提出下一代人_机器人网络系统概念。N. Kawakami等在2005年提出一种基于机器人的面对面远程交流的概念原形 telesarPHONE.而 Susumu Tachi 在 2008 年，对基于 RPT 的 telesarPHONE 进行了完善， 可以使人与远程场景的中人与物进行快速、真实的交互，并且各种感觉直接反馈给用户。目前遥在技术研究中，各种技术越来越完善，给人的感觉越来越真是，但对于操作者头部的运动信息，大多使用传感器进行捕获，既增加了系统造价，另一方面跟踪的精度也不高。因此可以通过计算机视觉的方法，使用实时摄像机定标算法去计算操作者头部运动信息，即可以获得很好的跟踪精度，又不需要增加额外的设备。
发明内容
本发明的目的在于针对遥在系统用户头部运动信息跟踪问题，提供一种基于摄像机实时定标的可视遥在装置及其工作方法。该装置简便易行，两台计算机、一台云台控制的双目相机和头盔显示器。该方法不需要在头盔显示器上额外安装传感设备，直接通过对头盔显示器摄像头进行实时定标就可以获得用户头部运动信息，并通过远程计算机控制云台作出相应的运动，同时将双目相机捕获左右眼图像传回本地计算机，在头盔显示器上实时显不。一种基于摄像机实时定标的可视遥在装置，包括两台计算机、一台云台控制的双目相机和头盔显示器，本地计算机和头盔显示器直接连接，远程计算机和双目相机以及云台直接连接，本地计算机和远程计算机通过网络互联。一种基于摄像机实时定标的可视遥在装置的工作方法如下1)头盔显示器摄像头拍摄本地场景的完整离线视频序列，双目相机拍摄远程场景的完整离线视频序列，对本地场景的完整离线视频序列和远程场景的完整离线视频序列通过SIFT特征点的提取与匹配、三维坐标求解和关键帧选取，获得本地和远程场景的三维描述；2)头盔显示器摄像头将实时捕获的左右眼图像序列传送到本地计算机，同时双目相机将实时捕获的左右眼图像序列传送到远程计算机；3)当前帧图像为图像序列第一帧时，本地计算机计算出头盔显示器摄像头的初始相机参数，并传送到远程计算机，控制云台转向与头盔显示器摄像头相同的朝向，使头盔显示器和双目相机有相同的朝向；4)通过获得的图像序列，本地计算机和远程计算机分别进行相机参数计算；5)本地计算机将实时定标获得的相机参数传送到远程计算机，远程计算机根据本地计算机传送来的头盔显示器摄像头相机参数和当前求解出的双目相机相机参数，生成云台转动控制指令；6)远程计算机将双目相机获得的左右眼图像实时传送回本地计算机，并在头盔显示器上实时显示；7)判断当前帧是否为最后一帧？是，工作结束；否，则下一帧作为当前帧，重复步骤(4)至(6)。具体介绍本发明的五个方面1)基于GPU加速的摄像机实时定标算法实时定标算法整体上分为离线和在线两个阶段。离线阶段主要用于构建真实场景的三维描述，包括建立SIFT特征点库，选取关键帧等工作。这时需要获取场景的离线视频序列，提取SIFT特征点，求解特征点的球面坐标，采用关键帧单位组织SIFT特征点，构成离线特征点库。在线阶段，我们使用KLT进行连续帧特征跟踪，根据跟踪结果进行相邻帧相机参数求解，逐帧求解过程中，相机定标误差会逐渐积累，因此我们会选取合适的策略定期在某一帧上，提取SIFT特征点，并选取合适的关键帧进行特征匹配，计算出精确的相机参数， 进行积累误差消除。 由于视频序列的数据流量很大，帧画面上的特征点的提取、匹配与跟踪，往往需要耗费大量时间，是定标计算的瓶颈。在CPU上直接执行640x480解像度的KLT算法和SIFT 算法，单CPU的运行时间大约需要几百毫秒；而无论是KLT算法还是SIFT算法，在进行图像滤波、金字塔构造、特征点提取，以及对特征点进行相应计算时，都会对大量的像素和特征点进行雷同的操作，算法具有很高的并行度。因此，可以通过GPU的并行运算功能，大大缩减运行时间。我们的KLT 算法和 SIFT 算法由 CUDA 编程实现。CUDA (Compute Unified Device Architecture)是在GPU上的一个通用并行计算架构，相比于一般的GPU编程语言如Cg、 HLSL等，它不需要映射到一个图型API便可在GPU上管理和进行并行数据计算，数据的读取方式更加多样，因此CUDA的编程更加容易灵活，更能够充分利用GPU的计算能力。在用 GPU编程实现KLT算法及SIFT算法时，由于图像数据以及中间计算结果保存在GPU的全局内存中，反复读取会耗费大量时间，因此使用纹理对需要读取的数据进行绑定，以获取高速的读取速度，同时使用共享内存以减少块内线程对相同数据的反复读取。另外，KLT算法在进行特征点选择时，需要计算的最小特征根数据传回CPU中进行选点计算，为减少数据的传输时间，在计算的同时对最小特征根数据进行初步的筛选，并通过atomic函数，只将经过筛选的数据进行保存。另外SIFT在进行局部极值检测时，需要对DOG中间层图像的每个像素进行检测，而实际的极值点数目是少量的，因此我们使用原子函数实现对临界区的互斥访问，从而只保存获得的极值点数据，减少后续步骤计算的线程数。最后在获取SIFT特征描述符时，特征点的特征描述符的计算量和使用的资源比较大，而特征点的数目是比较小的，因此我们利用共享内存，实现用4个线程并行计算特征点的特征描述符，减少线程的运行时间，增加线程的并行度。经实验测试，对于640x480的图像序列，经过GPU加速后，KLT特征跟踪时间可以减少到10毫秒以内，SIFT特征提取也可以缩减到20-30毫秒，很好的满足实时性要求。2)相邻参数求解摄像机拍摄的视频序列具有很好的连贯性，因此帧画面间的定位需要充分考虑连贯性带来的优越性。固定视点下摄像机几何模型为设摄像机位置为世界坐标系原点，世界坐标系中的一点M= [XYZ 1 与其在视频序列第i帧上的投影Hii = [x y 1]之间的关系可以表示为Iiii KiRiM(1)其中，Ki为第i帧的摄像机内部参数矩阵。Ri为世界坐标系到第i帧摄像机坐标系旋转变换矩阵，也可以由欧拉角表示，即R = Rz ( Y ) Rx (β ) Rz ( α )，这里使用了 Z-X-Z协定的欧拉旋转。视频序列任意两帧对应点之间的关系可以表示为
权利要求
1.一种基于摄像机实时定标的可视遥在装置，包括两台计算机、一台云台控制的双目相机和头盔显示器，其特征在于，本地计算机和头盔显示器直接连接，远程计算机和双目相机以及云台直接连接，本地计算机和远程计算机通过网络互联。
2.一种基于摄像机实时定标的可视遥在装置的工作方法，其特征在于，工作方法如下1)头盔显示器摄像头拍摄本地场景的完整离线视频序列，双目相机拍摄远程场景的完整离线视频序列，对本地场景的完整离线视频序列和远程场景的完整离线视频序列通过SIFT特征点的提取与匹配、三维坐标求解和关键帧选取，获得本地和远程场景的三维描述；2)头盔显示器摄像头将实时捕获的左右眼图像序列传送到本地计算机，同时双目相机将实时捕获的左右眼图像序列传送到远程计算机；3)当前帧图像为图像序列第一帧时，本地计算机计算出头盔显示器摄像头的初始相机参数，并传送到远程计算机，控制云台转向与头盔显示器摄像头相同的朝向，使头盔显示器和双目相机有相同的朝向；4)通过获得的图像序列，本地计算机和远程计算机分别进行相机参数计算；5)本地计算机将实时定标获得的相机参数传送到远程计算机，远程计算机根据本地计算机传送来的头盔显示器摄像头相机参数和当前求解出的双目相机相机参数，生成云台转动控制指令；6)远程计算机将双目相机获得的左右眼图像实时传送回本地计算机，并在头盔显示器上实时显示；7)判断当前帧是否为最后一帧？是，工作结束；否，则下一帧作为当前帧，重复步骤 (4)至(6)。
全文摘要
本发明公开了一种基于摄像机实时定标的可视遥在装置及其工作方法。该装置由两台计算机、一台头盔显示器和一台云台控制转动的双目相机构成。其基本工作方法是通过对头盔显示器摄像头进行摄像机定标，计算出操作者头部的朝向和运动轨迹；通过对双目相机的摄像机定标，计算出云台精确位置和朝向，两者结合生成云台转动控制指令，使云台和操作者头部具有相同的运动轨迹，并将双目相机获得的左右眼图像实时传回本地计算机，在头盔上实时显示，实现在本地看到符合人体头部运动姿态的远程立体场景。除了可以远程场景的真实立体显示，还可用作虚拟现实等其他应用。
文档编号H04N5/225GK102221884SQ201110160739
公开日2011年10月19日 申请日期2011年6月15日 优先权日2011年6月15日
发明者彭群生, 李超, 王延可, 秦学英, 钟凡 申请人:山东大学