一种可触摸现场实时视频图像的远程呈现交互方法和系统与流程

本发明涉及一种远程呈现交互方式的设计，尤其涉及一种可触摸现场实时视频图像的远程呈现交互方法和系统，属于人机交互技术领域。

背景技术：

如今我们可以通过网络相机获取世界任意地点的现场实时视频图像(Live Video Image)，并与该地点的人们进行交流，与该地点中的设备进行交互，就好像我们在现场一样。目前，有很多远程交互方式和系统，例如视频会议、远程操作机器人、远程健康护理以及远程呈现机器人(telepresence robot)等。这些系统多是采用传统的远程交互方式，即用户在远程空间(remote space)中的用户界面上通过键盘、鼠标、操作杆以及图形界面来与本地空间(local space)进行交互。这些系统通常是为特定的任务设计并且需要经过训练的操作员进行操作。

触屏技术的发展，为实现更加自然且更加普适的人机交互提供了支撑。触屏交互摆脱了输入设备的限制，实现了人与设备的直观交互。触屏技术让计算机、手机、Pad等设备变成了可触摸交互的智能设备，用户可以直接用手指点击屏幕从而便捷地完成操作。一些远程交互系统也采用掌上计算机或平板电脑、智能手机以及其他移动装置作为交互设备，在现场视频图像上叠加图形用户界面，通过点击图形用户界面上的虚拟按钮来进行交互操作。

上述已有的远程交互技术虽然可以实现远程交互，但是这些远程交互技术无法直接利用现有装置成熟的、符合人体工效学的控制面板，需要设计额外的图形用户界面，并且用户使用时需要预先进行相应的训练，限制了远程呈现交互的应用范围，降低了远程交互的效果和用户体验。

为了实现更好的远程交互效果和用户体验，本发明设计了一种可触摸现场实时视频图像的用户界面，简称TIUI(Touchable live video Image based User Inter face)，实现远程呈现交互。具体通过远程呈现机器人获取本地空间现场实时视频图像，用户在远程空间通过TIUI直接触摸本地空间的现场实时视频图像，实现与本地空间中物体和环境交互，称为远程呈现交互方法。通过直接触摸现场实时视频图像进行远程呈现交互，可以直接利用现有装置成熟的、符合人体工效学的控制面板,无需设计额外的图形用户界面；可以给用户身临其境的用户体验；并且，借助于智能手机、平板等掌上电脑设备，可以在移动的情况下随时随地的进行远程呈现交互。

技术实现要素：

本发明的目的是克服现有远程交互方法和系统在易用性以及用户体验方面的技术缺陷，进一步提升远程交互的效果和用户体验，提出了一种可触摸现场实时视频图像的远程呈现交互方法和系统。

一种可触摸现场实时视频图像的远程呈现交互方法和系统，包括一种可触摸现场实时视频图像的远程呈现交互方法(简称本方法)和一种可触摸现场实时视频图像的远程呈现交互系统，(简称本系统)；

其中，本系统包括本地空间和远程空间；本地空间中包含远程呈现机器人和远程可交互装置；远程空间中包括用户、带有触摸屏的计算装置和TIUI；

其中，带有触摸屏的计算装置至少可以为掌上电脑和智能手机；本地空间和远程空间通过无线网络连接；

其中，TIUI是一种基于可触摸现场实时视频图像的用户界面，用于触摸带有触摸屏的计算装置；计算装置包括远程空间无线通信网络模块；

远程可交互装置和智能家居(或智能办公装置)的主要区别是前者每一个装置是完全独立的，由远程直接控制，该装置的识别主要通过计算机视觉方法或/和条形码标签方法实现；后者装置需要事先固定，并连接到本地中央控制单元，由本地控制单元接收远程控制；

远程可交互装置也可以是远程呈现机器人；远程呈现机器人由计算机、移动底座和机器人头部组成；其中，机器人头部包括呈现用户的显示屏、前视摄像头、俯视广角摄像头、扬声器、麦克风、云台和升降杆；

远程可交互装置包括标识(id)、驱动器(actuator)和本地空间无线通信网络模块；其中，标识是指独一无二的特征，可以用计算机视觉的方法识别，也可以用二维条形码标签来标识；比如，家里的空调、监控摄像机、窗帘、照明灯，都可以用计算机视觉的方法识别外观，同人的视觉识别方法一样；也可以用他们的二维码进行区分；计算机视觉技术在识别外观相同的两个装置时，还要识别装置所处的位置，以区分这两个装置，或用定位技术获取装置的位置参数：比如，室内有两个窗帘，可以通过定位技术区分不同位置的窗帘，实现不同窗帘的控制；驱动器是指电机、继电器为主的电能到机械能或其它能量形式的转化装置；本地空间无线通信网络模块，比如WIFI模块，是实现远程可交互装置与互联网连接的重要工具；

本系统中各组成部分的功能如下：

远程可交互装置的功能是实现远程交互；其中，标识的功能是用于区分两个装置；驱动器的功能是实现自动控制；无线通信网络的功能是实现远程可交互装置与互联网连接；

远程呈现机器人中的升降杆的功能是使远程呈现机器人根据不用的应用场景调节头部高度；云台的功能是使远程呈现机器人左右和上下运动头部，更便捷地获取现场实时视频图像；

一种可触摸现场实时视频图像的远程呈现交互方法(简称本方法)，包括如下步骤：

步骤一、远程呈现机器人利用计算机视觉的方法，直接识别远程可交互装置或通过远程可交互装置的二维码标签识别该装置，具体为：

步骤1.1远程呈现机器人利用计算机视觉的方法直接识别远程可交互装置，并根据是否识别了远程可交互装置，决定是否进行步骤1.2的操作，若已经识别，直接跳到步骤二；若未识别，跳至步骤1.2；

其中，通过计算机视觉的方法识别远程可交互装置通常是通过提取图像特征进行识别，比如颜色、纹理、表观和形状；

步骤1.2当通过计算机视觉的方法无法准确识别远程可交互装置时，本发明使用二维码作为远程可交互装置的标识进行识别，此种识别方法简单，计算效率高，识别率达到100％；

其中，二维码包含了装置名称、装置位置、连接接口、操作指令为主的信息；

步骤二、远程呈现机器人在本地空间中移动来获取本地空间的现场实时视频图像，具体为：

2.1远程呈现机器人通过机器人头部的前视摄像头获取本地空间的现场实时视频图像用于远程呈现交互；

2.2机器人头部的俯视广角摄像头获取机器人底座及其周围环境图像，用于用户操作远程呈现机器人运动的反馈视觉信息；

步骤三、计算机将两个摄像头采集的视频图像实时拼接，形成的拼接视频图像作为现场实时视频图像，通过本地空间无线通信网络模块传输给远程空间的TIUI；

其中，拼接视频图像分为上下两部分，上部分为前视摄像机采集的本地空间视频图像，下部分来自俯视广角摄像头采集的机器人底座及周围环境图像；步骤四、用户在TIUI上触摸步骤三输出的拼接视频图像，实现与本地空间中的远程可交互装置的交互及控制远程呈现机器人在本地空间的运动，具体为：

4.1用户触摸拼接视频图像的上部分，完成用户与远程可交互装置的交互任务，也能控制云台转动，转动前视摄像头获取左右上下方位的图像，能控制升降杆上下运动，调整机器人高度；

4.2用户触摸拼接视频图像的下部分，完成远程呈现机器人的运动，也可以对导航路径、障碍物、安全区域、目的地为主的信息进行标记；

其中，为了便于用户区分和使用方便，针对4.1和4.2的不同操作定义了单手指触摸手势和双手指触摸手势两类触摸手势；

其中，单手指触摸手势用于操作远程可交互装置，具体用于标记地面导航路径和障碍物；

具体为：当步骤一中识别远程可交互装置采用步骤1.2，即二维码识别时，用户在TIUI上用单手指触摸远程可交互装置的二维码图像，本系统自动识别二维码，并自动跟踪移动中的二维码，建立TIUI上远程可交互装置的图像与实际远程可交互装置的对应关系，然后用户通过TIUI直接触摸远程可交互装置的控制面板图像，如同触摸真实装置的控制面板，比如，触摸本地空间中的门禁系统密码健面板图像，如同用户在本地空间直接触摸密码键；

由于TIUI上的密码健图像和远程可交互装置建立了对应关系，因此，触摸一个远程可交互装置的图像，就是通过无线网络向该装置的驱动器发送对应的控制指令，使该装置完成相应动作，实现通过TIUI的远程呈现交互；

根据单手指触摸手势及手势所在的TIUI上下部区域，将手势分为四个模式：

1)单手指上部模式：单手指触摸手势作用于TIUI的上部图像区域中，用于操作本地空间中的远程可交互装置；

2)双手指上部模式：双手指触摸手势作用于TIUI的上部图像区域中，用于控制云台上下左右运动，控制升降杆的升降运动；

3)单手指下部模式：单手指触摸手势作用于TIUI的下部图像区域中，用于标记机器人的运动轨迹和地面上的障碍物；

4)双手指下部模式：双手指触摸手势作用于TIUI的下部图像区域中，用于远程控制机器人的运动；

双手指触摸手势用于操作远程呈现机器人的自身运动，包括机器人底座前后和左右运动，机器人头部前视和俯视摄像机左右上下运动，升降杆的升降运动；

至此，从步骤一到步骤四，完成了一种可触摸现场实时视频图像的远程呈现交互方法。

有益效果

一种可触摸现场实时视频图像的远程呈现交互方法和系统，与现有技术相比，具有如下有益效果：

(1)本发明通过远程呈现机器人在本地空间中移动，获取本地空间的现场实时视频图像，与固定摄像头获取视频的方式相比，有效的解决遮挡问题；本地空间可以在室内，也可以在室外，扩大了使用范围；

(2)远程呈现机器人在本地空间中呈现用户的面部表情及声音，可以给用户更好的体验；远程呈现机器人与固定摄像头相比，遵循“我看到你，你看到我”，可以更好的保护用户隐私；

(3)本发明采用的用户界面TIUI，能在掌上电脑、智能手机等移动计算设备使用，可以随时随地与本地空间进行远程呈现交互；

(4)本发明采用的用户界面TIUI,采用单手指触摸手势直接触摸图像中远程可交互装置的控制面板，完成与远程可交互装置的交互操作；利用现有装置成熟的、符合人体工效学的控制面板,无需设计额外的图形用户界面，给用户提供身临其境的交互体验；

(5)采用双手指触摸手势操作远程呈现机器人，包括控制云台、控制升降杆等,为用户提供简单直观的操作方式；

(6)本发明中的TIUI上的现场实时视频图像由远程呈现机器人上的前视摄像机获取的前视场景图像和俯视摄像机获取的俯视图像实时拼接组成，使得用户在远程呈现交互过程中始终关注一个视频图像界面，增强了用户体验，提高了交互效率。

附图说明

图1是本发明一种可触摸现场实时视频图像的远程呈现交互方法和系统的本系统组成示意图；

图2是本发明一种可触摸现场实时视频图像的远程呈现交互方法和系统的本系统中远程呈现机器人的组成示意图；

图3是本发明一种可触摸现场实时视频图像的远程呈现交互方法中的图像拼接示意图；

图4是本发明一种可触摸现场实时视频图像的远程呈现交互方法中的图像校正示意图；

图5是本发明一种可触摸现场实时视频图像的远程呈现交互方法与系统中的基于可触摸现场实时视频图像用户界面；

图6是本发明一种可触摸现场实时视频图像的远程呈现交互方法中的双手指触摸手势；

图7是本发明一种可触摸现场实时视频图像的远程呈现交互方法中的单手指触摸手势；

其中，图1中101是远程呈现机器人所处的本地空间，102是用户所处的远程空间，103和104分别为本地空间无线通信网络模块和远程空间无线通信网络模块、远程空间无线网络模块，105是互联网，106是本地空间中的远程可交互装置，107是远程呈现机器人，108是带有触摸屏的计算装置，109是用户；

图2中201是呈现用户的显示屏，202是麦克风，203是扬声器，204是云台，205是前视摄像头，206是俯视广角摄像头，207是升降杆，208是计算机，209是移动底座；

图3中301为前视摄像头采集的图像，302为俯视广角摄像头采集的图像，303和304为在图像上选择的六个特征点，305为合成的现场实时视频图像，合成的图像中只包含一组选择的六个点；

图4中401为俯视摄像头采集原始图像，402为校正后的图像，403为手选特征点序列；404为将原始图像的部分区域进行裁剪的畸变矫正过程；

图5中501为带有触摸屏的计算装置，502为用户手指，503为现场实时视频上部图像区域，504为现场实时视频下部图像区域。。

具体实施方式

下面结合附图和具体实施例，对本发明所提出的一种可触摸现场实时视频图像的远程呈现交互方法和系统进行详细描述。

实施例1

本实施例具体阐述了本发明所提出方法和系统的系统组成和工作过程。

图1为本发明一种可触摸现场实时视频图像的远程呈现交互方法和系统中本系统的组成。

从图1可以看出：本系统包含101是远程呈现机器人所处的本地空间，102是用户所处的远程空间，103和104分别为本地空间无线通信网络模块和远程空间无线通信网络模块、远程空间无线网络模块，105是互联网，106是本地空间中的远程可交互装置，107是远程呈现机器人，108是带有触摸屏的计算装置，109是用户。

本系统包括本地空间中的远程呈现机器人和远程可交互装置，远程空间中用户使用的掌上电脑或智能手机中包含104和TIUI(即108)。

进一步的，本发明通过远程呈现机器人在本地空间中移动以获取本地空间的现场实时视频图像。远程呈现机器人由计算机、机器人头部和移动底座组成，如图2所示。

从图2可以看出，远程呈现机器人包括201：呈现用户的显示屏，202：麦克风，203：扬声器，204：云台，205：前视摄像头，206：俯视广角摄像头，207：升降杆，208：计算机，209：移动底座。

其中，呈现用户的显示屏、前视摄像头、俯视广角摄像头、扬声器、麦克风、云台和升降杆，包含在机器人头部中；升降杆的功能是使得机器人可以根据不用的应用场景调节自身高度；云台的功能是：使得机器人可以更便捷的获取环境图像。

通过机器人头部的前视摄像头采集远程环境图像用于远程呈现交互；通过机器人头部的俯视广角摄像头采集移动底座周围环境图像，用于辅助用户操作远程呈现机器人的运动；将两个摄像头采集的视频图像进行实时拼接，形成拼接视频图像作为现场实时视频图像。拼接视频图像分为上下两部分，上部图像区域为前视摄像机采集的本地空间场景图像，是用户与远程可交互装置进行远程呈现交互的区域，也是控制云台运动和控制升降杆高度的操作区域；下部图像区域为俯视摄像机采集的移动底座和周围地面的图像，是用户远程操作机器人运动、标记地面导航路径、标记障碍物的操作区域。

实施例2

本实施例阐述了本发明所提出的一种可触摸现场实时视频图像的远程呈现交互方法对现场实时视频图像的拼接过程，对应发明内容中的步骤三，如图3所示。

从图3可以看出，301为前视摄像头采集的图像，302为俯视摄广角像头采集的图像，303和304为在图像上选择的六个特征点，305为合成的现场实时视频图像，合成的图像中只包含一组选择的六个点。

具体到本实施例，采用交互方式完成图像拼接所需的摄像头参数标定；具体为：通过触摸现场实时视频图像用户界面，手工在前视摄像机和俯视摄像机采集图像的公共区域中选择特征点进行匹配；图3中303和304为摄像机拍摄到的手工选择的6个特征点，1和2两个图像中均包含这6个特征点；图像合成的过程首先采用匹配算法对1和2中的特征点进行匹配，匹配完成后上下拼接合成305这一单一图像，305中只有一组特征点306。

为采集更多的机器人运行场景信息，俯视广角摄像头采集的图像会产生一定程度的畸变，具体如图4所示。

图像401为俯视摄像头采集的原始图像，其中的特征点序列会因为图像畸变而使得排列更加紧凑，并不是真实情况的还原。在得到特征点的匹配结果之后，进行图像合成之前，需进行畸变矫正。这一过程主要由原始图像的初步畸变校正和拼接前的图像变换组成。初步的畸变校正中摄像头的内外参数采用基于标定模板的方法事先获取，根据摄像头的内外参数得到畸变系数。对于俯视摄像头采集的每一帧的图像进行初步的畸变校正，为拼接前的图像变换做好准备。畸变矫正的过程将原始图像的部分区域(图4中的404区域)进行裁剪，剩余部分又由上至下进行不同程度的畸变矫正。根据6个特征点的匹配关系和上下不同的畸变系数得到一组参数生成变换矩阵，对于初步校正后的每一帧图像通过这一变换矩阵的变换得到图4中的目标图像402，最后用此图像与前视摄像头采集的图像进行拼接。

实施例3

本实施例阐述了本发明所提方法与系统中的TIUI，示意图为图5所示。从图5可以看出，基于可触摸现场实时视频图像的用户界面TIUI，501为带有触摸屏的计算装置，即：操作控制设备，包括平板电脑，智能手机等带有触摸屏的设备，502为用户手指，503为现场实时视频上部图像区域，504为现场实时视频下部图像区域。

本发明中所述的用户界面是一种基于可触摸现场实时视频图像的用户界面TIUI。通过远程呈现机器人获取本地空间的现场实时视频图像，通过无线网络将视频图像实时传送到远程空间，用户在远程空间中的TIUI上控制远程呈现机器人在本地空间中的运动，并与本地空间中的可交互装置进行远程呈现交互。

TIUI的主要部分是本地空间的现场实时视频图像，此图像由远程呈现机器人的前视摄像机和俯视摄像机采集的视频图像实时拼接而成。拼接视频图像分为上下两部分，上部图像来自前视摄像机，下部图像来自俯视摄像机。

为了便于用户区分和使用方便，在用户界面上部和下部图像区域上针对不同操作定义了2类触摸手势：单手指触摸手势和双手指触摸手势。双手指触摸手势用于操作远程呈现机器人自身运动，包括机器人底座前后和左右运动，机器人头部前视和俯视摄像机左右上下运动，升降杆的升降运动。单手指触摸手势用于操作远程可交互装置，以及标记地面导航路径和障碍物。根据手势及手势所在的TIUI上下部区域，将手势分为四个模式：

1)单手指上部模式：单手指触摸手势作用于TIUI的上部图像区域中，用于操作本地空间中的远程可交互装置；

2)双手指上部模式：双手指触摸手势作用于TIUI的上部图像区域中，用于控制云台上下左右运动，控制升降杆的升降运动。

3)单手指下部模式：单手指触摸手势作用于TIUI的下部图像区域中，用于标记机器人的运动轨迹和地面上的障碍物；

4)双手指下部模式：双手指触摸手势作用于TIUI的下部图像区域中，用于远程控制机器人的运动。

本发明设计的用于操作远程呈现机器人的双手指触摸手势源于对游泳、划船项目中人们动作的观察，人们向后、向前摆动双臂或是双桨就能让自己前进或后退，同时当两只手臂或是两个船桨的摆动速度不一样时，身体或船身便会向速度较慢的方向转动。参考上述运动规律，本发明设计的以用户为中心的基于运动规律的触摸手势，能在让远程呈现机器人友好呈现用户的同时，让用户获得在本地空间中真实存在、前进、后退、左转和右转的交互体验。本发明设计的双手指触摸手势如图6所示。

同时本发明设计了单手指触摸手势，使得用户可以便捷、灵活地与本地空间中的可交互装置进行远程呈现交互，这与人们在触屏设备上的操作习惯一致。本发明设计的单手指触摸手势如图7所示。图7中所定义单手指触摸手势，如点击(tap)、按(press)、拖(drag)、圈(lasso)等手势在操作本地空间中不同装置时对应不同的操作指令，这些对应关系都被保存在远程可交互装置的二维码中，当装置被系统识别后，这些对应关系将被系统读入，并在TIUI上显示对用户的操作提示，用户通过以上不同的手势操作可交互装置完成不同的远程操作。

实施例4

本实施例具体阐述了本发明所提方法与系统中用于通过TIUI进行远程呈现交互的过程。

用户在远程空间通过TIUI，直接触摸远程可交互装置的现场实时视频图像，完成与远程可交互装置的远程呈现交互。本发明利用计算机视觉的方法，直接识别远程可交互装置，或通过远程可交互装置的二维码识别该装置。通过计算机视觉的方法识别远程可交互装置通常是通过提取图像特征进行识别，比如颜色、纹理、表观和形状。当通过计算机视觉的方法无法准确识别远程可交互装置时，本发明使用二维码作为远程可交互装置的标识进行识别，这种识别方法简单，计算效率高，识别率达到100％。二维码包含了装置名称、装置位置、连接接口、操作指令等信息。用户在TIUI上用单手指触摸远程可交互装置的二维码图像，系统自动识别二维码，并自动跟踪移动中的二维码，建立TIUI上远程可交互装置的图像与实际远程可交互装置的对应关系，然后用户通过TIUI直接触摸远程可交互装置的控制面板图像，如同触摸真实装置的控制面板，比如，触摸本地空间中的门禁系统密码健面板图像，如同用户在本地空间直接触摸密码键。由于TIUI上的密码健图像和远程可交互装置建立了对应关系，因此，触摸一个远程可交互装置的图像，就是通过WiFi向该装置的驱动器发送对应的控制指令，使该装置完成相应动作，实现通过TIUI的远程呈现交互。

实施例5

本实施例具体阐述了采用本发明所提出的方法和系统应用于远程陪护。用户通过双手指触摸手势，在TIUI的下部图像区域中，控制远程呈现机器人移动至带有密码锁的房门门口；通过单手指触摸手势，在TIUI的上部图像区域中，点击密码锁的二维码图像，系统自动识别二维码，并建立TIUI上密码锁的图像与实际密码锁的对应关系；然后用户在TIUI的上部图像区域中使用点手指点击密码锁按键的图像，系统通过WiFi向密码锁的驱动器发送对应的控制指令，当用户输入正确的密码后，可以打开房门。

用户通过双手指触摸手势，在TIUI的下部图像区域中，控制远程呈现机器人进入房间，移动至灯的开关前；在TIUI的上部图像区域中，点击开关的二维码图像，然后点击开关的图像，可以打开房间中的灯。

此外，本发明所述方法还可应用于远程陪护，远程医疗，远程教育等领域。

以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。