一种远程音视频传输方法及装置与流程

本发明涉及机器人智能通讯领域，特别涉及一种远程音视频传输方法及装置。

背景技术：

现有的音视频传输方式主要有以下几种方式：

1、ip cam(网络摄像头)

ipcam也叫network camera，就是网络摄像机，同普通摄像头或者网眼的主要区别是ipcam实际上是一台视频服务器和摄像头的集成。ipcam只要插上以太网线和电源就能通过网络发布视频信息。其技术原理为，ip cam采取音视频本地压缩，然后上传到云端服务器存储，手机需要观看的时候，直接从云端服务器读取内容观看。

优点：手机读取视频的成功率高，可以在云端对视频做剪辑，拼凑等处理。

缺点：(1)因为视频影像数据存储在服务器云端，中间需要多存储一层，造成不可避免的延迟；(2)服务器没办法确保其完整的安全，服务器被攻破，大量家庭视频影像被泄漏；(3)为保证多个用户同时连接，服务器需要保证巨大的流量带宽，服务器成本开销大。

2、近场直接连接

近场直接连接的传输方式，是ip cam的一种变形，最初用于扫地机上，但是只能支持近场(局域网内)的音视频传输，不具有穿透互联网连接的能力。

3、facetime，skype、微信视频电话

facetime，skype、微信视频电话，这些都属于手机之间远程音视频，基于原有操作系统，有较好的流畅度，和互联网网速自适应能力，自己私有的信号传输机制。但是在使用时，特别是在长时间视频聊天时，需要一直拿着手机，不能完全解放双手，给用户造成较大的不便利。

现代社会中，智能家居服务机器人，例如扫地猫、扫地狗等扫地机器人开始慢慢走进我们的家庭，借助移动互联网，用户可以通过手机、电脑或者平板电脑等用户终端通过下载APP，在外地远程连接家中服务机器人，通过机器人上的摄像头，查看家中情况，并可以通过机器人和家人视频聊天。但是现有的智能家居机器人和手机APP之间传输音视频是通过服务器中转的，从人到机器人中间多了一层，造成音视频有一定的延迟，并且不断地从服务器获取音视频会对服务器造成很大的压力，有可能导致服务器崩溃。而且与机器人传输的都是家里的视频，是非常隐私的信息，但是这些音视频都存在服务器中，一旦服务器被攻破，就会造成隐私泄漏。

技术实现要素：

本发明的目的是为了解决现有技术中的家居服务机器人和用户终端之间通过服务器中转传输音视频信息，从而造成信息传输延迟以及不安全的问题，提出一种远程音视频传输方法及装置，在本发明中所说的传输包括发送和接收。

本发明解决上述技术问题所采用的技术方案如下：

一种远程音视频发送方法，其中，包括步骤：

S1：机器人端和用户终端建立对应连接关系；

S2：机器人端和用户终端之间建立直接传输通道；

S3：机器人端判断所述直接传输通道是否建立成功，如果建立成功，则直接通过该通道向用户终端发送音/视频信息；如果没有建立成功，则通过turn服务器向用户终端发送音/视频信息。

优选地，所述步骤S3中，如果所述直接传输通道建立成功，则机器人端还可以直接通过该通道接收来自用户终端的音/视频信息；如果没有建立成功，则机器人端还可以通过turn服务器接收来自用户终端的音/视频信息。

优选地，所述步骤S2中机器人端和用户终端之间建立直接传输通道，是通过xmpp服务器和stun服务器实现的，所述xmpp服务器用于中转来自机器人端和用户终端的信号，所述stun服务器用于分别向机器人端和用户终端提供公网下的IP地址。

优选地，所述步骤S2中机器人端和用户终端之间建立直接传输通道，具体的步骤为：

S21：机器人端连接到xmpp服务器后，接收到经xmpp服务器转来的来自用户终端的音/视频请求；

S22：机器人端经判断后，将同意音/视频请求的信号通过xmpp服务器发送到用户终端，并接收经xmpp服务器转来的用户终端的IP地址；

S23：机器人端收到用户终端的IP地址后，向stun服务器获取自己在公网下的IP地址，并将该IP地址通过xmpp服务器发送到用户终端；

S24：机器人端和用户终端之间建立直接传输通道。

优选地，所述步骤S3中的音/视频信息为音频信息、视频信息或者音视频信息。

优选地，所述机器人是扫地机、家庭看护机器人，把运动轨迹和/或周边情况传输给用户终端。

优选地，所述直接传输通道构建成功以后，机器人端和用户终端之间还可以进行指令的传输。

根据上述远程音视频发送方法，本发明还提出一种远程音视频发送装置，包括：处理器和存储器，所述存储器存储有计算机程序，处理器运行存储器中的计算机程序，控制所述远程音视频发送装置执行所述的远程音视频发送方法。

另外，本发明还提出一种远程音视频接收方法，其特征在于，包括以下步骤：

T1:用户终端和机器人端建立对应连接关系；

T2:用户终端和机器人端之间建立直接传输通道；

T3：用户终端判断所述直接传输通道是否建立成功，如果建立成功，则直接通过该通道接收来自机器人端的音/视频信息；如果没有建立成功，则通过turn服务器接收经turn服务器转来的来自机器人端的音/视频信息。

优选地，所述步骤T3中，如果所述直接传输通道建立成功，则用户终端还可以直接通过该通道向机器人端发送音/视频信息；如果没有建立成功，则用户终端还可以通过turn服务器向机器人端发送音/视频信息。

优选地，所述步骤T2中用户终端和机器人端之间建立直接传输通道，具体的步骤为：

T21：用户终端连接到xmpp服务器后，通过xmpp服务器向机器人端发送音/视频请求，并接收经xmpp服务器转来的来自机器人端的同意音/视频请求的信号；

T22：用户终端接收到同意音/视频请求的信号后，向stun服务器获取自己在公网下的IP地址；

T23：用户终端将自己在公网下的IP地址通过xmpp服务器发送到机器人端，并接收经xmpp服务器转来的机器人端的IP地址；

T24：用户终端和机器人端之间建立直接传输通道。

优选地，所述用户终端是指手机、电脑或者平板电脑，通过下载APP与机器人端建立连接关系。

优选地，所述用户终端是一个或一个以上，每个用户终端对机器人端的控制权限不同。

根据上述远程音视频接收方法，本发明还提出一种远程音视频接收装置，包括：处理器和存储器，所述存储器存储有计算机程序，处理器运行存储器中的计算机程序控制所述远程音视频接收装置执行所述的远程音视频接收方法。

与现有技术相比，本发明的有益效果有：

本发明的远程音视频接收或发送方法及装置，通过在机器人端和用户终端之间建立直接传输通道，进行音视频的传输，因为不存在中间服务器的存贮和中转，所以保证了音视频传输的高安全、低延迟和实时性；传输的音视频是存储在机器人内部，机器人一般都是在家里，别人不容易接触到，这样就保证了音视频的安全性，降低了安全隐患；当建立了音视频直接传输通道，用户终端和机器人端能够通过丢包的多少，来完成对网络状况的实时判断，用于网速自适应；另外，如果由于网络不好或者直接传输通道没有完成建立的情况下，音视频仍然通过turn服务器中转，这就做到双重保险，保证机器人端和用户终端之间的音视频一定可以传输。

附图说明

图1是本发明具体实施方式中机器人端和用户终端之间远程音视频传输方法的总流程图。

图2是本发明具体实施方式中机器人端和用户终端之间建立直接传输通道的过程示意图。

图3是本发明具体实施方式中机器人端和用户终端之间远程音视频双通道传输示意图。

具体实施方式

下面结合具体实施方式并对照附图对本发明做进一步详细说明。

本具体实施方式中，机器人端和用户终端之间的远程音视频传输方法，如图1所示，包括以下步骤：A1：机器人端和用户终端建立对应连接关系；A2：机器人端和用户终端之间建立直接传输通道；A3：机器人端或者用户终端判断所述直接传输通道是否建立成功，如果建立成功，则机器人端和用户终端直接通过该通道进行音/视频传输；如果没有建立成功，则机器人端和用户终端通过turn服务器中转，互相传输音/视频信息。其中，本具体实施方式中所说的传输包括发送和接收。下面将对上述步骤进行详细描述。

A1：机器人端和用户终端建立对应连接关系

每个机器人出厂的时候都设置有单独的账号，手机、电脑或者平板电脑等用户终端通过下载控制机器人的APP，根据机器人的所述的单独的账号与机器人建立对应关系，然后，机器人和用户终端都连接到基于扩展的xmpp协议的服务器(在本文中简称xmpp服务器)上，保证用户终端和机器人端都在线。

A2：机器人端和用户终端之间建立直接传输通道

机器人端和用户终端之间建立直接传输通道的方法，如图2所示，包括以下步骤：首先，用户终端和机器人端分别连接到xmpp服务器上，确保用户终端和机器人端同时在线；然后，用户终端通过xmpp服务器向机器人端发起音/视频请求，机器人端经判断后，将同意音/视频请求的信号通过xmpp服务器发送到用户终端；然后，用户终端和机器人端分别向stun服务器获取一个自己在公网下的IP地址，并将该IP地址通过xmpp服务器发送给对方；用户终端和机器人端互相获知对方的IP地址后，用户终端和机器人端之间建立直接传输通道。

例如，如下代码中to＝"13800000000@family"代表的是这个消息发送给13800000000这个用户终端账号，from＝"yb-r161-001@yubot代表的是机器人端将信息发送给用户终端，后面的那一串包含机器人端在公网上获取到的自己的IP地址(119.137.55.155)和自己在局域网的IP地址(10.0.1.21)，机器人将自己的IP地址信息发送给用户终端。如果是用户终端将自己的局域网地址和在公网下的IP地址发送给机器人端也是类似的。

A3：机器人端或者用户终端判断所述直接传输通道是否建立成功

如果步骤A2所述的直接传输通道建立好了就会有一个成功或者失败的状态返回给用户终端和机器人端，然后机器人端或者用户终端就能够判断所述直接传输通道是否建立成功。如果建立成功，则机器人端和用户终端直接通过该通道进行音/视频传输；如果没有建立成功，则机器人端和用户终端通过turn服务器中转，互相传输音/视频信息。这里所说的音/视频信息为音频信息、视频信息或者音视频信息。

如图3所示，在直接传输通道建立初期，机器人端或者用户终端首先要通过xmpp服务器和stun服务器进行很多次尝试，即很多次协商建立直接传输通道，xmpp服务器用于中转来自机器人端和用户终端的信号，stun服务器用于分别向机器人端和用户终端提供公网下的IP地址。如果通路建立好了，就会有一个成功或者失败的状态返回给用户终端和机器人端，然后用户终端和机器人端就能够判断通道是不是已经建立。当这些协商的工作完成以后，用户终端和机器人端之间建立了直接传输通道，就可以通过该直接传输通道互相传输音视频，因为不存在中间服务器的存贮，所以就不会存在由于服务器被攻破，造成隐私泄漏的问题，保证了音视频传输的高安全性；另外，由于不存在中间服务器的中转，因此保证了音视频传输的低延迟和实时性，并且，用户终端和机器人端之间通过直接传输通道传输音视频，不会受服务器的速度、带宽和容积率的限制，也不会对服务器造成压力，不会增大服务器的开销。

另外，由于机器人端传输的音视频是存储在机器人内部，机器人一般都是在家里，别人不容易接触到，这样就保证了音视频的安全性，降低了安全隐患；当建立了直接传输通道后，用户终端和机器人端能够通过丢包的多少，来完成对网络状况的实时判断，用于网速自适应。

另外，如图3所示，如果由于网络不好或者用户终端和机器人端之间的直接传输通道没有完成建立的情况下，用户终端和机器人端之间的音视频仍然可以通过turn服务器中转，这就做到双重保险，保证用户终端和机器人端之间音视频一定可以互相传输。通过传输音视频可以实现用户终端对机器人端周围环境的监控，以及与机器人端周围环境中的人进行交流和陪护。

根据上述机器人端和用户终端之间的远程音视频传输方法，本具体实施方式还提出一种机器人端和用户终端之间的远程音视频传输装置，包含处理器和存储器，所述存储器中存储有计算机程序，处理器运行存储器中的计算机程序，控制所述远程音视频传输装置执行上述远程音视频传输方法。

另外，本具体实施方式的机器人端和用户终端之间的远程音视频传输方法或者装置，所述用户终端和机器人端之间的直接传输通道建立好了以后，还可以进行指令的传输，传输的指令包括控制机器人运动方向、运动速度、运动轨迹以及机器人上摄像头的摆动；所述的机器人可以是扫地机、家庭看护机器人，能够把运动轨迹和/或周边情况传输给用户终端；所述的用户终端可以是一个或者多个，分别属于不同的用户，这些用户之间可以建立联系。每个用户终端对机器人端的控制权限不同，但是每个机器人只有一个最高级别的管理者，可以控制机器人和其他管理者的关系，比如建立联系或解除联系等。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。