一种智能终端的远程控制方法、设备及介质与流程

1.本发明涉及机器人控制的技术领域，尤其涉及一种智能终端的远程控制方法、设备及介质。


背景技术：

2.目前，可以直接发送指令控制本地的摄像头，通过fecc(far end camera control，远程摄像头控制)协议控制远端的摄像头进行位置不变的三轴转动，以上技术可以胜任一般的视频会议或者监控场景。但在需要移动摄像头位置、采集不同位置的画面时，比如区域巡逻、互动视频会议的场景中，手持移动摄像头的方式极为不方便。因此，如何方便快捷的扩展画面采集的区域成为一个亟待解决的问题。


技术实现要素：

3.本发明的主要目的在于提供一种智能终端的远程控制方法，旨在解决现有技术中如何方便快捷的扩展画面采集的区域的技术问题。
4.为实现上述目的，本发明提供一种智能终端的远程控制方法，所述智能终端包括摄像头，远程通信模块和运动模块，所述智能终端的远程控制方法，包括：
5.在对远程智能终端的手动远程控制移动过程中，本地智能终端获取控制远程智能终端的第二摄像头的fecc指令，通过第一远程通信模块将所述fecc指令发送至远程智能终端；
6.远程智能终端通过第二远程通信模块接收所述fecc指令，将所述fecc指令映射为控制第二运动模块的移动指令，使第二运动模块根据所述移动指令进行移动的同时带动远程智能终端的移动。
7.可选地，所述智能终端还包括显示器，在所述本地智能终端获取控制远程智能终端的第二摄像头的fecc指令的步骤之前，还包括：
8.远程智能终端通过第二远程通信模块将第二摄像头采集的实时画面发送至本地智能终端；
9.本地智能终端通过第一远程通信模块接收所述实时画面，通过显示器展示所述实时画面。
10.可选地，在所述将所述fecc指令映射为控制第二运动模块的移动指令的步骤之前，还包括：
11.远程智能终端建立将所述fecc指令映射为所述移动指令的映射规则；
12.所述将所述fecc指令映射为控制第二运动模块的移动指令的步骤，包括：
13.调用所述映射规则将所述fecc指令映射为所述移动指令。
14.可选地，所述远程智能终端建立将所述fecc指令映射为所述移动指令的映射规则的步骤，包括：
15.远程智能终端获取第二摄像头的第一运动方向集合和第二运动模块的第二运动
方向集合，根据所述第一运动方向集合和所述第二运动方向集合的相同匹配项建立所述映射规则。
16.可选地，所述根据所述第一运动方向集合和所述第二运动方向集合的相同匹配项建立所述映射规则的步骤，包括：
17.若所述相同匹配项为左右移动和前后移动，则将所述fecc指令的运动请求参数中的左右平移字段对应所述第二运动模块的左右移动字段，放大缩小画面字段对应所述第二运动模块的前进后退字段。
18.可选地，所述智能终端的远程控制方法，还包括：
19.在对远程智能终端的半自动移动过程中，本地智能终端选择远程智能终端的实时画面中的目标地点，通过第一远程通信模块将所述目标地点发送至远程智能终端；
20.远程智能终端通过第二远程通信模块接收所述目标地点，根据远程智能终端的当前位置和所述目标地点进行路径规划得到部分最优路径，控制第二运动模块按照所述部分最优路径自动行进至所述目标地点。
21.可选地，所述智能终端的远程控制方法，还包括：
22.在对远程智能终端的手动远程控制移动过程中，以及在对远程智能终端的半自动移动过程中，通过第二摄像头扫描远程智能终端的移动区域以生成全程地图。
23.可选地，在所述生成全程地图的步骤之后，还包括：
24.通过第二远程通信模块发送全程地图至本地智能终端；
25.在对远程智能终端的全自动移动过程中，通过第二远程通信模块接收本地智能终端在所述全程地图上设置的起点和终点，在根据所述起点和所述终点完成路径规划后得到全程最优路径，控制第二运动模块按照所述全程最优路径自动行进至所述终点。
26.此外，为实现上述目的，本发明还提供一种智能终端的远程控制设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上所述的智能终端的远程控制方法的步骤。
27.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的智能终端的远程控制方法的步骤。
28.本发明实施例提出的一种智能终端的远程控制方法、设备及介质，所述智能终端包括摄像头，远程通信模块和运动模块，所述智能终端的远程控制方法，包括：在对远程智能终端的手动远程控制移动过程中，本地智能终端获取控制远程智能终端的第二摄像头的fecc指令，通过第一远程通信模块将所述fecc指令发送至远程智能终端；远程智能终端通过第二远程通信模块接收所述fecc指令，将所述fecc指令映射为控制第二运动模块的移动指令，使第二运动模块根据所述移动指令进行移动的同时带动远程智能终端的移动。
29.将摄像头fecc协议与运动模块底层控制协议相结合,根据控制摄像头的转动与运动模块本身的移动方向保持一致，实现将摄像头的移动控制映射到对运动模块的移动控制上，不需要复杂的控制逻辑和时序关系，可以方便快捷的改变摄像头的位置。
附图说明
30.图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
31.图2为本发明一种智能终端的远程控制方法一实施例的流程示意图；
32.图3为本发明一种智能终端的远程控制方法一实施例的结构示意图。
33.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
34.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
35.参照图1，图1为本发明实施例方案涉及的硬件运行环境的终端结构示意图。
36.如图1所示，该终端设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)存储器，也可以是稳定的非易失性存储器(non-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
37.本领域技术人员可以理解，图1中示出的结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
38.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络远程通信模块、用户接口模块以及计算机程序。
39.在图1所示的终端设备中，网络接口1004主要用于与其他设备进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明终端设备中的处理器1001、存储器1005可以设置在终端设备中，所述终端设备通过处理器1001调用存储器1005中存储的计算机程序，并执行以下操作：
40.在对远程智能终端的手动远程控制移动过程中，本地智能终端获取控制远程智能终端的第二摄像头的fecc指令，通过第一远程通信模块将所述fecc指令发送至远程智能终端；
41.远程智能终端通过第二远程通信模块接收所述fecc指令，将所述fecc指令映射为控制第二运动模块的移动指令，使第二运动模块根据所述移动指令进行移动的同时带动远程智能终端的移动。
42.进一步地，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：
43.所述智能终端还包括显示器，在所述本地智能终端获取控制远程智能终端的第二摄像头的fecc指令的步骤之前，还包括：
44.远程智能终端通过第二远程通信模块将第二摄像头采集的实时画面发送至本地智能终端；
45.本地智能终端通过第一远程通信模块接收所述实时画面，通过显示器展示所述实时画面。
46.进一步地，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：
47.在所述将所述fecc指令映射为控制第二运动模块的移动指令的步骤之前，还包括：
48.远程智能终端建立将所述fecc指令映射为所述移动指令的映射规则；
49.所述将所述fecc指令映射为控制第二运动模块的移动指令的步骤，包括：
50.调用所述映射规则将所述fecc指令映射为所述移动指令。
51.进一步地，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：
52.所述远程智能终端建立将所述fecc指令映射为所述移动指令的映射规则的步骤，包括：
53.远程智能终端获取第二摄像头的第一运动方向集合和第二运动模块的第二运动方向集合，根据所述第一运动方向集合和所述第二运动方向集合的相同匹配项建立所述映射规则。
54.进一步地，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：
55.所述根据所述第一运动方向集合和所述第二运动方向集合的相同匹配项建立所述映射规则的步骤，包括：
56.若所述相同匹配项为左右移动和前后移动，则将所述fecc指令的运动请求参数中的左右平移字段对应所述第二运动模块的左右移动字段，放大缩小画面字段对应所述第二运动模块的前进后退字段。
57.进一步地，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：
58.所述智能终端的远程控制方法，还包括：
59.在对远程智能终端的半自动移动过程中，本地智能终端选择远程智能终端的实时画面中的目标地点，通过第一远程通信模块将所述目标地点发送至远程智能终端；
60.远程智能终端通过第二远程通信模块接收所述目标地点，根据远程智能终端的当前位置和所述目标地点进行路径规划得到部分最优路径，控制第二运动模块按照所述部分最优路径自动行进至所述目标地点。
61.进一步地，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：
62.所述智能终端的远程控制方法，还包括：
63.在对远程智能终端的手动远程控制移动过程中，以及在对远程智能终端的半自动移动过程中，通过第二摄像头扫描远程智能终端的移动区域以生成全程地图。
64.进一步地，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：
65.在所述生成全程地图的步骤之后，还包括：
66.通过第二远程通信模块发送全程地图至本地智能终端；
67.在对远程智能终端的全自动移动过程中，通过第二远程通信模块接收本地智能终端在所述全程地图上设置的起点和终点，在根据所述起点和所述终点完成路径规划后得到全程最优路径，控制第二运动模块按照所述全程最优路径自动行进至所述终点。
68.本发明实施例提供了一种智能终端，参照图3，图3为本发明一种智能终端一实施例的结构示意图，所述智能终端包括：
69.摄像头，远程通信模块和运动模块。
70.在视频会议中对搭载摄像头的运动模块的控制技术，大多数都是基于蓝牙，红外或者无线局域网等直接发送控制指令给运动模块从而实现控制运动模块运动。但是，当不仅需要通过摄像头实时查看到运动模块前方画面，并且需要控制运动模块执行相应的运动动作时,如果采用传输fecc指令时经常用到的rtp(real-time transport protocol，实时传输协议)通道传输运动模块控制指令，比如通过rtp通道直接传输运动模块底层控制协议对应的控制指令，此时的智能终端就不需要指令映射单元，但是不仅需要增加信道传输的数据量，而且还需要同步摄像头和运动模块的指令时钟，实现起来麻烦、效率低，所以一般情况下，基于运动模块的摄像头的移动控制需要在一定网络范围内或者在红外的可感应范围内才能进行。
71.但是实际上，在比如区域巡逻、视频互动或者视频会议中，如果只能在很小的区域进行巡视、在指定的会议室中或者一个固定的场景开始会议或进行视频，由于智能终端固定在某一固定位置下无法移动，就会导致当需要进行开放式的视频互动时，比如当需要开启一些引导式场景，巡查式场景，直播介绍式场景，或者视频互动会议时，就无法满足这一需求。此时就需要一个可移动的智能终端，并且可在巡视的场景下，在无人值守时，可以远程控制运动模块进行运动。
72.在本实施例中，智能终端包括具有数据接收单元，数据发送单元和指令映射单元的远程通信模块、在图3中未示出运动模块和设置在运动模块上的摄像头和显示器，其中显示器具有触控功能，其中集成触控功能是为了更方便的获取对控制远程智能终端的控制指令，也可以是其他接入的外设，在本实施例中对获取控制指令的方式和硬件不做限定。假设其中一个智能终端为本地智能终端，另一个就是远程智能终端，在本实施例中，无论本地还是远程，智能终端的硬件配置均相同，并在显示器上划分出远端的实时画面和控制远端移动的按键或触控区域。以下均以本地智能终端为指令发送方、控制方，以第一为前缀指代各个组成部件，远程智能终端为指令接收方，被控制方，以第二为前缀指代各个组成部件，为例进行说明，但是在其他实施例中，还可以由远程智能终端反过来控制本地智能终端，本地智能终端和远程智能终端互相控制，其控制方法和逻辑与本实施例相同，在此不做赘述。
73.基于如上所述的智能终端，本发明实施例提供了一种智能终端的远程控制方法，参照图2，图2为本发明一种智能终端的远程控制方法一实施例的流程示意图。在本实施例中，智能终端的远程控制方法，包括：
74.步骤s30：在对远程智能终端的手动远程控制移动过程中，本地智能终端获取控制远程智能终端的第二摄像头的fecc指令，通过第一远程通信模块将所述fecc指令发送至远程智能终端；
75.步骤s40：远程智能终端通过第二远程通信模块接收所述fecc指令，将所述fecc指令映射为控制第二运动模块的移动指令，使第二运动模块根据所述移动指令进行移动的同时带动远程智能终端的移动。
76.在本实施例中，在本地智能终端的显示器上展示远端的实时画面后，就可以在显示器的控制区域进行触控操作，数据发送单元将触控操作对应的fecc指令通过rtp通道发
送至远端智能终端，远程智能终端的数据接收单元接收到fecc指令之后，将其输入至指令映射单元，指令映射单元根据预设的映射规则将输入的fecc指令映射为运动模块底层控制协议对应的运动模块移动指令，控制运动模块的运动，从而带动摄像头一并运动。其中，可以是接收显示器的触控操作对应的fecc指令，还可以是虚拟遥控键盘或者外设键盘触发的fecc指令，在本实施例中对触发fecc指令的硬件和方法不做限定。
77.在本实施例中，所述智能终端包括摄像头，远程通信模块和运动模块，所述智能终端的远程控制方法，包括：在对远程智能终端的手动远程控制移动过程中，本地智能终端获取控制远程智能终端的第二摄像头的fecc指令，通过第一远程通信模块将所述fecc指令发送至远程智能终端；远程智能终端通过第二远程通信模块接收所述fecc指令，将所述fecc指令映射为控制第二运动模块的移动指令，使第二运动模块根据所述移动指令进行移动的同时带动远程智能终端的移动。
78.将摄像头fecc协议与运动模块底层控制协议相结合,根据控制摄像头的转动与运动模块本身的移动方向保持一致，实现将摄像头的移动控制映射到对运动模块的移动控制上，不需要复杂的控制逻辑和时序关系，可以方便快捷的改变摄像头的位置。
79.可选地，所述智能终端还包括显示器，在所述本地智能终端获取控制远程智能终端的第二摄像头的fecc指令的步骤之前，还包括：
80.步骤s10：远程智能终端通过第二远程通信模块将第二摄像头采集的实时画面发送至本地智能终端；
81.步骤s20：本地智能终端通过第一远程通信模块接收所述实时画面，通过显示器展示所述实时画面。
82.在本实施例中，当本地和远端建立握手连接后，本地会接收到远端的摄像头采集到的实时画面。远端智能终端的摄像头采集实时画面，并通过远程通信模块中的数据发送单元将实时画面发送至本地智能终端的远程通信模块中的数据接收单元，然后，本地智能终端将接收到的实时画面在显示器的“实时画面”区域进行展示，从而可以使得本地的使用者基于远端的实时画面控制远端智能终端的运动，虽然会存在画面的延迟，但是在巡逻或者视频会议中，这样的延迟还是在可接受范围内。在本实施例中，对实时画面的数据传输协议或方法不做限定，可以也是通过传输fecc指令时经常用到的rtp通道进行传输。
83.可选地，在所述将所述fecc指令映射为控制第二运动模块的移动指令的步骤之前，还包括：
84.远程智能终端建立将所述fecc指令映射为所述移动指令的映射规则；
85.所述将所述fecc指令映射为控制第二运动模块的移动指令的步骤，包括：
86.调用所述映射规则将所述fecc指令映射为所述移动指令。
87.在通过指令映射单元将fecc指令映射为对运动模块进行控制的运动模块移动指令之前，还需要先建立并存储映射规则。
88.远程智能终端建立将fecc指令映射为对运动模块进行控制的运动模块移动指令的映射规则，并通过指令映射单元调用映射规则将fecc指令映射为对运动模块进行控制的运动模块移动指令。
89.可选地，所述远程智能终端建立将所述fecc指令映射为所述移动指令的映射规则的步骤，包括：
90.远程智能终端获取第二摄像头的第一运动方向集合和第二运动模块的第二运动方向集合，根据所述第一运动方向集合和所述第二运动方向集合的相同匹配项建立所述映射规则。
91.对于fecc协议来说，请求不会有对应的回复。因为摄像头的视觉反馈，可以替代实际响应的过程，fecc协议所需的是能够快速准确地传输控制信息。具体的，建立映射规则时，首先获取得到摄像头的第一运动方向集合，比如上下前后左右的三轴转动，和运动模块的第二运动方向集合，比如前后左右的平面移动，运动模块一般没有上下运动。可以将对摄像头进行上下轴转动的fecc指令不经过扩展或者精简，直接映射为对运动模块进行前后运动的运动模块移动指令；将对摄像头进行左右轴转动的fecc指令直接映射为对运动模块进行左右运动的运动模块移动指令；将对摄像头进行左右轴转动的fecc指令置为空闲状态。
92.可选地，所述根据所述第一运动方向集合和所述第二运动方向集合的相同匹配项建立所述映射规则的步骤，包括：
93.若所述相同匹配项为左右移动和前后移动，则将所述fecc指令的运动请求参数中的左右平移字段对应所述第二运动模块的左右移动字段，放大缩小画面字段对应所述第二运动模块的前进后退字段。
94.在实际的摄像头安装位置或安装需求下，摄像头的三轴转动往往不会同时满足。在本实施例中，摄像头为定焦镜头，没有前后和左右转动的驱动装置，只有上下轴转动的驱动装置，无法进行物理层面的前后轴和左右轴转动，只能进行上下轴转动，不过远程智能终端还是可以接收三轴转动的fecc指令。此时，将对摄像头的进行放大缩小的画面指令对应运动模块底层控制协议中的前进后退指令，将对摄像头进行上下轴转动的fecc指令不经过映射直接控制摄像头的上下轴转动，对摄像头进行左右轴转动的fecc指令映射为对运动模块的左右运动指令。在本实施例中，对映射规则不做限定，根据摄像头的实际安装和运动需要进行对应即可，对映射和发送的指令数量和指令不做限定。
95.可选地，所述智能终端的远程控制方法，还包括：
96.在对远程智能终端的半自动移动过程中，本地智能终端选择远程智能终端的实时画面中的目标地点，通过第一远程通信模块将所述目标地点发送至远程智能终端；
97.远程智能终端通过第二远程通信模块接收所述目标地点，根据远程智能终端的当前位置和所述目标地点进行路径规划得到部分最优路径，控制第二运动模块按照所述部分最优路径自动行进至所述目标地点。
98.在控制远程智能终端的运动模块的运动时，可以在本地的显示器上以比如框选的方式标注目标地点，从而可以选择远程实时画面中的目标地点。在本实施例中，对显示标注目标地点、选择目标地点的方式不做限定。再通过数据发送单元将目标地点发送至远程智能终端，远程智能终端通过数据接收单元接收到目标地点后，根据运动模块的当前位置和目标地点进行路径规划得到部分最优路径，控制运动模块按照部分最优路径行进至目标地点。同样的，在本实施例中，对根据当前位置和目标地点进行路径规划的方式不做限定。
99.可选地，所述智能终端的远程控制方法，还包括：
100.在对远程智能终端的手动远程控制移动过程中，以及在对远程智能终端的半自动移动过程中，通过第二摄像头扫描远程智能终端的移动区域以生成全程地图。
101.在远程控制智能终端运动的过程中，远程智能终端会根据摄像头采集到的实时画
面、即扫描智能终端的移动区域，生成智能终端移动范围内的区域地图，在本实施例中，对生成区域地图的方式不做限定，可以是在根据摄像头采集到的智能终端的移动区域的实时画面生成的区域地图。再通过区域地图的拼接或融合得到远程智能终端的移动区域的全程地图。
102.可选地，在所述生成全程地图的步骤之后，还包括：
103.通过第二远程通信模块发送全程地图至本地智能终端；
104.在对远程智能终端的全自动移动过程中，通过第二远程通信模块接收本地智能终端在所述全程地图上设置的起点和终点，在根据所述起点和所述终点完成路径规划后得到全程最优路径，控制第二运动模块按照所述全程最优路径自动行进至所述终点。
105.在巡视的场景下，在无人值守时，本实施例也可以远程控制智能终端进行自主运动巡逻。在本实施例中，在生成了远端智能终端可移动的全程地图之后，通过数据接收单元接收在区域地图上设置的起点和终点，接收的起点和终点可以是后台服务器设置的，也可以是由本地智能终端设置的，在本实施例中对设置起点和终点的设备和来源不做限定，以基于数据接收单元可以接收到为准。远端智能终端在获取得到起点和终点之后，比如自动巡逻场景中的起点和终点之后，根据起点和终点进行路径规划从而得到起点和终点之间的全程最优路径，再控制运动模块按照全程最优路径行进。在本实施例中，对路径规划的方法不做限定，对控制运动模块以最优路径进行行进的方式不做限定。
106.可选地，所述智能终端还包括雷达，
107.所述智能终端的远程控制方法，还包括：
108.在根据智能终端的移动过程中，远程智能终端根据所述雷达的反射信号对移动或行进中的故障进行规避。
109.考虑到智能终端和周围环境在智能终端运动过程中的安全，在根据智能终端移动指令远程控制智能终端的移动时，或者在智能终端按照最优路径自主行进时，远程智能终端根据其自身具备的雷达的反射信号对移动或行进中的故障进行规避。在本实施例中，对故障规避的方式不做限定。
110.此外，本发明实施例还提供一种智能终端的远程控制设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上所述的智能终端的远程控制方法的步骤。
111.此外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的智能终端的远程控制方法的步骤。
112.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
113.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
114.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下
前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
115.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。