一种远程驾驶方法、设备及其系统与流程

本发明实施例涉及智能交通技术领域，尤其涉及一种远程驾驶方法、设备及其系统。

背景技术：

随着智能化和自动化技术的发展，无人驾驶技术应运而生。以汽车领域为例，无人驾驶汽车通常是由车载自动控制的算法单元对车载传感系统获取的路况信息进行判断，规划行驶路线或控制交通工具的转向和速度，到达预先设定的目的地。但现有技术中自动控制系统的技术手段并不成熟，安全性低。

为了提高无人驾驶车辆的安全性，现有技术中采用了远程监控无人驾驶系统，对无人驾驶车辆的地理位置、计划行驶路线或周围路况进行监控。这种远程监控的无人驾驶技术直接对车载系统进行控制，但将车载系统与远程控制技术相结合的技术难度较大，同时对传统的汽车系统的大幅改造，无法满足其他交通领域对无人驾驶技术实时操作需求。

技术实现要素：

鉴于上述现有技术存在的缺陷，本发明实施例提供一种远程驾驶方法、设备及其系统，能够提高无人驾驶的安全性，解决远程控制和车载系统在技术上结合的难题，简化对交通工具结构和功能上的改造过程，使得其应用不受交通领域的限制。

第一方面，本发明实施例提供了一种远程驾驶方法，包括：

通过设置在双臂机器人上的摄像头获取视频信息；

对所述视频信息进行预处理，生成车辆状况视频信息；

将所述车辆状况视频信息通过无线通讯模块发送至远程遥控驾驶平台，以便所述远程遥控驾驶平台向用户展示车辆状况视频；

根据接收到的所述远程遥控驾驶平台发送的控制指令，执行驾驶动作。

第二方面，本发明实施例还提供了一种远程驾驶方法，包括：

接收双臂机器人发送的车辆状况视频信息；

根据所述车辆状况视频信息，向用户展示车辆状况视频；

根据通过车辆操作模块获取到的用户驾驶操作，确定生成控制指令；

将所述控制指令发送至所述双臂机器人。

第三方面，本发明实施例还提供一种双臂机器人，包括

一个或多个处理器；

存储器，用于存储一个或多个程序；

第一机械臂和第二机械臂，用于进行驾驶操作；

油门刹车装置，用于对车辆进行油门和刹车控制；

摄像头，用于获取视频信息；

通讯模块，用于与远程遥控驾驶平台进行数据通信；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面实施例中所述的远程驾驶方法。

第四方面，本发明实施例还提供一种远程遥控驾驶平台，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

通讯模块，用于与双臂机器人进行数据通讯；

视频展示模块，用于展示车辆状况视频；

车辆操作模块，用于获取用户的驾驶操作；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第二方面实施例中所述的远程驾驶方法。

第五方面，本发明实施例还提供一种远程驾驶系统，包括如本发明第三方面实施例提供的双臂机器人和第四方面实施例提供的远程遥控驾驶平台。

本发明实施例通过驾驶员远程遥控双臂机器人完成驾驶动作，解决了车载系统与远程控制的技术结合上的难题，也简化了对交通工具结构和功能上的改造过程，使得远程控制车辆更容易实现，扩宽了无人驾驶技术的应用场景，满足了不同交通领域的无人驾驶需求。

附图说明

图1为本发明实施例一提供的一种远程驾驶方法的流程图。

图2为本发明实施例二提供的一种远程驾驶方法的流程图。

图3为本发明实施例三提供的一种远程驾驶装置的结构示意图。

图4为本发明实施例四提供的一种远程驾驶装置的结构示意图。

图5a为本发明实施例五提供的一种双臂机器人的结构示意图。

图5b为本发明实施例五提供的一种双臂机器人的机械结构示意图。

图6a为本发明实施例六提供的一种远程遥控驾驶平台的结构示意图。

图6b为本发明实施例六提供的一种远程遥控驾驶平台视频展示模块的示意图。

图7为本发明实施例七提供的一种远程驾驶系统的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

图1为本发明实施例提供的一种远程驾驶方法的流程图，实施例一的远程驾驶方法可以应用于远程遥控无人驾驶场景，示例性的，驾驶对象可以是轿车、货车、火车、地铁和飞机等交通工具，也可以是特殊条件或天气下的驾驶车辆，示例性的，特殊条件包括但不限于飞机试飞、高温作业驾驶任务、缺氧作业驾驶任务、高原作业驾驶任务、超低温作业驾驶任务等。该方法可以由本发明实施例提供的远程驾驶装置来执行，该装置可采用软件和/或硬件的方式来实现，该装置可以集成于具有远程驾驶功能的双臂机器人中。具体包括：

s110、通过设置在双臂机器人上的摄像头获取视频信息。

其中，可以将摄像头设置在双臂机器人的头部，模拟驾驶员的视角获得视频信息。当然，也可以设置在双臂机器人的其他部位，示例性的，其他部位可以为手部、躯体部位或肩膀等可以获得所需视频信息的位置。为了能够获得所有所需视频信息，摄像头的个数为1个或多个，示例性的，个数可以为5个，包括远视摄像头、近距摄像头、车内摄像头、左后视镜摄像头和右后视镜摄像头。

s120、对视频信息进行预处理，生成车辆状况视频信息。

可选的，预处理操作包括去噪、图像增强和/或压缩操作。

受到摄像头、车载系统和周围环境噪声的影响，摄像头直接获取的图像中包含有噪声信息，需要进行预处理。示例性的，去噪处理可以为时域均值滤波法、维纳滤波、自适应中值滤波和小波变换中的一种或几种算法进行滤波去噪；。

图像增强是针对给定图像的应用场合，有目的地强调图像的整体或局部特征，从而丰富信息量，加强图像的判读和识别效果。示例性的，图像增强可以为直方图均衡、灰度变换、白平衡、伽马校正和图像锐化中的一种或几种算法，对于特殊的天气条件还可以采用雾天图像增强和/或暗光图像处理方法。

视频信息数字化后数据带宽很高，通常在20mb/秒以上，因此处理系统很难对其进行数据保存或传输，采用视频压缩技术可将带宽降至1-10mb/秒。示例性的，视频压缩可以采用动态图像专家组、运动静止图像专家组压缩技术和小波转换压缩方法中的一种或几种算法。

可选的，车辆状况视频信息包括车辆周围的路况视频信息和车内信号指示面板信息。示例性的，车辆周围的路况视频信息包括但不限于车辆前方远距离视频信息、车辆前方近距离视频信息、车辆左侧后视镜视频信息和车辆右侧后视镜视频信息等所有与路况相关的视频信息。

s130、将车辆状况视频信息通过无线通讯模块发送至远程遥控驾驶平台，以便远程遥控驾驶平台向用户展示车辆状况视频。

可选的，无线通讯模块支持5g、wifi、3g、4g、卫星网络中的一种或多种通讯方式。可以理解的是，无线通讯模块支持的通讯方式不限于上述通讯方式，无线通讯模块还可以支持其他适于进行无线数据传输的通讯方式。示例性的，5g通讯模块的高速率的传输通道可以保证视频信息的实时传输。在相对稳定的区域驾驶作业，如有限的区域内、工业区内、农田或农场，设置专门的5g通讯站点可以提高远程驾驶的稳定性和传输效率。示例性的，无线通讯模块可以设置为按照预设优先级启用对应的通讯方式，当较高优先级的通讯方式出现故障时，启用较低优先级的通讯方式向远程控制平台发送故障报告请求。

s140、根据接收到的远程遥控驾驶平台发送的控制指令，执行驾驶动作。

其中，采用无线通讯模块接收控制指令，控制指令是指包含驾驶动作的指令信息，示例性的，驾驶动作包括但不限于换挡、旋转方向盘、开启/关闭转向灯、踩/抬油门、踩/抬刹车和踩/抬离合等驾驶操作。

本实施例的技术方案，将远程控制技术与双臂机器人结合，并通过双臂机器人执行驾驶操作，解决了远程控制与车载系统的结合技术难题，也避免了对现有机动车辆进行改装，扩宽了无人驾驶技术的应用场景。

实施例二

图2为本发明实施例二提供的一种远程驾驶方法的流程图，实施例二的远程驾驶方法可以应用于远程遥控无人驾驶场景，示例性的，驾驶对象可以是轿车、货车、火车、地铁和飞机等交通工具，也可以是特殊条件或天气下的驾驶车辆，示例性的，特殊条件包括但不限于飞机试飞、高温作业驾驶任务、缺氧作业驾驶任务、高原作业驾驶任务、超低温作业驾驶任务等。该方法可以由本发明实施例提供的远程驾驶装置来执行，该装置可采用软件和/或硬件的方式来实现，该装置可以集成于具有远程驾驶功能的远程遥控驾驶平台中。与上述实施例提供的方法配合使用。具体包括：

s210、接收双臂机器人发送的车辆状况视频信息。

其中，通过无线通讯的方式接收双臂机器人发送的车辆状况视频信息，可选的，无线通讯模块支持5g、wifi、3g、4g和卫星网络中的一种或多种通讯方式。可以理解的是，无线通讯方式不限于上述通讯方式，还可以是其他适于进行无线数据传输的通讯方式。

可选的，车辆状况视频信息包括车辆周围的路况视频信息和车内信号指示面板信息。示例性的，车辆周围的路况视频信息包括但不限于车辆前方远距离视频信息、车辆前方近距离视频信息、车辆左侧后视镜视频信息和车辆右侧后视镜视频信息等所有与路况相关的视频信息。

s220、根据车辆状况视频信息，向用户展示车辆状况视频。

可选的，展示车辆状况视频的方法可以为在显示屏上按预设排列方式展示车辆状况视频或通过增强现实(augmentedreality，ar)显示设备展示车辆状况视频。示例性的，显示屏可以为多屏幕或者宽屏幕，预设排列顺序可以为依次横向排列、依次竖向排列和根据视频信息的优先级组合排列中的一种或多种排列方式。

s230、根据通过车辆操作模块获取到的用户驾驶操作，确定控制指令。

其中，车辆操作模块为用户提供输入驾驶操作的平台，示例性的，输入的驾驶操作信息可以为键盘文字、系统预设的驾驶操作信息、语音信号、相关肢体动作和相关的脑电信息中的一种或多种等信息类型。

控制指令是指包含驾驶动作的指令信息，示例性的，驾驶动作包括但不限于换挡、旋转方向盘、开启或关闭转向灯、踩/抬油门、踩/抬刹车和踩/抬离合等驾驶操作。

s240、将控制指令发送至双臂机器人。

其中，采用无线通讯的方式发送控制指令至双臂机器人。

本实施例的技术方案，驾驶员远程控制双臂机器人完成驾驶动作，规避了现有“完全依靠ai的无人驾驶”技术中自动控制系统的误判情况，提高了驾驶的安全性，尤其解决了特殊作业驾驶任务中驾驶员的安全问题。

实施例三

图3为本发明实施例三提供的一种远程驾驶装置的结构示意图，该远程驾驶装置包括：

视频信息获取模块30，用于通过设置在双臂机器人上的摄像头获取视频信息；

视频信息预处理模块31，用于对视频信息进行预处理，生成车辆状况视频信息；

车辆状况视频信息发送模块32，用于将车辆状况视频信息通过无线通讯模块发送至远程遥控驾驶平台，以便远程遥控驾驶平台向用户展示车辆状况视频；

控制指令接收模块33，用于根据接收到的远程遥控驾驶平台发送的控制指令，执行驾驶动作。

本实施例的技术方案，将远程控制技术与双臂机器人结合，并通过双臂机器人执行驾驶操作，解决了远程控制与车载系统的结合技术难题，扩宽了无人驾驶技术的应用场景。

可选的，视频预处理模块31具体用于：

对视频信息进行消除抖动、去噪、图像增强和/或压缩操作，生成车辆状况视频信息。

可选的，车辆状况视频信息包括车辆周围的路况视频信息和车内信号指示面板信息。

可选的，车辆状况视频信息发送模块为5g通信模块。

本发明实施例提供的远程驾驶装置可用于执行本发明实施例一所提供的远程驾驶方法，具备执行方法相应的功能和有益效果。

实施例四

图4为本发明实施例四提供的一种远程驾驶装置的结构示意图，该远程驾驶装置包括：

车辆状况视频信息接收模块40，用于接收双臂机器人发送的车辆状况视频信息；

车辆状况视频展示模块41，用于根据车辆状况视频信息，向用户展示车辆状况视频；

控制指令确定模块42，用于根据通过车辆操作模块获取到的用户驾驶操作，确定控制指令；

控制指令发送模块43，用于将控制指令发送至双臂机器人。

本实施例的技术方案，驾驶员远程控制双臂机器人完成驾驶动作，规避了现有无人驾驶技术中自动控制系统的误判情况，提高了驾驶的安全性，尤其解决了特殊作业驾驶任务中驾驶员的安全问题。

可选的，车辆状况视频展示模块41具体用于：在显示屏上按预设排列方式展示车辆状况视频；其中，车辆状况视频信息包括车辆周围的路况视频信息和车内信号指示面板信息。

可选的，车辆状况视频展示模块41具体用于：根据车辆状况视频，通过增强现实技术ar显示设备展示车辆状况视频。

本发明实施例提供的远程驾驶装置可用于执行本发明实施例二所提供的远程驾驶方法，具备执行方法相应的功能和有益效果。

实施例五

图5a为本发明实施例五提供的一种双臂机器人的结构示意图，如图5a所示，该双臂机器人包括处理器50、存储器51、第一机械臂52、第二机械臂53、油门刹车装置54、摄像头55和通讯模块56；双臂机器人的处理器数量可以是一个或多个，图5a中以一个处理器50为例；双臂机器人的处理器50、存储器51、第一机械臂52、第二机械臂53、油门刹车装置54、摄像头55和通讯模块56可以通过总线或其他方式连接，图5a中以通过总线连接为例。

存储器51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例三中的远程驾驶方法对应的程序模块。处理器50通过运行存储在存储器51中的软件程序、指令以及模块，从而执行双臂机器人的各种功能应用以及数据处理，即实现实施例一的远程驾驶方法。

存储器51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至双臂机器人。上述网络的实例包括但不限于互联网、企业内部网、局域网、5g移动通信网及其组合。

示例的，双臂机器人包括主控芯片，用于接收远程遥控驾驶平台发送的控制指令，获取具体的动作指令；控制芯片，用于接收和解码主控模块具体动作指令，操控双臂机器人完成驾驶动作，以实现对无人驾驶车辆的远程控制。

图5b为本发明实施例五提供的一种双臂机器人的机械结构示意图，以应用在自动驾驶汽车为例，具体结构包括：

第一机械臂52和第二机械臂53，用于进行驾驶操作。可选的，第一机械臂52和第二机械臂53可以为六关节串联机器人，机械臂根据随车辆抖动后与方向盘之间产生的间隙进行动态调整，确保驾驶过程中不损伤车辆。

油门刹车装置54，用于对车辆进行油门和刹车控制。可选的，刹车油门装置包括但不限于油门电机541、旋转丝杠542、油门踏板543、刹车电机544和刹车踏板545。

摄像头55，用于获取视频信息。可选的，为获得所有所需视频信息，摄像头的数量为1个或多个，示例性的，摄像头的数量为5个，包括远视摄像头551、近距摄像头552、车内摄像头553、左后视镜摄像头554和右后视镜摄像头555。

可选的，双臂机器人还包括机器人头部57，用于安装摄像头。示例性的，机器人的头部57可以包括机械云台，获取到的视频连续、平稳或上下浮动时为线性平滑变化，可以有效地降低视频的抖动，使得驾驶室观看的视频效果尽可能的接近真实的驾驶环境。

可选的，双臂机器人还包括机器人身躯58，用于将双臂机器人固定在车上。可选的，机器人身躯内设置有紧急情况下的电池和软件系统。示例性的，紧急情况可以为发生意外事故、车辆出现故障等情况。

实施例六

图6a为本发明实施例六提供的一种远程遥控驾驶平台的结构示意图，如图6a所示，该远程遥控驾驶平台包括处理器60、存储器61、通讯模块62、视频展示模块63和车辆操作模块64；远程遥控驾驶平台的处理器数量可以是一个或多个，图6a中以一个处理器60为例；远程遥控驾驶平台的处理器60、存储器61、通讯模块62、视频展示模块63和车辆操作模块64可以通过总线或其他方式连接，图6a中以通过总线连接为例。

关于远程遥控平台处理器60和存储器61的详细描述，可以参考上述技术方案的描述，为了避免重复，此处不再赘述。

可选的，车辆操作模块64包括姿态感应手套，用于获取驾驶员手臂动作信息。姿态感应手套上设置有活动关节位置编码器，可以实时测量出驾驶员手臂关节的旋转角度，这些关节与双臂机器人的机械臂关节相对应。在远程遥控驾驶平台对双臂机器人进行遥控驾驶的驾驶员双手佩戴姿态感应手套，当驾驶员的手臂进行动作时，姿态感应手套可以获取驾驶员手臂动作信息。

可选的，视频展示模块63可以采用在显示屏上按预设排列方式展示车辆状况视频或增强现实显示设备展示车辆状况视频。示例性的，图6b为本发明实施例六提供的一种远程遥控驾驶平台视频展示模块示意图，显示屏上的排列组合方式按照视频信息预设的优先级进行排列和显示，示例性的，显示屏上显示的视频信息包括但不限于远距离视频631、近距离视频632、左后视镜视频633、右后视镜视频634、车内信号灯视频635和整车全部信号指示面板视频636。

实施例七

图7为本发明实施例七提供的一种远程驾驶系统的示意图，该远程驾驶系统70包括上述双臂机器人701和远程遥控驾驶平台702，其具体方法、结构和效果参考上述技术方案，此处不再赘述。

实施例八

本发明实施例八还提供一种包含计算机可执行指令的存储介质。所述计算机可执行指令在由计算机处理器执行时用于执行一种远程驾驶方法，该方法包括：

通过设置在双臂机器人上的摄像头获取视频信息；

对视频信息进行预处理，生成车辆状况视频信息；

将车辆状况视频信息通过无线通讯模块发送至远程遥控驾驶平台，以便远程遥控驾驶平台向用户展示车辆状况视频；

根据接收到的远程遥控驾驶平台发送的控制指令，执行驾驶动作。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明实施例一提供的远程驾驶方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明实施例一所述的方法。

值得注意的是，上述远程驾驶装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例九

本发明实施例九还提供一种包含计算机可执行指令的存储介质。所述计算机可执行指令在由计算机处理器执行时用于执行一种远程驾驶方法，该方法包括：

接收双臂机器人发送的车辆状况视频信息；

根据车辆状况视频信息，向用户展示车辆状况视频；

根据通过车辆操作模块获取到的用户驾驶操作，确定控制指令；

将控制指令发送至双臂机器人。

关于具体实施方式参考上述实施例，为避免重复，此处不再赘述。

综上所述，本发明实施例提供的远程驾驶方法、装置、设备、系统和存储介质，通过将视频信息的远程传输、驾驶动作的执行等模块应用在双臂机器人上，解决了远程控制与车载系统的技术结合难题，简化了对交通工具结构和功能上的改造过程，不受交通领域的限制。驾驶员实时远程控制车辆的运行，提高了驾驶的安全性。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。