一种基于Android的车载娱乐信息系统远程控制方法与流程

本发明涉及远程控制技术，具体涉及车载娱乐信息系统的控制技术。

背景技术：

随着车联网技术的发展，汽车上的车机（又名hu、车载娱乐信息系统）逐渐由传统的qnx、wince、linux等系统更新为生态更加丰富的开源android系统，其为车机提供了更为智能化的交互和更加良好的用户体验，如智能语音、远程车控、自动驾驶等。车机作为车联网的核心大脑，其重要性不言而喻。不管是传统车机解决方案提供商、汽车制造商还是新加入的造车新势力厂商，他们都投入了无数的人力、财力、物力在智能车机的研发中。为各自研发的汽车中装入了一套自家研发的车机，以丰富的娱乐性和更加智能的人车交互功能以打动用户来获得市场。

在车机系统的开发过程中，需要进行大量的开发、调试、测试工作，以确保车机系统各项功能稳定。车机系统的复杂度高，开发测试过程中需要在车机屏幕上进行操作，开发、测试人员需要来回的在上位机端的电脑屏幕和车机屏幕两端不断的切换来进行相关操作，甚至如果测试人员发现问题，开发人员需要到测试人员的使用的车机现场进行问题分析，这个过程将耗费非常多的时间。

专利文献cn207397003u公开了一种android车机控制系统，其是通过将android主机与转发媒介相连，转发媒介与控制设备相连，以远程获取车辆信息，使得用户在控制设备上可以远程实时查看到车辆信息，且可以通过控制设备，远程对android车机进行控制，以协助操作android车机或分析排查android存在的问题。该技术体现的是控制设备与车机进行交互控制，但是没有远程投屏和控制功能，无法在投屏的上位机上通过鼠标的操作来真实的模拟用户在车机端的操作。

技术实现要素：

为了克服现有技术存在的问题，本发明提出一种基于android的车载娱乐信息系统远程控制方法，将车机的屏幕显示投屏到终端设备，实现对车机的远程监控、远程操作，方便车机研发过程中的开发，测试，调试，展示等一系列的任务。

本发明的技术方案如下：

一种基于android的车载娱乐信息系统远程控制方法，其包括车机端和上位机端，在每一台接入的车机上部署有minicap和minitouch工具，在上位机端部署有androidadb工具、minicap服务和minitouch服务，同时部署有上位机控制程序。所述方法包括：

（1）启动服务

利用minitouch开源工具启动服务，上位机端通过adbforward命令使车机端的minitouch端口映射到上位机的端口，再通过socket协议连接车机端minitouch的服务。

（2）车机端投屏到上位机端：

车机端工具通过socket连接minicap服务，利用android系统的api以录制屏幕方式获得车机端的屏幕显示信息，将车机屏幕信息的电信号转换为数字信息，再将数字信息编码为图片、视频，再基于图片流、视频流技术对数据流进行分割，将编码后的图片流、视频流发送至上位机端，再通过上位机端软件或浏览器接收车机端传输的视频流进行解码，在上位机端显示车机的图像信息，完成车机端到上位机端的投屏。

（3）上位机端对车机端的操作：

上位机端将用户的点击、滑动等控制车机的动作转化为相应的命令，通过socket服务转发到车机端，车机端解析相应的指令并执行动作，实现上位机对车机的远程控制，车机端屏幕信息同时实时反馈到上位机端，完成一系列的操作同步。

具体地，所述车机端和上位机端通过有线或者无线的方式，建立adb通道，实现车机端和上位机端的信息传输。

进一步地，在首次运行时，需在车机端android系统指定一个工作目录，授予其执行权限，上位机控制程序通过adb端口扫描车机，如果未发现minicap和minitouch部署在车机端，则会推送到车机的指定工作目录上。

进一步地，在所述步骤（1）启动服务中，上位机控制程序通过下发adb指令，自动启动车机上的minicap和minitouch工具，从而打开车机端工具的监听服务。

进一步地，在所述步骤（1）启动服务后，还要建立传输通道，通过上位机控制程序将minicap和minitouch服务通过adbforward命令绑定到上位机端，使上位机开启投屏和操作的服务，同时使这两个服务能够被车机端的工具正常访问。

进一步地，所述步骤（2）中，上位机端的渲染由minicap服务进行处理，minicap通过不停的自动化截屏并通过socket接口实时发送，上位机便可以得到一序列的图片流。

进一步地，所述步骤（3）中，上位机的minitouch服务进行实时监听，对用户的操作进行逐一的处理，通过socket协议将动作转化为minitouch对应的指令，同时分发给车机的minitouch工具。

进一步地，所述步骤（3）中，车机端解析相应的指令并执行动作具体是，车机端minitouch工具收到上位机minitouch服务传输的指令后，对指令进行解析和处理，按照上位机的操作方式操作车机。

本发明的优点如下：

1、本发明通过以上方法可实现车机在上位机端软件上实时低延时的投屏，在上位机端显示当前车机的图像画面，实现车机到上位机的视频流投屏，使用人员可通过上位机端软件实时查看车机屏幕。

2、本发明通过以上方法可对车机实现控制功能，即实现远程监控，远程操作，可以检验车机的内容是否显示正确，可以在投屏的上位机上通过鼠标的操作来真实的模拟用户在车机端的操作，操作后系统实时回显车机端的图像信息，从而实现上位机端与车机端的交互实时同步，使用者无需在频繁的在电脑屏幕和车机屏幕之间来回切换。

3、本发明方法还能部署为b/s架构，访问者可用通过浏览器端来访问控制车机，开发人员无需亲临现场也可以在云端完成问题定位和分析。可以将该方法运用于云端部署，建立完整的车机实验室，借助于高速的5g网络，随时随地的对车机进行租用，进行功能开发调试，功能、性能、稳定性、安全等更多场景的使用。对车机进行集中统一部署管理，可极大程度的提高车机利用率，从而实现高效率的车机项目开发。

本发明方法可用于车机功能展示、车机的自动化测试以及云端设备交互等场景，还可用于远程车机诊断，实时远程控制，及时解决客户问题，提高车企服务质量，从而提升品牌形象和客户满意度。

附图说明

图1为本发明的总的物理架构图。

图2为本发明的总的逻辑流程图。

具体实施方式

以下结合附图和实施例进一步说明本发明技术。

参见图1，本发明包括车机端和上位机端两大部分，车机端包括车机、安卓系统的调试adb服务、minitouch客户端、minicap客户端软件，上位机端包括minitouch服务，minicap服务，上位机控制程序。通过有线或者无线的方式，建立adb通道，实现车机端和上位机端的信息传输，通过minicap实现车机端的图片和视频信号展示到上位机端，通过minitouch实现用户对车机的远程操作。方法主要包含两个部分：

一、利用android系统的api将车机屏幕信息的电信号转换为数字信息，再将其信息编码为图片、视频，再基于图片流、视频流技术对数据流进行分割。如可以采用android系统底层的mediarecorder开放api，以录制屏幕方式获得设备端的屏幕显示信息。通过usb或无线网络将编码后的视频流发送至上位机端，再通过上位机端接收上位机端传输的视频流进行解码，在上位机端显示车机的图像信息，完成车机端到上位机端的投屏过程。

二、利用minitouch开源工具，安装到车机中并赋予相应的车机系统访问权限，启动服务，上位机端通过adbforward命令使车机端的minitouch端口映射到上位机的端口，再通过socket协议连接车机端minitouch的服务，上位机端将用户的点击、滑动等控制车机的动作转化为相应的命令，通过socket服务转发到车机，车机解析相应的指令并执行动作，屏幕信息实时再反馈到上位机端，完成一系列的操作同步。

参见图2，本方法的实现需要先做如下部署和操作：

1、通过数据线接入车机的adb端口，另一端接入上位机的usb端口,或者通过wifi无线方式保证adb的连接。

2、车机端和上位机端服务的部署：在每一台接入的车机上部署minicap和minitouch工具，在上位机端部署androidadb工具，minicap服务和minitouch服务，同时部署上位机控制程序。

在首次运行时，需要在车机安卓端指定一个目录，授予其执行权限，上位机控制程序通过adb端口扫描车机，如果未发现minicap和minitouch部署在车机端，则会推送到车机的指定工作目录上。

3、启用车机端的调试模式：一般车机通过设置开启调试模式，才能打开adb模式的权限，使车机端传输为adb模式，上位机程序自动通过adb进行车机端与上位机端的信息传输。

参见图2，本方法的具体实现过程如下：

步骤1：启动服务，上位机的控制程序通过下发adb指令，自动启动车机上的minicap和minitouch工具，从而打开车机端工具的监听服务。

步骤2：建立传输通道，通过上位机控制程序将minicap和minitouch服务绑定到上位机，使上位机开启投屏和操作的服务，同时使这两个服务能够被车机端的工具正常访问。

步骤3：车机投屏到上位机，车机端工具通过socket连接minicap服务，上位机端的渲染由minicap服务进行处理，minicap通过不停的自动化截屏并通过socket接口实时发送，并通过有线或者无线的方式发送到上位机，上位机便可以得到一序列的图片流，图片流合成后就成为视频，从而投屏后可以实时在上位机上监控车机。

步骤4：上位机事件监听与分发，用户在上位机上操作回显的车机图片，对车机端进行远程操作，上位机的minitouch服务进行实时的监听，对用户的操作进行逐一的处理，通过socket协议将动作转化为minitouch对应的指令，同时分发给车机的minitouch工具。

用户可以通过远程投屏的方式对车机进行远程监控，也可以在远程的上位机上，对投屏的车机图像通过鼠标的方式进行操作，从而远程操控车机，从而完全仿真真实用户在车机端的触控操作。

步骤5：车机端事件处理，车机端minitouch工具收到上位机minitouch服务传输的指令后，对指令进行解析和处理，按照上位机的操作方式操作车机，实现上位机对车机的远程控制。

具体地，在上位机端，通过鼠标操控车机投屏时，上位机上的minitouch服务会为每一个操作诸如滑动，点击等控制车机的操作生成对应的一条socket命令，车机端的minitouch收到每一条操作命令后，对命令进行解析，从而操控车机。

步骤6：结果实时回传，车机的实时操作步骤交由minicap进行处理，车机图像信息通过minicap回传到上位机端。使用者就可以在上位机端实时的获取到车机的操作结果，如同本地操作车机一样。

将以上方法用于汽车座舱车机的远程控制，把车机的图像投屏到电脑上，并且车机的任何操作变化会实施传输到电脑上，同时，在电脑上显示的车机图像也可以在电脑上通过鼠标进行操作。可以方便车机研发过程中的开发，测试，调试，展示等一系列任务的完成，极大的提升工作效率。