基于智能座舱系统的无人机控制方法以及系统与流程

1.本申请涉及智能汽车领域，特别是涉及一种基于智能座舱系统的无人机控制方法以及系统。


背景技术：

2.目前智能汽车通常配置有车载信息娱乐导航系统（in
‑
vehicle infotainment，ivi），ivi系统是基于车身总线系统和互联网服务发展起来的车载综合信息业务处理系统，它通过专用的车载处理器和操作系统对整个车载信息娱乐设备进行协调和控制，为用户提供专业的主动安全报警、出行导航、多媒体交互、在线应用、紧急求助等基本服务。
3.近几年，随着无人机技术发展迅速，将无人机与智能车ivi系统的有机结合，不但可以利用无人机的一些大众化功能，如拍照摄影，对车辆乘员的娱乐进行拓展，更可通过搭载合适的传感器，延伸车辆的感知范围，提高整车的智能化及行车安全。
4.然而现有技术中，通常采用遥控器人工控制与智能汽车关联的无人机，这就对使用无人机的车内人员提出了较高的要求，影响了用户的体验。


技术实现要素：

5.为了解决上述背景技术中提到的问题，本申请实施例提供了一种基于智能座舱系统的无人机控制方法以及系统，所述技术方案如下：第一方面，提供一种基于智能座舱系统的无人机控制方法，其特征在于，所述智能座舱系统包括驾舱域控制器和无人机飞控通讯模块，所述方法包括：所述驾舱域控制器根据获取到的感知信息确定无人机需启用的机载设备，以及根据获取到的控制需求生成对所述机载设备的控制指令；所述驾舱域控制器确定所述无人机在飞行过程中的参考点所述驾舱域控制器将所述参考点及所述控制指令传输至所述无人机飞控通讯模块；所述无人机飞控通讯模块根据所述参考点生成飞行路线；所述无人机飞控通讯模块对所述飞行路线及所述控制指令进行处理得到上行数据，以使得所述智能座舱系统将所述上行数据发送至所述无人机。
6.在一个较佳的实施例中，所述驾舱域控制器根据获取到的感知信息确定无人机需启用的机载设备，包括：所述驾舱域控制器根据获取到的感知信息设定所述无人机的一级任务场景；以及所述驾舱域控制器确定所述无人机在所述一级任务场景下需启用的机载设备；所述驾舱域控制器确定所述无人机在飞行过程中的参考点，包括：所述驾舱域控制器确定所述一级任务场景下所述无人机在飞行过程中的参考点；所述一级任务场景为交通类场景、娱乐类场景以及通讯中继类场景中的任一种。
7.在一个较佳的实施例中，所述驾舱域控制器根据获取到的感知信息设定所述无人机的一级任务场景，包括：所述驾舱域控制器中的ivi系统控制模块或多模态感知决策模块根据所述感知信息确定对所述无人机的使用需求；所述驾舱域控制器中的无人机控制融合模块根据所述使用需求设定所述一级任务场景。
8.在一个较佳的实施例中，每种所述一级任务场景下设有一种或多种二级任务场景，所述驾舱域控制器确定所述无人机在所述一级任务场景下需启用的机载设备，包括：所述驾舱域控制器确定所述无人机在所述一级任务场景下对应的二级任务场景；所述驾舱域控制器确定所述无人机在所述二级任务场景下需启用的机载设备。
9.在一个较佳的实施例中，所述驾舱域控制器确定所述一级任务场景下所述无人机在飞行过程中的参考点，包括：若所述一级任务场景为所述交通类场景，则所述驾舱域控制器将沿车辆前进方向的道路上设置的位置点确定为所述参考点；若所述一级任务场景为所述娱乐类场景，则所述驾舱域控制器将兴趣点确定为所述参考点；或者，若所述一级任务场景为所述通讯中继类场景，则所述驾舱域控制器将车辆前进方向附近的信号塔位置确定为所述参考点。
10.在一个较佳的实施例中，所述根据获取到的控制需求生成对所述机载设备的控制指令，包括：确定所述机载设备的控制方式，所述控制方式包括全自动方式和人机互动方式；在所述控制方式下，获取对所述机载设备的控制需求；根据所述控制需求生成对所述机载设备的控制指令。
11.在一个较佳的实施例中，所述无人机飞控通讯模块对所述飞行路线及所述控制指令进行处理得到上行数据，以使得所述智能座舱系统将所述上行数据发送至所述无人机，包括：所述无人机飞控通讯模块将所述参考点以及所述控制指令合成为所述上行数据；所述智能座舱系统通过以下两种数据传输方式中的任一种向无人机传输所述上行数据：所述无人机飞控通讯模块采用无线电方式将所述上行数据发送至所述无人机；所述智能座舱系统还包括v2x模块，所述无人机飞控通讯模块对所述上行数据进行加密并将加密后的上行数据发送至所述驾舱域控制器，所述驾舱域控制器通过所述v2x模块将所述加密后的上行数据经由蜂窝网络进发送至所述无人机。
12.在一个较佳的实施例中，所述无人机飞控通讯模块通向无人机传输所述上行数据之前，所述方法还包括：所述驾舱域控制器获取安装所述智能座舱系统的车辆与无人机当前的距离以及所述车辆与无人机之间的蜂窝信号塔数量、位置、信号质量，并根据所述距离以及信号塔数量、位置、信号质量确定所述数据传输方式。
13.在一个较佳的实施例中，所述方法还包括：所述无人机飞控通讯模块获取所述无人机发送的下行数据，其中，所述下行数据基于所述无人机的机载设备的采集数据得到；所述无人机飞控通讯模块将所述下行数据解码后传输至所述驾舱域控制器；若所述下行数据为图像类数据，则驾舱域控制器将所述下行数据分配至图像类应用程序，经所述图像类应用程序处理后在所述智能座舱系统的人机交互设备中显示；若所述下行数据为非图像类数据，则驾舱域控制器将所述下行数据分配至相应的非图像类应用程序，经所述非图像类应用程序处理后在所述人机交互设备中显示。
14.第二方面，提供一种基于智能座舱系统的无人机控制系统，包括驾舱域控制器以及无人机飞控通讯模块；其中，所述驾舱域控制器以及所述无人机飞控通讯模块用于如前所述的方法。
15.相对于现有技术，本申请提供的技术方案至少具有以下有益效果：1、本申请的基于智能座舱系统包括驾舱域控制器以及对无人机进行控制的无人机飞控通讯模块，一方面，驾舱域控制器根据获取到的感知信息确定无人机需启用的机载
设备，根据获取到的控制需求生成对机载设备的控制指令，无需人工进行设置启用的无人机的机载设备以及人工设置对机载设备的控制指令，使得对于无人机的控制更加智能；另一方面，驾舱域控制器确定无人机在飞行过程中的参考点，驾舱域控制器将参考点及控制指令传输至无人机飞控通讯模块，无人机飞控通讯模块根据参考点生成飞行路线，在本申请中无人机的飞行路线生成的过程中，驾舱域控制器只是获取无人机经过的参考点，具体飞行路线的生成是由无人机飞控通讯模块根据参考点生成的，无人机飞控通讯模块可以根据参考点生成更加适合无人机的飞行路线，避免了人工设置飞行路线可能不适合无人机飞行的问题；本申请中通过无人机飞控通讯模块对飞行路线及控制指令进行处理得到上行数据，该上行数据是无人机能够识别的数据，使得无人机在接受到上行数据后能够及时处理，并在控制指令的控制下按照飞行路线飞行，提高了对无人机的控制效率。
16.2、本申请驾舱域控制器根据获取到的感知信息设定无人机的一级任务场景，以及驾舱域控制器确定无人机在一级任务场景下需启用的机载设备，驾舱域控制器确定一级任务场景下无人机在飞行过程中的参考点，也即是，本申请中的机载设备以及参考点是根据一级任务场景确定的，在不同的任务场景下，对应控制的无人机的机载设备以及无人机所经过的参考点是不同的，因此，本申请可以适用于多种任务场景，满足了用户的多样化需求，极大拓展了无人机的应用范围。
附图说明
17.图1为本申请一种基于智能座舱系统的无人机控制的系统架构图；图2为本申请一个实施例中的基于智能座舱系统的无人机控制方法流程图；图3为本申请一个实施例中的机载设备的确定过程示意图；图4为本申请一个实施例中的控制指令生成过程示意图；图5为本申请一个实施例中的上行数据发送过程示意图；图6为本申请一个实施例中的下行数据分派过程示意图。
具体实施方式
18.为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
19.需要说明的是，除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
20.此外，在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
21.图1为本申请提供的一种基于智能座舱系统的无人机控制系统，包括智能座舱系统100和无人机200，智能座舱系统100包括驾舱域控制器101、信息感知系统102以及无人机飞控通讯模块103，驾舱域控制器101包括ivi（车载娱乐导航，in
‑
vehicle infotainment）系统控制模块、多模态感知决策模块以及无人机控制融合模块，信息感知系统102包括声光
电交互模块、音视频采集模块以及v2x模块；无人机飞控通讯模块103智能座舱系统用于与无人机200进行数据交互。进一步参考图1，无人机控制融合模块通与无人机飞控通讯模块103以及ivi系统控制模块连接。无人机控制融合模块包括应用场景设定单元，飞行路线规划单元，机载设备控制单元以及数据传输控制单元，其中应用场景设定单元用于根据获取到的感知信息设定无人机的一级任务场景并根据一级任务场景确定无人机在一级任务场景下需要启动的机载设备；机载设备控制单元用于根据获取到的控制需求生成对机载设备的控制指令；飞行路线规划单元用于无人机在飞行过程中的参考点，具体的，确定一级任务场景下无人机在飞行过程中的参考点；数据传输控制单元用于将参考点以及控制指令传输给无人机飞控通讯模块并确定无人机飞控通讯模块与无人机的数据传输方式。信息感知系统102包括声光电交互模块、音视频采集模块以及v2x模块，ivi系统控制模块除了与无人机控制融合模块连接外，还与多模态感知决策模块、信息感知系统102中的v2x模块、声光电交互模块连接，多模态感知决策模块还与信息感知系统102中的音视频采集模块连接。无人机控制融合模块中的应用场景设定主要依据从信息感知系统获取到的感知信息确定的，感知信息包括通过声光电交互模块采集到声光电信息，通过音视频采集模块采集到的音视频信息，以及通过v2x模块采集到的v2x信息。
22.声光电交互模块包括中控屏、其他显示屏、音响、ar hud以及ar眼镜，声光电交互模块获取到声光电信息后，传输给ivi系统控制模块，ivi系统控制模块根据得到的声光电交互信息进行处理并提取出使用需求，无人机控制融合模块从ivi系统控制模块获取与无人机相关的使用需求，再由应用场景设定模块根据声光电信息确定无人机的一级任务场景，比如，车内乘员通过中控屏调取导航地图，应用场景设定模块根据这一信息确定用户此时需要获取交通类场景，进而将无人机当前一级任务场景设定为交通类场景。
23.音视频采集模块具体可以包括视频采集单元以及音频采集单元，视频采集单元用于采集车内乘员图像数据，从车内乘员图像数据感知到车内乘员坐姿状态信息和/或车内乘员脸部状态信息，并上传至多模态感知决策模块，比如驾驶员监控系统（driver monitor system，dms）红外摄像头，dms红外摄像头用于采集驾驶员图像数据，从驾驶员图像数据感知到驾驶员坐姿状态信息和/或驾驶员脸部状态信息，音频采集单元用于采集车内乘员的声音数据并上传至多模态感知决策模块，多模态感知决策模块配置有决策算法，通过获取的音视频信息，结合从ivi系统获取的一些系统参数按照配置的决策算法智能分析出使用需求，并传输至ivi系统控制模块，无人机控制融合模块根据获取与无人机相关的需求数据之后，再由应用场景设定模块确定无人机的一级任务场景。
24.v2x模块采集v2x信息，v2x模块可与v2x车联网通信以获得v2x信息，将v2x信息通过ivi系统控制单元发送至多模态感知决策模块，多模态感知决策模块智能分析出使用需求，将乘员需求通过ivi系统控制模块传输至无人机控制融合模块，无人机控制融合模块根据乘员需求确定无人机相应的一级任务场景。
25.应用场景设定单元除了设定一级任务场景外，还需要确定所人机在一级任务场景下对应的二级任务场景，驾舱域控制器确定无人机在二级任务场景下需启用的机载设备，一级任务场景下包括多个二级任务场景，每个二级任务场景对应的机载设备可能不同，因此，根据二级任务场景确定的机载设备更加贴近使用需求。
26.飞行路线规划单元在不同的一级任务场景下获取到的参考点不同，若一级任务场
景为所述交通类场景，则驾舱域控制器将沿车辆前进方向的道路上设置的位置点确定为参考点；若一级任务场景为娱乐类场景，则驾舱域控制器将兴趣点确定为参考点；若一级任务场景为通讯中继类场景，则驾舱域控制器将车辆前进方向附近的信号塔位置确定为参考点，飞行路线规划单元在确定参考点后，再由无人机飞控通讯模块确定飞行路线，最终以导航图的形式显示在车机中控屏中，等待确认而后执行。
27.机载设备控制单元在生成控制指令前，先确定机载设备的控制方式，控制方式包括全自动方式和人机互动方式，在控制方式下，获取对机载设备的控制需求，根据控制需求生成对机载设备的控制指令。
28.无人机飞控通讯模块是设置在智能座舱系统中用于控制无人机的模块，无人机飞控通讯模块根据参考点生成飞行路线，并对飞行路线以及控制指令进行合成得到上行数据，而后由智能座舱系统将上行数据发送至无人机，无人机在接收到上行数据后，在控制指令的控制下，按照飞行路线飞行，同时机载设备采集相应的上行数据。智能座舱系统通过以下两种数据传输方式中的任一种向无人机传输上行数据：无人机飞控通讯模块采用无线电方式将所述上行数据发送至无人机；智能座舱系统还包括v2x模块，无人机飞控通讯模块对上行数据进行加密并将加密后的上行数据发送至驾舱域控制器，驾舱域控制器通过v2x模块将加密后的上行数据经由蜂窝网络进发送至无人机，而究竟采用何种数据传输方式是由数据传输单元确定的，数据传输单元从ivi系统控制模块中获取安装智能座舱系统的车辆与无人机当前的距离以及车辆与无人机之间的蜂窝信号塔数量、位置、信号质量，并根据距离以及信号塔数量、位置、信号质量确定数据传输方式。
29.无人机按照无人机飞控通讯模块制定的飞行路线飞行，无人机的机载设备在控制指令的控制下采集相应的下行数据，并将下行数据传输至无人机飞控通讯模块，无人机飞控通讯模块将所述下行数据解码后传输至数据传输控制单元，若所述下行数据为图像类数据，则据传输控制单元将下行数据分配至图像类应用程序，经图像类应用程序处理后在智能座舱系统的人机交互设备中显示；若下行数据为非图像类数据，则据传输控制单元将下行数据分配至相应的非图像类应用程序，经非图像类应用程序处理后在人机交互设备中显示。
30.以上介绍了与本申请提供的基于智能座舱系统的无人机控制方法中相关的系统架构或者实现环境。应理解，在本申请提供的基于智能座舱系统的无人机控制方法的实现过程中可以包括以上的部分或者全部的部件和模块，本申请对此不做限定。
31.接下来对本申请中的给予智能座舱系统的无人机控制方法以及系统做详细阐述。需要说明的是，下述这些实施例中，与图1所示方案中相同或相似的内容，可以参考图1中的描述，后续不再赘述。
32.实施例一本申请实施例提供一种基于智能座舱系统的无人机控制方法，如图2所示，智能座舱系统包括驾舱域控制器和无人机飞控通讯模块，该方法包括：s11、驾舱域控制器根据获取到的感知信息确定无人机需启用的机载设备，以及根据获取到的控制需求生成对机载设备的控制指令。
33.结合图1可知，智能座舱系统信息感知系统，用于采集感知信息，信息感知系统包括声光电交互模块、音视频采集模块以及v2x模块，声光电交互模块用于采集声光电交互信
息，声光电交互模块包括中控屏、其他显示屏、音响、ar hud以及ar眼镜，中控屏、其他显示屏、音响、ar hud以及ar眼镜上设置有按键，比如物理按键或者虚拟按键，用户通过按压按键产生声光电交互信息，声光电交互信息中所交互的信息种类是确定的，比如，用户通过中控屏调用地图软件，中控屏中显示选择是或者否，音响中的音量高低按键，ar眼镜的模式选择按键以及开启按键等等。音视频采集模块具体可以包括视频采集单元以及音频采集单元，视频采集单元用于采集车内乘员图像数据，从车内乘员图像数据感知到车内乘员坐姿状态信息和/或车内乘员脸部状态信息，并上传至多模态感知决策模块，比如驾驶员监控系统（driver monitor system，dms）红外摄像头，dms红外摄像头用于采集驾驶员图像数据，从驾驶员图像数据感知到驾驶员坐姿状态信息和/或驾驶员脸部状态信息，音频采集单元用于采集车内乘员的声音数据，音视频采集模块采集到的信息相较于声光电交互模块，采集的信息种类更加多，并且与车内成员之间的交互更加智能、多元化，比如，视频采集单元采集到的驾驶员当前情绪厌烦，可以通过音频采集单元进一步采集驾驶员的说话内容，或者与驾驶员进行对话。v2x模块采集的v2x信息包括但不限于：车辆当前的周围车辆的数量、位置、速度、间距、车辆周围道路上的障碍物信息，以及当前道路的路面平整度、限速值等与车辆驾驶相关的环境信息，v2x信息是不受车内成员影响的，采集到的客观数据。
34.驾舱域控制器包括无人机控制融合模块、多模块感知决策模块以及ivi系统控制模块，信息感知系统在获取到上述感知信息后，传输至驾舱域控制器中的ivi系统控制模块或者多模态感知决策模块，其中，声光电交互信息传输至ivi系统控制模块进行分析，音视频信息传输至多模态感知决策模块，v2x信息通过ivi系统控制模块传输至多模态感知决策模块进行决策分析，最终由无人机控制融合模块确定无人机需启用的机载设备，比如，声光电交互模块采集到用户需要查看前方沿途风景，驾舱域控制器根据这一信息确定无人机对应的摄像头。
35.在机载设备确定以后，无人机控制融合模块根据获取到的控制需求生成对机载设备的控制指令，对于不同的机载设备而言，控制需求是不同的，比如，对于摄像头，控制需求为多角度拍摄，也可以为放大拍摄，对于雷达，控制需求为获取与周围车辆、障碍物或者行人的距离，对于通讯中继器，控制需求为获取质量更好地信号。
36.s12、驾舱域控制器确定无人机在飞行过程中的参考点。
37.ivi系统控制模块中有车辆的行驶路线信息，无人机控制融合模块从ivi系统控制模块中获取车辆的行驶路线信息，并根据行驶路线信息确定无人机在飞行过程中的参考点，参考点为车辆行驶过程中经过的位置点，参考点可以为具体的点，也可以为大致的范围，比如，可以为公交站，公交站的位置较为精确，也可以为一个建筑物，或者湖，为一个较大的范围，只要经过即可。
38.s13、驾舱域控制器将参考点及控制指令传输至无人机飞控通讯模块。
39.s14、无人机飞控通讯模块根据参考点生成飞行路线。
40.在控制指令以及参考点都获取后，无人机控制融合模块将参考点及所述控制指令传输至无人机飞控通讯模块，无人机飞控通讯模块根据参考点生成飞行路线，由于无人机在飞行过程中可能遇到的障碍或者究竟采用何种路线较为便捷，有时是人为观察不到的，因此由无人机飞控通讯模块根据参考点确定的飞行路线更加适合无人机飞行。
41.s15、无人机飞控通讯模块对飞行路线及控制指令进行处理得到上行数据，以使得
智能座舱系统将上行数据发送至无人机。
42.无人机飞控通讯模块对飞行路线及控制指令进行处理得到上行数据，以使得智能座舱系统将上行数据发送至所述无人机，该上行数据是无人机能够识别的数据，使得无人机在接受到上行数据后能够及时处理，并在控制指令的控制下按照飞行路线飞行，提高了对无人机的控制效率。
43.本申请中在智能座舱系统中的驾舱域控制器的基础上，将无人机与智能座舱系统更好结合起来，一方面，对驾舱域控制器进行了改进，驾舱域控制器根据获取到的感知信息确定无人机需启用的机载设备，根据获取到的控制需求生成对机载设备的控制指令，无需人工进行设置启用的无人机的机载设备以及人工设置对机载设备的控制指令，使得对于无人机的控制更加智能，并且，驾舱域控制器确定无人机在飞行过程中的参考点，驾舱域控制器将参考点及控制指令传输至无人机飞控通讯模块，无人机飞控通讯模块根据参考点生成飞行路线，避免了人工设置飞行路线可能不适合无人机飞行的问题；另一方面，设置了无人机飞控通讯模块，通过无人机飞控通讯模块对飞行路线及控制指令进行处理得到上行数据，该上行数据是无人机能够识别的数据，使得无人机在接受到上行数据后能够及时处理，并在控制指令的控制下按照飞行路线飞行，提高了对无人机的控制效率。
44.在一个较佳的实施例中，驾舱域控制器根据获取到的感知信息确定无人机需启用的机载设备，包括：驾舱域控制器根据获取到的感知信息设定无人机的一级任务场景；以及驾舱域控制器确定无人机在所述一级任务场景下需启用的机载设备；驾舱域控制器确定无人机在飞行过程中的参考点，包括：驾舱域控制器确定一级任务场景下无人机在飞行过程中的参考点；其中，一级任务场景包括交通类场景、娱乐类场景以及通讯中继类场景中的任一种。
45.在本实施例中，一级任务场景的确定是无人机任务规划的第一步，即需要首先确定无人机需要执行哪一类型的任务，这一步直接影响到机载设备的确定以及参考点的选取，比如，交通类场景，可以用于交通实景的展示、行车过程的引导以及路线的探索，在交通路况模式下，智能座舱系统主要通过无人机获取到交通路况信息，因此，无人机的主要任务是获取交通视频以及与周围车辆、行人或障碍物的距离信息，在娱乐类场景下，智能座舱系统主要是通过无人机获取到不同视角度的画面信息，因此，无人机的主要任务是画面信息，在通讯中继模式下，智能座舱系统主要是通过无人机获取信号，因此，无人机的主要任务是作为一个信号中继平台。
46.本申请中无人机控制模块中的应用场景设定单元包括一级任务场景设定子单元，信息感知系统获取感知信息，并将感知信息传输至驾舱域控制器，驾舱域控制器驾舱域控制器根据获取到的感知信息设定无人机的一级任务场景，比如：声光电交互模块包括中控屏、其他显示屏、音响、ar hud以及ar眼镜，车内乘员通过中控屏调取到导航app，通过导航app确定需要查看拥堵情况，此时产生电信号，ivi系统控制模块根据这一电信号进行处理，而后由一级任务场景设定子单元根据这一电信号确定用户此时需要获取交通路况，进而将无人机当前的一级任务场景设定为交通路况模式；车内乘员戴上ar眼镜后，通过头部转向带动ar眼镜移动，此时产生电信号，ivi系统控制模块根据这一电信号进行处理，而后由一级任务场景设定子单元根据这一电信号确定用户此时需要获取其他角度的拍摄信息，进而将无人机当前的一级任务场景设定为娱乐探索模式；
车内乘员通过语音交互确定使用需求，比如，需要提高手机信号质量，ivi系统控制模块根据这一电信号进行处理，而后由一级任务场景设定模块子单元根据这一声音信号将无人机当前的一级任务场景设定为通讯中继模式。
47.音视频采集模块具体可以包括视频采集单元以及音频采集单元，视频采集单元用于采集车内乘员图像数据，从车内乘员图像数据感知到车内乘员坐姿状态信息和/或车内乘员脸部状态信息，并上传至多模态感知决策模块，多模态感知决策模块，多模态感知决策模块配置有决策算法，多模态感知决策模块按照配置的决策算法结合从ivi系统获取的一些系统参数，智能分析出乘员需求，至ivi系统控制模块根据这一需求进行处理，而后由一级任务场景设定模块子单元确定相应的一级人物场景，比如，驾驶员胳膊倚着车窗，脸上显露出厌烦情绪，音视频采集模块采集到这一视频信息后分析驾驶员此时在焦急等待，并询问驾驶员是否需要查看前方路况，驾驶员回复需要，并将这些信息传输至多模态感知决策模块，分析出用户的需求为查看交通路况，并上传至ivi系统控制模块，无人机控制融合模块获取到这一需求为需要使用到无人机，因此，一级任务场景设定模块子单元根据查看交通路况这一需求确定当前为交通类场景；视频采集单元采集到副驾驶的乘员一直在玩手机，可以分析出乘员此时比较无聊，可以询问是否需要查看沿途风景，乘员回复需要，并将这些信息传输至至多模态感知决策模块，分析出用户的需求为娱乐探索，并上传至ivi系统控制模块，无人机控制融合模块获取到这一需求为需要使用到无人机，因此，一级任务场景设定模块子单元根据查看交通路况这一需求确定当前为娱乐类场景。
48.v2x模块采集v2x信息，v2x模块可与v2x车联网通信以获得v2x信息，将v2x信息通过ivi系统控制单元发送至多模态感知决策模块，再通过ivi系统控制模块传输至一级任务场景设定模块，v2x信息包括但不限于：车辆当前的周围车辆的数量、位置、速度、间距、车辆周围道路上的障碍物信息，以及当前道路的路面平整度、限速值等与车辆驾驶相关的环境信息，比如当v2x模块采集到当前道路的路面平整度较差时，可以通过多模态感知决策模块发送路线探索的需求至无人机控制融合模块，一级任务场景设定模块子单元根据这一需求设定一级任务场景为交通路况。在一级任务场景确定以后，无人机控制融合模块中的机载设备控制单元确定无人机在所述一级任务场景下需启用的机载设备，在交通类场景下，对应的机载设备为摄像头以及雷达，可以通过无人机的摄像头拍摄画面，从而让车内乘员直观感受到交通实景信息，从而获取到交通实景，也可以用于判断交通状况指导车辆前行的方向，也可以用于车内乘员开发新的路线，还可以通过无人机的雷达获取到与周围车辆或者障碍物的距离信息，通过距离信息有助于驾驶员的安全驾驶；在娱乐类场景下下，对应的机载设备为摄像头，车内乘员更多的是希望获取到更多的图像信息，可以通过无人机的摄像头进行拍摄，可以用于随车摄像，还可以用于户外探索摄像；在通讯中继类场景下，对应的机载设备是通信中继器，在当前通讯信号弱时，启用无人机作为通信中继器，从而提高通讯信号质量。
49.在本申请中，不同一级任务场景下，无人机经过的参考点是不同的，比如，在交通类场景中，用户更多是希望获取前方道路中的交通状况，因此，无人机尽量按照车辆的行驶方向飞行，在娱乐类场景中，用户更多是希望获取更多视野角度的风景，因此，无人机飞行范围较广，在通讯中继类场景中，用户更多是希望通讯质量提高，因此，无人机最好按照信号塔的位置飞行。
50.在一个较佳的实施例中，驾舱域控制器根据获取到的感知信息设定无人机的一级任务场景，包括：驾舱域控制器中的ivi系统控制模块或多模态感知决策模块根据感知信息确定对无人机的使用需求；驾舱域控制器中的无人机控制融合模块根据使用需求设定一级任务场景。在本实施例中，如图3所示，为一级任务场景的设定过程，驾舱域控制器中的ivi系统控制模块或多模态感知决策模块根据感知信息确定对无人机的使用需求，具体为，信息感知系统在获取到上述感知信息后，传输至驾舱域控制器中的ivi系统控制模块或者多模态感知决策模块，其中，声光电交互信息传输至ivi系统控制模块进行分析，ivi系统控制模块根据声光电交互模块分析出使用需求，无人机控制融合模块从ivi系统控制模块中获取与无人机相关的使用需求，一级任务场景设定子单元根据使用需求确定一级任务场景，音视频信息传输至多模态感知决策模块，v2x信息通过ivi系统控制模块传输至多模态感知决策模块进行决策分析，多模态感知决策模块根据音视频信息或者v2x信息分析出使用需求，并将使用需求传输至ivi系统控制模块，无人机控制融合模块从ivi系统控制模块中获取与无人机相关的使用需求，一级任务场景设定子单元根据使用需求确定一级任务场景。
51.比如，车内乘员通过中控屏语音交互，直接说需要查看前方路况，ivi系统控制模块根据语音交互确定使用需求为交通类需求
‑
需要查看前方路况，无人机控制融合模块获取这一需求，而后由一级任务场景设定子单元根据这需求确定用户此时需要获取交通路况，进而将无人机当前的一级任务场景设定为交通类场景。
52.音视频采集模块采集到车内成员的对话，发现对话内容为手机信号较差，将这一内容上传至多模态感知决策模块，分析出使用需求为提升手机信号质量，无人机控制融合模块获取这一需求，而后由一级任务场景设定子单元根据需求确定用户此时需要提高手机信号质量，进而将无人机当前的一级任务场景设定为通讯中继类场景。
53.v2x模块采集到当前道路的路面平整度较差时，将这一内容发送至多模态感知决策模块，通过多模态感知决策模块分析出需要换其他路线，发送路线探索的需求至ivi系统控制模块，无人机控制融合模块获取这一需求，而后由一级任务场景设定子单元根据需求确定用户此时需要进行路线探索，进而将无人机当前的一级任务场景设定为交通类场景。
54.在本申请中，在确定控制指令以及参考点之前先要确定无人机的一级任务场景，根据一级任务场景确定无人机的机载设备以及参考点，从而使不同的应用场景下无人机的控制指令以及飞行路线不尽相同，从而将用户对无人机的需求进行划分，对于无人机的控制更加贴合用户需求。
55.在一个较佳的实施例中，每种一级任务场景下设有一种或多种二级任务场景，驾舱域控制器确定无人机在一级任务场景下需启用的机载设备，包括：驾舱域控制器确定无人机在一级任务场景下对应的二级任务场景；驾舱域控制器确定无人机在二级任务场景下需启用的机载设备。在本实施例中，一级任务场景下还设有一种或多种二级任务场景，应用场景设定单元还包括二级任务场景设定子单元，驾舱域控制器确定无人机在一级任务场景下对应的二级任务场景，驾舱域控制器确定无人机在二级任务场景下需启用的机载设备，具体为，二级任务场景设定子单元根据使用需求确定无人机在一级任务场景下对应的二级任务场景，并确定无人机在二级任务场景下需要启用的机载设备。
56.交通类场景下的二级任务场景为交通实景展示模式，行车引导模式以及路线探索模式，从而可以满足车内乘员交通实景展示、行车引导以及探索路线的需求；娱乐类场景下
的二级任务场景可以分为随车摄像模式，户外探索模式，以及游戏模式，从而可以满足车内乘员摄像、探索以及游戏的娱乐需求。
57.二级任务场景下对应的机载设备更为具体，更加符合用户使用需求，二级任务场景对应的机载设备如下表1所示：表1在本实施例中，在a1交通实景展示模式中，用户更多的是希望展示交通实景，因此，对应的无人机机载设备为摄像头，在a2行车引导模式下，用户更多的是希望能够对车辆辅助驾驶，因此，对应的无人机机载设备为摄像头和雷达，通过摄像头拍摄画面供驾驶员观看，通过无人机的雷达获取到与周围车辆或者障碍物的距离信息，通过距离信息有助于驾驶员的安全驾驶，在a3路线探索模式下，对应的机载设备为摄像头，通过拍摄前方多个路线画面，供驾驶员参考，从无人机机的摄像头，在通讯中继类场景中，所用到的机载设备为通讯中继器。
58.机载设备确定的整个过程如图3所示，首先是确定无人机的一级任务场景，一方面，根据ivi系统控制模块根据声光电交互信息确定无人机的使用需求，比如，通过ivi系统的app交互确定的接触式信息，通过ivi的语音交互确定的非交互式信息，另一方面是多模态感知决策模块根据音视频信息或v2x信息确定无人机的使用需求，其次，一级场景设定子单元根据使用需求确定一级任务场景，为交通类场景、娱乐类场景以及通讯中继类场景中的一种，再其次，二级场景设定子单元再根据使用需求确定二级任务场景，最后，再按照表1中，根据二级任务场景确定所对应的无人机的机载设备。
59.在一个较佳的实施例中，驾舱域控制器确定一级任务场景下无人机在飞行过程中的参考点，包括：若一级任务场景为交通类场景，则驾舱域控制器将沿车辆前进方向的道路上设置的位置点确定为参考点；若一级任务场景为娱乐类场景，则驾舱域控制器将兴趣点确定为参考点；或者，若一级任务场景为通讯中继类场景，则驾舱域控制器将车辆前进方向附近的信号塔位置确定为参考点。
60.在本实施例中，飞行路线规划单元从ivi系统控制模块中的导航系统获取导航路线，在不同的一级任务场景下获取到的参考点不同：在交通类场景下，以车辆当前位置为起点，以沿车辆前进方向的道路上设置的位置点作为参考点，以无人机返回时，车辆的预计位置为终点。在交通路况模式下，无人机需要拍摄到交通路况画面或者获取到与周围障碍物、车辆以及行人之间的距离信息，无人机尽量按照车辆的导航地图飞行，因此，通过在车辆前进道路上上密集地选取位置点作为参
考点，将这些参考点发送至无人机飞控通讯模块后，制定的飞行路线规划较车辆的导航路线偏移较小。
61.在娱乐类场景下，以车辆当前位置为起点，以沿车辆前进方向的道路上选取的兴趣点（poi，point of interest）作为参考点，以无人机返回时，车辆的预计位置为终点。在娱乐探索模式下，无人机需要拍摄车内乘员选取的兴趣点，无人机飞行过程中只要经过poi即可，自由度较大，因此，通过在获取到车内乘员选取的poi点后，将这些位置点发送至无人机飞控通讯模块后，制定的飞行路线规划较车辆的导航路线偏移相对灵活。
62.在通讯中继类场景下，以车辆当前位置为起点，以沿车辆前进方向附近的信号塔位置为参考点，以无人机返回时，车辆的预计位置为终点。在通讯中继模式下，无人机寻找到通讯质量好的位置，无人机飞行过程中需要尽可能经过信号塔附近，自由度较小，因此，通过在获取到车辆前进方向附近的信号塔位置后，将这些位置点发送至无人机飞控通讯模块后，制定的飞行路线规划较车辆的导航路线偏移相对灵活。
63.在飞行线路规划单元获取到参考点后，将参考点通过数据传输控制单元传输至无人机飞控通讯模块中，无人机飞控通讯模块是无人机系统中对于无人机控制的模块，由无人机系统供应厂商提供的黑盒，用以规划无人机飞行路线。
64.本申请中对于不同一级任务场景下选取不同的参考点，从而使得无人机飞控通讯模块根据参考点生成不同的飞行路线，飞行路线相较于与导航路线之间的偏离程度也不同，从而使得飞行路线的制定更加合理，更加灵活，并且制定的路线也更加贴合用户需求，整体提高了用户体验。
65.在一个较佳的实施例中，根据获取到的控制需求生成对机载设备的控制指令，包括：确定机载设备的控制方式，控制方式包括全自动方式和人机互动方式；在控制方式下，获取对机载设备的控制需求；根据控制需求生成对机载设备的控制指令。
66.如图4所示为机载设备的控制指令的生成过程，不同的机载设备的控制方式不同，对于摄像头而言，主要任务是获取图像数据，其灵活性较大，可以根据实际情况改变拍摄参数，比如拍摄模式、拍摄角度等等，而这些拍摄参数的设置可以由车内乘员自己确定，不会对拍摄精度造成较大的影响，因此，控制方式可以为人机交互，也可以为全自动方式，对于雷达而言，主要是获取距离等方面的数据，这些数据对精度要求较高，若由车内乘员设置雷达参数，极有可能造成采集到的数据不准确，从而导致出错，同样的，对于通讯中继器而言，主要是获取通讯信号，也无法由车内乘员自行设置参数，因此，对于雷达以及通讯中继器，只能采用全自动方式的方式。在人机交互下，主要是ivi系统控制模块根据采集到的声光电交互信息确定出控制方式，无人机控制融合模块获取无人机相关的控制方式，机载设备控制单元在这控制方式下获取控制需求，或者，多模态感知决策模块根据采集到的音视频信息确定出控制方式，无人机控制融合模块获取无人机相关的控制方式，机载设备控制单元在这控制方式下获取控制需求。
67.不同控制方式，获取到的对机载设备的控制需求是不同的，在自动方式下，控制需求是根据飞行计划自动生成的，摄像头、雷达以及通讯中继器按照飞行计划进行自动调整相应的参数，因此，控制指令也是自动生成的，比如，摄像头在娱乐探索模式下，按照飞行计划要经过大厦a，公园b，湖c，摄像头会按照飞行计划自动调整经过大厦a，公园b，湖c时的拍摄角度及拍摄模式，因此，控制需求是全自动生成的，而在人机交互方式下是根据人机交互
生成的，ivi系统控制模块根据声光电交互模块获取到的声光电交互信息确定控制需求，可以为通过中控屏、其他显示屏获取到的输入式信息，还可以为通过音响获取到的语音命令，还可以为通过ar眼镜获取到的转动信息，比如，车内乘员通过中控屏调取到地图app，对大厦a进行放大，那么控制需求为需要获取对大厦a的细节，机载设备控制单元根据这一需求确定调整相应拍摄参数的控制指令从而拍摄到大厦a更多的细节，再比如，车内乘员佩戴有ar眼镜，通过ar眼镜从多角度看到公园b的景色，头部转动从而带动ar眼镜旋转，此时控制需求为调整摄像头的拍摄角度，机载设备控制单元根据这一需求确定调整相应拍摄角度的控制指令以拍摄公园b不同角度的景色。
68.机载设备控制单元根据控制需求生成相应的控制指令，比如，对于摄像头，车内乘员通过中控屏调取到地图app，对大厦a进行放大，那么控制需求为需要获取对大厦a的细节，控制指令为对摄像头的放大倍数调整，再比如，车内乘员佩戴有ar眼镜，通过ar眼镜从多角度看到公园b的景色，头部转动从而带动ar眼镜旋转，控制指令为摄像头旋转。
69.本申请中通过对控制方式的确定以及在控制方式下确定用户对无人机的控制需求从而生成机载设备的控制指令，使得对于无人机的机载设备的控制在保证能够采集到用户所需要的数据的同时，满足了用户多方面的需求，使得无人机的使用更加多元化更加智能化。
70.在一个较佳的实施例中，无人机飞控通讯模块对飞行路线及控制指令进行处理得到上行数据，以使得智能座舱系统将上行数据发送至无人机，包括：无人机飞控通讯模块将参考点以及控制指令合成为上行数据；智能座舱系统通过以下两种数据传输方式中的任一种向无人机传输上行数据：无人机飞控通讯模块采用无线电方式将上行数据发送至无人机；智能座舱系统还包括v2x模块，无人机飞控通讯模块对上行数据进行加密并将加密后的上行数据发送至驾舱域控制器，驾舱域控制器通过v2x模块将加密后的上行数据经由蜂窝网络进发送至无人机。
71.在本实施例中，如图5所示，无人机控制融合模块中的飞行计划规划单元获取一级任务场景对应的参考点，机载设备控制单元根据控制需求生成控制指令，这两方面可以同时进行，而后，数据传输控制单元将参考点以及控制指令发送至无人机飞控通讯模块，无人机飞控通讯模块将参考点以及控制指令合成为上行数据。数据传输控制单元还需要确定无人机飞控通讯模块与无人机之间数据传输方式。
72.智能座舱系统与无人机的数据传输方式为以下两种方式中的任一种：无人机飞控通讯模块采用无线电方式将上行数据发送至无人机；智能座舱系统还包括v2x模块，无人机飞控通讯模块对上行数据进行加密并将加密后的上行数据发送至驾舱域控制器，驾舱域控制器通过v2x模块将加密后的上行数据经由蜂窝网络进发送至无人机。
73.在第一种方式中，采用常规的无线电遥控的方式，即通过无人机飞控通讯模块和无人机中的天线作为信号发送端和信号接收端，实现对无人机的直接控制，这是最直接、传统的遥控方式，具体过程为：无人机飞控通讯模块合成上行数据后，通过无人机飞控通讯模块将上行数据转换为无人机可接受到的无线电信号即可，以使无人机按照飞行路线规划飞行，无人机的机载设备在控制指令下做出相应的调整。
74.在第二种方式中，采用蜂窝网的遥控方式，利用车载v2x模块作为信号发送端和信
号接收端，具体过程为：上行数据由无人机飞控通讯模块加密，而后再由数据传输控制单元传输至ivi系统控制模块，经ivi系统控制模块采用蜂窝网发送至无人机。
75.在本申请中，智能座舱系统根据任一种数据传输方式将上行数据传输至无人机，使得无人机与智能座舱系统之间的数据传输方式更加多样化，扩大了无人机应用的范围。
76.在一个较佳的实施例中，无人机飞控通讯模块向无人机传输所述上行数据之前，所述方法还包括：驾舱域控制器获取安装智能座舱系统的车辆与无人机当前的距离以及车辆与无人机之间的蜂窝信号塔数量、位置、信号质量，并根据距离以及信号塔数量、位置、信号质量确定数据传输方式。
77.在本申请中，究竟采用何种数据传输方式，是由驾舱域控制器确定，驾舱域控制器获取安装智能座舱系统的车辆与无人机当前的距离所述车辆与无人机之间的蜂窝信号塔数量、位置、信号质量，具体的，无人机控制融合模块中的数据传输控制单元从ivi系统控制模块中获取安装智能座舱系统的车辆与无人机当前的距离以及车辆与无人机之间的蜂窝信号塔数量、位置、信号质量，并根据距离以及信号塔数量、位置、信号质量确定数据传输方式。
78.第一种方式中，无线电传输对距离要求较高，一般能保证两公里之内的稳定控制，而蜂窝网方式传输可实现较远距离的传输，如果超过两公里，数据传输控制单元将自动选择第二种方式进行传输，第二种方式中，对蜂窝信号塔的位置、数量以及质量要求较高，当蜂窝信号塔的位置较少时，此时又在无线电传输的范围内，数据传输控制单元则将自动选择第一种方式进行传输。只有当这两种传输方式都满足条件时，才能进行人机交互选择，此时可通过声光电交互模块提醒用户选择，比如，在中控屏上显示选择何种数据传输方式，如果仅有一种数据传输方式满足，则数据传输控制单元自动选择该数据传输方式，从而保证数据传输的需求。进一步地，本申请中采用蜂窝网的方式进行数据传输，可实现对无人机曾程遥控，甚至异地遥控，即无人机无需返回本车，可以返回至指定的位置，或者召唤其他地方的无人机飞往本车，实现无人机的共享。
79.在本申请中，通过驾舱域控制器根据安装智能座舱系统的车辆与无人机当前的距离以及车辆与无人机之间的蜂窝信号塔数量、位置、信号质量确定数据传输方式，使得数据传输的方式确定更加合理，从而保证了无人机与智能座舱系统之间的通讯质量，使得无人机能够及时根据上行数据飞行以及采集数据。
80.在一个较佳的实施例中，该方法还包括：无人机飞控通讯模块获取所述无人机发送的下行数据，其中，下行数据基于无人机的机载设备的采集数据得到；无人机飞控通讯模块将下行数据解码后传输至驾舱域控制器；若下行数据为图像类数据，则驾舱域控制器将下行数据分配至图像类应用程序，经图像类应用程序处理后在智能座舱系统的人机交互设备中显示；若下行数据为非图像类数据，则驾舱域控制器将下行数据分配至相应的非图像类应用程序，经非图像类应用程序处理后在人机交互设备中显示。
81.在本实施例中，数据传输控制单元除了传输模式确定之外，还具有另外一个功能：对下行数据分派。如图6所示，无人机中的机载设备在采集到相应的下行数据后，无人机将下行数据发送至无人机飞控通讯模块，无人机飞控通讯模块再发送至数据传输控制单元，数据传输方式与上行数据的数据传输方式相同，若上行数据采用无线电方式发送，则无人机通过无线电方式将下行数据发送至无人机飞控通讯模块，并由无人机飞控通讯模块将下
行数据解码；若上行数据采用蜂窝网发送，则无人机通过蜂窝网将下行数据发送至车辆的v2x模块，并由ivi系统控制模块传输至无人机飞控通讯模块，并由无人机飞控通讯模块将下行数据解码，也即是仅能采用一种方式发送下行数据。
82.无人机飞控通讯模块在将下行数据解码后，再次传输至驾舱域控制器中的数据传输控制单元，由数据传输控制单元进行分派。
83.在无人机控制融合模块内，ivi系统中需要用到下行数据的app都在下行数据分派子单元中注册过，且有内部的应用程序接口（api），当无人机控制融合模块接收到下行数据后，下行数据分派子单元根据数据分派协议，将下行数据通过api派发给各个app，由app实现对下行数据的合成以及应用，app 则具体实现对所需无人机感知数据的合成及应用，并通过ivi调用系统内的人机交互设备，最终以视听的方式实现人机交互。
84.下行数据主要分为图像类数据和非图像类数据，二者的分派可以同时进行，其中，图像类数据主要是来自于机载摄像设备对沿飞行规划路线途经地的拍摄，对于图像类数据，驾舱域控制器中的数据传输控制单元将下行数据分配至图像类应用程序，经图像类应用程序处理后在智能座舱系统的人机交互设备中显示，比如中控屏、其他屏或ar眼镜，通过图像类数据，一方面是有助于驾驶，提高了司乘对路况的直观感受力，实拍的路况画面有助与司机理解当前的交通状况，安抚司机焦虑的情绪，另一方面是提升娱乐性，以无人机的视角观看车外景象，可带给乘客完全不同车内看风景的体验，并且结合ar技术，将车外的真实场景代入车内游戏场景，更可使使乘客获得沉浸式的非凡行车体验；非图像类数据主要是来自机载毫米波雷达对前方道路车辆的探测，对于非图像类数据，则驾舱域控制器中的数据传输控制单元将下行数据分配至相应的非图像类应用程序，经非图像类应用程序处理后在人机交互设备中显示，比如，非图像类数据通过ivi系统将中导航app将合成结果显示在中控屏或者ar
‑
hud上，通过非图像类数据，一方面是延长了智能车的可探测距离，通过对目标、无人机及本车相对位置的计算，本车能方便地感知超出本车传感器探测范围的其它车辆位置，另一方面是拓展了车辆的可探测覆盖范围，空中视角探测可对本车传感器因道路地形地势产生的感知盲角进行无死角覆盖，特别是对于在崎岖道路地形中行进的车辆，比如多弯山路中行驶的车辆。
85.本申请中，通过驾舱域控制器对图像类数据以及非图像类数据的分别处理，使得智能座舱系统对无人机的下行数据的处理更加高效，并且及时对下行数据处理后进行显示，提高了用户体验。
86.实施例二本实施例提供了一种基于智能座舱系统的无人机控制系统，包括驾舱域控制器以及无人机飞控通讯模块；其中，驾舱域控制器以及无人机飞控通讯模块用于执行实施例一种的中的方法。
87.可以理解的是，本实施例中，与上述图1至图6所示方案中相同或相似的内容，可以参考图1至图6所示方案中的详细介绍，此处不再赘述。
88.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
89.以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并
不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。