用于辅助信息呈现的方法及装置与流程

本公开涉及互联网技术领域，具体而言，涉及一种用于辅助信息呈现的方法及装置、智能设备、电子设备及计算机可读存储介质。

背景技术：

3d音频技术能够通过音响的部署和软件的配合为声音提供一个人耳可分辨出的方位信息，在配合其声音的移动，可以在电影、舞台、智能家居等许多场景中为人提供超乎寻常的听觉感受。而由于播放设备的限制和3d音频文件难以实时处理，因此其现有的应用领域主要集中于静态的展示，缺乏一些可交互、实时的3d音频信息应用。

现有自动驾驶显示系统的人机交互方式为：通过整车can(controllerareanetwork，控制器局域网络)总线上获取ecu(electroniccontrolunit，电子控制单元)的状态显示信息，将车辆在自动驾驶过程中的状态信息在中控显示器或组合仪表中进行显示，而显示的内容仅局限于本车对前方车辆的跟随状态与距离，因此，该方式仅适用于自身车辆的单车道信息提示，无法实现对高速路况以及多车道兼容的复杂车道行驶路况的显示，使驾驶员因信息获取不全面而导致对驾驶安全意外情况的主观误判。此外，现有的显示画面仅为图标显示，显示画面不直观，存在潜在的驾驶安全隐患。

现有智能车身周边传感器可以有效进行自动驾驶、辅助驾驶等多项任务，从而有效防止交通事故的发生，也极大降低了驾驶员的驾驶负担和难度，但是高度智能化的设备会引起乘客对车辆决策的疑惑，从而产生不信任。因此，良好的车辆及周边环境信息的展现成为了建立良好的人车关系的核心要素。

传感器已经成为了现在几乎每个电子产品的必备要素，而一些复杂、高级的传感器更是能够辅助手机、电脑甚至汽车执行一些超乎想象的任务，例如时下火热的无人驾驶正是通过车身周边的传感器所实现的高度智能方案。然而这些也带来了一个严重的问题，就是人与电子设备之间的信任问题，因此，对于交互系统而言，感知、分析、决策等保障机器正常运转的必要环节，已经不足以保障良好的体验。现在急需的是建立在这基础之上的，对于环境信息和机器决策等的更好的呈现方式。

而当下的交互信息呈现方式过于依赖视觉信息，而传统中所使用的有限的听觉信息又不足以呈现足够多的信息量，因此需要寻求一种更加高效的信息辅助呈现方式。

因此，需要一种新的用于辅助信息呈现的方法及装置、智能设备、电子设备和计算机可读存储介质。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现要素：

本公开的目的在于提供一种用于辅助信息呈现的方法及装置、智能设备、电子设备及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

本公开的其他特性和优点将通过下面的详细描述变得清晰，或者部分地通过本公开的实践而习得。

根据本公开实施例的第一方面，提供一种用于辅助信息呈现的方法，其特征在于，应用于智能设备，所述智能设备包括传感器和3d音频设备，所述方法包括：通过所述传感器采集所述智能设备的感知信息；对所述感知信息进行分析处理，获得所述智能设备的决策信息和/或控制信息；根据所述感知信息和/或所述决策信息和/或所述控制信息，控制所述3d音频设备播放相应的3d音频，其中播放的3d音频的声源位置相关于所述感知信息和/或所述决策信息和/或所述控制信息的方位信息。

在本公开的一种示例性实施例中，所述感知信息包括：智能设备周边环境信息、智能设备位置信息、智能设备周边服务信息中的任意一种或者多种。

在本公开的一种示例性实施例中，所述方法还包括：将所述感知信息和/或所述决策信息和/或所述控制信息转换成第一可播放音频文件。

在本公开的一种示例性实施例中，所述方法还包括：预存第二可播放音频文件和3d音频播放格式；将所述第一可播放音频文件和/或所述第二可播放音频文件与相应的3d音频播放格式进行匹配。

在本公开的一种示例性实施例中，所述方法还包括：对所述第一可播放音频文件和所述第二可播放音频文件进行分类并存储。

在本公开的一种示例性实施例中，所述对所述第一可播放音频文件和所述第二可播放音频文件进行分类，包括：将所述第一可播放音频文件和所述第二可播放音频文件分类为主动提示信息和非主动提示信息。

在本公开的一种示例性实施例中，所述根据所述感知信息和/或所述决策信息和/或所述控制信息，控制所述3d音频设备播放相应的3d音频，包括：根据所述感知信息和/或所述决策信息和/或所述控制信息调取相应的可播放音频文件；判断调取的可播放音频文件是否为主动提示信息；当调取的可播放音频文件为主动提示信息时，控制所述3d音频设备播放调取的可播放音频文件。

在本公开的一种示例性实施例中，所述根据所述感知信息和/或所述决策信息和/或所述控制信息，控制所述3d音频设备播放相应的3d音频，还包括：当调取的可播放音频文件为非主动提示信息时，判断是否接收到输入信息；当接收到所述输入信息时，根据所述输入信息检索相应的可播放音频文件并控制所述3d音频设备进行播放。

根据本公开实施例的第二方面，提供一种用于辅助信息呈现的装置，包括：信息采集模块，用于通过传感器采集智能设备的感知信息；信息处理模块，用于对所述感知信息进行分析处理，获得所述智能设备的决策信息和/或控制信息；音频播放模块，用于根据所述感知信息和/或所述决策信息和/或所述控制信息，控制所述智能设备的3d音频设备播放相应的3d音频，其中播放的3d音频的声源位置相关于所述感知信息和/或所述决策信息和/或所述控制信息的方位信息。

在本公开的一种示例性实施例中，所述感知信息包括：智能设备周边环境信息、智能设备位置信息、智能设备周边服务信息中的任意一种或者多种。

在本公开的一种示例性实施例中，所述装置还包括：信息转换模块，用于将所述感知信息和/或所述决策信息和/或所述控制信息转换成第一可播放音频文件。

在本公开的一种示例性实施例中，所述装置还包括：预存模块，用于预存第二可播放音频文件和3d音频播放格式；匹配模块，用于将所述第一可播放音频文件和/或所述第二可播放音频文件与相应的3d音频播放格式进行匹配。

在本公开的一种示例性实施例中，所述装置还包括：分类存储模块，用于对所述第一可播放音频文件和所述第二可播放音频文件进行分类并存储。

在本公开的一种示例性实施例中，所述分类存储模块包括分类单元，所述分类单元用于将所述第一可播放音频文件和所述第二可播放音频文件分类为主动提示信息和非主动提示信息。

在本公开的一种示例性实施例中，所述音频播放模块包括音频文件调取单元、第一判断单元以及第一播放单元。其中，所述音频文件调取单元用于根据所述感知信息和/或所述决策信息和/或所述控制信息调取相应的可播放音频文件。所述第一判断单元用于判断调取的可播放音频文件是否为主动提示信息。所述第一播放单元用于当调取的可播放音频文件为主动提示信息时，控制所述3d音频设备播放调取的可播放音频文件。

在本公开的一种示例性实施例中，所述音频播放模块还包括第二判断单元和第二播放单元。其中，所述第二判断单元用于当调取的可播放音频文件为非主动提示信息时，判断是否接收到输入信息。所述第二播放单元用于当接收到所述输入信息时，根据所述输入信息检索相应的可播放音频文件并控制所述3d音频设备进行播放。

根据本公开实施例的第三方面，提供一种智能设备，包括：环境感知系统，用于收集所述智能设备的感知信息；信息处理系统，用于对所述感知信息进行分析处理，生成相应的决策信息和/或控制信息；音频和3d格式生成装置，用于将所述感知信息和/或所述决策信息和/或所述控制信息转换成可播放音频文件，并将所述可播放音频文件与预存的3d音频播放格式进行匹配；3d音频设备，用于根据所述感知信息和/或所述决策信息和/或所述控制信息播放相应的3d音频，其中播放的3d音频的声源位置相关于所述感知信息和/或所述决策信息和/或所述控制信息的方位信息。

在本公开的一种示例性实施例中，所述智能设备包括智能驾驶车辆。

在本公开的一种示例性实施例中，所述环境感知系统包括定位传感器、听觉传感器、压力传感器、视觉传感器、毫米波雷达、激光雷达中的任意一种或者多种。

在本公开的一种示例性实施例中，所述信息处理系统还用于：对所述感知信息和/或所述决策信息和/或所述控制信息进行分类。

在本公开的一种示例性实施例中，所述音频和3d格式生成装置还用于：根据所述分类将所述可播放音频文件进行分类存储。

在本公开的一种示例性实施例中，所述3d音频设备还用于：根据所述分类判断当前调用的可播放音频文件是否属于主动提示信息；当调取的可播放音频文件为主动提示信息时，播放调取的可播放音频文件。

在本公开的一种示例性实施例中，所述3d音频设备还用于：当调取的可播放音频文件为非主动提示信息时，判断是否接收到输入信息；当接收到所述输入信息时，根据所述输入信息检索相应的可播放音频文件进行播放。

在本公开的一种示例性实施例中，所述3d音频设备包括设置于所述智能设备预设位置处的多个音响。

在本公开的一种示例性实施例中，各音响与所述智能设备内指定位置处的预设高度的连线和水平线之间的夹角处于第一预设角度和第二预设角度区间范围内。

根据本公开实施例的第四方面，提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述实施例中任一所述的方法。

根据本公开实施例的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中任一所述的方法。

本公开的一种实施例中的技术方案可以利用智能设备内的3d音响形成3d音频，并利用3d音频所营造出的空间中的声源位置，来辅助现有视觉信息设备呈现智能设备的传感器所采集得到的信息和/或所述智能设备做出的决策信息和/或控制信息。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本公开示例性实施例中一种用于辅助信息呈现的方法的流程图。

图2示出本公开示例性实施例中另一种用于辅助信息呈现的方法的流程图。

图3示出本公开示例性实施例中一种用于辅助信息呈现的装置的示意图。

图4示出本公开示例性实施例中一种智能设备的示意图。

图5示出本公开示例性实施例中另一种智能设备的示意图。

图6示出本公开示例性实施例中再一种智能设备的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出本公开示例性实施例中一种用于辅助信息呈现的方法的流程图。

如图1所示，本实施例中提供一种用于辅助信息呈现的方法，该方法可以应用于智能设备，所述智能设备包括传感器和3d音频设备。该方法可以包括以下步骤。

其中，所述智能设备例如可以为智能驾驶车辆，但本公开并不限定于此，任意可移动的智能设备例如智能手机、智能机器人、无人机等均可以应用于本发明实施例。在下面的实施例中，主要以所述智能设备为智能驾驶车辆为例进行举例说明，但本公开并不限定于此。其中，所述传感器包括任意种类和数量设置于该智能设备上的传感器，例如加速度传感器、视觉传感器等。其中所述传感器的种类和数量可以根据具体的智能设备的类型的不同而自主设定，下面的实施例中也是以智能驾驶车辆上设置的传感器为例进行说明，但本公开并不限定于此。

本发明实施例中，所述视觉传感器包括但不限于具有探测识别功能的摄像头和没有探测识别功能的摄像头。前者的模块内部自带软件，对图像中的目标进行提取和处理，获得目标的位置和移动信息。例如，带目标识别功能的广角摄像头是具有探测识别功能的视觉传感器中的一种。没有探测识别功能的摄像头，只会记录和传输拍摄所得的图像用于后续处理。

在示例性实施例中，所述视觉传感器可以包括一个或者多个相机。但本公开并不限定于此。

在示例性实施例中，所述相机可以是单目、双目或者多目相机。但本公开并不限定于此，只要是具有有限感知角度的传感器都可以应用于本公开。

其中，当所述智能设备为智能驾驶车辆时，本发明实施例中的所述视觉传感器为车载摄像头，所述车载摄像头可以为单目摄像头、双目摄像头或更多摄像头的组合，单个摄像头可采用常规镜头、广角镜头、长焦镜头或变焦镜头等，摄像头传感器可为ccd(charge-coupleddevice，电耦合元件)或cmos(complementarymetaloxidesemiconductor，互补金属氧化物半导体)等传感器，摄像头类型可为多色摄像头(比如rgb彩色摄像头)或单色摄像头(比如黑白摄像头、红外摄像头、r/g/b单色摄像头)等，在此摄像头的具体形式不作为对本发明实施方式的限制。

需要说明的是，本发明实施例中的智能驾驶是一个广泛概念，可以包括人机共驾，指在某些路段上由人驾驶而在某些路段上由汽车自动驾驶，需要人驾驶的情况越少则自动驾驶的程度越高。也可以包括不需要司机，完全由汽车来实现驾驶出行。

在步骤s110中，通过所述传感器采集所述智能设备的感知信息。

在示例性实施例中，所述感知信息可以包括：智能设备周边环境信息、智能设备位置信息、智能设备周边服务信息等中的任意一种或者多种。

例如，可以通过智能驾驶车辆上的定位传感器获知该智能驾驶车辆的实时位置信息。

在步骤s120中，对所述感知信息进行分析处理，获得所述智能设备的决策信息和/或控制信息。

例如，可以对智能驾驶车辆的定位传感器采集到的实时位置信息进行处理，获得当前的操作该智能驾驶车辆的行驶方向、行驶速度的决策信息和/或控制信息。

在步骤s130中，根据所述感知信息和/或所述决策信息和/或所述控制信息，控制所述3d音频设备播放相应的3d音频。

在一些实施例中，可以仅根据传感器所采集到的感知信息，或者仅根据所述智能设备当前做出的决策信息或者控制信息，即可控制所述3d音频设备播放相应的3d音频。在另一些实施例中，则可以同时综合所述感知信息、所述决策信息和所述控制信息来控制所述3d音频设备播放相应的3d音频。

其中，播放的3d音频的声源位置相关于所述感知信息和/或所述决策信息和/或所述控制信息的方位信息。

本发明实施例中，分析所述感知信息、所述决策信息和/或所述控制信息中的方位信息，例如当所述智能驾驶车辆当前发出的控制信息为“向右转”，则控制所述3d音频设备模拟声源位置在所述智能驾驶车辆的右前方播放相应的3d音频。

本发明实施例中，所述方位信息可以是直接从所述感知信息、所述决策信息、所述控制信息中提取到的有关于所处位置、方向(上、下、左、右、前、后)、距离等的方位信息，也可以是对所述感知信息、所述决策信息、所述控制信息进行进一步分析处理后获得的方位信息，例如通过智能驾驶车辆的定位传感器定位到该智能驾驶车辆当前所处的位置信息，判断当前要播放的该智能驾驶车辆的周边服务信息(例如某一个景点)与该位置信息之间的距离和方位角，从而控制3d音频设备在该方位角模拟声源位置播放相应的3d音频，同时还可以根据距离的远近调节播放的3d音频的音量大小，例如当该智能驾驶车辆与该景点之间的距离越近则音量越大，距离越远则音量越小。

在示例性实施例中，所述方法还可以包括：将所述感知信息和/或所述决策信息和/或所述控制信息转换成第一可播放音频文件。

在示例性实施例中，所述方法还可以包括：预存第二可播放音频文件和3d音频播放格式；将所述第一可播放音频文件和/或所述第二可播放音频文件与相应的3d音频播放格式进行匹配。

本发明实施例中，还是以所述智能驾驶车辆为例进行说明，其中该智能驾驶车辆中的部分驾驶相关信息的提示音频文件是预存的，如车辆加速音、车辆充电提示音等，而非实时的驾驶决策和/或控制信息，而和驾驶相关信息中需要根据实际情况变化而产生的提示音则不是预存的，例如当某侧(以车辆左侧为例)有移动物体过于接近该智能驾驶车辆时，车辆内的3d音频设备会直接将那个方向的环境音放大，并在车内同样方位内(这里即该车辆的左侧)播放。再例如，车辆外的人希望与车内的乘客或者驾驶员对话时，也可以使用实时处理的音频文件进行播放的。

在示例性实施例中，所述方法还可以包括：对所述第一可播放音频文件和所述第二可播放音频文件进行分类并存储。

本发明实施例中，车辆的传感器得到的感知信息可以包括车身周边环境信息、车辆位置信息、环境模型信息、基于地点的周边服务信息等信息。可以依据以下几种情况进行分类：车辆运行所需数据；主动呈现给用户(例如乘客和/或驾驶员)的车辆运行等方面数据；预存储或可查找的供用户交互数据等。分类后，将不同类的数据用作不同用途。

在另一实施例中，智能驾驶车辆一般包含定位传感器、雷达传感器、视觉传感器(相机或者摄像头)、听觉传感器和车联网环境信息感知器这五部分。系统将这些传感器所传感的五类信息，可以分别处理为：驾驶类信息和非驾驶类信息。其中，驾驶类信息根据预先设定的规则，将其分类为感知信息、决策信息(例如进行任务规划)和控制信息(例如进行决策执行)三个部分的内容，以可视化形式展现在车辆所提供的输出界面上，如智能驾驶车辆的显示屏幕、led灯带、3d音频设备等。而非驾驶类信息，则根据用户输入信息，进行匹配，再经过车辆提供的输出设备展示给用户。

在示例性实施例中，所述对所述第一可播放音频文件和所述第二可播放音频文件进行分类，可以包括：将所述第一可播放音频文件和所述第二可播放音频文件分类为主动提示信息和非主动提示信息。

在示例性实施例中，所述根据所述感知信息和/或所述决策信息和/或所述控制信息，控制所述3d音频设备播放相应的3d音频，可以包括：根据所述感知信息和/或所述决策信息和/或所述控制信息调取相应的可播放音频文件；判断调取的可播放音频文件是否为主动提示信息；当调取的可播放音频文件为主动提示信息时，控制所述3d音频设备播放调取的可播放音频文件。

在示例性实施例中，所述根据所述感知信息和/或所述决策信息和/或所述控制信息，控制所述3d音频设备播放相应的3d音频，还可以包括：当调取的可播放音频文件为非主动提示信息时，判断是否接收到输入信息；当接收到所述输入信息时，根据所述输入信息检索相应的可播放音频文件并控制所述3d音频设备进行播放。

本发明实施例中，所述主动提示信息可以包括车辆驾驶相关的环境信息中影响到车辆执行的信息，即如果车辆所采集到的环境信息，需要车辆的行驶状态发生改变，那么即判定为主动提示信息。例如，车辆的传感器检测到该车辆前方有障碍物后，该车辆需要变道，此时，前方障碍物的感知信息就是需要主动提示的信息，用来预告车辆即将进行的行驶状态变化。

需要说明的是，本发明实施例中的3d音频设备可以是单个音效设备，也可以是多个音响设备，本公开对其不作限定。而这里的单个音响设备可以定义为两种，一种是可以用耳机作为单个音响设备，是可以实现3d音效的。单个的音响可以包含多个喇叭。

本发明实施例中，可以采用多麦克风阵列，配合音频处理算法，对3d音频内容进行实时的采集与存储。而对于音频播放，由于现有的多声道音箱所连接的音频源和播放设备往往无法支持多声道，所以静态是指现有的3d音频文件，往往是在cd或一些封装好了的软件中使用，所以无法与用户交互。因此本实施例中可以采用蓝牙转换fm(frequencymodulation，频率调制)的方式，将安卓或其他智能操作系统的智能设备中的3d音频文件，传递至多声道音箱，从而实现可交互3d音频。例如，用户可以通过与智能设备进行交互，用蓝牙转换成fm控制5.1声道，从而实现这一动态交互3d音频。

在示例性实施例中，通过结合动态信息，将3d音频设备赋予了高度的可交互属性，例如可以根据当前智能设备的地点对周边信息进行介绍等。这里的该智能设备的定位方式可以是基于环境信息的，例如在森林公园中，遇到了野生动物，可以通过该车辆上安装的摄像机视觉进行定位，并播放对应的信息。在其他实施例中，还可以使用基于二维码、nfc(nearfieldcommunication，近距离无线通信技术)等辅助定位工具的定位系统。

在示例性实施例中，将基于位置(例如智能驾驶车辆)的信息内容以3d音频的方式呈现出来，优化了其原本对视觉信息的过度依赖，同时3d音频自身所具有的位置属性(即音频文件具有位置属性，即声源的距离、高度、角度三个量)，为基于位置的信息的呈现提供了良好的载体，这一点是传统呈现方式无法达到的。

现有技术中的音频提示只具有内容一个维度，而许多场景下的音频提示还需要位置信息提示，以语音内容呈现。例如，在景区中，车辆对景区内景点进行解说时，通过本公开实施例中的3d音频的声源位置用来辅助，则会让用户更方便、快捷地找到当前解说景物的具体位置。

在示例性实施例中，传感器对周边环境信息的采集和决策，也通过3d音频的呈现方式，将智能设备所感知的环境信息，更加直观的呈现给用户，从而让用户更好的理解设备的感知内容以及设备的决策理由，增进人机信任。

在示例性实施例中，结合位置信息，3d音频可以强化视觉信息的呈现，并于视觉信息有机结合，例如可以通过在某个位置设置音频提醒来唤起用户对空间中对应位置的关注，从而引起用户对该位置视觉信息的注意。

例如，车辆内部的很多部件本身并没有交互反馈，比如车窗、后视镜、座椅等等。但是通过3d音频的播放，可以模拟该位置具有听觉反馈。例如，当用户忘记系安全带时，安全带的对应位置，可以播放音频提示。

在示例性实施例中，部分具有位置属性的用户输入，可以通过3d音频的方式予以反馈，例如用户在一些没有办法基于反馈的空间进行交互的时候，3d音频则可以通过虚拟该空间位置给予用户一定的听觉反馈，从而将该空间位置营造成可交互空间的效果。

本发明实施例中，所述具有位置属性的用户输入就是，需要用户在空间中的某个位置或者某个按键等等进行输入的交互方式。例如，乘客敲打车窗在传统环境下，可能并不具备含义，本发明实施例中可以通过敲打车窗来赋予交互含义，例如敲打车窗就是对车窗外的事物进行检索并语音描述。比如当乘客看到车窗外的一家咖啡厅时，乘客敲打车窗，3d音频则模拟车窗处有检索的音效，进一步对窗外的咖啡厅的详情信息进行语音描述。

在示例性实施例中，3d音频作为现有视觉信息和听觉信息的良好补充，为智能驾驶车辆的感知和决策与人之间建立良好的交互关系提供了有效的辅助。

本发明实施例提供的用于辅助信息呈现的方法，通过3d播放设备结合软、硬件营造出的声场，可以更直观的模拟人类现实生活中的听觉感受，让用户忽略音响所在位置，而更多的关注通过3d声场所模拟的声音的声源所在位置。

相对于现在的方位信息的呈现方法，例如，语音字面描述、文字描述、结合图片等的视觉呈现等等，本发明实施例提供的用于辅助信息呈现的方法，通过声场直接模拟声源处发声来传达方位信息，是最高效直观的，从而降低人们对方位信息理解所需的时间和负荷。

在示例性实施例中，将位置作为元信息，可以减少原音频内容的信息量。即，通过在播放的音频中增加位置信息，可以把一部分本需要通过语音交互描述的位置信息内容，直接转化为音频的位置信息展现，从而减少了音频的内容量。例如，本来需要描述“左后方有车汇入”的交互内容，利用3d音频则直接说“有车汇入”即可，减少了将近一半的内容，因为该3d音频已经模拟了左后方的声源位置，例如可以通过该智能驾驶车辆左侧和后方的两个音响模拟该左后方的声源位置。

在示例性实施例中，可以调用车身传感器，将车外的重要信息直观的主动播放到车内，例如当车外有人发现车辆行驶异常并对车内乘客/驾驶员进行语言提示的时候，就可以将车外人的语音内容和位置信息记录下来，实时的在车内进行相同声源的播放，从而让车内的人与车外环境联通。这里可以通过将车外的麦克风录制的音频内容，通过车内的3d音频设备在相应的方位角进行播放。

在示例性实施例中，在导航应用中，当用户需要被告知左转、右转或其他类似指令时，音频指令会根据所需导向的位置，进行3d音频设备的发声，从而更直观的让用户感受到所需转向的方位。例如，假设当前车辆即将要左转，则通过车内左前方的音箱发出提示音吗？

在示例性实施例中，在导航应用中，手机或智能驾驶车辆，可以通过对周边环境的交通情况的判断，对用户产生基于位置信息的音频提示。例如，当左后方有车辆汇入的时候，系统就会在该车辆的左后方播放提示音，或增大左后方的环境音，从而起到避免交通事故的作用。这里左后方的音效可以通过左侧和后方的音响模拟。

在示例性实施例中，具有辅助驾驶系统的车辆可以通过感知环境信息并进行决策后，在驱动执行器进行诸如刹车、转向等操作前，可以由3d音频设备进行对应的提示音播放，用来告知用户车辆对环境信息的感知和判断，从而保证用户理解智能驾驶车辆的行为。

在示例性实施例中，当智能驾驶车辆处于充电中时，3d音频设备可通过模拟播放车内的电流声由外向内，呈现出对能量吸收的效果，从而直观表达该智能车辆处于充电状态。

本发明实施例中，利用3d音频文件可以表达声音的远近这一参量，而电流声是预先存储的音频文件，因此可以通过音响例如四个音响均匀的由远及近的播放电流音频文件来实现。

在示例性实施例中，当车辆加速时，3d音频设备可通过模拟播放车内电流从后向前移动，来表达该车辆加速和前进，从而解决了现有电动车辆运行声音过弱的问题。

在示例性实施例中，当车辆减速时，3d音频设备可以模拟播放与加速电流相反的从前向后快速移动并阻塞的音效，从而在车内对用户进行减速提示。

本发明实施例中，实现方法可以如下：系统分配当前用户所对应的座位，根据座位预先存储在系统中的编码匹配其对应的3d音频的位置信息，结合3d音频文件内容进行播放。

在示例性实施例中，乘客上车时，3d音频设备模拟播放由车门处向乘客座位流动的引导音频。

在示例性实施例中，乘客下车时，3d音频设备模拟播放由车门处向乘客下一目的地所在方向播放音效进行引导的音频，从而为乘客后续的路线进行导航提示。

在示例性实施例中，乘客在车内与车辆进行语音交互时，3d音频设备模拟播放当前车辆的语音交互视觉反馈所在位置(如中控屏幕、机器人、车顶灯带等)，发出语音交互指令，从而让乘客直观感受到车内语音交互的存在感，能够有效提升乘客与语音交互系统交互时的信任感。

在示例性实施例中，车辆转向时，3d音频设备模拟播放电流向待转方向流动，从而预告乘客车辆的转向。

在示例性实施例中，车辆开机运转时，3d音频设备模拟播放电流从底盘向上移动并包裹车身的音效，代表车辆的电流全身启动。

在示例性实施例中，车辆关机时，3d音频模拟播放电流从车顶向底盘坠落，并渐消直至静音的音效，代表车辆的能量回归储存器，并封存。

在示例性实施例中，对于车身检测到的周边过于靠近的人、车、自行车等路面移动物时，3d音频设备会将目标位置的音频文件录制，并在车内同一位置进行播放，从而让用户在环境音状态下，不被打扰的意识到周边路况可能存在的危险信息。

需要说明的是，这里的所述目标位置是录制的人、车、自行车等的实际位置。所述车内同一位置是指，在车内播放时，通过3d音频所虚拟出的目标位置。

在示例性实施例中，车外想要与车内交流的人员，可面向车辆讲话，其中车辆上安装的视觉传感器例如图像传感器可对这种情况进行甄别，从而将麦克风所收录音频文件，在与车外人员一致的位置播放给车内，让车内外人员可进行交流。

例如，假设车外人如果在车辆左侧，那么车内的3d音频设备就模拟车辆左侧的声源位置。

在示例性实施例中，车身的轻微碰撞和剐蹭或车辆的故障往往无法直接根据车内的碰撞感受明确碰撞来源的位置，因此3d音频设备会根据车辆感知系统例如车身周边环境传感器所得数据，在车内播放对应的位置的提示音，从而辅助车内乘客理解故障来源。

本发明实施例中，在车身周边环境传感器感知到剐蹭和碰撞后，其他传感器辅助确定碰撞发生位置，例如麦克风阵列可通过算法将不同位置麦克风所采集到的碰撞音的时间差进行计算，从而推导出碰撞发生位置，再将位置信息输入系统，生成3d音频播放文件，从而播放出具有方位信息的提示音。

本发明实施方式提供的用于辅助信息呈现的方法，可以用于人(对于智能设备为智能驾驶车辆而言，例如乘客、驾驶员或者智能设备外的人)和智能设备的交互设计，通过利用车内的音响设备形成3d音频，并利用3d音频所营造出的空间中的声源位置，从而用来辅助现有视觉信息设备呈现智能驾驶车辆的车身周边环境传感器所采集得到的信息，给乘客或驾驶员，也可独立将车辆和环境信息进行3d音频呈现。

本发明实施例可以通过结合耳机、双声道或多声道音箱等硬件或软件实现3d音频效果，以3d音频的方式，主动或被动的为用户呈现出智能设备例如智能驾驶车辆的传感器所感知到的周边环境信息以及基于传感器感知所作出的决策和/或控制信息。另一方面，以3d音频的方式，辅助现有的信息呈现设备(例如中控显示等)中已有的视觉和听觉呈现方法，从而优化用户与信息呈现设备之间交互的高效性、准确性和趣味性。

图2示出本公开示例性实施例中另一种用于辅助信息呈现的方法的流程图。

如图2所示，本实施例提供的用于辅助信息呈现的方法可以包括以下步骤。

在步骤s201中，智能设备传感器感知环境信息。

本发明实施例中，系统利用传感器感知周边环境信息，收集传感器信息。

在步骤s202中，根据系统设定分析与处理传感器感知到的环境信息，获得环境音频文件。

本发明实施例中，所述系统根据系统设定分析和处理所述传感器信息，并对传感器信息进行分类处理。

在步骤s203中，处理所述环境音频文件为可播放文件。

本发明实施例中，提取所述传感器信息中对于预设系统有价值的内容参数，将参数转换为可播放音频文件即所述可播放文件。

在步骤s204中，根据运算结果将3d音频播放格式与环境音频文件进行匹配。

本发明实施例中，根据运算结果将3d音频播放格式与可播放的文件进行匹配。这里的运算结果为分类信息，即通过分类，可以确定当前的信息需要以什么样的播放格式播放(3d音频的播放格式是预存的，有大概8类)，匹配就是指，将3d音频的播放方式与内容进行匹配。

在步骤s205中，调用系统预存的音频文件和3d音频播放格式。

在步骤s206中，当前文件是否为主动提示信息；当当前文件为主动提示信息时，跳转到步骤s210；当当前文件为非主动提示信息时，进入步骤s207。

本发明实施例中，判断调取的文件是否属于主动提示信息。调取的文件包括系统预存的音频文件和3d音频播放格式，还包括根据传感器信息所获取的可播放文件与相应的3d音频播放格式。

在步骤s207中，存入系统等待触发。

本发明实施例中，如果调取文件不是主动提示信息，则存入系统中。

在步骤s208中，判断是否接收到用户输入的输入信息；当接收到所述输入信息时，进入步骤s209；反之，继续跳回到步骤s207。

本发明实施例中，如果有用户输入，则可根据用户输入的信息检索系统中与用户输入信息相匹配的音频文件和3d音频播放格式，并驱动3d音频设备进行播放。

在步骤s209中，根据系统设置检索与所述输入信息对应的输出信息。

在步骤s210中，驱动播放器以3d音频信息所包含形式播放音频内容。

本发明实施例中，如果调取文件是主动提示信息，则根据3d音频播放格式播放当前文件。

在一些实施例中，3d音频播放格式和可播放文件也可以是一个整体3d音频文件，所述的3d音频文件可以是基于.mp3或.wav等可驱动5.1以上声道播放器进行多轨播放的通用音频文件内容。

在一些实施例中，也可以是基于位置信息，根据播放器和听众的不同位置，动态渲染生成的mp3或wav等多声道的音频播放文件。

需要说明的是，此处的动态渲染和播放器并无重要关系，因为动态渲染后的音频文件所存有的播放器信息就可以驱动播放器播放文件。这里提到的不同位置的渲染只是指出其一种可能性。因为车内的用户位置是固定位置，而实现3d音频的方式，是直接在希望模拟的声源位置处，播放音频文件，因此也不存在播放器的位置变化。本发明实施例中，是通过智能设备例如车辆前后左右四个位置的四个音响，对乘坐在车内的乘客进行音频文件的播放。而这里所涉及到的动态渲染即是上述提到的，将预设的3d音频格式与音频文件相结合，实现的实时渲染。

图3示出本公开示例性实施例中一种用于辅助信息呈现的装置的示意图。

如图3所示，本实施例提供一种用于辅助信息呈现的装置100，该装置100可以包括信息采集模块110、信息处理模块120以及音频播放模块130。

信息采集模块110可以用于通过传感器采集智能设备的感知信息。

信息处理模块120可以用于对所述感知信息进行分析处理，获得所述智能设备的决策信息和/或控制信息。

音频播放模块130可以用于根据所述感知信息和/或所述决策信息和/或所述控制信息，控制所述智能设备的3d音频设备播放相应的3d音频。

其中播放的3d音频的声源位置相关于所述感知信息和/或所述决策信息和/或所述控制信息的方位信息。

在示例性实施例中，所述感知信息可以包括：智能设备周边环境信息、智能设备位置信息、智能设备周边服务信息中的任意一种或者多种。

在示例性实施例中，装置100还可以包括：信息转换模块，用于将所述感知信息和/或所述决策信息和/或所述控制信息转换成第一可播放音频文件。

在示例性实施例中，装置100还可以包括：预存模块，用于预存第二可播放音频文件和3d音频播放格式；匹配模块，用于将所述第一可播放音频文件和/或所述第二可播放音频文件与相应的3d音频播放格式进行匹配。

在示例性实施例中，装置100还可以包括：分类存储模块，用于对所述第一可播放音频文件和所述第二可播放音频文件进行分类并存储。

在示例性实施例中，所述分类存储模块可以包括分类单元，所述分类单元可以用于将所述第一可播放音频文件和所述第二可播放音频文件分类为主动提示信息和非主动提示信息。

在示例性实施例中，音频播放模块130可以包括音频文件调取单元、第一判断单元以及第一播放单元。其中，所述音频文件调取单元可以用于根据所述感知信息和/或所述决策信息和/或所述控制信息调取相应的可播放音频文件。所述第一判断单元可以用于判断调取的可播放音频文件是否为主动提示信息。所述第一播放单元可以用于当调取的可播放音频文件为主动提示信息时，控制所述3d音频设备播放调取的可播放音频文件。

在示例性实施例中，音频播放模块130还可以包括第二判断单元和第二播放单元。其中，所述第二判断单元可以用于当调取的可播放音频文件为非主动提示信息时，判断是否接收到输入信息。所述第二播放单元可以用于当接收到所述输入信息时，根据所述输入信息检索相应的可播放音频文件并控制所述3d音频设备进行播放。

上述用于辅助信息呈现的装置中各模块/单元的具体细节已经在对应的用于辅助信息呈现的方法中进行了详细的描述，因此此处不再赘述。

图4示出本公开示例性实施例中一种智能设备的示意图。

本实施例提供了一种智能设备200，该智能设备200可以包括环境感知系统210、信息处理系统220、音频和3d格式生成装置230以及3d音频设备240。

环境感知系统210可以用于收集所述智能设备的感知信息。

其中，环境感知系统210包括各种传感器，环境感知系统210收集周围环境的感知信息。

信息处理系统220可以用于对所述感知信息进行分析处理，生成相应的决策信息和/或控制信息。

其中，信息处理系统220用于对环境感知系统210的感知信息进行处理。在一些实施例中，信息处理系统220将不同传感器所得信息进行运算处理，并且按照预先设定对信息进行分类。

音频和3d格式生成装置230可以用于将所述感知信息和/或所述决策信息和/或所述控制信息转换成可播放音频文件，并将所述可播放音频文件与预存的3d音频播放格式进行匹配。

音频和3d格式生成装置230用于将信息处理系统220处理后的所述感知信息转换成可被播放的音频格式。在一些实施例中，音频和3d格式生成装置230可按照分类存储处理后的感知信息。

3d音频设备240可以用于根据所述感知信息和/或所述决策信息和/或所述控制信息播放相应的3d音频。

其中，3d音频设备240根据用户需求或者主动播放所存储的音频信息/文件。

其中，播放的3d音频的声源位置相关于所述感知信息和/或所述决策信息和/或所述控制信息的方位信息。

在示例性实施例中，智能设备200可以包括智能驾驶车辆。

智能驾驶车辆是指如下车辆：能够与外部通信、根据用户用车任务自己进行路径规划或者接受外部的路径规划，基本无需驾驶员而自主驾驶，可以包含无人驾驶汽车(完全自主)、辅助驾驶汽车(较少时间需要驾驶员介入)、驾驶辅助汽车(多数时间为驾驶员驾驶)。智能驾驶车辆要根据路径规划依据视觉地图进行行驶。

需要说明的是，本文中的“智能驾驶”应该做广义理解，包括根本不存在司机的驾驶情况，也涵盖自动驾驶为主但司机偶尔出面控制的情况。

智能驾驶车辆的状态信息包括智能驾驶车辆的位置、速度、剩余里程数、智能驾驶车辆上传感器的状态等等。

在示例性实施例中，环境感知系统210可以包括定位传感器、听觉传感器、压力传感器、视觉传感器、毫米波雷达、激光雷达等中的任意一种或者多种。

在示例性实施例中，信息处理系统220还可以用于：对所述感知信息和/或所述决策信息和/或所述控制信息进行分类。

在示例性实施例中，音频和3d格式生成装置230还可以用于：根据所述分类将所述可播放音频文件进行分类存储。

在示例性实施例中，3d音频设备240还可以用于：根据所述分类判断当前调用的可播放音频文件是否属于主动提示信息；当调取的可播放音频文件为主动提示信息时，播放调取的可播放音频文件。

在示例性实施例中，3d音频设备240还可以用于：当调取的可播放音频文件为非主动提示信息时，判断是否接收到输入信息；当接收到所述输入信息时，根据所述输入信息检索相应的可播放音频文件进行播放。

在示例性实施例中，3d音频设备240可以包括设置于所述智能设备预设位置处的多个音响。

在示例性实施例中，各音响与所述智能设备200内指定位置处的预设高度的连线和水平线之间的夹角处于第一预设角度和第二预设角度区间范围内。这里参见可以参见下述的图5和6的实例进行说明。

综合图5和6对上述智能设备进行举例说明，这里以所述智能设备为智能驾驶车辆、且车内设置四个音响为例进行说明，但本公开并不限定于此。

假设这里的智能驾驶车辆为一台无人驾驶车，该无人驾驶车的车身周围设置有多种类和多数量的传感器。需要说明的是，本实施例的所述智能设备可以是其他任意具有移动属性和3d音频播放能力的智能设备。

图示中，该智能驾驶车辆包括设施主体内部1、设施主体外部2、led灯带3、3d音频设备4、车内红外设备5、车内座位6、双目摄像头7、全景摄像头8、超声波雷达9以及激光雷达10。音响是放置于该车辆的前后左右的四个。本实施例中，音响与座位的距离并无特殊要求，但音响与乘客耳朵的竖直高度连线和水平线的夹角一般处于18°到-18°之间，以便达到最好的音频位置的分辨效果。

需要说明的是，上述车辆包括的传感器及其设置位置、音响数量以及设置位置均是举例说明用的，而不是用于限定本公开的保护范围。

上述智能设备中各组成结构的具体细节已经在对应的用于辅助信息呈现的方法及装置中进行了详细的描述，因此此处不再赘述。

进一步的，本公开实施方式还提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述实施例中任一所述的方法。

进一步的，本公开实施方式还提供提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中任一所述的方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。