人机交互方法、装置、无人车及其存储介质与流程

本申请一般涉及无人车技术领域，尤其涉及人机交互方法、装置、无人车及其存储介质。

背景技术：

无人驾驶汽车(下述简称无人车)是智能汽车的一种，也称为轮式移动机器人，主要依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶的目标。其是通过车载传感系统感知道路环境，自动规划行车路线并控制车辆到达预定目标的智能汽车。

目前，无人驾驶汽车在驾驶过程中无法避免与执法人员的交互。

当无人车出现违规驾驶行为时，执法人员无法与其进行有效沟通。导致无人车在实际应用中存在难以避免的交互问题。

技术实现要素：

鉴于现有技术中的上述缺陷或不足，本发明实施例提供一种人机交互方法、装置和无人驾驶汽车，用于解决无人车与执法人员交流不畅的问题。

第一方面，本申请实施例提供了一种人机交互方法，该方法应用于无人驾驶汽车，其包括：

发送第一语音数据用于提示执法人员出示用于执法的证件；

接收用于执法的证件的相关数据；

基于相关数据判断证件的合法性；

如果证件属于合法的，则启动智能语音交互系统以实现无人驾驶汽车与执法人员的交互。

第二方面，本申请实施例提供了一种人机交互装置，该装置应用于无人驾驶汽车，其包括：

语音数据发送单元，用于发送第一语音数据，用于提示执法人员出示用于执法的证件；

证件数据接收单元，用于接收用于执法的证件的相关数据；

证件数据判断单元，用于基于相关数据判断证件的合法性；

智能交互启动单元，用于如果证件属于合法的，则启动智能语音交互系统以实现无人驾驶汽车与执法人员的交互。

第三方面，本申请实施例提供了一种无人驾驶汽车，其包括至少一个图像采集装置，用于采集执法人员的第一图像数据和/或证件的图像数据；

车载控制装置，用于接收发送动作指令以控制无人驾驶汽车响应执法人员的手势动作；以及如本申请实施例描述的人机交互处装置。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序用于：

该计算机程序被处理器执行时实现如本申请实施例描述的方法。

本申请实施例提供的应用于无人驾驶汽车的人机交互方法，通过检测执法人员的证件的真伪性，提高人机交互的安全性，并在识别为合法证件之后，通过智能语音交互系统克服了现有的无人车与执法人员的交互难题。

进一步地，通过语音识别技术从无人车与执法人员的语音数据中识别用于提示无人车提供用于表示无人车合法驾驶的信息，并将该信息通过无人车的相关显示装置或语音播放装置以呈现，从而实现无人车与执法人员在违章场景的自由交互与响应。

进一步地，通过交互数据的存储与上传，为云平台对无人车的行车过程进行有效管理，提高了无人车的可控性。

进一步地，还通过多样化的显示设置，丰富了无人车交流过程的趣味性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了本申请实施例提供的人机交互方法的流程示意图；

图2示出了本申请又一实施例提供的人机交互方法的流程示意图；

图3示出了本申请实施例提供的人机交互装置300的结构示意性框图；

图4示出了本申请又一实施例提供的人机交互装置400的结构示意性框图；

图5示出了本申请实施例提供的无人车500的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

请参考图1，图1示出了本申请实施例提供的人机交互方法的流程示意图。

如图1所示，该方法应用于无人驾驶汽车中，该方法包括：

步骤110，发送第一语音数据用于提示执法人员出示用于执法的证件。

本申请实施例中，当无人驾驶汽车执行停车指令或者靠边停车后。无人驾驶汽车根据执法人员与无人车的预定距离或者动作识别来判断，是否需要发送第一语音数据。其中预定距离可以是小于20cm的距离。动作识别，可以是图像采集装置采集第一语音数据用于提示执法人员出示用于执法的证件，第一语音数据可以是预先存储的标准语音片段，例如“请您出示合法证件”，也可以是用户预先设置的语音片段，例如“请出示您的执法证”等。

步骤120，接收用于执法的证件的相关数据。

本申请实施例中，当无人车向执法人员发送第一语音数据后，等待预设时间，通过图像采集装置或者语音采集装置采集证件的相关数据，例如图像采集装置采集证件的图像，或者通过语音采集装置采集执法人员口述的证件号码，通过图像检测或声纹识别技术提取证件中用于识别执法人员的合法身份的信息，这些信息都属于证件的相关数据。

步骤130，基于相关数据判断证件的合法性。

在获取证件的相关数据后，将相关数据传输到用于识别判断证件的相关装置，例如无人车的处理装置和/或云平台的处理装置。在获取到相关数据后，相关数据例如证件的图像数据或者语音数据可以在无人车的处理装置中进行合法性识别判断，也可以将相关数据通过加密方式传送到云平台，通过云平台对相关数据的内容进行真伪识别。还可以通过处理装置从相关数据中提取特征数据，将特征数据传送到云平台进行真伪识别，并将真伪识别的结果作为合法性判断的结果反馈给无人车，并基于合法性判断的结果控制无人车的相关操作，例如证件属于合法的，则无人车可以控制车窗玻璃向地面方向移动，以打开车窗，便于无人车内部音频数据传出。如果判断证件属于不合法，则可能执法人员的身份可疑，此时无人车向云平台发送可疑人员的图像数据，以提升系统的安全性。

步骤140，如果属于合法证件，则启动智能语音交互系统以实现无人车与执法人员的交互。

本申请实施例中，当判断证件属于合法证件，即真实有效的用于执法的证件。无人车控制智能语音交互系统与执法人员实现对话交流。智能语音交互系统可以对采集的执法人员的音频数据，进行智能分析。例如，执法人员说出“请出示通行许可证”，智能语音交互系统通过语音识别技术提取出关键字“通行许可证”，发送至相关处理装置，由处理装置向存储设备获取“通行许可证”的图像数据或音频数据，并控制图像数据或音频数据呈现，以便于执法人员核对。

可选地，在上述实施例基础上，还可以包括

步骤150，如果证件属于不合法的，则向云平台发送报警请求和/或发送采集的执法人员的第一图像数据，并等待云平台返回的指示信息。

无人车在判断证件属于不合法的情况下，会向云平台发送报警请求，或者发送报警请求时，还发送执法人员的图像数据，以供云平台对执法人员的身份进行进一步的核实判断。无人车在预设时间范围内容等待云平台返回的指示信息，并根据指示信息执行相关操作，如果超过预设时间范围，无人车产生警报声响或者灯光闪烁警报。

本申请实施例，通过无人车对执法人员身份的判断，提高无人车与执法人员交互的安全性，并通过智能语音交互系统解决执法人员与无人车的交互问题。

请参考图2，图2示出了本申请又一实施例提供的人机交互方法的流程示意图。

如图2所示，该方法应用于无人驾驶汽车，该方法包括：

可选地，步骤210，接收图像采集装置采集的执法人员的第一图像数据。

本申请实施例，无人车在驾驶过程中因违规驾驶，被执法人员以交警手势警告，需要停车检查的场景下，无人车与执法人员的交互存在问题。为解决该问题，无人车的图像采集装置采集执法人员的第一图像数据，第一图像数据例如可以包含执法人员的图像数据，目标区域例如可以是执法人员的手势动作。

可选地，步骤220，基于第一图像数据检测执法人员的手势动作。

从第一图像数据中检测执法人员的手势动作，例如靠边停车的手势。

可选地，步骤230，向车载控制装置发送动作指令以控制无人车响应该手势动作。

根据识别到的手势动作，无人车的处理装置向车载控制装置发送动作指令，例如执行靠边停车的指令，以控制无人车响应该手势动作。

步骤240，发送第一语音数据用于提示执法人员出示用于执法的证件。

在执行完动作指令之后，无人车发送第一语音数据，该第一语音数据用于提示执法人员出示用于执法的证件。例如，发送预设的标准语音片段或者用户预先录入的语音片段，语音片段的内容例如可以是“请出示执法证”或者“请出示合法证件”等。

步骤250，接收用于执法的证件的相关数据，该相关数据是图像采集装置采集证件的图像数据。

在发送第一语音数据之后，等待预设时间，启动图像采集装置或者音频采集装置用于采集执法人员出示的证件的信息。例如可以通过图像采集装置采集执法人员的证件的图像数据。

步骤260，提取证件的图像数据中身份信息。

基于采集得到的证件的图像数据，提取证件中表示执法人员的身份信息。证件例如可以是警察证等。身份信息例如可以是持证人姓名、性别、出生日期、职务、警衔、警告、以及持证人的图像等。

步骤270，基于身份信息判断证件是否为合法证件。

在获取证件的身份信息后，对身份信息的真伪进行核实，例如可以是无人车的处理装置和/或云平台的处理装置。例如，无人车的处理装置对身份信息进行合法性识别判断，或者将身份信息通过加密方式传送到云平台，通过云平台对身份信息进行真伪识别。还可以通过处理装置提取身份信息，将身份信息作为特征数据传送到云平台进行真伪识别，并将真伪识别的结果作为合法性判断的结果反馈给无人车，并基于合法性判断的结果控制无人车的相关操作，例如证件属于合法的，则无人车可以控制车窗玻璃向地面方向移动，以打开车窗，便于无人车内部音频数据传出。如果判断证件属于不合法，则可能执法人员的身份可疑，此时无人车向云平台发送可疑人员的图像数据，以提升系统的安全性。

步骤270a，如果证件属于合法的，则接收第二语音数据，该第二语音数据由执法人员输入，其包括提示无人车提供用于表示其合法驾驶的信息。

在判断证件属于合法的情况，经过一段时间的等待或者简单的对话交流后，无人车语音采集装置采集到第二语音数据，并对第二语音数据进行语音识别，得到关键字。并根据关键字控制无人车的操作。例如关键字可以是“通行许可证”，则处理装置从无人车的存储装置中获取“通行许可证”的图像数据或者音频数据。

步骤270b，如果证件属于不合法的，则向云平台发送报警请求和/或发送采集的执法人员的第一图像数据，并等待云平台返回的指示信息。

在判断证件属于不合法的情况，会向云平台发送报警请求，或者发送报警请求时，还发送执法人员的图像数据，以供云平台对执法人员的身份进行进一步的核实判断。无人车在预设时间范围内容等待云平台返回的指示信息，并根据指示信息执行相关操作，如果超过预设时间范围，无人车产生警报声响或者灯光闪烁警报。

可选地，步骤280，将用于表示其合法驾驶的信息以语音数据格式或图像数据格式发送至语音播放器或显示装置呈现。

在获取用于表示其合法驾驶的信息之后，将该信息以语音数据格式或者图像数据格式方式经由无人车的语音播放器或显示装置来呈现。用于表示其合法驾驶的信息，例如可以是“通行许可证”等用于表明无人车的驾驶资格的证件。

其中显示装置例如可以是无人车的车载显示装置、前挡风玻璃、车窗玻璃、导航显示装置等。

可选地，步骤290a，以日志形式自动存储交互的数据；

步骤290b，并在结束交互后，将交互的数据上传至云平台。

为了进一步管理无人车的行程行为，还可以将无人车与执法人员的交互信息，以日志形式自动地存储在相应的存储装置中，例如无人车的存储装置，或者云平台的存储装置，或者其他可移动的存储装置中等。在无人车与执法人员结束交互后，将无人车与执法人员交互的全部内容打包后，采用加密或非加密方式上传至云平台。

应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

进一步参考图3，图3示出了本申请实施例提供的人机交互装置300的结构示意性框图。

如图3所示，该装置应用于无人驾驶汽车中，该装置300包括：

语音数据发送单元310，用于发送第一语音数据用于提示执法人员出示用于执法的证件。

本申请实施例中，当无人驾驶汽车执行停车指令或者靠边停车后。无人驾驶汽车根据执法人员与无人车的预定距离或者动作识别来判断，是否需要发送第一语音数据。其中预定距离可以是小于20cm的距离。动作识别，可以是图像采集装置采集第一语音数据用于提示执法人员出示用于执法的证件，第一语音数据可以是预先存储的标准语音片段，例如“请您出示合法证件”，也可以是用户预先设置的语音片段，例如“请出示您的执法证”等。

证件数据接收单元320，用于接收用于执法的证件的相关数据。

本申请实施例中，当无人车向执法人员发送第一语音数据后，等待预设时间，通过图像采集装置或者语音采集装置采集证件的相关数据，例如图像采集装置采集证件的图像，或者通过语音采集装置采集执法人员口述的证件号码，通过图像检测或声纹识别技术提取证件中用于识别执法人员的合法身份的信息，这些信息都属于证件的相关数据。

证件数据判断单元330，用于基于相关数据判断证件的合法性。

在获取证件的相关数据后，将相关数据传输到用于识别判断证件的相关装置，例如无人车的处理装置和/或云平台的处理装置。在获取到相关数据后，相关数据例如证件的图像数据或者语音数据可以在无人车的处理装置中进行合法性识别判断，也可以将相关数据通过加密方式传送到云平台，通过云平台对相关数据的内容进行真伪识别。还可以通过处理装置从相关数据中提取特征数据，将特征数据传送到云平台进行真伪识别，并将真伪识别的结果作为合法性判断的结果反馈给无人车，并基于合法性判断的结果控制无人车的相关操作，例如证件属于合法的，则无人车可以控制车窗玻璃向地面方向移动，以打开车窗，便于无人车内部音频数据传出。如果判断证件属于不合法，则可能执法人员的身份可疑，此时无人车向云平台发送可疑人员的图像数据，以提升系统的安全性。

智能交互启动单元340，用于如果属于合法证件，则启动智能语音交互系统以实现无人车与执法人员的交互。

本申请实施例中，当判断证件属于合法证件，即真实有效的用于执法的证件。无人车控制智能语音交互系统与执法人员实现对话交流。智能语音交互系统可以对采集的执法人员的音频数据，进行智能分析。例如，执法人员说出“请出示通行许可证”，智能语音交互系统通过语音识别技术提取出关键字“通行许可证”，发送至相关处理装置，由处理装置向存储设备获取“通行许可证”的图像数据或音频数据，并控制图像数据或音频数据呈现，以便于执法人员核对。

可选地，在上述实施例基础上，该装置还可以包括

告警发送单元350，用于如果证件属于不合法的，则向云平台发送报警请求和/或发送采集的执法人员的第一图像数据，并等待云平台返回的指示信息。

无人车在判断证件属于不合法的情况下，会向云平台发送报警请求，或者发送报警请求时，还发送执法人员的图像数据，以供云平台对执法人员的身份进行进一步的核实判断。无人车在预设时间范围内容等待云平台返回的指示信息，并根据指示信息执行相关操作，如果超过预设时间范围，无人车产生警报声响或者灯光闪烁警报。

本申请实施例，通过无人车对执法人员身份的判断，提高无人车与执法人员交互的安全性，并通过智能语音交互系统解决执法人员与无人车的交互问题。

请参考图4，图4示出了本申请又一实施例提供的人机交互装置的结构示意性框图。

如图4所示，该装置应用于无人驾驶汽车，该装置400包括：

可选地，执法图像接收单元410，用于接收图像采集装置采集的执法人员的第一图像数据。

本申请实施例，无人车在驾驶过程中因违规驾驶，被执法人员以交警手势警告，需要停车检查的场景下，无人车与执法人员的交互存在问题。为解决该问题，无人车的图像采集装置采集执法人员的第一图像数据，第一图像数据例如可以包含执法人员的图像数据，目标区域例如可以是执法人员的手势动作。

可选地，执法图像检测单元420，用于基于第一图像数据检测执法人员的手势动作。

从第一图像数据中检测执法人员的手势动作，例如靠边停车的手势。

可选地，动作指令发送单元430，用于向车载控制装置发送动作指令以控制无人车响应该手势动作。

根据识别到的手势动作，无人车的处理装置向车载控制装置发送动作指令，例如执行靠边停车的指令，以控制无人车响应该手势动作。

语音数据发送单元440，用于发送第一语音数据，用于提示执法人员出示用于执法的证件。

在执行完动作指令之后，无人车发送第一语音数据，该第一语音数据用于提示执法人员出示用于执法的证件。例如，发送预设的标准语音片段或者用户预先录入的语音片段，语音片段的内容例如可以是“请出示执法证”或者“请出示合法证件”等。

证件数据接收单元450，用于接收用于执法的证件的相关数据，该相关数据是图像采集装置采集证件的图像数据。

在发送第一语音数据之后，等待预设时间，启动图像采集装置或者音频采集装置用于采集执法人员出示的证件的信息。例如可以通过图像采集装置采集执法人员的证件的图像数据。

身份提取子单元460，用于提取证件的图像数据中身份信息。

基于采集得到的证件的图像数据，提取证件中表示执法人员的身份信息。证件例如可以是警察证等。身份信息例如可以是持证人姓名、性别、出生日期、职务、警衔、警告、以及持证人的图像等。

合法判断子单元470，用于基于身份信息判断证件是否为合法证件。

在获取证件的身份信息后，对身份信息的真伪进行核实，例如可以是无人车的处理装置和/或云平台的处理装置。例如，无人车的处理装置对身份信息进行合法性识别判断，或者将身份信息通过加密方式传送到云平台，通过云平台对身份信息进行真伪识别。还可以通过处理装置提取身份信息，将身份信息作为特征数据传送到云平台进行真伪识别，并将真伪识别的结果作为合法性判断的结果反馈给无人车，并基于合法性判断的结果控制无人车的相关操作，例如证件属于合法的，则无人车可以控制车窗玻璃向地面方向移动，以打开车窗，便于无人车内部音频数据传出。如果判断证件属于不合法，则可能执法人员的身份可疑，此时无人车向云平台发送可疑人员的图像数据，以提升系统的安全性。

语音接收子单元470a，用于接收第二语音数据，该第二语音数据由执法人员输入，其包括提示无人车提供用于表示其合法驾驶的信息。

在判断证件属于合法的情况，经过一段时间的等待或者简单的对话交流后，无人车语音采集装置采集到第二语音数据，并对第二语音数据进行语音识别，得到关键字。并根据关键字控制无人车的操作。例如关键字可以是“通行许可证”，则处理装置从无人车的存储装置中获取“通行许可证”的图像数据或者音频数据。

告警发送单元470b，用于如果证件属于不合法的，则向云平台发送报警请求和/或发送采集的执法人员的第一图像数据，并等待云平台返回的指示信息。

在判断证件属于不合法的情况，会向云平台发送报警请求，或者发送报警请求时，还发送执法人员的图像数据，以供云平台对执法人员的身份进行进一步的核实判断。无人车在预设时间范围内容等待云平台返回的指示信息，并根据指示信息执行相关操作，如果超过预设时间范围，无人车产生警报声响或者灯光闪烁警报。

可选地，信息呈现子单元480，用于将用于表示其合法驾驶的信息以语音数据格式或图像数据格式发送至语音播放器或显示装置呈现。

在获取用于表示其合法驾驶的信息之后，将该信息以语音数据格式或者图像数据格式方式经由无人车的语音播放器或显示装置来呈现。用于表示其合法驾驶的信息，例如可以是“通行许可证”等用于表明无人车的驾驶资格的证件。

其中显示装置例如可以是无人车的车载显示装置、前挡风玻璃、车窗玻璃、导航显示装置等。

可选地，交互数据存储单元490a，用于以日志形式自动存储交互的数据；

交互数据发送单元490b，用于在结束交互后，将交互的数据上传至云平台。

为了进一步管理无人车的行程行为，还可以将无人车与执法人员的交互信息，以日志形式自动地存储在相应的存储装置中，例如无人车的存储装置，或者云平台的存储装置，或者其他可移动的存储装置中等。在无人车与执法人员结束交互后，将无人车与执法人员交互的全部内容打包后，采用加密或非加密方式上传至云平台。

应当理解，装置300-400中记载的诸单元或模块与参考图1-2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置300-400及其中包含的单元，在此不再赘述。装置300-400可以预先实现在电子设备的浏览器或其他安全应用中，也可以通过下载等方式而加载到电子设备的浏览器或其安全应用中。装置300-400中的相应单元可以与电子设备中的单元相互配合以实现本申请实施例的方案。

下面参考图5，图5示出了本申请实施例提供的无人车500的结构示意图。

如图5所示，无人车500包括：上述实施例描述的人机交互装置501；与人机交互装置501的相关描述参加上述实施例的内容。

图像采集装置502，用于采集执法人员的第一图像数据和/或证件的图像数据。

车载控制装置503，用于接收发送动作指令以控制无人车响应执法人员的手势动作。

无人车500还可以包括：显示装置504，该显示装置用于呈现用于表示其合法驾驶的信息的图像数据。其中显示装置，例如可以是车载显示装置、前挡风玻璃、车窗玻璃、导航显示装置等。

语音播放装置505，用于播放用于表示其合法驾驶的信息和/或预设的第一语音数据/第二语音数据，以及其他交互的语音数据。

该无人车500还可以包括至少一个存储装置506，其可以包括可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等。根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储装置506中。

特别地，根据本公开的实施例，上文参考图1-2描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，上述计算机程序包含用于执行图1-2的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质506被安装。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中。这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中前述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，前述程序被一个或者一个以上的处理器用来执行描述于本申请的人机交互方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。