一种无人驾驶售货车及其停车方法与装置与流程

本发明涉及售货车技术领域，具体涉及一种无人驾驶售货车及其停车方法与装置。

背景技术：

无人驾驶系统现在主要应用于乘用车的控制方面，但现有技术还没有应用于此类无人移动售货车的解决方案，因此也缺乏售货车如何在需要的时候正确识别消费者意图并缓慢停车的技术解决方案。

技术实现要素：

本发明旨在解决无人移动售货车如何在巡航途中正确识别消费者意图并缓慢停车的问题，提供一种无人驾驶售货车及其停车方法与装置。

根据第一方面，一种实施例中提供一种无人驾驶售货车的停车方法，包括：

获取摄像头采集的图像数据和话筒采集的语音数据；

对所述图像数据进行手势识别，识别图像中的手势信息，得到手势识别结果信号，对所述语音数据进行语音识别，对语音数据进行语义分析，得到语音识别结果信号；

将手势识别结果信号与语音识别结果信号进行融合，根据预设的规则产生停车信号；

响应所述停车信号，输出控制信号使得无人驾驶售货车减速停车。

在一些实施例，所述预设的规则包括：

所述手势识别结果信号具有预设的停车手势时，产生停车信号；

或，语音识别结果信号具有预设的停车语音时，产生停车信号。

在一些实施例，该方法还包括：

响应停车按钮的触发信号，输出控制信号使得无人驾驶售货车直接停车。

在一些实施例，该方法还包括：

无人驾驶售货车减速停车的过程中，将根据无人驾驶售货车的当前位置与四周的路况，选择地点停车。

根据第二方面，一种实施例中提供一种无人驾驶售货车的停车装置，包括：

用于获取摄像头采集的图像数据和话筒采集的语音数据的模块；

用于对所述图像数据进行手势识别，得到手势识别结果信号，对所述语音数据进行语音识别，得到语音识别结果信号的模块；

用于将手势识别结果信号与语音识别结果信号进行融合，根据预设的规则产生停车信号的模块；

用于响应所述停车信号，输出控制信号使得无人驾驶售货车减速停车。

根据第三方面，一种实施例中提供一种无人驾驶售货车，包括：

摄像头，用于采集无人驾驶售货车四周的图像数据；

话筒，用于采集无人驾驶售货车四周语音数据；

第一处理器，用于获取摄像头采集的图像数据和话筒采集的语音数据；对所述图像数据进行手势识别，得到手势识别结果信号，对所述语音数据进行语音识别，得到语音识别结果信号；将手势识别结果信号与语音识别结果信号进行融合，根据预设的规则产生停车信号；

第二处理器，用于响应所述停车信号，输出控制信号使得无人驾驶售货车减速停车。

在一些实施例，无人驾驶售货车还包括：

定位模块，用于无人驾驶售货车实现定位功能；

四目视觉传感器，用于采集无人驾驶售货车各方向的路况；

所述第二处理器，还用于根据无人驾驶售货车的当前位置与四周的路况，输出控制信号使得无人驾驶售货车行驶或停车；

行驶机构，用于根据第二处理器的控制信号，使得无人驾驶售货车行驶或停车。

在一些实施例，无人驾驶售货车还包括：至少一个停车按钮，所述至少一个停车按钮设置于所述无人售货箱体的表面；

根据第四方面，一种实施例中提供一种无人驾驶售货车，包括：

存储器，用于存储程序；

处理器，用于通过执行所述存储器存储的程序以实现如第一方面所述的方法。

根据第五方面，一种实施例中提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现如第一方面所述的方法。

依据上述实施例，本申请中语音识别和手势识别被应用于无人驾驶售货车，通过将手势识别结果信号与语音识别结果信号的融合，综合利用手势控制和语音控制，实现无人驾驶售货车根据消费者的意图停车，解决无人移动售货车在巡航途中如何正确识别消费者意图并缓慢停车的问题。

附图说明

图1为本申请的一种无人驾驶售货车的停车方法流程图；

图2为本申请的一种无人驾驶售货车的组成框图；

图3为一种实施例的无人驾驶售货车的结构示意图的主视图；

图4为一种实施例的无人驾驶售货车的结构示意图的后视图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本申请的无人驾驶售货车是指在设定区域内进行自主移动的售货车，即利用现有的无人驾驶技术改造传统的固定的自动售货车，使其可自主移动，使得消费者无需定点消费，可在看见自主移动的售货车的时候，用语音或动作召停售货车，以便消费者进行购物。

本发明的发明构思是如何解决移动售货车在巡航途中识别消费者意图并停车的问题，即解决人机交互的问题以及机器如何应对消费者行为的反应。

本申请的原理是在车体前后安装摄像头与微型话筒，并在车体上设置停车按钮，将摄像头、微型话筒和按钮与控制系统对接，利用深度学习对摄像头采集的图像数据进行手势识别，对话筒采集的语音进行语音识别，将两者信号进行融合，经过判断后传输给无人控制系统，在无人驾驶系统中对信号监控，一旦接受到有效信号，则车辆缓慢停车并进入售货状态。此外，为避免光线不好或语音嘈杂环境，停车按钮一旦被按下，系统将忽略手势和语音信号直接停车。

请参考图1，本申请提供一种无人驾驶售货车的停车方法，该方法包括：

步骤s1，获取摄像头采集的图像数据和话筒采集的语音数据。

步骤s2，对所述图像数据进行手势识别，识别以帧为单位的图像中的手势信息，得到手势识别结果信号，对所述语音数据进行语音识别，对语音数据进行语义分析，得到语音识别结果信号；其中，手势识别方法和语音识别方法为现有技术在此不赘述。

步骤s3，将手势识别结果信号与语音识别结果信号进行融合，根据预设的规则产生停车信号。

步骤s4，响应所述停车信号，输出控制信号使得无人驾驶售货车减速停车。

其中，步骤s3的所述预设的规则包括：

所述手势识别结果信号具有预设的停车手势时，或/和，语音识别结果信号具有预设的停车语音时，产生停车信号。

预设的停车手势可预设多个，包括挥手、右手大拇指向上等；预设的停车语音也可预设多个，包括“停车”、“stop”和类比一些现有的移动机器人设置专门的呼唤语音，比如“hi，robot”等。

在一些实施例，只要所述手势识别结果信号只要具有预设的停车手势中的一种，就将产生停车信号；或，只要语音识别结果信号具有预设的停车语音中的一种，就将产生停车信号。

在一些实施例，由于考虑到行人挥手的场合较多(可能是招呼朋友，也可能是招呼出租车)，手势控制的干扰信息较多，为了排除一些干扰信息，将手势控制与语音信号结合，在所述手势识别结果信号具有预设的停车手势时和语音识别结果信号具有预设的停车语音时，才产生停车信号。

在一些实施例，从图像中识别的手势信息需连续出现停车手势，且在画面中逐渐增大(即挥手人逐渐靠近无人驾驶售货车)时，才产生停车信号。

在一些实施例，本申请的停车方法还包括响应停车按钮的触发信号，输出控制信号使得无人驾驶售货车直接停车。即无人驾驶售货车设置有停车按钮，当停车按钮被触发，也可使得无人驾驶售货车直接停车，实现无人驾驶售货车急停，也是一种安全措施。而且这种急停方法中，停车按钮被触发，将忽略手势信号和语音信号。

由此可见，对于本申请的无人驾驶售货车，用户可采取三种方式使其停车，即：手势控制、语音呼叫和触发停车按钮。其中，手势控制与语音呼叫可同时使用，两者产生的信号将会融合处理。

在一些实施例中，无人驾驶售货车减速停车的过程中，将根据无人驾驶售货车的当前位置与四周的路况，选择合适的地点停车，即预设一些不适合停靠地点的信息，当四目视觉传感器24采集到的四周路况具有这些信息时，将控制售货车进行规避。从而避免停在不方便售货的地方，比如避免停在角落、厕所门口、垃圾桶旁边，并要使得售货口朝向合理，避免售货口朝墙、朝河等。

参考图2-图4，本申请提供一种无人驾驶售货车，包括：信号识别系统和无人驾驶系统。其中，

信号识别系统包括：

摄像头31，用于采集无人驾驶售货车四周的图像数据；

话筒32，用于采集无人驾驶售货车四周语音数据；

第一处理器101，与摄像头31、话筒32和第二处理器102电连接，用于获取摄像头采集的图像数据和话筒采集的语音数据；对所述图像数据进行手势识别，得到手势识别结果信号，对所述语音数据进行语音识别，得到语音识别结果信号；将手势识别结果信号与语音识别结果信号进行融合，根据预设的规则产生停车信号。

无人驾驶系统包括：

第二处理器102，还与定位模块23、四目视觉传感器24和行驶机构20电连接，用于响应所述停车信号，输出控制信号使得无人驾驶售货车减速停车；还用于根据无人驾驶售货车的当前位置与四周的路况，输出控制信号使得无人驾驶售货车行驶或停车；

定位模块23，用于无人驾驶售货车实现定位功能；

四目视觉传感器24，用于采集无人驾驶售货车各方向的路况；

行驶机构20，用于根据第二处理器102的控制信号，使得无人驾驶售货车行驶或停车，无人驾驶售货车行驶包括启动、巡航、减速、转向等。

在一些实施例，无人驾驶售货车还包括箱体10，箱体10正面设置有储物格11、出货口12和操作面板13，箱体10侧面(未示出)和反面设置有广告装置15。应当理解，售货箱体10与现有的无人售货机相同，包括电源输入端(未示出)、储物格11、出货口12和操作面板13和商品推送机构(未示出)等，其中，储物格11、操作面板13和商品推送机构是用电设备，由于本申请未对箱体10结构做改进，其具体内容在此不赘述。

在一些实施例，无人驾驶系统还包括：至少一个停车按钮30，所述至少一个停车按钮30设置于所述箱体10的表面。在一些实施例，停车按钮30设置于箱体10下部，方便小孩触碰。

在一些实施例，定位装置23设置于无人售货箱体顶部；四目视觉传感器24设置于箱体10顶部。话筒32和摄像头31设置于箱体10上部，四个面都分别有设置。

在一些实施例，行驶机构20包括：电池27、电动车轮22、无人车线控底盘21和逆变器(未示出)。电池27设置于无人车线控底盘21上，与所述无人车线控底盘21电连接，电动车轮22与电池27电连接获得供电，无人车线控底盘21设置于箱体10底部，逆变器的输入端与电池27相连，逆变器的输出端与箱体10的电源输入端相连，用以提供电源给箱体10的用电设备使用。现有的无人售货机其电源输入端通常是接入220v的市电，本申请巧妙地利用逆变器将电池输出的电压逆变成箱体10所需的220v电压，在不对现有的无人售货机结构做改动的条件下，实现了对箱体10的供电。也就是说，无人车线控底盘21作为箱体10的底盘，可驱动电动车轮22运转以带动箱体10行驶或停车。

相应地，本申请还提供一种无人驾驶售货车，包括：

存储器，用于存储程序；

处理器，用于通过执行所述存储器存储的程序以实现上述无人驾驶售货车的停车方法，该处理器包括第一处理器101和第二处理器102。

相应地，本申请还提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现上述无人驾驶售货车的停车方法。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。