全景倒车影像控制方法、服务端及客户端与流程

文档序号:16042812发布日期:2018-11-24 10:37阅读:594来源:国知局

本发明涉及一种倒车控制方法,特别是涉及一种全景倒车影像控制方法、服务端及客户端。

背景技术

随着社会经济水平的不断发展,人选用驾车作为出行方式变得越来越频繁,由于对汽车停车定位方向的技术重视水平日益提高,在光电传感器、视频处理技术以及汽车嵌入式软件开发技术的不断快速发展,倒车影像技术逐渐在各中常规乘用车辆中得到普遍的安装和使用,为驾驶人在日程用车停车过程中提供了重要的技术和安全保障,由于城市汽车保有量的只数提升,车位设置拥挤,对驾驶人停车操作的准确性和安全性提出了更高的要求,在日常停车操作过程中经常由于车位狭窄等现实因素,不可避免地需要使用倒车影像技术,以辅助驾驶人结合倒车镜和后视镜等观察方式协调倒车取向及具体角度,现有的倒车影像技术功能单一,需要依赖驾驶人手动切换不同的车载摄像头。降低了车辆停车的效率和泊车效果,对驾驶电动车出行形成了严重的制约。同时,由于经常出现驾驶人在泊车过程中无法兼顾手动调整切换摄像头和方向盘操作,导致安全问题和车主泊车的不便。

综上,现有技术存在依赖人工手动切换操作、自动化水平低的特点,现有技术中存在倒车影像技术适用性较低,使用方式和影像控制功能较为单一的技术问题。



技术实现要素:

鉴于以上现有技术的缺点,本发明的目的在于提供一种全景倒车影像控制方法、服务端及客户端,应用于机动车辆的启动过程中,为解决现有技术中存在的倒车影像技术适用性较低,使用方式和影像控制功能较为单一的技术问题,本发明提供全景倒车影像控制方法、服务端及客户端,一种全景倒车影像控制方法、交互端及控制端,包括:

在监测到控制显示触发信息时,关联语音特征信息与指令信息得到语音识别数据;

获取倒车控制语音数据,根据语音识别数据对倒车语音控制数据进行数据转换,获得控制决策信息;

根据全景控制协议将控制决策信息转换为控制指令信息;

对控制指令信息数据转换得到控制can消息,将控制can消息通过车辆can总线发送至数据收集设备。

于本发明的一实施方式中,在监测到控制显示触发信息时,关联语音特征信息与指令信息得到语音识别数据,具体包括:

接收显示触发信息;

根据实际操作类型预设语音特征信息,保存语音特征信息;

从输入记录中获取指令信息;

关联语音特征信息与指令信息,提取指令信息中的指令特征;

匹配语音识别数据与指令特征得到语音识别数据。

于本发明的一实施方式中,获取倒车控制语音数据,根据语音识别数据对倒车语音控制数据进行数据转换,获得控制决策信息,具体包括:

获取操作音频文件;

解析操作音频文件,获得操作属性数据;

获取语音识别数据,匹配操作属性数据与语音识别数据,得到指令匹配信息;

根据指令匹配信息将语音控制数据转换为控制决策信息。

于本发明的一实施方式中,一种全景倒车影像控制端,包括:语音识别模块、系统决策模块、指令转换模块和指令发送模块;语音识别模块,用于监测控制显示触发信息,在有控制显示触发信息时,关联语音特征信息与指令信息得到语音识别数据;系统决策模块,用于获取倒车控制语音数据,根据语音识别数据对倒车语音控制数据进行数据转换,获得控制决策信息,系统决策模块与语音识别模块连接;指令转换模块,用于根据全景控制协议将控制决策信息转换为控制指令信息,指令转换模块与系统决策模块连接;指令发送模块,用于对控制指令信息数据转换得控制can消息,将控制can消息通过车辆can总线发送至数据收集设备,指令发送模块与指令转换模块连接。

于本发明的一实施方式中,语音识别模块包括:触发获取模块、类型保存模块、指令记录模块、指令特征提取模块和语音识别数据模块;触发获取模块,用于接收显示触发信息;类型保存模块,用于根据实际操作类型预设语音特征信息,保存语音特征信息;指令记录模块,用于从输入记录中获取指令信息;指令特征提取模块,用于关联语音特征信息与指令信息,提取指令信息中的指令特征,指令特征提取模块与类型保存模块连接,指令特征提取模块与指令记录模块连接;语音识别数据模块,用于匹配语音识别数据与指令特征得到语音识别数据,语音识别数据模块与指令特征提取模块连接。

于本发明的一实施方式中,系统决策模块包括:音频截取模块、操作属性模块、指令匹配模块和决策数据模块;音频截取模块,用于获取操作音频文件;操作属性模块,用于解析操作音频文件,获得操作属性数据,操作属性模块与音频截取模块连接;指令匹配模块,用于获取语音识别数据,匹配操作属性数据与语音识别数据,得到指令匹配信息,指令匹配模块与操作属性模块连接;决策数据模块,用于根据指令匹配信息将语音控制数据转换为控制决策信息,决策数据模块与指令匹配模块连接。

于本发明的一实施方式中,一种全景倒车影像控制数据收集设备实现方法,应用于一数据收集设备,方法包括:

打开数据收集设备,发送控制显示触发信息;

由车载摄像头获取车身影像数据;

接收从车辆can总线传输的控制can消息,根据控制can消息调取对应的车身影像数据供倒车过程参考。

于本发明的一实施方式中,接收从车辆can总线传输的控制can消息,根据控制can消息调取对应的车身影像数据供倒车过程参考,还包括:

获取控制can消息;

提取控制can消息中的影像调取指令信息;

根据影像调取指令信息将影像调取指令信息对应方向上的车身影像数据供显示。

于本发明的一实施方式中,一种全景倒车影像控制数据收集设备,包括:触发模块、影像获取模块和控制消息接收模块;触发模块,用于打开数据收集设备,发送控制显示触发信息;影像获取模块,用于由车载摄像头获取车身影像数据;控制消息接收模块,用于接收从车辆can总线传输的控制can消息,根据控制can消息调取对应的车身影像数据供倒车过程参考,控制消息接收模块与影像获取模块连接。

于本发明的一实施方式中,控制消息接收模块包括:控制消息获取模块、调取指令提取模块和影像控制模块;控制消息获取模块,用于获取控制can消息;调取指令提取模块,用于提取控制can消息中的影像调取指令信息,调取指令提取模块与控制消息获取模块连接;影像控制模块,用于根据影像调取指令信息将影像调取指令信息对应方向上的车身影像数据供显示,影像控制模块与调取指令提取模块连接。

如上所述,本发明提供的一种全景倒车影像控制方法、服务端及客户端,具有以下有益效果:本发明提供的一种全景倒车影像控制方法,应对在日常停车操作过程中经常由于车位狭窄等现实因素,可自动控制倒车影像以及安装在车身各个方向的摄像头以辅助驾驶人结合倒车镜和后视镜等观察方式协调倒车取向及具体角度,可语音切换不同的车载摄像头。提高了车辆停车的效率和泊车效果,方便了驾驶人驾车出行时的停车操作。同时,由于本发明提供的全系倒车影像控制方法可由驾驶人语音控制,本方案提出一种语音免唤醒控制全景倒车影像的方法,在无需改变全景影像控制协议的基础上,通过语音实时控制影像显示、退出与视角切换,避免了现有技术中存在的在泊车过程中无法兼顾手动调整切换摄像头和方向盘操作,导致安全问题和车主泊车的不便。

综上,本发明解决了现有技术中存在的依赖人工手动切换操作、自动化水平低的特点,现有技术中存在倒车影像技术适用性较低,使用方式和影像控制功能较为单一的技术问题。

附图说明

图1显示为本发明的全景倒车影像控制方法步骤示意图。

图2显示为图1中步骤s1在一实施例中的具体流程图。

图3显示为图1中步骤s2在一实施例中的具体流程图。

图4显示为本发明的全景倒车影像控制端模块示意图。

图5显示为图4中语音识别模块11在一实施例中的具体模块示意图。

图6显示为图4中系统决策模块12在一实施例中的具体模块示意图。

图7显示为本发明的全景倒车影像控制数据收集设备实现方法步骤示意图。

图8显示为图6中步骤s4’在一实施例中的具体流程图。

图9显示为本发明的全景倒车影像控制数据收集设备模块示意图。

图10显示为图9中控制消息接收模块14’在一实施例中的具体模块示意图。

元件标号说明

1全景倒车影像控制端

11语音识别模块

12系统决策模块

13指令转换模块

14指令发送模块

111触发获取模块

112类型保存模块

113指令记录模块

114指令特征提取模块

115语音识别数据模块

121音频截取模块

122操作属性模块

123指令匹配模块

124决策数据模块

1’全景倒车影像控制数据收集设备

11’触发模块

12’影像获取模块

13’控制消息接收模块

141’控制消息获取模块

142’调取指令提取模块

143’影像控制模块

步骤标号说明

图1s1~s4

图2s11~s15

图3s21~s24

图7s1’~s3’

图8s41’~s43’

具体实施方式

以下由特定的具体实施例说明本发明的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

请参阅图1至图8,须知,本说明书所附图式所绘示的结构,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本实用新型所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容所能涵盖的范围内。同时,本说明书中所引用的如”上”、”下”、”左”、”右”、”中间”及”一”等的用语,亦仅为便于叙述的明了,而非用以限定本发明可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当亦视为本发明可实施的范畴。

请参阅图1,显示为本发明的全景倒车影像控制方法步骤示意图,如图1所示,一种全景倒车影像控制方法,包括:

s1、在监测到控制显示触发信息时,关联语音特征信息与指令信息得到语音识别数据,将常见的指令所包含的具有指令意义的特征与指令信息中包含的原始输入数据进行关联,对用户的语音文件中包含的指令信息进行识别;

s2、获取倒车控制语音数据,根据语音识别数据对倒车语音控制数据进行数据转换,获得控制决策信息,将语音控制数据进行序列化处理成为控制决策信息,判断当前全景影像的显示状态为前台显示时,会将一系列语义控制指令注册到语音识别模块;

s3、根据全景控制协议将控制决策信息转换为控制指令信息,解析控制决策信息得到具体的控制指令信息供倒车影像控制;

s4、对控制指令信息数据转换得到控制can消息,将控制can消息通过车辆can总线发送至数据收集设备,用户挂倒档或者前进转向时激活全景控制器,全景控制器会发送请求显示的can消息到车辆can总线,当全景影像退出时,系统决策模块会收到指令转换模块发出的影像退出消息,然后向语音识别模块执行注销操作,注销全景影像控制的一系列语义。如此,在非全景影像界面,即使用户说出这些语义,也不会影响到全景影像和车载系统的其它功能。

请参阅图2,显示为图1中步骤s1在一实施例中的具体流程图,如图2所示,步骤s2、在监测到控制显示触发信息时,关联语音特征信息与指令信息得到语音识别数据,具体包括:

s11、接收显示触发信息,车载系统收到can消息后交由指令转换模块,将原始can消息解析并转换成统一消息,发送到系统决策模块;

s12、根据实际操作类型预设语音特征信息,保存语音特征信息,将一系列语义控制指令注册到语音识别模块,例如:前、后、左、右、前面、后面、左边、右边、车头、车尾、左侧、右侧、退出等;

s13、从输入记录中获取指令信息;

s14、关联语音特征信息与指令信息,提取指令信息中的指令特征,此时,用户只需要说出这些控制语义,语音识别模块通过自然语言技术识别用户语言,解析并发送指令到系统决策模块;

s15、匹配语音识别数据与指令特征得到语音识别数据。

请参阅图3,图3显示为图1中步骤s3在一实施例中的具体流程图,如图3所示,步骤s2、获取倒车控制语音数据,根据语音识别数据对倒车语音控制数据进行数据转换,获得控制决策信息,具体包括:

s21、获取操作音频文件,通过实时录音功能获取用户实时发出的包含语音控制数据的操作音频文件;

s22、解析操作音频文件,获得操作属性数据,系统决策模块根据不同的指令下发不同的控制命令到指令转换模块;

s23、获取语音识别数据,匹配操作属性数据与语音识别数据,得到指令匹配信息;

s24、根据指令匹配信息将语音控制数据转换为控制决策信息,由指令转换模块根据全景控制协议将控制命令转换成具体的can消息,并发送到车辆can总线网络上。

请参阅图4,显示为本发明的全景倒车影像控制端模块示意图,请参阅图4,一种全景倒车影像控制端1,包括:语音识别模块11、系统决策模块12、指令转换模块13和指令发送模块14;语音识别模块11,用于监测控制显示触发信息,在有控制显示触发信息时,关联语音特征信息与指令信息得到语音识别数据,将常见的指令所包含的具有指令意义的特征与指令信息中包含的原始输入数据进行关联,对用户的语音文件中包含的指令信息进行识别;系统决策模块12,用于获取倒车控制语音数据,根据语音识别数据对倒车语音控制数据进行数据转换,获得控制决策信息,将语音控制数据进行序列化处理成为控制决策信息,判断当前全景影像的显示状态为前台显示时,会将一系列语义控制指令注册到语音识别模块,系统决策模块12与语音识别模块11连接;指令转换模块13,用于根据全景控制协议将控制决策信息转换为控制指令信息,解析控制决策信息得到具体的控制指令信息供倒车影像控制,指令转换模块13与系统决策模块12连接;指令发送模块14,用于对控制指令信息数据转换得控制can消息,将控制can消息通过车辆can总线发送至数据收集设备,用户挂倒档或者前进转向时激活全景控制器,全景控制器会发送请求显示的can消息到车辆can总线,当全景影像退出时,系统决策模块会收到指令转换模块发出的影像退出消息,然后向语音识别模块执行注销操作,注销全景影像控制的一系列语义。如此,在非全景影像界面,即使用户说出这些语义,也不会影响到全景影像和车载系统的其它功能,指令发送模块14与指令转换模块13连接。

请参阅图5,显示为图4中语音识别模块11在一实施例中的具体模块示意图,如图5所示,语音识别模块11包括:触发获取模块111、类型保存模块112、指令记录模块113、指令特征提取模块114和语音识别数据模块115;触发获取模块111,用于接收显示触发信息,车载系统收到can消息后交由指令转换模块,将原始can消息解析并转换成统一消息,发送到系统决策模块;类型保存模块112,用于根据实际操作类型预设语音特征信息,保存语音特征信息,将一系列语义控制指令注册到语音识别模块,例如:前、后、左、右、前面、后面、左边、右边、车头、车尾、左侧、右侧、退出等;指令记录模块113,用于从输入记录中获取指令信息;指令特征提取模块114,用于关联语音特征信息与指令信息,提取指令信息中的指令特征,此时,用户只需要说出这些控制语义,语音识别模块通过自然语言技术识别用户语言,解析并发送指令到系统决策模块,指令特征提取模块114与类型保存模块112连接,指令特征提取模块114与指令记录模块113连接;语音识别数据模块115,用于匹配语音识别数据与指令特征得到语音识别数据,语音识别数据模块115与指令特征提取模块114连接。

请参阅图6,显示为图4中系统决策模块12在一实施例中的具体模块示意图,如图6所示,系统决策模块12包括:音频截取模块121、操作属性模块122、指令匹配模块123和决策数据模块124;音频截取模块121,用于获取操作音频文件,通过实时录音功能获取用户实时发出的包含语音控制数据的操作音频文件;操作属性模块122,用于解析操作音频文件,获得操作属性数据,系统决策模块根据不同的指令下发不同的控制命令到指令转换模块,操作属性模块122与音频截取模块121连接;指令匹配模块123,用于获取语音识别数据,匹配操作属性数据与语音识别数据,得到指令匹配信息,指令匹配模块123与操作属性模块122连接;决策数据模块124,用于根据指令匹配信息将语音控制数据转换为控制决策信息,由指令转换模块根据全景控制协议将控制命令转换成具体的can消息,并发送到车辆can总线网络上,决策数据模块124与指令匹配模块123连接。

请参阅图7,显示为本发明的全景倒车影像控制数据收集设备实现方法步骤示意图,如图7所示,一种全景倒车影像控制数据收集设备实现方法,应用于一数据收集设备,方法包括:

s1’、打开数据收集设备,发送控制显示触发信息,实时调整影像的显示效果。抛弃传统手动切换、手动点击的方式;

s2’、由车载摄像头获取车身影像数据,车载摄像头安装在车身前、后、左、右各处;

s3’、接收从车辆can总线传输的控制can消息,根据控制can消息调取对应的车身影像数据供倒车过程参考,全景影像控制器接收到can消息,完成相应的动作。如此一来,用户可以在全景影像显示的时候,无需使用唤醒词,轻松通过语音控制全景倒车影像。

请参阅图8,显示为图6中步骤s4’在一实施例中的具体流程图,如图8所示,s3’、接收从车辆can总线传输的控制can消息,根据控制can消息调取对应的车身影像数据供倒车过程参考,还包括:

s41’、获取控制can消息,通过can总线获取经过处理的控制can消息;

s42’、提取控制can消息中的影像调取指令信息,过滤用户操作音频文件内容中与全景影像控制无关的信息,筛选出影像调取指令信息;

s43’、根据影像调取指令信息将影像调取指令信息对应方向上的车身影像数据供显示,根据调取指令信息中的具体控制数据调取车身影像数据集中与指令对应的影像信息。

请参阅图9,显示为本发明的全景倒车影像控制数据收集设备模块示意图,如图9所示,全景倒车影像控制数据收集设备1’,包括:触发模块11’、影像获取模块12’和控制消息接收模块13’;触发模块11’,用于打开数据收集设备,发送控制显示触发信息,实时调整影像的显示效果。抛弃传统手动切换、手动点击的方式;影像获取模块12’,用于由车载摄像头获取车身影像数据,车载摄像头安装在车身前、后、左、右各处;控制消息接收模块13’,用于接收从车辆can总线传输的控制can消息,根据控制can消息调取对应的车身影像数据供倒车过程参考,全景影像控制器接收到can消息,完成相应的动作。如此一来,用户可以在全景影像显示的时候,无需使用唤醒词,轻松通过语音控制全景倒车影像,控制消息接收模块13’与影像获取模块12’连接。

请参阅图10,显示为图9中控制消息接收模块14’在一实施例中的具体模块示意图,如图10所示,控制消息接收模块14’包括:控制消息获取模块141’、调取指令提取模块142’和影像控制模块143’;控制消息获取模块141’,用于获取控制can消息,通过can总线获取经过处理的控制can消息;调取指令提取模块142’,用于提取控制can消息中的影像调取指令信息,过滤用户操作音频文件内容中与全景影像控制无关的信息,筛选出影像调取指令信息,调取指令提取模块142’与控制消息获取模块141’连接;影像控制模块143’,用于根据影像调取指令信息将影像调取指令信息对应方向上的车身影像数据显示,根据调取指令信息中的具体控制数据调取车身影像数据集中与指令对应的影像信息,影像控制模块143’与调取指令提取模块142’连接。

综上所述,本发明提供的一种全景倒车影像控制方法、服务端及客户端,具有以下有益效果:本发明提供的一种全景倒车影像控制方法,应对在日常停车操作过程中经常由于车位狭窄等现实因素,可自动控制倒车影像以及安装在车身各个方向的摄像头以辅助驾驶人结合倒车镜和后视镜等观察方式协调倒车取向及具体角度,可语音切换不同的车载摄像头,本方案提出一种语音免唤醒控制全景倒车影像的方法,在无需改变全景影像控制协议的基础上,通过语音实时控制影像显示、退出与视角切换。提高了车辆停车的效率和泊车效果,方便了驾驶人驾车出行时的停车操作。同时,由于本发明提供的全系倒车影像控制方法可由驾驶人语音控制,避免了现有技术中存在的在泊车过程中无法兼顾手动调整切换摄像头和方向盘操作,导致安全问题和车主泊车的不便。

综上,本发明解决了现有技术中存在的依赖人工手动切换操作、自动化水平低的特点,现有技术中存在倒车影像技术适用性较低,使用方式和影像控制功能较为单一的技术问题,具有很高的商业价值和实用性。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1