一种交互式车载智能终端系统及监控方法与流程

本发明涉及通信技术领域，更具体地说，涉及一种交互式车载智能终端系统及监控方法。

背景技术：

目前，随着城市化的推进和人们生活水平的提高，汽车拥有量不断攀升，汽车的行车安全，以及汽车周边环境监测问题越来越引起大众的关注。为了解决车辆行车过程中驾驶员对车辆周边环境的实时信息获取以及更加人性化的交互方式，人们采取了不少手段。其中，行车记录仪，车载摄像头系统等设备，为驾驶员获取汽车周边环境信息做出了一定的贡献。

现有的车载终端系统在具体实施和表现方面，尚存在诸多方面的缺陷：主要表现如下：1)现有的车载摄像头系统大多针对倒车后视监控方面的应用，主要固定于车尾或者车前，而且其可视角度小，还需依靠后视镜和驾驶员；2)现有车载摄像头系统还未有运动检测周围障碍物的应用，其智能化还需提高；3)现有的车载终端播报系统主要还集中于行车交通环境的播报，对于智能化的车辆周边可或者环境信息的播报尚不满足。

技术实现要素：

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种能够 实现在行车过程中对车辆周围进行全方位的视频监控以及对车辆周边环境的智能交互的交互式车载智能终端系统及监控方法。

本发明解决其技术问题所采用的技术方案是：构造一种交互式车载智能终端系统，其包括一车载终端、多个双摄像头系统、所述双摄像头系统分别安装在车前、车尾以及车侧，所述车载终端包括核心处理器及分别与所述核心处理器连接的语音播报模块和显示模块，其中：所述核心处理器包括：

视频采集模块：与每一所述双摄像头系统连接，用于获取视频图像并通过所述显示模块显示；

数据处理模块，与所述视频采集模块连接，用于从所述视频图像中获取图像数据，并在车辆处于行进阶段时根据所述图像数据计算车辆与障碍物之间的距离和障碍物大小；或者在车辆处于倒车阶段时根据所述图像数据计算车辆与车位线之间的距离；

所述语音播报模块与所述数据处理模块连接，且用于在车辆处于行进阶段时播报障碍物大小及车辆与障碍物之间的距离，或者在车辆处于倒车阶段时播报车辆与车位线之间的距离。

在上述交互式车载智能终端系统中，所述车载终端还包括：

语音输入模块，用于接收驾驶员输入的语音信号；

语音识别模块，与所述语音输入模块连接且用于对接收到的的所述语音信号进行识别；

所述核心处理器还包括语音处理模块，分别与所述语音识别模块和所述数据处理模块连接，且用于对从所述语音识别模块接收到的语音识别信号进行分析以获取驾驶员需求，并从所述数据处理模块中调用系统数据以获取对应的驾驶员所需信息并通过所述语音播报模块进行播报。

在上述交互式车载智能终端系统中，所述核心处理器还包括云服务模块，用于接收所述数据处理模块内的图像数据，并将所述图像数据最终通过用户终端进行呈现。

在上述交互式车载智能终端系统中，所述车载终端还包括与所述数据处理模块连接的通信模块，用于车辆在受到外部撞击时，发送信息给所述用户终端。

在上述交互式车载智能终端系统中，所述交互式车载智能终端系统还包括用于供电的电源模块。

还提供一种监控方法，基于上述交互式车载智能终端系统，所述监控方法包括：

S1、通过双摄像头系统获取视频图像；

S2、从所述视频图像中获取图像数据，并在车辆处于行进阶段时计算车辆与障碍物之间的距离和障碍物大小，或者在车辆处于倒车阶段时计算车辆与车位线之间的距离；

S3、在车辆处于行进阶段时语音播报障碍物大小和车辆与障碍物之间的距离，或者在车辆处于倒车附段时语音播报车辆与车位线之间距离。

在上述监控方法中，在车辆处于行进阶段时，所述步骤S2包括：

S21、依据障碍物P与车辆的位置关系获取相应双摄像头系统的图像数据；

S22、设两条直线L1和L2的向量表示如下：L₁＝r₁+tv₁和L₂＝r₂+sv₂；

其中：直线L1为相应双摄像头系统中其中一个摄像头的光心和障碍物P投影到该摄像头投影面上的点之间所形成的直线；直线L2为另一摄像头的光 心和障碍物P投影到该摄像头投影面上的点之间所形成的直线；是偏移向量，是单位方向向量；s和t是参数变量；

S23、计算障碍物P距离车辆的距离，计算方法如下：设A为直线L₁上的点，坐标为(x₁+m₁t,y₁+n₁t,z₁+p₁t)；

B为直线L₂上的点，坐标为(x₂+m₂s,y₂+n₂s,z₂+p₂s)；

设A到B的距离为d，则

d²＝[(x₁+m₁t)-(x₂+m₂s)]²+[(y₁+n₁t)-(y₂+n₂s)]²+[(z₁+p₁t)-(z₂+p₂s)]²,其满足如下公式：

计算使得和的s和t取值如下：

其中：c＝m₁m₂+n₁n₂+p₁p₂，

e＝m₂(x₂-x₁)+n₁(y₂-y₁)+p₁(z₂-z₁)，f＝m₁(x₁-x₂)+n₁(y₁-y₂)+p₁(z₁-z₂)

将s和t分别代入直线L₁和直线L₂的参数方程得到垂足的坐标为(x₁+m₁t,y₁+n₁t,z₁+p₁t)和(x₂+m₂s,y₂+n₂s,z₂+p₂s)；

障碍物P与车辆之间的距离为：

在上述监控方法中，所述监控方法还包括：

接收驾驶员输入的语音信号；

对接收到的语音信号进行识别；

对语音识别信号分析以获取驾驶员需求，并从数据处理模块中调用系统数据以获取对应的驾驶员所需信息。

实施本发明的交互式车载智能终端系统及监控方法，具有以下有益效果：该系统采用双摄像头系统，并分别安装在车前、车尾以及车侧，可以对车辆周围进行全方位的视频监控以查看车辆外部环境，并通过核心处理器中的数据采集模块将获取到的视频图像传输给数据处理模块，数据处理模块对获取到的图像数据进行分析处理并计算出在车辆处于行进阶段时障碍物大小及其与车辆之间的距离，同时通过语音播报模块进行播报，以帮助驾驶员避免撞到或者擦伤周围人或物。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明一种交互式车载智能终端系统实施例的结构框图；

图2是本发明一种交互式车载智能终端系统实施例的工作流程图；

图3是障碍物P空间投影示意图；

图4是本发明一种交互式车载智能终端系统实施例计算障碍物P的大小的流程示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

如图1所示，为本发明一种交互式车载智能终端系统实施例的结构框图，在本实施例中，该交互式车载智能终端系统包括一车载终端(未图示)、多个双摄像头系统10，该车载终端安装在车辆内部，多个双摄像头系统10分别安装在车前、车尾以及车侧，以对车辆周围进行全方位的视频监控，该双摄像头系统10都配有微型硬件电路以稳定电源供给和视频获取，使得车辆在快速行进的过程中也能获取稳定清晰可处理的视频流。特别地，该车载终端具体包括核心处理器11以及分别与该核心处理器11连接的语音播报模块12和显示模块13，核心处理器11又包括视频采集模块111和数据处理模块112。

视频采集模块111与每一双摄像头系统10连接，以完成外接摄像头对视频图像的获取；数据处理模块112与该视频采集模块111连接，其主要用于从视频图像中获取图像数据并对这些数据进行处理，包括测距和测大小以及对视频图像进行融合处理等。具体地，如图2所示，在车辆处于行进阶段时，调看车辆周围全景监视视频图像，即调看安装在车前、车侧以及车尾的所有双摄像头系统所采集到的视频图像，若发现有障碍物，数据处理模块111根据所获取的图像数据计算车辆与障碍物之间的距离和障碍物大小；在车辆处于倒车阶段时，调看安装在车侧及车尾的双摄像头系统所采集到的视频图像，根据所获取的图像数据计算车辆与车位线之间的距离。

语音播报模块12与数据处理模块112连接，其用于在车辆处于行进阶段时，当监视到车辆外有障碍物，系统自动语音播报以进行提醒，同时播报该障碍物大小及离车距离，以帮助驾驶员避免撞到或者擦伤周围人或物；在车辆处于倒车阶段入库时，语音播报车辆与车位线之间的距离，如图2所示。

上述显示模块13与视频采集模块111连接，主要用于对于在车辆行进过 程中对周边环境的视频图像进行显示，其可以直接使用车辆内部的液晶显示装置直接进行显示，为单纯的液晶设备；也可使用触摸式显示装置进行显示。

特别地，上述数据处理模块112是通过智能视频识别测距算法计算障碍物与车辆之间的距离以及车辆与车位线之间的距离，其基于仿生双目定位方式实现，多个双摄像头系统通过两两定位的形式，通过算法实现与车辆距离和物体大小的测量。

这里以车辆在行进阶段时计算障碍物和车辆之间的距离为例，可以理解的是，当障碍物与车辆接近时，或者在摄像头可检测的范围内时，数据处理模块112会对获取到的图像数据进行处理，而根据障碍物在车辆周围的前、后、左、右方向，来计算该双摄像头摄像系统10离车辆相应方向的距离，比如摄像头检测到该障碍物在车辆前方时，则数据处理模块112对安装在车前的双摄像头系统所获取的图像数据进行处理，计算该安装在车前的双摄像头系统与障碍物之间的距离，即只用计算一个双摄像头系统与障碍物之间的距离，该双摄像头系统的安装方向与检测到的障碍物离车方向相同。

具体地，该数据处理模块112测距的过程如下：

首先，设障碍物为P，投影到该双摄像头头系统C_i投影面上的点坐标为p_i；对某一个摄像头C_i，确定了光心O_i和投影面(图像上)的点p_i，那么所有可能投影到p_i的空间点的集合就处于直线O_i-p_i上；即P一定处于直线O_i-p_i上，这条直线称为极线。

对双摄像头系统，空间点P必定处于直线O_i-p_i(i＝1,2)上，即计算所有直线O_i-p_i(i＝1,2)的交点。实际上由于误差的产生，可能直线O_i-p_i会发生偏差，造成这些直线并不全部相交。如图3所示，直线p₁p₂是两条直线L₁和L₂的最短垂 直线，其距离即为两条直线的距离，这里直线L1为相应双摄像头系统中其中一个摄像头的光心和障碍物P投影到该摄像头投影面上的点之间所形成的直线；直线L2为另一摄像头的光心和障碍物P投影到该摄像头投影面上的点之间所形成的直线。

考虑偏差是微小的，如果两条直线异面；对直线L₁而言，空间点的实际位置应该靠近最短垂直线的垂足p₁；同理，对于直线L₂，空间点的实际位置应该靠近最短垂直线的垂足p₂。对n条直线，每个直线均有n-1个垂足，这些垂足反映了空间点的实际位置的信息，利用这些信息估计空间点的实际位置是合理的，最简单的方法就是取这些垂足的中心点。这样就将求两条直线的交点转化为求两条直线最短垂直线的垂足，在本实施例中，两条直线的垂足对是唯一的。

两条直线的最短垂直线，是两条直线上点的最短距离，那么通过寻找两条直线的点之间的最短距离，可以得到垂足的位置。

这样就将求两条直线的交点转化为求两条直线最短距离的问题，在本实施例中通过极值法来寻找垂足点。

设两条直线L1和L2的向量表示如下：L₁＝r₁+tv₁和L₂＝r₂+sv₂，其中是偏移向量，是单位方向向量；s和t是参数变量；

设A为直线L₁上的点，坐标为(x₁+m₁t,y₁+n₁t,z₁+p₁t)；

B为直线L₂上的点，坐标为(x₂+m₂s,y₂+n₂s,z₂+p₂s)；

设A到B的距离为d，则

d²＝[(x₁+m₁t)-(x₂+m₂s)]²+[(y₁+n₁t)-(y₂+n₂s)]²+[(z₁+p₁t)-(z₂+p₂s)]²

此时求s和t的取值使得d²的值最小，即求使得d²的一阶偏导为0，二阶偏导大于0的s和t值，其满足如下公式：

由于和则d²只有最小值，没有最大值；计算使得和 的s和t取值如下：

其中，

c＝m₁m₂+n₁n₂+p₁p₂，

e＝m₂(x₂-x₁)+n₁(y₂-y₁)+p₁(z₂-z₁)，f＝m₁(x₁-x₂)+n₁(y₁-y₂)+p₁(z₁-z₂)

将s和t分别代入直线L₁和直线L₂的参数方程得到垂足的坐标为(x₁+m₁t,y₁+n₁t,z₁+p₁t)和(x₂+m₂s,y₂+n₂s,z₂+p₂s)；之后根据这两个垂足坐标可以得到两直线交点的近似值，即为障碍物P在空间坐标中的实际位置，这个近似值是取两垂足间的中点值。即障碍物P在该双摄像头系统中空间点的实际坐标为：

而摄像头光心为空间初始点，即(0,0,0)。从而，障碍物P与该双摄像头系统之间的距离也即障碍物P与车辆之间的距离为：

可以理解的是，在车辆处于倒车阶段时，这里需计算安装在车后的双摄像头系统10与车位线之间的距离，其计算过程与上述类似，只是将车位线视 作P点进行计算，在此不再赘述。

此外，车外物体大小的测量采取现有的基于自适应像素分块的反馈背景分割法的方法来实现。其计算过程如图4所示，车辆某一侧的双摄像头系统10检测到障碍物P后，由于障碍物P的运动速度或者车辆自身的行驶速度不统一，因此以1帧为单位读取该障碍物P的图像数据，在较短的时间内处理获取的图像，得到障碍物P的初始点和X、Y轴的信息，最终，通过现有算法-基于自适应像素分块的反馈背景分割法确定出该障碍物P的框图大小，即该障碍物P的大小。

特别地，本系统还可以通过引入语音识别技术，识别驾驶员的语音信息，实现该车载终端与驾驶员之间可以进行有效的沟通。

具体地，上述车载终端还包括语音输入模块14、语音识别模块15，对应地，上述核心处理器11还包括语音处理模块113，语音输入模块14、语音识别模块15以及语音处理模块113依次连接。语音输入模块14接收驾驶员输入的语音信号并发送到语音识别模块15，语音识别模块15用于对接收到的语音信号进行识别，实现对驾驶员语音信号的辨识，完成与驾驶员之间的交流，语音处理模块113还与数据处理模块112连接，主要用于获取语音识别后的信息，对语音识别信号进行分析以获取驾驶员需求，并从数据处理模块112中调用系统数据以完成相应的指令，获取对应的驾驶员所需信息并通过语音播报模块12进行语音播报，实现与驾驶员之间的交流。

因此，在本实施例中，语音播报模块12主要完成两种类型的语音播报，一种为驾驶员被动获取的的信息，如系统预置的信息，播报障碍物大小和离车距离的信息，或者车辆与车位线之间的信息等，也可以在数据处理模块112中设置一安全阈值，当外界障碍物离车辆的距离小于该安全阈值时，即 障碍物临近时语音播报报警信息；另一种为驾驶员主动获取的信息，如上述驾驶员发送语音指令，需要该系统应答回复的信息。

特别地，上述语音识别模块15采用自适应语音识别算法，其在DTW(Dynamic Time Warping，动态时间归整)算法的基础上，给出了语音端点检测操作和MFCC(Mel Frequency Cepstrum Coefficient，Mel频率倒谱系数)参数的提取方法。

在该语音识别过程中，其端点监测过程分为：预处理和判别两个步骤。其中预处理采用输入信号的幅度归一化、分帧和消除低频干扰等方法实施。通过一阶高通滤波器消除低频干扰，其传递函数为1-0.9375z^-1，该函数可以消除50Hz和60Hz工频干扰。

此算法采用的Mel参数，其可以在一定程度上模拟人耳对语音的处理过程和结果。在有信道噪声的情况下，MFCC可以有效地提高孤立词的识别率，Mel频率如下式表示：

f_MEL＝1127×log(1+f/700)，f为采样频率。

在该语音识别过程中，MFCC倒谱系数提取方法为语音识别技术中关键的一个环节，其计算方法描述如下：

对上述收到的语音信号进行分帧处理，预加重和加汉明窗，利用短时傅里叶变换获得频谱；

用M个Mel带通滤波器滤波，计算获得能量谱，叠加每个滤波器频带内的能量，得到第K个滤波器输出功率谱x′(k)；在该过程中，其获取输出功率谱的过程为现有技术，在此不再具体描述；

将每个滤波器的输出取对数，得到相应频带的对数功率谱，对每一对数功率谱进行反离散余弦函数计算，获取L个MFCC系数，该MFCC系数的计算方 法如下：

上述n为大于等于1的自然数，本实施例中为L，L的数值为16，但并不作此限制。

在本实施例中，上述系统中的核心处理器11采用联发科64位4核LTE平板电脑平台SOC，其型号优选为MT8735，但不作此限制。

优选地，上述核心处理器11还包括与数据处理模块112连接的云服务模块114，用于接收数据处理模块112内的图像数据并通过用户终端进行呈现，通过该云服务器114使得驾驶员不在车辆内部的场景下，驾驶员可以通过用户终端远程登录以查看相应的数据，该系统数据包括由所有双摄像头采集的图像数据，通过这些数据查看车辆环境情况。上述用户终端包括PC、手机、PAD等设备。

优选地，上述车载终端还包括与数据处理模块112连接的通信模块16，该通信模块16主要借助通信运营商网络完成信息的传递，在本实施例中可以采用华为的4G/3G通信模块和三大运营商其一(移动/联通/电信)的SIM卡，但不作此限制。通过该通信模块16使得在驾驶过程中或者车辆无人驾驶过程中，该车辆遇到紧急突发情况时，如交通事故、遭窃或者来自外力损坏等，可以通过预置的方案借助电信运营商网络，依靠内置的该通信模块16便可发送信息给交警部门或驾驶员。

在本实施例的交互式车载智能终端系统中，该系统还包括电源模块(图未示)，用于给整个系统供电，主要表现为两种方式：一是在车辆启动后，直接对12V车载电源进行稳压和降压输出后供整个系统工作；二是在车辆非启动状态或者事故熄火状态后，通过其内部的电池进行供电，主要是给通信模块 16和云服务模块114供电。

本发明还提供一种监控方法，基于上述的交互式车载智能终端系统实现，该监控方法包括：

S1、视频采集模块111通过多个双摄像头系统获取视频图像；在该步骤中，这多个双摄像头系统分别安装在车前、车尾以及车侧，以对车辆周围进行全方位的视频监控；

S2、数据处理模块112从该视频图像中获取图像数据，并在车辆处于行进阶段时计算车辆与障碍物之间的距离和障碍物大小，或者在车辆处于倒车阶段时计算车辆与车位线之间的距离；

S3、在车辆处于行进阶段时语音播报障碍物大小和离车距离，或者在车辆处于倒车阶段时语音播报车辆与车位线之间距离。

上述S2具体包括：

S21、依据障碍物P与车辆的位置关系获取相应双摄像头系统的图像数据；在该步骤中，是根据障碍物在车辆周围的前、后、左、右方向，来计算该双摄像头摄像系统10离障碍物相应方向的距离，比如摄像头检测到该障碍物在车辆前方时，则数据处理模块112对安装在车前的双摄像头所获取的图像数据进行处理，也就是说在该步骤中获取的是安装在车前的双摄像头的图像数据。

S22、设两条直线L1和L2的向量表示如下：L₁＝r₁+tv₁和L₂＝r₂+sv₂；

其中：直线L1为相应双摄像头系统中其中一个摄像头的光心和障碍物P投影到该摄像头投影面上的点之间所形成的直线；直线L2为另一摄像头的光心和障碍物P投影到该摄像头投影面上的点之间所形成的直线；是偏移 向量，是单位方向向量；s和t是参数变量；

S23、计算障碍物P距离车辆的距离，计算方法如下：设A为直线L₁上的点，坐标为(x₁+m₁t,y₁+n₁t,z₁+p₁t)；

B为直线L₂上的点，坐标为(x₂+m₂s,y₂+n₂s,z₂+p₂s)；

设A到B的距离为d，则

d²＝[(x₁+m₁t)-(x₂+m₂s)]²+[(y₁+n₁t)-(y₂+n₂s)]²+[(z₁+p₁t)-(z₂+p₂s)]²,其满足如下公式：

计算使得和的s和t取值如下：

将s和t分别代入直线L₁和直线L₂的参数方程得到垂足的坐标为(x₁+m₁t,y₁+n₁t,z₁+p₁t)和(x₂+m₂s,y₂+n₂s,z₂+p₂s)；

之后根据这两个垂足坐标可以得到两直线交点的近似值，即为障碍物P在空间坐标中的实际位置，这个近似值是取两垂足间的中点值。即障碍物P在摄像头中空间点的实际坐标为：而摄像头光心为空间初始点，即(0,0,0)。从而，障碍物P与摄像头之间的距离为：

可以理解的是，在车辆处于倒车阶段时，这里需计算安装在车后的双摄 像头系统10与车位线之间的距离，其计算过程与上述类似，只是将车位线视作P点进行计算，在此不再赘述。

本发明还可通过语音识别技术，识别驾驶员的语音信息，实现与驾驶员之间可以进行有效的沟通，其于此，上述监控方法还包括：

接收驾驶员输入的语音信号；

对接收到的语音信号进行识别；

对语音识别信号分析以获取驾驶员需求，并从数据处理模块中调用系统数据以获取对应的驾驶员所需信息。

上述对接收到的语音信号进行识别的过程中包括MFCC系数提取方法，其为语音识别算法中关键的一个环节，该MFCC系数提取方法包括：

对上述收到的语音信号进行分帧处理，预加重和加汉明窗，利用短时傅里叶变换获得频谱；

用M个Mel带通滤波器滤波，计算获得能量谱，叠加每个滤波器频带内的能量，得到第K个滤波器输出功率谱x′(k)；

将每个滤波器的输出取对数，得到相应频带的对数功率谱，对每一对数功率谱进行反离散余弦函数计算，获取L个MFCC系数，该MFCC系数的计算方法如下：

上述n为大于等于1的自然数，本实施例中为L，L的数值为16，但并不作此限制。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利 要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。