一种基于实时流媒体的智能座舱系统的制作方法

本发明涉及智能座舱系统技术领域，尤其是涉及一种基于实时流媒体的智能座舱系统。

背景技术：

目前，智慧交通车路智能协同依靠网络、大数据以及路测设备实现。车身周边环境感知依靠车辆安装的图像传感器、激光和毫米波雷达实现。车身感知依靠各种车辆传感器，车身交互通过各种ecu（electroniccontrolunit）电子控制单元，又称“行车电脑”、“车载电脑”。相关技术中智能座舱系统通常以单屏显示数字或者文字内容为主。

上述中的现有技术方案存在以下缺陷：单屏展示信息量少，与驾驶员交互性差，通过与驾驶员的交互展现应用并提供相应的服务的便捷性和灵活性不佳。

技术实现要素：

本发明目的一是提供一种基于实时流媒体的智能座舱系统，具有多屏展示，灵活与驾驶员交互的特点。

本发明的上述发明目的一是通过以下技术方案得以实现的：

一种基于实时流媒体的智能座舱系统，包括：

采集模块，用于采集车内感应信号和车外实景图像及车辆行驶数据，并将车辆行驶数据传输至can服务器；

多模态交互终端，包括数据库和处理模块，具有显示屏和can接口，can接口用于接收can服务器基于车辆行驶数据反馈的车辆行驶虚拟图像；

处理模块用于对感应信号进行转换和识别，并获得识别特征，将识别特征与数据库中预存的识别特征与操控指令之间一一对应的映射关系表进行对照，并获得识别特征对应的操控指令；

显示屏基于所述操控指令分屏显示所述车外实景图像、车辆行驶虚拟景象和/或导航虚拟地图。

通过采用上述技术方案，通过采集模块进行感应信号、车外实景图像和车辆行驶数据的采集，车外实景图像通过显示屏进行显示，车辆行驶数据通过can接口向can服务器发送，多模态交互终端接收can服务器基于车辆行驶数据生成的车辆行驶虚拟图像数据，并通过显示屏分屏显示；驾驶员可以通过特定的手势、或声音或操作显示屏或触发按键等多种方式与终端交互，交互的信息通过采集模块或终端的感应器件以感应信号的形式获得，处理模块接收到感应信号进行识别后获得识别特征后，调用数据库通过映射关系表获得与识别特征对应的操控指令，然后基于操控指令在显示屏上显示，使智能座舱与驾驶员的交互展现应用并提供相应的服务的便捷性和灵活性较好。

本发明在一较佳示例中可以进一步配置为：所述采集模块包括：

行驶传感器，安装在车身上，具有感应端和can接口，感应端用于采集车辆行驶数据，can接口通过can总线与can服务器连接；

外部摄像头，设置在车身上，用于采集车外多角度实景图像，输出接口与处理模块连接；

所述处理模块包括：

拼接子模块，用于对多角度实景图像进行拼接获得拼接图像。

通过采用上述技术方案，行驶传感器用于采集车辆的速度、胎压、位置、距离等车辆行驶数据，通过can接口以及can总线向can服务器传输，can服务器通过对车辆行驶数据进行处理和计算，生成的车辆行驶虚拟图像数据反馈给终端，终端通过显示屏能够显示车辆的虚拟行驶景象，便于驾驶员了解车辆行驶状况；外部摄像头可以设置多个，分别采集车辆不同角度的外部环境实景图像，通过输出接口传输给处理模块，通过拼接子模块对多角度实景图像进行拼接后可在显示屏上显示，有利于驾驶员全方位了解车辆前、后、左、右多个角度的状况，并且通过拼接后的全景图像能够实现图像之间的衔接，提高驾驶员视觉上的感知，能够更为清楚的正视全方位视角景象，有利于安全驾驶；以便于处理模块对图像进行处理或直接给终端通过多屏或单屏展示，便于驾驶员了解车辆周围状况。

本发明在一较佳示例中可以进一步配置为：所述采集模块还包括：

tof传感器，用于采集驾驶员手势信息，输出接口与处理模块连接；

所述处理模块还包括：

手势识别子模块，用于对手势信息进行模数转换和手势进行识别获得手势识别特征，基于手势识别特征与操控指令之间的映射关系获得手势操控指令。

通过采用上述技术方案，tof传感器可以采集驾驶员的手势信息，驾驶员可以通过特定的手势来操控终端，通过tof传感器采集驾驶员手势信息并通过手势识别子模块处理后获得手势操作操控指令，基于手势操控指令控制终端；在驾驶员不方便操作终端的触控屏或按键时，可以通过上述多种方式实现与终端的信息交互，大大提高了驾驶员与终端的交互方式及灵活性，方便用户操作，提升体验感。

本发明在一较佳示例中可以进一步配置为：所述采集模块包括：

语音传感器，用于采集车内语音信号，输出接口与处理模块连接；

所述处理模块还包括：

语音识别子模块，用于对语音信息进行模数转换和关键字提取获得关键字识别特征，基于手势识别特征与操控指令之间的映射关系获得语音操控指令。

通过采用上述技术方案，语音传感器用于采集车内的语音信号，驾驶员可以通过特定的语音指令来操控终端，通过语音传感器采集车内语音信号并通过语音识别子模块处理后获得语音操控指令；在驾驶员不方便操作终端的触控屏或按键时，可以通过上述多种方式实现与终端的信息交互，大大提高了驾驶员与终端的交互方式及灵活性，方便用户操作，提升体验感。

本发明在一较佳示例中可以进一步配置为：所述处理模块还包括：

触控识别子模块，用于对接收的触控信息进行模数转换，并对触控信息的位置进行识别获得位置识别特征，基于位置识别特征与操控指令之间的映射关系获得触控操控指令；

显示屏，基于所述手势操控指令、语音操控指令、和/或触控操控指令分屏显示所述多角度实景图像、拼接图像、车辆行驶虚拟景象和/或导航虚拟地图。

通过采用上述技术方案，用户触摸显示屏时，通过触摸识别子模块处理后获得触控操控指令；上述手势操控指令、语音操控指令、触控操控指令三种指令可以重复也可以不重复，可以是对显示屏的播放指令，也可以是显示切换指令，还可以是对原有未启动的功能进行启动等；对于同一功能可以通过选择上述任一形式进行操控，进一步提升终端的人机交互性能。

本发明在一较佳示例中可以进一步配置为：所述采集模块还包括：

车内摄像头，设置在车内用于采集驾驶员图像信息，输出接口与处理模块连接；

所述处理模块还包括：

驾驶异常子模块，对驾驶员图像信息中的特征部位进行提取，并通过图像处理算法进行识别，基于识别的结果输出状态异常信息；

所述多模态交互终端还包括扬声器，驾驶异常子模块与扬声器连接，并向扬声器和/或显示屏发送状态异常信息。

通过采用上述技术方案，通过采用上述技术方案，通过车内摄像头对驾驶员图像进行采集，然后通过驾驶异常子模块对驾驶员的图像信息进行提取和判断，当判断输出异常状态信息后，通过扬声器和/或显示屏对驾驶员进行警示，降低疲劳驾驶导致的安全隐患。

本发明在一较佳示例中可以进一步配置为：所述数据库还包括建有对物体特征进行比对的识别特征模型，所述车外图像处理子模块包括：

融合子模块，基于车前实景图像提取实时图像中物体的特征并基于识别特征模型赋予识别特征，把赋予识别特征的物体图像与实时图像叠加形成第一显示图像；

从卫星导航地图中提取实时导航地图信息；

将实时导航地图信息与第一显示图像叠加形成带有导航信息的第二图像；

通过显示屏显示第二图像。

通过采用上述技术方案，通过融合子模块将车前图像中的物体与实时图像叠加，使实时图像中可以显示车前物体特征；然后通过具有物体特征的实时图像叠加实时导航地图信息，使实时图像与导航地图信息进行融合，仿真实景导航，并通过显示屏显示出来，提高驾驶员的真实视觉感受，进一步提升了导航的适用性。

本发明在一较佳示例中可以进一步配置为：路况异常子模块，在图像中附有识别特征的物体达到报警阈值时，发出报警信号；

显示屏、扬声器和/或报警器响应于报警信号发出图像警报、声音警报和/或声光警报。

通过采用上述技术方案，路况异常时，通过显示屏、扬声器和报警器的方式对驾驶员进行图像、声音或者其结合的方式警报。

通过采集模块和多模态交互终端，采集模块进行车内外环境、危险以及驾驶员行为信息的采集，然后将采集后的数据传输到处理模块进行处理，同时显示屏进行车外实景图像、车辆行驶虚拟景象和/或导航虚拟地图，完成与驾驶员的交互，使智能座舱可以通过与驾驶员的交互便捷地展现应用并提供相应的服务。

附图说明

图1是本发明基于实时流媒体的智能座舱系统结构框图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

本发明实施例提供一种基于实时流媒体的智能座舱系统，包括：采集模块和多模态交互终端。采集模块用于采集车内感应信号和车外实景图像及车辆行驶数据，并将车辆行驶数据传输至can服务器。多模态交互终端包括数据库和处理模块，具有显示屏、扬声器和can接口。

can接口用于接收can服务器基于车辆行驶数据反馈的车辆行驶虚拟图像。数据库中预存有将识别特征与操控指令之间一一对应的映射关系表，还包括建有对物体特征进行比对的识别特征模型，还存储有报警阈值信息。处理模块用于对感应信号进行转换和识别，并获得识别特征，将识别特征与数据库中的映射关系表进行对照，并获得识别特征对应的操控指令。

采集模块包括行驶传感器、外部摄像头、tof传感器、语音传感器和车内摄像头。处理模块包括手势识别子模块、语音识别子模块、触控识别子模块、拼接子模块和驾驶异常子模块。

行驶传感器安装在车身上，具有感应端和can接口，感应端用于采集车辆行驶数据，车辆行驶数据包括车速等车辆数据，can接口通过can总线与can服务器连接。

外部摄像头设置在车身上，外部摄像头设置有四个，外部摄像头用于采集车外多角度实景图像，输出接口与处理模块连接。拼接子模块，用于对多角度实景图像进行拼接获得拼接图像，将所有外部摄像头的图像进行拼接后显示车身四周的景象。例如通过安装在车身前左、前右、后左、后右四个位置的摄像头分别采集四个角度的景象，通过图像拼接技术，能够将四个角度的图像拼接为一个360°全景图像，通过显示屏展示，这样驾驶员通过显示看到车身周围任一角度景象，进而提升安全驾驶性能。

tof传感器用于采集驾驶员手势信息，手势信息包括驾驶员的手势指令，tof传感器输出接口与处理模块连接，基于tof(timeofflight)技术通过向目标发射连续的特定波长的红外光线脉冲，再由特定传感器接收待测物体传回的光信号，计算光线往返的飞行时间或相位差，从而获取目标物体的深度信息，，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来；通过该传感器采集驾驶员手势信息，除了能准确的获得手势之外，还有助于识别出手部距离摄像头的距离，例如在采集到多个手势时，可将图像上反应出距离最近的手势信息作为识别信息，防止程序难以识别。手势识别子模块用于对图像中呈现的手势通过公知的图像识别算法进行识别获得手势识别特征，基于手势识别特征与操控指令之间的映射关系获得手势操控指令。驾驶员可以通过不同的手势进行不同的操控，例如通过上摆手进行“提高音量”、下摆手进行“减小音量”等，显示屏相应进行调整，并显示声量调节器。

语音传感器用于采集车内语音信号，语音信号包括驾驶员发出的声音指令，输出接口与处理模块连接。该传感器内置一个对声音敏感的电容式驻极体话筒，声波使话筒内的驻极体薄膜振动，导致电容的变化，而产生与之对应变化的微小电压。语音识别子模块用于对语音传感器采集的语音信息进行模数转换和关键字提取获得关键字识别特征，基于语音识别特征与操控指令之间的映射关系获得语音操控指令。驾驶员可以通过不同的语音进行不同的操控，例如驾驶员发出“提高音量”、“减小音量”、“切换到多屏全景显示”等声音，显示屏相应进行调整，并显示声量调节器或多屏全景。

车内摄像头设置在车内用于采集驾驶员图像信息，输出接口与处理模块连接。驾驶异常子模块，对驾驶员图像信息中的特征部位进行提取，并通过图像处理算法进行识别，基于识别的结果输出状态异常信息。状态异常信息包括打哈欠、抽烟、闭眼时间、头部倾斜等异常信息。通过公知的图像识别算法能够提取驾驶员图像中人脸嘴部开合度、嘴部细长图像识别、眼睛闭合的时长或频率、头部倾斜的角度及速度等，去判断驾驶员的打哈欠、抽烟动作、犯困等异常动作，进而发出异常报警信息，警示驾驶员休息或提高警惕。

如果舱内用户通过触控显示屏操控终端时，触摸按压触发相应的开关，发出触控信息，触控识别子模块对接收的触控信息进行模数转换，并对触控信息的位置进行识别获得位置识别特征，基于位置识别特征与操作界面上相应位置的操控指令之间的映射关系获得触控操控指令。

融合子模块，基于车前实景图像提取实时图像中物体的特征并基于识别特征模型赋予识别特征，把赋予识别特征的物体图像与实时图像叠加形成第一显示图像，还用于从卫星导航地图中提取实时导航地图信息并将实时导航地图信息与第一显示图像叠加形成带有导航信息的第二图像。

例如采集车前实时图像，输出到数字图像转换模块，将车前图像转换成数字信号，若采用数字摄像头采集车前实时图像，则无需数字图像转换模块，截取设定的区域的图像传输给处理模块，将上述图像分离为同步的两路，一路用于显示屏显示，另一路用于提取识别特征，在本申请一实施例中，可以在数据库中建立识别特征模型信息库，对实时图像进行灰度化处理，提取灰度图像的特征物，通过图像识别算法对提取的特征无进行图像分类运算，获得分类结果，将分类结果与信息库中的识别特征模型对比，确定特征物的种类，例如人、汽车、线路标识、路牌、交通信号灯、建筑物、栏杆、非机动车等；在确定物体为多个时，优先保留车辆正前方一确定物体，例如汽车比对成功，则将汽车识别特征赋予该确定物体对应的图像上；将该图像与实时图像进行叠加形成第一显示图像，例如汽车的识别特征为四角框，则第一显示图像为车辆正前方一行驶车辆上附加有四角框图像。

第二图像的形成过程为：在实时导航地图中规划出导航路径，并提取该导航路径、两侧标志性信息及经纬度信息；通过图像处理算法将导航路径与第一显示图像进行叠加获得第三图像，获得摄像头采集图像的经纬位置信息，基于经纬位置信息将导航路径两侧标志性信息叠加到上述第三图像中，获得第二图像，第二图像经终端显示屏进行显示，以供驾驶员观测和参考，实现实景导航，并且车辆的行驶信息以及前方确定物的警示信息均可通过图像或语音信号的形式展示，以提醒驾驶员安全操作，并且在偏离路线行驶时也能够进行提示；例如：距离前方车辆超过安全距离、已偏离行驶车道、后方车辆左侧汇入超速紧急避让等。

路况异常子模块，在图像中附有识别特征的物体达到报警阈值时，发出报警信号；路况异常包括与前车距离过近、偏离行驶道路等情况。

显示屏基于所述手势操控指令、语音操控指令、触控操控指令分屏显示所述多角度实景图像、拼接图像、车辆行驶虚拟景象和/或导航虚拟地图、第二图像。显示屏上设置有一个只显示带有导航的多角度实景图像，其他区域根据驾驶员的不同指令进行不同功能的展现，显示屏可以同时进行一个或多个功能的展现，总的功能入口始终存在于显示屏上。

需要说明的是，这里的手势操控指令、语音操控指令、触控操控指令可以是导航开启或关闭指令、音频切换指令、音频启闭指令、音量调节指令、显示控制指令、显示切换指令等，同一指令可同时通过以上三种方式进行控制，驾驶员基于实际需要选择方便操作的方式，例如在驾驶过程中，可以通过手势控制音乐播放停止，通过语音唤醒导航、通过语音展示全方位实景画面，或多屏展示切换等，灵活多变。

扬声器和/或显示屏提示状态异常信息，根据不同的情况通过显示屏进行不同的文字显示，并通过不同声音的进行报警。

显示屏、扬声器和/或报警器响应于报警信号发出图像警报、声音警报和/或声光警报，根据不同的情况通过显示屏进行不同的文字显示，并通过不同声音的进行报警。

本申请实施例一种基于实时流媒体的智能座舱系统的实施原理为：当车辆启动后，智能座舱内部显示屏上显示实时的车外影像，方便驾驶员进行车辆周围情况的观察，同时显示屏上显示有导航功能，使驾驶员可以利用导航功能进行车辆的驾驶。当驾驶员通过触摸显示屏、语音或者手势发出指令时，车内的传感器被触发，然后通过处理模块将这些行为判断为非异常行为，进行信号的处理后，显示屏上显示驾驶员需要的功能。

当驾驶员打瞌睡或者接打电话时，通过摄像头采集到驾驶员的这种行为，通过处理模块将这种行为判断为异常行为，处理模块将判断后的行为信号处理后，通过显示屏和扬声器进行驾驶员的警示，使驾驶员规范自己的行为。

当驾驶员距离前车过近等情况发生时，车外的摄像头采集到车外的情况，通过处理模块将这种行为判断为异常行为，处理模块将判断后的行为信号处理后，通过显示屏和扬声器进行驾驶员的警示，使驾驶员及时规避风险。