流媒体行车监控方法及其设备与流程

本发明涉及视频图像数据处理的，特别涉及一种流媒体行车监控方法及其设备。

背景技术：

1、流媒体（streaming media）是一种通过互联网或其他计算机网络以流的形式传输音频、视频和其他多媒体数据的技术。与下载相比，流媒体允许用户在接收数据的同时观看或听取它们，而不需要等待整个文件完全下载。流媒体通常使用专门的协议和编码格式来传输数据，例如rtsp（real time streaming protocol）、http（hypertext transferprotocol）和mpeg-dash（dynamic adaptive streaming over http）等协议，以及h.264、vp9和aac等编码格式。目前流媒体技术已经广泛应用于在线音乐、视频、直播、游戏等领域，并且随着网络带宽的增加和技术的进步，流媒体技术已然运用到车载终端领域。

2、当将流媒体技术运用在汽车智能终端时，现有的技术有数据采集、数据编码、流媒体传输、云服务器处理和数据展示，可以实现车辆数据的实时传输、云端处理和反馈，为驾驶员提供更加个性化、实用的服务和体验，而将流媒体技术运用在汽车智能终端来进行道路监控的现有技术是（1）内置的摄像头和其他传感器收集道路上的视频、视频、声音和其他相关数据；（2）将采集到的数据进行编码压缩，以减少数据量，并确保数据能够在网络上流畅传输；（3）将编码后的数据以流的形式传输到云服务器上；（4）云服务器接收到流媒体数据后，进行相应的处理和计算；（5）将处理后的数据通过流媒体技术传回到汽车智能终端，

3、而针对于现有的流媒体技术运用在汽车智能终端来进行道路监控具有以下亟待克服的问题：

4、1），在高速路上进行自动驾驶技术的过程中，目前的采用流媒体对道路监控的方法中存在自动驾驶决策因子识别不够清晰和迅速，该自动驾驶决策因子有其他车辆、道路标线等，导致存在事故风险；

5、2），需要高速、稳定的网络连接才能传输视频流数据，因为在某些地区，网络连接不够好或者带宽不足，可能导致视频数据的传输受到限制，从而导致在高速的自动行驶中存在事故风险。

技术实现思路

1、本发明的主要目的为提供一种流媒体行车监控方法及其设备，以采用预设至流媒体模块的卷积神经网络对高速自动行驶的车辆进行决策因子的ns级快速识别，采用网络监测技术对带宽和网速进行识别以根据结果对自动驾驶的视频传输进行对应的视频流压缩流程，从而实现了车辆在高速行驶时的自动驾驶快速识别风险和网速调节的效果。

2、为实现上述目的，本发明提供了一种流媒体行车监控方法，包括以下步骤：

3、识别车辆的流媒体网络带宽量，并判断所述网络带宽量是否满足预设带宽量，若是，则生成可执行自动驾驶许可以及监听自动驾驶指令；

4、获取行车过程时的流媒体视频，采用预设的视频卷积深化模型对所述流媒体视频进行因子标定，生成自动驾驶决策因子，所述自动驾驶决策因子包括但不限于是高速道路标线、其它车辆以及地面路况和天气要素；

5、将对应的所述自动驾驶决策因子映射于流媒体视频中进行要素标定，并通过图像分类器将要素标定后的流媒体视频进行对应的视频流编码处理，以生成编码流数据；

6、通过所述编码流数据进行对应的自动驾驶行车过程。

7、进一步地，所述获取行车过程时的流媒体视频，采用预设的视频卷积深化模型对所述流媒体视频进行因子标定，生成自动驾驶决策因子的步骤，包括：

8、通过在汽车智能终端上安装相应的摄像头或连接外部摄像头，获取行车过程中的流媒体视频；

9、对所述流媒体视频进行视频格式转换、视频压缩和帧率调整的预处理，并将预处理后的流媒体视频导入至视频卷积深化模型中；

10、通过所述视频卷积深化模型对流媒体视频进行道路要素的特征提取，所述道路要素的特征提取包括提取流媒体视频的高速道路标线、其它车辆以及地面路况和天气要素；

11、再通过所述视频卷积深化模型对特征提取出的道路要素进行因子标定，以对所述道路要素进行权重设置，得到设置权重后的自动驾驶决策因子。

12、进一步地，所述视频卷积深化模型的预先训练步骤，包括：

13、叠合vgg结构与alexnet结构形成混合网络结构；

14、采用随机初始化对所述视频卷积深化模型进行初始化，并将若干行车训练视频导入至所述混合网络结构中，采用反向传播算法对若干行车训练视频进行道路要素的特征提取训练；

15、对训练后的所述视频卷积深化模型进行评估，生成训练结果数据，以判断训练结果数据是否高于预设系数值，其中，所述训练结果数据包括准确率和召回率；

16、若是，则删除所述训练结果数据并输出训练完成的所述视频卷积深化模型，反之，则保留所述训练结果数据并重新执行本训练步骤。

17、进一步地，所述叠合vgg结构与alexnet结构形成混合网络结构的步骤，包括：

18、利用alexnet的浅层特征中的前若干个卷积层和vgg的深层特征中的后若干个卷积层进行组合，形成更深层次的混合网络结构；

19、采用softmax函数将所述混合网络的末端添加全连接层进行分类并输出概率值，通过所述概率值作为若干所述行车训练视频特征提取的权重比。

20、进一步地，所述将对应的所述自动驾驶决策因子映射于流媒体视频中进行要素标定，并通过图像分类器将要素标定后的流媒体视频进行对应的视频流编码处理，以生成编码流数据的步骤，包括：

21、根据视频卷积深化模型确定出的自动驾驶决策因子的权重，对所述流媒体视频进行分类标定，以根据所述分类标定创建对应数量的编码通道；

22、通过图像分类器识别出所述流媒体视频中各个与自动驾驶决策因子匹配的待编码视频；

23、将各个所述待编码视频进行文本化编码，生成编码流数据。

24、进一步地，所述将各个所述待编码视频进行文本化编码，生成编码流数据的步骤，包括：

25、采用rgb构图法识别若干个所述待编码视频中的色彩信息，并根据所述色彩信息生成与待编码视频匹配对应的色彩进制代码；

26、将若干所述待编码视频一一对应的色彩进制代码通过编码通道作为编码流数据进行输出。

27、进一步地，所述通过所述编码流数据进行对应的自动驾驶行车过程的步骤，包括：

28、对若干所述色彩进制代码进行进度式重构，并在进行所述进度式重构的过程中判断是否能够识别到道路要素直至所述道路要素重构清晰；

29、最终通过编码流数据重构出道路要素进行自动驾驶行车过程。

30、本发明还提出一种流媒体行车监控装置，包括：

31、识别单元，用于识别车辆的流媒体网络带宽量，并判断所述网络带宽量是否满足预设带宽量，若是，则生成可执行自动驾驶许可以及监听自动驾驶指令；

32、获取单元，用于获取行车过程时的流媒体视频，采用预设的视频卷积深化模型对所述流媒体视频进行因子标定，生成自动驾驶决策因子，所述自动驾驶决策因子包括但不限于是高速道路标线、其它车辆以及地面路况和天气要素；

33、编码单元，用于将对应的所述自动驾驶决策因子映射于流媒体视频中进行要素标定，并通过图像分类器将要素标定后的流媒体视频进行对应的视频流编码处理，以生成编码流数据；

34、行车单元，用于通过所述编码流数据进行对应的自动驾驶行车过程。

35、本发明还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述流媒体行车监控方法的步骤。

36、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的流媒体行车监控方法的步骤。

37、本发明提供的流媒体行车监控方法及其设备具有以下有益效果：

38、（1）通过实时的识别车辆的流媒体网络带宽量，提高行车过程中的准确性和实时性，从而增强自动驾驶安全。

39、（2）通过获取行车过程时的流媒体视频，采用预设的视频卷积深化模型对所述流媒体视频进行因子标定，生成自动驾驶决策因子的方式，增强自动驾驶决策因子的生成能力，提高自动驾驶车辆的行驶安全和效率。

40、（3）通过视频卷积深化模型的制作，实现对大规模视频数据的快速处理和分析，从而达到ns级的视频处理的效率和精度。

41、（4）通过将对应的所述自动驾驶决策因子映射于流媒体视频中进行要素标定，并通过图像分类器将要素标定后的流媒体视频进行对应的视频流编码处理，以生成编码流数据，进而通过编码化的数据进行对应的自动驾驶控制，采用网络监测技术对带宽和网速进行识别以根据结果对自动驾驶的视频传输进行对应的视频流压缩流程，从而实现了车辆在高速行驶时的自动驾驶快速识别风险和网速调节的效果。