一种行车记录仪及视频直播方法
【专利摘要】本发明提供一种行车记录仪，包括：图像采集模块，用于采集图像数据；声音采集模块，用于采集声音数据；声音编码器，用于将所述声音数据编码成音频流；第一图像编码器，用于将所述图像编码成低码流视频流；数据封包模块，用于将所述音频流和低码流视频流打包成预定协议的数据包；数据缓冲模块，用于缓存所述预定格式的数据包；传输模块，用于将所述预定协议的数据包传输给云端服务器和/或播放设备。本发明还提供视频直播方法，本发明能提供长时间的视频直播，降低时延，提高用户视频直播的体验。
【专利说明】
-种行车巧录仪及视频直播方法
技术领域
[0001 ]本发明视频直播领域，尤其设及一种行车记录仪及视频直播方法。
【背景技术】
[0002] 随着汽车技术的不断发展，低廉的汽车价格使得很多普通人都能拥有自己的汽 车，车辆安全成为人们非常关注的问题，同时，客户在开车行驶的旅途中会经过许多美丽的 景点，但是为了安全行驶，不会分出精力来欣赏沿途的美景，给驾驶人留下遗憾、也无法把 沿途的美景分享给好友亲人，因而需要记录车辆周围的视频，提高车辆的安全性的同时能 将视频实时传输给好友观看。
【发明内容】
[0003] 有鉴于此，需提供一种行车记录仪，能实时拍摄视频并分享视频，满足用户的需 求。
[0004] 此外，还需提供一种视频直播方法，能实时拍摄视频并分享视频，满足用户的需 求。
[0005] 本发明实施方式中的一种行车记录仪，包括：图像采集模块、声音采集模块、声音 编码器、第一图像编码器、数据封包模块、数据缓冲模块、传输模块。
[0006] 图像采集模块，用于采集图像数据； 声音采集模块，用于采集声音数据； 声音编码器，用于将所述声音数据编码成音频流； 第一图像编码器，用于将所述图像数据编码成低码流视频流； 数据封包模块，用于将所述音频流和低码流视频流打包成预定协议的数据包； 数据缓冲模块，用于缓存所述预定格式的数据包； 传输模块，用于将所述预定协议的数据包传输给云端服务器和/或播放设备。
[0007] 优选地，还包括： 第二图像编码器，用于将所述图像数据编码成高码流视频流； 视频音频合成模块，用于将所述音频流和所述高码流视频流整合成预定格式的视频文 件； 存储器，用于存储所述预定格式的视频文件； 本地播放器，用于播放所述预定格式的视频文件。
[000引优选地，所述音频流的格式包括44(：、？〔1、40?〔1、6711，所述低码流视频流和所述 高码流视频流的格式包括肥64、肥65、肥61、肥63，所述预定格式的数据包包括1^1^协议数 据包、RTSP协议数据包、RTP协议数据包。
[0009]优选地，所述数据封包模块，还用于自定义设置所述预定协议的格式，其中，所述 自定义设置所述预定协议的格式包括自定义设置所述约定协议的消息体、固定长度的消息 头，其中所述消息头包括消息类型、媒体消息类型、视频分辨率、时间戳、帖编号、版本号，所 述多媒体消息类型包括关键帖、普通帖，所述消息体包括所述音频流、所述低码流视频流及 字幕。
[0010] 优选地，所述数据缓冲模块，还用于检测当前缓存数据占总容量的比值是否大于 最小阔值，当所述当前比值小于所述最小阔值时，将每秒编码图像帖数设置为最大值； 当所述当前比值大于所述最小阔值时，根据
计算当前比值下 对应的每秒图像编码帖数，其中，S为所述当前缓存数据占总容量的比值，S1为缓存数据占 总容量的比值的最小阔值，S2为缓存数据占总容量的比值的最大阔值，V为所述当前比值S 下所需的每秒钟图像编码帖数，VI为所述最大阔值S2对应的每秒图像编码帖数，V2为所述 最小阔值S1对应的每秒图像编码帖数； 第一图像编码器，根据所述每秒图像编码帖数将所述图像数据编码成低码流视频流。
[0011] 本发明还提供视频直播方法，所述方法包括： 采集图像数据； 采集声音数据； 将所述声音数据编码成音频流； 将所述图像数据编码成低码流视频流； 将所述音频流和低码流视频流打包成预定协议的数据包； 缓存所述预定格式的数据包； 将所述预定协议的数据包传输给云端服务器和/或播放设备。
[001^ 优选地，还包括： 将所述图像数据编码成高码流视频流； 将所述音频流和所述高码流视频流整合成预定格式的视频文件； 存储所述预定格式的视频文件； 播放所述预定格式的视频文件。
[001 ；3 ] 优选地，所述音频流的格式包括AAC、PCM、ADPCM、G711，所述低码流视频流和所述 高码流视频流的格式包括肥64、肥65、肥61、肥63，所述预定格式的数据包包括1^1^协议数 据包、RTSP协议数据包、RTP协议数据包。
[0014] 优选地，还包括： 自定义设置所述预定协议的格式，其中，所述自定义设置所述预定协议的格式包括自 定义设置所述约定协议的消息体、固定长度的消息头，其中所述消息头包括消息类型、媒体 消息类型、视频分辨率、时间戳、帖编号、版本号，所述多媒体消息类型包括关键帖、普通帖， 所述消息体包括所述音频流、所述低码流视频流及字幕。
[001引优选地，还包括： 检测当前缓存数据占总容量的比值是否大于最小阔值，当所述当前比值小于所述最小 阔值时，将每秒编码图像帖数设置为最大值； 当所述当前比值大于所述最小阔值时，根据
，计算当前比值下 对应的每秒图像编码帖数，其中，S为所述当前缓存数据占总容量的比值，S1为缓存数据占 总容量的比值的最小阔值，S2为缓存数据占总容量的比值的最大阔值，V为所述当前比值S 下所需的每秒钟图像编码帖数，VI为所述最大阔值S2对应的每秒图像编码帖数，V2为所述 最小阔值S1对应的每秒图像编码帖数； 根据所述每秒图像编码帖数将所述图像数据编码成低码流视频流。
[0016] 本发明提供行车记录仪及视频直播方法，能实时将行车记录仪采集的音视频数据 传输给服务器和播放器，用户能在移动终端上播放行车记录仪实时采集的音视频数据，为 用户提供时延小、清晰度高的视频直播，能提高车辆行车的安全性，同时为用户提供视频直 播。
【附图说明】
[0017] 图1为本发明实施例一行车记录仪的功能模块图。
[0018] 图2为本发明实施例二行车记录仪的功能模块图。
[0019] 图3为本发明实施例Ξ自定义设置的预定协议的示意图。
[0020] 图4为本发明实施例四视频直播方法的流程图。
[0021 ]图5为本发明实施例五视频直播方法的流程图。
[0022] 图6为本发明实施例六控制音频编码速率的流程图。
[0023] 图7为本发明实施例屯控制视频编码速率的流程图。
[0024] 主要元件符号说明_
【具体实施方式】
[0025] 参阅图1，图1为本发明实施例一行车记录仪的功能模块图。行车记录仪10包括:图 像采集模块100、声音采集模块101、声音编码器102、第一图像编码器107、数据封包模块 109、数据缓冲模块113、传输模块115。下面详细介绍各功能模块。
[0026] 图像采集模块100采集图像数据，将图像数据传输给第一图像编码器107,图像采 集模块100包括安装在车上的前摄像头和后摄像头，前摄像头和后摄像头可W同时进行视 频录像获取图像数据，也可W单独进行视频录像获取图像数据。第一图像编码器107对图像 数据进行编码，获得低码流视频流108,将低码流视频流108传输给数据包封包模块109,第 一图像编码器107包括软件图像编码器和/或硬件图像编码器。声音采集模块101采集声音 数据，将声音数据传输给声音编码器102。声音编码器102对声音数据进行编码，获得音频流 103,将音频流103传输给数据封包模块109,其中，音频编码器102包括软件音频编码器和/ 或硬件音频编码器。数据封包模块10則尋音频流103和低码流视频流108打包成预定协议的 数据包，并将预定协议的数据包传输给数据缓存模块113,预定协议的数据包包括RTMP协议 数据包、RTSP协议数据包、RTP协议数据包。数据缓冲模块113存储预定格式的数据包。传输 模块115将预定协议的数据包传输给云端服务器和/或播放设备，W供云端服务器和/或播 放设备进行视频播放。
[0027] 参阅图2,图2为本发明实施例二行车记录仪的功能模块图。在图2所示的行车记录 仪10包括:图像采集模块100、声音采集模块101、声音编码器102、音频流103、第二图像编码 器104、高码流视频流106、第一图像编码器107、低码流视频流108、数据封包模块109、网络 接口 110、P2P接口 111、存储器112、数据缓冲模块113、本地播放器114、传输模块115、播放器 20、视频服务器30、P2P播放器40。下面对各个功能模块进行详细说明。
[0028] 图像采集模块100采集图像数据，将图像数据传输给第一图像编码器107。第一图 像编码器107对图像数据进行编码，获得低码流视频流108,其中，第一图像编码器107包括 软件图像编码器和/或硬件图像编码器，低码流视频流格式包括肥64、肥65、肥61、肥63，将 低码流视频流108传输给数据包封包模块109。声音采集模块101采集声音数据，将声音数据 传输给声音编码器102。声音编码器102对声音数据进行编码，获得音频流103,声音编码器 102包括软件声音编码器和/或硬件声音编码器，其中，音频流的格式包括AAC、PCM、ADPCM、 G711，将音频流103传输给数据封包模块109。数据封包模块10則尋音频流103和低码流视频 流108打包成预定协议的数据包，并将预定协议的数据包传输给数据缓存模块113。数据缓 冲模块113存储预定格式的数据包，传输模块115将预定协议的数据包通过P2P接口 111传输 给P2P播放器40, P2P播放器40接收预定协议的数据包并进行视频播放，P2P播放器40接收的 预定协议的数据包可w是自定义设置预定协议的的数据包。
[0029] 参阅图3,图3为本发明实施例五自定义设置的预定协议的示意图。数据封包模块 109对预定协议进行自定义设置，预定协议的数据包包括消息体507、固定长度的消息头50， 其中消息头包括消息类型501、消息长度502、多媒体消息类型503、视频分辨率504、时间戳 505、帖编号506、版本号507，多媒体消息类型包括关键帖、普通帖，消息体包括音频流、视频 流及字幕。数据封包模块根据自定义设置的预定协议对音频流103、低码流视频流108及字 幕进行封装打包。
[0030] 传输模块115将预定协议的数据包通过网络接口 110传输给视频服务器30,视频服 务器30接收预定协议的数据包并进行视频播，其中网络接口能传输TCP/HTTP/UDP协议的数 据包。预定格式的数据包包括RTMP协议数据包、RTSP协议数据包、RTP协议数据包。
[0031] 第二图像编码器104将图像数据编码成高码流视频流105,将高码流视频流105传 输给视频音频合成器106,其中，第二图像编码器104包括软件图像编码器和/或硬件图像编 码器，高码流视频流格式包括肥64、肥65、H261、H263。声音编码器102还将音频流103传输给 视频音频合成器106。视频音频合成模块106接收音频流103和高码流视频流105，并将音频 流103和高码流视频流105整合成预定格式的视频文件。存储器112存储预定格式的视频文 件，本地播放器114将存储在存储器112中的预定格式的视频文件进行播放。
[0032] 需要说明的是，数据缓冲模块113存储预定格式的数据包，并根据缓存数据所占的 容量大小动态调整音频视频的编码速率，W动态调整数据缓存模块113中的缓存数据大小。 具体地，所述数据缓冲模块113检测当前缓存数据占总容量的比值是否大于最小阔值，当所 述当前比值小于所述最小阔值时，将每秒编码图像帖数设置为最大值；当所述当前比值大 于所述最小阔值时，根巧
计算当前比值下对应的每秒图像编码帖 数，控制图像编码器的编码速度，其中，S为所述当前缓存数据占总容量的比值，S1为缓存数 据占总容量的比值的最小阔值，S2为缓存数据占总容量的比值的最大阔值，V为所述当前比 值S下所需的每秒钟图像编码帖数，VI为所述最大阔值S2对应的每秒图像编码帖数，V2为所 述最小阔值S1对应的每秒图像编码帖数，举例来说，设置缓存数据占总容量的最小阔值为 80%，最大阔值为100%，最小阔值80%对应的每秒图像编码帖数为20帖，最大阔值100%对应的 每秒图像编码帖数为1帖，当检测到当前的缓存数据占总容量的比值S为95%时，此时，根据 公式，计算得相应的每秒图像编码帖数
，第一图像编码器107 根据所述每秒图像编码帖数将所述图像数据编码成低码流视频流，控制图像编码器的编码 速度，W达到调节缓冲数据容量的目的。
[0033] 基于同一发明构思，本发明还提供了一种视频直播方法，由于此方法解决问题的 原理与前述的行车记录仪的各项功能相似，因此，此方法的实施可通过前述行车记录仪具 体实现，重复之处不再寶述。
[0034] 参阅图4,图4为本发明实施例四视频直播方法的流程图。图4所示的视频直播方法 应用于图1-2所示的行车记录仪中。下面对视频直播方法进行详细说明。
[0035] 在步骤S400中，图像采集模块100采集图像数据，将图像数据传输给第一图像编码 器107，需要说明的是，图像采集模块100包括安装在车上的前摄像头和后摄像头，前摄像头 和后摄像头可w同时进行视频录像获取图像数据，也可w单独进行视频录像，获取图像数 据。
[0036] 在步骤S401中，第一图像编码器107对图像数据进行编码，获得低码流视频流108， 将低码流视频流108传输给数据包封包模块109,第一图像编码器107包括软件图像编码器 和/或硬件图像编码器。
[0037] 在步骤S402中，声音采集模块101采集声音数据，将声音数据传输给声音编码器 102。 在步骤S403中，声音编码器102对声音数据进行编码，获得音频流103,将音频流103传 输给数据封包模块109,其中，音频编码器102包括软件音频编码器和/或硬件音频编码器。 在步骤S404中，数据封包模块10則尋音频流103和低码流视频流108打包成预定协议的 数据包，并将预定协议的数据包传输给数据缓存模块113,预定格式的数据包包括RTMP协议 数据包、RTSP协议数据包、RTP协议数据包，预定格式的数据包也可W是自定义设置预定格 式的数据包，自定义设置预定格式的数据包的具体过程请参阅图3的详细说明，运里不再寶 述。
[0038] 在步骤S405中，数据缓冲模块113存储将预定协议的数据包，传输模块115将预定 协议的数据包传输给云端服务器和/或播放设备，W供云端服务器和/或播放设备进行视频 播放。
[0039] 图5为本发明实施例五视频直播方法的流程图。下面对图5所示视频直播方法进行 详细说明。
[0040] 在步骤S500中，第二图像编码器104将图像数据编码成高码流视频流105,将高码 流视频流105传输给视频音频合成器106,其中，第二图像编码器104包括软件图像编码器 和/或硬件图像编码器，高码流视频流格式包括肥64、肥65、肥61、肥63。
[0041 ]在步骤S501中，声音编码器102还将音频流103传输给视频音频合成器106。
[0042] 在步骤S502中，视频音频合成模块106接收音频流103和高码流视频流105，并将音 频流103和高码流视频流105整合成预定格式的视频文件。
[0043] 在步骤S503中，存储器112存储预定格式的视频文件。
[0044] 在步骤S504中，本地播放器114将存储在存储器112中的预定格式的视频文件进行 播放。
[0045] 参阅图6,图6为本发明实施例六控制音频编码速率的流程图。
[0046] 在步骤S600中声音采集模块101采集声音数据，将声音数据传输给声音编码器 102。 在步骤S601中，声音编码器102对声音数据进行编码，获得音频流103,将音频流103传 输给数据封包模块109,其中，音频编码器102包括软件音频编码器和/或硬件音频编码器。 在步骤S602中，数据封包模块10則尋音频流103和低码流视频流108打包成预定协议的 数据包，并将预定协议的数据包传输给数据缓存模块113。
[0047] 在步骤S603中，数据缓存模块113判断当前缓存数据所占容量是否大于预设值。
[0048] 当当前缓存数据所占容量是否大于预设值，在步骤S604中，声音编码器102丢弃部 分音频数据，进行不完整音频编码。
[0049] 图7为本发明实施例屯控制图像编码速率的流程图。
[0050] 在步骤S700中，图像采集模块100采集图像数据，将图像数据传输给第一图像编码 器107，需要说明的是，图像采集模块100包括安装在车上的前摄像头和后摄像头，前摄像头 和后摄像头可W同时进行视频录像获取图像数据，也可W单独进行视频录像，获取图像数 据。
[0051] 在步骤S701中，第一图像编码器107对图像数据进行编码，获得低码流视频流108， 将低码流视频流108传输给数据包封包模块109,第一图像编码器107包括软件图像编码器 和/或硬件图像编码器。
[0052] 在步骤S702中，数据封包模块10則尋音频流103和低码流视频流108打包成预定协 议的数据包，并将预定协议的数据包传输给数据缓存模块113。
[0053] 在步骤S703中，数据缓存模块113判断当前缓存数据所占容量是否大于最小阔值， 预设值可W根据需求自行设定，例如设置预设值为缓存数据占总容量80%。
[0化4]当所述当前比值大于所述最小阔值时，在步骤S704中，根据
，计算当前比值下对应的每秒图像编码帖数，控制图像编码器的编码速度，其中，S为所述当 前缓存数据占总容量的比值，S1为缓存数据占总容量的比值的最小阔值，S2为缓存数据占 总容量的比值的最大阔值，V为所述当前比值S下所需的每秒钟图像编码帖数，VI为所述最 大阔值S2对应的每秒图像编码帖数，V2为所述最小阔值S1对应的每秒图像编码帖数，举例 来说，设置缓存数据占总容量的最小阔值为80%，最大阔值为100%，最小阔值80%对应的每秒 图像编码帖数为20帖，最大阔值100%对应的每秒图像编码帖数为1帖，当检测到当前的缓存 数据占总容量的比值S为95%时，此时，根据公式，计算得相应的每秒图像编码帖数。
[0055] 当所述当前比值不大于所述最小阔值时，在步骤S705中，将每秒编码图像帖数设 置为最大值。
[0056] 在步骤S706中，第一图像编码器107根据所述每秒图像编码帖数将所述图像数据 编码成低码流视频流，控制图像编码器的编码速度，W达到调节缓冲数据容量的目的。
[0057] 本发明提供的行车记录仪及视频直播方法，能实时将行车记录仪采集的音视频数 据并传输给服务器和播放器，用户在移动终端上播放行车记录仪实时采集的音视频数据， 为用户提供时延小、清晰度高的视频直播，能提高车辆行车的安全性，同时为其他用户提供 视频直播。
[005引 W上实施例仅用于说明本发明，而非对本发明的限制，有关技术人员，在不脱离发 明的精神和范围的情况下，还可W做出各种变化和变形，因此所有等同的技术方案也属于 本发明的保护范畴。
【主权项】
1. 一种行车记录仪，其特征在于，包括： 图像采集模块，用于采集图像数据； 声音采集模块，用于采集声音数据； 声音编码器，用于将所述声音数据编码成音频流； 第一图像编码器，用于将所述图像数据编码成低码流视频流； 数据封包模块，用于将所述音频流和低码流视频流打包成预定协议的数据包； 数据缓冲模块，用于缓存所述预定格式的数据包； 传输模块，用于将所述预定协议的数据包传输给云端服务器和/或播放设备。2. 如权利要求1所述的行车记录仪，其特征在于，还包括： 第二图像编码器，用于将所述图像数据编码成高码流视频流； 视频音频合成模块，用于将所述音频流和所述高码流视频流整合成预定格式的视频文 件； 存储器，用于存储所述预定格式的视频文件； 本地播放器，用于播放所述预定格式的视频文件。3. 如权利要求2所述的行车记录仪，其特征在于，所述音频流的格式包括AAC、PCM、 ADPCM、G711，所述低码流视频流和所述高码流视频流的格式包括H264、H265、H261、H263，所 述预定格式的数据包包括RTMP协议数据包、RTSP协议数据包、RTP协议数据包。4. 如权利要求1所述的行车记录仪，其特征在于，所述数据封包模块，还用于自定义设 置所述预定协议的格式，其中，所述自定义设置所述预定协议的格式包括自定义设置所述 约定协议的消息体、固定长度的消息头，其中所述消息头包括消息类型、媒体消息类型、视 频分辨率、时间戳、帧编号、版本号，所述多媒体消息类型包括关键帧、普通帧，所述消息体 包括所述音频流、所述低码流视频流及字幕。5. 如权利要求1所述的行车记录仪，其特征在于，所述数据缓冲模块，还用于检测当前 缓存数据占总容量的比值是否大于最小阈值，当所述当前比值小于所述最小阈值时，将每 秒编码图像帧数设置为最大值； 当所述当前比值大于所述最小阈值时，，计算当前比值下对 应的每秒图像编码帧数，其中，S为所述当前缓存数据占总容量的比值，S1为缓存数据占总 容量的比值的最小阈值，S2为缓存数据占总容量的比值的最大阈值，V为所述当前比值S下 对应的每秒钟图像编码帧数，VI为所述最大阈值S2对应的每秒图像编码帧数，V2为所述最 小阈值S1对应的每秒图像编码帧数； 第一图像编码器，用于根据所述每秒图像编码帧数将所述图像数据编码成低码流视频 流。6. -种视频直播方法，其特征在于，包括： 采集图像数据； 采集声音数据； 将所述声音数据编码成音频流； 将所述图像数据编码成低码流视频流； 将所述音频流和低码流视频流打包成预定协议的数据包； 缓存所述预定格式的数据包； 将所述预定协议的数据包传输给云端服务器和/或播放设备。7. 如权利要求6所述的方法，其特征在于，还包括： 将所述图像数据编码成高码流视频流； 将所述音频流和所述高码流视频流整合成预定格式的视频文件； 存储所述预定格式的视频文件； 播放所述预定格式的视频文件。8. 如权利要求7所述的方法，其特征在于，所述音频流的格式包括AAC、PCM、ADPCM、 6711，所述低码流视频流和所述高码流视频流的格式包括!1264、!1265、!1261、!1263，所述预定 格式的数据包包括RTMP协议数据包、RTSP协议数据包、RTP协议数据包。9. 如权利要求6所述的方法，其特征在于，还包括： 自定义设置所述预定协议的格式，其中，所述自定义设置所述预定协议的格式包括自 定义设置所述约定协议的消息体、固定长度的消息头，其中所述消息头包括消息类型、媒体 消息类型、视频分辨率、时间戳、帧编号、版本号，所述多媒体消息类型包括关键帧、普通帧， 所述消息体包括所述音频流、所述低码流视频流及字幕。10. 如权利要求6所述的方法，其特征在于，还包括： 检测当前缓存数据占总容量的比值是否大于最小阈值，当所述当前比值小于所述最小 阈值时，将每秒编码图像帧数设置为最大值； 当所述当前比值大于所述最小阈值时：，计算所述当前比值 下对应的每秒图像编码帧数，其中，S为所述当前缓存数据占总容量的比值，S1为缓存数据 占总容量的比值的最小阈值，S2为缓存数据占总容量的比值的最大阈值，V为所述当前比值 S下所需的每秒钟图像编码帧数，VI为所述最大阈值S2对应的每秒图像编码帧数，V2为所述 最小阈值S1对应的每秒图像编码帧数； 根据所述每秒图像编码帧数将所述图像数据编码成低码流视频流。
【文档编号】G07C5/08GK106060571SQ201610367502
【公开日】2016年10月26日
【申请日】2016年5月30日
【发明人】张依博
【申请人】湖南纽思曼导航定位科技有限公司