行车信息的记录方法和装置的制造方法
【专利摘要】本发明提供一种行车信息的记录方法和装置，应用于行车记录终端，根据拍摄频率拍摄视频生成视频信息，从所述视频信息中根据采样频率采样得到采样图像；对采样图像逐帧进行分析，确定开始出现违章现象的特征图像帧；从采样图像中提取特征图像帧及其前M张图像帧和后N张图像帧，或者从视频信息中提取特征图像帧所处时刻的前I秒和后J秒的视频信息；获取所提取的图像帧或视频信息对应的时间信息和位置信息；按照违章现象的类型分类保存所提取的图像帧或视频信息及其对应的时间信息和位置信息。上述行车信息的记录方法和装置实用性较好。
【专利说明】
行车信息的记录方法和装置
技术领域
[0001]本发明涉及行车信息采集技术领域，具体而言，本发明涉及一种行车信息的记录方法和装置。【背景技术】
[0002]近年来，由于上路的车辆的增多，交通违章行为也在增多，使得路上的交通监控承受很大压力。对于很多的违章行为由于监控资源的不足无法得到有效监督，从而影响了交通秩序，妨害了交通安全。
[0003]另一方面，近年来，诸如行车记录仪、智能汽车后视镜等等具备拍摄功能的行车记录终端逐渐流行。以行车记录仪为例，行车记录仪即记录车辆行驶途中的影像及声音等相关资讯的仪器。车辆安装行车记录仪后，能够记录汽车行驶全过程的相关视频图像和声音 (行车信息)，可为交通违章和交通事故提供证据。
[0004]然而，传统的行车记录终端由于无法识别交通违章行为，如果用户想将行驶过程中记录有别人车辆(例如前车)交通违章行为的记录数据交给监督部门，则由于记录数据通常数据量巨大而显得十分不便，用户觉得麻烦而不想去交，即使监督部门收到该记录数据也需要浪费大量精力处理，实用性较差。
【发明内容】
[0005]本发明的目的旨在至少能解决上述的技术缺陷之一，特别是实用性较差的技术缺陷。
[0006]本发明提供一种行车信息的记录方法，应用于行车记录终端，包括如下步骤:
[0007]根据拍摄频率拍摄视频生成视频信息，从所述视频信息中根据采样频率采样得到采样图像；
[0008]对采样图像逐帧进行分析，确定开始出现违章现象的特征图像帧；
[0009]从采样图像中提取特征图像帧及其前M张图像帧和后N张图像帧，或者从视频信息中提取特征图像帧所处时刻的前I秒和后J秒的视频信息；
[0010]获取所提取的图像帧或视频信息对应的时间信息和位置信息；
[0011]按照违章现象的类型分类保存所提取的图像帧或视频信息及其对应的时间信息和位置信息。
[0012]本发明中，所述违章现象包括越线违章现象和尾气排放违章现象中的至少之一。
[0013]本发明中，对采样图像逐帧进行分析，确定开始出现违章现象的特征图像帧包括步骤:
[0014]对采样图像逐帧识别道路上的单实线或双实线；
[0015]对采样图像逐帧识别道路上的车辆以及其车轮，生成该车辆各车轮之间构成的特征图形；
[0016]判断单实线或双实线是否与所述特征图形存在交集，若是则确定开始出现越线违章现象。
[0017]本发明中，当识别出该车辆两处车轮时，生成该两处车轮之间构成的线段图形。
[0018]本发明中，对采样图像逐帧进行分析，确定开始出现违章现象的特征图像帧包括步骤:
[0019]对采样图像逐帧识别道路上的车辆；
[0020]对采样图像逐帧识别该车辆排放的尾气，并计算尾气构成的图形范围的面积和该图形范围内像素的平均灰度值；
[0021]判断该图形范围的面积是否超过预设面积，判断该图形范围内像素的平均灰度值是否超过预设阈值，若均是则确定开始出现尾气排放违章现象。
[0022]本发明中，按照违章现象的类型分类保存所提取的图像帧或视频信息及其对应的时间信息和位置信息之后，还包括步骤:
[0023]通过近距离连接方式发送所述保存的信息给移动终端，以使得所述移动终端将所述保存的信息发送给服务器。[0〇24] 本发明中，所述近距离连接方式包括蓝牙无线连接和W1-Fi Direct无线连接。
[0025]本发明中，提取图像帧或视频信息之后，还包括步骤:
[0026]从所提取的图像帧或视频信息中识别违章车辆的车牌信息。[〇〇27] 本发明中:
[0028]若识别成功，则保存该车牌信息、所提取的图像帧或视频信息及其对应的时间信息和位置信息；
[0029]通过近距离连接方式发送所述保存的信息给移动终端，以通过所述移动终端将所述保存的信息发送给服务器。
[0030]本发明中:
[0031]若识别成功，则保存该车牌信息、所提取的图像帧或视频信息及其对应的时间信息和位置信息；
[0032]通过近距离连接方式发送所述保存的信息给移动终端，以通过所述移动终端将所述保存的信息发送给服务器；
[0033]接收由移动终端从所述服务器获取的位于所述位置信息所表征位置周边的交通执法检查点信息并展示；
[0034]接收用户指令，将所述保存的信息通过所述移动终端发送给相应的交通执法检查点。
[0035]本发明中，根据拍摄频率拍摄视频生成视频信息之前，还包括步骤:[〇〇36]获取本车的速度信息；
[0037]基于所述的速度信息的大小确定所述拍摄频率的大小。
[0038]本发明中，根据拍摄频率拍摄视频生成视频信息之前，还包括步骤:[〇〇39]获取本车的速度信息；
[0040]基于所述的速度信息的大小确定所述采样频率的大小。
[0041]本发明还提供一种行车信息的记录装置，包括:
[0042]采集模块，用于根据拍摄频率拍摄视频生成视频信息，从所述视频信息中根据采样频率采样得到采样图像；
[0043]确定模块，用于对采样图像逐帧进行分析，确定开始出现违章现象的特征图像帧；
[0044]提取模块，用于从采样图像中提取特征图像帧及其前M张图像帧和后N张图像帧， 或者从视频信息中提取特征图像帧所处时刻的前I秒和后J秒的视频信息；
[0045]获取模块，用于获取所提取的图像帧或视频信息对应的时间信息和位置信息;及
[0046]保存模块，用于按照违章现象的类型分类保存所提取的图像帧或视频信息及其对应的时间信息和位置信息。
[0047]本发明中，所述违章现象包括越线违章现象和尾气排放违章现象中的至少之一。 [〇〇48]本发明中，所述确定模块包括:
[0049]第一识别单元，用于对采样图像逐帧识别道路上的单实线或双实线；
[0050]第二识别单元，用于对采样图像逐帧识别道路上的车辆以及其车轮，生成该车辆各车轮之间构成的特征图形；[〇〇51]第一判断单元，用于判断单实线或双实线是否与所述特征图形存在交集，若是则确定开始出现越线违章现象。
[0052]本发明中，所述第二识别单元用于:当识别出该车辆两处车轮时，生成该两处车轮之间构成的线段图形。[〇〇53]本发明中，所述确定模块包括:[〇〇54]第三识别单元，用于对采样图像逐帧识别道路上的车辆；
[0055]第四识别单元，用于对采样图像逐帧识别该车辆排放的尾气，并计算尾气构成的图形范围的面积和该图形范围内像素的平均灰度值；
[0056]第二判断单元，用于判断该图形范围的面积是否超过预设面积，判断该图形范围内像素的平均灰度值是否超过预设阈值，若均是则确定开始出现尾气排放违章现象。[〇〇57]本发明中，还包括通信模块，用于:在所述保存模块按照违章现象的类型分类保存所提取的图像帧或视频信息及其对应的时间信息和位置信息之后，通过近距离连接方式发送所述保存的信息给移动终端，以使得所述移动终端将所述保存的信息发送给服务器。 [0〇58] 本发明中，所述近距离连接方式包括蓝牙无线连接和W1-Fi Direct无线连接。
[0059]本发明中，还包括车牌信息识别模块，用于:在所述提取模块提取图像帧或视频信息之后，从所提取的图像帧或视频信息中识别违章车辆的车牌信息。
[0060]本发明中，还包括通信模块；[0061 ]若所述车牌信息识别模块识别成功，则所述保存模块保存该车牌信息、所提取的图像帧或视频信息及其对应的时间信息和位置信息；[〇〇62]所述通信模块通过近距离连接方式发送所述保存的信息给移动终端，以通过所述移动终端将所述保存的信息发送给服务器。[〇〇63]本发明中，还包括交互模块；
[0064]若所述车牌信息识别模块识别成功，则所述保存模块保存该车牌信息、所提取的图像帧或视频信息及其对应的时间信息和位置信息；[〇〇65]所述通信模块通过近距离连接方式发送所述保存的信息给移动终端，以通过所述移动终端将所述保存的信息发送给服务器；
[0066]所述通信模块还接收由移动终端从所述服务器获取的位于所述位置信息所表征位置周边的交通执法检查点信息并展示；
[0067]所述交互模块接收用户指令，将所述保存的信息通过所述移动终端发送给相应的交通执法检查点。
[0068]本发明中，还包括拍摄频率确定模块，用于:在所述采集模块根据拍摄频率拍摄视频生成视频信息之前，获取本车的速度信息;基于所述的速度信息的大小确定所述拍摄频率的大小。
[0069]本发明中，还包括采样频率确定模块，用于:在所述采集模块根据拍摄频率拍摄视频生成视频信息之前，获取本车的速度信息;基于所述的速度信息的大小确定所述采样频率的大小。
[0070]上述的行车信息的记录方法和装置，应用于行车记录终端，根据拍摄频率拍摄视频生成视频信息，从所述视频信息中根据采样频率采样得到采样图像;对采样图像逐帧进行分析，确定开始出现违章现象的特征图像帧;从采样图像中提取特征图像帧及其前M张图像帧和后N张图像帧，或者从视频信息中提取特征图像帧所处时刻的前I秒和后J秒的视频信息;获取所提取的图像帧或视频信息对应的时间信息和位置信息；按照违章现象的类型分类保存所提取的图像帧或视频信息及其对应的时间信息和位置信息。可以通过对采集图像进行违章现象的识别和确定，进而提取违章相关的图像帧或视频信息；提取的图像帧或视频信息，是开始出现违章现象的特征图像帧前后的图像帧和视频信息，数据量相对于整个行车过程所记录的视频数据而言是很少的，并且可以另行保存；用户可以根据需要将保存的信息交给监督部门，而无需将整个行车过程所记录的视频数据上交，也无需用户自行从整个行车过程所记录的视频数据截取相关图像和视频，节约了用户时间，实用性较好;对于监督部门而言，无需对整个行车过程所记录的视频数据进行查证和截取相关信息，提高了处理效率，实用性很好。
[0071]本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。【附图说明】
[0072]本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中:
[0073]图1为一个实施例的行车信息的记录方法流程图；
[0074]图2为一个实施例的对越线违章现象的分析和判断流程图；
[0075]图3为一个实施例的对尾气排放违章现象的分析和判断流程图；
[0076]图4为一个实施例的行车信息的记录装置模块示意图。【具体实施方式】
[0077]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。[〇〇78]本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“親接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
[0079]本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
[0080]本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;PCS(Personal Communicat1ns Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力;PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Posit1ning System，全球定位系统)接收器;常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、 海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
[0081]本技术领域技术人员可以理解，这里所使用的远端网络设备，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云。在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。本发明的实施例中，远端网络设备、终端设备与WNS服务器之间可通过任何通信方式实现通信，包括但不限于，基于 36卩？、^^、1頂4乂的移动通信、基于!^?/1?、1]〇?协议的计算机网络通信以及基于蓝牙、红外传输标准的近距无线传输方式。
[0082]针对传统行车记录终端实用性较差的缺陷，以下提供一种解决该缺陷的行车信息的记录方法和装置。在以下说明中，行车记录终端为具有拍摄功能的终端设备，例如可以是行车记录仪或者智能汽车后视镜等等。[〇〇83]图1为一个实施例的行车信息的记录方法流程图。
[0084]本发明提供一种行车信息的记录方法，应用于行车记录终端，包括如下步骤:
[0085]步骤S110:根据拍摄频率拍摄视频生成视频信息，从视频信息中根据采样频率采样得到采样图像。
[0086]行车记录终端在拍摄记录时，是以一定的拍摄频率(录制频率)来拍摄视频的。一般而言，拍摄频率越高，单位时间内记录的细节越多。因此，可以在行车速度较快时，设置较高的拍摄频率，从而可以记录更多的细节，较好的还原行车过程;可以在行车速度较慢时， 设置较低的拍摄频率，从既保证了可以记录足够的细节，较好的还原行车过程，又降低了拍摄数据的数据量。
[0087]因此，根据拍摄频率拍摄视频生成视频彳目息之如，还可以包括如下确定拍摄频率大小的步骤:获取本车的速度信息；基于的速度信息的大小确定拍摄频率的大小。速度越大，拍摄频率越高;速度越小，拍摄频率越低;速度与拍摄频率成正比关系。然而，可以设置多个速度区间，每个速度区间对应不同的拍摄频率。例如可以设置速度特征值V1、V2、V3，VI <V2<V3;当速度处于0?VI时，拍摄频率为F1;当速度处于VI?V2时，拍摄频率为F2;当速度处于V2?V3时，拍摄频率为F3;其中，FI <F2<F3。
[0088]与拍摄频率类似，采样频率越高，可以得到更多细节的数据；随着行车速度的增加，为了检测更细节的行车过程，需要采集更多细节的数据；因此，根据拍摄频率拍摄视频生成视频信息之前，还可以包括确定采样频率的步骤:获取本车的速度信息;基于的速度信息的大小确定采样频率的大小。速度越大，采样频率越高;速度越小，采样频率越低;速度与采样频率成正比关系。然而，可以设置多个速度区间，每个速度区间对应不同的采样频率。 [〇〇89]得到采样图像后，可以执行步骤S120。[〇〇9〇]步骤S120:对采样图像逐帧进行分析，确定开始出现违章现象的特征图像帧。[0091 ]在本文中，违章现象特指交通违章现象，例如超速、闯红灯、占用非机动车道、危险超车、越线、排放过量尾气等等类型。在以下的实施例中，主要以越线违章现象和尾气排放违章现象两种类型进行说明。
[0092]图2为一个实施例的对越线违章现象的分析和判断流程图，以下描述对越线违章现象的分析和判断，包括步骤:
[0093]步骤S1211:对采样图像逐帧识别道路上的单实线或双实线。[〇〇94]在道路上，黄线用来区分不同方向的车道，一般画在马路正中，好像一条隔离带， 把马路隔成两个方向。监督部门的规定是:[〇〇95]1、无论单黄线还是双黄线，只要是实线，就严禁跨越的，比如超车、转弯、掉头等。行车时没有特别情况就不应该越线。[〇〇96]2、无论单黄线还是双黄线，只要是虚线，就可以在保证安全的情况下超车或掉头。
[0097]3、单黄线一般用于双向4车道以内(包括自行车道)的道路上，双黄线一般用于较宽路面。
[0098]4、如果双黄线，一条是实线，一条是虚线，虚线在哪一侧，那侧的车辆就可以从此临时跨越，比如超车或转弯。[〇〇99]而白线用来区分同方向的不同车道。监督部门的规定是:
[0100]1、虚线是可以越线、并线，调换车道。
[0101]2、实线是不可以越线、并线，不能随意调换车道。
[0102]因此，可以通过图像识别技术对实线进行识别，即对单实线或双实线进行识别。由于单实线或双实线通常为白色或黄色，在道路上会较为显眼，通过图像识别技术可以较容易识别出来，在此不再深入描述。
[0103]需要注意的是，在识别是应该区分开实线和虚线，毕竟穿越实线才是违章。然而， 有的时候由于道路上的车辆较多，即使是实线也可能由于车辆遮盖成为残缺的实线，可能无法识别出是实线还是虚线。此时可以将识别出来的疑似实线或虚线通通都作为实线处理，在图像处理上可以适当对识别出来的残缺的实线或虚线都补偿或延伸为实线，以降低图像识别难度。[〇104]步骤SI 212:对采样图像逐帧识别道路上的车辆以及其车轮，生成该车辆各车轮之间构成的特征图形。
[0105]由于车辆和车轮其特有的轮廓和外观，因此现今的图像识别技术可以较容易识别出来，在此也不再深入描述。
[0106]鉴于现在道路上的车辆多数为四轮汽车，也有少数的多于四轮的汽车，例如六轮的汽车。然而无论是怎么样结构的汽车，对于拍摄者而言，能拍摄到的通常只有汽车的两个面(例如侧面和背面)，甚至只有一个面(只有侧面和背面)。
[0107]对于四轮汽车而言，车辆背面基本上只能拍到两个车轮，而侧面只能拍到两个车轮，因此如果拍摄的汽车是四轮汽车，通常能拍到两个车轮(例如仅仅拍到背面)，或者三个车轮(例如拍到背面和侧面)。对于六轮汽车而言，车辆背面基本上只能拍到两个车轮，而侧面只能拍到三个车轮，因此如果拍摄的汽车是六轮汽车，通常能拍到两个车轮(例如仅仅拍到背面)，或者三个车轮(例如仅仅拍到侧面)，或者四个车轮(例如拍到背面和侧面)。
[0108]两点可以确定两点之间的线段，三点可以确定一个三角形。因此可以通过识别各处车轮来大概模拟出车辆的底盘轮廓。当单实线或双实线穿过某车辆的底盘轮廓，证明该车辆在违章越线。因此，通过判断单实线或双实线是否穿过两处车轮所构成的线段，或穿过三处车辆所构成的三角形，来判断车辆是否违章越线。因此，当识别出该车辆两处车轮时， 生成该两处车轮之间构成的线段图形(即特征图形)。当识别出该车辆三处车轮时，生成该三处车轮之间构成的三角图形(即特征图形)。为了降低数据处理量，可以只通过判断单实线或双实线是否穿过车辆任意两处车轮构成的线段来确定车辆是否越线违章。判断的过程在步骤S1213执行。
[0109]步骤S1213:判断单实线或双实线是否与特征图形存在交集，若是则确定开始出现越线违章现象。当单实线或双实线与上述的特征图形出现交接的时候，即存在交集，此时判定车辆越线违章，所拍摄到的图像帧开始出现越线违章现象。
[0110]图3为一个实施例的对尾气排放违章现象的分析和判断流程图，以下描述对尾气排放违章现象的分析和判断，包括步骤:
[0111]步骤S1221:对采样图像逐帧识别道路上的车辆。同上，通过图像识别技术识别出道路上的车辆是较为常规的技术，在此不做过多描述。
[0112]步骤S1222:对采样图像逐帧识别该车辆排放的尾气，并计算尾气构成的图形范围的面积和该图形范围内像素的平均灰度值。尾气通常具有一定的形态和灰度，在大多数情况下可以与周围环境形成鲜明的对比，因此通过图像识别技术可以有效识别出尾气。
[0113]主要通过识别出尾气的大概形态和浓度来判断尾气是否是过量的排放。由于拍摄的是二维图像帧，因此只能通过识别尾气在图像帧所占的面积来表征尾气的大概形态。而识别浓度，可以通过图像帧中尾气的灰度值来实现，灰度值越高证明浓度越高。因此，可以计算尾气构成的图形范围的面积和该图形范围内像素的平均灰度值来判断是否违章排放尾气。判断的过程在步骤S1223执行。
[0114]步骤S1223:判断该图形范围的面积是否超过预设面积，判断该图形范围内像素的平均灰度值是否超过预设阈值，若均是则确定开始出现尾气排放违章现象。
[0115]在步骤S120确定开始出现违章现象的特征图像帧后，执行步骤S130。
[0116]步骤S130:从采样图像中提取特征图像帧及其前M张图像帧和后N张图像帧，或者从视频信息中提取特征图像帧所处时刻的前I秒和后J秒的视频信息。其中，四个参数M、N、 1、J都是正整数，这四个参数的值既可以是用户自行设置的，也可以是行车记录终端预设的。可以只从采样图像中提取特征图像帧及其前M张图像帧和后N张图像帧，或者只从视频信息中提取特征图像帧所处时刻的前I秒和后J秒的视频信息。也即提取的信息可以只有多张的图像帧，或者只有一小段视频。
[0117]从采样图像中提取特征图像帧及其前M张图像帧和后N张图像帧后，可以合成动态图像;从视频信息中提取特征图像帧所处时刻的前I秒和后J秒的视频信息后，可以合成整体的小视频。例如当1、J都为3时，则代表从视频信息中提取特征图像帧所处时刻的前3秒和后3秒的视频信息，一起合成为6秒的视频信息。
[0118]在本步骤中，是从所采样的图像帧中提取开始出现违章现象的特征图像帧前后的图像帧，或者从拍摄的视频信息中提取开始出现违章现象的特征图像帧前后的视频信息。 所提取信息的数据量相对于整个行车过程所记录的视频数据而言是很少的，并且可以另行保存；用户可以根据需要将保存的信息交给监督部门，而无需将整个行车过程所记录的视频数据上交，也无需用户自行从整个行车过程所记录的视频数据截取相关图像和视频，节约了用户时间，实用性较好;对于监督部门而言，无需对整个行车过程所记录的视频数据进行查证和截取相关信息，提高了处理效率，实用性很好。
[0119]在一些实施例中，提取图像帧或视频信息之后，还可以包括步骤:从所提取的图像帧或视频信息中识别违章车辆的车牌信息。车牌信息是车辆的车牌上展示的信息，通常包含有中文、字母、数字，例如粵B2016。由于车牌通常是高反光的，因而也能通过图像识别技术有效识别出来。但是，也并不排除识别失败的情况，在识别失败的情况下，则无法得到违章车辆的车牌信息；识别成功，则得到违章车辆的车牌信息。识别违章车辆的车牌信息，有利于进行及时违章监督，后面将详细描述。
[0120]步骤S140:获取所提取的图像帧或视频信息对应的时间信息和位置信息。
[0121]当提取了上述的图像帧或视频信息后，同时也获取对应的时间信息和位置信息。 通常位置信息是基于定位技术的定位信息，例如GPS定位信息和北斗定位信息；由于发生违章的时间通常都是较短的，在该较短的时间内位置信息通常变化不大，因此可以只获取开始出现违章现象时的位置信息。而时间信息可以是在提取图像帧和视频信息时就同时获取的。例如拍摄特征图像帧所处时刻为15时48分20秒，对应此时的位置信息为XXX。当1、J都为 3时，则代表从视频信息中提取特征图像帧所处时刻的前3秒和后3秒的视频信息，S卩15时48 分17秒?15时48分23秒之间的视频信息，对应此时的位置信息为XXX。
[0122]步骤S150:按照违章现象的类型分类保存所提取的图像帧或视频信息及其对应的时间信息和位置信息。识别出越线违章的，所提取的图像帧或视频信息及其对应的时间信息和位置信息保存到越线违章类型的分组中；识别出尾气排放违章的，所提取的图像帧或视频信息及其对应的时间信息和位置信息保存到尾气排放违章类型的分组中；识别出其他违章的，也按照该违章类型保存。
[0123]如果提取图像帧或视频信息之后还成功识别出了违章车辆的车牌信息，则此时按照违章现象的类型分类保存该车牌信息、所提取的图像帧或视频信息及其对应的时间信息和位置信息。
[0124]按照违章现象的类型分类保存所提取的图像帧或视频信息及其对应的时间信息和位置信息之后，还可以包括步骤S160。
[0125]步骤S160:通过近距离连接方式发送保存的信息给移动终端，以使得移动终端将保存的信息发送给服务器。近距离连接方式包括蓝牙无线连接和W1-Fi Direct无线连接， 行车记录终端可以与该移动终端预先配对和绑定。行车记录终端通过近距离连接方式发送保存的信息给移动终端后，移动终端将该保存的信息发送给服务器。移动终端与服务器的连接是远程连接，例如2g/3g/4g等移动数据网络连接。通常而言，移动终端可以是具有通信账号的某一终端，服务器可以根据该通信账号与之通信。
[0126]在一些实施例中，如果提取图像帧或视频信息之后还成功识别出了违章车辆的车牌信息，则在步骤S160之后，还可以包括步骤:接收由移动终端从服务器获取的位于位置信息所表征位置周边的交通执法检查点信息并展示;接收用户指令，将保存的信息通过移动终端发送给相应的交通执法检查点。交通执法检查点即为进行违章监督的组织，其具备与上述服务器通信的功能。通常而言，交通执法检查点也可以是具有通信账号的某一终端，月艮务器可以根据该通信账号与之通信。
[0127]具体过程可以是:服务器获取位置信息后，根据位置信息确定位于该位置信息所表征位置周边的交通执法检查点信息(假设存在多于一个的交通执法检查点)，并通过远程连接方式发送给移动终端;移动终端从服务器获取到该交通执法检查点信息后，通过近距离连接方式发送给行车记录终端；行车记录终端接收该交通执法检查点信息后展示给用户，并询问用户需要将上述已保存的信息(该车牌信息、所提取的图像帧或视频信息及其对应的时间信息和位置信息)发送给哪个交通执法检查点。此时，如果用户选择了某一交通执法检查点(通常是用户判断该违章车辆的行驶方向的交通执法检查点)，行车记录终端根据用户选择得到了用户指令，然后将保存的信息通过移动终端发送给相应的交通执法检查点 (即用户选择的交通执法检查点)。这样，如果交通执法检查点得到了违章车辆的车牌信息、 所提取的图像帧或视频信息及其对应的时间信息和位置信息，即可以迅速对可能即将到来的违章车辆进行查处，提高执法效率。
[0128]图4为一个实施例的行车信息的记录装置模块示意图。
[0129]对应上述行车信息的记录方法，以下描述一种行车信息的记录装置。
[0130]—种行车信息的记录装置，该装置应用于行车记录终端，包括:拍摄频率确定模块 100、采样频率确定模块200、采集模块300、确定模块400、提取模块500、获取模块600、保存模块700、通信模块800。
[0131]拍摄频率确定模块用于在采集模块根据拍摄频率拍摄视频生成视频信息之前，获取本车的速度信息；基于的速度信息的大小确定拍摄频率的大小。采样频率确定模块用于在采集模块根据拍摄频率拍摄视频生成视频信息之前，获取本车的速度信息;基于的速度信息的大小确定采样频率的大小。
[0132]采集模块用于根据拍摄频率拍摄视频生成视频信息，从视频信息中根据采样频率采样得到采样图像;确定模块用于对采样图像逐帧进行分析，确定开始出现违章现象的特征图像帧;提取模块用于从采样图像中提取特征图像帧及其前M张图像帧和后N张图像帧，或者从视频信息中提取特征图像帧所处时刻的前I秒和后J秒的视频信息;获取模块用于获取所提取的图像帧或视频信息对应的时间信息和位置信息;保存模块用于按照违章现象的类型分类保存所提取的图像帧或视频信息及其对应的时间信息和位置信息;通信模块用于通过近距离连接方式发送保存的信息给移动终端，以使得移动终端将保存的信息发送给服务器。
[0133]采集模块用于根据拍摄频率拍摄视频生成视频信息，从视频信息中根据采样频率米样得到米样图像。
[0134]行车记录终端在拍摄记录时，是以一定的拍摄频率(录制频率)来拍摄视频的。一般而言，拍摄频率越高，单位时间内记录的细节越多。因此，可以在行车速度较快时，拍摄频率确定模块设置较高的拍摄频率，从而可以记录更多的细节，较好的还原行车过程;可以在行车速度较慢时，拍摄频率确定模块设置较低的拍摄频率，从既保证了可以记录足够的细节，较好的还原行车过程，又降低了拍摄数据的数据量。
[0135]因此，采集模块根据拍摄频率拍摄视频生成视频信息之前，拍摄频率确定模块用于获取本车的速度信息;基于的速度信息的大小确定拍摄频率的大小。速度越大，拍摄频率越高；速度越小，拍摄频率越低；速度与拍摄频率成正比关系。然而，可以设置多个速度区间，每个速度区间对应不同的拍摄频率。例如可以设置速度特征值V1、V2、V3，VI < V2< V3; 当速度处于〇?VI时，拍摄频率为F1;当速度处于VI?V2时，拍摄频率为F2;当速度处于V2? V3时，拍摄频率为F3;其中，FI <F2<F3。
[0136]与拍摄频率类似，采样频率越高，可以得到更多细节的数据；随着行车速度的增加，为了检测更细节的行车过程，需要采集更多细节的数据；因此，采集模块根据拍摄频率拍摄视频生成视频信息之前，采样频率确定模块获取本车的速度信息;基于的速度信息的大小确定采样频率的大小。速度越大，采样频率越高;速度越小，采样频率越低;速度与采样频率成正比关系。然而，可以设置多个速度区间，每个速度区间对应不同的采样频率。
[0137]采集模块得到采样图像后，确定模块用于对采样图像逐帧进行分析，确定开始出现违章现象的特征图像帧。
[0138]在本文中，违章现象特指交通违章现象，例如超速、闯红灯、占用非机动车道、危险超车、越线、排放过量尾气等等类型。在以下的实施例中，主要以越线违章现象和尾气排放违章现象两种类型进行说明。
[0139]以下描述确定模块对越线违章现象的分析和判断。
[0140]确定模块可以包括第一识别单元、第二识别单元和第一判断单元。
[0141]第一识别单元用于对采样图像逐帧识别道路上的单实线或双实线。
[0142]在道路上，黄线用来区分不同方向的车道，一般画在马路正中，好像一条隔离带， 把马路隔成两个方向。监督部门的规定是:
[0143]1、无论单黄线还是双黄线，只要是实线，就严禁跨越的，比如超车、转弯、掉头等。 行车时没有特别情况就不应该越线。
[0144]2、无论单黄线还是双黄线，只要是虚线，就可以在保证安全的情况下超车或掉头。
[0145]3、单黄线一般用于双向4车道以内(包括自行车道)的道路上，双黄线一般用于较宽路面。
[0146]4、如果双黄线，一条是实线，一条是虚线，虚线在哪一侧，那侧的车辆就可以从此临时跨越，比如超车或转弯。
[0147]而白线用来区分同方向的不同车道。监督部门的规定是:
[0148]1、虚线是可以越线、并线，调换车道。
[0149]2、实线是不可以越线、并线，不能随意调换车道。
[0150]因此，可以通过图像识别技术对实线进行识别，即对单实线或双实线进行识别。由于单实线或双实线通常为白色或黄色，在道路上会较为显眼，通过图像识别技术可以较容易识别出来，在此不再深入描述。[〇151]需要注意的是，在识别是应该区分开实线和虚线，毕竟穿越实线才是违章。然而， 有的时候由于道路上的车辆较多，即使是实线也可能由于车辆遮盖成为残缺的实线，可能无法识别出是实线还是虚线。此时可以将识别出来的疑似实线或虚线通通都作为实线处理，在图像处理上可以适当对识别出来的残缺的实线或虚线都补偿或延伸为实线，以降低图像识别难度。
[0152]第二识别单元用于对采样图像逐帧识别道路上的车辆以及其车轮，生成该车辆各车轮之间构成的特征图形。
[0153]由于车辆和车轮其特有的轮廓和外观，因此现今的图像识别技术可以较容易识别出来，在此也不再深入描述。
[0154]鉴于现在道路上的车辆多数为四轮汽车，也有少数的多于四轮的汽车，例如六轮的汽车。然而无论是怎么样结构的汽车，对于拍摄者而言，能拍摄到的通常只有汽车的两个面(例如侧面和背面)，甚至只有一个面(只有侧面和背面)。
[0155]对于四轮汽车而言，车辆背面基本上只能拍到两个车轮，而侧面只能拍到两个车轮，因此如果拍摄的汽车是四轮汽车，通常能拍到两个车轮(例如仅仅拍到背面)，或者三个车轮(例如拍到背面和侧面)。对于六轮汽车而言，车辆背面基本上只能拍到两个车轮，而侧面只能拍到三个车轮，因此如果拍摄的汽车是六轮汽车，通常能拍到两个车轮(例如仅仅拍到背面)，或者三个车轮(例如仅仅拍到侧面)，或者四个车轮(例如拍到背面和侧面)。[〇156]两点可以确定两点之间的线段，三点可以确定一个三角形。因此可以通过识别各处车轮来大概模拟出车辆的底盘轮廓。当单实线或双实线穿过某车辆的底盘轮廓，证明该车辆在违章越线。因此，通过判断单实线或双实线是否穿过两处车轮所构成的线段，或穿过三处车辆所构成的三角形，来判断车辆是否违章越线。因此，当识别出该车辆两处车轮时， 生成该两处车轮之间构成的线段图形(即特征图形)。当识别出该车辆三处车轮时，生成该三处车轮之间构成的三角图形(即特征图形)。为了降低数据处理量，可以只通过判断单实线或双实线是否穿过车辆任意两处车轮构成的线段来确定车辆是否越线违章。
[0157]第一判断单元用于判断单实线或双实线是否与特征图形存在交集，若是则确定开始出现越线违章现象。当单实线或双实线与上述的特征图形出现交接的时候，即存在交集， 此时判定车辆越线违章，所拍摄到的图像帧开始出现越线违章现象。
[0158]以下描述确定模块对尾气排放违章现象的分析和判断。
[0159]确定模块可以包括第三识别单元、第四识别单元和第二判断单元。
[0160]第三识别单元用于对采样图像逐帧识别道路上的车辆。同上，通过图像识别技术识别出道路上的车辆是较为常规的技术，在此不做过多描述。
[0161]第四识别单元用于对采样图像逐帧识别该车辆排放的尾气，并计算尾气构成的图形范围的面积和该图形范围内像素的平均灰度值。尾气通常具有一定的形态和灰度，在大多数情况下可以与周围环境形成鲜明的对比，因此通过图像识别技术可以有效识别出尾气。
[0162]主要通过识别出尾气的大概形态和浓度来判断尾气是否是过量的排放。由于拍摄的是二维图像帧，因此只能通过识别尾气在图像帧所占的面积来表征尾气的大概形态。而识别浓度，可以通过图像帧中尾气的灰度值来实现，灰度值越高证明浓度越高。因此，可以计算尾气构成的图形范围的面积和该图形范围内像素的平均灰度值来判断是否违章排放尾气。
[0163]第二判断单元用于判断该图形范围的面积是否超过预设面积，判断该图形范围内像素的平均灰度值是否超过预设阈值，若均是则确定开始出现尾气排放违章现象。
[0164]在确定模块确定开始出现违章现象的特征图像帧后，提取模块从采样图像中提取特征图像帧及其前M张图像帧和后N张图像帧，或者从视频信息中提取特征图像帧所处时刻的前I秒和后J秒的视频信息。其中，四个参数M、N、1、J都是正整数，这四个参数的值既可以是用户自行设置的，也可以是行车记录终端预设的。从采样图像中提取特征图像帧及其前M 张图像帧和后N张图像帧后，可以合成动态图像;从视频信息中提取特征图像帧所处时刻的前I秒和后J秒的视频信息后，可以合成整体的小视频。例如当1、J都为3时，则代表从视频信息中提取特征图像帧所处时刻的前3秒和后3秒的视频信息，一起合成为6秒的视频信息。
[0165]提取模块是从所采样的图像帧中提取开始出现违章现象的特征图像帧前后的图像帧，或者从拍摄的视频信息中提取开始出现违章现象的特征图像帧前后的视频信息。所提取信息的数据量相对于整个行车过程所记录的视频数据而言是很少的，并且可以另行保存；用户可以根据需要将保存的信息交给监督部门，而无需将整个行车过程所记录的视频数据上交，也无需用户自行从整个行车过程所记录的视频数据截取相关图像和视频，节约了用户时间，实用性较好;对于监督部门而言，无需对整个行车过程所记录的视频数据进行查证和截取相关信息，提高了处理效率，实用性很好。
[0166]在一些实施例中，还可以包括车牌信息识别模块。车牌信息识别模块用于在提取模块提取图像帧或视频信息之后，从所提取的图像帧或视频信息中识别违章车辆的车牌信息。车牌信息是车辆的车牌上展示的信息，通常包含有中文、字母、数字，例如粵B2016。由于车牌通常是高反光的，因而也能通过图像识别技术有效识别出来。但是，也并不排除识别失败的情况，在识别失败的情况下，则无法得到违章车辆的车牌信息；识别成功，则得到违章车辆的车牌信息。识别违章车辆的车牌信息，有利于进行及时违章监督，后面将详细描述。
[0167]获取模块用于获取所提取的图像帧或视频信息对应的时间信息和位置信息。
[0168]当提取模块提取了上述的图像帧或视频信息后，同时获取模块也获取对应的时间信息和位置信息。通常位置信息是基于定位技术的定位信息，例如GPS定位信息和北斗定位信息；由于发生违章的时间通常都是较短的，在该较短的时间内位置信息通常变化不大，因此可以只获取开始出现违章现象时的位置信息。而时间信息可以是在提取图像帧和视频信息时就同时获取的。例如拍摄特征图像帧所处时刻为15时48分20秒，对应此时的位置信息为XXX。当1、J都为3时，则代表从视频信息中提取特征图像帧所处时刻的前3秒和后3秒的视频信息，即15时48分17秒?15时48分23秒之间的视频信息，对应此时的位置信息为XXX。
[0169]保存模块用于按照违章现象的类型分类保存所提取的图像帧或视频信息及其对应的时间信息和位置信息。识别出越线违章的，所提取的图像帧或视频信息及其对应的时间信息和位置信息保存到越线违章类型的分组中；识别出尾气排放违章的，所提取的图像帧或视频信息及其对应的时间信息和位置信息保存到尾气排放违章类型的分组中；识别出其他违章的，也按照该违章类型保存。
[0170]如果提取图像帧或视频信息之后还成功识别出了违章车辆的车牌信息，则此时按照违章现象的类型分类保存该车牌信息、所提取的图像帧或视频信息及其对应的时间信息和位置信息。
[0171]保存模块按照违章现象的类型分类保存所提取的图像帧或视频信息及其对应的时间信息和位置信息之后，通信模块通过近距离连接方式发送该保存的信息给移动终端， 以使得移动终端将保存的信息发送给服务器。近距离连接方式包括蓝牙无线连接和W1-Fi Direct无线连接，行车记录终端可以与该移动终端预先配对和绑定。行车记录终端通过近距离连接方式发送保存的信息给移动终端后，移动终端将该保存的信息发送给服务器。移动终端与服务器的连接是远程连接，例如2g/3g/4g等移动数据网络连接。通常而言，移动终端可以是具有通信账号的某一终端，服务器可以根据该通信账号与之通信。
[0172]在一些实施例中，如果提取模块提取图像帧或视频信息之后还成功识别出了违章车辆的车牌信息，则通信模块发送了该保存的信息给移动终端后，通信模块接收由移动终端从服务器获取的位于位置信息所表征位置周边的交通执法检查点信息并展示;接收用户指令，将保存的信息通过移动终端发送给相应的交通执法检查点。交通执法检查点即为进行违章监督的组织，其具备与上述服务器通信的功能。通常而言，交通执法检查点也可以是具有通信账号的某一终端，服务器可以根据该通信账号与之通信。
[0173]具体过程可以是:服务器获取位置信息后，根据位置信息确定位于该位置信息所表征位置周边的交通执法检查点信息(假设存在多于一个的交通执法检查点)，并通过远程连接方式发送给移动终端;移动终端从服务器获取到该交通执法检查点信息后，通过近距离连接方式发送给行车记录终端；行车记录终端接收该交通执法检查点信息后展示给用户，并询问用户需要将上述已保存的信息(该车牌信息、所提取的图像帧或视频信息及其对应的时间信息和位置信息)发送给哪个交通执法检查点。此时，如果用户选择了某一交通执法检查点(通常是用户判断该违章车辆的行驶方向的交通执法检查点)，行车记录终端根据用户选择得到了用户指令，然后将保存的信息通过移动终端发送给相应的交通执法检查点 (即用户选择的交通执法检查点)。这样，如果交通执法检查点得到了违章车辆的车牌信息、 所提取的图像帧或视频信息及其对应的时间信息和位置信息，即可以迅速对可能即将到来的违章车辆进行查处，提高执法效率。
[0174]上述的行车信息的记录方法和装置，应用于行车记录终端，根据拍摄频率拍摄视频生成视频信息，从所述视频信息中根据采样频率采样得到采样图像;对采样图像逐帧进行分析，确定开始出现违章现象的特征图像帧;从采样图像中提取特征图像帧及其前M张图像帧和后N张图像帧，或者从视频信息中提取特征图像帧所处时刻的前I秒和后J秒的视频信息;获取所提取的图像帧或视频信息对应的时间信息和位置信息；按照违章现象的类型分类保存所提取的图像帧或视频信息及其对应的时间信息和位置信息。可以通过对采集图像进行违章现象的识别和确定，进而提取违章相关的图像帧或视频信息；提取的图像帧或视频信息，是开始出现违章现象的特征图像帧前后的图像帧和视频信息，数据量相对于整个行车过程所记录的视频数据而言是很少的，并且可以另行保存；用户可以根据需要将保存的信息交给监督部门，而无需将整个行车过程所记录的视频数据上交，也无需用户自行从整个行车过程所记录的视频数据截取相关图像和视频，节约了用户时间，实用性较好;对于监督部门而言，无需对整个行车过程所记录的视频数据进行查证和截取相关信息，提高了处理效率，实用性很好。
[0175]应该理解的是，虽然图1?3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图1?3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。[〇176]以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
【主权项】
1.一种行车信息的记录方法，其特征在于，应用于行车记录终端，包括如下步骤: 根据拍摄频率拍摄视频生成视频信息，从所述视频信息中根据采样频率采样得到采样图像； 对采样图像逐帧进行分析，确定开始出现违章现象的特征图像帧； 从采样图像中提取特征图像帧及其前M张图像帧和后N张图像帧，或者从视频信息中提取特征图像帧所处时刻的前I秒和后J秒的视频信息； 获取所提取的图像帧或视频信息对应的时间信息和位置信息； 按照违章现象的类型分类保存所提取的图像帧或视频信息及其对应的时间信息和位置信息。2.根据权利要求1所述的行车信息的记录方法，其特征在于，所述违章现象包括越线违章现象和尾气排放违章现象中的至少之一。3.根据权利要求2所述的行车信息的记录方法，其特征在于，对采样图像逐帧进行分析，确定开始出现违章现象的特征图像帧包括步骤: 对采样图像逐帧识别道路上的单实线或双实线； 对采样图像逐帧识别道路上的车辆以及其车轮，生成该车辆各车轮之间构成的特征图形； 判断单实线或双实线是否与所述特征图形存在交集，若是则确定开始出现越线违章现象。4.根据权利要求3所述的行车信息的记录方法，其特征在于，当识别出该车辆两处车轮时，生成该两处车轮之间构成的线段图形。5.根据权利要求2所述的行车信息的记录方法，其特征在于，对采样图像逐帧进行分析，确定开始出现违章现象的特征图像帧包括步骤: 对采样图像逐帧识别道路上的车辆； 对采样图像逐帧识别该车辆排放的尾气，并计算尾气构成的图形范围的面积和该图形范围内像素的平均灰度值； 判断该图形范围的面积是否超过预设面积，判断该图形范围内像素的平均灰度值是否超过预设阈值，若均是则确定开始出现尾气排放违章现象。6.根据权利要求1所述的行车信息的记录方法，其特征在于，按照违章现象的类型分类保存所提取的图像帧或视频信息及其对应的时间信息和位置信息之后，还包括步骤: 通过近距离连接方式发送所述保存的信息给移动终端，以使得所述移动终端将所述保存的信息发送给服务器。7.根据权利要求6所述的行车信息的记录方法，其特征在于，所述近距离连接方式包括蓝牙无线连接和W1-Fi Direct无线连接。8.根据权利要求1所述的行车信息的记录方法，其特征在于，提取图像帧或视频信息之后，还包括步骤: 从所提取的图像帧或视频信息中识别违章车辆的车牌信息。9.根据权利要求8所述的行车信息的记录方法，其特征在于: 若识别成功，则保存该车牌信息、所提取的图像帧或视频信息及其对应的时间信息和位置信息； 通过近距离连接方式发送所述保存的信息给移动终端，以通过所述移动终端将所述保存的信息发送给服务器。10.一种行车信息的记录装置，其特征在于，包括: 采集模块，用于根据拍摄频率拍摄视频生成视频信息，从所述视频信息中根据采样频率米样得到米样图像； 确定模块，用于对采样图像逐帧进行分析，确定开始出现违章现象的特征图像帧； 提取模块，用于从采样图像中提取特征图像帧及其前M张图像帧和后N张图像帧，或者从视频信息中提取特征图像帧所处时刻的前I秒和后J秒的视频信息； 获取模块，用于获取所提取的图像帧或视频信息对应的时间信息和位置信息;及保存模块，用于按照违章现象的类型分类保存所提取的图像帧或视频信息及其对应的时间信息和位置信息。
【文档编号】H04N5/76GK106097479SQ201610368167
【公开日】2016年11月9日
【申请日】2016年5月30日
【发明人】魏党伟, 李任贤
【申请人】北京奇虎科技有限公司, 奇智软件（北京）有限公司