基于车路协同系统的车载视频处理方法、装置及存储介质与流程

基于车路协同系统的车载视频处理方法、装置及存储介质
1.本发明是申请号为2020112602233，申请日为2020年11月12日，申请类型为发明，申请名称为基于车路协同系统的车载视频处理方法、装置及存储介质的分案申请。
技术领域
2.本发明涉及智能交通技术领域，特别是一种基于车路协同系统的车载视频处理方法、装置及存储介质。


背景技术：

3.当前智能交通系统许多相关的业务，包括车辆身份识别、道路状态监测、事故责任鉴定等等，常常需要高质量的视频数据作为事实判断的依据。但是，受限于摄像头在记录视频时拍摄的角度和光照的条件，传统的固定视角记录方式在现实中往往不能很好地满足各种道路交通业务场景的需求。例如，仅依靠安装在龙门架上的摄像头，就很难完成采集交通事件经过或对编队行驶车龙中所有车辆的车牌识别任务，尤其是在车牌反光、雨雾天气以及夜晚行车这几种情形下。为解决这一矛盾，当前普遍认可的做法是积极开拓其他数据来源，其中一种最简捷的思路就是将车载单元(如行车记录仪)采集的视频记录以无线方式传输给道路路网或交通管理部门，以便后者完成识别、存档和处置业务。例如，专利申请cn201910298644.6就公开了一种用于收集车载视角拍摄交通事故视频信息的系统结构，在提出非区块链视频存储方式已经成为行业共识的基础上，为保障民间视频记录的可溯源性和隐私性提供了一种基于区块链的技术方案。该方案不断地要求新节点对同一视频文件进行整体认证和加密计算动作，而相比区块链技术擅长处理的交易文本记录，高清视频文件的长度无疑要大得多，所以在认证加密之类的处理过程中，视频无效的部分越多，整个系统浪费的计算能耗、存储容量就越大，可见，该方案并不适合对视频处理的响应速度有较强实时性需求的公众性业务场景，尤其是在高速公路这样的场景下。.
4.交通冲突是发生在两个或多个交通参与者之间的路权冲突，具有瞬息万变的特点。若不能及时地得到处理，则交通冲突有可能会演变为两车或多车的交通事故。如何迅速有效地调解交通冲突，制止其事态进一步的恶化，一直是交通安全领域重点关注的核心问题。
5.长远来看，自动驾驶等技术的引入和普及，最终可以实现通过标准化的策略来规范所有车辆的行车行为，从根本上杜绝交通冲突的产生。然而必须承认的现实是，人工操控的社会车辆必将在未来很长的一段时期内和自动驾驶车辆共存于同一个驾驶环境中。在这样的环境中，社会车辆可以依然故我地争取自己的路权，而自动驾驶车辆为了不主动引发事故，则只能采用单方面不断避让的对策(例如交通拥堵辅助系统和责任敏感安全模型)。这直接导致自动驾驶车辆在路权竞争，尤其是与先权位置车辆的交通冲突中处于劣势，甚至造成出行效率的低下。最终，这种劣势会让自动驾驶技术丧失市场吸引力，使得交通冲突的解决更加遥遥无期。显然，在新的技术介入之前，这种困境是自动驾驶车辆再怎么提升单车智能也无法解决的。
6.除外，引入车辆所采集视频后更亟待解决的是数据有效性的问题——如果不加限制地将所有车辆采集的任何视频都纳入到道路管理或交通管理的系统内，那么至少会引发下列三方面问题：1)不限量的高清视频会显著提高无线传输时间，增加存储所需空间，现有通信传输带宽和视频存储方式难以满足车载视频的实时上传与存储；2)过多的无效视频长度将会大量占用道路路网或交通管理部门的管理人员的注意力资源，反而在一定程度上降低了管理人员判断和确认事件的效率；3)增加的无效视频长度和文件数量也会在交通业务处理中无谓地耗费管理系统的计算资源。可以说，在未解决数据有效性问题之前，引入车辆的采集视频方法在实用性和可操作性上仍存在较大的问题。


技术实现要素：

7.本发明针对上述现有技术中的一个或多个缺陷，提出了如下技术方案。
8.一种基于车路协同系统的车载视频处理方法，所述车路协同系统包括中心服务器、车载单元obu和路侧单元rsu，该方法包括以下步骤：
9.步骤s1：所述中心服务器针对路网的各种场景制定不当交通行为规则的特征集合，并将所述特征集合进行发布，在车辆进入路网前，所述车载单元obu通过获取中心服务器发布的当前场景的特征集合，当所述车辆移动到下一场景后，将所述当前场景的特征集合更新为下一场景所对应的特征集合；
10.步骤s2：在所述车辆行驶过程中，所述obu实时对所述车辆的行车记录仪所采集的视频进行实时分析，当判断所述视频中的一对象的行为符合所述特征集合的行为规则时，所述obu将当前时刻标记为该对象的事件达成时刻，并基于所述特征集合将所述事件发生的完整过程的视频上传至所述rsu；
11.步骤s3：所述rsu收到所述视频后，对所述视频记录的事件完整性和原始性进行识别，并依据obu和rsu的共同判断发布暂行现场处理意见，同时将视频和识别结果作为证据存档，向中心服务器上传处理后的视频；
12.步骤s4：所述中心服务器根据所述特征集合对所述rsu所上传的处理后的视频进行分析，当判断所述处理后的视频中的所述对象存在不当行为时，发出警报或提示信息。
13.更进一步地，所述特征集合中的不当交通行为规则包括：违法变道和不规范的车道使用行为、行驶速度过慢、长时间侵占后车的实时路权和在冲突区域进行强行变道抢行，所述中心服务器根据不同时段不同场景实时更新相应的特征集合，所述特征集合还根据事件的类型规定所述obu上传视频的时间范围。
14.更进一步地，所述时间范围为所述事件发生时刻前一段时间的视频记录或采用来自不同车辆的obu的视频记录组合结果作为证据时修改的时间范围。
15.更进一步地，所述步骤s2包括：
16.步骤s21：所述obu实时对所述车辆的行车记录仪所采集的视频进行实时分析，当有新的对象进入画面时，所述obu标识此时刻为该对象对应的活动开始时间；
17.步骤s22：若所述obu检测到画面中的所述存在所述特征集合中的不当交通行为规则所描述的不当行为、或收到其他obu发送的共同上传广播时，则立即记录当前时刻为该目标个体的事件达成时刻，按所述特征集合规定的事件类型对所述视频进行标识，并将描述所述事件所需的最短视频片段传送至附近的rsu中；
18.其中，当收到其他obu发送的共同上传广播时，如果所述规定的所述obu上传视频的时间范围内的缓存视频有未上传的部分，所述obu会将该未上传的部分的视频上传至所述rsu。
19.更进一步地，所述obu基于所述事件的类型向周围其他的车辆的obu和rsu发出共同上传广播，所述共同上传广播至少包括所述对象信息、事件类型及事件达成时刻。
20.更进一步地，所述步骤s3包括：
21.步骤s31：所述rsu对所述视频记录的事件完整性和原始性进行识别；
22.步骤s32：所述rsu对分布在其他多个rsu及其计算存储单元的视频进行汇集，并对所述视频进行合并处理，并对合并处理后的视频建立索引；
23.步骤s33：所述rsu按获得的事件类型对特征规则进行动态修改，并将改后的特征规则发布给附近的obu以获取更多的现场信息。
24.更进一步地，所述rsu还通过预先检测的车辆间的位置以识别真正的事件目击者，以对多辆车辆共同上传的视频进行筛选。
25.更进一步地，所述对象为车辆或行人。
26.本发明还提出了一种基于车路协同系统的车载视频处理装置，其包括至少一个处理器和至少一个存储器，所述存储器存储计算机程序，当所述计算机程序被处理器执行时实现上述任一项的方法。
27.本发明还提出了一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，当所述计算机程序被处理器执行时实现上述任一项的方法。
28.本发明的技术效果为：本发明的一种基于车路协同系统的车载视频处理方法，所述车路协同系统包括中心服务器、车载单元obu和路侧单元rsu，该方法包括以下步骤：步骤s1：所述中心服务器针对路网的各种场景制定不当交通行为规则的特征集合，并将所述特征集合进行发布，在车辆进入路网前，所述车载单元obu通过获取中心服务器发布的当前场景的特征集合，当所述车辆移动到下一场景后，将所述当前场景的特征集合更新为下一场景所对应的特征集合；步骤s2：在所述车辆行驶过程中，所述obu实时对所述车辆的行车记录仪所采集的视频进行实时分析，当判断所述视频中的一对象的行为符合所述特征集合的行为规则时，所述obu将当前时刻标记为该对象的事件达成时刻，并基于所述特征集合将所述事件发生的完整过程的视频上传至所述rsu；步骤s3：所述rsu收到所述视频后，对所述视频记录的事件完整性和原始性进行识别，将视频和识别结果作为证据存档，并向中心服务器上传处理后的视频；步骤s4：所述中心服务器根据所述特征集合对所述rsu所上传的处理后的视频进行分析，当判断所述处理后的视频中的所述对象存在不当行为时，发出警报或提示信息。其可以实现：1)大幅度降低交通现场处理对云端计算量和实时性的需求；2)在保证记录完整性的同时降低视频时长和数据量，减轻对存储空间与操作能力的冲击；3)近乎实时地感知交通异常事件，再通过实时视频记录、举证过程的流程化，结合交通事件处理预案，可以大幅度提高系统的响应能力；4)在基本推断的基础上，道路路网管理部门可以通过有针对性的发布策略，发挥更灵活的作用，规范车辆有序行驶行为，提升路网运行安全及效率。
附图说明
29.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显。
30.图1是根据本发明的实施例之一的一种基于车路协同系统的车载视频处理方法的流程图。
31.图2是根据本发明的实施例之一的车路协同系统的示意图。
32.图3是根据本发明的实施例之一的事件上报的示意图。
33.图4是根据本发明的实施例之一的基于多径tcp(multi
‑
path tcp)数据传输示意图。
具体实施方式
34.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
35.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
36.车载摄像头可以用于记录在车辆跟驰过程中观测到的交通事件，但为了解决背景技术所述的各个问题，目标视频的数据量需要大幅度降低，而且这一操作不能依赖降低图像分辨率或使用有损压缩算法等手段，否则将可能丢失视频画面保存的关键信息，从而使当前视频数据丧失作为交通流数据监测和交通事件判别依据的价值。因此，需要一种在车车协同以及车路协同技术框架的支持下，精确采集交通事件发生经过的高质量视频并有目标性进行记录上传的方法，在不降低数据清晰度的前提下，降低所需传输、处理的视频数据总量，使之有效地形成交通事件的证据，从而进一步提高系统对交通事件的响应速度。
37.图1示出了本发明的一种基于车路协同系统的车载视频处理方法，所述车路协同系统包括中心服务器(可以是云端服务器，下称云端)、车载单元obu和路侧单元rsu，路侧单元rsu包括了与其配套的计算单元，用于进行视频的处理，数据的传送，三者之间都能通过定位卫星无线链接获得精确的时间计数，而且obu与rsu之间通过车联网无线连接技术，如802.11p dsrc和lte
‑
v等，以及相邻的rsu与rsu之间、所有的rsu与云端之间通过有线或无线连接，都可以得到较稳定的通讯传输链路，三者之间的关系示意图如图2所示。
38.所述车载单元obu至少具有以下功能：(1)具有保持与车路协同系统在时间上同步的能力，如通过北斗/gps连接使用定位卫星的高精度时间进行同步，以保证视频时间记录的客观性；(2)本身具有视频拍摄和记录到缓存的硬件功能，或者具备能够实时访问已有记录设备缓存中视频数据的能力，并且具备实时视频分析和特征识别能力；(3)开展车联网通信的能力，如支持lte
‑
v和/或dsrc 802.11p等无线通讯协议，具有发起或接受周围车载单元共同上传视频数据能力。
39.在某些实施例中，obu具备获取当前车辆与前车实时距离数据的能力，这些数据可以来自于实时视频数据分析，也可能来自于其他传感器，例如车前安装的毫米波雷达等等。
40.所述rsu至少具有以下功能：(1)具有一定的计算与存储能力，并能获取精准的时间同步数据；(2)能够获取附近固定检测器的数据，可以通过多功能信息板和各种无线通信
接收及发出各种信息，并发布最新的特征集合数据；(3)有能力发出与obu类似的号召共同上传的广播信息。
41.所述中心服务器至少具有以下功能：(1)按照不同场景、不同时段发布相应的规则特征集合；(2)确认rsu发布信息和obu发布规则特征集合，以及确认rsu上传的视频数据符合规则；(3)分析处理rsu上传视频数据及结合其他系统处置交通事件。
42.方法的详细步骤如下。
43.步骤s1：所述中心服务器针对路网的各种场景制定不当交通行为规则的特征集合，并将所述特征集合进行发布，在车辆进入路网前，所述车载单元obu通过获取中心服务器发布的当前场景的特征集合，当所述车辆移动到下一场景后，将所述当前场景的特征集合更新为下一场景所对应的特征集合；所述中心服务器将所述特征集合进行发布至rsu，当车辆进入路网前，比如进入高速公路的收费站时，所述车辆的obu与所述rsu建立数据通信，从rsu获取所述特征集合，当然，车辆也可以在进入高速公路收费站时直接与中心服务器建立无线连接，从中心服务器直接获取其发布的特征集合。
44.在一个实施例中，云端根据最新的现场场景需求制定交通行为规则特征集合，并通过车路协同系统在指定时间段内将其发布到指定的区域。特征集合不仅定义需要监控的各种交通行为规则特征，而且还设定了记录各种交通事件的开始时刻和中止时刻，从而适应不同类型事件对视频记录的需求，从而精确的记录事件的完整过程，而不必记录多余的视频，保证了数据量整体较小，但清晰度较高。例如，连续变道和货运车辆长期占用非专属车道虽然同属车道不当使用行为，但两种交通事件对视频记录的长度有完全不一致的要求——简单地说，前者只需捕捉到车辆切入车道又在短期内切出车道地行为即可，而后者需要证明货运车辆在其他车道行驶时间超过一定阈值，并且妨碍了后续车辆行驶。对于后一类事件，可以通过在车路或车车间传递事件的进度参数，例如货运车辆已占用车道的累计时间，并通过监控记录的多车接力完成视频举证，因此，要完整地记录某些较为复杂的交通事件，有时需要通过车路共同协作、甚至是多车进行接力协作完成视频拍摄，而且在时间精度上有一定的要求。需要强调的是，本发明不约束特征集合的具体表达形式与格式。例如，传递的信息可以为各种深度学习参数集合，以帮助obu部署合理的人工智能网络模型，对事件状态进行在线推断(inference)。这种方式，本质上也是在指导车辆完成监控视频的分析或采集，因此应归属在本发明的保护范围之内，这也是本发明的重要发明点之一。
45.步骤s2：在所述车辆行驶过程中，所述obu实时对所述车辆的行车记录仪所采集的视频进行实时分析，当判断所述视频中的一对象的行为符合所述特征集合的行为规则时，所述obu将当前时刻标记为该对象的事件达成时刻，并基于所述特征集合将所述事件发生的完整过程的视频上传至所述rsu。
46.在一个实施例中，本发明的obu应具有访问视频数据，并对其作出实时分析的能力，其可以是新型带人工智能的行车记录仪，也可以是传统的行车记录仪加上能实时分析视频的模块。在车辆行驶过程中，obu中的控制器负责比对视频中的车辆及个体行为，实时地提取行为特征，一旦有异常行为符合最新的特征，且obu当前不处于已经开始记录上传的状态中，将会立即标记当前时刻为事件达成时刻，回溯并上传缓冲中的视频数据，在回溯模式下，事件的开始时间点可以取固定的时间长度，也可设为事件的目标个体第一次出现在画面中的时刻；值得一提的是，在经过设置后，驾驶员可以通过手动操作，例如按响喇叭等
动作，作为事件的开始时间点。
47.在一个实施例中，所述步骤s2具体包括：
48.步骤s21：所述obu实时对所述车辆的行车记录仪所采集的视频进行实时分析，当有新的对象进入画面时，所述obu标识此时刻为该对象对应的活动开始时间；
49.步骤s22：若所述obu检测到画面中的所述存在所述特征集合中的不当交通行为规则所描述的不当行为、或收到其他obu发送的共同上传广播时，则立即记录当前时刻为该目标个体的事件达成时刻，按所述特征集合规定的事件类型对所述视频进行标识，并将描述所述事件所需的最短视频片段传送至附近的rsu中；
50.其中，当收到其他obu发送的共同上传广播时，如果所述规定的所述obu上传视频的时间范围内的缓存视频有未上传的部分，所述obu会将该未上传的部分的视频上传至所述rsu。
51.步骤s3：所述rsu收到所述视频后，对所述视频记录的事件完整性和原始性进行识别，并依据obu和rsu的共同判断发布暂行现场处理意见，同时将视频和识别结果作为证据存档，向中心服务器上传处理后的视频。
52.本发明中的rsu可以先对收到所述视频进行分析，判断是否属于疑似紧急状态，例如车辆抛锚或发生事故等等，然后进行应急处理状态即rsu判断当前状态为疑似紧急状态，虽未经过中心服务器确认，需要rsu发布“疑似事故“信息状态，提请往来相关车辆立刻注意并采取避让等紧急措施，以防止二次事故等事件发生；当然车载obu也可以第一时间进行是否紧急状态的判断，或者根据二者的判断结果综合考虑后发布疑似事件判断及处理建议，以更加迅速地提请rsu作出暂行处理意见，并第一时间建议往来相关车辆立刻注意并采取避让等紧急措施，以防止二次事故等事件发生，以提高安全性，降低事故发生率。
53.在一个实施例中，所述步骤s3包括：
54.步骤s31：所述rsu对所述视频记录的事件完整性和原始性进行识别；
55.步骤s32：所述rsu对分布在其他多个rsu及其计算存储单元的视频进行汇集，并对所述视频进行合并处理，并对合并处理后的视频建立索引；
56.步骤s33：所述rsu按获得的事件类型对特征规则进行动态修改，并将改后的特征规则发布给附近的obu以获取更多的现场信息。
57.本发明中，所述rsu还通过预先检测的车辆间的位置以识别真正的事件目击者，以对多辆车辆共同上传的视频进行筛选。本发明中的所述对象为车辆或行人。
58.例如，当视频记录上传到rsu及其配套的计算与存储单元后，该组件将负责对视频进行缓冲和整理，并根据obu的现场信息更新，最终决定缓存视频是否具有保留价值，如有则对视频进行预处理，例如对原始性进行验证计算等等。除此以外，配套计算单元还可以管理rsu下属的视频等交通检测器，当察觉检测数据存在异常特征时，rsu也可以向车辆发出共同提交的广播信号，从而主动地收集视频数据记录以供进一步分析。比如，在车队通过龙门架时，rsu通过门架上已有的视频检测功能对车龙中的车辆位置进行记录，进一步筛选出对事件记录有价值的obu位置。以图3为例，为了完整地记录目标(target)的鲁莽驾驶行为，由直接相关用户(user)提出共同上传广播，现场除目标个体外所有的在场车辆都可能会提交视频，但通过相对位置判定，可知有价值的拍摄角度仅为后方的举证车辆(witness)，从而筛选了无用(innocent)的拍摄角度和视频记录。实际上，只需要较粗略的相对位置关系，
就可以判断其他车辆所记录视频对目标事件是否具有举证价值。因此，通过rsu记录的位置关系，可以实现有选择地接收来自其他车辆由共同信号触发而提交的视频记录，从而进一步缩小视频处理范围，降低了数据量。从另一个角度上看，相当于路侧rsu有选择地让部分obu提供事件的抓拍抓录功能。这是本发明的另一个重要发明点。
59.步骤s4：所述中心服务器根据所述特征集合对所述rsu所上传的处理后的视频进行分析，当判断所述处理后的视频中的所述对象存在不当行为时，发出警报或提示信息。比如，提醒交管部门进行处理，所述中心服务器还可根据上传的的视频实时更新特征集合，并实时地发布到obu及rsu，使得当所述车辆移动到下一场景后，将所述当前场景的特征集合更新为下一场景所对应的特征集合。
60.在一个实施例中，所述特征集合中的不当交通行为规则包括：违法变道和不规范的车道使用行为、行驶速度过慢、长时间侵占后车的实时路权和在冲突区域进行强行变道抢行，所述中心服务器根据不同时段不同场景实时更新相应的特征集合，所述特征集合还根据事件的类型规定所述obu上传视频的时间范围。所述时间范围为所述事件发生时刻前一段时间的视频记录或采用来自不同车辆的obu的视频记录组合结果作为证据时修改的时间范围。
61.在一个实施例中，特征集合的事件信息还包括某些可调整参数，例如违法变道和不规范的车道使用行为的时间参数、行驶速度过慢的速度参数等等，这些参数可以作为事件的判断阈值，当不当交通行为满足阈值规定的时间或速度范围时，进行不当交通行为的上报，而中心服务器通过调整这些参数或参数范围，可以改变事件误报和漏报的比例，更加适应实际路况，例如，5秒内跨越2条车道的即上报为违规变道，与10秒内跨越2条车道被判定为违规变道相比，前者的误报率高但漏报率低，这需要根据实际路况和相关交通法规进行调整确定。
62.在一个实施例中，所述obu基于所述事件的类型向周围其他的车辆的obu和rsu发出共同上传广播，所述共同上传广播至少包括所述对象信息、事件类型及事件达成时刻。
63.在上传/标识的同时，obu/rsu还可以发出共同上传广播，号召其他在场的obu提交有价值的目击证据。该共同上传广播既可以是与rsu的定向通讯，也可以是不定向地广播信号。如果rsu/obu收到附近车辆发出的共同提交消息，也会尽量将记录在缓存中对应时段的视频进行保留/上传。此外，拍摄的视频在缓存中可以存储成若干个可设定时长的小片段，从而便于让obu在传输完部分片段后，再次定位信号最强的rsu，得以顺利完成视频的上传，即在视频上传时，不需要停车。值得一提的是，在默认设置下，obu仅公开和上传拍摄到的车前和/或车后画面，而车内的画面和声音则不进行上传。这对obu用户来说，可以保护司乘人员的隐私。
64.本发明中，视频小片段的最小单位是帧，obu一帧的内容一般是一张1080p的图像。在车路协同无线技术体系(如lte
‑
v)下，rsu和obu之间的最高传输速率至少达到10mbps，该传输速率可以保证rsu和obu之间建立链接后较短的时间内至少可以传送完1个最小单位的数据内容片段，即1张1080p的帧图像，并得到反馈结果。在rsu产品标准传输距离为500米的情况下，每隔400米设置一个rsu设备架设点，那么理论上就可以避免信号盲区。rsu设备(包括其计算单元)之间一般通过光纤连接，在极端情形下少数采用4g/5g进行连接；而且rsu不仅只连接服务中心，地理位置相邻的rsu也可以部署为互联互通的状态，因此，rsu之间能实
现稳定高速率的数据传输。从而保证车辆在行驶过的区域可以通过下文所述的方式不间断地完成上传。
65.一个优选的实施例如图4所示，假设当事车辆在位置i与rsu a建立连接，通过rsu a告知系统要表达的事件类型，自己的身份(是user还是witness)，片段的长短(如帧数)等信息。系统可以通过初始信息估算(该工作实际可以由rsu a所带边缘计算设备完成)传输及预处理完成时车辆所处的位置(这里假定为位置ii)，并选取相应的处理设备(如rsu c所带的边缘计算设备)作为obu数据传输的目的地。于是，在从位置i行驶到位置ii的过程中，车辆可以一直通过最近的rsu与传输目的地建立连接，这样的链路包括但不限于：无线信道1
‑
光纤链路ab
‑
光纤链路bc；无线信道2
‑
光纤链路bc；无线信道3，等等。
66.在某些位置(例如位置ii)，车载obu可以同时通过两条或以上的通路与目的地建立tcp连接，这时obu可以选取信号最强、传输速率较强，或者连接维持时间较长的一路作为主要的通路，但更实用的做法是obu分别利用两条通路同时上传不同的数据片段。这种传输方式称为多径tcp(multi
‑
path tcp)传输，属于链路层的通信技术，类似的技术完全可以应用于车联网场景。
67.在完成数据传输后，视频数据在rsu c所带的边缘计算设备中进行汇总、判别后，边缘计算设备会完成两项工作：首先是立即以边边协同(即rsu
‑
rsu合作)方式发布必须的道路暂行状态或新的特征集合，其次是将视频数据上传到nvr和将处理建议上交给中心，这样即使后一流程需要花费较长的时间，暂行状态或新特征的发布也能让相关车辆及时得到反馈。
68.需要说明的是，上述过程中的目的地估算过程并不是完全必要的，目的地完全可以简单地选择为rsu a所附带的边缘计算设备，或者直接选择上传到路段管理中心的nvr和数据处理计算中心处。
69.本发明还提出了一种基于车路协同系统的车载视频处理装置，其包括至少一个处理器和至少一个存储器，所述存储器存储计算机程序，当所述计算机程序被处理器执行时实现上述任一项的方法。
70.本发明还提出了一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，当所述计算机程序被处理器执行时实现上述任一项的方法。
71.以下是利用本发明的方法进行事件识别的一些具体的实例。
72.现有的一些交通管理应用可以利用本发明作为辅助或补充数据源，其中一个实施例就是对高速公路上车辆的收费状况进行稽查。在这类场景中，由于obu视频记录的拍摄角度处于车队跟驰的位置，而且可以通过车头灯进行照明，因此即使在夜间或较恶劣天气环境下，也可以大大提高车牌及车型识别的成功率，从而为在这些情景下为辅助收费稽查工作提供较有效的视频举证数据。即使车龙中存在较多的车辆，只要附近的车辆上obu的普及率较高，那么基于视频记录的收费稽核也能较密集而顺利地进行。而且，相对于让道路管理中心的云端服务器被动地接收视频，本发明中obu与rsu双向沟通可以使稽查执行得更具目的性，即更有效率。例如，云端可以提前将已经成功识别的车辆信息表下发给obu，并将触发视频记录上传的条件定为“未在表的车辆正在使用道路资源”事件，从而指导obu进行实时比对排查。如果obu拍摄视频画面中的车辆车牌或车型信息不在该信息表中，则可以将新车辆的拍摄片段上交给rsu作为留存证据，同时云端将更新下发的车辆信息表，将已确认的车
辆特征加入到已排查信息表中。于是，跟驰车辆的obu就等价于一个移动的龙门架，通过视频记录提取的数据作为还原目标车辆轨迹算法的输入，可以有效帮助系统在目标车辆离开公路前完成及时正确扣费，减少漏查错扣的概率，并节省后续追缴等工序。
73.本发明的另一个传统场景实施例是交通事故的快速鉴定。由于obu一直进行视频分析，因此可以提供交通事件发生后现场类型的初步判断，而rsu则主要负责复核。在获得初步判断后，rsu及其配套计算系统就可以先针对不同的交通事故类型，给出相应的快速响应处理意见，提高交通事故处理效率和避免事态恶化。例如，对责任归属清晰、存有完整视频证据链的轻微事故给出快速责任划分结果，并敦促事故相关车辆尽快离开现场，防止二次事故发生或加剧交通拥堵；如果发生的是较为严重的交通事故，那么rsu在执行快速复核后，就可以先发布疑似事故状态，从而尽量避免二次事故的发生，直至事故被人工确认，交通状态被正式改变为止。在这类场景中，obu与rsu之间的通讯不但保证了交通事故发生经过能尽可能地得以保留，通过obu的已有分析还可以初步获知现场状态类型，这在一定程度上减轻rsu计算负担，再结合不同的预案对事故进行快速处理，能够有效提升系统的响应效率，防止交通安全事故或交通拥堵的产生。
74.上述事故快速鉴定的实施例尽管也是本发明的适用场景，但所描述的应对措施本质上属于在交通事件发生后作出的被动反应，并未发挥出本发明技术特征的完全优势。实际上，随着智能终端普及率以及事件推断正确率的提升，本发明更积极的意义在于云端服务器能够在事件初期就对事态发挥正面影响，主动地对用户的驾驶行为进行塑造和规范，最终避免一部分交通安全冲突和交通拥堵事件。
75.在现实中，有相当一部分恶性交通事故其实是由一连串小型冲突逐步升级而成的，本发明可用于及早发现这种小型冲突并通过威慑阻止这种冲突升级为恶性事故。例如，在传统跟驰行驶场景中，有时候前车会进行不恰当的别车或超车行为，由于缺乏及时合法的申诉途径，后车有可能因斗气而开始报复性驾驶，结果造成前车也有意识地进行对抗性的驾驶操作，恶性循环导致事态一发不可收拾，最终成为严重交通事故。要杜绝这种“路怒症”事件的发生，一方面既要通过安全教育提高驾驶者的安全意识，另一方面也要为该情景下的后车提供合法合理而且可以随时进行上报的举证手段。本发明中的obu设备就可以很好地满足这一需求。
76.考虑后车在上述场景中装备了obu设备时的情形：当前车发生了不规范的超车或别车行为，对后车的正常行驶构成威胁时，可以记录事件为“前方车辆存在鲁莽驾驶行为”，通过自动或者手动(如鸣笛)的方式激活后车obu视频的记录及上传；当记录上传完成并被存档后，obu可以通知后车驾驶员视频证据已经被采纳。同时，由于共同上传信号的发送，路侧视频监测和附近相关车辆obu所缓存的视频片段也会一并被采集，作为考证前车是否构成鲁莽驾驶行为的共同依据。如果确认了前车的责任，那么系统就可以及时在匝道口处对事件责任方进行正确处置，并将处理结果反馈给后车。这一方面可以消除后车发生斗气报复行为的想法，另一方面，部分后车即使没有装载obu，通过鸣笛等行为也可以对前车的鲁莽驾驶行为产生威慑作用。因此，本发明的应用将会对所有车辆的驾驶行为习惯产生正面的影响。
77.在一个实施例中，如果云端服务器能够精准地界定每一辆车在整个行程中的实时路权，那么本发明可以应用于规范道路交通流特性，从而提高部分场景下的机动车出行效
率。具体来说，要同时保证道路通行能力与运行效率，机动车出行必然要采用编队行驶状态；要保持稳定的编队行驶状态，车队中的每一辆车都应该采用相同的速度行进；如果车队中有一辆车的速度较慢，那么其后方的车辆就只能以同样甚至更缓慢的车速进行编队行驶，此时该较慢的车就成为了后方车辆的瓶颈。因此，要保证稳定的机动车出行效率，不仅要捕捉如超车、频繁变道这类鲁莽驾驶行为，还要设法提醒缓行车辆在允许的情况下进行加速，消除车队中的瓶颈。在车队都装备了obu的前提下，本发明可以通过在触发条件中加入“前方车辆侵入己方实时路权空间”这一事件，实现对车队具体瓶颈的感知。只要前方车辆减速到一定程度，必然会侵入当前车辆的实时路权，并触发视频记录。rsu可以通过追溯车队中最早的实时路权侵入事件找到形成瓶颈的具体车辆，如果判断车辆可以进行加速，那么可以通过车载终端或者vms进行消息提示，要求瓶颈车辆进行加速。通过上述rsu与obu的协作，可以消除车队中所有的瓶颈，最终保证编队行驶在道路特别是高速公路上达到预定的运行效率。
78.本发明的方法可以实现以下技术效果：1)大幅度降低交通现场处理对云端计算量和实时性的需求；2)在保证记录完整性的同时降低视频时长和数据量，减轻对存储空间与操作能力的冲击；3)近乎实时地感知交通异常事件，再通过实时视频记录、举证过程的流程化，结合交通事件处理预案，可以大幅度提高系统的响应能力；4)在基本推断的基础上，通过有针对性的发布策略，可以发挥更灵活的作用，道路路网管理部门通过视频记录，规范车辆有序行驶行为，提升路网运行安全及效率。
79.为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本技术时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
80.通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例或者实施例的某些部分所述的方法。
81.最后所应说明的是：以上实施例仅以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。