一种对视频流中目标进行实时加框的系统及方法与流程

1.本发明涉及自动驾驶领域，尤其涉及一种对视频流中目标进行实时加框的系统及方法。


背景技术：

2.通常为了进行突破的目标物定位和识别，一般采用两种方法：
3.第一种方法是人工标注，通过标注人员进行目标车辆、人物和障碍物的肉眼识别和定位，进行图片或者视频的打框。该方法好处是框标精度高，像素点级别的目标物也能通过放大之后肉眼可见，缺点是人工成本巨大，需要大量标注人员进行单张图片标注，且耗时较长。
4.第二种方法是借助机器学习的方法，通过对所需要打框的目标物进行识别训练，从而进行打框。缺点是训练的算法需要不断进行迭代更新，达到较高的准确率和召回率需要较长时间的训练。


技术实现要素：

5.本发明针对现有技术中存在的技术问题，提供一种对视频流中目标进行实时加框的系统及方法，解决现有技术中问题。
6.本发明解决上述技术问题的技术方案如下：一种对视频流中目标进行实时加框的系统，包括：采集摄像头、图像分割模块、目标物中心点计算模块和图像目标物矩形框确定模块；
7.所述采集摄像头实时拍摄视频流中的图片或视频，获取视频流中的目标物的横向距离、纵向距离、宽度和高度；
8.所述图像分割模块对视频流中的图片进行区域划分，确定各个区域的横向偏移量和纵向偏移量；
9.所述目标物中心点计算模块根据所述目标物所在的区域确定对应的横向偏移量和纵向偏移量，再结合所述目标物的横向距离和纵向距离确定所述目标物的中心点坐标；
10.所述图像目标物矩形框确定模块根据所述目标物的宽度和高度以及图片与真实的尺寸的比例确定目标物矩形框的大小，再根据所述中心点坐标确定所述目标物矩形框的位置，在图片上进行打标。
11.一种对视频流中目标进行实时加框的方法，包括：
12.步骤1，通过采集摄像头实时拍摄视频流中的图片或视频，获取视频流中的目标物的横向距离、纵向距离、宽度和高度；
13.步骤2，对视频流中的图片进行区域划分，确定各个区域的横向偏移量和纵向偏移量；
14.步骤3，根据所述目标物所在的区域确定对应的横向偏移量和纵向偏移量，再结合所述目标物的横向距离和纵向距离确定所述目标物的中心点坐标；
15.步骤4，根据所述目标物的宽度和高度以及图片与真实的尺寸的比例确定目标物矩形框的大小，再根据所述中心点坐标确定所述目标物矩形框的位置，在图片上进行打标。
16.本发明的有益效果是：本发明提供的一种对视频流中目标进行实时加框的系统及方法，使用摄像头拍摄屏幕中的图片或视频，利用采集摄像头识别目标物的横向距离、宽高度、类型等，通过空间的坐标计算，实现物体位置的快速定位，直接对图片或视频逐帧进行目标物定位和打框；该加框系统及方法响应速度快，针对视频流也能快速且流畅的进行目标物定位加框，环境搭建方便，既不需要标注的人员和设备，也不需要机器学习的训练环境，将摄像头标定好后即可进行图像采集和数据传输。
17.在上述技术方案的基础上，本发明还可以做如下改进。
18.进一步，所述系统还包括pcan设备，所述pcan设备将can网络上的报文通过usb接口进行传输，用于所述采集摄像头与所述目标物中心点计算模块和图像目标物矩形框确定模块之间的信息传输。
19.进一步，所述图像分割模块对视频流中的图片帧进行区域划分包括：
20.以横向的屏幕中线作为水平线，对所述水平线以下的区域进行划分：
21.以屏幕的中心点作为图片帧的中心点，以纵向的屏幕中线作为中心线，根据该位置与所述中心点的连线与中心线的夹角所在范围确定各个横向区域；
22.以设定距离对各个所述横向区域进行等距离的纵向划分。
23.进一步，所述横向区域的数量为四个，四个所述横向区域中的任意一点与所述中心点的连线与中心线的夹角的范围分别为：心点的连线与中心线的夹角的范围分别为：和
24.进一步，所述目标物中心点计算模块计算目标物中心点坐标的公式为：
25.x＝中心点横坐标
‑
目标物的横向距离*对应区域的偏移量*(实际图片水平分辨率/1920)*(纵向距离对应区域偏移量)
‑
相机拍摄角度偏移量；
26.y＝中心点纵坐标
‑
目标物的纵向距离*对应区域的偏移量*横向距离对应区域偏移量*(实际图片垂直分辨率/1080)
‑
相机拍摄角度偏移量。
27.进一步，所述图像目标物矩形框确定模块根据所述目标物的宽度和高度以及图片与真实的尺寸的比例确定目标物矩形框的大小的公式为：
28.目标物矩形框的宽度＝目标物的宽度*真实尺寸到图片尺寸的比例；
29.目标物矩形框的高度＝目标物的高度*真实尺寸到图片尺寸的比例；
30.比例由f＝h*d/h推出，f为焦距，h为图象宽度也是ccd的宽度，d为物体到镜头的距离，h为景物实际宽度。
31.进一步，所述图像目标物矩形框确定模块在图片上进行打框时，将包括类型距离的信息标签同时打在框边；将该打框后的图片用于真值数据对比验证或用于学习训练。
32.进一步，所述步骤2中进行区域划分的过程包括：
33.以横向的屏幕中线作为水平线，对所述水平线以下的区域进行划分：
34.以屏幕的中心点作为图片帧的中心点，以纵向的屏幕中线作为中心线，根据该位置与所述中心点的连线与中心线的夹角所在范围确定各个横向区域；
35.所述横向区域的数量为四个，四个所述横向区域中的任意一点与所述中心点的连线与中心线的夹角的范围分别为：线与中心线的夹角的范围分别为：和
36.以设定距离对各个所述横向区域进行等距离的纵向划分。
37.进一步，所述步骤3中计算目标物中心点坐标的公式为：
38.x＝中心点横坐标
‑
目标物的横向距离*对应区域的偏移量*(实际图片水平分辨率/1920)*(纵向距离对应区域偏移量)
‑
相机拍摄角度偏移量；
39.y＝中心点纵坐标
‑
目标物的纵向距离*对应区域的偏移量*横向距离对应区域偏移量*(实际图片垂直分辨率/1080)
‑
相机拍摄角度偏移量；
40.所述步骤4中确定目标物矩形框的大小的公式为：
41.目标物矩形框的宽度＝目标物的宽度*真实尺寸到图片尺寸的比例；
42.目标物矩形框的高度＝目标物的高度*真实尺寸到图片尺寸的比例；
43.真实尺寸到图片尺寸的比例h/h＝f/d，h为图像中宽度，h为实际宽度,f为焦距，h为景物实际宽度。
44.采用上述进一步方案的有益效果是：根据实际情况对图片进行横向和纵向的区域划分，根据目标物所在区域进行中心点的计算；在图片上进行打框时，将包括类型距离的信息标签同时打在框边方便查看；将该打框后的图片用于真值数据对比验证或用于学习训练，既可以与打标后的真值数据进行摄像头算法的对比验证，也可以将打框后的成果物图片及对应标签信息供机器学习使用。
附图说明
45.图1为本发明实施例提供的一种对视频流中目标进行实时加框的系统的结构框图；
46.图2为本发明实施例提供的一种横向区域划分的示意图；
47.图3为本发明实施例提供的一种对视频流中目标进行实时加框的方法的流程图。
具体实施方式
48.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
49.如图1所示为本发明实施例提供的一种对视频流中目标进行实时加框的系统的结构框图，对传感器采集数据的人车及障碍物进行自动加框，由图1可知，该系统包括：采集摄像头、图像分割模块、目标物中心点计算模块和图像目标物矩形框确定模块。
50.采集摄像头实时拍摄视频流中的图片或视频，获取视频流中的目标物的横向距离、纵向距离、宽度和高度。
51.该采集摄像头一般为单目前视一体机，比如极目jm600c1等。
52.图像分割模块对视频流中的图片进行区域划分，确定各个区域的横向偏移量和纵向偏移量。
53.目标物中心点计算模块根据目标物所在的区域确定对应的横向偏移量和纵向偏移量，再结合目标物的横向距离和纵向距离确定目标物的中心点坐标。
54.图像目标物矩形框确定模块根据目标物的宽度和高度以及图片与真实的尺寸的比例确定目标物矩形框的大小，再根据中心点坐标确定目标物矩形框的位置，在图片上进行打标。
55.本发明提供的一种对视频流中目标进行实时加框的系统及方法，使用摄像头拍摄屏幕中的图片或视频，利用采集摄像头识别目标物的横向距离、宽高度、类型等，通过空间的坐标计算，实现物体位置的快速定位，直接对图片或视频逐帧进行目标物定位和打框；该加框系统及方法响应速度快，针对视频流也能快速且流畅的进行目标物定位加框，环境搭建方便，既不需要标注的人员和设备，也不需要机器学习的训练环境，将摄像头标定好后即可进行图像采集和数据传输。
56.实施例1
57.本发明提供的实施例1为本发明提供的一种对视频流中目标进行实时加框的系统的实施例，结合图1可知，该系统的实施例包括：采集摄像头、图像分割模块、目标物中心点计算模块、图像目标物矩形框确定模块和pcan设备。pcan设备又称为can卡，例如peak
‑
usb。
58.采集摄像头实时拍摄视频流中的图片或视频，获取视频流中的目标物的横向距离、纵向距离、宽度和高度。
59.图像分割模块对视频流中的图片进行区域划分，确定各个区域的横向偏移量和纵向偏移量。
60.具体的，图像分割模块对视频流中的图片帧进行区域划分包括：
61.以横向的屏幕中线作为水平线，对水平线以下的区域进行划分：
62.以屏幕的中心点作为图片帧的中心点，以纵向的屏幕中线作为中心线，根据该位置与中心点的连线与中心线的夹角所在范围确定各个横向区域。
63.以设定距离对各个横向区域进行等距离的纵向划分。
64.具体的，对每个横向区域再进行纵向坐标距离划分，由于100米内和100米外坐标变化差别较大，于是将100米作为一个分界线，每个横向区域内以100m为分界进行纵向的划分，100m内每隔10m进行段划分，然后对每段区域进行单独的坐标计算。
65.优选的，横向区域的数量为四个，四个横向区域中的任意一点与中心点的连线与中心线的夹角的范围分别为：和
66.具体的，如图2所示为本发明实施例提供的一种横向区域划分的示意图，对一张图像水平线以下的区域进行道路分割时，区域1为的夹角组成的中间的θ的范围，区域2、区域3和区域4各包含两个部分，分别占(180
‑
θ)/6的角度，θ可以根据采集摄像头设置，一般摄像头默认θ为75
°
。
67.目标物中心点计算模块根据目标物所在的区域确定对应的横向偏移量和纵向偏移量，再结合目标物的横向距离和纵向距离确定目标物的中心点坐标。
68.具体的，目标物中心点计算模块计算目标物中心点坐标的公式为：
69.x＝中心点横坐标
‑
目标物的横向距离*对应区域的偏移量*(实际图片水平分辨率/1920)*(纵向距离对应区域偏移量)
‑
相机拍摄角度偏移量。
70.y＝中心点纵坐标
‑
目标物的纵向距离*对应区域的偏移量*横向距离对应区域偏移量*(实际图片垂直分辨率/1080)
‑
相机拍摄角度偏移量。
71.其中，对应区域偏移量指的是图中区域一到区域四的不同区域的数据变化关系，是区域与区域之间的；纵向距离对应区域偏移量是指在某个区域里图片像素点y轴位置与真实纵向距离的对应关系中的偏移量之一，是区域内的，这里的偏移量实际上与具体的纵向距离也有关系，同理横向距离；因为同一区域内，横距离的变化会引起图片y轴坐标的变化。
72.根据图2划分为7个区域块，获取图片中心点坐标x0,y0，默认图片为1920*1080，若实际分辨率不为1920*1080，则在原计算过程中进行等比缩放操作。对应区域的偏移量根据目标物所在区域进行区分人为设置。
73.图像目标物矩形框确定模块根据目标物的宽度和高度以及图片与真实的尺寸的比例确定目标物矩形框的大小，再根据中心点坐标确定目标物矩形框的位置，在图片上进行打标。
74.具体的，图像目标物矩形框确定模块根据目标物的宽度和高度以及图片与真实的尺寸的比例确定目标物矩形框的大小的公式为：
75.目标物矩形框的宽度＝目标物的宽度*真实尺寸到图片尺寸的比例。
76.目标物矩形框的高度＝目标物的高度*真实尺寸到图片尺寸的比例。
77.真实尺寸到图片尺寸的比例h/h＝f/d，h为图像中宽度，h为实际宽度,f为焦距，d为物体到镜头的距离(最大清晰距离)。
78.具体实施中，加框的矩形宽高则是根据pcan设备返回的数据进行像素点的计算，若未给出宽高，则根据目标属性进行推算。
79.优选的，图像目标物矩形框确定模块在图片上进行打框时，将包括类型距离的信息标签同时打在框边方便查看；将该打框后的图片用于真值数据对比验证或用于学习训练。
80.既可以与打标后的真值数据进行摄像头算法的对比验证，也可以将打框后的成果物图片及对应标签信息供机器学习使用。
81.pcan设备将can网络上的报文通过usb接口进行传输，用于采集摄像头与目标物中心点计算模块和图像目标物矩形框确定模块之间的信息传输。
82.具体实施中，利用pcan设备与摄像头设备连接，传输一个固定的can报文到采集摄像头中，采集摄像头捕获视频流中的车辆，通过pcan设备接收传回包括横向距离、纵向距离、宽度和高度等数据的报文信息，根据can协议解析报文，根据解析后的报文，提取所需的横向距离、宽高度、类型等字段信息。如表1所示为本发明实施例提供的can数据格式示例表：
83.表1：can数据格式示例表
[0084][0085]
表1中，横坐标为报文解释，从左往右依次为起始、长度、偏移量、区间最小值、区间最大值、系数和单位说明，纵坐标从上往下依次为目标物id、目标物x坐标、目标物y坐标、目标物类型、目标物x方向相对速度和目标物y方向相对速度。
[0086]
实施例2
[0087]
本发明提供的实施例2为本发明提供的一种对视频流中目标进行实时加框的方法的实施例，结合图3可知，该方法的实施例中，首先硬件环境的准备，包括显示器、摄像头和pcan设备，具体实施过程中播放对应的图片或视频，同时启动摄像头和pcan设备。具体包括：
[0088]
步骤1，通过采集摄像头实时拍摄视频流中的图片或视频，获取视频流中的目标物的横向距离、纵向距离、宽度和高度。
[0089]
步骤2，对视频流中的图片进行区域划分，确定各个区域的横向偏移量和纵向偏移量。
[0090]
优选的，进行区域划分的过程包括：
[0091]
以横向的屏幕中线作为水平线，对水平线以下的区域进行划分：
[0092]
以屏幕的中心点作为图片帧的中心点，以纵向的屏幕中线作为中心线，根据该位置与中心点的连线与中心线的夹角所在范围确定各个横向区域。
[0093]
横向区域的数量为四个，四个横向区域中的任意一点与中心点的连线与中心线的夹角的范围分别为：和
[0094]
以设定距离对各个横向区域进行等距离的纵向划分。
[0095]
步骤3，根据目标物所在的区域确定对应的横向偏移量和纵向偏移量，再结合目标物的横向距离和纵向距离确定目标物的中心点坐标。
[0096]
优选的，计算目标物中心点坐标的公式为：
[0097]
x＝中心点横坐标
‑
目标物的横向距离*对应区域的偏移量*(实际图片水平分辨率/1920)*(纵向距离对应区域偏移量)
‑
相机拍摄角度偏移量。
[0098]
y＝中心点纵坐标
‑
目标物的纵向距离*对应区域的偏移量*横向距离对应区域偏移量*(实际图片垂直分辨率/1080)
‑
相机拍摄角度偏移量。
[0099]
步骤4，根据目标物的宽度和高度以及图片与真实的尺寸的比例确定目标物矩形框的大小，再根据中心点坐标确定目标物矩形框的位置，在图片上进行打标。
[0100]
步骤4中确定目标物矩形框的大小的公式为：
[0101]
目标物矩形框的宽度＝目标物的宽度*真实尺寸到图片尺寸的比例。
[0102]
目标物矩形框的高度＝目标物的高度*真实尺寸到图片尺寸的比例。
[0103]
比例由f＝h*d/h推出，f为焦距，h为图象宽度也是ccd的宽度，d为物体到镜头的距离，h为景物实际宽度。
[0104]
具体的，图像目标物矩形框确定模块在图片上进行打框时，将包括类型距离的信息标签同时打在框边。将该打框后的图片用于真值数据对比验证或用于学习训练。
[0105]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。