基于硬件加速的车牌实时识别系统

本发明涉及计算机视觉，尤其涉及一种基于硬件加速的车牌实时识别系统。

背景技术：

1、车牌识别检测是智能交通领域中的重要研究课题。现如今，车辆已成为我们生活的一部分，在极大得方便出行的同时，也出现了很多问题。车牌识别在交通检测，拥堵控制，违规监控，可疑车辆检测等方面有着重要的作用。但是，在大雾天气下，能见度很低，车辆细节信息损失严重，这给车牌识别带来极大的困难，而且对于大视场的镜头，车牌图像只占整幅图像的一小部分，使用一整幅图像进行车牌识别，识别精度很难保证，在识别的过程中，需要处理的数据量也极为庞大，这就直接导致检测耗时长，难以实现高帧率、高分辨率图像的实时检测。着眼新时代计算机视觉领域的发展趋势，亟需一种能适应复杂环境、大视场、高帧率、高分辨率视频车牌实时检测的方法。

技术实现思路

1、在大雾天气等复杂环境，对于大视场的镜头，车牌图像只占整幅图像的一小部分，使用一整幅图像进行车牌识别，在识别的过程中，存在处理的数据量也极为庞大，导致检测耗时长，难以实现高帧率、高分辨率图像实时检测的问题。针对前述问题，本发明提出一种基于硬件加速的车牌实时识别系统，采用fpga处理板进行图像去雾处理和车牌号码区域定位后，在由上位机软件中的车牌识别模块进行号码识别，不仅提高车牌号码识别精度，而且提高图像数据实时处理速度。

2、本发明的技术方案为：一种基于硬件加速的车牌实时识别系统，所述系统包括fpga处理板、车牌识别模块；

3、所述fpga处理板根据视频图像输入源，使用去雾模块对图像做硬件去雾处理，将去雾后的图像传输给车牌定位模块进行车牌位置预选；

4、将位置坐标与坐标为中心的区域图像传输给上位机软件中的车牌识别模块，通过车牌识别模块对车牌字符进行识别。

5、在上述技术方案中，fpga处理板包括1个hdmi输入接口、2路光纤输入/输出接口、1路hdmi输出接口、1路千兆以太网输出接口、1颗fpga处理芯片、4颗ddr3颗粒；

6、其中：

7、hdmi输入接口，用于接hdmi线，用于输入电脑设备投影；

8、光纤输入/输出接口，通过接光纤线至相机端，由输入接口输入相机视频图像，由输出接口对相机发送指令，例如：调整曝光、分辨率等相机参数；

9、hdmi输出接口，将去雾后的视频图像输出至显示器以查看去雾效果；

10、以太网输出接口，用于将位置坐标与指定区域图像上传至上位机软件，利用上位机软件中的车牌识别模块对车牌字符进行识别；

11、fpga处理芯片，用于完成去雾处理和车牌位置预选所需的计算；

12、ddr3颗粒，用于缓存图像和计算数据。

13、在上述技术方案中，指定区域图像具体为：以定位的车牌区域几何中心为坐标原点，以笛卡尔坐标系为参考坐标系，向x轴正负方向、y轴正负方向各扩展x1、y1个像素所包围成的矩形区域，x1、y1的设定值与fpga处理芯片的计算能力相关。

14、在上述技术方案中，去雾模块包括下述处理：

15、通过将输入图像的每一个像素拆分为3个8bit数据，使用比较器对3个数据作比较，将最小值作为输入视频图像的暗通道图像的像素值，并按照原图像时序输出；

16、将输出的暗通道图像的像素值，采用bram资源构建9×9的滤波窗口作为基础模板，以5×5的子窗口对基础模板进行遍历，先计算每个子区域像素均值，再计算均值与中心点像素值之差，之后选择差值最小的子区域进行最小值滤波得到处理后的暗通道图，用来计算透射率；

17、对暗通道像素值做累加操作，累加结果存储在bram的各个地址中，每一地址对应一个灰度值的直方图统计结果，通过统计直方图来估计前一帧暗通道图约前0.1％像素的均值作为阈值，将前一帧与当前帧的数据缓存在ddr单元中，再在当前帧的三通道分别根据像素与阈值的差值进行线性调整来估计大气光值；

18、基于透射率和大气光值，利用雾天成像模型，获得去雾图像。

19、在上述技术方案中，车牌定位模块包括下述处理：

20、将去雾处理后的rgb图像进行色彩空间转换，转换到ycbcr彩色空间；

21、利用fpga并行处理，同时对其cb和cr分量提取灰度图像，进而得到目标信息增强的灰度图像；

22、对目标信息增强的灰度图像进行二值化分割，再进行形态学处理以完成目标区域几何尺寸的还原以及散斑状干扰的滤除。

23、在上述技术方案中，目标信息增强的灰度图像获取步骤包括：

24、对cr分量灰度图像逐像素点按照行场时序进行遍历，分别设置两个寄存器来存放目标像素范围值和像素均值；

25、在遍历结束后，在cr分量中将像素均值和目标像素范围值的差值作为阈值c，将阈值c与cr分量比较后得到处理后的cr分量灰度图，并将处理后的cr分量灰度图存放在ddr中；

26、将同一帧下的cb分量灰度图像与处理后的cr分量灰度图从ddr缓存单元读出，使用dsp资源逐像素做差值运算，得到目标信息增强的灰度图像。

27、在上述技术方案中，形态学处理包括：

28、首先，对二值化分割的灰度图像进行膨胀处理，对车牌区域的孔洞进行连通，使用bram构建行缓存结构；在完成三行数据缓存后，将图像读出至所需尺度的寄存器阵列中构建卷积单元，由寄存器构建的卷积核大小为固定的9×9；

29、然后，进行两次腐蚀，腐蚀卷积核分别为9×9、3×3大小，完成目标区域几何尺寸的还原以及散斑状干扰的滤除。

30、在上述技术方案中，在进行二值化分割后，采用改进的包围盒目标检测算法对含有车牌区域的二值化图像进行识别：

31、首先，定义一个bram存储器，以逐行扫描的方式对ddr读出图像中有重叠区域的线条进行面积累加，累加结果依次存储在bram地址中的最小存储单元中，在搜索过程中对闭合区域进行标记，标记结果放置在寄存器中，并记录该闭合区域的面积、两侧顶点的坐标信息，在图像搜索结束时对所有闭合区域面积送进比较器中进行比较，并设置面积范围和长宽比例作为过滤条件，该条件参考实际车牌长宽比例，以此筛选出概率最大的闭合区域作为目标车牌；

32、然后，对目标车牌坐标进行输出平滑，平滑操作是对检测出的两次结果之间设定一固定极限差值，通过dsp对两次结果做减法运算，并将减法结果与极限差值送比较器，若结果在设定的限定范围内则采用原有结果，若超出范围则将极限差值赋值给最终结果。

33、在上述技术方案中，过滤条件存储在fpga的rom资源中。

34、在上述技术方案中，车牌识别模块包括下述处理：

35、基于接受的位置坐标，对车牌坐标进行坐标偏移处理，得到实际位置信息；

36、对车牌图像构建矩形形状的结构元素，对二值化图像依次进行腐蚀、膨胀，将构建的结构元素和处理后的二值化图像相减，以此得到去除冗余部分的图像；

37、对去除冗余部分的图像，遍历每一个像素点，得到该图像的每一列的目标像素个数；

38、步骤s：将每一列的目标像素个数和设定阈值a作比较，判断该列是否为字符；

39、若不为字符，将目标像素个数大于设定阈值a的连续列数和设定阈值b作比较，用来更新字符位置信息；

40、若为字符，将字符宽度进行累加，当字符宽度不再累加，则当前字符位置定位结束，开始定位下一个字符；

41、返回步骤s，直到车牌上的8个字符位置全部定位结束；

42、利用模板匹配进行字符识别，创建仿射变换目标图像，计算仿射变换矩阵，对加载图形进行仿射变换操作，再与字符库作对比，输出识别的车牌号码。