一种停车场用智能相机的控制方法
【专利摘要】本发明所采用的技术方案是，一种停车场用智能相机的控制方法，该停车场用智能相机包括FPGA可编程器件、DSP处理器、ARM处理器、RAM存储器以及输入输出接口，该输入输出接口包括CCD/CMOS接口、视频流接口、I/O接口、网口和串口。该控制方法包括以下步骤：步骤1：ARM处理器监听输入输出接口，接收控制指令，根据预设的规则将控制指令分类，并发送至FPGA可编程器件和/或DSP处理器进行处理；其中，控制指令包括车牌识别指令、调用内部存储的相应程序指令，如果是车牌识别指令，则转到步骤2执行车牌识别处理；如果是调用内部存储的相应程序指令，则转到步骤3执行相应程序；步骤2：执行车牌识别处理；步骤3：调用内部存储的相应程序并执行。
【专利说明】一种停车场用智能相机的控制方法【技术领域】
[0001]本发明涉及智能相机，具体涉及一种用于工业检测的停车场用智能相机的控制方法。
【背景技术】
[0002]当前工业技术发展速度飞速，在越来越高的人工成本下促使图像处理技术替代人工检测产品表面瑕疵，这就给国内外企业带来技术的更新革命竞赛。例如在停车场用智能相机领域，当前工业检测用途中所使用的智能相机及系统结构主要是以下几种:第一种是国内企业能掌握的比较多基于计算机视觉系统，其需要PC+采集卡+相机+图像处理软件，其特点是:相机采用安防监控用普通模拟相机，经过采集卡采集后到PC进行车牌软件分析。该方法具有相机成本低的优点，但是具有软件开发难度大、系统稳定性差、维护难、需要有编程技术工程师开发项目应用等等的缺点。第二种是基于DSP开发，其需要DSP板+采集卡+相机。该方法的优点是:该类智能相机单独购买，需要一个DSP控制器，体积中等、系统稳定性好，无需PC编辑软件，但具有成本高、不好普及以及需要显示屏和按键操作的缺点。第三种也是基于DSP开发，其与第2种方法的区别是，该类智能相机将采集卡省去，把DSP直接植入到相机内，一颗相机就能替代原来相机的采集卡及车牌识别算法，然后将结果数据和图片发送到服务器端。该类智能相机具有应用简单开发项目容易，体积小，稳定性好等优点，但同时具有成本高，需要用PC编辑软件，无显示屏，需要用PC等缺点。
【发明内容】
[0003]因此，针对上述的问题，本发明提出一种停车场用智能相机及其控制方法，采用FPGA+ DSP+ ARM +触摸显示屏的架构而开发的停车场用智能相机，将(XD、CMOS芯片直接植入到FPGA+DSP+ARM板上 做成体积小的智能相机，其采用的FPGA+ DSP+ARM架构成本低廉，与其他同类产品相比，具有更高处理速度和可靠性，无需PC控制及设定等优势，并解决了现有技术之不足。
[0004]为了解决上述技术问题，本发明所采用的技术方案是，一种停车场用智能相机的控制方法，该停车场用智能相机包括FPGA可编程器件、DSP处理器、ARM处理器、RAM存储器以及输入输出接口，该输入输出接口包括(XD/CM0S接口、视频流接口、I/O接口、网口和串口。该控制方法包括以下步骤:
步骤1:ARM处理器监听输入输出接口，接收控制指令，根据预设的规则将控制指令分类，并发送至FPGA可编程器件和/或DSP处理器进行处理；其中，控制指令包括车牌识别指令、调用内部存储的相应程序指令，如果是车牌识别指令，则转到步骤2执行车牌识别处理；如果是调用内部存储的相应程序指令，则转到步骤3执行相应程序；
步骤2:执行车牌识别处理，具体包括如下过程:
步骤21:首先从CCD/CM0S接口接收 对车辆拍照而生成的图像数据并存储，然后将该图像数据发送至FPGA可编程器件；步骤22 =FPGA可编程器件接收图像数据并存储，对该图像数据进行预处理，该预处理包括如下过程:首先扫描该图像数据，对该图像数据里面的车辆的车牌部分图像进行抠图，生成车牌图像，同时将车牌图像进行格式转换，转换为适合DSP处理器处理的格式，例如转换为H264格式，并发送至DSP处理器；
步骤23 =DSP处理器接收FPGA可编程器件发送的车牌图像并进行处理；由于步骤2已经将图像数据进行了预处理，因此DSP处理器无需对该图像数据进行预处理而直接进行处理，大大加快了处理速度。同时，普通的相机因为要平衡处理速度和识别精度，其拍摄的照片的像素一般为30万-45万像素之间，而本发明采用上述架构和方法，无需对其像素进行要求，一般可拍摄130万-200万像素的照片，大大提高了识别精度，并提高了处理速度，具有很好的推动作用；
步骤3:调用内部存储的相应程序并执行，具体包括如下过程:
步骤31 =ARM处理器预先设定每个程序是由FPGA可编程器件处理，还是由DSP处理器进行处理；由FPGA可编程器件处理的程序记为Al、A2、…An，由DSP处理器处理的程序记为 B1、B2、...Bm ;
步骤32:ARM处理器接收输入输出接口发送的命令，根据接收命令的时间顺序执行命令，执行命令时，首先判定该命令调用的
程序是由FPGA可编程器件处理，还是由DSP处理器处理，还是由FPGA可编程器件处理和DSP处理器协同 处理；如果是由FPGA可编程器件处理，则ARM处理器将命令转发至FPGA可编程器件进行执行；如果是由DSP处理器处理，则ARM处理器将命令转发至DSP处理器进行执行；如果是由FPGA可编程器件处理和DSP处理器协同处理，则通知FPGA可编程器件处理和DSP处理器的相应模块，并根据该命令调用FPGA可编程器件处理和DSP处理器的先后顺序进行执行。
[0005]上述步骤3中，还包括如下过程:ARM处理器接收输入输出接口发送的命令，首先对该命令进行注册，如果该命令出现2次以上，也即该命令经常被调用，则将该命令写入存储器，在下次调用时直接从存储器里面读取并执行。
[0006]上述步骤3中，还包括如下过程:ARM处理器预先对所有命令设定优先级，同一时间段接收到输入输出接口发送的多个命令时，根据各命令的优先级进行执行。
[0007]一般的，在设定哪个程序是由FPGA可编程器件处理，还是由DSP处理器进行处理时，是根据该程序的复杂度来设定的，如果某个程序的复杂度很高，例如该程序的算法维度大于M，那么则由处理能力强的DSP处理器来处理，如果某个程序的复杂度不高，则可由处理能力较弱的FPGA可编程器件处理。
[0008]DSP处理器具有高速二进制处理能力，但要求软件算法开发人员对算法进行高度优化才能发挥DSP的优势，否则处理速度无法与PC的CPU的处理性能。而目前众多的开发工程师都在进行着这个复杂又耗费很多时间的工作。本发明采用ARM处理器+DSP处理器+FPGA可编程器件，正好弥补了这一缺陷，采用本发明的控制方法，可使整个智能相机达到PC处理的同等速度，甚至更快。
[0009]本发明采用上述方案，大大加快了处理速度，且其处理能力大大增强，现有的车牌识别的精度普遍不高，而采用本发明的方案，可采用拍摄像素为130万-200万的照片，大大提高了识别精度；同时，通过ARM处理器+DSP处理器+FPGA可编程器件的无缝配合，大大提高了处理速度，使得智能相机的反应时间大大减小，具有很好的推动作用；同时，可并行处理多个任务，非常适合应用于车牌识别，具有很好的实用性。
【具体实施方式】
[0010]现结合【具体实施方式】对本发明进一步说明。
[0011]本发明的一种停车场用智能相机的控制方法，该停车场用智能相机包括FPGA可编程器件、DSP处理器、ARM处理器、RAM存储器以及输入输出接口，该输入输出接口包括(XD/CM0S接口、视频流接口、I/O接口、网口和串口。该控制方法包括以下步骤:
步骤1:ARM处理器监听输入输出接口，接收控制指令，根据预设的规则将控制指令分类，并发送至FPGA可编程器件和/或DSP处理器进行处理；其中，控制指令包括车牌识别指令、调用内部存储的相应程序指令，如果是车牌识别指令，则转到步骤2执行车牌识别处理；如果是调用内部存储的相应程序指令，则转到步骤3执行相应程序；
步骤2:执行车牌识别处理，具体包括如下过程:
步骤21:首先从CCD/CM0S接口接收对车辆拍照而生成的图像数据并存储，然后将该图像数据发送至FPGA可编程器件；
步骤22 =FPGA可编程器件接收图像数据并存储，对该图像数据进行预处理，该预处理包括如下过程:首先扫描该图像数据，对该图像数据里面的车辆的车牌部分图像进行抠图，生成车牌图像，同时将车牌图像进行格式转换，转换为适合DSP处理器处理的格式，例如转换为H264格式，并发送至DSP处理器；
步骤23 =DSP处理器接收FPGA可编程器件发送的车牌图像并进行处理；由于步骤2已经将图像数据进行了预处理，因此DSP处理器无需对该图像数据进行预处理而直接进行处理，大大加快了处理速度。同时，普通的相机因为要平衡处理速度和识别精度，其拍摄的照片的像素一般为30万-45万像素之间，而本发明采用上述架构和方法，无需对其像素进行要求，一般可拍摄130万-200万像素的照片，大大提高了识别精度，并提高了处理速度，具有很好的推动作用；
步骤3:调用内部存储的相应程序并执行，具体包括如下过程:
步骤31 =ARM处理器预先设定每个程序是由FPGA可编程器件处理，还是由DSP处理器进行处理；由FPGA可编程器件处理的程序记为Al、A2、…An，由DSP处理器处理的程序记为 B1、B2、...Bm ;
步骤32:ARM处理器接收输入输出接口发送的命令，根据接收命令的时间顺序执行命令，执行命令时，首先判定该命令调用的程序是由FPGA可编程器件处理，还是由DSP处理器处理，还是由FPGA可编程器件处理和DSP处理器协同处理；如果是由FPGA可编程器件处理，则ARM处理器将命令转发至FPGA可编程器件进行执行；如果是由DSP处理器处理，则ARM处理器将命令转发至DSP处理器进行执行；如果是由FPGA可编程器件处理和DSP处理器协同处理，则通知FPGA可编程器件处理和DSP处理器的相应模块，并根据该命令调用FPGA可编程器件处理和DSP处理器的先后顺序进行执行。 [0012]例如一个命令的执行过程如下:过程1、调用DSP处理器的B3程序；过程2、调用DSP处理器的B6程序；过程3、调用FPGA可编程器件的A4程序；过程4、调用FPGA可编程器件的A3程序；过程5、调用DSP处理器的BI程序。[0013]具体在执行该命令时，则进行如下操作:
过程1、第一条指令采用的是DSP处理器的B3程序，则在命令执行第一步地址映射为B3程序；第二条指令采用的是DSP处理器的B6程序，则在命令执行第二步地址映射为B6程序；第三条指令采用的是FPGA可编程器件的A4程序，则在命令执行第三步地址映射为A4程序；第四条指令采用的是FPGA可编程器件的A3程序，则在命令执行第四步地址映射为A3程序；第五条指令采用的是DSP处理器的BI程序，则在命令执行第五步地址映射为BI程序;
过程2:从命令执行第一步地址开始，指定要处理的算法是B3程序，执行完返回；执行第二步地址的B6程序，执行完返回；执行第三步地址指定处理的算法A4程序，执行完返回；执行第四步地址的A3程序，执行完返回；执行第五步地址的BI程序，执行完返回；
过程3:执行所有程序将结果发送至ARM处理器，然后返回。
[0014]上述步骤3中，还包括如下过程:ARM处理器接收输入输出接口发送的命令，首先对该命令进行注册，如果该命令出现2次以上，也即该命令经常被调用，则将该命令写入存储器，在下次调用时直接从存储器里面读取并执行。
[0015]上述步骤3中，还包括如下过程:ARM处理器预先对所有命令设定优先级，同一时间段接收到输入输出接口发送的多个命令时，根据各命令的优先级进行执行。
[0016]DSP处理器具有高速二进制处理能力，但要求软件算法开发人员对算法进行高度优化才能发挥DSP的优势，否则处理速度无法与PC的CPU的处理性能。而目前众多的开发工程师都在进行着这个复杂又耗费很多时间的工作。本发明采用ARM处理器+DSP处理器+FPGA可编程器件，正好弥补了这一缺陷，采用本发明的控制方法，可使整个智能相机达到PC处理的同等速度，甚至更快。
[0017]一般的，在设定哪个程序是由FPGA可编程器件处理，还是由DSP处理器进行处理时，是根据该程序的复杂度来设定的，如果某个程序的复杂度很高，例如该程序的算法维度大于M，那么则由处理能力强的DSP处理器来处理，如果某个程序的复杂度不高，则可由处理能力较弱的FPGA可编程器件处理。比如图片高斯模糊、小波处理、傅里叶处理算法，这些算法如果组合起来变成一个算法来用，那要优化到DSP处理器里其难度非常高，而且处理速度比PC还慢，这是因为DSP处理器没有OPENGL指令集。而采用DSP处理器内部指令集的特性，将算法拆分出来，需要用到乘加算法多的指令的移植到DSP处理器几个线程上，需要用到浮点指令的放入ARM处理器、OPENGL核心和FPGA可编程器件做处理，再经过ARM的专用协调软件将其分配整合，处理速度可以提升一倍。算法开发过程中，先根据算法结构需要用到哪些函数处理的分出多个子模块，根据ARM处理器、DSP处理器、FPGA可编程器件的优缺点，把适应的算法放入对应的内核作处理，充分发挥不同核心优势做不同的事，从而达到算法提速I倍甚至几倍的速度。
[0018]在具体应用时，停车场管理程序繁杂，例如识别进出停车场的车辆的车牌信息，分析处理摄像机所摄取的进出停车场的车辆信息，将驶出停车场的车辆信息与进入停车场的车辆信息进行匹配，根据车牌号码查询车辆停在停车场内的何处位置，以及临时停车和固定用户停车的不同管理程序等等，使用本发明的上述系统，可将上述繁杂的停车场管理程序分别采用ARM处理器和/或DSP处理器和/或FPGA可编程器件进行处理，具有快速、高效且结果精确的优点，节约了人们进出停车场的时间，方便了人们的出行。[0019]尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。
【权利要求】
1.一种停车场用智能相机的控制方法，该停车场用智能相机包括FPGA可编程器件、DSP处理器、ARM处理器、RAM存储器以及输入输出接口，该输入输出接口包括(XD/CMOS接口、视频流接口、I/O接口、网口和串口 ；该控制方法包括以下步骤: 步骤1:ARM处理器监听输入输出接口，接收控制指令，根据预设的规则将控制指令分类，并发送至FPGA可编程器件和/或DSP处理器进行处理；其中，控制指令包括车牌识别指令、调用内部存储的相应程序指令，如果是车牌识别指令，则转到步骤2执行车牌识别处理；如果是调用内部存储的相应程序指令，则转到步骤3执行相应程序； 步骤2:执行车牌识别处理，具体包括如下过程: 步骤21:首先从CCD/CMOS接口接收对车辆拍照而生成的图像数据并存储，然后将该图像数据发送至FPGA可编程器件； 步骤22 =FPGA可编程器件接收图像数据并存储，对该图像数据进行预处理，该预处理包括如下过程:首先扫描该图像数据，对该图像数据里面的车辆的车牌部分图像进行抠图，生成车牌图像，同时将车牌图像进行格式转换，转换为适合DSP处理器处理的格式，并发送至DSP处理器； 步骤23 =DSP处理器接收FPGA可编程器件发送的车牌图像并进行处理； 步骤3:调用内部存储的相应程序并执行，具体包括如下过程: 步骤31 =ARM处理器预先设定每个程序是由FPGA可编程器件处理，还是由DSP处理器进行处理；由FPGA可编程器 件处理的程序记为Al、A2、…An，由DSP处理器处理的程序记为 B1、B2、...Bm ; 步骤32:ARM处理器接收输入输出接口发送的命令，根据接收命令的时间顺序执行命令，执行命令时，首先判定该命令调用的程序是由FPGA可编程器件处理，还是由DSP处理器处理，还是由FPGA可编程器件处理和DSP处理器协同处理；如果是由FPGA可编程器件处理，则ARM处理器将命令转发至FPGA可编程器件进行执行；如果是由DSP处理器处理，则ARM处理器将命令转发至DSP处理器进行执行；如果是由FPGA可编程器件处理和DSP处理器协同处理，则通知FPGA可编程器件处理和DSP处理器的相应模块，并根据该命令调用FPGA可编程器件处理和DSP处理器的先后顺序进行执行。
2.根据权利要求1所述的停车场用智能相机的控制方法，其特征在于:所述步骤3中，还包括如下过程:ARM处理器接收输入输出接口发送的命令，首先对该命令进行注册，如果该命令出现2次以上，则将该命令写入存储器，在下次调用时直接从存储器里面读取并执行。
3.根据权利要求1所述的停车场用智能相机的控制方法，其特征在于:所述步骤3中，还包括如下过程:ARM处理器预先对所有命令设定优先级，同一时间段接收到输入输出接口发送的多个命令时，根据各命令的优先级进行执行。
【文档编号】H04N5/232GK103873779SQ201410143192
【公开日】2014年6月18日 申请日期:2014年4月11日 优先权日:2014年4月11日
【发明者】赖明钟 申请人:厦门麦克玛视电子信息技术有限公司