低功耗便携式实时图像目标检测与跟踪系统及方法_2

文档序号:9866520阅读:来源:国知局
但仅限于图像光流特征的提取,未设及图像目标检测 与跟踪等高级抽象应用。2014年,大连海事大学么立宝等采用幻nq-7000SoC设计实现了车 牌识别系统,但其仅使用化子系统实现了图像的采集和预处理,而未设及图像目标检测与 跟踪等高级抽象应用。2015年,太原理工大学焦再强等采用幻nq-7000SoC设计实现了嵌入 式数字图像处理系统,但其仅在化子系统内验证Sobel滤波器等简单图像处理功能,而未设 及软硬件协同图像处理。

【发明内容】

[0012] 本发明的目的在于提供一种低功耗便携式实时图像目标检测与跟踪系统及方法, 能够在空间及同等恶劣环境下自主控制细胞培养过程及在线观测。
[0013] 实现本发明目的的技术解决方案为:
[0014] -种低功耗便携式实时图像目标检测与跟踪系统,包括化子系统和PS子系统,PS 子系统与化子系统之间采用AXI-ACP接口、AXI-HP接口和DMA通道实现图像数据和运算中间 数据的交互;其中化子系统包括图像采集单元和图像加速单元;其中:
[0015] 图像采集单元包括摄像头接口模块、图像预处理模块、AXI-DMA模块;所述摄像头 接口模块用于对摄像头数据读取W及图像分辨率、采集帖率、数据格式的参数控制,图像预 处理模块用于对所采集图像流颜色校正、直方图均衡、空间变换的预处理操作,AXI-DMA模 块用于通过AXI-HP接口实现对图像数据向孤R3 RAM的自主回传;
[0016] 图像加速单元包括可重构图像加速器、AXI-DMA模块;可重构图像加速器用于根据 系统工作阶段动态加载图像目标检测或图像目标跟踪加速器,实现对不同算法的加速; AXI-DMA模块用于通过AXI-ACP接口实现对图像数据向孤R3 RAM的自主回传;
[0017] 图像采集单元和图像加速单元中的AXI-DMA模块均通过AXI-Lite互联模块与AXI- GP接口连接。
[001引本发明的有益效果:
[0019] (1)本发明采用软硬件相结合的异构运算框架,在化子系统(FPGA)内构建图像并 行加速模块,执行运算密集型的算法环节;在PS子系统(ARM)内W软件形式运行图像目标检 测与跟踪算法的主体软件;利用DMA和AXI总线实现PS和化子系统之间的数据交互和任务调 配。从而使该系统同时具备AM-Linux嵌入式系统的通用性和可开发性,FPGA系统并行运算 的实时性,SoC系统的低功耗性、便携性,能够充分满足自主式机器人、智能手机等低功耗、 复合功能移动平台的应用需求。
[0020] (2)该系统采用C/C++语言设计软件,采用C++、VHDL/Verilog HDL语言进行FPGA固 件设计,其分别是电子信息行业软硬件的实质设计标准,因此相对于其它解决方案具有更 优的可移植性。
[0021] (3)本发明针对采用FPGA设计图像目标检测与跟踪算法加速器资源消耗较高的问 题,采用动态部分可重构技术、基于模拟退火算法的图像加速器字长优化算法进行优化,有 效降低系统资源消耗和功耗。
【附图说明】
[0022] 图1为本发明的图像目标检测与跟踪系统结构框图;
[0023] 图2为本发明图像目标检测与跟踪系统设计流程图;
[0024] 图3为本发明图像目标检测与跟踪系统工作流程图。
【具体实施方式】
[0025] 下面结合附图并举实施例,对本发明进行详细描述。
[0026] 本发明为一种低功耗、便携式的实时图像目标检测与跟踪系统,其主要面向自主 式机器人、智能手机等低功耗、复合功能的移动平台。
[0027] 本发明的主要设计流程如图2所示。
[00%]第一步,针对应用需求,采用C/C++等高级语言编程实现面向幻nq-7000PS子系统 (ARM-Linux平台)的图像目标检测与跟踪算法软件代码。在检测阶段,采用图像目标检测算 法实现对感兴趣目标的识别;在跟踪阶段,采用图像目标跟踪算法实现对检测所得目标的 连续定位。
[0029] 第二步,将算法划分为若干相对独立的环节,借助计时器对各算法环节的运行时 间进行评估,并进一步分析其运算类型、数据关联性等特性。
[0030] 第Ξ步,根据第二步评估结果确定各算法环节的软硬件实施方式,采用PS端软件 实现算法主体控制流程,采用化端可重构图像加速器并行实现算法的运算密集型环节。
[0031] 第四步,采用Vivado化S工具,WC++语言设计图像目标检测/跟踪加速器IP核。
[0032] 第五步,如图像目标检测/跟踪加速器IP核的资源消耗超过系统允许范畴,采用模 拟退火算法对加速器字长进行优化。最后,对软件和固件模块进行封装和部署,完成系统设 计。
[0033] 由于本发明所设计的图像目标检测/跟踪加速器IP核,W大数据容量的图像数据 为处理对象,因此会导致较高的FPGA资源消耗量。为避免因化子系统资源使用过度引发的 稳定性下降、功耗上升等问题,本发明在设计流程的第五步采用模拟退火算法对图像目标 检测/跟踪加速器进行优化。
[0034] 假定图像目标检测/跟踪加速器主要设及η组变量的运算,取各变量为浮点数时的 运算结果为标准解。该算法期望在量化误差低于1.5%前提下,求得最短字长的变量浮点数 ^/jN^'i^Wbest = [ Wbestword, 1 , Wbestint, 1 ,Wbestword,η , Wbestint,η ],W节约FP GA资源消耗量。其中 肌63扣耐。为第11个变量的最短定点数总字长,肌63加川为第11个变量的最短定点数整数部分 字长。该求解问题亦可表示为:
[003引

[0036] 其中Cost(w)表示求解结果为W时的资源消耗量,QuantizeriirroHw)表示求解结 果为w时的量化误差,ratethreshoid为运算准确率阔值98.5% (即100%-1.5% )。 [0037]
[00;3 引
[0039]
[0040] 第一步,该算法将设置初始溫度为tempo,并采用随机数数组初始化查找中屯、矢量 Wcenter和最优解矢量Wbest,并计算对应的运算准确率rateeenter和ratebest。
[0041] 第二步,该算法将进入循环,每次循环过程中溫度temp都会W比率decayScale下 降一次,直至降低至阔值tempthresh,结束算法的求解执行。
[00创第;步,该算法将在查找中屯、矢量Wcenter附近WMarkoV链随机选择一组解Wtry,并 计算其对应的运算准确度rate付y。
[00创第四步,当¥的满足运算准确度要求,且〔031:(>1;巧)<〔031:(机631;),则采用¥1;巧更新 Wbest 0
[0044] 第五步,当¥1;巧满足运算准确度要求,且〔031:(>1;巧)<〔031:(>。日。*日1〇,则采用¥1;巧更新 Wcenter ;否则,W exp (-(Cost (Wtry)-Cost (Wcenter) )/temp)为概率采用 Wtry 更新Wcenter。
[0045] 如表1,采用单一高斯背景模型为图像目标检测算法进行验证。经算法1进行IP核 字长优化,图像目标检测加速器IP核的资源消耗显著下降,而检测结果基本不变,验证了该 算法的有效性。
[0046] 表1低功耗便携式实时图像目标检测与跟踪系统字长优化对比
[0047]
[004引本发明设计实现的低功耗便携式实时图像目标检测跟踪系统原理框图如图1所 示,其采用单片巧nq-7000SoC实现对系统的单片集成。图像检测算法和图像跟踪算法的主 体,WARM-Linux嵌入式系统软件的形式部署在PS子系统内;图像检测算法和图像跟踪算法 的运算密集型环节,W及各类接口,WFPGA固件的形式部署在化子系统内,并通过AXI-GP接 口被PS子系统内运行的程序控制调用;PS
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1