子系统与化子系统之间采用AXI-ACP接口、AXI-HP 接口和DMA通道实现图像数据和运算中间数据的交互。通过该种FPGA辅助ARM的异构运算框 架，实现系统通用性与实时性的均衡。
[0049] 化子系统内的FPGA固件主要包括图像采集单元和图像加速单元，前者主要实现对 外接0V7670CM0S微型摄像头的接口控制、图像采集和预处理，后者主要实现图像目标检测/ 跟踪的并行加速功能。
[0050] 图像采集单元包含摄像头接口模块、图像预处理模块、AXI-DMA模块等:摄像头接 口模块主要实现对摄像头数据读取W及图像分辨率、采集帖率、数据格式等参数控制，图像 预处理模块主要实现对所采集图像流颜色校正、直方图均衡、空间变换等预处理操作，AXI- DMA模块主要通过AXI-GP接口实现对图像数据向孤R3 RAM的自主回传。
[0051]图像加速模块主要包含可重构图像加速器、AXI-DMA模块。可重构图像加速器是化 子系统内划分的一片可重构区域，其可根据系统工作阶段(检测阶段或跟踪阶段），动态加 载图像目标检测或图像目标跟踪加速器，实现对不同算法的加速。
[0化2] 化子系统内部署的各IP核和功能模块间，均采用标准的3化itAXI-Stream总线进 行互联，具有较高的效率和通用性。图像采集单元和图像加速单元的AXI-DM模块分别通过 AXI-HP接口和AXI-ACP接口实现与PS子系统的数据交互。一方面，通过接口间的隔离，避免 了总线争用引发的通信效率下降；另一方面，AXI-ACP可直接将运算中间数据传输同步到PS 子系统的处理器缓存内，更有利于软件程序与固件之间的频繁、高效交互。
[0053] PS子系统内搭载了ARM-Linux嵌入式操作系统，支持多算法、多任务并行操作，可 充分满足自主式机器人、智能手机等复合功能平台的应用需求。在其控制的固态存储器内， W文件形式存储各模块驱动程序模块（.ko文件)和固件程序模块（.bit文件或.bin文件）， 利于系统管理、升级和基于动态可重构的功能切换。
[0054] 本发明设计实现的低功耗便携式实时图像目标检测跟踪系统工作流程简图如图3 所示。其工作流程可划分为检测阶段和跟踪阶段：
[0055] 第一步，系统启动后，复位并初始化各外设驱动程序，并将目标检测加速器装载至 可重构图像加速器。
[0056] 第二步，图像采集单元采集、预处理图像，并经AXI-DMA通道传输至PS子系统的 DDR3内存。
[0057] 第Ξ步，PS子系统内的图像检测算法将接收并处理图像，W软件形式执行非运算 密集型的算法环节，并调用图像加速单元执行运算密集型算法环节。
[0058] 第四步，根据软硬件协同检测的结果，如发现感兴趣目标，则将执行动态部分可重 构操作，将目标跟踪加速器装载至可重构图像加速器，并启动图像目标跟踪算法。
[0059] 第五步，PS子系统内的图像跟踪算法将接收并处理图像，W软件形式执行非运算 密集型的算法环节，并调用图像加速单元执行运算密集型算法环节。
[0060] 第六步，系统将持续定位目标位置，直至跟踪结束。
[0061 ]本发明选用高斯背景模型为图像目标检测算法，选用压缩跟踪算法为图像目标跟 踪算法。采用PS子系统软件实现高斯背景模型的目标标定环节，采用化子系统目标检测加 速器实现高斯背景模型的前景检测环节;采用PS子系统软件实现压缩跟踪算法的候选样本 采集、积分图计算、压缩感知、分类器更新等环节，采用化子系统目标检测加速器实现压缩 跟踪算法的朴素贝叶斯分类器环节。相对于高性能计算机（Intel Core i7-4712MQ，8GB DDR3 RAM,Windows 7 64-bit)，本发明所设计的嵌入式实时图像目标检测与跟踪系统，可 实现更高的处理速率，且重量仅125g，体积仅118 X 98 X 45mm，峰值功耗仅2.99W，能够充分 满足低功耗、便携式的应用需求。
[0062]综上所述，W上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。 凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的 保护范围之内。
【主权项】
1. 一种低功耗便携式实时图像目标检测与跟踪系统，包括PL子系统和PS子系统，其特 征在于:PS子系统与PL子系统之间采用ΑΧ I-ACP接口、ΑΧ I -HP接口和DMA通道实现图像数据 和运算中间数据的交互;其中PL子系统包括图像采集单元和图像加速单元;其中： 图像采集单元包括摄像头接口模块、图像预处理模块、AXI-DMA模块;所述摄像头接口 模块用于对摄像头数据读取以及图像分辨率、采集帧率、数据格式的参数控制，图像预处理 模块用于对所采集图像流颜色校正、直方图均衡、空间变换的预处理操作，AXI-DMA模块用 于通过AXI-HP接口实现对图像数据向DDR3RAM的自主回传； 图像加速单元包括可重构图像加速器、AXI-DMA模块;可重构图像加速器用于根据系统 工作阶段动态加载图像目标检测或图像目标跟踪加速器，实现对不同算法的加速;AXI-DMA 模块用于通过AXI-ACP接口实现对图像数据向DDR3RAM的自主回传； 图像采集单元和图像加速单元中的AXI-DMA模块均通过AXI-Lite互联模块与AXI-GP接 口连接。2. -种低功耗便携式实时图像目标检测与跟踪方法，其特征在于:包括以下步骤： 第一步，初始化各外设驱动程序，并将目标检测加速器装载至可重构图像加速器； 第二步，图像采集单元采集、预处理图像，并经AXI-DMA通道传输至PS子系统的DDR3内 存； 第三步，PS子系统内的图像检测算法将接收并处理图像，以软件形式执行非运算密集 型的算法环节，并调用图像加速单元执行运算密集型算法环节； 第四步，根据软硬件协同检测的结果，如发现感兴趣目标，则将执行动态部分可重构操 作，将目标跟踪加速器装载至可重构图像加速器，并启动图像目标跟踪算法； 第五步，PS子系统内的图像跟踪算法将接收并处理图像，以软件形式执行非运算密集 型的算法环节，并调用图像加速单元执行运算密集型算法环节； 第六步，系统将持续定位目标位置，直至跟踪结束。3. 如权利要求2所述的一种低功耗便携式实时图像目标检测与跟踪方法，其特征在于： 进一步地，选用高斯背景模型为图像目标检测算法，选用压缩跟踪算法为图像目标跟踪算 法。4. 如权利要求3所述的一种低功耗便携式实时图像目标检测与跟踪方法，其特征在于： 进一步地，采用PS子系统实现高斯背景模型的目标标定环节，采用PL子系统目标检测加速 器实现高斯背景模型的前景检测环节;采用PS子系统软件实现压缩跟踪算法的候选样本采 集、积分图计算、压缩感知、分类器更新环节，采用PL子系统目标检测加速器实现压缩跟踪 算法的朴素贝叶斯分类器环节。
【专利摘要】本发明提供一种低功耗便携式实时图像目标检测与跟踪系统及方法，能够在空间及同等恶劣环境下自主控制细胞培养过程及在线观测。包括PL子系统和PS子系统，其中图像采集单元包括摄像头接口模块、图像预处理模块、AXI-DMA模块；所述摄像头接口模块用于对摄像头数据读取以及图像分辨率、采集帧率、数据格式的参数控制，图像预处理模块用于对所采集图像流颜色校正、直方图均衡、空间变换的预处理操作，AXI-DMA模块用于通过AXI-HP接口实现对图像数据向DDR3？RAM的自主回传；图像加速单元包括可重构图像加速器、AXI-DMA模块；可重构图像加速器用于根据系统工作阶段动态加载图像目标检测或图像目标跟踪加速器；AXI-DMA模块用于通过AXI-ACP接口实现对图像数据向DDR3？RAM的自主回传。
【IPC分类】G06T1/00, G06T1/20
【公开号】CN105631798
【申请号】CN201610125678
【发明人】石立伟, 郭书祥, 潘邵武, 何彦霖, 唐昆, 肖瑞
【申请人】北京理工大学
【公开日】2016年6月1日
【申请日】2016年3月4日