具有运动目标检测与跟踪功能的机器人视觉系统及机器人的制作方法

本实用新型涉及一种具有运动目标检测与跟踪功能的机器人视觉系统及机器人。

背景技术：

随着机器人技术的迅猛发展,机器人承担的任务更加复杂多样,传统的检测手段往往面临着检测范围的局限性和检测手段的单一性。机器视觉伺服控制利用视觉信息作为反馈,对环境进行非接触式的测量,具有更大的信息量,提高了机器人系统的灵活性和精确性,在机器人控制中具有不可替代的作用。

机器视觉系统就是将摄像机获取的目标图像数据发送到图像处理单元，处理模块根据图像中目标物体表面的信息，判别出图像中目标物体的特征，再根据特征发出对应的信号，让运动模块来控制现场的设备动作。机器视觉技术已经一步一步走向成熟，并成为现代工业中的核心技术，广泛应用于电子制造、食品、制药、包装以及城市交通等行业，对提高企业的生产竞争力发挥着越来越重要的作用。

技术实现要素：

本实用新型的目的是提供一种具有运动目标检测与跟踪功能的机器人视觉系统，以实现了对运动目标的检测和跟踪。

为了解决上述技术问题，本实用新型提供了一种具有运动目标检测与跟踪功能的机器人视觉系统，包括：CMOS图像传感器、图像处理器单元；所述CMOS图像传感器将采集的图像信息发送至图像处理器单元；其中所述图形处理器模块适于采用嵌入ARM硬核的FPGA处理器，其包括：可编程逻辑PL端，且该可编程逻辑PL端内包括：CMOS图像传感器时序发生与数据接收模块，以及与该CMOS图像传感器时序发生与数据接收模块相连的Bayer转RGB格式模块，与该Bayer转RGB格式模块相连的运动目标检测与跟踪处理模块；并且所述可编程逻辑PL端还设有图像输入连接端、图像输出连接端；所述CMOS图像传感器的输出端与图形处理器模块的图像输入连接端相连；所述图形处理器模块的图像输出连接端与外部显示模块相连；以及所述图形处理器模块通过内置的DDR存储控制器与片外存储器的通信，以存储图像数据流。

进一步，所述图像处理器单元还包括PS端，且PS端与可编程逻辑PL端通过AXI总线进行互联。

进一步，所述PS端设有相应外设接口，即SD卡接口、以太网接口、USB接口和CAN通讯接口。

又一方面，本实用新型还提供了一种机器人，以解决机器人视觉处理的技术问题。

为了解决上述技术问题，本实用新型提供的技术方案：所述机器人采用上述机器人视觉系统，其中所述CMOS图像传感器为4个，且面向前后左右的四个方向。

进一步，所述机器人包括：主处理器，所述主处理器通过CAN总线与图像处理器单元相连，以获得机器人视觉系统采集的视频数据，并在视频数据中识别目标，并根据目标控制机械手实现相应动作。

本实用新型的有益效果是，本实用新型的机器人视觉系统及机器人将ARM的强大计算功能和FPGA的拓展功能进行结合，具有很强的拓展性，能够提供多种接口满足不同场合需要，并且具有较强的图像预处理功能，并且通过以太网接口接受远程控制并远程传输对运动目标的检测和跟踪结果。

附图说明

下面结合附图和实施例对本实用新型进一步说明。

图1是本实用新型的机器人视觉系统的原理框图；

图2是本实用新型的图像处理器单元的原理框图。

具体实施方式

现在结合附图对本实用新型作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本实用新型的基本结构，因此其仅显示与本实用新型有关的构成。

实施例1

如图1所示，本实施例1提供了一种具有运动目标检测与跟踪功能的机器人视觉系统，包括：

CMOS图像传感器、图像处理器单元；所述CMOS图像传感器将采集的图像信息发送至图像处理器单元；其中所述图形处理器模块适于采用嵌入ARM硬核的FPGA处理器，其包括：可编程逻辑PL端，且该可编程逻辑PL端内包括：CMOS图像传感器时序发生与数据接收模块，以及与该CMOS图像传感器时序发生与数据接收模块相连的Bayer转RGB格式模块，与该Bayer转RGB格式模块相连的运动目标检测与跟踪处理模块；并且所述可编程逻辑PL端还设有图像输入连接端、图像输出连接端；所述CMOS图像传感器的输出端与图形处理器模块的图像输入连接端相连；所述图形处理器模块的图像输出连接端与外部显示模块相连；以及所述图形处理器模块通过内置的DDR存储控制器与片外存储器的通信，以存储图像数据流。

所述图像处理器单元还包括PS端，且PS端与可编程逻辑PL端通过AXI总线进行互联。

具体的，本图像处理器单元例如但不限于采用Xilinx公司的Zynq-7020处理器，所述Zynq-7020处理器为嵌入ARM硬核的FPGA处理器，且集成了双核ARM Cortex-A9处理器的PS端和可编程逻辑PL端。其中PL端通过内部多组的AXI总线互连挂载在PS端实现控制；并且PS端还包括但不限于片上存储器和若干外部存储器接口。

具体的，首先用CMOS图像传感器采集图像信号，所述CMOS图像传感器的输出格式为Bayer格式，将其进行转换为RGB格式，再存储到片外存储器(DDR3存储器)中，以作为图像缓存使用，随后从片外存储器中提取图像数据并对RGB格式图像通过运动目标检测与跟踪处理模块进行处理，例如但不限于滤波预处理(高斯滤波)去除图像采集过程中产生的噪点，三帧差分法进行目标检测工作，将检测出运动的目标进行形态学处理，对检测出来的目标进行跟踪，并将跟踪目标加以标定，将满足条件的标定目标进行显示，或通过设定的接口将检测结果传送给计算机或机器人控制处理单元(如实施例2中的主处理器)进行处理。上述运动目标检测与跟踪处理模块的处理方法属于现有技术，本机器人视觉系统未对该处理方法做出相应改进。

所述PS端设有相应外设接口，即SD卡接口、以太网接口、USB接口和CAN通讯接口，具体的，以太网通信模块由PS端控制，实现远程控制和访问请求。

所述CMOS图像传感器例如但不限于选用Micron Technology公司生产的1/3英寸、宽VGA和全局快门(Global Shutter)的CMOS图像传感器MT9V034，MT9V034图像传感器内部集成了AD和预处理电路，对环境的适应能力比较强，动态范围能达到90dB+，远远高于普通CMOS传感器的60dB。MT9V034图像传感器通过并行的方式与FPGA接口，D0-D9为CMOS的10条数据线，输出格式为RAW格式的数据。RAW是一种纪录的是传感器的原始信息，同时纪录拍摄时的一些元数据(Metadata，如ISO设置、快门速度、光圈、白平衡等)的文件，PCK 为CMOS输出时钟信号，下降沿有效。XCK为主时钟，本机器人视觉系统接入的是27MHz外部晶振。LIV和FRV分别为行同步信号和帧同步信号。对于分辨率为752x480的图像，CMOS先是通过725个PCK下降沿来采集某行数据，由LIV产生480个换行信号后表示为采集完一帧图像数据，然后FRV计数器清零，重新从第一行采集下一帧数据进入下一轮采集。采集到的数据通过10条数据线送到FPGA中进行处理。

Zynq-7020处理器的内部模块划分如图2所示，具体的，PS端通过AMBA控制器完成PL端与片外存储器的通信，实现图像存储流程。显示通路与图像存储通路相反，PS端在片外存储器上开辟一块显示内存区域，作为视频显示的数据区，通过VGA显示时序发生模块连接至外部显示器完成实时监测显示。PS端还通过以太网控制器、USB控制器、CAN总线控制器、SD/SDIO控制器提供以太网通信接口、USB接口、CAN通讯接口和SD卡接口。

CMOS图像传感器时序发生与数据接收模块适于产生与CMOS图像传感器相配合的接口时序并接收数据。LIV和FRV分别为行同步信号和帧同步信号。CMOS图像传感器先是通过PCK下降沿来采集某行数据，由LIV产生相应行数数目的换行信号后表示为采集完一帧图像数据，然后FRV计数器清零，重新从第一行采集下一帧数据进入下一轮采集，将采集到的数据通过数据线送到CMOS图像传感器时序发生与数据接收模块处理。

实施例2

在实施例1基础上，本实施例2提供了一种机器人。

所述机器人适于采用如实施例1所述的机器人视觉系统，其中所述CMOS图像传感器为4个，且面向前后左右的四个方向。

所述机器人包括：主处理器，所述主处理器通过CAN总线与图像处理器单元相连，以获得所述机器人视觉系统采集的视频数据，并在视频数据中识别目标，并根据目标控制机械手实现相应动作。

其中，相应动作具体指控制机械手实现抓取、摇摆等动作。

以上述依据本实用新型的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项实用新型技术思想的范围内，进行多样的变更以及修改。本项实用新型的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。