机器视觉检测系统的制作方法

机器视觉检测系统的制作方法
【专利摘要】本发明涉及机器视觉领域，公开一种机器视觉检测系统，用于快速、准确地检测出具有LBP(Local Binary Patterns,局部二值模式)特征集的目标物。所述机器视觉检测系统工作流程包括：FPGA(Field?Programmable Gate Array,现场可编程门阵列)控制与处理模块下达光强检测命令后，根据光强检测模块检测到的环境光强信号调整摄像头模块的曝光时间。摄像头模块有序地采集每帧图像并输入到FPGA控制与处理模块，进行图像预处理、图像金字塔建立以及使用固定大小的检测窗口，调用串并联结构的LBP特征级联分类器对图像金字塔各层图像进行目标物的检测，获取图像中不同尺度的目标物区域。最后合并相同位置的目标物区域，删除误检的区域，并且将检测结果上传至上位机模块。
【专利说明】
机器视觉检测系统
技术领域
[0001 ]本发明设及机器视觉技术领域，特别设及一种机器视觉检测系统。
【背景技术】
[0002] 机器视觉检测是模式识别和人工智能中的一项基本研究内容，在人脸检测、视频 检索、智能监控跟踪和人机交互等领域中有着广泛的应用。机器视觉检测的目的是在图像 中检测具有特定特征的目标物是否存在，若存在则给出目标物所在的区域位置及区域大 小。通常，机器视觉检测分为Ξ个步骤:①基于特定特征与算法，对目标物构建分类器;②采 用图像采集系统，获取待检测的可能包含目标物的图像;③在待检测的图像中提取目标物 对应的特定特征，使用分类器对目标物进行检测。
[0003] 对于步骤①，目前对目标物构建分类器的代表性算法是Yoav Freund和Robed Schapire提出的AdaBoost (Adaptive Boosting,自适应提升）算法。AdaBoost算法的核屯、 思想是针对同一个训练集，基于特定特征，训练分类能力一般的弱分类器，然后将运些弱分 类器进行级联，构建一个强分类器，使其具有更强的分类能力。目前，将数量充足、特征明显 的样本图片数据作为训练集输入到计算机，运行AdaBoost算法计算分类器的构建参数的方 法较为成熟。基于haar特征或者LBP特征，使用AdaBoost算法构建的人脸分类器、人眼分类 器等在实际应用中体现出优异的检测精度。
[0004] 对于步骤②，获取高质量、信息量丰富的图像，是保证后续对目标物进行精确检测 的前提。通常，单摄像头的采集区域有限，在大区域检测应用方面有一定的制约性。另一方 面，光照对目标物的检测结果有很大的影响。现有图像采集系统的曝光时间固定不变或者 拍摄前人为设定，不能很好地适应外部环境的光强变化。因此存在环境光强变化使图像质 量下降，对检测干扰严重的缺陷。
[0005] 对于步骤③，在图像中提取目标物对应的特定特征，利用目标物分类器对其进行 检测。现有的机器视觉检测系统使用由AdaBoost算法构建的分类器对目标物进行检测能够 保证足够的检测精度，但由于系统算法复杂，遍历整个图像的运算量大，在实际应用中对硬 件要求高，检测速度得不到保障。

【发明内容】

[0006] 本发明的主要目的是提供一种机器视觉检测系统，旨在实现对目标物进行高精 度、快速的检测。
[0007] 为实现上述目的，本发明提出了一种机器视觉检测系统，所述机器视觉检测系统 包括FPGA (Field-Programmable Gate Array,现场可编程口阵列）控制与处理模块、光强 检测模块、摄像头模块、图像缓存模块、通信接口模块、上位机模块;所述光强检测模块、所 述摄像头模块、所述图像缓存模块、所述通信接口模块都与所述FPGA控制与处理模块电连 接;所述通信接口模块与所述上位机模块电连接。
[000引所述光强检测模块，用于检测所述摄像头模块拍摄的环境的光强并转换成对应的 光强信号输入至所述FPGA控制与处理模块。
[0009] 所述摄像头模块，用于采集图像并转换成对应的图像数据输入至所述FPGA控制与 处理模块;根据检测区域的大小，所述摄像头模块采用单摄像头或多摄像头两种方式;在多 摄像头方式下，所有摄像头按特定方式安置，确保同时采集相邻区域的图像，使之比单摄像 头方式下采集更大区域范围的图像。
[0010] 所述图像缓存模块，用于缓存所述摄像头模块采集的图像的灰度化数据，解决图 像采集与图像处理对图像数据存取时间不一致的冲突。
[0011] 所述通信接口模块，用于对所述FPGA控制与处理模块和所述上位机模块之间传输 的信号进行电平转换。
[0012] 所述上位机模块，用于显示所述机器视觉检测系统的检测结果，包括目标物所在 区域位置和目标物所在区域大小。
[0013] 所述FPGA控制与处理模块，用于配置所述摄像头模块的参数，给所述光强检测模 块下达检测使能信号并且通过检测反馈的光强信号配置所述摄像头模块的曝光时间；然后 将所述摄像头模块采集的图像进行数据格式转换、缓存至所述图像缓存模块W及进行目标 物检测；当所述摄像头模块采用多摄像头方式时，进行目标物检测前需要将相邻摄像头拍 摄的图像的边缘进行拼接，使相邻摄像头拍摄的交界区域都能进行有效的目标物检测；最 后将检测结果通过所述通信接口模块上传至所述上位机模块进行显示。
[0014] 所述FPGA控制与处理模块包括光强检测使能模块、摄像头配置模块、图像格式转 换模块、图像缓存控制模块、图像拼接使能模块、图像拼接模块、图像金字塔模块、LBP 化ocal Bina巧Patterns,局部二值模式)特征级联分类器模块、目标区域处理模块、通信 接口控制模块;所述光强检测使能模块与所述光强检测模块的输入端连接，所述光强检测 模块的输出端经所述摄像头配置模块与所述摄像头模块的输入端连接，所述摄像头模块的 输出端经所述图像格式转换模块与所述图像缓存控制模块的输入端连接，所述图像缓存控 制模块与所述图像缓存模块进行双向传输，所述图像缓存控制模块的输出端经所述图像拼 接模块与所述图像金字塔模块的输入端连接，所述图像拼接使能模块与所述图像拼接模块 连接，所述图像金字塔模块的输出端经所述LBP特征级联分类器模块与所述目标区域处理 模块的输入端连接，所述目标区域处理模块的输出端与所述通信接口控制模块的输入端连 接，所述通信接口控制模块与所述通信接口模块进行双向传输。
[0015] 所述光强检测使能模块，用于在所述机器视觉检测系统工作时，通过给所述光强 检测模块下达使能信号使之工作。
[0016] 所述摄像头配置模块，用于配置所述摄像头模块的参数，W及根据所述光强检测 模块反馈的光强信号配置所述摄像头模块的曝光时间。
[0017] 所述图像格式转换模块，用于将所述摄像头模块拍摄的图像数据进行灰度值格式 转换。
[0018] 所述图像缓存控制模块，用于控制所述图像格式转换模块输出的灰度图像数据输 入至所述图像缓存模块，W及控制所述图像缓存模块输出的灰度图像数据输入至所述图像 拼接模块。
[0019] 所述图像拼接使能模块，用于控制所述图像拼接模块的工作模式。当所述摄像头 模块采用多摄像头方式时，所述图像拼接使能模块给所述图像拼接模块发送使能信号；当 所述摄像头模块采用单摄像头方式时，所述图像拼接使能模块给所述图像拼接模块发送非 使能信号。
[0020] 所述图像拼接模块，用于处理所述图像缓存控制模块输出的图像数据；当从所述 图像拼接使能模块接收到使能信号时，所述图像拼接模块将所述图像缓存控制模块输出的 所述摄像头模块全部摄像头同一时刻拍摄的图像数据合并成一帖连贯且不重复、边界拼接 缝隙不明显的图像数据，然后将整帖图像数据输出至所述图像金字塔模块；当从所述图像 拼接使能模块接收到非使能信号时，所述图像拼接模块将所述图像缓存控制模块输出的图 像数据直接输出至所述图像金字塔模块。
[0021] 所述图像金字塔模块，用于将所述图像拼接模块输出的每帖灰度图按比例缩小W 构建金字塔状排列的分辨率逐步降低的图像集合，并且根据实际应用场合中目标物区域面 积占据整帖图像面积的比例范围，设置所述图像金字塔模块的图像集合的上限分辨率和下 限分辨率，所述图像金字塔模块的各层存放分辨率不同的图像。
[0022] 所述LBP特征级联分类器模块，用于使用固定大小的检测窗口，调用串并联结构的 LBP特征级联分类器对所述图像金字塔模块的各层图像进行目标物检测，W获取原始图像 中不同尺度的目标物所在区域。
[0023] 所述目标区域处理模块，用于将所述LBP特征级联分类器模块检测到的全部目标 物所在区域按对应比例映射到原始分辨率的图像上;在原始分辨率图像的同一位置，利用 所述LBP特征级联分类器模块检测到存在目标物的数量多于第一数量阔值时，该位置被认 为是真实目标物所在区域，合并该位置的目标物所在区域;在原始分辨率图像的同一位置， 利用所述LBP特征级联分类器模块检测到存在目标物的数量少于或等于第一数量阔值时， 该位置被认为是非目标物所在区域，删除该位置的目标物所在区域，从而得到最终的目标 物检测结果。
[0024] 所述通信接口控制模块，用于在串行通信时序方式下通过所述通信接口模块，使 所述FPGA控制与处理模块与所述上位机模块进行双向通信。
[0025] 优选地，所述光强检测模块包括光电传感器、信号调理电路、放大滤波电路及模数 转换电路;所述光电传感器与所述信号调理电路的输入端连接，所述信号调理电路的输出 端经所述放大滤波电路与所述模数转换电路的输入端连接，所述模数转换电路的输出端与 所述FPGA控制与处理模块连接。
[00%]优选地，所述图像缓存模块采用SDRAM(Synch;ronous Dynamic Random-Access Memory，同步动态随机存储器)实现，所述SDRAM与所述FPGA控制与处理模块电连接。
[0027] 优选地，所述上位机模块采用计算机或嵌入式设备实现。
[0028] 本发明技术方案通过FPGA控制与处理模块、光强检测模块、摄像头模块、图像缓存 模块、通信接口模块、上位机模块，形成了一种机器视觉检测系统。本发明技术与现有技术 相比，主要区别及其效果如下。
[0029] 本发明技术方案通过引入摄像头组合和图像拼接技术，W适应不同检测区域范围 的应用场合的需要。根据检测区域的大小，所述摄像头模块采用单摄像头或多摄像头两种 方式。在多摄像头方式下，所有摄像头按特定方式安置，确保同时采集相邻区域的图像，使 之比单摄像头方式下采集更大区域范围的图像。同时，在多摄像头方式下，通过所述图像拼 接模块，将所述摄像头模块全部摄像头同一时刻拍摄的图像合并成一帖连贯且不重复、边 界拼接缝隙不明显的图像，使之比单摄像头方式下输出更大区域范围的整帖图像。
[0030] 本发明技术方案通过引入反馈方式使图像采集系统的曝光时间达到最优。所述光 强检测模块对所述摄像头模块的拍摄环境的光强进行实时检测，根据检测到的光强值动态 调整所述摄像头模块的曝光时间。具体地，在所述摄像头模块的曝光时间的可设置范围内， 光强值增大时适当缩短曝光时间，光强值减小时适当增长曝光时间，使所述摄像头模块拍 摄的图像质量更高，提高目标物检测的精度。从而解决了现有图像采集系统的曝光时间固 定不变或者拍摄前人为设定，外部环境的光强变化使图像质量下降，对目标物检测产生严 重干扰的缺陷。
[0031] 本发明技术方案把对目标物进行检测的图像处理集成在FPGA忍片上，通过进行硬 件并行处理W提高处理速度。具体地，采用特征数量适中、描述图像纹理结构信息出色的 LBP特征，合理构造弱分类器的串并联结构，使之构成强分类器;并且将待检测的图像按比 例缩小W构建金字塔状排列的分辨率逐步降低的图像集合，根据实际应用场合中目标物区 域面积占据整帖图像面积的比例范围，设置所述图像金字塔模块的图像集合的上限分辨率 和下限分辨率，所述图像金字塔模块的各层存放分辨率不同的图像，使用固定大小的检测 窗口，调用串并联结构的LBP特征级联分类器对所述图像金字塔模块的各层图像进行目标 物检测，W获取原始图像中不同尺度的目标物区域。本发明技术方案综合考虑FPGA内部资 源消耗及目标物检测效果两个因素，采用合理的串并联处理架构，在保证足够的检测精度 下，获得较高的检测速度，同时，硬件配置成本合理。
【附图说明】
[0032] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可W 根据运些附图示出的结构获得其他的附图。
[0033] 图1为本发明机器视觉检测系统实施例的功能模块图。
[0034] 图2为本发明机器视觉检测系统实施例的光强检测模块图。
[0035] 图3为本发明机器视觉检测系统实施例的单摄像头采集方式示意图。
[0036] 图4为本发明机器视觉检测系统实施例的多摄像头采集方式示意图。
[0037] 图5为本发明机器视觉检测系统实施例的相邻摄像头采集的图像的拼接示意图。
[0038] 图6为本发明机器视觉检测系统实施例的不同尺度目标物检测的第一实施例示意 图。
[0039] 图7为本发明机器视觉检测系统实施例的不同尺度目标物检测的第二实施例示意 图。
[0040] 图8为本发明机器视觉检测系统实施例的MB-LBP(Multi-Block Local Binary 化tterns,分区局部二值模式)特征值计算示意图。
[0041] 图9为本发明机器视觉检测系统实施例的图像积分图计算示意图。
[0042] 图10为本发明机器视觉检测系统实施例的LBP(Local Binary Patterns,局部二 值模式)特征强分类器的第一实施例级联示意图。
[0043] 图11为本发明机器视觉检测系统实施例的LBP特征强分类器的第二实施例级联示 意图。
[0044] 图12为本发明机器视觉检测系统实施例的LBP特征强分类器的第Ξ实施例级联示 意图。
[0045] 附图标号说明：
本发明目的的实现、功能特点及优点将结合实施例，参照附图作进一步说明。
【具体实施方式】
[0046] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基 于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其 他实施例，都属于本发明保护的范围。
[0047] 需要说明，本专利各部分内容中出现的英文缩写都在首次使用时附带英文全称和 中文全称作为解释，而各部分内容中再次出现的英文缩写都W此解释作为标准。
[0048] 另外，在本发明中设及"第一"、"第二"等的描述仅用于描述目的，而不能理解为指 示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第 二"的特征可W明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可 W相互结合，但是必须是W本领域普通技术人员能够实现为基础，当技术方案的结合出现 相互矛盾或无法实现时应当认为运种技术方案的结合不存在，也不在本发明要求的保护范 围之内。
[0049] 本发明提出一种机器视觉检测系统。
[0050] 参照图1，在本发明实施例中，所述机器视觉检测系统包括FPGA (Field- Programmable Gate Array,现场可编程口阵列）控制与处理模块100、光强检测模块200、 摄像头模块300、图像缓存模块400、通信接口模块500、上位机模块600;所述光强检测模块 200、所述摄像头模块300、所述图像缓存模块400、所述通信接口模块500都与所述FPGA控制 与处理模块100电连接;所述通信接口模块500与所述上位机模块600电连接。
[0051] 其中，所述光强检测模块200,用于检测所述摄像头模块300拍摄的环境的光强并 转换成对应的光强信号输入至所述FPGA控制与处理模块100;所述摄像头模块300,用于采 集图像并转换成对应的图像数据输入至所述FPGA控制与处理模块100。根据检测区域的大 小，所述摄像头模块300采用单摄像头或多摄像头两种方式。在多摄像头方式下，所有摄像 头按特定方式安置，确保同时采集相邻区域的图像，使之比单摄像头方式下采集更大区域 范围的图像;所述图像缓存模块400,用于缓存所述摄像头模块300采集的图像的灰度化数 据，解决图像采集与图像处理对图像数据存取时间不一致的冲突;所述通信接口模块500， 用于对所述FPGA控制与处理模块100和所述上位机模块600之间传输的信号进行电平转换； 所述上位机模块600，用于显示所述机器视觉检测系统的检测结果，包括目标物所在区域位 置和目标物所在区域大小;所述FPGA控制与处理模块100，用于配置所述摄像头模块300的 参数，给所述光强检测模块200下达检测使能信号并且通过检测反馈的光强信号配置所述 摄像头模块300的曝光时间。然后将所述摄像头模块300采集的图像进行数据格式转换、缓 存至所述图像缓存模块400 W及进行目标物检测。当所述摄像头模块300采用多摄像头方式 时，进行目标物检测前需要将相邻摄像头拍摄的图像的边缘进行拼接，使相邻摄像头拍摄 的交界区域都能进行有效的目标物检测。最后将检测结果通过所述通信接口模块500上传 至所述上位机模块600进行显示。
[0052] 具体地，所述FPGA控制与处理模块100包括光强检测使能模块110、摄像头配置模 块120、图像格式转换模块130、图像缓存控制模块140、图像拼接使能模块150、图像拼接模 块151、图像金字塔模块160、LBP(Local Binary Patterns,局部二值模式）特征级联分类 器模块170、目标区域处理模块180、通信接口控制模块190;所述光强检测使能模块110与所 述光强检测模块200的输入端连接，所述光强检测模块200的输出端经所述摄像头配置模块 120与所述摄像头模块300的输入端连接，所述摄像头模块300的输出端经所述图像格式转 换模块130与所述图像缓存控制模块140的输入端连接，所述图像缓存控制模块140与所述 图像缓存模块400进行双向传输，所述图像缓存控制模块140的输出端经所述图像拼接模块 151与所述图像金字塔模块160的输入端连接，所述图像拼接使能模块150与所述图像拼接 模块151连接，所述图像金字塔模块160的输出端经所述LBP特征级联分类器模块170与所述 目标区域处理模块180的输入端连接，所述目标区域处理模块180的输出端与所述通信接口 控制模块190的输入端连接，所述通信接口控制模块190与所述通信接口模块500进行双向 传输。
[0053] 其中，所述光强检测使能模块110,用于在所述机器视觉检测系统工作时，通过给 所述光强检测模块200下达使能信号使之工作;所述摄像头配置模块120,用于配置所述摄 像头模块300的参数，W及根据所述光强检测模块200反馈的光强信号配置所述摄像头模块 300的曝光时间;所述图像格式转换模块130,用于将所述摄像头模块300拍摄的图像数据进 行灰度值格式转换;所述图像缓存控制模块140，用于控制所述图像格式转换模块130输出 的灰度图像数据输入至所述图像缓存模块400, W及控制所述图像缓存模块400输出的灰度 图像数据输入至所述图像拼接模块151;所述图像拼接使能模块150,用于控制所述图像拼 接模块151的工作模式。当所述摄像头模块300采用多摄像头方式时，所述图像拼接使能模 块150给所述图像拼接模块151发送使能信号。当所述摄像头模块300采用单摄像头方式时， 所述图像拼接使能模块150给所述图像拼接模块151发送非使能信号；所述图像拼接模块 151，用于处理所述图像缓存控制模块140输出的图像数据。当从所述图像拼接使能模块150 接收到使能信号时，所述图像拼接模块151将所述图像缓存控制模块140输出的所述摄像头 模块300全部摄像头同一时刻拍摄的图像数据合并成一帖连贯且不重复、边界拼接缝隙不 明显的图像数据，然后将整帖图像数据输出至所述图像金字塔模块160。当从所述图像拼接 使能模块150接收到非使能信号时，所述图像拼接模块151将所述图像缓存控制模块140输 出的图像数据直接输出至所述图像金字塔模块160;所述图像金字塔模块160,用于将所述 图像拼接模块151输出的每帖灰度图按比例缩小W构建金字塔状排列的分辨率逐步降低的 图像集合，并且根据实际应用场合中目标物区域面积占据整帖图像面积的比例范围，设置 所述图像金字塔模块160的图像集合的上限分辨率和下限分辨率，所述图像金字塔模块160 的各层存放分辨率不同的图像;所述LBP特征级联分类器模块170,用于使用固定大小的检 测窗口，调用串并联结构的LBP特征级联分类器对所述图像金字塔模块160的各层图像进行 目标物检测，W获取原始图像中不同尺度的目标物所在区域;所述目标区域处理模块180， 用于将所述LBP特征级联分类器模块170检测到的全部目标物所在区域按对应比例映射到 原始分辨率的图像上；在原始分辨率图像的同一位置，利用所述LBP特征级联分类器模块 170检测到存在目标物的数量多于第一数量阔值时，该位置被认为是真实目标物所在区域， 合并该位置的目标物所在区域;在原始分辨率图像的同一位置，利用所述LBP特征级联分类 器模块170检测到存在目标物的数量少于或等于第一数量阔值时，该位置被认为是非目标 物所在区域，删除该位置的目标物所在区域，从而得到最终的目标物检测结果;所述通信接 口控制模块190，用于在串行通信时序方式下通过所述通信接口模块500，使所述FPGA控制 与处理模块100与所述上位机模块600进行双向通信。
[0054]具体地，所述图像缓存模块400采用SDRAM(Synch;ronous Dynamic Random-Access Memory,同步动态随机存储器)实现，所述SDRAM与所述FPGA控制与处理模块100电连接。
[0055] 具体地，所述上位机模块600采用计算机或嵌入式设备实现，用于显示所述机器视 觉检测系统的检测结果，实现人机交互。
[0056] 具体地，请结合参照图2,所述光强检测模块200包括光电传感器210、信号调理电 路220、放大滤波电路230及模数转换电路240;所述光电传感器210与所述信号调理电路220 的输入端连接，所述信号调理电路220的输出端经所述放大滤波电路230与所述模数转换电 路240的输入端连接，所述模数转换电路240的输出端与所述FPGA控制与处理模块100连接。
[0057] 在本实施例中，所述光电传感器210将所述摄像头模块300拍摄的环境的光强转换 成对应的物理信号，所述信号调理电路220将所述光电传感器210采集的物理信号转换成对 应的模拟信号，经所述放大滤波电路230对模拟信号进行功率放大、滤除杂波等干扰信号， 再通过所述模数转换电路240将模拟信号转换成数字信号输出至所述FPGA控制与处理模块 100进行处理。
[0058] 具体地，请结合参照图3和图4,所述摄像头模块300采用单摄像头或多摄像头两种 方式。易于理解的是，单摄像头采集图像的区域有限，可能造成待检测目标物在单摄像头采 集区域范围W外而不能被正确检测的问题。在多摄像头方式下，所有摄像头按特定方式安 置，确保同时采集相邻区域的图像，使之比单摄像头方式下采集更大区域范围的图像。摄像 头的数量将由实际应用需要检测的区域范围和每个摄像头的采集区域共同决定。
[0059] 具体地，请结合参照图5,所述摄像头模块300采用多摄像头方式时，每次获得相邻 区域的多帖图像。所述图像拼接使能模块150下达使能信号，所述图像拼接模块151将所述 图像缓存控制模块140输出的所述摄像头模块300全部摄像头同一时刻拍摄的图像合并成 一帖连贯且不重复、边界拼接缝隙不明显的图像。最后将完成拼接的整帖图像输出至所述 图像金字塔模块160进行处理。经过图像拼接过程，在相邻区域的两帖图像的边界同样可W 使用检测窗口对目标物进行检测，避免出现漏检的情况。
[0060] 具体地，请结合参照图6,提供了本发明机器视觉检测系统实施例的不同尺度目标 物检测的第一实施例。所述图像金字塔模块160将所述图像拼接模块151输出的一帖原始图 像按相同的比例系数逐层缩小W构建金字塔状排列的分辨率逐步降低的图像集合，所述比 例系数取值范围为[0.2,0.95]，图像缩放采用最近邻插值算法。进一步地，根据实际应用场 合中目标物区域面积占据整帖图像面积的比例范围，设置所述图像金字塔模块160的图像 集合的上限分辨率和下限分辨率。举例来说，当所述摄像头模块300采用单摄像头方式，拍 摄图像分辨率为640 X 480;检测窗口分辨率为24 X 24;所述图像金字塔模块160将所述图像 拼接模块151输出的一帖原始图像按比例系数为0.8逐层缩小W构建金字塔状排列的分辨 率逐步降低的图像集合;并且待检测目标物为人脸，根据实际应用场合，图像中人脸区域面 积占据整帖图像面积的比例不高于0.25,同时不低于0.01，在运前提下，为了节约FPGA资 源，提高对目标物的检测速度，所述图像金字塔模块160中各层图像的分辨率为320X240、 256X192、204X153、163X122、131X98、104X78、83X62、67X50、53X40、42X32,共有层 级总数k等于10,缩放过程中对长宽像素数目作了取整处理。对目标物进行检测时，检测窗 口从左到右、从上到下遍历所述图像金字塔模块160的各层图像，并且从所述图像金字塔模 块160的层级1到层级k依次对目标物进行检测。
[0061] 进一步地，请结合参照图7,为了提高所述机器视觉检测系统的检测速度，提供了 本发明机器视觉检测系统实施例的不同尺度目标物检测的第二实施例。在所述图像金字塔 模块160构建图像集合的方法上，所述不同尺度目标物检测的第二实施例与所述不同尺度 目标物检测的第一实施例完全一样。而在对目标物进行检测时，所述不同尺度目标物检测 的第二实施例中的检测窗口从左到右、从上到下遍历所述图像金字塔模块160的各层图像， 并且在所述图像金字塔模块160的所有层级图像中同时对目标物进行检测。
[0062] 需要说明的是，所述机器视觉检测系统采用特征数量适中、描述图像纹理结构信 息出色的LBP特征，合理构造弱分类器的串并联结构，使之构成强分类器。LBP特征值定义 为:将3X3窗口方格的中屯、格子的像素值分别与八个邻域格子的像素值进行比较，如果中 屯、格子的像素值大于或者等于邻域格子的像素值，则该邻域格子标记为0，否则标记为1。最 后将运八个邻域格子的标记值按照一定顺序编码得到一个八位的无符号二进制值，称为该 3乂3窗口的1^8?特征值。
[0063] 具体地，请结合参照图8,所述机器视觉检测系统采用的MB-LBP(Multi-Block Local Binary Patterns,分区局部二值模式)特征是LBP特征的扩展形式。首先，分别计算 3 X 3个相同大小的矩形区域中的所有像素和，得到9个数值Υο、Yi、Y2、Y3、Y4、Y5、Y6、Y7、Yc，然 后对运9个数值使用LBP特征计算方式获取MB-LBP特征值。
[0064] 进一步地，请结合参照图9,为了减少每次计算MB-LBP特征值过程中对矩形区域像 素求和的计算量，使用积分图的思想。积分图中每一个点的值是指从图像的左上角到运个 点所构成的矩形区域内所有像素之和。举例来说，在积分图中F点的值代表矩形区域ABEF中 所有像素之和Si，G点的值代表矩形区域ACEG中所有像素之和S2，I点的值代表矩形区域ABHI 中所有像素之和S3 J点的值代表矩形区域ACHJ中所有像素之和S4。计算矩形区域FGIJ中所 有像素之和，可W使用S4-S2-S3+S1快速计算得到。对所述图像金字塔模块160的各层级图像 构造积分图，W便在使用检测窗口遍历各层级图像时可此陕速获得相应的MB-LBP特征值， 提局对目标物的检测速度。
[0065] 需要说明的是，对目标物进行检测的LBP特征级联分类器由强分类器级联构成，而 各级强分类器又由作为基本单元的弱分类器级联构成。使用分类器对目标物进行检测的过 程是:按顺序使用各级强分类器对当前检测窗口进行目标物检测。具体地，计算强分类器的 各个弱分类器对当前检测窗口的特征值，将特征值与弱分类器阔值进行比较，然后查表获 得影响因子，统计各个弱分类器输出的影响因子之和并且与强分类器阔值进行比较来判断 当前检测窗口是否通过强分类器的检测。如果当前检测窗口通过强分类器的检测，则继续 调用下一级强分类器对当前检测窗口进行检测，否则停止对当前检测窗口的检测，重新对 下一个检测窗口进行检测。只有通过所有强分类器检测的检测窗口，才被认为存在目标物。 所述弱分类器阔值、所述影响因子的查询表数据W及所述强分类器阔值都是利用现有技 术，将数量充足、特征明显的样本图片数据作为训练集输入到计算机，运行AdaBoost算法程 序而获得。
[0066] 具体地，请结合参照图10,本发明机器视觉检测系统实施例的LBP特征强分类器的 第一实施例采用串并混合方式进行级联。其中，第1级到第m级强分类器采用并联方式同时 对当前检测窗口进行检测，每个强分类器的所有弱分类器同时对当前检测窗口计算特征 值。第m+1级到第n(n〉m)级强分类器采用串联方式逐次对当前检测窗口进行检测，每个强分 类器同时使用r个弱分类器对当前检测窗口计算特征值，弱分类器总数少于r的强分类器的 所有弱分类器同时对当前检测窗口计算特征值。r越大检测速度越快，而FPGA资源占用率越 大，本实施例中r的取值范围为[1，10]。只有通过所有并联强分类器检测的检测窗口，才被 输入到串联强分类器作进一步检测；只有通过所有强分类器检测的检测窗口才被认为存在 目标物。
[0067] 进一步地，请结合参照图11，本发明机器视觉检测系统实施例的LBP特征强分类器 的第二实施例采用并联方式进行级联。所有强分类器同时对当前检测窗口进行检测，每个 强分类器的所有弱分类器同时对当前检测窗口计算特征值。只有通过所有强分类器检测的 检测窗口才被认为存在目标物。
[0068] 进一步地，请结合参照图12,本发明机器视觉检测系统实施例的LBP特征强分类器 的第Ξ实施例采用串联方式进行级联。所有强分类器依次对当前检测窗口进行检测，每个 强分类器的所有弱分类器依次对当前检测窗口计算特征值。只有通过所有强分类器检测的 检测窗口才被认为存在目标物。
[0069] 所述图像金字塔模块160的所有图像集合经过所述LBP特征级联分类器模块170检 测后，将检测到的全部目标物所在区域按对应比例映射到原始分辨率的图像上。在原始分 辨率图像的同一位置被检测到存在目标物的数量多于第一数量阔值时，该位置被认为是真 实目标物所在区域，合并该位置的目标物所在区域。在原始分辨率图像的同一位置被检测 到存在目标物的数量少于或等于第一数量阔值时，该位置被认为是由于噪声干扰导致误检 或者根本检测不出目标物，从而该位置被认为是非目标物所在区域。本实施例中所述第一 数量阔值的取值范围为[1，5]。
[0070] 本发明技术方案通过FPGA控制与处理模块100、光强检测模块200、摄像头模块 300、图像缓存模块400、通信接口模块500、上位机模块600，形成了一种机器视觉检测系统。
[0071] 本发明技术方案通过引入摄像头组合和图像拼接技术，W适应不同检测区域的应 用场合的需要。根据检测区域的大小，所述摄像头模块300采用单摄像头或多摄像头两种方 式。在多摄像头方式下，所有摄像头按特定方式安置，确保同时采集相邻区域的图像，使之 比单摄像头方式下采集更大区域范围的图像。同时，在多摄像头方式下，通过所述图像拼接 模块151，将所述摄像头模块300的全部摄像头同一时刻拍摄的图像合并成一帖连贯且不重 复的图像，使之比单摄像头方式下输出更大区域范围的整帖图像。
[0072] 本发明技术方案通过引入反馈方式使图像采集系统的曝光时间达到最优。所述光 强检测模块200对所述摄像头模块300的拍摄环境的光强进行实时检测，根据检测到的光强 值动态调整所述摄像头模块300的曝光时间。具体地，在所述摄像头模块300的曝光时间的 可设置范围内，光强值增大时适当缩短曝光时间，光强值减小时适当增长曝光时间，使所述 摄像头模块300拍摄的图像质量更高，提高目标物检测的精度。从而解决了现有图像采集系 统的曝光时间固定不变或者拍摄前人为设定，外部环境的光强变化使图像质量下降，对目 标物检测产生严重干扰的缺陷。
[0073] 本发明技术方案把对目标物检测的图像处理集成在FPGA忍片上，通过进行硬件并 行处理W提高处理速度。具体地，采用特征数量适中、描述图像纹理结构信息出色的LBP特 征，合理构造弱分类器的串并联结构，使之构成强分类器;并且将待检测的图像按比例缩小 W构建金字塔状排列的分辨率逐步降低的图像集合，根据实际应用场合中目标物区域面积 占据整帖图像面积的比例范围，设置所述图像金字塔模块160的图像集合的上限分辨率和 下限分辨率，所述图像金字塔模块160的各层存放分辨率不同的图像，使用固定大小的检测 窗口，调用串并联结构的LBP特征级联分类器对所述图像金字塔模块160的各层图像进行目 标物检测，W获取原始图像中不同尺度的目标物区域。本发明技术方案综合考虑FPGA内部 资源消耗及目标物检测效果两个因素，采用合理的串并联处理架构，在保证足够的检测精 度下，获得较高的检测速度，同时，硬件配置成本合理。
[0074] W上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本 发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用 在其他相关的技术领域均包括在本发明的专利保护范围内。
【主权项】
1. 一种机器视觉检测系统，其特征在于，所述机器视觉检测系统包括FPGA (Field-Programmable Gate Array,现场可编程门阵列）控制与处理模块、光强检测模块、摄像头 模块、图像缓存模块、通信接口模块、上位机模块;所述光强检测模块、所述摄像头模块、所 述图像缓存模块、所述通信接口模块都与所述FPGA控制与处理模块电连接;所述通信接口 模块与所述上位机模块电连接;其中， 所述光强检测模块，用于检测所述摄像头模块拍摄的环境的光强并转换成对应的光强 信号输入至所述FPGA控制与处理模块； 所述摄像头模块，用于采集图像并转换成对应的图像数据输入至所述FPGA控制与处理 模块;根据检测区域的大小，所述摄像头模块采用单摄像头或多摄像头两种方式;在多摄像 头方式下，所有摄像头按特定方式安置，确保同时采集相邻区域的图像，使之比单摄像头方 式下采集更大区域范围的图像； 所述图像缓存模块，用于缓存所述摄像头模块采集的图像的灰度化数据，解决图像采 集与图像处理对图像数据存取时间不一致的冲突； 所述通信接口模块，用于对所述FPGA控制与处理模块和所述上位机模块之间传输的信 号进行电平转换； 所述上位机模块，用于显示所述机器视觉检测系统的检测结果，包括目标物所在区域 位置和目标物所在区域大小； 所述FPGA控制与处理模块，用于配置所述摄像头模块的参数，给所述光强检测模块下 达检测使能信号并且通过检测反馈的光强信号配置所述摄像头模块的曝光时间;然后将所 述摄像头模块采集的图像进行数据格式转换、缓存至所述图像缓存模块以及进行目标物检 测；当所述摄像头模块采用多摄像头方式时，进行目标物检测前需要将相邻摄像头拍摄的 图像的边缘进行拼接，使相邻摄像头拍摄的交界区域都能进行有效的目标物检测；最后将 检测结果通过所述通信接口模块上传至所述上位机模块进行显示。2. 如权利要求1所述的机器视觉检测系统，其特征在于，所述FPGA控制与处理模块包 括光强检测使能模块、摄像头配置模块、图像格式转换模块、图像缓存控制模块、图像拼接 使能模块、图像拼接模块、图像金字塔模块、LBP(Local Binary Patterns,局部二值模式） 特征级联分类器模块、目标区域处理模块、通信接口控制模块;所述光强检测使能模块与所 述光强检测模块的输入端连接，所述光强检测模块的输出端经所述摄像头配置模块与所述 摄像头模块的输入端连接，所述摄像头模块的输出端经所述图像格式转换模块与所述图像 缓存控制模块的输入端连接，所述图像缓存控制模块与所述图像缓存模块进行双向传输， 所述图像缓存控制模块的输出端经所述图像拼接模块与所述图像金字塔模块的输入端连 接，所述图像拼接使能模块与所述图像拼接模块连接，所述图像金字塔模块的输出端经所 述LBP特征级联分类器模块与所述目标区域处理模块的输入端连接，所述目标区域处理模 块的输出端与所述通信接口控制模块的输入端连接，所述通信接口控制模块与所述通信接 口模块进行双向传输;其中， 所述光强检测使能模块，用于在所述机器视觉检测系统工作时，通过给所述光强检测 模块下达使能信号使之工作； 所述摄像头配置模块，用于配置所述摄像头模块的参数，以及根据所述光强检测模块 反馈的光强信号配置所述摄像头模块的曝光时间； 所述图像格式转换模块，用于将所述摄像头模块拍摄的图像数据进行灰度值格式转 换； 所述图像缓存控制模块，用于控制所述图像格式转换模块输出的灰度图像数据输入至 所述图像缓存模块，以及控制所述图像缓存模块输出的灰度图像数据输入至所述图像拼接 丰旲块； 所述图像拼接使能模块，用于控制所述图像拼接模块的工作模式；当所述摄像头模块 采用多摄像头方式时，所述图像拼接使能模块给所述图像拼接模块发送使能信号；当所述 摄像头模块采用单摄像头方式时，所述图像拼接使能模块给所述图像拼接模块发送非使能 信号； 所述图像拼接模块，用于处理所述图像缓存控制模块输出的图像数据；当从所述图像 拼接使能模块接收到使能信号时，所述图像拼接模块将所述图像缓存控制模块输出的所述 摄像头模块全部摄像头同一时刻拍摄的图像数据合并成一帧连贯且不重复、边界拼接缝隙 不明显的图像数据，然后将整帧图像数据输出至所述图像金字塔模块；当从所述图像拼接 使能模块接收到非使能信号时，所述图像拼接模块将所述图像缓存控制模块输出的图像数 据直接输出至所述图像金字塔模块； 所述图像金字塔模块，用于将所述图像拼接模块输出的每帧灰度图按比例缩小以构建 金字塔状排列的分辨率逐步降低的图像集合，并且根据实际应用场合中目标物区域面积占 据整帧图像面积的比例范围，设置所述图像金字塔模块的图像集合的上限分辨率和下限分 辨率，所述图像金字塔模块的各层存放分辨率不同的图像； 所述LBP特征级联分类器模块，用于使用固定大小的检测窗口，调用串并联结构的LBP 特征级联分类器对所述图像金字塔模块的各层图像进行目标物检测，以获取原始图像中不 同尺度的目标物所在区域； 所述目标区域处理模块，用于将所述LBP特征级联分类器模块检测到的全部目标物所 在区域按对应比例映射到原始分辨率的图像上;在原始分辨率图像的同一位置，利用所述 LBP特征级联分类器模块检测到存在目标物的数量多于第一数量阈值时，该位置被认为是 真实目标物所在区域，合并该位置的目标物所在区域;在原始分辨率图像的同一位置，利用 所述LBP特征级联分类器模块检测到存在目标物的数量少于或等于第一数量阈值时，该位 置被认为是非目标物所在区域，删除该位置的目标物所在区域，从而得到最终的目标物检 测结果； 所述通信接口控制模块，用于在串行通信时序方式下通过所述通信接口模块，使所述 FPGA控制与处理模块与所述上位机模块进行双向通信。3. 如权利要求1至2中任意一项所述的机器视觉检测系统，其特征在于，所述光强检测 模块包括光电传感器、信号调理电路、放大滤波电路及模数转换电路;所述光电传感器与所 述信号调理电路的输入端连接，所述信号调理电路的输出端经所述放大滤波电路与所述模 数转换电路的输入端连接，所述模数转换电路的输出端与所述FPGA控制与处理模块连接。4. 如权利要求1至2中任意一项所述的机器视觉检测系统，其特征在于，所述图像缓存 模块米用SDRAM(Synchronous Dynamic Random-Access Memory，同步动态随机存储器）实 现，所述SDRAM与所述FPGA控制与处理模块电连接。5. 如权利要求1至2中任意一项所述的机器视觉检测系统，其特征在于，所述上位机模 块采用计算机或嵌入式设备实现。
【文档编号】G06K9/62GK105825219SQ201610305198
【公开日】2016年8月3日
【申请日】2016年5月10日
【发明人】梁伟棠
【申请人】梁伟棠