一种基于mser与orb相结合的人体匹配与定位方法及系统的制作方法
【技术领域】
[0001] 本发明涉及一种计算机视觉定位领域，特别是涉及一种基于MSER与0RB相结合的 人体匹配与定位方法及系统。
【背景技术】
[0002] 人体检测与定位是计算机视觉领域的研究热点与难点，在人机交互和人机协作等 方面具有广泛的应用，如在智能监控、智能家居服务型机器人、汽车的安全驾驶、智能交通 等方面都有广泛的应用。人体检测与定位不仅有直接的应用价值，同时也是计算机实现人 体动作行为识别和跟踪等视觉技术的基础，具有很好的理论研究价值。
[0003][0004][0005] 目前立体匹配方法主要有两种，一种是基于区域的立体匹配方法，即给定一幅 图像上的某一点，选取该像素点领域内的一个子窗口，在另一幅图像中的一个区域内，根 据某种相似性测度算法，寻找与子窗口图像最为相似的子图，而其匹配的子图中对应的 像素点就为该像素的匹配点。常用的相似性测度算法有像素差平方和（Sum of Squared Differences, SSD)，像素差绝对值和（Sum of Absolute Differences, SAD)，归一化交叉 相关（Normalized Correlation Coefficient，NCC)等；一种是基于特征的立体匹配方法， 如，Harris，SIFT、SURF、0RB等。基于区域的立体匹配方法能够获得稠密、均匀的图像视差 图，但是其对于图像旋转和外界光照的变化较为敏感，鲁棒性差，同时也不能处理图像中纹 理相似区域或遮挡图像区域。而基于特征的立体匹配方法虽然已经具有较好的匹配精度和 鲁棒性，但特征匹配方法搜索范围较广，计算量大，且容易出现误匹配。
【发明内容】
[0006] 为了解决现有技术中存在的上述问题，本发明提出一种基于MSER与0RB相结合 的人体匹配与定位方法，旨在降低计算量的同时，提高立体匹配的精度。
[0007] 本发明所采取的技术方案是：
[0008] -种基于MSER与0RB相结合的人体匹配与定位方法，实施该方法的系统包括硬件 设备和服务器端，所述方法包括以下步骤：
[0009] 所述硬件设备包括双目摄像头，将所述双目摄像头固定位置，用以采集左右立体 图像对 imageLeft 和 imageRight ;
[0010] 硬件设备将采集到的左右立体图像对imageLeft和imageRight进行立体标定处 理，处理结果得到摄像机内外参数；
[0011] 硬件设备发送摄像机内外参数至服务器端；
[0012] 服务器端接收摄像机内外参数，服务器端利用摄像机内外参数对左右立体图像对 imageLeft 和 imageRight 进行校正；
[0013] 服务器端通过H0G+SVM人体检测算法分别对左右立体图像对imageLeft和 imageRight进行人体检测；
[0014] 服务器端对左右图像对imageLeft和imageRight人体检测结果进行交叉验证；
[0015] 服务器端在左右立体图像对imageLeft和imageRight人体感兴趣区域分别提取 MSER区域；
[0016] 服务器端对提取的MSER区域进行过滤；
[0017] 服务器端对提取的MSER区域进行椭圆拟合和归一化处理；
[0018] 服务器端对提取的MSER区域提取多尺度0RB特征；
[0019] 服务器端利用Hamming距离对提取的0RB特征点进行立体匹配；
[0020] 服务器端根据双目视觉定位原理、摄像机内外参数以及立体匹配结果，进行人体 定位；
[0021] 服务器端显示人体定位结果。
[0022] 优选的是，所述立体图像对校正步骤进一步包括；
[0023] 利用Matlab标定工具箱对左右立体图像对imageLeft和imageRight进行立体标 定，得到双目摄像机的内外参数；
[0024] 使用OpenCV中的cvStereoRectify函数对摄像机内外参数参与校准的参数项进 行计算，得出校准参数；
[0025] 根据校准参数使用cvRemap对输入的左右图像对进行校准。
[0026] 在上述任一方案中优选的是，所述服务器端对左右图像对进行人体检测步骤进一 步包括：
[0027] 将校准后的图像对进行颜色和空间伽马归一化预处理；
[0028] 计算经过预处理后的图像对的每个像素的水平方向梯度和垂直方向梯度，得到图 像对的梯度强度和梯度方向值；
[0029] 将图像对分成固定大小的单元，每4个单元组合成块；将梯度方向分为9个bins， 每个单元得到的特征向量的维度为9 ;
[0030] 对单元内每个像素点，以各像素点的梯度强度值为权重，对其梯度方向所属区间 进行投票加权；
[0031] 统计各个块内各个单元在各个方向上的梯度分布，计算出图像对的Hog特征；
[0032] 将得到的H0G特征输入SVM分类器；SVM分类器分别对左右图像对imageLeft和 imageRight进行人体检测。
[0033] 在上述任一方案中优选的是，所述服务器端对左右图像对人体检测结果交叉验证 的步骤进一步包括：
[0034] 将左图像imageLeft中的每一个人体检测结果与右图像imageRight中的人体检 测结果进行匹配，若匹配成功，服务器端保留该左右图像对人体检测结果；若匹配不成功， 将SVM分类器阈值下降0. 5 ;
[0035] 在该人体右图像imageRight中构造一个与左图像imageLeft位置对应，大小相等 的区域；
[0036] 使用SVM分类器检测，如果检测结果为行人，则保留该左右图像的该人体检测结 果，否则不保留左图像该人体检测结果；
[0037] 对右图像中每一个未与左图像对应的人体检测结果进行上述同样的处理。
[0038] 在上述任一方案中优选的是，服务器端提取MSER区域的步骤进一步包括：
[0039] 选择一幅灰度图像，从1-255分别取阈值进行二值化处理，对于阈值为i时有N 个连通域，记为仏，Q2,...，Qi，...，QN，对于任意一个连通区域Qi，当灰度阈值i变化Δ = 5 时，对应的4变为，当
，Qi即为MSER区域。
[0040] 在上述任一方案中优选的是，服务器端对提取的MSER区域进行过滤步骤进一步 包括：
[0041] 根据所述二值化处理方法得到Nr个MSER区域，记为R r i = 1，· · ·，Nr;
[0042] A_表示MSER区域面积的最大值，取值为8000 ;
[0043] A_表示MSER区域面积的最小值，取值为100 ;
[0044] (? (A))表示第i个MSER区域的面积：
[0046] 在上述任一方案中优选的是，服务器端对提取MSER特征的区域进行椭圆拟合和 归一化步骤进一步包括：
[0047] 采用协方差矩阵将每一个MSER区域拟合成椭圆；
[0048] 计算出每个区域内所有像素点的一阶矩和二阶矩，则该区域由均值和协方差矩阵 来确定要拟合成的椭圆；
[0049] 将拟合的椭圆区域归一化为圆。
[0050] 在上述任一方案中优选的是，所述服务器端提取多尺度0RB特征步骤进一步包 括：
[0051] 提取MSER区域的多尺度0RB特征，其中以MSER椭圆区域的最长轴为基准，记 为R，以椭圆区域的中心（x，y)为关键点位置，以椭圆区域的主方向σ为关键点的角 度，服务器端提取以（x，y)为中心，半径为k*R区域内的0RB特征，其中，κ的取值为 0· 5，1. 0，1. 5, 2. 0〇
[0052] 在上述任一方案中优选的是，所述服务器端对提取的0RB特征点进行立体匹配 步骤进一步包括：
[0053] 通过Hamming距离对特征点进行立体匹配，使用d(Lfcy), RUy))表示左右图像匹配 点LfcydP R ^^的Hamming距离，其中，d〈100的匹配点保留。
[0054] 在上述任一方案中优选的是，所述服务器端对图像进行人体定位步骤进一步包 括：
[0055] 对立体匹配得到的匹配点对N求视差，所述N的视差c^i = 1，...，N，并求视差d 的均值
[0056] 根据双目立体定位原理以及摄像机标定得到的内外参数计算目标人体距摄像头 的距离2 =4，其中，f为摄像机的焦距，T为两个摄像机之间的距离。 a
[0057] 在上述任一方案中优选的是，所述硬件设备包括摄像机、监控摄像头、汽车用摄像 头中至少一种。
[0058] 在上述任一方案中优选的是，所述服务器端包括智能机器人研发机构、计算机视 觉领域研发机构、智能监控产品研发及销售机构、汽车安全驾驶产品研发及销售机构中至 少一种。
[0059] -种基于MSER与0RB相结合的人体匹配与定位方法，实施该方法的系统包括硬件 设备，所述方法包括以下步骤：
[0060] 所述硬件设备包括双目摄像头，将所述双目摄像头固定位置，用以采集左右立体 图像对 imageLeft 和 imageRight ;
[0061] 硬件设备将采集到的左右立体图像对imageLeft和imageRight进行立体标定处 理，处理结果得到摄像机内外参数；
[0062] 硬件设备发送摄像机内外参数至服务器端。
[0063] -种基于MSER与0RB相结合的人体匹配与定位方法，实施该方法的系统包括服务 器端，所述方法包括以下步骤：
[0064] 服务器端接收摄像机内外参数，服务器端利用摄像机内外参数对左右立体图像对 imageLeft 和 imageRight 进行校正；
[0065] 服务器端通过H0G+SVM人体检测算法分别对左右立体图像对imageLeft和 imageRight进行人体检测；
[0066] 服务器端对左右图像对imageLeft和imageRight人体检测结果进行交叉验证；
[0067] 服务器端在左右立体图像对imageLeft和imageRight人体感兴趣区域分别提取 MSER区域；
[0068] 服务器端对提取的MSER区域进行过滤；
[0069] 服务器端对提取的MSER区域进行椭圆拟合和归一化处理；
[0070] 服务器端对提取的MSER区域提取多尺度0RB特征；
[0071] 服务器端利用Hamming距离对提取的0RB特征点进行立体匹配；
[0072] 服务器端根据双目视觉定位原理、摄像机内外参数以及立体匹配结果，进行人体 定位；
[0073] 服务器端显示人体定位结果。
[0074] -种基于MSER与0RB相结合的人体匹配与定位系统，所述系统包括硬件设备和服 务器端，其特征在于，所述硬件设备包括双目摄像头、Matlab标定工具箱、摄像机内外参数 发送模块，所述服务器端包括摄像机内外参数接收模块、图像校正模块、人体检测模块、图 像交叉验证模块、MSER特征区域提取模块、MSER特征区域过滤模块、MSER特征区域椭圆拟 合和归一化处理模块、多尺度ORB