行人图像检测的分块处理方法与流程

本发明属于计算机视觉应用中的行人检测技术领域，具体的说是一种行人图像检测的分块处理方法。

背景技术：

目标检测技术是计算机视觉领域重要的组成部分，其技术被广泛应用于自主汽车、移动机器人、智能交通、智能安防系统等领域。行人目标检测具体的说是对图像中目标行人的位置确定。该项技术应用领域广泛，在自主汽车辅助驾驶中，行人目标检测可应用于行人危险预判，有效减少交通事故的发生；在军事领域，行人目标检测可用于判断敌军行人目标位置，从而及时对军事策略进行规划及修正；在智能安防系统中，行人目标检测判断环境及周边行人位置，防止行人对安防保护区域进行破坏。对于近距离目标行人，当前行人检测算法已经可以达到应用要求，但对于远距离行人的检测，现有技术仍有很大研究空间。因此，如何有效对远距离行人进行检测成为了当前研究的热点问题。

远距离微小行人目标的检测是目前模式识别中非常具有挑战性的研究课题，目前研究方法以通过红外图像进行检测为主。红外图像通过行人本身具有的温度特征对背景信息进行区分，具体来说，以图像灰度化为手段增加图像像素的梯度值，强化目标边缘信息，达到检测目标的目的。但基于红外图像检测微小目标的手段，鲁棒性较差，且只能判断目标是否存在、判断出目标所在位置，不能对目标的类别进行区分，其应用场景受到了较大的限制。在高速行驶的汽车上安装的监控系统，对中远距离行人目标检测更为必要。在日益智能化的交通背景下，行车、驾驶员与行人之间的安全是智能化交通的基本要求，提前预判前方行人目标的方向及走势，是提高行车安全的必要手段之一。而中远距离的微小行人目标恰是预判走势的关键因素，可应用于行车预判系统中行人目标危险系数的判定，提前避免事故的发生。

无人机技术在拍摄、巡查等方面都有着广泛的应用。提高远距离目标检测的准确度是进一步加强无人机技术普及的重要因素。无人机航拍画面中，由于拍摄距离较远，构成行人目标的像素点减少；同时，由于行人目标的姿态多变性，致使画面中的行人目标没有稳定的结构和纹理特征，降低了整个检测系统的检测精度，若能实现对航拍画面中的微小目标准确检测，不仅能够增加监控的可靠性，同时也降低对目标的跟踪失效的可能性。

专利申请号为cn108920996a，名称为“一种基于机器人视觉的小目标检测方法”通过引入小波变化的方式，在图像的水平分量和垂直分量上增加低频分量的信息，通过增强目标信号的方式，降低噪声对输入图像的干扰，从而提升了小目标的检测率，但是该方法在目标环境复杂时适用性较弱。专利申请号为cn108288075a，名称为“一种改进ssd的轻量化小目标检测方法”则是直接在原有的检测算法的基础上，增加逆卷积结构，对高、低分辨率的图像特征信息进行融合，提升了整体特征的表达能力，以此实现小目标检测的目的，但同时该方法也增加了检测过程中的错检率。

技术实现要素：

为解决通过图像分割对中远距离微小行人目标检测的问题，本发明提出一种行人图像检测的分块处理方法，包括

1)确定分块模块尺寸：

首先，采用身高为1.7m的行人目标作为图像采集对象，在镜头的视野范围内，目标自6米-110米之间连续向后移动，摄像机从6米开始正式拍照，目标距离摄像机每增加6米拍摄一次；

随后，对图像中行人目标的高度hperson与宽度wperson以及行人目标在不同距离图像中的位置信息pperson进行数据化表达；

最后，利用行人目标在图像中的位置信息pperson分别对行人目标的高度和宽度进行回归分析计算，直接定义以拍摄距离dis处的行人目标在图像中大小为标准行人目标大小，其中

dis∈[16m,20m]

根据指定拍摄dis范围内的行人目标大小为参考，由此确定后续分块模块尺寸，完成系统初始化参数确定；

根据得到行人目标位置信息与行人高度、宽度的关系曲线定义分块模块的大小，具体定义如下：设分块模块的高、宽分别为hslice与wslice，则分块模块的宽度与高度具体表示形式如下：

wslice＝α*wperson

hslice＝β*hperson

其中，α和β为比例系数，其中α∈[5,7]，β∈[3,5]；

分块模块左上角、右上角、左下角与右下角坐标大小具体如下：

其中，(x,y)为分块模块在图像中任意起点坐标，由分块模块坐标确定出分块模块的大小；

2)确定分块模块步幅

以分块模块的高、宽为模块步进步长的衡量标准，分块模块以x轴和y轴正方向为步进的移动方向；

直接定义分块模块在x轴运动方向上，分块模块的步进步长为lx：

lx＝wslice*r1

其中r1∈[50％,100％]

直接定义分块模块在y轴运动方向上，分块模块的步进步长为ly：

ly＝hslice*r2

其中r2∈[75％,100％]

3)根据分块模块尺寸和步幅，对全局图像进行分块模块划分。

有益效果：通过确定分块模块尺寸和步幅将拍摄图像进行分块，并在分块中通过分块模块左上角、右上角、左下角与右下角坐标分配，确定分块大小，该分块方法是通过对图像进行更为细致的划分，增加图像中部分高频分量，补充细节信息，从而进一步提升小目标的表象特征以提高小目标的检测率。

附图说明

图1是本发明拍摄示意图；

图2是图像坐标系定义示意图；

图3是一种微小行人目标检测方法的原理逻辑图；

图4是实施例1中108米处的待检测图像；

图5是实施例1经过本发明后108米出的检测结果图；

图6是实施例2中105米出的待检测图像；

图7是实施例2经过本发明后105米出的检测结果图。

具体实施方式

接下来结合附图和具体实施过程来对使用本发明进行检测的实例进行描述：一种微小行人目标检测方法的原理逻辑图，如图3所示，实施步骤概况如下：

第1步：输入图像视频序列帧，同时获取分块模块划分的基础数据；

第2步：根据基础数据与比例函数对图像进行分块模块划分；

第3步：将划分好的分块模块图像送输入到检测器进行检测；

第4步：将第3步的检测结果送入到检测框坐标还原模块，进行检测结果统一化处理；

第5步：将第4步的结果进行重叠区校验处理，去除冗余检测结果；

第6步：得到最终的检测结果。

其中，“微小”的具体定义是指在固定分辨率的图像中，距离图像采集设备镜头中心点距离30米时，所呈现的标准行人目标(以人体身高1.7米为基准)的像素高度为阈值，小于该像素高度阈值的行人目标统称为微小行人目标。

具体的：

本发明通过分块模块划分、全局目标融合、冗余目标框的去除实现图像中微小目标的检测。本发明为行人目标检测算法的一种预处理方法，由于微小目标在图像中的面积以及显示比例较小，辨识度低等原因，导致微小目标不易被检测，故而本发明提出一种分块模块划分的方法。该方法根据中远距离目标在图像中变化规律，合理确定出分块模块大小与步幅的适用参数，有效对检测图片进行切割，在减少干扰信息的同时提高了目标特征表现力，提高目标检测算法的检测精度与鲁棒性。

本发明以下技术方案实现上述目标：

一、硬件实施要求

本专利对图像采集装置设备性能提出下述要求：

本发明提出的是一种基于图像的微小目标检测方法，故而对硬件无过高要求。在证明方法有效的仿真过程中，本发明采用如下拍摄方式：以车辆高度1.4米为参照，固定三脚架的拍摄高度，摄像机安装并固定于三脚架顶端，保持镜头水平拍摄，在镜头的视野范围内，待检测行人目标与摄像头之间的距离应呈动态变化，距离范围规定在6米-110米之间，具体拍摄方式如图1所示。

具体参数说明如下：

本发明支持图像分辨率支持最大8k、4k、1920×1080以及最小640×480图像分辨率，本发明采用的图像分辨率是1920×1080；

本发明支持图像格式包括jpg、png，本发明采用的图像格式是png；

本发明可支持ios/andriod/windows/linux操作系统。

二、全局图像与局部图像坐标系定义

如图2所示为图像坐标系定义示意图，即图像im所在坐标系ioj实际上建立了图像与数值之间的参考关系，图像全局坐标系ioj以输入图片为参考，以输入图像的左上角坐标为全局图像坐标系的原点即o，即全局图像坐标系为ioj。

以全局图像为基础，作为分块划分模块的输入，根据分块的规则，计算出分块模块的hslice和wslice，根据计算出的数据，对全局图像进行从左到右、从上到下的顺序进行划分，得到局部图像以划分时左上角坐标点o(i0,j0)为原点建立局部图像的坐标系，即的局部图像坐标系为mo(i0,j0)n。

三、分块模块

1)分块模块尺寸

目标分块检测方法是通过对图像进行更为细致的划分，增加图像中部分高频分量，补充细节信息，从而进一步提升小目标的表象特征以提高小目标的检测率。以行人目标在不同距离上所呈现的大小作为参考，并对分块模块的尺寸进行定义。

进一步的，所述定义分块模块尺寸包括如下步骤：首先，本发明采用身高为1.7m的行人目标作为图像采集对象，在镜头的视野范围内，目标自6米-110米之间连续向后移动，摄像机从6米开始正式拍照，目标则距离摄像机每增加6米拍摄一次；随后，对图像中行人目标的高度hperson与宽度wperson以及行人目标在不同距离图像中的位置信息pperson进行数据化表达；最后，利用行人目标在图像中的位置信息pperson分别对行人目标的高度和宽度进行回归分析计算，直接定义以拍摄距离dis处的行人目标在图像中大小为标准行人目标大小，其中

dis∈[16m,20m](1)

根据指定拍摄dis范围内的行人目标大小为参考，由此确定后续分块模块尺寸完成系统初始化参数确定。

进一步的，根据得到行人目标位置信息与行人高度、宽度的关系曲线定义分块模块的大小，具体定义如下：

设分块模块的高、宽分别为hslice与wslice，则分块模块的宽度与高度具体表示形式如下：

wslice＝α*wperson(1)

hslice＝β*hperson(2)

其中，α和β为比例系数，其中α∈[5,7]，β∈[3,5]，α和β分别为划分分块图像时宽度与高度的比例系数，经过大量实验验证，当分块图像的宽度是行人目标宽度的5到7倍，分块图像的高度是行人目标高度的3到5倍时，图像中微小目标的检测效率及精确度最高。换句话说，α和β是的取值范围是经大量仿真测试后，给出的工程应用标准区间数值。

则分块模块左上角、右上角、左下角与右下角坐标大小具体如下：

其中，(x,y)为分块模块在图像中任意起点坐标，由此确定出分块模块的大小。

2)分块模块步幅

本发明直接以分块模块的高、宽为模块步进步长的衡量标准。分块模块以x

轴和y轴正方向为步进的移动方向。

直接定义分块模块在x轴运动方向上，分块模块的步进步长为lx：

lx＝wslice*r1(4)

其中r1∈[50％,100％]，中远距离的微小行人目标所占图像区域较小，分块图像在x轴的步进步长中系数取值50％时，恰好保证位于重叠区域内微小行人目标的完整性，随着检测距离的逐渐变远，的取值可以自适应增大，直至分块图像之间的不存在重叠区域。

直接定义分块模块在y轴运动方向上，分块模块的步进步长为ly：

ly＝hslice*r2(5)

其中r2∈[75％,100％],中远距离的微小行人目标所占图像区域较小，分块图像在y轴的步进步长中系数取值75％时，能保证位于重叠区域以外分块图像内微小行人目标高度的完整性，随着检测距离的逐渐变远，的取值可以自适应增大，直至分块图像之间的不存在重叠区域。

经过第一环节，对全局图像进行分块模块划分后，为后续检测提供更为细致的输入。

三、全局目标融合

分块模块划分是对原始待检测图片的物理分割。以1)所述规则得到分块模块大小及步长分割检测图片并获得分块模块区域。分别检测每一个分块模块，获取能够检测到行人的分块模块图像，并将检测结果映射到原始检测图片中，获得检测结果。

图像全局坐标系iojxoy与分块模块图像坐标系mo(i0,j0)nxoay之间的映射关系如下：

i0＝m+xa(6)

j0＝n+ya(7)

其中，(i0,j0)为全局图像im中任意一点坐标，(m,n)为局部图像中的任意一点，a(xa,ya)为局部图像原点在全局图像上对应点的坐标值。

去除冗余目标框：

去除检测目标的冗余框一直是检测领域的研究热点。针对小目标检测，由于检测目标特征不明显也极易造成目标框冗余的情况发生。本发明通过以下4步实现去除冗余目标框的过程：

1)对图像进行首次检测；

2)获取前一次检测目标框及框内图像，进行再次检测；

3)进行决策，判断行人框占检测图像比例是否满足75％的要求，若满足直接输出图像，否则进行下一步工作；

4)对不满足要求的图像进行图像变换，将结果作为输入，重复2)、3)工作直至图像输出为止。

通过上述技术方案，本发明提供的一种微小行人检测方法具有的有益效果如下：发明是一种属于智能图像研究领域的小目标检测方法，在检测距离上能够达到110m，在行人检测的距离方面达到了最远距离。在图像当中小目标存在分辨率低，特征不明显的特点，因此在检测过程中不易获取。但小目标检测尤其是小目标行人检测，在机器人、车载、行人安全保护以及军事等方面都发挥着巨大的作用，故而提出一种可操作性强且便于各领域进行广泛应用的小目标检测方法具有极大意义。本发明提出的一种微小行人目标的检测方法通过分块模块处理、检测框坐标还原以及检测后处理三步完成对目标的检测过程。在图像获取设备上，仅通过普通单目摄像头即可完成，对硬件程度要求低的特点使得本发明能够在更广泛的领域推广。同时，本发明无需先验知识，降低了检测过程中的工作量。基于以上优势，本发明在多领域进行应用。具体有益效果如下：

(1)本发明将有效应用于交通系统中对远距离行人的安全预判。对硬件设备要求低的特点，便于本发明应用于其他系统中。在汽车上增加单目摄像头并不会对汽车系统带来硬件方面的负担，但在功能性上增加了对行人的检测。这对于在行车过程中，在行人位置估计以及是否需要对行人进行避让，行人是否处于危险状态等驾驶者需要及时了解的信息上提供了基础数据支撑。可以说，行人检测在交通系统工作中，对于行人保护方面起到了至关重要的作用。如今，无人车领域大行其道，在诸多方面都得到了广泛的发展，而作为交通系统的重要一环，无人车对于行人检测的要求也不止于近距离行人的检测。由于无人车全部判断都需要通过机器来完成，故而更早地检测行人，并对行人相关信息进行预判，将提升无人车的安全性能，为保障无人车不对行人造成伤害方面做出贡献。本发明检测行人最远距离为110m，远距离检测为辅助驾驶系统提供了足够时间对行人安全进行保护。

(2)本发明将有效应用于交通系统中儿童的保护。在等距离情况下，相较于成人目标而言，儿童目标在图像中占比更小，及时在与车辆之间距离较近的情况下，也极易被驾驶人员发现，从而造成伤害事故发生。同时，儿童的反应速度、对于危险来临的警觉性均远低于行人，故而，对车前儿童加强保护措施，提升儿童目标的预警级别是交通环境中的一项势在必行的重要举措。小目标的绝对尺寸定义是，在图像中目标尺寸小于32×32像素大小的目标即可定义为小目标，由于儿童本身体积较小的原因，占图像像素也相对较小，因此在与摄像头较近范围内的儿童目标也可定义为小目标。由于大量儿童目标满足小目标定义，故而本发明同样能够应用于对于儿童目标的保护工作当中。检测到较远距离的儿童目标后，将检测结果输入到现今已有的车载定位及行人安全保护系统中，及时提醒驾驶人员。由于儿童对于危险应对的延迟性，在儿童与驾驶者发生冲突的情况下，主要通过驾驶者决策从而避免事故发生。所以，检测较远距离的儿童目标，及时进行预警给驾驶者尽量多的时间避让儿童，能够在很大程度上降低事故发生的概率。

(3)本发明将有效应用于机器人领域。随着人工智能的发展，机器人行业也迎来了一次又一次的飞跃，在多方面为人类做出了卓越贡献。在众多类型的机器人发展中，类人机器人发展速度及功能性首屈一指。类人机器人顾名思义就是像人一样，而摄像头作为机器人的“眼睛”，能够令类人机器人获取更多的视觉信息，帮助机器人同人类一样对事物进行判断。故而，本发明所要求的摄像头对于机器人，尤其是类人机器人是一种必不可少的硬件设施。为了能让机器人更好的融入人类生活，使得机器人能够与人类在同一环境下行走是一个亟待解决的问题。为有效避让行人，第一步工作就是对检测行人。本发明对于行人的检测距离可达到110m，这也就意味着机器人有效获取110m内所有行人的信息，在单帧获取行人数量信息上有了保证。对于行人和机器人混行的复杂环境，获取的行人数量越多，就越能说明行人之间复杂的位置关系，也就更有利于机器人对于行人关系位置的判断，从而达到在不对行人进行碰撞等伤害的前提下，与行人在同一环境下行走。

(4)本发明将有效应用于军事领域。从古代的刀枪剑戟到如今的高科技武器，一个国家的军事领域发展情况往往反应了国家的科技发展情况。将新科技技术应用于军事事业当中，加强我国军事能力，为国家保护添砖加瓦是每一个科研工作者不可推卸的责任。在军事现场对于行人的检测也发挥着重要作用，在实际应用中，近距离行人通过肉眼即可获取，远距离行人由于人眼本身生理结构因素易被忽略，故而对于远距离微小行人检测在军事应用中显得尤为重要。应用于军事领域较于民用领域往往要求更高，且对于隐蔽性及便捷性等方面都有更高的要求。本发明在硬件设备上无明确要求，仅满足获取图像功能即可，故而应用在军事过程中可使用微小摄像头或针孔摄像头等，满足了军事领域行人检测对于隐蔽性的要求。本发明可检测到110m范围内的行人，实现了大范围宽领域的检测，对更宽广领域范围内的行人信息进行获取，有利于掌握军事行动中的更多先机，以便于更优部署的完成。

实施例1：

室外中远距离的单人环境目标检测情况

本实施例针对室外单人环境，以车辆高度为实际高度为拍摄三脚架，摄像机安装并固定于三脚架顶端，保持镜头水平拍摄，在镜头的视野范围内，目标自6米-108米之间连续向后移动，摄像机从6米开始正式拍照，单人目标则距离摄像机每增加6米拍摄一次。实例参数说明：图像格式为png，图像尺寸为1920×1080，选择108米处的图像为实际检测图像。图4作为输入行人检测系统的待检测图像，利用本发明最为检测系统的一部分对待检测图片进行检测，图5是分块模块划分检测后成功检测到中远距离行人目标的检测结果图。

实施例2：

室外中远距离的多人环境目标检测情况

本实施例针对室外单人环境，以车辆高度为实际高度为拍摄三脚架，摄像机安装并固定于三脚架顶端，保持镜头水平拍摄，在镜头的视野范围内，目标自7米-105米之间连续向后移动，摄像机从7米开始正式拍照，多人目标则距离摄像机每增加7米拍摄一次。实例参数说明：图像格式为png，图像尺寸为1920×1080，选择105米处的图像为实际检测图像。图6作为输入行人检测系统的待检测图像，利用本发明最为检测系统的一部分对待检测图片进行检测，图7是分块模块划分检测后成功检测到中远距离行人目标的检测结果图。

以上所述，仅为本发明创造较佳的具体实施方式，但本发明创造的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明创造的保护范围之内。