一种行人检测方法和系统的制作方法
【专利摘要】一种行人检测方法和系统，本发明提供一种行人检测方法，对采集到的图像进行头肩检测、人脸检测以及全人检测，可以得到正面头肩、背面头肩或者侧面头肩的特征、正面全人特征信息、背面全人特征信息以及左侧全人特征信息和右侧全人特征信息中的一个或多个，这样，对于人脸遮挡或伪装的目标行人，也可以获得正面、背面和侧面头肩特征、以及多个角度的全人特征，对于实时处理违法行为以及事后分析都会有很大的帮助，可以极大减少相关人员的后继工作量。克服了现有技术中基于人脸检测的人员卡口系统的缺陷，不但适应正面人脸检测，还进行背面和侧面的行人检测，一个人的人脸快照加上全人快照就基本包含了一个人的全部信息，便于后期进行一些深入分析。
【专利说明】一种行人检测方法和系统
【技术领域】
[0001]本发明涉及图像检测【技术领域】，具体地说是一种行人检测方法和系统。
【背景技术】
[0002]随着社会经济的迅速发展，视频监控系统在各个行业的应用正逐渐成熟，建设并投入使用的摄像机数量正快速增加。利用设置在交通枢纽中心或卡口的摄像头可以获取大量的行人信息，为公安追击犯罪分子提供数据支持。如何有效的利用这些摄像机来监控公共场所的个人行为，更好的维护社会稳定和谐，将各种违法和极端行人消除在萌芽状态，已经成为整个社会执法部门的一个迫在眉睫的难题。
[0003]现有技术中，人员卡口系统都是基于人脸检测的，此系统的缺陷在于:首先，人脸很容易被伪装，如带口罩或者带墨镜就会检测失效，无法获取该行人的人脸数据；其次，人脸检测容易受人脸角度的影响，非正脸容易检测失效造成漏报和重报；再次，人脸检测对相机架设要求高，离人越近效果越好，但是离人较紧又很容易造成人的警惕性；此外，由于人脸检测仅提取到人脸信息，得到的信息只包含单一的正面人脸照，信息量偏少，对后续应用不利。
[0004]在中国专利文献CN103679212A中公开了一种基于视频图像的人员检测和计数方法，该方法包括人脸检测、人体检测、头肩检测和人员综合分析，通过人员综合分析来分析另外三个部分的检测结果，分析人员分布的情况和可靠性，并根据用户提出的最低可靠性需求，输出高可靠的人员检测结果和人数估计结果。但是，该方案中人脸检测、人体检测、头肩检测独立进行，数据处理量非常大，此外，该方案中通过相似度分析得到的是人员的计数信息，并无法综合全面的体现出各个行人的信息。
【发明内容】
[0005]为此，本发明所要解决的技术问题在于现有技术中的人员检测识别方法数据处理量大、获取的人员信息不全面，从而提出一种减少了数据处理量且能获得全面的行人信息的行人检测方法和系统。
[0006]为解决上述技术问题，本发明提供一种行人检测方法和系统。
[0007]一种行人检测方法，包括
[0008]采集目标行人的图像信息；
[0009]从所述图像信息中检测目标行人的头肩图像，所述头肩图像包括正面头肩图像、背面和侧面头肩图像，提取头肩特征数据；
[0010]从所述目标行人的头肩图像中获取人脸图像，并进行人脸检测，获得人脸特征数据；
[0011]根据所述目标行人的头肩图像，将所述头肩图像在所述目标行人的图像信息中扩展，复用头肩的特征数据，进行多尺度和多角度检测，得到其对应的全人图像，提取全人特征数据，所述全人特征数据包括正面全人特征信息、背面全人特征信息以及左侧全人特征信息和右侧全人特征信息中的一个或多个；
[0012]将同一目标行人的所述头肩特征数据、人脸特征数据和全人特征数据进行关联。
[0013]优选地，还包括跟踪目标行人，获取目标行人位置的步骤，具体包括:
[0014]建立跟踪队列，所述跟踪队列包括预跟踪队列、跟踪队列、匹配队列以及删除队列，其中，新出现的目标设置进入预跟踪队列，稳定的目标设置进入跟踪队列进行跟踪，图像画面中无故丢失的目标进入匹配队列，无前景目标、长期在边缘位置的目标和匹配队列超时未匹配到的目标进入删除队列；
[0015]目标在跟踪队列中的状态可变，预跟踪队列中的目标满足跟踪条件进入跟踪队列，跟踪队列连续检测不到进入匹配队列，跟踪队列中在画面边缘的目标会进入删除队列，匹配队列和新出现的目标匹配上会再次进入跟踪队列，匹配队列长时间无匹配成功目标则进入删除队列；
[0016]对跟踪队列中目标进行光流场跟踪预测本帧可能出现的位置；
[0017]根据预测的本帧可能出现的位置与实际检测目标位置，找出最匹配的检测目标，选出本帧此目标的最佳位置，作为目标行人的位置。
[0018]优选地，将同一目标行人的所述头肩特征数据、人脸特征数据和全人特征数据进行关联的步骤之后，还包括输出快照过程，包括
[0019]输出目标行人首次出现的快照；和/或
[0020]根据所述人脸特征数据计算出最佳人脸特征数据，输出目标行人的最佳人脸快照；和/或
[0021]根据所述全人特征数据计算出最佳全人特征数据，输出目标行人的最佳全人快照，同时输出该目标行人的方向、速度、位置以及出现时间。
[0022]优选地，还包括获取目标行人位于不同位置的人脸特征数据和/或不同角度的人脸特征数据并输出。
[0023]优选地，得到全人图像的过程中，还包括:
[0024]设置全人宽高比，适应不同的架设角度，在全人检测失效情况下动态估计全人的位置；
[0025]对全人图像进行剪裁，使得每个全人图像中只包括一个行人的头像，克服密集情况下的人员相互遮挡问题。
[0026]优选地，所述将同一目标行人的所述头肩特征数据、人脸特征数据和全人特征数据进行关联的步骤中，还包括将所述人脸图像、头肩图像、全人图像的各自不同角度和不同尺度的检测结果的合并，同时同一个行人在原始尺度上有唯一的头肩框、全人框，如正面人脸存在，人脸框也唯一。
[0027]优选地，还包括根据所述头肩特征数据、人脸特征数据和全人特征数据进一步分析，提取目标行人的性别、年龄、身高、衣着颜色、姿势、运动速度、随身携带物中的一种或多种信息。
[0028]优选地，将同一目标行人的所述头肩特征数据、人脸特征数据和全人特征数据进行关联的步骤之后，还包括统计特定时间段内行人的总数，各个方向行走的行人数量，男女行人的数量，行人的通行、滞留时间。
[0029]本发明还提供一种行人检测系统，包括:
[0030]图像采集模块:采集目标行人的图像信息；
[0031]头肩检测模块:从所述图像信息中检测目标行人的头肩图像，所述头肩图像包括正面头肩图像、背面头肩图像和侧面头肩图像，提取头肩特征数据；
[0032]人脸检测模块:从所述目标行人的头肩图像中获取人脸图像，并进行人脸检测，获得人脸特征数据；
[0033]全人检测模块:根据所述目标行人的头肩图像，将所述头肩图像在所述目标行人的图像信息中扩展，复用头肩的特征数据，进行多尺度和多角度检测，得到其对应的全人图像，提取全人特征数据，所述全人特征数据包括正面全人特征信息、背面全人特征信息以及左侧全人特征信息和右侧全人特征信息中的一个或多个；
[0034]目标关联模块:将同一目标行人的所述头肩特征数据、人脸特征数据和全人特征数据进行关联。
[0035]优选地，还包括目标跟踪模块，用于跟踪目标行人，获取目标行人位置，具体包括:
[0036]跟踪队列建立子模块:建立跟踪队列，所述跟踪队列包括预跟踪队列、跟踪队列、匹配队列以及删除队列，其中，新出现的目标设置进入预跟踪队列，稳定的目标设置进入跟踪队列进行跟踪，图像画面中无故丢失的目标进入匹配队列，无前景目标、长期在边缘位置的目标和匹配队列超时未匹配到的目标进入删除队列；
[0037]跟踪队列转换子模块:目标在跟踪队列中的状态可变，预跟踪队列中的目标满足跟踪条件进入跟踪队列，跟踪队列连续检测不到进入匹配队列，跟踪队列中在画面边缘的目标会进入删除队列，匹配队列和新出现的目标匹配上会再次进入跟踪队列，匹配队列长时间无匹配成功目标则进入删除队列；
[0038]预测子模块对跟踪队列中目标进行光流场跟踪预测本帧可能出现的位置；
[0039]目标行人位置输出子模块:根据预测的本帧可能出现的位置与实际检测目标位置，找出最匹配的检测目标，选出本帧此目标的最佳位置，作为目标行人的位置。
[0040]优选地，还包括快照输出模块，用于输出快照过程，包括
[0041]第一输出子模块:输出目标行人首次出现的快照；和/或
[0042]第二输出子模块:根据所述人脸特征数据计算出最佳人脸特征数据，输出目标行人的最佳人脸快照；和/或
[0043]第三输出子模块:根据所述全人特征数据计算出最佳全人特征数据，输出目标行人的最佳全人快照，同时输出该目标行人的方向、速度、位置以及出现时间。
[0044]优选地，还包括第四输出子模块:获取目标行人位于不同位置的人脸特征数据和/或不同角度的人脸特征数据并输出。
[0045]优选地，全人检测模块还包括:
[0046]估计子模块:设置全人宽高比，适应不同的架设角度，在全人检测失效情况下动态估计全人的位置；
[0047]剪裁子模块:对全人图像进行剪裁，使得每个全人图像中只包括一个行人的头像，克服密集情况下的人员相互遮挡问题。
[0048]本发明的上述技术方案相比现有技术具有以下优点，
[0049](1)本发明所述的行人检测方法，对采集到的图像进行头肩检测、人脸检测以及全人检测，可以得到正面头肩、背面头肩或者侧面头肩的特征、正面全人特征信息、背面全人特征信息以及左侧全人特征信息和右侧全人特征信息中的一个或多个，这样，对于人脸遮挡或伪装的目标行人，也可以获得正面、背面或者侧面头肩特征、以及多个角度的全人特征，对于实时处理违法行为以及事后分析都会有很大的帮助，可以极大减少相关人员的后继工作量。
[0050](2)本发明所述的行人检测方法，还包括对目标进行跟踪的过程，通过建立不同的队列，对目标行人进行跟踪，包括预跟踪队列、跟踪队列、匹配队列以及删除队列，针对每种队列中的目标进行不同的处理，大大降低了数据处理的总量，同时，通过区分对待的方式，根据目标的不同状态在上述不同的队列之间进行切换，对目标行人进行准确的跟踪。
[0051](3)本发明所述的行人检测方法，为了后续更好的对目标行人进行追踪和定位，还包括输出快照过程，可以输出多个位置、多个角度的快照，为后续对该目标行人进行追踪提供参考，包括如下一个或多个步骤，输出所需的快照。
[0052](4)本发明所述的行人检测方法，克服了现有技术中基于人脸检测的人员卡口系统的缺陷，不但适应正面人脸检测，还进行背面和侧面的行人检测；不单包含人脸快照还包含全身快照；架设更加灵活，适应性更广；一个人的人脸快照加上全人快照就基本包含了一个人的全部信息，便于后期进行一些深入分析。
[0053](5)本发明所述的行人检测方法，检测通过此卡口的正面、背面和侧面行人，每个行人都输出最佳的头部快照和全人快照；对每个行人进行必要的属性分析，对此人员卡口进行必要的数据统计。对每个经过的人都会保留快照并进行一些必要的特征分析，无论对于实时处理违法行为还是事后分析都会有很大帮助，会极大的减少相关人员的后继工作量。
[0054](6)本发明所述的行人检测方法，全部在前端嵌入式摄像机内完成，所有的快照输出都是基于原始采集图像，不会受编码码率和编码质量的影响，相对于事后分析处理有先天的优势。
[0055](7)本发明所述的行人检测系统，包括图像采集模块、头肩检测模块、人脸检测模块以及全人检测模块和目标关联模块，对采集到的图像进行头肩检测、人脸检测以及全人检测，可以得到正面头肩、背面头肩或者侧面头肩的特征、正面全人特征信息、背面全人特征信息以及左侧全人特征信息和右侧全人特征信息中的一个或多个，这样，对于人脸遮挡或伪装的目标行人，也可以获得正面、背面或者侧面头肩特征、以及多个角度的全人特征，对于实时处理违法行为以及事后分析都会有很大的帮助，可以极大减少相关人员的后继工作量。
【专利附图】
【附图说明】
[0056]为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
[0057]图1是本发明实施例1的一种行人检测方法的流程图；
[0058]图2是本发明实施例3的行人检测方法的行人卡口检测假设规范图。
[0059]图3是本发明实施例3中的行人检测方法的流程图。
【具体实施方式】
[0060]下面结合具体的实施例来说明本发明的【具体实施方式】。
[0061]实施例1:
[0062]本实施例提供一种行人检测方法，用于在人员出入口、公交枢纽等场所检测行人，如图1所示，具体包括以下步骤:
[0063](1)采集目标行人的图像信息，可以通过架设在路口的摄像机来拍摄。
[0064](2)针对上述采集到的图像进行扫描，进行头肩检测，从图像信息中检测目标行人的头肩图像，头肩图像包括正面头肩图像、背面头肩图像和侧面头肩图像，提取头肩特征数据。
[0065](3)进行人脸检测，根据上述头肩图像，在稳定的头肩区域内进行人脸检测，从所述目标行人的头肩图像中获取人脸图像，并进行人脸检测，获得人脸特征数据。这样检测的范围和计算量都会大大降低，由于只使用头肩数据，而对于正面头肩图像、背面头肩和侧面头肩图像，很容易进行区分，针对正面头肩图像进行人脸检测，可以大大降低数据处理量。在其他优选的方案中，还包括获取目标行人位于不同位置的人脸特征数据和/或不同角度的人脸特征数据并输出，获取不同位置，不同角度的人脸，主要是为了提高后续使用这些特征进行人脸识别的准确度。
[0066](4)进行全人检测，此时也复用原来的头肩图像，根据所述目标行人的头肩图像，将所述头肩图像在所述目标行人的图像信息中扩展，复用头肩的特征数据，进行多尺度和多角度检测，得到其对应的全人图像，提取全人特征数据。
[0067]所述全人特征数据包括正面全人特征信息、背面全人特征信息以及左侧全人特征信息和右侧全人特征信息中的一个或多个。此时如果由于遮挡等原因检测不到全人数据，可以在稳定的头肩位置上进行全人位置的估计，根据全人宽高比，动态估计全人的位置，并对全人图像进行剪裁，使得每个全人图像中只包括一个行人的头像，这样可以估计出全人位置。
[0068](5)将同一目标行人的所述头肩特征数据、人脸特征数据和全人特征数据进行关联。这样，就得到了目标行人的头肩特征、人脸特征以及全人特征，对于由于戴口罩、墨镜等的目标行人，虽然不能获得全部的人脸特征，但是头肩特征、全人特征等数据也可以准确获得，尤其是可以得到正面、背面、侦愐等多个角度的数据，为后续目标追踪、比对等提供参考。
[0069]作为其他优选的方式，关联的过程包括将所述人脸图像、头肩图像、全人图像的各自不同角度和不同尺度的检测结果的合并，同时同一个行人在原始尺度上有唯一的头肩框、全人框，如正面人脸存在，人脸框也唯一，这里的关联过程还包括选择最佳的唯一和在垂直方向上进行人脸、头肩和全人框的对齐过程。
[0070]本实施例中的行人检测方法，对采集到的图像进行头肩检测、人脸检测以及全人检测，可以得到正面头肩、背面头肩或者侧面头肩的特征、正面全人特征信息、背面全人特征信息以及左侧全人特征信息和右侧全人特征信息中的一个或多个，这样，对于人脸遮挡或伪装的目标行人，也可以获得正面、背面或者侧面头肩特征、以及多个角度的全人特征，对于实时处理违法行为以及事后分析都会有很大的帮助，可以极大减少相关人员的后继工作量。
[0071]实施例2:
[0072]在上述实施例1的基础上,本实施例中的行人检测方法还包括跟踪目标行人，获取目标行人位置的步骤，只有准确的得到每帧图像中目标位置，才能针对其进行定位并进行特征的提取，以及进行人脸特征、全人特征以及头肩特征的关联。步骤如下:
[0073]01、建立跟踪队列，所述跟踪队列包括预跟踪队列、跟踪队列、匹配队列以及删除队列，其中，新出现的目标设置进入预跟踪队列，稳定的目标设置进入跟踪队列进行跟踪，图像画面中无故丢失的目标进入匹配队列，无前景目标、长期在边缘位置的目标和匹配队列超时未匹配到的目标进入删除队列。
[0074]02、目标在跟踪队列中的状态可变，预跟踪队列中的目标满足跟踪条件进入跟踪队列，跟踪队列连续检测不到进入匹配队列，跟踪队列中在画面边缘的目标会进入删除队列，匹配队列和新出现的目标匹配上会再次进入跟踪队列，匹配队列长时间无匹配成功目标进入删除队列。
[0075]03、对跟踪队列中目标进行光流场跟踪预测本帧可能出现的位置。
[0076]04、根据预测的本帧可能出现的位置与实际检测目标位置，找出最匹配的检测目标，选出本帧此目标的最佳位置，作为目标行人的位置。
[0077]该跟踪方法通过建立不同的队列，对目标行人进行跟踪，包括预跟踪队列、跟踪队列、匹配队列以及删除队列，针对每种队列中的目标进行不同的处理，大大降低了数据处理的总量，同时，通过区分对待的方式，根据目标的不同状态在上述不同的队列之间进行切换，对目标行人进行准确的跟踪。
[0078]在上述基础上，本实施例中为了后续更好的对目标行人进行追踪和定位，还包括输出快照过程，可以输出多个位置、多个角度的快照，为后续对该目标行人进行追踪提供参考，包括如下一个或多个步骤，输出所需的快照。
[0079]05、输出目标行人首次出现的快照，对该目标行人的首次出现位置进行定位。
[0080]06、根据人脸特征数据计算出最佳人脸特征数据，输出目标行人的最佳人脸快照。最佳人脸快照一般选择清晰度高、光线好容易辨识的图像。
[0081]07、根据全人特征数据计算出最佳全人特征数据，输出目标行人的最佳全人快照，同时输出该目标行人的方向、速度、位置以及出现时间。最佳全人快照还可以选择多角度、多方向的快照，如正面、左侧、右侧以及后面的最佳全人快照。
[0082]08、此外，还可以输出多个角度的快照，如输出目标位置位于不同位置的多张人脸图像或全人图像，由于摄像机架设的位置固定，因此，目标行人位于不同位置时，摄像机对其拍摄的角度不同，如可能存在向下拍摄、平视拍摄或向上拍摄多个角度，每个角度可能采集到的画面都有稍微差别，因此可以从多个角度对该行人的特征进行提取，从而还原该目标行人的准确特征。
[0083]本实施例中，为了对目标行人的特征进行更好的分析，还包括将所述人脸图像、头肩图像、全人图像的进行关联，合并同一人员不同角度、不同尺度的人脸、头肩和全人检测结果，将人脸位置、头肩位置及全人位置进行最佳匹配和垂直方向上的对齐。
[0084]在其他的实施方案中，还可以根据头肩特征数据、人脸特征数据和全人特征数据进一步分析，提取目标行人的性别、年龄、身高、衣着颜色、姿势、运动速度、随身携带物中的一种或多种信息。此外，还可以统计特定时间段内行人的总数，各个方向行走的行人数量，男女行人的数量，行人的通行、滞留时间。通过这些信息统计，可以更好的获得目标行人的多个方位信息，便于对目标行人进行更好的定位和追踪，为公安系统追踪特定人员提供依据。
[0085]本实施例中的行人检测方法，全部在前端嵌入式摄像机内完成，所有的快照输出都是基于原始采集图像，不会受编码码率和编码质量的影响，相对于事后分析处理有先天的优势。
[0086]实施例3:
[0087]本实施例中提供一种可用于人员卡口的行人检测的方法，流程如图3所示，包括:
[0088]1)图像采集，为一个架设规范的嵌入式高清枪机，其内部带有图像处理芯片，可以完成行人检测、抓拍和属性分析等全部功能。
[0089]参考图2，本实施例中的人员卡口摄像机的架设要求如下:
[0090]摄像机:架设角度(与水平面夹角)7到13度，定焦镜头选型:20mm到50mm的定焦镜头；
[0091 ] Η:摄像机架设高度，建议3到7m ；
[0092]h:检测目标的高度，一般普遍人的身高:170cm到175cm，也可以使用立杆的方式来代替；
[0093]点位1:人完整出现在画面中，脚部踩在摄像机成像画面底部位置；
[0094]点位2:人完整出现在画面中，头部顶在摄像机成像画面顶部位置；
[0095]L:点位1与点位2的距离，建议3到5米，折合成步数，大概折合成人正常脚步5步左右
[0096]2)进行头肩检测，根据用户配置的不同，归一化到适合的处理尺度，通过前处理，背景建模，特征提取、多尺度扫描等找到可能的头肩位置，同时根据需要进行不同头肩框的合并和删除等，此检测不单包含正面头肩还包含背面头肩和侧面头肩；
[0097]3)进行人脸检测，为了减少计算量，并使人脸检测更可靠，人脸检测只在头肩检测得到的头肩框内进行搜索扫描，此方法的好处在于检测的范围和计算量都会急剧降低，如果计算资源不够还可以进行跳帧检测，且后继对人脸的跟踪可依据头肩位置进行，跟踪更稳定可靠，不会因为人转脸扭头或者伪装等情况造成人脸的漏报和重报；
[0098]4)进行全人检测，全人检测时复用了头肩特征数据，极大的减少了计算量，且对于检测不到的全人，根据用户输入的全人宽高比，动态估计出全人的位置，为了保证一个全人框内只有一个人，还会对相应的全人框进行高度上的裁剪操作，此检测不单包含正面全人还包含背面和侧面全人。
[0099]5)进行目标匹配并保持目标一致，目标匹配主要包括，对于头肩框、人脸框和全人框的多尺度和多角度合并，同时进行每个目标的头肩、人脸和全人进行关联，在垂直方向上进行对齐，保证目标的一致性。
[0100]6)对视频图像进行多目标跟踪，以获取目标的准确位置，对历史跟踪的目标进行多尺度光流场预测，综合检测结果，对跟踪预测位置进行修正，保证目标位置的准确性。本步骤中的跟踪过程如下:
[0101]aa)对目标进行多队列管理，将目标队列分为预跟踪队列，跟踪队列，匹配队列和删除队列，新出现的目标进预跟踪队列，稳定的目标在跟踪队列进行可靠跟踪，画面中间无故丢失的目标进入匹配队列，无前景目标、长期在边缘目标和匹配队列超时目标则进入删除队列。
[0102]bb)对跟踪队列的目标进行多尺度金字塔式的光流场跟踪预测本帧可能出现的位置。
[0103]cc)综合考虑跟踪预测位置与实际检测目标位置的可能性，找出最匹配的检测目标，选出本巾贞此目标最佳位置。
[0104]dd)对跟踪目标及时更新其颜色直方图，如目标检测不到(遮挡或者检测不稳定)进入匹配队列，新出现的画面目标优先与匹配队列进行颜色直方图和位置的综合匹配，如匹配成功则目标由匹配队列重新进入跟踪队列，极大的减少了目标的重报问题。
[0105]ee)队列之间的状态可以相互转换，预跟踪队列满足条件可以进入跟踪队列，跟踪队列连续检测不大会进入匹配队列，跟踪队列在画面边缘会进入删除队列，匹配队列如果跟新出现目标匹配上会再次进入跟踪队列，匹配队列长时间无匹配成功目标会进入删除队列。
[0106]7)输出最佳快照，具体包含以下快照:
[0107]aa)目标首次出现的快照:用来提示目标首次出现的时间。
[0108]bb)目标的最佳人脸快照:如果有人脸则优先选定角度最正，清晰度最好的人脸作为最佳人脸快照，如检测不到人脸，则采用得分最高的头肩照替代最佳人脸快照。
[0109]cc)目标的最佳全人快照:采用包含人的从头部到脚部最完整的一张人员图片作为最佳全人快照，优先选定现在最佳位置，且无遮挡的全人图片；此图片还需要包含以下信息:方向、速度、ID以及目标出现时间。
[0110]dd)辅助识别的人脸快照:对于满足识别条件的人脸，进行快照输出，用来辅助后端的人脸识别，增强人脸识别的准确度，选择的标准为优选得分高的，位置差异大的，辅助识别的人脸快照不超过三张。
[0111]ee)针对上述快照进行编号处理:最佳目标快照编号为0，首次出现的目标快照编号为4，辅助人脸识别的人脸快照编号为1到3。
[0112]ff)对于每个目标的快照(除最佳快照外)都采用实时输出的方式，防止占用较大的内存。
[0113]8)分析最佳目标的属性，对于最佳全人快照还会进行进一步的分析和特征提取，具体包括:性别、年龄、身高、衣着颜色纹理、姿态、运动速度和携带物等特征，后续可根据需要进行扩展；
[0114]9)统计分析，统计特定时间段内该人员卡口中行人的总数，前后向行走行人的数目，男女行人的数目，快速、正常、滞留等行人的数目等数据，生成相关报表；
[0115]10)自定义数据段传输，对于每帧图像的检测信息随码流编码进行传输，方便用户进行灵活获取和使用；每张行人的最佳快照都包含了各自的属性信息，后端可以直接解析使用。
[0116]本实施例中的方案克服了现有技术中基于人脸检测的人员卡口系统的缺陷，不但适应正面人脸检测，还进行背面和侧面行人检测；不单包含人脸快照还包含全身快照；此夕卜，摄像头的架设更加灵活，适应性更广；一个人的人脸快照加上全人快照就基本包含了一个人的全部信息，便于后期进行一些深入分析。
[0117]本方案主要针对城市公共道路的人行道，及各个关键出入口通道进行监控，对每个经过的人都会保留快照并进行一些特征分析，无论对于实时处理违法行为还是事后分析都会有很大帮助，会极大的减少相关人员的后继工作量。
[0118]实施例4:
[0119]本实施例中提供一种基于行人检测的人员卡口系统，包括
[0120]图像采集模块:采集目标行人的图像信息；
[0121]头肩检测模块:从所述图像信息中检测目标行人的头肩图像，所述头肩图像包括正面头肩图像、背面头肩图像和侧面头肩图像，提取头肩特征数据；
[0122]人脸检测模块:从所述目标行人的头肩图像中获取人脸图像，并进行人脸检测，获得人脸特征数据；
[0123]全人检测模块:根据所述目标行人的头肩图像，将所述头肩图像在所述目标行人的图像信息中扩展，得到其对应的全人图像，提取全人特征数据，所述全人特征数据包括正面全人特征信息、背面全人特征信息以及左侧全人特征信息和右侧全人特征信息中的一个或多个；
[0124]目标关联模块:将同一目标行人的所述头肩特征数据、人脸特征数据和全人特征数据进行关联。
[0125]在其他的实施方式中，还包括目标跟踪模块，用于跟踪目标行人，获取目标行人位置，具体包括:
[0126]跟踪队列建立子模块:建立跟踪队列，所述跟踪队列包括预跟踪队列、跟踪队列、匹配队列以及删除队列，其中，新出现的目标设置进入预跟踪队列，稳定的目标设置进入跟踪队列进行跟踪，图像画面中无故丢失的目标进入匹配队列，无前景目标、长期在边缘位置的目标和匹配队列超时未匹配到的目标进入删除队列；
[0127]跟踪队列转换子模块:目标在跟踪队列中的状态可变，预跟踪队列中的目标满足跟踪条件进入跟踪队列，跟踪队列连续检测不到进入匹配队列，跟踪队列中在画面边缘的目标会进入删除队列，匹配队列和新出现的目标匹配上会再次进入跟踪队列，匹配队列长时间无匹配成功目标则进入删除队列；
[0128]预测子模块对跟踪队列中目标进行光流场跟踪预测本帧可能出现的位置；
[0129]目标行人位置输出子模块:根据预测的本帧可能出现的位置与实际检测目标位置，找出最匹配的检测目标，选出本帧此目标的最佳位置，作为目标行人的位置。
[0130]作为优先的方案，还包括快照输出模块，用于输出快照过程，包括
[0131]第一输出子模块:输出目标行人首次出现的快照；和/或
[0132]第二输出子模块:根据所述人脸特征数据计算出最佳人脸特征数据，输出目标行人的最佳人脸快照；和/或
[0133]第三输出子模块:根据所述全人特征数据计算出最佳全人特征数据，输出目标行人的最佳全人快照，同时输出该目标行人的方向、速度、位置以及出现时间。
[0134]优选地，还可以包括第四输出子模块:获取目标行人位于不同位置的人脸特征数据和/或不同角度的人脸特征数据并输出。
[0135]本实施例中，全人检测模块还包括:
[0136]估计子模块:设置全人宽高比，适应不同的架设角度，在全人检测失效情况下动态估计全人的位置；
[0137]剪裁子模块:对全人图像进行剪裁，使得每个全人图像中只包括一个行人的头像，克服密集情况下的人员相互遮挡问题。
[0138]其他实施方案中，目标关联模块还包括关联子模块，用于将所述人脸图像、头肩图像、全人图像的各自不同角度和不同尺度的检测结果的合并，同时同一个行人在原始尺度上有唯一的头肩框、全人框，如正面人脸存在，人脸框也唯一。这里的关联过程还包括选择最佳的唯一和在垂直方向上进行人脸、头肩和全人框的对齐过程。
[0139]作为可选的方式，还包括第一分析模块，根据所述头肩特征数据、人脸特征数据和全人特征数据进一步分析，提取目标行人的性别、年龄、身高、衣着颜色、姿势、运动速度、随身携带物中的一种或多种信息。
[0140]优选地，也可以进一步包括第二分析模块，统计特定时间段内行人的总数，各个方向行走的行人数量，男女行人的数量，行人的通行、滞留时间。
[0141]本实施例中的行人检测系统，包括图像采集模块、头肩检测模块、人脸检测模块以及全人检测模块和目标关联模块，对采集到的图像进行头肩检测、人脸检测以及全人检测，可以得到正面头肩、背面头肩或者侧面头肩的特征、正面全人特征信息、背面全人特征信息以及左侧全人特征信息和右侧全人特征信息中的一个或多个，这样，对于人脸遮挡或伪装的目标行人，也可以获得正面、背面或者侧面头肩特征、以及多个角度的全人特征，对于实时处理违法行为以及事后分析都会有很大的帮助，可以极大减少相关人员的后继工作量。
[0142]实施例5:
[0143]本实施例中提供一种基于行人检测的人员卡口系统，包括:
[0144]人员卡口相机架设规范:对摄像机架设进行约束，包含架设高度、角度和成像要素坐寸。
[0145]图像采集模块，为一个架设规范的嵌入式高清枪机，其内部带有图像处理芯片，可以完成行人检测、抓拍和属性分析等全部功能。
[0146]头肩检测模块:在输入图像上进行扫描，进行头肩检测，此检测不单包含正面头肩还包含背面头肩和侧面头肩。所述头肩检测模块，根据用户配置的不同，归一化到适合的处理尺度，通过前处理，背景建模，特征提取、多尺度扫描等找到可能的头肩位置，同时根据需要进行不同头肩框的合并和删除等，此检测不单包含正面头肩还包含背面头肩和侧面头肩。
[0147]人脸检测模块:在稳定的头肩区域内进行人脸检测，减少了计算量，并使人脸检测更可靠，人脸检测只在头肩框内进行搜索扫描，此方法的好处在于检测的范围和计算量都会急剧降低，如果计算资源不够还可以进行跳帧检测，且后继对人脸的跟踪可依据头肩位置进行，跟踪更稳定可靠，不会因为人转脸扭头或者伪装等情况造成人脸的漏报和重报。
[0148]全人检测模块:复用头肩检测模块的特征数据，进行全人检测，如果检测不到，则在稳定的头肩位置上进行全人位置的估计，根据架设角度的不同，用户可以配置最佳的全人宽高比，动态估计出全人的位置，根据此宽高比可以得到准确的全人位置，同时为了克服一个全人框里有多个全人的情况发生，需要对不同的全人框进行裁剪操作，防止一个框内出现多个人头，此检测不单包含正面全人还包含背面和侧面全人，极大的减少了计算量。
[0149]目标匹配模块:为克服多尺度检测的问题，分别将位置相近、角度相似的检测框(头肩、人脸和全人)合并；同时将同一行人的头肩、人脸和全人框进行关联。该模块对于头肩框、人脸框和全人框的多尺度和多角度合并，同时进行每个目标的头肩、人脸和全人进行关联和垂直方向上的对齐，保证目标的一致性。
[0150]多目标跟踪模块:综合检测和跟踪预测的结果，得到不同目标的真实位置。具体包括如下子模块:
[0151]a)多队列管理子模块:预跟踪队列，跟踪队列，匹配队列和删除队列；新出现的目标进预跟踪队列，稳定的目标在跟踪队列进行可靠跟踪，画面中间无故丢失的目标进入匹配队列，无前景目标、长期在边缘目标和匹配队列超时目标则进入删除队列。
[0152]b)预测子模块:对跟踪队列的目标进行多尺度金字塔式的光流场跟踪预测本帧可能出现的位置。
[0153]c)匹配子模块:综合考虑跟踪预测位置与实际检测目标位置的可能性，找出最匹配的检测目标，选出本帧此目标最佳位置。
[0154]d)更新子模块:对跟踪目标及时更新其颜色直方图，如目标检测不到(遮挡或者检测不稳定)进入匹配队列，新出现的画面目标优先与匹配队列进行颜色直方图和位置的综合匹配，如匹配成功则目标由匹配队列重新进入跟踪队列，极大的减少了目标的重报问题。
[0155]e)状态转换子模块:队列之间的状态可以相互转换:预跟踪队列满足条件可以进入跟踪队列，跟踪队列连续检测不大会进入匹配队列，跟踪队列在画面边缘会进入删除队列，匹配队列如果跟新出现目标匹配上会再次进入跟踪队列，匹配队列长时间无匹配成功目标会进入删除队列。
[0156]该多目标跟踪模块对历史跟踪的目标进行多尺度光流场预测，综合检测结果，对跟踪预测位置进行修正，保证目标位置的准确性。
[0157]最佳快照输出模块:输出目标首次出现的头肩快照，输出每个检测目标的最佳人脸(优先选正面角度且得分高的人脸快照，如无人脸则标注)及全人快照，输出不同位置用来辅助人脸识别的人脸快照(不超过三张)。
[0158]最佳快照输出模块，具体包含以下输出子模块:
[0159]a)第一输出子模块，输出目标首次出现的快照，用来提示目标首次出现的时间。
[0160]b)第二输出子模块，输出目标的最佳人脸快照，如果有人脸则优先选定角度最正，清晰度最好的人脸作为最佳人脸快照，如检测不到人脸，则采用得分最高的头肩照替代最佳人脸快照
[0161]c)第三输出子模块，输出目标的最佳全人快照，采用包含人的从头部到脚部最完整的一张人员图片作为最佳全人快照，优先选定出现在最佳位置，且无遮挡的全人图片；此图片还需要包含以下信息:方向、速度、ID以及目标出现时间；
[0162]d)第四输出子模块，输出辅助识别的人脸快照，对于满足识别条件的人脸，进行快照输出，用来辅助后端的人脸识别，增强人脸识别的准确度，选择的标准为优选得分高的，位置差异大的，辅助识别的人脸快照不超过三张；
[0163]e)快照编号处理子模块:针对快照设置编号，最佳目标快照编号为0，首次出现的目标快照编号为4，辅助人脸识别的人脸快照编号为1到3。
[0164]对于每个目标的快照(除最佳快照外)都采用实时输出的方式，防止占用较大的内存。
[0165]最佳目标的属性分析模块:对于最佳全人快照还会进行进一步的分析和特征提取，具体包括:性别、年龄、身高、衣着颜色纹理、姿态、运动速度和携带物等特征，后续可根据需要进行扩展。
[0166]统计分析模块:统计特定时间段内该人员卡口中行人的总数，前后向行走行人的数目，男女行人的数目，快速、正常、滞留等行人的数目等数据，生成相关报表。
[0167]自定义数据段传输:对于每帧图像的检测信息随码流编码进行传输，方便用户进行灵活获取和使用；每张行人的最佳快照都包含了各自的属性信息，后端可以直接解析使用。
[0168]本实施例中的基于行人检测的人员卡口系统，该系统包括:人员卡口相机采集模块、头肩检测模块、人脸检测模块、行人检测模块、目标匹配模块、多目标跟踪模块、最佳快照输出模块、最佳目标的属性分析模块、统计分析模块和自定义数据段传输；对检测到的目标进行跟踪和计数，输出双向的行人计数及每个人的速度和方向，根据检测和跟踪的结果输出每个行人的最佳快照，对于不同位置的最佳人脸快照供后端服务器进行人脸识别，对于最佳全人快照，还会辅助分析其人员的属性特征，包括性别、年龄、身高、衣着颜色纹理、姿态、运动速度和携带物等特征。
[0169]本实施例中的方案能达到的有益效果如下:
[0170]①系统的枪机架设高度和角度变化范围较大，场景适应性较强；
[0171]②整个系统可以在前端化嵌入式实时处理，无延迟，对于实时侦测和事后分析都有好处，同时最佳快照的效果不受视频码流编码效果的影响，采集图像直接进行压缩编码为jpg图片。
[0172]③本系统的快照输出丰富有效，无论对于第一时间出现的目标还是最佳快照及辅助人脸识别方面的快照都有，对于后端分析非常必要。
[0173]④本系统的跟踪效果较理想，对同一个人不会重复上报，克服了人脸检测的重报漏报问题。
[0174]⑤支持用户设置不同架设情况下的人的宽高比，场景适应性进一步加强。
[0175]⑥每张快照都有时间标签，可以准确知道在此摄像机中每个人出现的准确时间，方便与视频进行直接关联。
[0176]⑦对于每个行人都知道其经过摄像头的运动方向、速度和其他相关属性。
[0177]显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
[0178]本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0179]本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0180]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0181]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0182]尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
【权利要求】
1.一种行人检测方法，其特征在于，包括 采集目标行人的图像信息； 从所述图像信息中检测目标行人的头肩图像，所述头肩图像包括正面头肩图像、背面和侧面头肩图像，提取头肩特征数据； 从所述目标行人的头肩图像中获取人脸图像，并进行人脸检测，获得人脸特征数据； 根据所述目标行人的头肩图像，将所述头肩图像在所述目标行人的图像信息中扩展，复用头肩的特征数据，进行多尺度和多角度检测，得到其对应的全人图像，提取全人特征数据，所述全人特征数据包括正面全人特征信息、背面全人特征信息以及左侧全人特征信息和右侧全人特征信息中的一个或多个； 将同一目标行人的所述头肩特征数据、人脸特征数据和全人特征数据进行关联。
2.根据权利要求1所述的方法，其特征在于，还包括跟踪目标行人，获取目标行人位置的步骤，具体包括: 建立跟踪队列，所述跟踪队列包括预跟踪队列、跟踪队列、匹配队列以及删除队列，其中，新出现的目标进入预跟踪队列，稳定的目标进入跟踪队列进行跟踪，图像画面中无故丢失的目标进入匹配队列，无前景目标、长期在边缘位置的目标和匹配队列超时未匹配到的目标进入删除队列； 目标在跟踪队列中的状态可变，预跟踪队列中的目标满足跟踪条件进入跟踪队列，跟踪队列连续检测不到进入匹配队列，跟踪队列中在画面边缘的目标会进入删除队列，匹配队列和新出现的目标匹配上会再次进入跟踪队列，匹配队列长时间无匹配成功目标则进入删除队列； 对跟踪队列中目标进行光流场跟踪预测本帧可能出现的位置； 根据预测的本帧可能出现的位置与实际检测目标位置，找出最匹配的检测目标，选出本帧此目标的最佳位置，作为目标行人的位置。
3.根据权利要求1或2所述的方法，其特征在于，将同一目标行人的所述头肩特征数据、人脸特征数据和全人特征数据进行关联的步骤之后，还包括输出快照过程，包括 输出目标行人首次出现的快照；和/或 根据所述人脸特征数据计算出最佳人脸特征数据，输出目标行人的最佳人脸快照；和/或 根据所述全人特征数据计算出最佳全人特征数据，输出目标行人的最佳全人快照，同时输出该目标行人的方向、速度、位置以及出现时间。
4.根据权利要求3所述的方法，其特征在于，还包括获取目标行人位于不同位置的人脸特征数据和/或不同角度的人脸特征数据并输出。
5.根据权利要求1或2或3或4所述的方法，其特征在于，得到全人图像的过程中，还包括: 设置全人宽高比，适应不同的架设角度，在全人检测失效情况下动态估计全人的位置； 对全人图像进行剪裁，使得每个全人图像中只包括一个行人的头像，克服密集情况下的人员相互遮挡问题。
6.根据权利要求5所述的方法，其特征在于，所述将同一目标行人的所述头肩特征数据、人脸特征数据和全人特征数据进行关联的步骤中，还包括将所述人脸图像、头肩图像、全人图像的各自不同角度和不同尺度的检测结果的合并，同时同一个行人在原始尺度上有唯一的头肩框、全人框，如正面人脸存在，人脸框也唯一。
7.根据权利要求6所述的方法，其特征在于，还包括根据所述头肩特征数据、人脸特征数据和全人特征数据进一步分析，提取目标行人的性别、年龄、身高、衣着颜色、姿势、运动速度、随身携带物中的一种或多种信息。
8.根据权利要求7所述的方法，其特征在于，将同一目标行人的所述头肩特征数据、人脸特征数据和全人特征数据进行关联的步骤之后，还包括统计特定时间段内行人的总数，各个方向行走的行人数量，男女行人的数量，行人的通行、滞留时间。
9.一种行人检测系统，其特征在于，包括: 图像采集模块:采集目标行人的图像信息； 头肩检测模块:从所述图像信息中检测目标行人的头肩图像，所述头肩图像包括正面头肩图像、背面头肩图像和侧面头肩图像，提取头肩特征数据； 人脸检测模块:从所述目标行人的头肩图像中获取人脸图像，并进行人脸检测，获得人脸特征数据； 全人检测模块:根据所述目标行人的头肩图像，将所述头肩图像在所述目标行人的图像信息中扩展，复用头肩的特征数据，进行多尺度和多角度检测，得到其对应的全人图像，提取全人特征数据，所述全人特征数据包括正面全人特征信息、背面全人特征信息以及左侧全人特征信息和右侧全人特征信息中的一个或多个； 目标关联模块:将同一目标行人的所述头肩特征数据、人脸特征数据和全人特征数据进行关联。
10.根据权利要求9所述的系统，其特征在于，还包括目标跟踪模块，用于跟踪目标行人，获取目标行人位置，具体包括: 跟踪队列建立子模块:建立跟踪队列，所述跟踪队列包括预跟踪队列、跟踪队列、匹配队列以及删除队列，其中，新出现的目标设置进入预跟踪队列，稳定的目标设置进入跟踪队列进行跟踪，图像画面中无故丢失的目标进入匹配队列，无前景目标、长期在边缘位置的目标和匹配队列超时未匹配到的目标进入删除队列； 跟踪队列转换子模块:目标在跟踪队列中的状态可变，预跟踪队列中的目标满足跟踪条件进入跟踪队列，跟踪队列连续检测不到进入匹配队列，跟踪队列中在画面边缘的目标会进入删除队列，匹配队列和新出现的目标匹配上会再次进入跟踪队列，匹配队列长时间无匹配成功目标则进入删除队列； 预测子模块对跟踪队列中目标进行光流场跟踪预测本帧可能出现的位置； 目标行人位置输出子模块:根据预测的本帧可能出现的位置与实际检测目标位置，找出最匹配的检测目标，选出本帧此目标的最佳位置，作为目标行人的位置。
11.根据权利要求9或10所述的系统，其特征在于，还包括快照输出模块，用于输出快照过程，包括 第一输出子模块:输出目标行人首次出现的快照；和/或 第二输出子模块:根据所述人脸特征数据计算出最佳人脸特征数据，输出目标行人的最佳人脸快照；和/或 第三输出子模块:根据所述全人特征数据计算出最佳全人特征数据，输出目标行人的最佳全人快照，同时输出该目标行人的方向、速度、位置以及出现时间。
12.根据权利要求11所述的系统，其特征在于，还包括第四输出子模块:获取目标行人位于不同位置的人脸特征数据和/或不同角度的人脸特征数据并输出。
13.根据权利要求9或10或12所述的系统，其特征在于，全人检测模块还包括: 估计子模块:设置全人宽高比，适应不同的架设角度，在全人检测失效情况下动态估计全人的位置； 剪裁子模块:对全人图像进行剪裁，使得每个全人图像中只包括一个行人的头像，克服密集情况下的人员相互遮挡问题。
【文档编号】G06K9/00GK104361327SQ201410665291
【公开日】2015年2月18日 申请日期:2014年11月20日 优先权日:2014年11月20日
【发明者】张全磊, 晋兆龙, 陈卫东, 张天益, 徐文才, 姜莎, 张泉, 徐慧 申请人:苏州科达科技股份有限公司