用于对人数进行计数的方法和设备的制造方法

用于对人数进行计数的方法和设备的制造方法
【专利摘要】提供了一种用于对人数进行计数的方法和设备。人数计数设备包括：检测器，被配置为在提供距离信息的俯视距离图像中检测至少一个图像帧的移动区域；估计器，被配置为基于距离信息从所述移动区域估计候选头部区域；确定器，被配置为基于从关于候选头部区域的距离信息估计的候选头部区域与圆形的相似度和候选头部区域的球面曲率确定候选头部区域是否是实际的人的头部。
【专利说明】
用于对人数进行计数的方法和设备
[00011 本申请要求于2015年4月3日提交到韩国知识产权局的第10-2015-0047495号韩国 专利申请的优先权，所述韩国专利申请的公开通过引用完整地包含于此。
技术领域
[0002] 与示例性实施例相一致的设备和方法涉及在图像处理中对人数进行计数。
【背景技术】
[0003] 近来，由于在造成伤亡事故的发生后对安全改善的日益增长的需求，为了包括救 援工作的目的获取关于在特定空间内的人数的信息是重要的。
[0004] 此外，公司可在各时间段或各个位置对进出的人数进行计数并将相应的信息用于 营销目的。因此，为了商业目的也需要一种用于对人数进行计数的系统。

【发明内容】

[0005] 本发明构思的示例性实施例提供这样一种方法和设备：即使在图像中多人彼此相 邻移动或存在与正在移动的人相似的对象的复杂情况下，所述方法和设备仍能准确地对图 像中的人数进行计数。
[0006] 另外的方面将会部分地在以下描述中阐明，并将会部分地从描述中清楚或者可以 通过本示例性实施例的实践而领会。
[0007] 根据示例性实施例的一个方面，提供了一种对至少一个图像帧中的人数进行计数 的方法。所述方法可包括:在提供距离信息的俯视距离图像中检测至少一个图像帧的移动 区域;基于距离信息从所述移动区域估计候选头部区域;基于从关于候选头部区域的距离 信息估计的候选头部区域与圆形的相似度和候选头部区域的球面曲率，确定候选头部区域 是否是实际的人的头部。
[0008] 所述估计候选头部区域的步骤可包括:从所述移动区域中提取参考像素，所述参 考像素是在所述至少一个图像帧中与距地表面最大高度相应的像素;设置包括参考像素以 及与参考像素具有相同高度的周围像素和高度的变化恒定或减小的周围像素的扩展区域； 将包括参考像素和具有不同于参考像素的高度的、在预设的临界值内的高度的周围像素的 区域设置为候选头部区域。所述方法还可包括:确定在移动区域中是否存在除扩展区域外 的其它区域;如果确定存在其它区域，则将其它区域设置为另一移动区域，并针对所述另一 移动区域重复提取参考像素的步骤、设置扩展区域的步骤、设置候选头部区域的步骤。估计 候选头部区域的步骤可在另一移动区域中被重复执行。
[0009] 在确定候选头部区域是否是实际的人的头部的步骤中，候选头部区域与圆形的相 似度可通过确定围绕候选头部区域的最小圆形的面积与候选头部区域的面积的比率是否 超过预设的临界值来确定。
[0010] 在确定候选头部区域是否是人的头部的步骤中，候选头部区域的球面曲率可通过 使用关于在候选头部区域上延伸的至少一条参考线中的每条参考线上的多个点的高度的 信息来确定。
[0011] 确定候选头部区域是否是实际的人的头部的步骤可包括:通过确定围绕候选头部 区域的最小圆形的面积与候选头部区域的面积的比率超过第一预设临界值是否被满足来 确定圆形相似度条件的满足;如果至少一个图像帧中在候选头部区域上延伸的至少一条参 考线被近似为包括所述参考线上的点的位置和所述参考线上的点距地表面的高度作为二 次函数的变量的二次函数，则通过确定在候选头部区域中是否存在所述二次函数的极点和 二次项系数是否小于或等于第二预设临界值来确定球面曲率条件的满足;将满足圆形相似 度条件和球面曲率条件的候选头部区域设置为实际的人的头部。
[0012] 确定球面曲率条件的满足的步骤可包括:确定在候选头部区域中以指定间隔布置 的多条参考线中的每条参考线是否满足球面曲率条件。
[0013] 所述方法还可包括:如果所述至少一个图像帧中的候选头部区域的跟踪路径穿过 计数线并且检测到候选头部区域的图像帧的总数与候选头部区域被确定为实际的人的头 部的有效帧的数量的比率等于或大于预设临界值，则将候选头部区域计数为一人。
[0014] 根据示例性实施例的另一方面，提供了一种人数计数设备，可包括:检测器，被配 置为在提供距离信息的俯视距离图像中检测至少一个图像帧的移动区域;估计器，被配置 为基于距离信息从所述移动区域估计候选头部区域;确定器，被配置为基于从关于候选头 部区域的距离信息估计的候选头部区域与圆形的相似度和候选头部区域的球面曲率确定 候选头部区域是否是实际的人的头部。
[0015] 所述估计器可包括:参考像素提取器，被配置为从移动区域提取参考像素，所述参 考像素是所述至少一个图像帧中与距地表面最大高度相应的像素；区域扩展器，被配置为 设置包括参考像素以及与参考像素具有相同高度的周围像素和高度的变化恒定或减小的 周围像素的扩展区域;候选头部区域设置器，被配置为将包括参考像素和具有不同于参考 像素的高度的、在预设的临界值内的高度的周围像素的区域设置为候选头部区域。
[0016] 所述估计器还可被配置为：确定在移动区域中是否存在除扩展区域外的其它区 域;响应于确定存在其它区域，所述估计器可被配置为将所述其它区域设置为另一移动区 域，并针对所述另一移动区域重复提取参考像素的操作、设置扩展区域的操作、设置候选头 部区域的操作。
[0017] 为确定候选头部区域是否是实际的人的头部，所述确定器可被配置为:通过确定 围绕候选头部区域的最小圆形的面积与候选头部区域的面积的比率是否超过预设临界值 来确定候选头部区域与圆形的相似度。
[0018] 为确定候选头部区域是否是实际的人的头部，所述确定器可被配置为:通过使用 在所述候选头部区域上延伸的至少一条参考线中的每条参考线上的多个点的高度的信息 来确定候选头部区域的球面曲率。
[0019] 所述确定器可包括:第一确定器，被配置为通过确定围绕候选头部区域的最小圆 形的面积与候选头部区域的面积的比率超过第一预设临界值是否被满足来确定圆形相似 度的满足;第二确定器，被配置为:如果至少一个图像帧中在所述候选头部区域上延伸的至 少一条参考线被近似为包括所述参考线上的点的位置和所述参考线上的点距地表面的高 度作为二次函数的变量的二次函数，则通过确定在候选头部区域中是否存在所述二次函数 的极点和二次项系数是否小于或等于第二预设临界值来确定球面曲率条件的满足;第三确 定器，被配置为将满足圆形相似度条件和球面曲率条件的候选头部区域设置为实际的人的 头部。
[0020] 所述确定器可被配置为:确定在候选头部区域中以指定间隔布置的多条参考线中 的每条参考线是否满足球面曲率条件。
【附图说明】
[0021] 通过以下结合附图的示例性实施例的描述，这些和/或其它方面将变得清楚和更 容易理解，在附图中：
[0022] 图1是示出根据示例性实施例的人数计数系统的示图；
[0023]图2A和图2B示出了根据示例性实施例的俯视图像的示例；
[0024] 图3是示出根据示例性实施例的图1的估计器的示意框图；
[0025] 图4是示出由估计器检测的示例的示图；
[0026] 图5A至图5F描述了根据示例性实施例的当两个或更多个人彼此相邻移动时估计 器的估计操作；
[0027] 图6是一维地示出根据示例性实施例的设置扩展区域的示例的示图；
[0028] 图7是根据示例性实施例的示出确定器的配置的示意框图；
[0029]图8A至图8D示出了根据示例性实施例的确定候选头部区域与圆形的相似度的示 例；
[0030] 图9A至图9C示出了根据示例性实施例的确定候选头部区域的球面曲率条件的示 例；
[0031] 图10是示出根据示例性实施例的计数器的计数操作的示例的示图；
[0032] 图11是示出根据示例性实施例的对人数进行计数的方法的示图；
[0033] 图12是根据示例性实施例的对人数进行计数的方法的流程图；
[0034] 图13是根据另一示例性实施例的对人数进行计数的方法的流程图；
[0035] 图14是根据示例性实施例的估计候选头部区域的方法的流程图。
【具体实施方式】
[0036] 现在将对示例性实施例作详细参考，这些示例性实施例示出在附图中，其中，相同 的标号始终表示相同的元件。在这点上，本示例性实施例可具有不同的形式并且不应被解 释为限于这里阐明的描述。因此，以下仅通过参考附图描述示例性实施例，以解释它们的各 种方面。
[0037] 由于本发明构思允许各种改变和多种实施例，因此特定的示例性实施例将在附图 中被示出并在书面说明中被详细描述。然而，这并不意图将本发明构思限制于特定的实施 模式，而应该理解，不脱离本发明构思的精神和技术范围的所有改变、等同物和替代物均被 包含在本发明构思中。在本发明构思的描述中，当认为相关技术的特定的详细解释会不必 要地模糊本发明构思的实质时，所述相关技术的特定的详细解释会被省略。
[0038] 尽管诸如"第一"、"第二"等的术语可被用于描述各种组件，但是这些组件不应被 以上术语限制。以上术语只是用来将一个组件与另一组件区分开。
[0039] 在本说明书中使用的术语仅被用于描述特定的示例性实施例，并不意图限制本发 明构思。除非在上下文中有明确的不同含义，否则以单数形式使用的表达包括复数形式的 表达。在本说明书中，应该理解，诸如"包括"或"具有"等的术语意在指示在本说明书中公开 的特征、数量、步骤、操作、组件、部分、或它们的组合的存在，但是不意图排除可存在或可添 加一个或更多个其它特征、数量、步骤、操作、组件、部分、或它们的组合的可能性。
[0040] 可根据功能块组件和各种处理步骤描述本发明构思。例如，图1、图3和图7中示出 的至少一个块可通过被配置为执行指定功能的任意数量的硬件和/或软件组件实现。例如， 所述块使用可在一个或更多个微处理器或其它控制装置的控制下执行多种功能的各种集 成电路（IC)组件(例如，存储元件、处理元件、逻辑元件、查找表等）。类似地，所述至少一个 块可通过使用软件编程或软件元件被实施，还可通过任意编程或脚本语言（诸如，C、C++、 Java、汇编等)使用由数据结构、对象、处理器、例程或其它编程元件的任意组合实现的各种 算法被实施。可在一个或更多个处理器上执行的算法中实现功能方面。此外，所述至少一个 块可将任意数量的传统技术用于电子配置、信号处理和/或控制、数据处理等。可在广义上 使用词语"机制"、"元件"、"装置"、"配置"，并且所述词语不限于机械或物理实施例，而可包 括与处理器等结合的软件例程。
[0041] 图1是示出根据示例性实施例的人数计数系统的示意框图。图2A和图2B示出了根 据示例性实施例的俯视图像的示例。
[0042]参照图1，根据示例性实施例的人数计数系统包括人数计数设备1和距离相机2。 [0043]距离相机2是输出与被相机捕捉到的所有位置的距离的相机，更具体地，每个像素 具有指示与正被捕捉的对象的距离的距离值。因此，如果关于其中安装相机的空间的信息 已知，则对象的长度可从图像计算。距离相机2可以是各种类型的距离相机中的任意类型 (诸如立体相机、结构光相机、飞行时间（ToF)相机），所述各种类型的距离相机捕捉周围环 境或场景（空间）的图像并获取关于包括各种对象(例如，包括地表面、墙壁、障碍物的静态 对象或者包括人和动物的动态对象)的场景的距离信息或深度信息。在这里，提供距离信息 或深度信息的图像被称为距离图像。虽然并未示出，但是所述人数计数系统还可包括用于 获取红色、绿色和蓝色(RGB)图像的可见光相机。
[0044]参照图1，距离相机2被安装为被方向朝下的俯视相机并获取俯视图像。在俯视距 离相机的情况下，可通过计算空间的深度和与对象的距离之间的差来计算对象的高度。 [0045]图2A是由普通监控相机获取的图像，图2B是由距离相机2获取的俯视图像。在由普 通监控相机获取的图像中，对象被示出为视觉上显现的样子。但是，在由距离相机获取的图 像中，对象基于相机和各个对象之间的距离以不同颜色被示出。例如，距相机最近的对象可 被示出为具有较深颜色，而距相机最远的对象可被示出为具有较浅颜色。
[0046]现有技术的使用监控相机的人数计数系统通过经由背景模型检测移动区域和将 移动区域确定为人来对人数进行计数。然而，在这种情况下，彼此靠近移动的两个或更多个 人可被计数为一个人。
[0047]根据本发明构思的示例性实施例，关于对象的距离信息可通过使用俯视距离相机 获取，对象的二维（2D)形状或三维（3D)形状可基于距离信息确定，人的数量可通过将确定 的形状与预定的人的形状进行比较来准确地计数。距离信息可以是相机与对象之间的距离 或者对象距地面的高度。
[0048] 人数计数设备1包括检测器10、估计器20、确定器30和计数器40。检测器10检测由 距离相机2获取的俯视图像中的移动区域，估计器20检测候选头部区域，即，从检测的移动 区域中被估计为头部的区域。确定器30检查关于检测的候选头部区域的与圆形的相似度 (以下称为圆形相似度)和球面曲率，并确定检测的候选头部区域是否对应于人的头部，计 数器40通过确定候选头部区域是否穿过计数线并确定帧数比来最终对人数进行计数。 [0049]检测器10针对输入俯视图像执行预处理。在俯视图像中，无法测量距离的孔由于 包括噪声的因素而形成，这种情况下所述孔可通过孔填充预处理操作被校正。根据示例性 实施例，预处理操作没有限制，现有技术的普通技术人员可容易地执行各种预处理操作。
[0050] 当完成图像的预处理时，检测器10检测图像中的移动区域。根据示例性实施例，检 测移动区域的方法没有限制，可采用诸如高斯混合模型(GMM)或码书模型的各种技术。
[0051] 估计器20基于距离信息在移动区域中估计候选头部区域。在下文中，估计器20的 操作将参考图3至图6被详细描述。
[0052] 图3是示出根据示例性实施例的图1的估计器20的示意框图，图4和图5是用于描述 根据示例性实施例的估计器20的操作的示图。
[0053] 参照图3,估计器20可包括参考像素提取器210、区域扩展器220和头部区域设置器 230〇
[0054]参考像素提取器210从由检测器10检测的移动区域中提取具有距地面最大高度的 参考像素。
[0055] 区域扩展器220将具有与参考像素相同高度的周围像素或高度变化恒定或减小的 周围像素包括在扩展区域中。
[0056] 头部区域设置器230将具有不同于参考像素的高度的、在第一预设临界值内的高 度的周围像素设置为候选头部区域。第一预设临界值可由用户设置。
[0057] 图4示出在其中检测到彼此相邻的两个人和一个单独的人的移动的示例屏幕图 像。例如，当两个人彼此挽手相邻移动时，检测到大的移动区域240，当一个人单独移动时， 检测到相对小的移动区域250。
[0058]图5A至图5F示出当两个或更多个人彼此相邻移动时由估计器20执行的估计候选 头部区域的操作。图5A示出参考像素提取器210从选择的大移动区域240提取参考像素241 的操作。图5B和图5C示出区域扩展器220将具有与参考像素相同高度的周围像素或高度变 化恒定或减小的周围像素包括在扩展区域242中的操作。图5D示出头部区域设置器230从扩 展区域242中设置候选头部区域243的操作。头部区域设置器230估计包括参考像素241和具 有不同于参考像素的高度的、在第一预设临界值内的高度的周围像素的候选头部区域243。 如图5E和图5F所示，估计器20针对未被设置为扩展区域242的大移动区域240的剩余区域重 复如图5A至图f5D所示的估计候选头部区域的操作。
[0059] 图6是一维地示出根据示例性实施例的关于存在左边的人260和右边的人270的情 况设置扩展区域的示例的示图。首先，关于左边的人260的扩展区域对应于左边界261和右 边界264之间的区域，关于左边的人260的候选头部区域对应于头部区域的左边界262和头 部区域的右边界263。在同样的方面，关于右边的人270的扩展区域对应于左边界264和右边 界267之间的区域，关于右边的人270的候选头部区域对应于265和266之间的区域。
[0060] 人数计数设备1跟踪每帧中的各个候选头部区域。为此目的，人数计数设备1可包 括跟踪器(未示出）。
[0061] 返回参照图I，确定器30检查关于检测的候选头部区域的圆形相似度和球面曲率 并确定检测的候选头部区域是否对应于人的头部。确定器30的操作将在以下参考图7至图9 被详细描述。
[0062]图7是示出确定器30的配置的示意框图，确定器30可包括第一确定器310、第二确 定器320和第三确定器330。
[0063] 第一确定器310计算候选头部区域的圆形相似度并确定计算的圆形相似度是否超 出第二预设临界值1'。"。111"。圆形相似度是如下等式（1)所示的围绕候选头部区域的最小圆 形的面积与候选头部区域的面积之比。在这里，S circular表示圆形相似度，Ahead表示估计的候 选头部区域的面积，Acarcle3表示围绕候选头部区域的最小圆形的面积。第二预设临界值可由 用户设詈。
[0064]
[0065]图8A至图8D示出确定候选头部区域的圆形相似度的示例。图8A和图8B示出关于具 有尚圆形相似度的对象的不例。图8C和图80不出关于具有低圆形相似度的对象的不例。基 于圆形相似度条件的确定，可避免关于被人携带的六面体盒子的错误头部检测。
[0066]第二确定器320获取关于候选头部区域的球面曲率信息并确定球面曲率信息是否 满足球面曲率条件。第二确定器320在候选头部区域中设置至少一条参考线并将每条参考 线近似为二次函数，所述二次函数包括参考线上的点的位置和参考线上的点距离地面的高 度作为该二次函数的变量。参考线是穿过候选头部区域的线。对二次函数的近似可通过使 用最小二乘拟合来执行。第二确定器320确定在候选头部区域中是否存在近似的二次函数 的极点以及二次项系数是否小于或等于第三预设临界值。如果存在多条参考线(例如，四条 (4)参考线），则第二确定器320确定球面曲率条件是否针对每条参考线被满足。第三预设临 界值可由用户设置。
[0067]图9A至图9C示出了确定候选头部区域的球面曲率条件的示例。如图9A所示，第二 确定器320在候选头部区域243中设置穿过任意参考点340并在候选头部区域243上延伸的 四条(4)参考线350,并如图9C所示将参考线350近似为包括参考线350上的点的位置和参考 线上的点距离地面的高度作为二次函数的变量的二次函数。如果(i)在候选头部区域243中 存在二次函数的极点并且（ii)二次项系数小于或等于第三预设临界值，则第二确定器320 将候选头部区域243确定为人的头部。图9B示出参考线350被示出在3D空间中的示例。
[0068] 具体地，如果二次函数y = ax2+bx+c (其中，y表示高度，X表示位置）是通过将参考 线350近似为二次函数而获得的，则条件（i)和条件（ii)可被表示为如下所示的等式(2)和 等式(3)。
[0069]
[0070] 条件（ii)a<tha(这里，也3表示负曲率系数）……（3)
[0071] 由第一确定器310执行的圆形相似度的确定和由第二确定器320执行的球面曲率 的确定可针对每帧中的候选头部区域被执行，直至候选头部区域穿过计数线。
[0072] 根据另一示例性实施例，由第一确定器310执行的圆形相似度的确定和由第二确 定器320执行的球面曲率的确定可针对与候选头部区域穿过计数线的时间点相应的帧中的 候选头部区域被执行。
[0073] 第三确定器330可将满足圆形相似度条件和球面曲率条件二者的候选头部区域确 定为实际的人的头部。
[0074] 返回参照图1，当候选头部区域被确定为人的头部时，计数器40对该候选头部区域 进行计数。
[0075] 如果候选头部区域的跟踪路径穿过计数线，并且直至候选头部区域穿过计数线为 止检测到候选头部区域的帧的总数frametcltal与候选头部区域从候选头部区域的检测中被 识别为人的头部的有效帧数之比等于或大于第四预设临界值th valld，则如以下等式(4)所 示，计数器40将候选头部区域计数为一人。第四预设临界计数值可由用户设置。
[0076]
[0077] 由于人的头部可被另一对象间歇地遮盖或者由于包括噪声的原因在特定帧中不 能将候选头部区域识别为实际的人的头部，所以基于帧数之间的比率来确定是否计数，从 而提高计数准确度。
[0078] 图10是示出根据示例性实施例的计数器40针对候选头部区域的计数操作的示例 的示图。总共五(5)帧图像在检测候选头部区域243时被获取，并以特定方向420移动，穿过 计数线430,其中，各个帧将由参考标号411至415表示。人数计数设备1可在每帧中确定移动 区域中的候选头部区域243是否是实际的人的头部。在这里，假设候选头部区域243在帧 41U412和414中被识别为人的头部，而在帧413和415中未被识别为人的头部。例如，如果第 四预设临界值是0.5,则帧总数是五（5)并且有效帧数是三（3)，因此根据等式（4)， | = 0.5。因为满足等式(4)的条件并且候选头部区域243穿过计数线430,所以候选头 部区域243最终被确定为人的头部并被计数为一人。
[0079] 在以上示例性实施例中，人数计数设备1在每帧中确定候选头部区域是否是人的 头部，在每帧中，在跟踪路径上的候选头部区域被检测。
[0080] 不同于图10,根据另一示例性实施例的人数计数设备1只有当候选头部区域的跟 踪路径穿过计数线时才会确定候选头部区域是否是人的头部。在这种情况下，确定器30只 跟踪图10的帧411、412、413和414中的候选头部区域，并且只有当候选头部区域穿过计数线 时，确定器30才针对帧中的至少一个来确定候选头部区域是否是实际的人的头部，在所述 帧中，在跟踪路径上的候选头部区域被检测。换言之，可只针对帧415(候选头部区域穿过计 数线430后紧跟的下一帧)确定候选头部区域是否是实际的人的头部，可只针对帧411(候选 头部区域被检测到的第一帧）确定候选头部区域是否是实际的人的头部，并对候选头部区 域进行计数，或者，如以上示例性实施例，如果满足等式(4)的比率条件，则可针对在跟踪路 径上的所有帧411至帧415或帧415之后的所有帧确定候选头部区域是否是实际的人的头部 并对候选头部区域进行计数。
[0081] 图11是示出根据示例性实施例的估计候选头部区域的结果示例的示图。参照图 11，人数计数设备1针对俯视距离图像51检测移动区域(52)，在检测的移动区域中检测候选 头部区域(53)，并对检测到的候选头部区域进行跟踪和计数(54)。
[0082] 图12是用于描述根据示例性实施例的对人数进行计数的方法的流程图。
[0083]图12中示出的对人数进行计数的方法可由图1的计数器40执行。以下会省略在以 上参考图1至图11已经给出的描述。
[0084]参照图12,人数计数设备1从距离相机2接收俯视距离图像(操作S61)。
[0085]检测器10对输入距离图像执行预处理(操作S62)并检测至少一个移动区域(操作 S63)。距离图像提供关于对象的距离信息，其中，距离信息可包括从相机到该对象的距离。
[0086]估计器20在每个移动区域中设置候选头部区域(操作S64)，所述候选头部区域是 被估计为人的头部的区域。在移动区域中，估计器20检测与最小距离对应的像素（即，与距 地面最大高度对应的像素)为参考像素并可设置包括围绕参考像素并满足指定条件的像素 的扩展区域。可基于距离计算高度。估计器20可在扩展区域中参考像素周围的区域内估计 候选头部区域。估计器20可针对除设置的扩展区域外的移动区域重复执行候选头部区域估 计操作，以检测分组到一个移动区域中的两个或更多个对象而不遗漏任何对象。
[0087]确定器30跟踪候选头部区域(操作S65)并在每帧中确定候选头部区域是否满足圆 形相似度条件(等式(1))和球面曲率条件(等式(2)和(3))(操作S66)。
[0088]计数器40确定候选头部区域的跟踪路径是否穿过计数线并计算检测到候选头部 区域的帧的总数与候选头部区域被识别为人的头部的有效帧的数量之间的比率（操作 S67)。如果候选头部区域的跟踪路径穿过计数线并且帧的数量之间的比率等于或大于第四 预设临界值，则计数器40最终将候选头部区域计数为一人(操作S68)。图13是用于描述根据 另一示例性实施例的对人数进行计数的方法的流程图。
[0089] 图13示出的对人数进行计数的方法可由图1的计数器40执行。以下会省略在以上 参考图1至图11已经给出的描述。
[0090] 图13示出的对人数进行计数的方法与图12示出的对人数进行计数的方法从俯视 距离图像的输入到候选头部区域的估计是相同的。然而，图13的示例性实施例与图12的示 例性实施例的不同之处在于:在人数计数设备跟踪设置的候选头部区域，首先确定设置的 候选头部区域是否穿过计数线，并确定是否只有已穿过计数线的候选头部区域是实际的人 的头部。图13的示例性实施例与图12的示例性实施例相比可减少对人数计数设备的负荷， 在图12的示例性实施例中，在每帧中确定候选头部区域是否是实际的人的头部。
[0091] 人数计数设备1从距离相机2接收俯视距离图像(操作S71)。
[0092]检测器10对输入距离图像执行预处理(操作S72)并检测至少一个移动区域(操作 S73)。
[0093]估计器20在每个移动区域中设置候选头部区域(操作S74)，所述候选头部区域是 被估计为人的头部的区域。
[0094] 人数计数设备1通过跟踪器跟踪候选头部区域(操作S75)，计数器40确定候选头部 区域的跟踪路径是否穿过计数线(操作S76)。
[0095] 如果候选头部区域穿过计数线，则确定器30确定从检测到候选头部区域的所有帧 中选出的至少一帧中的候选头部区域是否满足圆形相似度条件和球面曲率条件（操作 S77)。包括将被确定的候选头部区域的帧可由用户提前设置。例如，包括将被确定的候选头 部区域的帧可以是候选头部区域穿过计数线后紧跟的下一帧、候选头部区域被检测到的第 一帧、所有帧、或候选头部区域穿过计数线后的所有帧。
[0096] 如果所选帧的候选头部区域满足圆形相似度条件和球面曲率条件，则确定器30将 候选头部区域确定为实际的人的头部，计数器40最终将候选头部区域计数为一人（操作 S78)〇
[0097]图14是用于估计图12和图13中示出的候选头部区域的操作的详细流程图。
[0098] 如果在俯视距离图像中两个或更多个对象独立地移动，则两个或更多个移动区域 可被检测到。此外，如果两个或更多个对象彼此相邻，则这两个或更多个对象的移动可被分 组和检测为单个移动。
[0099]估计器20从多个移动区域中选择一个作为将被确定的移动区域(操作S81)。
[0100]估计器20从选择的移动区域中提取与距相机最小距离相应的参考像素（操作 S82)。换言之，参考像素是与距地面最大高度相应的像素并且起到用于确定头部区域的参 考点的作用。
[0101] 当参考像素被提取时，估计器20在参考像素周围设置扩展区域(操作S83)。估计器 20将与参考像素具有相同高度的周围像素或高度变化恒定或减小的周围像素包括在扩展 区域中。扩展区域指的是被估计为单个对象的区域。
[0102] 估计器20将参考像素周围的区域设置为候选头部区域(操作S84)。估计器20将参 考像素和具有不同于参考像素的高度的、在第一预设临界值内的高度的周围像素设置为候 选头部区域。
[0103] 接下来，估计器20确定在同一个移动区域中是否存在除被设置为扩展区域的区域 外的其它区域(操作S85)。如果存在除被设置为扩展区域的区域外的其它区域，则操作S82 至操作S84被再次执行。
[0104] 估计器20确定在多个被检测的移动区域中是否存在尚未被分析的移动区域(操作 S86)。如果存在尚未被分析的移动区域，则操作S81至操作S85被再次执行，从而针对所有移 动区域估计候选头部区域。
[0105] 不同于只考虑移动区域的现有技术的计数系统，在本发明构思的以上示例性实施 例中也考虑对象的形状、该形状是否满足指定条件、满足相应条件的帧的数量，因此可更准 确地对人数进行计数。
[0106] 本发明构思的以上示例性实施例可应用于有必要准确地对人数进行计数的各种 地点中的任何地点。本发明构思的以上示例性实施例可应用于基础设施(诸如医院和港口） 和商业设施(诸如商店和赌场）。此外，本发明构思的以上示例性实施例还可针对有必要在 其中对人数进行计数以防可能发生的事故的交通工具(诸如，飞机、轮船或火车）、工厂或车 间被应用。例如，本发明构思的以上示例性实施例可应用于将人和对象(例如，在市场的入 口处推着手推车的人、在车间中携带物体的人等)彼此区分开。由于近来从各种灾难安全有 效地疏散已经变得更加优先，所以本发明构思的以上示例性实施例可在火灾或类似灾难的 情况下被应用于在有限空间(诸如车间、飞机或轮船)中确定剩余人数的系统。
[0107] 上述方法或操作也可作为在计算机可读记录介质上的计算机可读代码被实施。计 算机可读记录介质是能够存储随后可由计算机系统读取的数据的任何数据存储装置。计算 机可读记录介质的示例包括只读存储器(R0M)、随机存取存储器(RAM)、⑶-R0M、磁带、软盘、 光学数据存储装置等。计算机可读记录介质也可被分布在联网的计算机系统上，以使计算 机可读代码以分布式方式被存储和执行。此外，用于实现本发明构思的功能程序、代码和代 码段能够被本发明构思所属领域的编程技术员容易地解释。
[0108] 如上所述，根据以上示例性实施例，可实现这样的方法和设备：即使在多个人彼此 相邻移动或与人相似的对象移动的复杂情况下，所述方法和设备仍能用于准确地对人数进 行计数。
[0109] 应该理解，这里描述的示例性实施例应被看作仅有描述意义，而不是为了限制的 目的。每个示例性实施例中的特征或方面的描述通常应被看作可用于在其它示例性实施例 中的其它类似的特征或方面。
[0110] 虽然一个或更多个示例性实施例已经参考附图被描述，但是本领域普通技术人员 应该理解，在不脱离由权利要求限定的精神和范围的情况下，可在形式和细节上进行各种 改变。
【主权项】
1. 一种对至少一个图像帧中的人数进行计数的方法，所述方法包括： 在提供距离信息的俯视距离图像中检测至少一个图像帧的移动区域； 基于距离信息从所述移动区域估计候选头部区域； 基于从关于候选头部区域的距离信息估计的候选头部区域与圆形的相似度和候选头 部区域的球面曲率，确定候选头部区域是否是实际的人的头部。2. 如权利要求1所述的方法，其中，估计候选头部区域的步骤包括： 从所述移动区域中提取参考像素，所述参考像素是在所述至少一个图像帧中与距地表 面最大高度相应的像素； 设置包括参考像素以及与参考像素具有相同高度的周围像素和高度的变化恒定或减 小的周围像素的扩展区域； 将包括参考像素和具有不同于参考像素的高度的、在预设的临界值内的高度的周围像 素的区域设置为候选头部区域。3. 如权利要求2所述的方法，还包括： 确定在所述移动区域中是否存在除扩展区域外的其它区域； 如果确定存在其它区域，则将其它区域设置为另一移动区域，并针对所述另一移动区 域重复提取参考像素的步骤、设置扩展区域的步骤、设置候选头部区域的步骤。4. 如权利要求2所述的方法，其中，估计候选头部区域的步骤在另一移动区域中被重复 执行。5. 如权利要求1所述的方法，其中，在确定候选头部区域是否是实际的人的头部的步骤 中，通过确定围绕候选头部区域的最小圆形的面积与候选头部区域的面积的比率是否超过 预设的临界值来确定候选头部区域与圆形的相似度。6. 如权利要求5所述的方法，其中，在确定候选头部区域是否是实际的人的头部的步骤 中，通过使用关于在候选头部区域上延伸的至少一条参考线中的每条参考线上的多个点的 高度的信息来确定候选头部区域的球面曲率。7. 如权利要求1所述的方法，其中，确定候选头部区域是否是实际的人的头部的步骤包 括： 通过确定围绕候选头部区域的最小圆形的面积与候选头部区域的面积的比率超过第 一预设临界值是否被满足来确定圆形相似度条件的满足； 如果至少一个图像帧中在候选头部区域上延伸的至少一条参考线被近似为包括所述 参考线上的点的位置和所述参考线上的点距地表面的高度作为二次函数的变量的二次函 数，则通过确定在候选头部区域中是否存在所述二次函数的极点和二次项系数是否小于或 等于第二预设临界值来确定球面曲率条件的满足； 将满足圆形相似度条件和球面曲率条件的候选头部区域设置为实际的人的头部。8. 如权利要求7所述的方法，其中，确定球面曲率条件的满足的步骤包括:确定在候选 头部区域中以指定间隔布置的多条参考线中的每条参考线是否满足球面曲率条件。9. 如权利要求1所述的方法，还包括:如果所述至少一个图像帧中的候选头部区域的跟 踪路径穿过计数线并且检测到候选头部区域的图像帧的总数与候选头部区域被确定为实 际的人的头部的有效帧的数量的比率等于或大于预设临界值，则将候选头部区域计数为一 人。10. 如权利要求1所述的方法，其中，确定候选头部区域是否是实际的人的头部的步骤 包括:如果所述至少一个图像帧中的估计的候选头部区域的跟踪路径穿过计数线，则确定 估计的候选头部区域是否是实际的人的头部。11. 一种人数计数设备，包括： 检测器，被配置为在提供距离信息的俯视距离图像中检测至少一个图像帧的移动区 域； 估计器，被配置为基于距离信息从所述移动区域估计候选头部区域； 确定器，被配置为基于从关于候选头部区域的距离信息估计的候选头部区域与圆形的 相似度和候选头部区域的球面曲率确定候选头部区域是否是实际的人的头部。12. 如权利要求11所述的设备，其中，所述估计器包括： 参考像素提取器，被配置为从移动区域提取参考像素，所述参考像素是所述至少一个 图像帧中与距地表面最大高度相应的像素； 区域扩展器，被配置为设置包括参考像素以及与参考像素具有相同高度的周围像素和 高度的变化恒定或减小的周围像素的扩展区域； 候选头部区域设置器，被配置为将包括参考像素和具有不同于参考像素的高度的、在 预设的临界值内的高度的周围像素的区域设置为候选头部区域。13. 如权利要求12所述的设备，其中，所述估计器还被配置为确定在移动区域中是否存 在除扩展区域外的其它区域； 其中，响应于确定存在其它区域，所述估计器被配置为将所述其它区域设置为另一移 动区域，并针对所述另一移动区域重复提取参考像素的操作、设置扩展区域的操作、设置候 选头部区域的操作。14. 如权利要求12所述的设备，其中，所述估计器还被配置为在另一移动区域中重复执 行估计候选头部区域的操作。15. 如权利要求11所述的设备，其中，为确定候选头部区域是否是实际的人的头部，所 述确定器被配置为:通过确定围绕候选头部区域的最小圆形的面积与候选头部区域的面积 的比率是否超过预设临界值来确定候选头部区域与圆形的相似度。16. 如权利要求15所述的设备，其中，为确定候选头部区域是否是实际的人的头部，所 述确定器被配置为:通过使用关于在所述候选头部区域上延伸的至少一条参考线中的每条 参考线上的多个点的高度的信息来确定候选头部区域的球面曲率。17. 如权利要求11所述的设备，其中，所述确定器包括： 第一确定器，被配置为通过确定围绕候选头部区域的最小圆形的面积与候选头部区域 的面积的比率超过第一预设临界值是否被满足来确定圆形相似度的满足； 第二确定器，被配置为：如果至少一个图像帧中在所述候选头部区域上延伸的至少一 条参考线被近似为包括所述参考线上的点的位置和所述参考线上的点距地表面的高度作 为二次函数的变量的二次函数，则通过确定在候选头部区域中是否存在所述二次函数的极 点和二次项系数是否小于或等于第二预设临界值来确定球面曲率条件的满足； 第三确定器，被配置为将满足圆形相似度条件和球面曲率条件的候选头部区域设置为 实际的人的头部。18. 如权利要求17所述的设备，其中，所述确定器被配置为：确定在候选头部区域中以 指定间隔布置的多条参考线中的每条参考线是否满足球面曲率条件。19. 如权利要求11所述的设备，还包括:计数器，如果所述至少一个图像帧中的候选头 部区域的跟踪路径穿过计数线并且检测到候选头部区域的图像帧的总数与候选头部区域 被确定为实际的人的头部的有效帧的数量的比率等于或大于预设临界值，则所述计数器将 候选头部区域计数为一人。20. 如权利要求11所述的设备，其中，如果所述至少一个图像帧中的估计的候选头部区 域的跟踪路径穿过计数线，则所述确定器被配置为确定估计的候选头部区域是否是实际的 人的头部。
【文档编号】G06K9/00GK106056030SQ201610021806
【公开日】2016年10月26日
【申请日】2016年1月13日 公开号201610021806.8, CN 106056030 A, CN 106056030A, CN 201610021806, CN-A-106056030, CN106056030 A, CN106056030A, CN201610021806, CN201610021806.8
【发明人】白荣民, 裴纯敏
【申请人】韩华泰科株式会社