基于视频图像的人体定位方法及装置的制造方法
【专利摘要】本发明属于数字图像识别技术领域，本发明提供基于视频图像的人体定位方法及装置，人体定位方法包括以下步骤：获取室内场景的深度图像和人体彩色图像；将人体彩色图像进行颜色空间转换，并在经过颜色空间转换后的空间平面上获取肤色区域，并生成肤色区域二值图像；根据肤色区域二值图像获取头部二值图像，并根据头部二值图像获取头部中心位置在彩色图像中的位置坐标；根据深度图像和头部中心位置在彩色图像中的位置坐标获取头部中心位置在世界坐标系的坐标，最后算出精确的头部位置，实现了对人体的定位，并且可以实现判断人体的跌倒现象。
【专利说明】
基于视频图像的人体定位方法及装置
技术领域
[0001] 本发明属于数字图像识别技术领域，尤其涉及基于视频图像的人体定位方法及装 置。
【背景技术】
[0002] 目前，随着社会人口老龄化严重，老年人看护逐渐成为一个热点问题，而人体定位 作为老年人看护的一个重要技术手段也逐渐被人们所关注。按照定位设备与选用特征的不 同，目前的检测系统主要分为三大类别:基于环境监控的定位系统、基于穿戴设备的定位系 统和基于视频图像的定位系统。
[0003] 环境监控式系统对日常活动影响较小，但是传感器较多，成本较高；穿戴式设备的 定位系统适用性广，计算量小，但需要用户时刻穿戴，长时间穿戴会对人体活动造成不适； 视频监测系统具有精确度高，成本低的优点；目前基于视频图像的检测系统，存在安装过程 复杂、获取数据不准确以及无法识别具体人的问题。
【发明内容】
[0004] 本发明提供的基于视频图像的人体定位方法及装置，以解决现有技术中存在的存 在安装过程复杂、获取数据不准确以及无法识别具体人的问题。
[0005] 本发明第一方面提供一种基于视频图像的人体定位方法，所述人体定位方法包括 以下步骤：
[0006] 获取室内场景的深度图像和人体彩色图像；
[0007] 将所述人体彩色图像进行颜色空间转换，并在经过所述颜色空间转换后的空间平 面上获取肤色区域，并生成肤色区域二值图像；
[0008] 根据所述肤色区域二值图像获取头部二值图像，并根据所述头部二值图像获取头 部中心位置在所述彩色图像中的位置坐标；
[0009] 根据所述深度图像和头部中心位置在所述彩色图像中的位置坐标获取头部中心 位置在世界坐标系的坐标。
[0010] 本发明第二方面提供一种基于视频图像的人体定位装置，所述人体定位装置包 括：
[0011] 图像获取模块，用于获取室内场景的深度图像和人体彩色图像；
[0012] 肤色区域获取模块，用于将所述人体彩色图像进行颜色空间转换，并在经过所述 颜色空间转换后的空间平面上获取肤色区域，并生成肤色区域二值图像；
[0013] 头部坐标获取模块，用于根据所述肤色区域二值图像获取头部二值图像，并根据 所述头部二值图像获取头部中心位置在所述彩色图像中的位置坐标，并根据所述深度图像 和头部中心位置在所述彩色图像中的位置坐标获取头部中心位置在世界坐标系的坐标。
[0014] 本发明提供的基于视频图像的人体定位方法及装置，通过获取室内场景的深度图 像和人体彩色图像，对人体彩色图像进行颜色空间转换，并从颜色空间转换后的空间平面 上获取肤色区域，在根据获取肤色区域确定头部坐标，并通过深度信息对头部的位置进行 定位，最后算出精确的头部位置，实现了对人体的定位，并且可以实现判断人体的跌倒现 象。
【附图说明】
[0015] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述 中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施 例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图 获得其他的附图。
[0016] 图1是本发明一种实施例提供的基于视频图像的人体定位方法的流程图；
[0017] 图2是本发明一种实施例提供的基于视频图像的人体定位方法中的肤色聚类在 YCbCr空间的分布结构不意图；
[0018] 图3是本发明一种实施例提供的基于视频图像的人体定位方法中的肤色聚类在 YCbCr空间中的CbCr平面的投影示意图；
[0019] 图4是本发明一种实施例提供的基于视频图像的人体定位方法中的肤色聚类在 YC ' bC ' r空间的分布结构示意图；
[0020] 图5是本发明一种实施例提供的基于视频图像的人体定位方法中的肤色聚类在 YC'bC'r空间中的C'bC'r平面的投影示意图；
[0021] 图6是本发明一种实施例提供的基于视频图像的人体定位装置的结构示意图。
【具体实施方式】
[0022]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例用以解释本发明，并不用 于限定本发明。为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
[0023]本发明实施例提供一种基于视频图像的人体定位方法，人体定位方法包括以下步 骤：
[0024]步骤S101.获取室内场景的深度图像和人体彩色图像。
[0025]步骤S102.将人体彩色图像进行颜色空间转换，在经过颜色空间转换后的空间平 面上获取肤色区域，并生成肤色区域二值图像。
[0026]步骤S103.根据肤色区域二值图像获取头部二值图像，并根据头部二值图像获取 头部中心位置在彩色图像中的位置坐标。
[0027] 步骤S104.根据深度图像和头部中心位置在彩色图像中的位置坐标获取头部中心 位置在世界坐标系的坐标。
[0028]在步骤S101中，具体的，获取人体彩色图像和深度图像后，进行2D与3D数据融合， 得到深度图像与彩色图像的对应关系。
[0029]在步骤S102中，具体的，将人体彩色图像进行颜色空间转换并在颜色空间转换的 平面上获取肤色区域的步骤具体为：
[0030]步骤S1021.根据人体彩色图像获取肤色聚类区域。
[0031]步骤S1022.将人体彩色图像进行颜色空间转换并获取转换后空间平面的投影面。
[0032]步骤S1023.根据肤色聚类区域和投影面获取肤色区域。
[0033]上述步骤S1021至步骤S1023的目的是通过人体彩色图像获取肤色区域，以对人体 进行定位，具体原理如下：
[0034]由于肤色为人脸最显著的特征之一，因此可作为头部的检测依据，摄像头所采集 的人体彩色图像是基于RGB色光模型的，人眼里有几种对颜色进行分辨的锥形感光细胞，它 们分别对绿色、黄绿色和蓝紫色的光敏感，假如辨别黄绿色的细胞感受到的刺激稍微大于 辨别绿色的细胞，人就会感觉是黄色;假如辨别黄绿色的细胞感受到的刺激远超过辨别绿 色的细胞，人就会感觉是红色。由于人眼生理上的原因，RGB色光模型成为最广泛使用的色 光模型，运用于各种图像和视频的采集及显示设备。
[0035] 从人眼的角度上看，红、绿和蓝色为原色，即不能通过不同颜色混合调配而成的基 本色；而自然界中各种常见的颜色光，则都可以通过三原色以不同比例调配而成。采用红 色、绿色和蓝色作为基本色，匹配其它颜色的模型称为RGB颜色空间。根据国际照明委员会 (CIE)所作出的标准，红色、绿色和蓝色单色光的波长长度分别定为700nm、546.1nm和 453.8nm〇
[0036] 根据三原色原理，如公式（1.0)，任意一种颜色C可以表示为：
[0037] C=R C R+(；""c B+B"c G 公式（1.0)
[0038] 其中，R、G和B为红色、绿色和蓝色的比例系数，当R、G和B相等时，C为标准的白色。 [0039] RGB颜色空间中三维矢量(R，G，B)同时表示了色度和亮度。如果对RGB颜色空间中 的亮度信息不感兴趣，或者为了消除亮度的影响，则可以运用如式(1.1)对其进行归一化： [0040] r = R/(R+G+B)
[0041 ] g = RG/(R+G+B) 公式（1.1)
[0042] b = B/(R+G+B)
[0043] 此时有r+g+b=l，可用二维矢量(r，g)表示，称为rg空间，通过归一化处理，可以有 效消除亮度的影响。
[0044] 在肤色识别中，一种常用的颜色空间为YCbCr颜色空间，YCbCr颜色空间常用于DVD、 摄像机、数字电视等消费类视频产品中，是CCIR601编码方案中采用的色彩表示模型。
[0045] RGB颜色空间可以线性转换为YCbCr空间，转换关系如式(4.12)所示： y=0. 299R+0. 587G+0. ΓΙ4Β 、
[0046] Cb-0. 1687R-0. 3313G+0. 5R+128 L 公 A', (1. 2) Cr=0. 5R-0. 1187G-0. 0813B+128
[0047] 在YCbCr颜色空间中，Y代表亮度，Cb和Cr分别代表蓝色分量和红色分量，两者合称 为色彩分量。
[0048] 研究表明，不同人肤色的差异主要表现在亮度上，而跟色彩分量关系不大，肤色区 域表现出比较明显的聚类。对比RGB颜色空间和YC bCr颜色空间，当光强发生变化时，RGB颜色 空间中（R，G，B)会同时发生变化，而YC bCr颜色空间中受光强相对独立，色彩分量受光强度影 响不大，因此YCbCr颜色空间更适合用于肤色识别。
[0049] 根据研究表明，肤色所处的区域在YCbCr颜色中呈现两头小中间大的形状，如图1所 示，其中在亮度较高或较低的位置，肤色区域较小，如图2所示，为肤色聚类在CbCr平面上的 投影，可通过一种非线性变化，对亮度部分进行补偿后，如图3所示，将YCbCr色彩空间转换为 ￥(：、(：\，肤色区域的聚类近似为一个柱状，受￥分量的影响大大降低，如图4所示，此时肤色 区域在的投影平面C'bC'r近似可以用椭圆进行拟合。
[0050] 具体的，将〇3、〇、〇3'和沈'视为变量为￥的映射，令[8 00和€1?以)为肤色区域 的中轴线，Wcb(Y)和Wcr(Y)为肤色区域的宽度，由YCbCr到YC' bC'r的变换通过如下步骤实 现：
[0051] (1)寻找肤色区域的中轴0 B(Y)和0 :R(Y)，如公式（1.3)和公式(1.4)，根据肤色 区域在C'bC'r投影的面图，g Β(γ)和己R(Y)可计算得：
公式（1.3) 公式（1.4)
[0054] 其中，Kl和Kh为常量值，Ymin和Ymax分别为肤色聚类区域中光强的最小和最大值。
[0055] 通过实验得到数值分别如下：
[0056] Ki=125,Kh=188,Ymin=16,Ymax = 235〇
[0057] (2)计算Wcb(Y)和Wcr(Y)，如公式（1.5):
备式（l··. 5 )
[0059] 其中，Wci、WHci和WLci均为常量，大小分别为：
[0060] Web = 46 · 97，WHcb = 14，WLcb = 2 3;
[0061 ] Wcr = 38 · 76，WHcr = 10，WLcr = 20。
[0062] (3)由此可以得到〇3以)、0(￥)、(：'13(￥)和0(￥)的转换关系，如公式(1.6) :
公式:(1. :8:)
[0064] 通过上面的非线性变换以后，色彩空间从YCbCr转换到了 YC'bC'r;
[0065] (4)对非线性变换后的肤色聚类区域在C'bC'r平面中的投影进行拟合，如公式 (1.7)和公式(1.8):
[0068] 其中：cx= 109· 38，cy = 150·02，θ = 2·53(单位弧度），ecx=1.60，ecy = 52.41，a = 25.39，b = 14.03。
[0069] 通过上述步骤，可以将从摄像头中返回的彩色图像转换为进行颜色空间的转换， 再根据判断像素点所对应的色彩分量值是否位于椭圆区域来判断是否属于肤色区域，并生 成二值图像。
[0070] 在步骤S103中，根据肤色区域二值图像获取头部二值图像的步骤具体为：
[0071] 对肤色区域二值图像进行腐蚀、膨胀以及过滤操作以获取头部二值图像。
[0072]其中，通过对椭圆模型进行处理初步得到了肤色区域二值图像，由于通过观察会 发现除了人暴露的肤色块以外，仍然有一些点被错误的判断为肤色，也有一些肤色区域并 没有被完全识别，因此，需要通过图像形态学的方法对肤色区域识别以后的二值图像进行 处理，以得到更准确的肤色区域。
[0073]可以采用图像形态学进行处理，图像形态学的基本变换是腐蚀和膨胀操作，能够 实现多种功能，比如消除噪声、分割出独立的图像元素以及在图像中寻找相邻的元素。通过 上述腐蚀和膨胀操作，可获取清晰的头部附近肤色区域的二值图像，肤色区域仅剩下了脸 部，这为头部定位提供了有利条件。
[0074]进一步的，由于只锁定上半身的肤色区域，通过腐蚀和膨胀处理以后的二值图像， 在通常情况下只剩下面部或者面部加手臂的部分。此时还需要对处理以后的二值图像进行 过滤操作，即通过面积过滤掉手部区域，一般来说，人的脸到脖子这一部分皮肤裸露的面积 是最大的，可以利用这一特征滤掉手部，只留下头部。选择头部肤色块的中心作为头部中心 位置，由于该二值图像的点与彩色图像一一对应，此时便可以算出头部中心位置在彩色图 像上的坐标(u，v)。
[0075]在步骤S104中，根据深度图像和头部中心位置在彩色图像中的位置坐标获取头部 中心位置在世界坐标系的坐标的步骤具体为：
[0076] S1041.将深度图像上投影到彩色图像上；
[0077] S1042.根据头部中心位置在彩色图像中的位置坐标获取头部在深度图像上的坐 标点；
[0078] S1043.将头部中心位置在深度图像上的坐标点进行坐标变换后获取头部中心位 置在世界坐标系中的坐标。
[0079]具体的，在上述步骤S1041至步骤S1043中，由于缺少深度信息，从彩色图像无法直 接映射到深度图像，只能通过在深度图像搜索相应的点投影到彩色图像中，根据点的属性 值进行比对。通过深度信息获取头部中心位置在摄像机坐标系中的三维坐标，再通过摄像 机坐标系与世界坐标系的关系，便可获得头部中心位置在世界坐标系下的坐标。
[0080]本发明另一种实施例提供一种基于视频图像的人体定位装置，人体定位装置包 括：
[0081]图像获取模块201，用于获取室内场景的深度图像和人体彩色图像；
[0082]肤色区域获取模块202,用于将人体彩色图像进行颜色空间转换，在经过颜色空间 转换后的空间平面上获取肤色区域，并生成肤色区域二值图像；
[0083]头部坐标获取模块203,用于根据肤色区域二值图像获取头部二值图像，并根据头 部二值图像获取头部中心位置在彩色图像中的位置坐标，并根据深度图像和头部中心位置 在彩色图像中的位置坐标获取头部中心位置在世界坐标系的坐标。
[0084]进一步的，肤色区域获取模块202将人体彩色图像进行颜色空间转换并在颜色空 间转换的平面上获取肤色区域的过程为：
[0085] 根据人体彩色图像获取肤色聚类区域；
[0086] 将人体彩色图像进行颜色空间转换并获取转换后空间平面的投影面；
[0087] 根据肤色聚类区域和投影面获取肤色区域。
[0088]具体的，肤色区域获取模块202获取肤色区域的过程可参照上述步骤S1021至步骤 S1023获取肤色区域的过程，在此不再赘述。
[0089]头部坐标获取模块203根据肤色区域二值图像获取头部二值图像的过程为：
[0090] 对肤色区域二值图像进行腐蚀、膨胀以及过滤操作以获取头部二值图像。
[0091] 具体的，通过对椭圆模型进行处理初步得到了肤色区域二值图像，由于通过观察 会发现除了人暴露的肤色块以外，仍然有一些点被错误的判断为肤色，也有一些肤色区域 并没有被完全识别，因此，需要通过图像形态学的方法对肤色区域识别以后的二值图像进 行处理，以得到更准确的肤色区域。
[0092] 可以采用图像形态学进行处理，图像形态学的基本变换是腐蚀和膨胀操作，能够 实现多种功能，比如消除噪声、分割出独立的图像元素以及在图像中寻找相邻的元素。通过 上述腐蚀和膨胀操作，可获取清晰的头部附近肤色区域的二值图像，肤色区域仅剩下了脸 部，这为头部定位提供了有利条件。
[0093]进一步的，由于只锁定上半身的肤色区域，通过腐蚀和膨胀处理以后的二值图像， 在通常情况下只剩下面部或者面部加手臂的部分。此时还需要对处理以后的二值图像进行 过滤操作，即通过面积过滤掉手部区域，一般来说，人的脸到脖子这一部分皮肤裸露的面积 是最大的，可以利用这一特征滤掉手部，只留下头部。选择头部肤色块的中心作为头部中心 位置，由于该二值图像的点与彩色图像一一对应，此时便可以算出头部中心位置在彩色图 像上的坐标(u，v)。
[0094]进一步的，头部坐标获取模块203根据深度图像和头部中心位置在彩色图像中的 位置坐标获取头部中心位置在世界坐标系的坐标的过程为：
[0095]将深度图像上投影到彩色图像上；
[0096] 根据头部中心位置在彩色图像中的位置坐标获取头部中心位置在深度图像上的 坐标点；
[0097] 将头部中心位置在深度图像上的坐标点进行坐标变换后获取头部中心位置在世 界坐标系中的坐标。
[0098] 具体的，由于缺少深度信息，从彩色图像无法直接映射到深度图像，只能通过在深 度图像搜索相应的点投影到彩色图像中，根据点的属性值进行比对。通过深度信息获取头 部在摄像机坐标系中的三维坐标，再通过摄像机坐标系与世界坐标系的关系，便可获得头 部其世界坐标系的坐标。
[0099]本发明提供的基于视频图像的人体定位方法及装置，通过获取室内场景的深度图 像和人体彩色图像，对人体彩色图像进行颜色空间转换，并从颜色空间转换后的空间平面 上获取肤色区域，在根据获取肤色区域确定头部坐标，并通过深度信息对头部的位置进行 定位，最后算出精确的头部位置，实现了对人体的定位，并且可以实现达到判断人体跌倒现 象。
[0100]本领域普通技术人员还可以理解，实现上述实施例方法中的全部或部分步骤是可 以通过程序来指令相关的硬件来完成，所述的程序可以在存储于一计算机可读取存储介质 中，所述的存储介质，包括R0M/RAM、磁盘、光盘等。
[0101] 本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
[0102] 本发明实施例电池及终端中的各组件或单元可以根据实际需要进行合并、划分和 删减。
[0103] 以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定 本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在 不脱离本发明构思的前提下做出若干等同替代或明显变型，而且性能或用途相同，都应当 视为属于本发明由所提交的权利要求书确定的专利保护范围。
【主权项】
1. 一种基于视频图像的人体定位方法，其特征在于，所述人体定位方法包括以下步骤： 获取室内场景的深度图像和人体彩色图像； 将所述人体彩色图像进行颜色空间转换，在经过颜色空间转换后的空间平面上获取肤 色区域，并生成肤色区域二值图像； 根据所述肤色区域二值图像获取头部二值图像，并根据所述头部二值图像获取头部中 心位置在所述彩色图像中的位置坐标； 根据所述深度图像和头部中心位置在所述彩色图像中的位置坐标获取头部中心位置 在世界坐标系的坐标。2. 如权利要求1所述的人体定位方法，其特征在于，所述将所述人体彩色图像进行颜色 空间转换并在经过颜色空间转换后的空间平面上获取肤色区域的步骤具体为： 根据所述人体彩色图像获取肤色聚类区域； 将所述人体彩色图像进行颜色空间转换并获取转换后空间平面的投影面； 根据所述肤色聚类区域和所述投影面获取肤色区域。3. 如权利要求2所述的人体定位方法，其特征在于，所述根据所述肤色聚类区域和所述 投影面获取肤色区域的步骤具体为： 将所述肤色聚类区域在所述投影面上进行投影拟合以获取肤色区域。4. 如权利要求1所述的人体定位方法，其特征在于，根据所述肤色区域二值图像获取头 部二值图像的步骤具体为： 对所述肤色二值图像进行腐蚀、膨胀以及过滤操作以获取头部二值图像。5. 如权利要求1所述的人体定位方法，其特征在于，所述根据所述深度图像和头部中心 位置在所述彩色图像中的位置坐标获取头部中心位置在世界坐标系的坐标的步骤具体为： 将所述深度图像上投影到所述彩色图像上； 根据头部中心位置在所述彩色图像中的位置坐标获取头部中心位置在所述深度图像 上的坐标点； 将头部中心位置在所述深度图像上的坐标点进行坐标变换后获取头部中心位置在世 界坐标系中的坐标。6. -种基于视频图像的人体定位装置，其特征在于，所述人体定位装置包括： 图像获取模块，用于获取室内场景的深度图像和人体彩色图像； 肤色区域获取模块，用于将所述人体彩色图像进行颜色空间转换，在经过颜色空间转 换后的空间平面上获取肤色区域，并生成肤色区域二值图像； 头部坐标获取模块，用于根据所述肤色区域二值图像获取头部二值图像，并根据所述 头部二值图像获取头部中心位置在所述彩色图像中的位置坐标，并根据所述深度图像和头 部中心位置在所述彩色图像中的位置坐标获取头部中心位置在世界坐标系的坐标。7. 如权利要求6所述的定位装置，其特征在于，所述肤色区域获取模块将所述人体彩色 图像进行颜色空间转换并在经过颜色空间转换后的空间平面上获取肤色区域的过程为： 根据所述人体彩色图像获取肤色聚类区域； 将所述人体彩色图像进行颜色空间转换并获取转换后空间平面的投影面； 根据所述肤色聚类区域和所述投影面获取肤色区域。8. 如权利要求7所述的定位装置，其特征在于，所述肤色区域获取模块根据所述肤色聚 类区域和所述投影面获取肤色区域的过程为： 将所述肤色聚类区域在所述投影面上进行投影拟合以获取肤色区域。9. 如权利要求6所述的定位装置，其特征在于，所述头部坐标获取模块根据所述肤色区 域二值图像获取头部二值图像的过程为： 对所述肤色区域二值图像进行腐蚀、膨胀以及过滤操作以获取头部二值图像。10. 如权利要求6所述的定位装置，其特征在于，所述头部坐标获取模块根据所述深度 图像和头部中心位置在所述彩色图像中的位置坐标获取头部中心位置在世界坐标系的坐 标的过程为： 将所述深度图像上投影到所述彩色图像上； 根据头部中心位置在所述彩色图像中的位置坐标获取头部中心位置在所述深度图像 上的坐标点； 将头部中心位置在所述深度图像上的坐标点进行坐标变换后获取头部中心位置在世 界坐标系中的坐标。
【文档编号】G06T7/40GK106097352SQ201610424444
【公开日】2016年11月9日
【申请日】2016年6月15日 公开号201610424444.7, CN 106097352 A, CN 106097352A, CN 201610424444, CN-A-106097352, CN106097352 A, CN106097352A, CN201610424444, CN201610424444.7
【发明人】陈梦野, 李建军, 方日波
【申请人】深圳市易奉亲智慧养老科技有限公司