一种基于监控视频多目标跟踪和人脸识别的隐私保护方法与流程

本发明属于视频隐私保护技术领域，尤其涉及一种基于监控视频多目标跟踪和人脸识别的隐私保护方法。

背景技术：

近年来，随着个人隐私的安全需求不断提升，使公共监控系统中个人隐私保护得到了广泛关注。监控系统首先要满足维护所辖区域安全的需求，但是，针对安装在有固定人员的区域如社区的监控系统，在维护安全的同时也泄露了基本没有安全威胁的社区内部人员的隐私信息。所以，在保证监控系统的安全职能的同时不泄露社区内部人员隐私信息是目前研究的热点问题。视频隐私保护技术以其较高的学术价值和巨大的应用潜力，得到了学者的广大关注。

综上所述，现有技术存在的问题是：社区内的安全监控与用户隐私保护偏离较为严重，基本上是以牺牲用户隐私为代价来保证监控体系的正常运转，在当前用户安全意识不断提升、隐私保护需要不断增长的情况下，现有的不人性化的监控体系无法让用户放心满意。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种基于监控视频多目标跟踪和人脸识别的隐私保护方法。

本发明是这样实现的，一种基于监控视频多目标跟踪和人脸识别的隐私保护方法，所述基于监控视频多目标跟踪和人脸识别的隐私保护方法包括以下步骤：

步骤一，根据实时监控录像建立和更新背景模型，运用新背景模型分割出前景目标区域；

步骤二，基于前景目标区域进行行人检测与人脸识别，通过卡尔曼滤波器预测跟踪目标的状态，使用kuhn-munkres算法进行上一帧图像中的预测目标与当前帧中的检测目标之间的目标关联，实现社区监控视频中社区内部人员与社区外来人员的持续跟踪与身份识别；

步骤三，利用信息隐藏对社区内部人员的视频信息进行保护。

进一步，所述步骤一中采用vibe算法进行背景建模，提取前景区域，vibe算法包括：背景模型的初始化、前景检测过程、背景模型的更新。

进一步，所述步骤二中行人检测包括：提取训练图片的方向梯度直方图作为图片特征，使用优化的支持向量机训练算法序列最小最优化算法训练的行人检测分类器，使用分类器在前景区域检测行人；

人脸检测使用luxandfacesdk的人脸检测api在行人区域检测人脸。

人脸识别使用luxandfacesdk的人脸识别api识别用户身份，确定是否是被保护对象，如果是受保护对象则为其分配受保护的id，否则分配普通id；

特征提取将原rgb图像转换为hsv图像，建立hsv区域边缘直方图作为目标特征。

进一步，所述步骤二中卡尔曼滤波目标对象的状态向量为，横向位移x、纵向位移y、横向速度vx和纵向速度vy；每一个跟踪目标对象都关联了一个卡尔曼滤波器，当目标第一次出现时，以状态向量和状态转移矩阵初始化卡尔曼滤波器，当目标不是第一次出现时，则使用已初始化的滤波器预测该目标的下一个状态。

进一步，所述步骤二中持续跟踪采用多目标关联，具体包括：

(1)对于检测目标集合d和跟踪目标集合t，两个集合的相似度矩阵a，aij表示集合t中第i个跟踪目标ti与集合d中第j个检测目标dj的相似度，计算ti与dj的曼哈顿距离dmanhattan(i,j)和重叠比例dratiooverlap(i,j)初步去掉不可能匹配的关系,即如果dmanhattan(i,j)大于阈值或者dratiooverlap(i,j)小于阈值，则对应的aij为无穷大；

(2)相似度aij由目标ti的特征向量feature_i和与目标dj的特征向量feature_j之间的巴氏距离dbhattacharyya(feature_i，feature_j)来量化：

其中，变量k和s均遍历直方图的所有子区间，feature_i(k)表示跟踪目标i的第k个直方图子区间的像素数量，feature_j(k)表示检测目标j的第k个直方图子区间的像素数量。

(3)相似度矩阵a，运用匈牙利算法和kuhn-munkres算法实现集合t与集合d之间目标的最优匹配。

进一步，所述步骤三中信息隐藏方法包括：

跟踪目标的id受保护，采用可逆的图像置乱方法加扩散函数保护该目标区域，目标区域以矩形指定；图像置乱采用arnold变换，秘钥为改变换迭代的次数k，和分别表示像素点变换前和变换后的横坐标和纵坐标：

再辅以扩散函数：

a′(i，j)为变换后的像素值，a(i，j)为变换前的像素值。

进一步，所述步骤三进一步包括：

(1)更新跟踪目标集合t，如果t中的跟踪目标i匹配成功，则使用与之相匹配的检测目标的hsv区域边缘直方图特征和状态更新跟踪目标i，如果未匹配成功且连续失败达到一定帧数则视为目标丢失，并告知临近摄像头相关信息；如果检测目标集合d中检测目标j未匹配成功，则视为新目标并添加到集合t，同时为其分配generalid；

(2)更新卡尔曼滤波器，使用与跟踪目标i关联的检测目标j的状态来更新跟踪目标i的卡尔曼滤波器，以作下一帧状态预测。

本发明的另一目的在于提供一种应用所述基于监控视频多目标跟踪和人脸识别的隐私保护方法的公共监控系统。

本发明的优点及积极效果为：现有的隐私保护方法大多针对前景隐私信息如运动目标进行保护，持续地准确定位隐私区域是隐私保护的一个关键基础步骤，这直接关系到最终的隐私保护效果，尤其是在同一视频内存在多个运动目标的情况，诸如光流法、camshift、能量最小化等方法在跟踪运动目标时效果并不是很好，主要是对目标的遮挡和丢失等情况处理不够完善，本发明利用区域边缘直方图特征，相比于现有方法，引入了目标特征的空间信息，增强了特征的表达能力，以目标再识别应对目标丢失的情况，对于目标的遮挡，使用卡尔曼滤波器预测目标状态，很好的解决了目标遮挡的问题，完成了目标的持续跟踪，在隐私信息的精确定位基础上，结合图像置乱技术与扩散函数，实现隐私区域信息隐藏，在保护隐私的同时也保证了监控的正常运转，达到了很好隐私保护效果。

附图说明

图1是本发明实施例提供的基于监控视频多目标跟踪和人脸识别的隐私保护方法流程图。

图2是本发明实施例提供的基于监控视频多目标跟踪和人脸识别的隐私保护方法实现流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的基于监控视频多目标跟踪和人脸识别的隐私保护方法包括以下步骤：

s101：根据实时监控录像建立和更新背景模型，运用该模型分割出前景目标区域；

s102：基于前景目标区域进行行人检测与人脸识别，通过卡尔曼滤波器预测跟踪目标的状态，使用kuhn-munkres算法进行上一帧图像中的预测目标与当前帧中的检测目标之间的目标关联；

s103：利用信息隐藏技术对社区内部人员的视频信息进行保护。

本发明实施例提供的基于监控视频多目标跟踪和人脸识别的隐私保护方法具体包括以下步骤：

1、特定环境下行人检测分类器的训练过程

(1)建立训练数据集：

根据社区以往的监控视频，截取2000张行人图片和1000张背景图片(即社区环境中不包括行人的图片)。

(2)训练行人检测分类器：

使用训练集图片提取hog(方向梯度直方图)特征，然后使用支持向量机训练社区环境下的行人检测分类器classfier。

2.有隐私保护需求的用户进行注册。

由社区内用户自愿提供自己的人脸图像，并建立社区内部人员的人脸数据库，在社区入口处使用人脸识别技术确定跟踪目标身份，以确认目标是否需要受隐私保护。

3.多摄像头多目标实时跟踪

(1)前景目标提取：

本发明通过vibe算法快速建立背景模型，从视频图像中提取前景区域，通过形态学操作，进一步去除噪声干扰。

(2)检测行人目标：

在分割出的前景区域运用训练好的行人检测分类器去除非行人的移动目标，提取出潜在的需要隐私保护的行人对象。

(3)单摄像头下多行人目标跟踪：包含跟踪目标集合t(已经处于被跟踪状态的目标对象)和检测目标集合d(在当前帧检测出来的未知身份的目标对象)。

(3a)预测已跟踪目标的运动状态

针对t中每一个目标，如第i个已跟踪目标ti，建立一个卡尔曼滤波器，在进行t、d之间的目标关联之前，使用ti对应的卡尔曼滤波器预测其下一个状态(横向位移x、纵向位移y、横向速度vx和纵向速度vy)。

(3b)提取当前帧可能的行人目标：

使用前景提取、行人检测方法获取潜在跟踪目标，即检测目标，并加入集合d，在下一帧到来之前需要清空集合d。

(3c)图像特征提取：

对每一个跟踪目标ti建立一个特征库，该特征库中保存该目标近段时间具有一定差异的多个特征向量，这里的特征定义为hsv颜色空间中区域边缘直方图特征；对于当前帧的检测目标dj，则直接提取区域边缘直方图特征。

(3d)多目标关联：

确定集合t中的跟踪目标和集合d中的检测目标之间的对应关系，首先使用曼哈顿距离m和重叠比例overlap初步过滤跟踪目标区域和检测目标区域的匹配关系，然后使用hsv区域边缘直方图特征建立两个目标集合之间的相似度矩阵，使用匈牙利算法和kuhn-munkres算法实现跟踪目标ti和检测目标dj之间的最优匹配，t中未匹配目标视为目标消失，d中未匹配目标视为新目标。

(3e)更新：

使用匹配结果更新卡尔曼滤波器，使用已匹配的检测目标特征更新对应跟踪目标的特征库。

(4)目标再识别：

对于每一个新出现的目标，仍然提取hsv区域边缘直方图特征，通过与之前出现过的目标的特征库中的每一个特征向量对比巴氏距离，若比对成功则分配原先的id，否则视为新目标。

(5)多摄像头协同跟踪

在监控系统中个摄像头组织成网络，使用图结构存储网络拓扑结构，每个摄像头由一个线程负责数据处理，当目标在一个摄像头i视角内消失时，通知临近摄像头j，摄像头j视角内的新目标再识别时首先比对摄像头i中消失的目标特征。每个摄像头对应一个线程，线程1负责社区入口处的保护目标的身份确认，其余线程负责各自视角内的多目标跟踪和隐私保护。

下面结合附图对本发明的应用原理作进一步的描述。

如图2所示，本发明实施例提供的基于监控视频多目标跟踪和人脸识别的隐私保护方法包括以下步骤：

步骤1，前景提取。

采用vibe算法进行背景建模，提取前景区域，vibe算法主要包含三个步骤：背景模型的初始化、前景检测过程、背景模型的更新。

步骤2，行人检测。

提取训练图片的方向梯度直方图作为图片特征，使用优化的支持向量机训练算法smo(序列最小最优化算法)训练的行人检测分类器，最后使用该分类器在前景区域检测行人。

步骤3，人脸检测。

使用luxandfacesdk的人脸检测api在行人区域检测人脸。

步骤4，人脸识别。

使用luxandfacesdk的人脸识别api识别用户身份，确定是否是被保护对象，如果是受保护对象则为其分配受保护的id(protecetdid)，否则分配普通id(generalid)。

步骤5，特征提取。

5.1边缘像素

这里需要用到边缘像素的概念，将像素取值范围[0，255]平均分成32个子区间，即[0,7]、[8,15]、[16,23]、……、[248,255]，如果某像素的四邻域中至少有一个像素的取值与该像素的值不在同一个子区间，则该像素为边缘像素。

5.2特征生成

将原rgb图像转换为hsv图像，首先将各像素映射到对应的子区间，然后判断是否为边缘像素，并以此建立基于边缘像素的积分图，最后通过积分图计算每个子区间的边缘像素数量，归一化结果即为区域边缘直方图特征。

步骤6，卡尔曼滤波。

定义目标对象的状态向量为(横向位移x、纵向位移y、横向速度vx和纵向速度vy)。每一个跟踪目标对象都关联了一个卡尔曼滤波器，当目标第一次出现时，以该状态向量和状态转移矩阵初始化卡尔曼滤波器，当目标不是第一次出现时(已经加入集合t)，则使用已初始化的滤波器预测该目标的下一个状态。

步骤7，多目标关联。

7.1初步过滤

对于检测目标集合d和跟踪目标集合t，两个集合的相似度矩阵a(aij表示集合t中第i个跟踪目标ti与集合d中第j个检测目标dj的相似度)，在计算a之前，需要先筛选一下，计算ti与dj的曼哈顿距离dmanhattan(i,j)和重叠比例dratiooverlap(i,j)初步去掉不可能匹配的关系,即如果dmanhattan(i,j)大于阈值或者dratiooverlap(i,j)小于阈值，则对应的aij为无穷大。

7.2计算相似度矩阵a

相似度aij由目标ti的特征向量feature_i和与目标dj的特征向量feature_j之间的巴氏距离dbhattacharyya(feature_j)来量化：

其中，变量k和s均遍历直方图的所有子区间，feature_i(k)表示跟踪目标i的第k个直方图子区间的像素数量，feature_j(k)表示检测目标j的第k个直方图子区间的像素数量。

7.3针对相似度矩阵a，运用匈牙利算法和kuhn-munkres算法实现集合t与集合d之间目标的最优匹配。

步骤8，隐私保护

如果跟踪目标的id是受保护的，则采用可逆的图像置乱方法加扩散函数保护该目标区域，该区域以矩形指定。

图像置乱采用arnold变换，秘钥为改变换迭代的次数k，和分别表示像素点变换前和变换后的横坐标和纵坐标：

但是该变换并不会改变普通的颜色直方图特征，出于安全考虑，所以再辅以扩散函数：

a′(i，j)为变换后的像素值，a(i，j)为变换前的像素值，i、j分别为像素所在行列值,m为当前颜色通道的最大取值范围。

步骤9，更新

9.1更新跟踪目标集合t，如果t中的跟踪目标i匹配成功，则使用与之相匹配的检测目标的hsv区域边缘直方图特征和状态更新跟踪目标i，如果未匹配成功且连续失败达到一定帧数则视为目标丢失，并告知临近摄像头相关信息；如果检测目标集合d中检测目标j未匹配成功，则视为新目标并添加到集合t，同时为其分配generalid。

9.2更新卡尔曼滤波器，使用与跟踪目标i关联的检测目标j的状态来更新跟踪目标i的卡尔曼滤波器，以作下一帧状态预测。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。