专利名称：结合时域差分和空域分级的运动人像实时自动跟踪方法
技术领域：
本发明涉及的是一种图像处理技术领域的方法，具体的说，涉及的是一种结合时域差分和空域分级的运动人像实时自动跟踪方法。
背景技术：
广泛发展和采用的电视会议、可视电话、网络会议以及网络远程教学，实时采集现场主讲人员的图像，再传输到参与的远端，客观需要系统自动跟踪主讲人员，并自动进行变焦予以拉近拉远。通常，运动目标自动跟踪系统基于图像分析完成，由摄像头、图像采集卡、计算机、云台和跟踪软件组成。摄像头获取视频，经图像采集卡转换为图像，计算机上的跟踪软件进行分析，给云台发出转动命令，实现对移动目标的跟踪。但是，当运动目标离摄像头较远时，不能较好地辨认目标，另一方面运动目标自动跟踪系统要实现实时自动跟踪，往往比较困难。主要原因有，自动跟踪图像处理算法的复杂度、计算工作量大，以及外界环境存在诸多变化如开灯关灯，容易造成系统判断错误。世界上已有不少运动目标自动跟踪的方法和系统。
经对现有技术的文献检索发现，中国专利申请号为CN02142561.2的专利描述了一种不需要补偿摄像机运动的自动跟踪移动目标的设备和方法，该移动目标跟踪方法包括拍摄监视区域；通过摄像单元获得的输入图像信号产生二进制干扰图像信号；通过使用移动窗口，即使用预定尺寸的原始跟踪窗并调节原始跟踪窗的尺寸以使二进制干扰图像信号包含有移动目标，可通过二进制干扰图像信号获得有关移动目标的信息；根据目前获得的信息和以前获得的有关移动目标中心的信息估计移动目标在下一帧中的中心位置，移动跟踪窗的中心至估计的移动目标移动到的中心位置，获得跟踪窗中的有关移动目标的实际中心和移动窗尺寸的信息；而且，把有关移动目标的实际信息与有关移动目标的估计信息相比较，并根据由此产生的误差范围确定跟踪状态，有关移动目标的实际信息通过下一帧获得。该方法具有一定的优点，但在对外界环境的适应性、跟踪的实时性方面或未作说明，或未作考虑。由于实时性和精确度的原因，运动目标跟踪系统或方法还难以商业化。
发明内容
本发明针对现有技术的不足，提供一种结合时域差分和空域分级的运动人像实时自动跟踪方法，使其不仅能够实现实时地跟踪运动人像目标，自动进行变焦，而且对外界环境有较好的适应性。
本发明是通过以下技术方案实现的，包括以下步骤A、图像采集卡采集的图像，在低空间分辨率级别，通过时域差分处理后，在自适应阈值作用下，经腐蚀运算，得到二值化差分图。
B、在该二值化差分图中搜寻运动人像目标，若找到目标则进行下一步。若没有搜寻到运动人像目标，则提高空间分辨率，计算所增加部分的二值化差分图，再重新进行搜寻。如果空间分辨率已为最高分辨率，则放弃本次计算。
C、根据当前和历史的运动人像目标区域，进行转动和变焦控制，实现实时跟踪和变焦。
所述的图像采集卡采集的图像，在低空间分辨率级别，即对图像采集卡采集的图像进行空间抽样，例如采集的宽640像素、高480像素图像，在采样间隔为3时，将成为宽160像素、高120像素的图像。
所述的时域差分处理，即将前后时间点上采集的两幅图像，进行对应像素点的差。
所述的在自适应阈值作用下，经腐蚀运算，得到二值化差分图，是指用像素点能量的平均值作为阈值来进行二值化，大于等于该阈值的像素点置为1，小于该阈值的像素点置为0。像素点能量，即该像素点红、绿、蓝分量的平方和。腐蚀运算，即若该像素点所在3×3矩形窗内的所有像素点都为1，则该像素点置为1，否则该像素点置为0。
所述的在该二值化差分图中搜寻运动人像目标，是指首先将二值化差分图分别向横轴和纵轴进行投影，找出各自的最大投影值，进而找出各自的三分之一最大投影值的相距最远的两个点，确定出运动目标的区域。再根据运动人像先验知识，即人体高宽比范围，判断该运动目标是否为运动人像目标区域。
所述的若没有搜寻到运动人像目标区域，则提高空间分辨率，计算所增加部分的二值化差分图，再重新进行搜寻，即减小采样间隔，计算新增部分和重新搜索。例如采集的宽640像素、高480像素图像，在采样间隔为3时，将成为宽160像素、高120像素的图像，在提高空间分辨率，减小采样间隔到1时，将成为宽320像素、高240像素的图像。因为宽160像素、高120像素的部分已经计算，只需计算新增部分的图像差分。再在宽320像素、高240像素的二值化差分图上，重新进行B1步骤。
所述的如果空间分辨率已为最高分辨率，则放弃本次计算，即空间分辨率已为图像采集的分辨率，则放弃本次计算，等待下次图像采集。
所述的根据当前和历史的运动人像目标区域，进行转动控制，是指对垂直方向利用当前的运动人像目标区域信息，进行垂直转动控制；对水平方向根据当前和历史的运动人像目标区域信息，进行预测控制，即当前和历史人像目标的运动方向相同时，预测下一水平转动量为两倍当前水平转动量减去历史水平转动量，当前和历史人像目标的运动方向不相同时，则预测下一水平转动量为零，最后用当前水平转动量和预测下一水平转动量的和作为水平转动控制量进行水平转动控制。
所述的根据当前和历史的运动人像目标区域，进行变焦控制，是指根据变焦模型和当前、历史运动人像目标区域，判断进行拉近还是拉远。变焦模型，即拉近的触发条件为连续三次运动人像目标区域大小都小于六分之一的总图像大小，并且连续三次运动人像目标区域大小在变小，或相差不大；拉远的触发条件为连续两次运动人像目标区域的垂直分量都大于三分之二的总图像垂直分量。
本发明提出的结合时域差分和空域分级的方法，运动人像自动跟踪既具有时域差分“实现简单”的特点，又通过空域分级获得“实时处理”的性能，综合当前和历史的运动人像目标区域信息进行转动和变焦控制，能够实时地跟踪运动人像目标，自动进行变焦，通过采用像素点能量的平均值作为自适应阈值的二值化处理以及腐蚀处理，对外界环境具有较好的适应性。
图1是本发明的逻辑结构图。
图2是本发明中空域分级方法的示意图其中，(a)为采集图像的像素；(b)为采样间隔为3时的图像像素点；(c)为采样间隔为1时的图像像素点；(d)为采样间隔为0时的图像像素点。
图3是本发明中运动人像目标搜寻的示意图其中，(a)为二值化差分图像；(b)为纵轴方向投影；(c)为横轴方向投影。
具体实施例方式
以下结合附图以及本发明技术方案提供实施例如图1所示，摄像头获取视频，经图像采集转换为图像，并转换到低空间分辨率级别，即对图像进行空间抽样，例如采集的宽640像素、高480像素图像，在采样间隔为3时，成为宽160像素、高120像素的图像。对低空间分辨率的图像，进行时域差分处理，即将前后时间点上采集的两幅图像，进行对应像素点的差。在自适应阈值的作用下，即用像素点能量的平均值作为阈值来进行二值化，大于等于该阈值的像素点置为1，小于该阈值的像素点置为0。像素点能量，即该像素点红、绿、蓝分量的平方和。再经腐蚀运算，即若该像素点所在3×3矩形窗内的所有像素点都为1，则该像素点置为1，否则该像素点置为0，得到二值化差分图。在该二值化差分图中搜寻运动人像目标，确定出运动目标的区域，运动人像目标搜寻示意如图3所示。再根据运动人像先验知识，即人体高宽比范围，判断该运动目标是否为运动人像目标区域。若没有搜寻到运动人像目标区域，则提高空间分辨率，计算所增加部分的二值化差分图，再重新进行搜寻运动人像目标，空域分级方法如图2所示。如果空间分辨率已为图像采集的分辨率，则放弃本次计算，等待下次图像采集。根据当前和历史的运动人像目标区域，进行转动和变焦控制，实现实时跟踪和变焦。垂直方向利用当前的运动人像目标区域信息，进行垂直转动控制，水平转动控制量计算示意如表1所示。变焦控制，根据变焦模型和当前、历史运动人像目标区域，判断进行拉近还是拉远。变焦模型，即拉近的触发条件为连续三次运动人像目标区域大小都小于六分之一的总图像大小，并且连续三次运动人像目标区域大小在变小，或相差不大；拉远的触发条件为连续两次运动人像目标区域的垂直分量都大于三分之二的总图像垂直分量。
如图2所示，(a)为采集图像的像素；(b)为采样间隔为3时的图像像素点；(c)为采样间隔为1时的图像像素点；(d)为采样间隔为0时的图像像素点。采集的宽5像素、高5像素图像，在采样间隔为3时，将成为宽2像素、高2像素的低空间分辨率图像，在提高空间分辨率，减小采样间隔到1时，将成为宽3像素、高3像素的中空间分辨率图像。因为中空间分辨率图像包含低空间分辨率图像，其新增部分图像的像素点为5个。如果继续提高空间分辨率，减小采样间隔到0时，将成为宽5像素、高5像素的高空间分辨率图像。因为高空间分辨率图像包含中空间分辨率图像，其新增部分图像的像素点为16个。
如图3所示，(a)为二值化差分图像；(b)为纵轴方向投影；(c)为横轴方向投影。将二值化差分图分别向横轴和纵轴进行投影，找出各自的最大投影值。投影，即统计某轴坐标上的二值化差分图中像素点为1的个数。进而找出各自的三分之一最大投影值的相距最远的两个点，确定出运动目标的区域。再根据运动人像先验知识，即人体高宽比范围，判断该运动目标是否为运动人像目标区域。
在表1中，当前和历史人像目标的运动方向相同时，预测下一水平转动量为两倍当前水平转动量减去历史水平转动量，当前和历史人像目标的运动方向不相同时，则预测下一水平转动量为零。再用当前水平转动量和预测下一水平转动量的和作为水平转动控制量进行水平转动控制。
表1
权利要求
1.一种结合时域差分和空域分级的运动人像实时自动跟踪方法，其特征在于，包括以下步骤A、图像采集卡采集的图像，在低空间分辨率级别，通过时域差分处理后，在自适应阈值作用下，经腐蚀运算，得到二值化差分图；B、在该二值化差分图中搜寻运动人像目标，若找到目标则进行下一步；若没有搜寻到运动人像目标，则提高空间分辨率，计算所增加部分的二值化差分图，再重新进行搜寻，如果空间分辨率已为最高分辨率，则放弃本次计算；C、根据当前和历史的运动人像目标区域，进行转动和变焦控制，实现实时跟踪和变焦。
2.根据权利要求1所述的结合时域差分和空域分级的运动人像实时自动跟踪方法，其特征是，所述的图像采集卡采集的图像，在低空间分辨率级别，即对图像采集卡采集的图像进行空间抽样。
3.根据权利要求1所述的结合时域差分和空域分级的运动人像实时自动跟踪方法，其特征是，所述的时域差分处理，即将前后时间点上采集的两幅图像，进行对应像素点的差。
4.根据权利要求1所述的结合时域差分和空域分级的运动人像实时自动跟踪方法，其特征是，所述的在自适应阈值作用下，经腐蚀运算，得到二值化差分图，是指用像素点能量的平均值作为阈值来进行二值化，大于等于该阈值的像素点置为1，小于该阈值的像素点置为0。
5.根据权利要求4所述的结合时域差分和空域分级的运动人像实时自动跟踪方法，其特征是，所述的像素点能量，即该像素点红、绿、蓝分量的平方和。
6.根据权利要求1所述的结合时域差分和空域分级的运动人像实时自动跟踪方法，其特征是，所述的在该二值化差分图中搜寻运动人像目标，是指首先将二值化差分图分别向横轴和纵轴进行投影，找出各自的最大投影值，进而找出各自的三分之一最大投影值的相距最远的两个点，确定出运动目标的区域，再根据人体高宽比范围，判断该运动目标是否为运动人像目标区域。
7.根据权利要求1所述的结合时域差分和空域分级的运动人像实时自动跟踪方法，其特征是，所述的如果空间分辨率已为最高分辨率，则放弃本次计算，即空间分辨率已为图像采集的分辨率，则放弃本次计算，等待下次图像采集。
8.根据权利要求1所述的结合时域差分和空域分级的运动人像实时自动跟踪方法，其特征是，所述的根据当前和历史的运动人像目标区域，进行转动控制，是指对垂直方向利用当前的运动人像目标区域信息，进行垂直转动控制；对水平方向根据当前和历史的运动人像目标区域信息，进行预测控制，即当前和历史人像目标的运动方向相同时，预测下一水平转动量为两倍当前水平转动量减去历史水平转动量，当前和历史人像目标的运动方向相反时，则预测下一水平转动量为零，最后用当前水平转动量和预测下一水平转动量的和作为水平转动控制量进行水平转动控制。
9.根据权利要求1所述的结合时域差分和空域分级的运动人像实时自动跟踪方法，其特征是，所述的根据当前和历史的运动人像目标区域，进行变焦控制，是指根据变焦模型和当前、历史运动人像目标区域，判断进行拉近还是拉远，拉近的触发条件为连续三次运动人像目标区域大小都小于六分之一的总图像大小，并且连续三次运动人像目标区域大小在变小，或目标区域大小的比率在阈值范围内，如
；拉远的触发条件为连续两次运动人像目标区域的垂直分量都大于三分之二的总图像垂直分量。
全文摘要
一种结合时域差分和空域分级的运动人像实时自动跟踪方法，属于图像处理技术领域。本发明包括以下步骤A.图像采集卡采集的图像，在低空间分辨率级别，通过时域差分处理后，在自适应阈值作用下，经腐蚀运算，得到二值化差分图；B.在该二值化差分图中搜寻运动人像目标，若找到目标则进行下一步；若没有搜寻到运动人像目标，则提高空间分辨率，计算所增加部分的二值化差分图，再重新进行搜寻，如果空间分辨率已为最高分辨率，则放弃本次计算；C.根据当前和历史的运动人像目标区域，进行转动和变焦控制，实现实时跟踪和变焦。本发明能够实时地跟踪运动人像目标，自动进行变焦，而且对外界环境有较好的适应性。
文档编号G06T7/20GK1808498SQ20061002407
公开日2006年7月26日 申请日期2006年2月23日 优先权日2006年2月23日
发明者陈刚, 申瑞民, 王加俊, 曾义, 童任 申请人:上海交通大学