一种视频图像中运动目标的像素坐标轨迹预测方法
【专利摘要】本发明公开一种视频图像中运动目标的像素坐标轨迹预测方法，该方法根据从视频图像中获取到运动目的历史像素轨迹信息，提出了一种基于像机成像原理的分式模型拟合轨迹公式，结合历史轨迹建立超定方程组可以求得该分式模型系数，从而确定在实际空间中匀速直线运动目标在视频图像中像素坐标与时间之间的关系，最终准确预测未来时刻目标的像素坐标。本发明不需要事先提供摄像机参数或者实际路面上的任何信息，只需依靠在实际空间中匀速运动目标在视频图像中的历史像素运动轨迹和相应的时间间隔信息即可预测其将来时刻的图像位置，操作便捷实用且精确高。
【专利说明】
一种视频图像中运动目标的像素坐标轨迹预测方法
技术领域：
[0001] 本发明属于视频图像信号处理技术领域，具体而言是一种利用运动目标历史像素 轨迹信息确定其像素坐标与时间对应关系的预测方法。
【背景技术】：
[0002] 随着经济发展和人民生活水平的提高，中国的机动化水平迅速提高，随之而来的 交通拥堵和事故也越来越多，因此对于道路上的车辆监管给交警带来了巨大的压力，而智 能交通作为一种可有效解决上诉问题的技术越来越受到人们的重视。
[0003] 随着当前交通监控摄像机的分辨率越来越高，监控范围也越来越大，在通过交通 监控摄像机获取道路上的实时视频图像中，用图像处理技术检测跟踪道路上的车辆目标， 如果知道了当前时刻图像中某一匀速运动目标的所有行驶轨迹，需要预测其将来时刻的图 像位置，不能用简单的匀速运动规律，因为像机镜头成像原理决定了交通视频图像中道路 的实际距离与相应的像素距离不是一样的。
[0004] 目前较为精确的预测方法是需要摄像机参数，架设高度、姿态以及路面距离等数 据建立像素距离与实际距离之间的关系，然后通过实际世界中的匀速运动规律推导出目标 的像素运动距离与时间的关系，但是对于交通摄像机这样需要广泛普遍应用而言，在实际 操作中一些数据的误差很大甚至根本无法获得。
[0005] 本发明则提供一种便捷实用，且可保证精度的预测方法，以解决上诉问题。
【发明内容】
[0006] 发明目的：根据摄像机镜头成像原理，视频图像中的匀速运动目标像素坐标与时 间的关系不再符合实际世界中的匀速运动规律，如果要根据已有的目标像素坐标轨迹确定 坐标与时间的关系，使用简单的线性拟合或者多项式拟合轨迹，预测出的结果往往精度不 够，误差较大；而如果不根据已有轨迹，直接通过摄像机参数和实际道路数据建立数学模 型，在实际操作中实现非常复杂甚至无法实现。针对上述问题，本发明提出一种便捷实用， 且可保证精度的方法，依靠匀速运动目标在视频图像中的历史像素运动轨迹和相应的时间 信息，即可预测其将来时刻的图像位置。
[0007] 技术方案:本发明提供一种视频图像中运动目标的像素坐标轨迹预测方法，该方 法基于分式模型拟合视频图像中的匀速运动目标像素坐标轨迹，包括如下步骤：
[0008] 步骤1:在摄像机监控范围内，通过图像处理技术，获取运动目标基于像素坐标系 的若干视频帧(每一视频帧代表一个采样时刻，即若干采样时刻）的历史轨迹信息。
[0009] 步骤2:从步骤1所获取的视频帧轨迹中选取目标的像素速度趋势正确的n帧（即n 个时刻），其目标像素坐标为：（Pxl，Pyl)，（Px2，Py2)…(Pxn，Pyn)，分别对应米样时刻tl，t2~tn， 其中采样时刻初始值 tl = 〇，n为不小于3的整数，因为X或y方向模型都有三个未知数，需要 大于等于3点才能建立方程组求解，一般来说，根据已获取的历史轨迹信息选取正确轨迹点 数，当然选取的正确轨迹点越多，所确定的预测模型更精确。
[0010]步骤3:对步骤2中所选的每一个点的x坐标以及y坐标分别建立一个像素坐标与时 间的分式函数关系：
，其中3\，1^，(^，3\，&\，0\为未知待确定系 数，得到关于X和关于y的超定方程组：
[0013] 由于未知待确定系数已经包含了与像机悬挂高度、角度、焦距、目标运动速度及初 始位置等因素相关的信息，该预测方法不需要实际路面上的任何信息和像机的任何信息， 通过匀速运动目标在视频图像中的历史像素运动轨迹和相应的时间信息即可建立方程求 解出这些未知系数，确定其像素坐标轨迹与时间之间的运动关系式。
[0014] 步骤4:求解步骤3中得到的两个超定方程组，得到一组解:ax'，bx'，c x'，ay'，by'， cy '，从而确定了 x，y坐标轨迹与时间之间的关系：
[0017] 步骤5:将待预测时刻代入像素坐标与时间的关系式，以预测该运动目标在未来时 刻的像素坐标，如t时刻的像素坐标为，其中L」表示向 下取整。
[0018] 步骤1获取运动目标基于像素坐标系的若干视频帧的历史轨迹信息的具体方法 为：
[0019] 通过视频流帧解码获取实时视频流图像数据后，首先进行图像预处理去除噪声， 然后用背景差分法实现运动目标的检测（其中，经过图像二值化和图像形态学处理可以得 到所检测运动目标的基本轮廓，采用基于目标轮廓的外接矩形方法标记所获得的运动目 标），最后通过外接矩形重叠面积最大的方法跟踪上视频帧之间的同一运动目标，从而提取 出每个运动目标的历史行驶轨迹等运动参数信息。
[0020] 步骤2中所选取的历史像素轨迹点数n = 6。
[0021 ]步骤2中从目标已有m帧轨迹信息中选取n个符合要求的目标像素坐标的具体方法 为：
[0022] 1)均匀选取其中n帧，即每个所选帧之间间隔^帧，判断所选帧的各相邻两帧之间 n 的目标的平均像素速度变化趋势是否符合要求，即所选帧的各相邻两帧之间目标像素 y坐 标平均速度的是否符合一定趋势：目标作远离像机镜头的匀速运动时，所选帧的各相邻两 帧之间目标像素 y坐标平均速度应该越来越小;反之，所选帧的各相邻两帧之间目标像素 y 坐标平均速度应该越来越大，计算所选帧的各相邻两帧之间目标像素 y坐标平均速度公式 为
，其中i，j代表任意不同两帧；
[0023] 2)如果所选某相邻两帧之间的目标的平均像素速度变化趋势不正确，则依次寻找 周围最相邻的具有正确趋势的帧来代替该帧，并重选该帧之后的所有帧，直到所选帧的各 相邻两帧之间的目标的平均像素速度变化趋势都符合要求。
[0024] 步骤4通过求解唯一最小二乘解的方法求解超定方程组，具体方法为：
[0025] 将关于x的超定方程组写成如下形式：
[0028] A=(RH ? R)-1 ? RH ? T (4)[0029] 求解公式4,即得目标像素坐标系x方向坐标与时间的关系式： (3) ，则公式3表示为：
(5)
[0031]同理，得到目标像素坐标系y方向坐标与时间的关系式：
(6)
[0033] 有益效果:本发明提供了一种基于目标历史轨迹的视频图像中匀速运动目标的像 素坐标与时间关系的预测方法，通过选取正确趋势点排除检测噪声的影响，更加实用;相对 于一般的线性拟合和多项式拟合，分式拟合方法预测精度有很大提高；相对于直接通过已 知摄像机内部参数、外部位置形态参数和实际道路数据建立数学模型求解像素坐标与时间 关系的方法，操作大大简化，不需要实地测试数据，普适且可保证精度。
【附图说明】
[0034] 图1是本发明实施例的图像处理流程图；
[0035] 图2是本发明实施例的预测拟合曲线误差示意图；
[0036] 图3是本发明实施例的目标像素坐标轨迹预测算法流程图。
【具体实施方式】
[0037] 下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明 而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价 形式的修改均落于本申请所附权利要求所限定的范围。
[0038] -种应用于交通视频监控中的运动目标的像素坐标轨迹预测方法，包括如下步 骤：
[0039] 步骤1:在摄像机监控范围内，通过图像处理技术，获取运动目标基于像素坐标系 的历史轨迹信息，如图1所示，其具体方法为：
[0040] 通过视频流帧解码获取实时视频流图像数据后，首先进行图像预处理去除噪声， 然后用背景差分法实现运动目标的检测(其中经过图像二值化和图像形态学处理可以得到 所检测运动目标的基本轮廓，采用基于目标轮廓的外接矩形方法标记所获得的运动目标）， 最后通过外接矩形重叠面积最大的方法跟踪上视频帧之间的同一运动目标，从而提取出每 个运动目标的历史行驶轨迹等运动参数信息。
[0041] 步骤2:选取步骤1所获取轨迹中的n个时刻的速度趋势正确的目标像素坐标：（pxl， Pyl)，（Px2，Py2)…(pm，Pyn)，分别对应时间tl，t2"_tn，其中n = 6,时间初始值tl = 0;
[0042] 步骤3:对步骤2中所选的每一个时刻的x坐标以及y坐标分别建立一个像素坐标与 时间的分式函数关系：
"其中ax，bx，c x，ay，by，cy为未知待确定 系数，可得到超定方程组：
[0045] 步骤4:求解步骤3中得到的两个超定方程组，可以解得一组解:求解步骤3中得到 的两个超定方程组，可以得到一组解:ax'，bx'，cx'，a y'，by'，cy'，从而确定了x，y坐标轨迹与 时间之间的关系：
[0048] 步骤5:此时运动目标的像素坐标与时间的关系便可以确定，如果需要预测该运动 目标在未来某时刻的像素坐标，只需要将时刻代入即可，例如预测t时刻的像素坐标，则为
其中L」表示向下取整。
[0049] 具体到本实施例中，视频图像中运动目标的像素坐标轨迹预测方法包括如下步 骤：
[0050] 步骤1:通过如图1所示的图像处理流程图，获取监控视频中某一运动目标基于像 素坐标系的历史轨迹信息，共计85帧轨迹信息，该目标是由镜头远端朝镜头近端运动的，所 以速度趋势应该是随着时间越来越小，第29帧信息为初始发现该目标时的像素坐标；
[0051]步骤2:从目标已有轨迹信息中准确选取6个符合要求的目标像素坐标，首先等间 隔选取6帧，即每个像素坐标之间间隔14帧，从而取得其中6个帧时刻的像素坐标点信息如 表1所示，判断其速度趋势是否正确，发现最后两点间速度趋势不正确，重选第58帧数据。 [0052] 表1:等间隔选点轨迹信息
[0054]~由于这里前四帧数据已经是正确的，从第五点开始重新选择附近符合速度趋势_ 点，重新获得6点信息如表2所示；
[0055]表2:正确点轨迹信息
[0057]步骤3:代入分式模型，建立如下超定方程组：
[0060] 步骤 4:通过最小二乘解法解得:ax = 0.0012，bx = -0.3662，cx = -174.7588，ay = -0.0390，by=6.2578，cy= 109.8697;
[0061] 步骤5:运动目标的像素坐标与时间的关系便可以确定，分式模型预测曲线如图2 所示，此时如果需要预测该运动目标在未来某帧的像素坐标，只需要将帧序代入即可，例如 预测第t帧的像素坐标，则为|其中U表 示向下取整。
[0062] 通过本方法，该运动目标的后序帧的轨迹信息也已获得，实际轨迹信息与本发明 预测模型的误差曲线如图2所示，拟合曲线与原轨迹基本吻合，效果良好。
【主权项】
1. 一种视频图像中运动目标的像素坐标轨迹预测方法，其特征在于：该方法基于分式 模型拟合视频图像中的匀速运动目标像素坐标轨迹，包括如下步骤： 步骤1:在摄像机监控范围内，通过图像处理技术，获取运动目标基于像素坐标系的若 干视频帖的历史轨迹信息； 步骤2:从步骤1所获取的若干视频帖轨迹中选取目标的像素速度趋势正确的n帖，其目 标像素坐标为：（化l,Pyl),(化2,Py2)…（Pm,Pyn)，分别对应义样时刻tl,t2???tn，其中义样时刻 初始值tl = O，n为不小于3的整数； 步骤3:对步骤2中所选的每一帖中该目标的X和y坐标分别建立一个像素坐标与时间的 分式函数关系：巧中ax，bx，Cx，ay，by，Cy为未知待确定系数，得 到关于X和关于y的超定方程组：(1) (2)步骤4:求解步骤3中得到的两个超定方程组，得到一组解:ax'，bx'，cx'，ay'，by'，cy'，从 而确定了 x，y坐标轨迹与时间之间的关系： (5) (6)步骤5:将待预测时刻代入像素坐标与时间的关系式，W预测该运动目标在未来时刻的 像素坐标，如t时刻的像素坐标关 ，其中L」表示向下取 整。2. 根据权利要求1所述的视频图像中运动目标的像素坐标轨迹预测方法，其特征在于： 步骤1中获取运动目标基于像素坐标系的若干视频帖的历史轨迹信息的具体方法为： 通过视频流帖解码获取实时视频流图像数据后，首先进行图像预处理去除噪声，然后 用背景差分法实现运动目标的检测，其中经过图像二值化和图像形态学处理得到所检测运 动目标的基本轮廓，采用基于目标轮廓的外接矩形方法标记所获得的运动目标，最后通过 外接矩形重叠面积最大的方法跟踪上视频帖之间的同一运动目标，从而提取出每个运动目 标的历史行驶轨迹等运动参数信息。3. 根据权利要求1所述的视频图像中运动目标的像素坐标轨迹预测方法，其特征在于： 步骤2中所选取的历史像素轨迹点数n = 6。4. 根据权利要求1所述的视频图像中运动目标的像素坐标轨迹预测方法，其特征在于： 步骤2中从目标已有m帖轨迹信息中选取n个符合要求的目标像素坐标的具体方法为： 1) 均匀选取其中n帖，即每个所选帖之间间隔^帖，判断所选帖的各相邻两帖之间的目 标的平均像素速度变化趋势是否符合要求，即所选帖的各相邻两帖之间目标像素y坐标平 均速度的是否符合一定趋势：目标作远离像机镜头的匀速运动时，所选帖的各相邻两帖之 间目标像素y坐标平均速度应该越来越小;反之，所选帖的各相邻两帖之间目标像素y坐标 平均速度应该越来越大，计算所选帖的各相邻两帖之间目标像素y坐标平均速度公式为 '其中i，j代表任意不同两帖； 2) 如果所选某相邻两帖之间的目标的平均像素速度变化趋势不正确，则依次寻找周围 最相邻的具有正确趋势的帖来代替该帖，并重选该帖之后的所有帖，直到所选帖的各相邻 两帖之间的目标的平均像素速度变化趋势都符合要求。5.根据权利要求1所述的视频图像中运动目标的像素坐标轨迹预测方法，其特征在于： 步骤4通过求解唯一最小二乘解的方法求解超定方程组，具体方法为： 将关于X的超定方程组写成如下形式： 设j，则公式1表示为： A=(RH.R)-i.rH.T (4) 求解公式4，即得目标像素坐标系X方向坐标与时间的关系式：(5) 同理，得到目标像素坐标系y方向坐标与时间的关系式：(6)。
【文档编号】G06T5/00GK105913454SQ201610210657
【公开日】2016年8月31日
【申请日】2016年4月6日
【发明人】衡伟, 吕正荣, 吴细老, 黄勇
【申请人】东南大学