一种对象运动轨迹预测方法和装置与流程
本发明涉及图像处理技术领域，特别是涉及一种对象运动轨迹预测方法和一种对象运动轨迹预测装置。
背景技术：
目前，在图像、视频后期处理软件中，粒子滤波跟踪算法对运动对象的特征像素进行跟踪具有广泛的应用。使用粒子滤波跟踪算法进行运动对象的跟踪时，需要对运动对象的多个特征像素进行搜索和计算以预测对象的运动轨迹，该过程要求具有很好的实时性。
然而，申请人经研究发现，针对于高分辨率的4k图像进行特征像素跟踪时，由于4k图像具有大量的像素，目前计算机的处理能力无法满足同时对大量的像素进行搜索和计算，因此跟踪的实时性较差，导致运动轨迹预测不稳定。即，受限于计算机的处理能力，目前的对象运动轨迹预测方法存在着运动轨迹预测效果不佳的问题。
技术实现要素：
本发明实施例所要解决的技术问题是提供一种一种对象运动轨迹预测方法和一种对象运动轨迹预测装置。
为了解决上述问题，本发明提供了一种对象运动轨迹预测方法，所述方法包括：
获取高分辨率的初始图像；所述初始图像包括多个图像像素；
确定所述初始图像中的部分图像像素为特征像素，并采用所述特征像素生成低分辨率的目标图像；
确定所述目标图像中的待预测对象，并将所述待预测对象的各特征像素作为起始位置像素；
在所述目标图像中的多个特征像素中，搜索与各起始位置像素匹配的多个目标终止位置像素；
提取各目标终止位置像素作为所述待预测对象的运动轨迹预测结果；
在所述目标图像上对各目标终止位置像素添加预测结果标识；
根据添加有预测结果标识的目标图像，得到在对应位置添加有所述预测结果标识的初始图像。
可选地，所述采用所述特征像素生成低分辨率的目标图像的步骤包括：
采用所述特征像素生成低分辨率的中间图像；
对所述中间图像进行等分辨率的图像变换获得所述目标图像，所述图像变换为时频变换或概率变换。
可选地，所述在所述目标图像中的多个特征像素中，搜索与各起始位置像素匹配的多个目标终止位置像素包括：
将与某个起始位置像素相邻的若干个特征像素作为候选终止位置像素；
计算某个起始位置像素的预估终止位置像素，并计算所述预估终止位置像素与各候选终止位置像素的匹配度；
根据所述匹配度选择某个候选终止位置像素作为所述目标终止位置像素。
可选地，所述跟踪粒子具有采样权重值，所述计算某个起始位置像素的预估终止位置像素包括：
配置若干对应各起始位置像素的跟踪粒子；
确定各跟踪粒子在各预估移动方向的预估移动速率；
采用各跟踪粒子的采样权重值、预估移动方向和预估移动速率计算各跟踪粒子在下一时刻的预估目标位置；
将所述跟踪粒子的预估目标位置上的特征像素作为所述预估终止位置像素。
可选地，所述方法还包括：
查找采样权重值小于预设阈值的跟踪粒子作为目标跟踪粒子；
删除所述目标跟踪粒子，并针对目标跟踪粒子对应的起始位置像素重新配置跟踪粒子，并进入下一轮预估终止位置像素的计算处理。
相应地，本发明还提供了一种对象运动轨迹预测装置，所述装置包括：
初始图像获取模块，用于获取高分辨率的初始图像；所述初始图像包括多个图像像素；
目标图像生成模块，用于确定所述初始图像中的部分图像像素为特征像素，并采用所述特征像素生成低分辨率的目标图像；
起始位置像素确定模块，用于确定所述目标图像中的待预测对象，并将所述待预测对象的各特征像素作为起始位置像素；
目标终止位置像素搜索模块，用于在所述目标图像中的多个特征像素中，搜索与各起始位置像素匹配的多个目标终止位置像素；
运动轨迹预测结果确定模块，用于提取各目标终止位置像素作为所述待预测对象的运动轨迹预测结果；
第一标识添加模块，用于在所述目标图像上对各目标终止位置像素添加预测结果标识；
第二标识添加模块，用于根据添加有预测结果标识的目标图像，得到在对应位置添加有所述预测结果标识的初始图像。
可选地，所述目标图像生成模块包括：
中间图像生成子模块，用于采用所述特征像素生成低分辨率的中间图像；
图像变换子模块，用于对所述中间图像进行等分辨率的图像变换获得所述目标图像，所述图像变换为时频变换或概率变换。
可选地，所述目标终止位置像素搜索模块包括：
候选终止位置像素确定子模块，用于将与某个起始位置像素相邻的若干个特征像素作为候选终止位置像素；
预估终止位置像素计算模块，用于计算某个起始位置像素的预估终止位置像素，并计算所述预估终止位置像素与各候选终止位置像素的匹配度；
目标终止位置像素确定子模块，用于根据所述匹配度选择某个候选终止位置像素作为所述目标终止位置像素。
可选地，所述跟踪粒子具有采样权重值，所述预估终止位置像素计算子模块包括：
粒子配置单元，用于配置若干对应各起始位置像素的跟踪粒子；
速率确定单元，用于确定各跟踪粒子在各预估移动方向的预估移动速率；
预估目标位置计算单元，用于采用各跟踪粒子的采样权重值、预估移动方向和预估移动速率计算各跟踪粒子在下一时刻的预估目标位置；
预估终止位置像素确定单元，用于将所述跟踪粒子的预估目标位置上的特征像素作为所述预估终止位置像素。
可选地，所述预估终止位置像素计算子模块还包括：
目标跟踪粒子查找单元，用于查找采样权重值小于预设阈值的跟踪粒子作为目标跟踪粒子；
重新配置粒子单元，用于删除所述目标跟踪粒子，并针对目标跟踪粒子对应的起始位置像素重新配置跟踪粒子，并进入下一轮预估终止位置像素的计算处理。
与现有技术相比，本发明实施例包括以下优点：
根据本发明实施例，通过提取高分辨率的图像的部分像素形成低分辨率的图像，基于低分辨率的图像计算运动对象的运动轨迹，需要进行计算和搜索的像素对象大幅减少，从而降低了计算量，保证了对运动对象跟踪的实时性，提升了运动轨迹的预测效果。同时，也节省了对运动轨迹预测的计算处理资源。
附图说明
图1是本发明实施例一的一种对象运动轨迹预测方法的步骤流程图；
图2是本发明实施例二的一种对象运动轨迹预测装置的结构框图；
图3是本发明的一种4k图像的对象运动轨迹预测的步骤流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
图1示出了本发明实施例一的一种对象运动轨迹预测方法的步骤流程图，所述方法可以具体包括如下步骤：
步骤101，获取高分辨率的初始图像；所述初始图像包括多个图像像素。
具体实现中，可以获取高分辨率的初始图像，例如获取某个4k图像。实际应用中，也可以从4k视频中提取某帧4k图像作为初始图像。其中，初始图像包含有大量的图像像素。
可选地，所述步骤101包括：
子步骤s11，从高分辨率的视频中提取连续的多帧图像，并从多帧图像中选取其中一帧图像作为所述初始图像。
具体实现中，可以从高分辨率的视频中提取多帧图像，多帧图像之间可以在时间上连续。在多帧图像中可以从中选取一帧图像作为初始图像。
步骤102，确定所述初始图像中的部分图像像素为特征像素，并采用所述特征像素生成低分辨率的目标图像。
具体实现中，可以提取初始图像中的部分图像像素作为特征像素，由体征像素形成一个低分辨率的目标图像。目标图像由初始图像的特征像素组成，从而降低了图像的分辨率，但同时保持了初始图像内各个对象的基本特征。例如，可以提取初始图像中奇数行和奇数列的图像像素作为特征像素，采用特征像素组成目标图像。当然，本领域技术人员可以采用多种方式提取图像像素形成目标图像，例如，提取初始图像中偶数行和偶数列的图像像素作为特征像素，采用特征像素组成目标图像。
可选地，所述采用所述特征像素生成低分辨率的目标图像的步骤可以包括：
子步骤s21，采用所述特征像素生成低分辨率的中间图像。
子步骤s22，对所述中间图像进行等分辨率的图像变换获得所述目标图像，所述图像变换为时频变换或概率变换。
实际应用中，可以首先采用特征像素生成低分辨率的中间图像，然后通过时频变换或概率变换的方法，将中间图像变换为等分辨率的目标图像。
其中，时频变换(alt，alternatingfrequency/timedomainmethod)采用快速傅立叶变换及其逆变换反复在时频域上变换，直到获得收敛的计算结果。其中，概率变换又称概率霍夫变换(progressiveprobabilistichoughtransform)，变换过程中，可以首先随机获取边缘图像上的前景点，映射到极坐标系画曲线；当极坐标系里面有交点达到最小投票数，查找该点对应x-y坐标系的直线l；搜索边缘图像上前景点，在直线l上的点(且点与点之间距离小于maxlinegap的)连成线段，然后这些点全部删除，并且记录该线段的参数(起始点和终止点)，线段长度需要满足最小长度；重复上述的多个步骤直到完成转换。
实际应用中，图像中的各像素可以采用坐标的方式进行标记，因此可以将某个初始图像从canonical坐标系到pixel坐标系进行变换得到中间图像。具体可以采用如下变换公式实现：
px＝cx/par*1/2；
py＝cy*1/2；
其中，px和py代表在像素在pixel坐标系上的坐标位置，cx和cy代表在像素在canonical坐标系上的坐标位置。通过上述公式，可以得到分辨率为初始图像的1/2的中间图像。然后对中间图像进行时频变换或概率变化，即可得到分辨率为初始图像的1/2目标图像。
步骤103，确定所述目标图像中的待预测对象，并将所述待预测对象的各特征像素作为起始位置像素。
具体实现中，可以确定目标图像中的待预测对象。通常，可以由人工选定某个区域的对象作为待预测对象，也可以自动选定某个对象为待预测对象。
在确定待预测对象后，可以确定构成待预测对象的各个特征像素，将各特征像素作为对象当前的起始位置像素。
步骤104，在所述目标图像中的多个特征像素中，搜索与各起始位置像素匹配的多个目标终止位置像素。
具体实现中，可以搜索与各个起始位置像素匹配的特征像素作为目标终止位置像素。由于目标图像为低分辨率图像，因此搜索的空间相比起初始图像大幅度降低，从而提升了搜索目标终止位置像素的效率。
可选地，所述步骤104包括：
子步骤s31，将与某个起始位置像素相邻的若干个特征像素作为候选终止位置像素；
子步骤s32，计算某个起始位置像素的预估终止位置像素，并计算所述预估终止位置像素与各候选终止位置像素的匹配度；
子步骤s33，根据所述匹配度选择某个候选终止位置像素作为所述目标终止位置像素。
具体实现中，可以针对某个起始位置像素确定其相邻的若干个特征像素作为候选终止位置像素。可以计算某个起始位置像素的预估终止位置像素，并计算该预估终止位置像素与各个候选终止位置像素的匹配度，根据匹配度确定目标终止位置像素。匹配度可以是像素的坐标的目标区域灰度差的平方和。
例如，首先计算出起始位置像素的预估终止位置像素，然后将起始位置像素周围3*3像素矩阵范围内，形成10个候选终止位置像素，计算各候选终止位置像素与预估终止位置像素的目标区域灰度差的平方和(sumofsquareddifference，ssd)，将平方和最小的候选终止位置像素作为目标终止位置像素。
可选地，所述跟踪粒子具有采样权重值，所述子步骤s32包括：
子步骤s32-1，配置若干对应各起始位置像素的跟踪粒子；
子步骤s32-2，确定各跟踪粒子在各预估移动方向的预估移动速率；
子步骤s32-3，采用各跟踪粒子的采样权重值、预估移动方向和预估移动速率计算各跟踪粒子在下一时刻的预估目标位置；
子步骤s32-4，将所述跟踪粒子的预估目标位置上的特征像素作为所述预估终止位置像素。
实际应用中，可以采用跟踪算法结合rgb(redgreenblue)彩色直方图的方式预测对象在下一帧图像中的真实位置。具体地，跟踪算法可以使用粒子滤波算法，输入粒子个数n、粒子x方向的预估移动速率和粒子y方向的预估移动速率。其中，粒子个数n用于确定采用多少个随机分布的粒子来计算rgb彩色直方图。粒子x方向的预估移动速率和粒子y方向的预估移动速率用于估算粒子在下一时刻分布在哪个区域，并且可以将粒子所在位置上的特征像素作为预估终止位置像素。其中，多个配置的粒子所具有的采样权重值不同，该采样权重值用于调整不同粒子对最终计算结果的占比。
可选地，所述子步骤s32还包括：
子步骤s32-5，查找采样权重值小于预设阈值的跟踪粒子作为目标跟踪粒子；
子步骤s32-6，删除所述目标跟踪粒子，并针对目标跟踪粒子对应的起始位置像素重新配置跟踪粒子，并进入下一轮预估终止位置像素的计算处理。
实际应用中，粒子存在退化现象(degeneracyphenomenon)。即，粒子在计算其采样权重值时，经过几步迭代以后，粒子的采样权重值的方差会随之增大，除了部分粒子之外的其他粒子的采样权重值会变得很小。采样权重值较小的粒子对最终计算结果的贡献太小，如果仍然将其作为计算参数，则会浪费计算处理资源。因此，重新配置跟踪粒子的目的在于减少权重值较小的粒子，以节省计算处理资源。
当重新配置跟踪粒子后，可以采用以下公式计算粒子的预估移动速率：
其中，
假定从t-1时刻到t时刻，跟踪目标的对象的预估移动速率没有较大变化，根据以下公式从而得到粒子下一时刻的预估目标位置：
其中，
最后，可以根据rgb直方图计算每个粒子的权重，然后将n个粒子位置根据权重进行加权平均，得到粒子滤波的跟踪结果：
其中f为归一化系数：
在计算出预估终止位置像素后，与输入的t-1时候初始位置周围3*3像素矩形范围，形成10个搜索位置，找一个新位置，它与上一帧t-1时候目标区域灰度差的平方和(ssd)为最小。具体地，可以采用如下公式进行计算：
s(x,y)＝(∫∫w|(j(x)-i(x))|)；
用该新位置作为粒子滤波的跟踪结果，从而可以稳定跟踪结果，尤其在跟踪运动很小的对象时能准确定位到对象。
步骤105，提取各目标终止位置像素作为所述待预测对象的运动轨迹预测结果。
具体实现中，可以提取各目标终止位置像素，所提取的各个目标终止位置像素即为待预测对象在下一时刻的运动轨迹预测结果。
步骤106，在所述目标图像上对各目标终止位置像素添加预测结果标识。
步骤107，根据添加有预测结果标识的目标图像，得到在对应位置添加有所述预测结果标识的初始图像。
具体实现中，可以在目标图像上针对各个目标终止位置像素，根据待预测对象的运动轨迹预测结果添加预测结果标识。针对添加有预测结果标识的目标图像，可以采用此前用于生产目标图像的特征像素，对该目标图像进行逆运算，得到目标图像的逆运算结果。根据该逆运算结果，在初始图像的对应于特征像素的位置添加预测结果标识，从而得到在对应位置添加有所述预测结果标识的初始图像。
根据本发明实施例，通过提取高分辨率的图像的部分像素形成低分辨率的图像，基于低分辨率的图像计算运动对象的运动轨迹，需要进行计算和搜索的像素对象大幅减少，从而降低了计算量，保证了对运动对象跟踪的实时性，提升了运动轨迹的预测效果。同时，也节省了对运动轨迹预测的计算处理资源。
为了便于本领域技术人员理解本发明实施例，以下将结合图3的具体示例予以说明。
图3示出了本发明的一种4k图像的对象运动轨迹预测的步骤流程图。从图中可见，首先对高分辨率的4k图像进行降像素处理，然后根据n个粒子的权重的衰退情况，在t时刻重新选择n个粒子，使用t时刻的运动速度对n个粒子进行概率重新分布。根据rgb直方图计算n个粒子的权重，最后加权求和得到各粒子在下一刻的估计位置。针对估计位置搜索新位置，以稳定预测结果。得到预测结果后，将图像还原为4k图像。针对t+1时刻的4k图像重复上述步骤，以对4k视频中多帧连续的4k图像进行处理。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
实施例二
与实施例一对应，本发明实施例二还提供了一种对象运动轨迹预测装置。图2示出了本发明实施例二的一种对象运动轨迹预测装置的结构框图，所述装置具体可以包括如下模块：
初始图像获取模块201，用于获取高分辨率的初始图像；所述初始图像包括多个图像像素；
目标图像生成模块202，用于确定所述初始图像中的部分图像像素为特征像素，并采用所述特征像素生成低分辨率的目标图像；
起始位置像素确定模块203，用于确定所述目标图像中的待预测对象，并将所述待预测对象的各特征像素作为起始位置像素；
目标终止位置像素搜索模块204，用于在所述目标图像中的多个特征像素中，搜索与各起始位置像素匹配的多个目标终止位置像素；
运动轨迹预测结果确定模块205，用于提取各目标终止位置像素作为所述待预测对象的运动轨迹预测结果；
第一标识添加模块206，用于在所述目标图像上对各目标终止位置像素添加预测结果标识；
第二标识添加模块207，用于根据添加有预测结果标识的目标图像，得到在对应位置添加有所述预测结果标识的初始图像。
可选地，所述目标图像生成模块202包括：
中间图像生成子模块，用于采用所述特征像素生成低分辨率的中间图像；
图像变换子模块，用于对所述中间图像进行等分辨率的图像变换获得所述目标图像，所述图像变换为时频变换或概率变换。
可选地，所述目标终止位置像素搜索模块204包括：
候选终止位置像素确定子模块，用于将与某个起始位置像素相邻的若干个特征像素作为候选终止位置像素；
预估终止位置像素计算子模块，用于计算某个起始位置像素的预估终止位置像素，并计算所述预估终止位置像素与各候选终止位置像素的匹配度；
目标终止位置像素确定子模块，用于根据所述匹配度选择某个候选终止位置像素作为所述目标终止位置像素。
可选地，所述跟踪粒子具有采样权重值，所述预估终止位置像素计算子模块包括：
粒子配置单元，用于配置若干对应各起始位置像素的跟踪粒子；
速率确定单元，用于确定各跟踪粒子在各预估移动方向的预估移动速率；
预估目标位置计算单元，用于采用各跟踪粒子的采样权重值、预估移动方向和预估移动速率计算各跟踪粒子在下一时刻的预估目标位置；
预估终止位置像素确定单元，用于将所述跟踪粒子的预估目标位置上的特征像素作为所述预估终止位置像素。
可选地，所述预估终止位置像素计算子模块还包括：
目标跟踪粒子查找单元，用于查找采样权重值小于预设阈值的跟踪粒子作为目标跟踪粒子；
重新配置粒子单元，用于删除所述目标跟踪粒子，并针对目标跟踪粒子对应的起始位置像素重新配置跟踪粒子，并进入下一轮预估终止位置像素的计算处理。
根据本发明实施例，通过提取高分辨率的图像的部分像素形成低分辨率的图像，基于低分辨率的图像计算运动对象的运动轨迹，需要进行计算和搜索的像素对象大幅减少，从而降低了计算量，保证了对运动对象跟踪的实时性，提升了运动轨迹的预测效果。同时，也节省了对运动轨迹预测的计算处理资源。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
在一个典型的配置中，所述计算机设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非持续性的电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
- 还没有人留言评论。精彩留言会获得点赞！