一种缩时处理视频图像的方法
【技术领域】
[0001] 本发明设及延时/缩时摄影技术领域，具体地，设及一种缩时处理视频图像的方 法。
【背景技术】
[0002] 延时/缩时摄影技术是一种将时间进行压缩的拍摄技术，即通过照片串联或者视 频抽帖的方式，将拍摄得到的、记录时长为几小时或者几天的一组照片或视频压缩成一个 可在较短时间内播放的照片集锦或视频，从而展示出平时无法注意到的现象。通常延时/ 缩时摄影技术需要使用特殊器材和设备才能完成，例如使用=角架将拍摄设备固定，从而 获取高稳定性的照片或视频。然而对于由移动端设备（例如手机摄像头、DV摄像机、平板 摄像头、可穿戴式设备摄像头和机载/车载摄像头等）拍摄的视频，由于摄像设备稳定性 差，视频存在抖动明显和清晰度差的问题，因此还需要对其进行防抖处理和缩时处理，才能 得到高稳定性的缩时视频。
[0003] 现有通过移动端设备进行延时/缩时摄影的技术过程如下：在得到视频图像后， 先利用=维重建技术对拍摄场景进行=维建模，然后再根据=维模型对场景进行重新擅 染，最后通过等间距抽帖的方式得到延时/缩时摄影视频。但是由于=维建模的计算量极 大，对硬件设备的要求甚高，因此难W在移动端设备中实现，不能及时输出缩时视频，缺乏 普遍适用性，同时还存在鲁棒性差的问题。
[0004] 针对上述延时/缩时摄影技术的问题，有必要提供一种新的缩时处理视频图像的 方法，不但可节省因=维建模带来的巨大计算量，降低配置需求，从而提升缩时摄像的普适 性和鲁棒性，快速输出缩时视频，还能基于视频帖的二维图像进行有选择性的迭代式抽帖 处理，使最后得到的缩时视频具有高清晰度和低抖动性的优点。
【发明内容】
[0005] 针对前述延时/缩时摄影技术的问题，本发明提供了一种缩时处理视频图像的方 法，不但可节省因=维建模带来的巨大计算量，降低配置需求，从而提升缩时摄像的普适性 和鲁棒性，快速输出缩时视频，还能基于视频帖的二维图像进行有选择性的迭代式抽帖处 理，使最后得到的缩时视频具有高清晰度和低抖动性的优点。
[0006] 本发明采用的技术方案，提供了一种缩时处理视频图像的方法，包括如下步骤： SlOL输入待处理视频；S102.获取所述待处理视频中每个帖的清晰度值、扭曲度值和匹配 度值，然后根据所述清晰度值、扭曲度值和匹配度值计算每帖对应的抽帖参考值；S103.设 置一个窗口大小为N的滑动窗，然后通过移动滑动窗逐步选择所述处理视频中的M个连续 帖，并剔除每步所选连续帖中抽帖参考值最小的帖，所述M值等于N值；S104.若所述待处 理视频的总剩余帖数大于目标数值，则重新获取所述待处理视频中各个剩余帖对应的扭曲 度值和匹配度值，然后返回执行步骤S103,否则对所述待处理视频的剩余帖做视频防抖处 理，输出缩时视频图像。在所述缩时处理视频图像的方法中，一方面避免了=维建模，可大 幅度减少计算量，降低硬件设备的配置需求，使得能够在低配置的移动端设备上及时输出 缩时视频，从而提升缩时摄像的普适性和鲁棒性，快速输出缩时视频；另一方面由于基于视 频帖的二维图像，通过从清晰度、扭曲度和匹配度=个角度对视频帖的图像质量进行了评 估打分，从而可实现有选择性的迭代式抽帖处理，使最后得到的缩时视频具有高清晰度和 低抖动性的优点。
[0007] 具体的，在所述获取所述待处理视频中每个帖的清晰度值的步骤中包括如下步 骤：S201.根据每个帖的二维图像，分别获取各个帖对应的X方向梯度值和Y方向梯度值； S202.按照如下公式分别计算各个帖对应的梯度模值MGi:
式中，GXi为第i个帖对应的X方向梯度值，GY1为第i个帖对应的Y方向梯度值；S203. 分别对各个帖的梯度模值进行归一化处理，并将结果值作为对应帖的清晰度值。前述步骤 提供了一种标准化的机制来量化视频帖的清晰度，由于梯度模值越大，对应的图像清晰度 越高，梯度模值越小，对应的图像清晰度越小，因此利用梯度模值作为图像清晰度的打分标 准，可使视频帖在清晰度上的打分客观数字化，便于计算机实现W及后续抽帖处理。
[0008]具体的，在所述获取所述待处理视频中每个帖的扭曲度值的步骤中包括如下步 骤：S301.获取所述待处理视频中所有帖的图像特征点；S302.根据所述图像特征点，获取 各个两两帖之间的第一单应性变换矩阵Ft,然后依次级联各个第一单应性变换矩阵Ft,得 到所述待处理视频的第一矩阵集合： F=化，FA,F1F2F3,F1F2F3F4, ? ? ?，FA...Ft...Fs2&1，FA...Ft...Fs村 式中，S为所述待处理视频中帖的总数，Ft为第t个帖与第t+1个帖之间的第一单应性 变换矩阵，Fs为单位矩阵；S303.对所述第一矩阵集合中的每个元素进行平滑处理，得到所 述处理视频的第二矩阵集合： H=化，邸2,邸2&，H1H2H3H4, ? ? ?，H化…H品化} 式中，S为所述待处理视频中帖的总数；S304.通过依次对比所述第一矩阵集合与所述 第二矩阵集合的对应元素，获取对应帖的第二单应性变换矩阵BTi;S305.分别在各个帖对 应的所述第二单应性变换矩阵中抽取左上角的四个元素，组成对应的第一矩阵： -4马― 名巧_ 矩阵中，Al,Bi,Ci和D1分别为第i个帖对应的第二单应性变换矩阵BT冲左上角的四 个元素，然后对对应的第一矩阵进行奇异值分解，获得对应的第二矩阵： % 〇-_〇 矩阵中，AIi和A21为第i个帖对应的第二矩阵中主对角线上的两个参数值；S306.分 别对各个帖的比值Ki=AIi/A21进行归一化处理，并将结果值作为对应帖的扭曲度值。前 述步骤提供了一种标准化的机制来量化视频帖的扭曲度，由于比值K越接近于1，对应的 图像扭曲度越小，图像质量越高，比值K越远离于1，对应的图像扭曲度越大，图像质量越 低，因此利用比值K作为图像扭曲度的打分标准，可使视频帖在扭曲度上的打分客观数字 化，便于计算机实现W及后续抽帖处理。
[0009] 具体的，在所述获取所述待处理视频中每个帖的匹配度值的步骤中包括如下步 骤：S401.针对每个帖，对当前帖和对应相邻帖进行图像特征点提取和匹配处理，获取当前 帖与各个对应相邻帖的匹配特征点；S402.针对每个帖，统计获取当前帖与各个对应相邻 帖的匹配特征点总数；S403.分别对各个帖的所述匹配特征点总数进行归一化处理，并将 结果值作为对应帖的匹配度值。前述步骤提供了一种标准化的机制来量化视频帖的匹配 度，由于剩余匹配特征点总数越多，则表示对应帖与对应相邻帖的公共信息越多，对应的图 像匹配度越高，剩余匹配特征点总数越少，则表示对应帖与对应相邻帖的公共信息越少，对 应的图像匹配度低，因此利用剩余匹配特点总数作为图像匹配度的打分标准，可使视频帖 在匹配度上的打分客观数字化，便于计算机实现W及后续抽帖处理。进一步具体的，所述对 应相邻帖处于所述当前帖的一个半径不小于2且不大于8的领域帖范围内。
[0010] 具体的，在所述根据所述清晰度值、扭曲度值和匹配度值计算每帖对应的抽帖参 考值的步骤中包括如下步骤：按照如下公式计算各个帖对应的抽帖参考值41: 接=巧+為+巧 式中，鷄为第i个帖的清晰度值，S1为第i个帖的扭曲度值，y1为第i个帖的匹配度 值。所述抽帖参考值为清晰度值、扭曲度值和匹配度值的=者等比之和，因此可按照如下方 式表征图像质量：所述抽帖参考值越大，图像质量越高，所述抽帖参考值越低，图像质量越 低，从而可使视频帖在综合清晰度、扭曲度和匹配度评估图像质量的打分客观数值化，便于 后续抽帖处理。
[0011] 具体的，所述滑动窗在移动过程中的步进单位不小于1且不大于所述窗口大小N 的一半。
[0012] 具体的，所述滑动窗的窗口大小N为不小于3且不大于8的整数。
[0013] 进一步具体的，在所述重新获取所述待处理视频中各个剩余帖对应的匹配度值的 步骤中包括如下步骤：针