一种无序图像关键帧的提取方法
【专利摘要】一种无序图像关键帧的提取方法，其特征在于，包括以下步骤：1)采用不设K值的聚簇算法对无序图像进行聚簇处理，把图像信息内容相近的无序图像聚为一簇；2)根据相似距离求解每簇的聚簇中心，从每簇中把距离聚簇中心最近的无序图像作为代表帧Fk提取出来；3)对提取出的代表帧Fk进行无参考图像质量评价，如果该代表帧Fk满足立体视觉三维重建质量要求则作为关键帧保留，如果该代表帧Fk不满足立体视觉重建质量要求，则从无序图像中删除，本发明可以有效的提取无序图像的代表帧，滤除信息冗余、信息量少、质量差的无序图像，并且采用不设K值的聚簇算法可以根据无序图像内容复杂度自动聚成不同数目的簇，通过采用无参考图像评价法可以获得高清晰的关键帧。
【专利说明】
一种无序图像关键帧的提取方法
技术领域
[0001] 本发明涉及一种计算机视觉及图像图形领域，尤其是一种无序图像关键帧的提取 方法。
【背景技术】
[0002] 近年来人们对室外场景对象立体视觉三维重建的研究方兴未艾。然而用手持相机 对场景对象从不同视觉、位置采集图像进行三维重建，由于采集的无序图像数目多、内容冗 余大、个别图像信息量少、图像模糊等原因，给三维重建带来困难，甚至采集的图像不能进 行重建。
[0003] 对无序图像进行关键帧提取，可以提取出图像的代表帧，滤除信息冗余、信息量少 的图像，现在一般用的关键帧提取方法有:基于镜头边界的关键帧提取方法，该方法提取的 关键帧不具有代表性;基于运动分析的关键帧提取方法，该方法运算复杂度比较大;基于无 序图像K均值聚簇算法提取关键帧，把无序图像聚成K簇，从每簇中提取出离聚簇中心最近 的一帧作为关键桢，该算法是三种方法中最好的。但无序图像K均值聚类算法有两个问题， 一、运用该算法之前必须提前设定K值，无序图像聚K个簇，从每个簇中提取一个关键帧，往 往事先我们并不知道无序图像中有多少个关键帧，直接设K值有一定的盲目性，有些关键帧 可能不能有效的提取出来。二、提取的关键帧可能存在模糊不清晰问题，不能满足三维重 建、目标检测、识别的质量要求。针对以上两个问题本发明专利提出不设K值聚簇算法和无 参考图像质量评价算法可以很好的解决以上两个问题，该算法实行分层提取:第一层采用 不舍K值的聚簇算法根据无序图像内容复杂度来决定簇的数目即关键帧的数目。第二层把 第一层提取出的关键帧进行无参考图像质量评价，提取出的关键帧清晰度满足三维重建需 要则保留，不满足则重新从原来的簇中提取关键帧，再次进行无参考图像质量评价，直到评 价后的关键帧满足立体视觉三维重建质量要求为止。
【发明内容】
[0004] 针对现有技术的不足，本发明提供一种无序图像关键帧的提取方法。
[0005] 本发明的技术方案为:一种无序图像关键帧的提取方法，其特征在于，包括以下步 骤：
[0006] 1)采用不设K值的聚簇算法对无序图像进行聚簇处理，把图像信息内容相近的无 序图像聚为一族；
[0007] 2)根据相似距离求解每簇的聚簇中心，从每簇中把距离聚簇中心最近的无序图像 作为代表帧Fk提取出来；
[0008] 3)对提取出的代表帧Fk进行无参考图像质量评价，如果该代表帧Fk满足立体视觉 三维重建质量要求，则作为关键帧保留，如果该代表帧F k不满足立体视觉三维重建质量要 求，则删除该代表帧Fk，重新从原来的簇中提取另一代表帧，并将提取出的该另一代表帧再 次进行无参考图像质量评价，直到无参考图像质量评价后的代表帧满足立体视角三维重建 质量要求为止。
[0009]上述技术方案中，步骤1)中不设K值的聚簇算法对无序图像聚簇，将每幅无序图像 分成M(M= 16)块，每块纹理特征均值mi、方差 <，每块纹理特征均值mi为：
[0011] 每块纹理特征方差为：
[0013]把每块的纹理特征均值mi、方差_.ef_合起来作为该无序图像的特征向量F，并对特征 向量F进行归一化处理，其中：
[0014] F = e'^]；
[0015]设原始向量[fi，f2，f3, ???；&]，归一化公式：
[0017] 其中e、m为原始特征向量标准差和均值，归一化后特征向量为％力^ 3，^化]，任 意两帧图像FjPFb归一化后的特征向量为：
[0018] Fa = [Fal，Fa2，??+￡*[]和 Fb= [Fbl，Fb2，???FbM]，
[0019] 任意两帧图像FjPFb之间的相似距离为：
[0021]阈值T是任意两张无序图像相似距离之和的平均值，其计算式为：
[0023]其中，N为无序图像数目；
[0024] 上述技术方案中，步骤1)中不设K值得聚簇步骤为：
[0025] a)、获取第一帧图像?:并把其划分到簇1^中，并将第一帧图像Fi作为簇1^的聚簇中 心；
[0026] 13)、获取下一帧图像?1，（1 = 2,3，~少），其中小为无序图像数；
[0027] c)、根据公式
计算F〗与已得到簇K」（j = l，2,…，Nc)聚 簇中心的相似距离distW^Kjc)，其中Kjc为簇Kj的聚簇中心，计算F〗与聚簇中心Kjc的最小距 离min dist(Fi，Kjc)，如果min dist(Fi，Kjc)<T，则把Fi划分到具有min dist(Fi，Kjc)值的 簇I中，并且计算该簇新的聚簇中心，该簇新的聚簇中心为该簇中所有无序图像归一化后 特征向量之和除以该簇中无序图像的数目；
[0028] d)、如果min dist(FI，Kjc)>T，则说明？:与存在的任何一个簇都不相似，把F:划分到 另一个新簇Kj中；
[0029] e)、然后根据步骤b、c、d将所有的无序图像划分到不同的簇I中。
[0030]上述技术方案中，步骤3)中对提取的代表帧Fk进行无参考图像质量评价，其步骤 为：
[0031 ] A)对提取的代表帧Fk为进行二次模糊处理得到模糊图像b;
[0033]其中，bv、bH为图像Fk经过垂直、水平低通滤波后得到的模糊图像，hh、h v为滤波器垂 直和水平模型；
[0034] B)分别计算代表帧Fk滤波前相邻像素垂直绝对误差Dfv(i，j)、水平绝对误差DfH (1，」）和滤波后模糊图像13相邻像素的垂直绝对误差01^(1，」）、水平绝对误差01^(1，」），得到 相邻像素值的变化；
[0035] DFv(i，j) =abs(Fk(i，j )_Fk( i_l，j))，DFh(i，j) =abs(Fk(i，j )_Fk( i，j_l))，
[0036] Dbv(i，j) =abs(bv(i，j )_bv( i_l，j))，Dtm(i，j) =abs(bH(i，j )_bH( i，j_l));
[0037] C)对代表帧Fk中相邻像素差进行求和处理：
[0045] clear=max(bFv，bFH);
[0046] D)、评价值范围在(0，l)之间，如果0?3<clear=max(bFv，bFH)〈l，将代表帧Fk作为 关键帧提取出来，如果clear = max(bFv，bFHX〇.3,则删除该代表帧，并从原簇中重新提取 代表帧，然后根据步骤A、B、C计算该重新提取的代表帧。
[0047] 本发明的有益效果为:可以有效的提取无序图像的代表帧，滤除信息冗余、信息量 少的无序图像，并且采用不设K值的聚簇算法可以根据无序图像内容复杂度自动聚成不同 数目的簇，通过采用无参考图像评价法可以获得高清晰的关键帧。
【附图说明】
[0048]图1为本发明的流程图；
【具体实施方式】
[0049] 下面结合附图对本发明的【具体实施方式】作进一步说明：
[0050] 如图1所示，一种无序图像关键帧的提取方法，其特征在于，包括以下步骤：
[0051] 1)采用不设K值的聚簇算法对无序图像进行聚簇处理，把图像信息内容相近的无 序图像聚为一族；
[0052] 2)根据相似距离求解每簇的聚簇中心，从每簇中把距离聚簇中心最近的无序图像 作为代表帧Fk提取出来；
[0053] 3)对提取出的代表帧Fk进行无参考图像质量评价，如果该代表帧Fk满足立体视觉 三维重建质量要求，则作为关键帧保留，如果该代表帧Fk不满足立体视觉三维重建质量要 求，则删除该代表帧Fk，重新从原来的簇中提取另一代表帧，并将提取出的该另一代表帧再 次进行无参考图像质量评价，直到无参考图像质量评价后的代表帧满足立体视角三维重 建质量要求为止。
[0054]上述技术方案中，步骤1)中不设K值的聚簇算法对无序图像聚簇，将每幅无序图像 分成M(M= 16)块，每块纹理特征均值mi、方差<，每块纹理特征均值mi为：
[0056] 每块纹理特征方差:考为：
[0058] 把每块的纹理特征均值mi、方差今2合起来作为该无序图像的特征向量F，并对特征 向量F进行归一化处理，其中：
[0059] F = e| ..., ej]；
[0060] 设原始向量[fi，f2，f3, ??☆]，归一化公式：
[0062] 其中e、m为原始特征向量标准差和均值，归一化后特征向量为％，F2，F 3，????(《]，任 意两帧图像FjPFb归一化后的特征向量为：
[0063] Fa = [ Fal，Fa2，…FaM ]和Fb = [ Fbi，Fb2，…FbM ]，
[0064] 任意两帧图像F^Fb之间的相似距离为：
[0066]阈值T是任意两张无序图像相似距离之和的平均值，其计算式为：
[0068]其中，N为无序图像数目；
[0069] 上述技术方案中，步骤1)中不设K值得聚簇步骤为：
[0070] a)、获取第一帧图像?:并把其划分到簇1^中，并将第一帧图像Fi作为簇1^的聚簇中 心；
[0071] 13)、获取下一帧图像?1，（1 = 2,3，~少），其中小为无序图像数；
[0072] c)、根据公式
计算F〗与已得到簇K」（j = l，2,…，Nc)聚 簇中心的相似距离distW^Kjc)，其中Kjc为簇Kj的聚簇中心，计算F〗与聚簇中心Kjc的最小距 离min dist(Fi，Kjc)，如果min dist(Fi，Kjc)<T，则把Fi划分到具有min dist(Fi，Kjc)值的 簇I中，并且计算该簇新的聚簇中心，该簇新的聚簇中心为该簇中所有无序图像归一化后 特征向量之和除以该簇中无序图像的数目；
[0073] d)、如果min dist(FI，Kjc)>T，则说明？:与存在的任何一个簇都不相似，把F:划分到 另一个新簇Kj中；
[0074] e)、然后根据步骤b、c、d将所有的无序图像划分到不同的簇&中。
[0075] 上述技术方案中，步骤3)中对提取的代表帧Fk进行无参考图像质量评价，其步骤 为：
[0076] A)对提取的关键代表帧Fk为进行二次模糊处理得到模糊图像b;
[0077] bv=hv*Fk，bH=hh*Fk，| =-x:[l 1.11.11 111.].，hh= (hv)T = hv， 9
[0078]其中，bv、bH为图像Fk经过垂直、水平低通滤波后得到的模糊图像，hh、h v为滤波器垂 直和水平模型；
[0079] B)分别计算代表帧Fk滤波前相邻像素垂直绝对误差Dfv(i，j)、水平绝对误差DfH (1，」）和滤波后模糊图像13相邻像素的垂直绝对误差01^(1，」）、水平绝对误差01^(1，」），得到 相邻像素值的变化；
[0080] DFv(i，j) =abs(Fk(i，j )_Fk( i_l，j))，DFh(i，j) =abs(Fk(i，j )_Fk( i，j_l))，
[0081 ] Dbv(i，j) =abs(bv(i，j )_bv( i_l，j))，Dtm(i，j) =abs(bH(i，j )_bH( i，j_l));
[0082] C)对代表帧Fk中相邻像素差求和处理：
[0091] D)、评价值范围在(0，l)之间，如果0?3<clear = max(bFv，bFH)<l，将代表帧Fk作 为关键帧提取出来，如果clear=max(bFv，bFHX〇.3,则删除该代表帧，并从原簇中重新提 取代表帧，然后根据步骤A、B、C计算该重新提取的代表帧。
[0092] 本发明的有益效果为:可以有效的提取无序图像的代表帧，滤除信息冗余、信息量 少、质量差的无序图像，并且采用不设K值的聚簇算法可以根据无序图像内容复杂度自动聚 成不同数目的簇，通过采用无参考图像评价法可以获得高清晰的关键帧。
[0093] 上述实施例和说明书中描述的只是说明本发明的原理和最佳实施例，在不脱离本 发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保 护的本发明范围内。
【主权项】
1. 一种无序图像关键帖的提取方法，其特征在于，包括W下步骤： 1) 采用不设K值的聚簇算法对无序图像进行聚簇处理，把图像信息内容相近的无序图 像聚为一簇； 2) 根据相似距离求解每簇的聚簇中屯、，从每簇中把距离聚簇中屯、最近的无序图像作为 代表帖Fk提取出来； 3) 对提取出的代表帖Fk进行无参考图像质量评价，如果该代表帖化满足立体视觉=维 重建质量要求，则作为关键帖保留，如果该代表帖Fk不满足立体视觉=维重建质量要求，贝U 删除该代表帖Fk,重新从原来的簇中提取另一代表帖，并将提取出另一代表帖再次进行无 参考图像质量评价，直到无参考图像质量评价后的代表帖满足立体视角=维重建质量要求 为止。2. 根据权利要求1所述的一种无序图像关键帖的提取方法，其特征在于:步骤1)中不设 K值的聚簇算法对无序图像聚簇，将每幅无序图像分成M(M=16)块，每块纹理特征均值mi、 方差苗，每块纹理特征均值mi为： 每块I把每块的纹理特征均值mi、方差婷合起来作为该无序图像的特征向量F，并对特征向量F 进行归一化处理，其中： 设原始向量[fl，f2，f3，其中e、m为原始特征向量标准差和均值，归一化后特征向量为[Fi，F2，F3，…Fm]，任意两 帖图像Fa和Fb归一化后的特征向量为： Fa= [Fal，Fa2，.. .FaM]和Fb= [Fbl，Fb2，.. .FbM]， 任意两帖图像Fa和Fb之间的相似距离为： 阔值T是任意两张无序匡式为： 其中，N为无序图像数目； 上述技术方案中，步骤1)中不设K值的聚簇步骤为： a) 、获取第一帖图像Fi并把其划分到簇Ki中，并将第一帖图像Fi作为簇Ki的聚簇中屯、； b) 、获取下一帖图像Fi, (1 = 2,3,…，N)，其中，N为无序图像数； c) 、根据公式t算Fi与已得到簇Kj(j = l，2,…，Ne)的聚簇 中屯、的相似距离dist(FI，Kjc)，其中Kjc为簇Kj的聚簇中屯、，计算FI与聚簇中屯、Kjc(j = l， 2，-。，Ne)的最小距离min dist(Fi,Kjc)，如果min dist(Fi,Kjc)《T，则把Fi划分到具有min dist(Fi，Kw)值的簇町中，并且计算该簇新的聚簇中屯、，该簇新的聚簇中屯、为该簇中所有无 序图像归一化后特征向量之和除W该簇中无序图像的数目； d) 、如果min山3*巧1，町。)〉1'，则说明。1与存在的任何一个簇都不相似，把。1划分到另一 个新簇Kj中； e) 、然后根据步骤b、c、d将所有的无序图像划分到不同的簇b中。3.根据权利要求1所述的一种无序图像关键帖的提取方法，其特征在于:步骤3)中对提 取的代表帖Fk进行无参考图像质量评价，其步骤为： A) 对提取的代表帖Fk进行二次模糊处理得到模糊图像b: bv = hv冲k，t)H = hh冲k，而二每X 口 n 111. '111]，hh = (hv) T=hv， 其中，bv、l3H为图像Fk经过垂直、水平低通滤波后得到的模糊图像，hh、hv为滤波器垂直和 水平模型； B) 分别计算代表帖Fk滤波前相邻像素垂直绝对误差DfvU，j)、水平绝对误差DfH(i，j) 和滤波后模糊图像b相邻像素的垂直绝对误差化v(i，j)、水平绝对误差化H(i，j)，得到相邻 像素值的变化： DFv(i,j)=abs(Fk(i,j)-Fk(i-l,j)),DFH(i,j)=abs(Fk(i,j)-Fk(i,j-l)), Dbv(i, j)=abs(bv(i, j))，DbH(i, j)=abs(bH(i, j)-bH(i, j-1)); C) 对代表帖Fk中相邻像素差进行求和处理： 归一化得：clear=max(bFv,bFH); D) 、评价值范围在(O，1)之间，如果0.3 < C1 ear=max (bFv，bFH) < 1，将代表帖Fk作为关键 帖提取出来，如果clear = max(bFv，bFH)《0.3，则删除该代表帖，并从原簇中重新提取代表 帖，然后根据步骤A、B、C计算该重新提取的代表帖。
【文档编号】G06F17/30GK105913096SQ201610510776
【公开日】2016年8月31日
【申请日】2016年6月29日
【发明人】林靖宇, 郑恩, 潘莹, 曹绍昊
【申请人】广西大学