一种适应于移动设备存储与播放的音视频处理方法与系统的制作方法
【专利摘要】本发明公开了一种适应于移动设备存储与播放的音视频处理方法，包括：将待压缩原始视频按时间帧进行截取，形成按视频播放时间顺序排列的视频帧图片库；计算视频帧图片库中的图片之间的相似性差值；根据所述相似性差值判断视频帧图片库中相邻视频帧间的相似性，仅保留每一段相似视频帧序列中第一个视频帧，而将该段相似视频帧序列中与第一个视频帧相似的视频帧剔除，从而提取出视频帧中能够代表视频特性的有效帧，大幅度压缩音视频的容量；在视频播放时，将视频的有效帧图片库中的图片，按照其在待压缩原始视频中的时间帧位置，根据音频的播放进度插入图片。本发明还提供了相应的适应于移动设备存储与播放的音视频处理系统。
【专利说明】一种适应于移动设备存储与播放的音视频处理方法与系统
【技术领域】
[0001] 本发明属于教学视频压缩【技术领域】，更具体地，涉及一种适应于移动设备存储与 播放的音视频处理方法与系统。
【背景技术】
[0002] 随着移动学习与移动智能设备的不断发展，为人们提供了更多的移动学习机会。 网络视频课件容量大、数目繁多，然而移动设备容量存储有限，导致用户在线视频学习播放 不流畅、移动设备离线视频学习数量少等问题。目前有很多视频压缩工具，如格式工厂等， 可以降低视频的部分容量，但远远不能满足教学视频在移动终端设备上的需求。当前的视 频压缩工具并没有改变视频的播放方式，达不到教学视频的压缩比例。
【发明内容】
[0003] 针对现有技术的以上缺陷或改进需求，本发明提供了一种适应于移动设备存储与 播放的音视频处理方法，其目的在于针对教学视频进行压缩，大幅度减小教学视频的容量， 从而能够在在线视频学习中达到较好的流畅度，并且能够使得移动设备存储较多的离线视 频，解决了现有教学视频在线学习播放不流畅、移动设备离线视频学习数量少等问题。
[0004] 为了实现上述目的，按照本发明的一个方面，提供了一种适应于移动设备存储与 播放的音视频处理方法，所述方法包括：
[0005] (1)将待压缩原始视频按时间帧进行截取，形成按视频播放时间顺序排列的视频 帧图片库P，视频帧图片库P中的图片数量为N;
[0006] (2)设 i = 1，j = 2 ;
[0007] (3)将第i张图片p(i)加入视频的有效帧图片库中；
[0008] (4)计算视频帧图片库p中的第j张图片p(j)与第i张图片p(i)的相似性差值；
[0009] (5)如果图片p (j)与p (i)的相似性差值小于预设的相似性阈值，且j < N，则j = j+1，转步骤（4);如果图片p(j)与p(i)的相似性差值不小于预设的相似性阈值，且j <N， 贝1J i = j，j = j+1，转步骤⑶；如果j = N，则将视频巾贞图片库p中的第N张图片p(N)加 入视频的有效帧图片库中；
[0010] (6)提取待压缩原始视频中的音频，提取过程中音频的参数设置与待压缩原始视 频中音频的参数设置相同，以使提取的音频不失真；
[0011] (7)在视频播放时，将视频的有效巾贞图片库中的图片，按照其在待压缩原始视频中 的时间帧位置，根据音频的播放进度插入图片。
[0012] 在本发明的一个实施例中，所述步骤（4)中图片p(j)与图片p(i)的相似性差值 为图片的汉明距离。
[0013] 在本发明的一个实施例中，所述步骤（4)中计算图片p(j)与图片p(i)的相似性 为：
[0014] 将图片p(j)与图片p(i)分别进行尺度缩小，缩小为LXM的图片p'（j)与图片 p' (i);
[0015] 将缩小后的图片P'（j)与图片P'（i)转换成灰度图像；
[0016] 分别计算图片P'（j)与图片P'（i)的灰度图像的平均灰度值^与
[0017] 计算图片p(j)的序列值A(j):将图片p(j)的灰度图像中的各像素值与其平均 灰度值]相比，若像素值大于平均灰度值]^，则将该像素对应的序列值记为1;若像 素值不大于平均灰度值?ΤΤ?，则将该像素对应的序列值记为0,序列值A (j)的元素个数为 LXM ；
[0018] 计算图片p(i)的序列值A(i):将图片p(i)的灰度图片中的各像素值与其平均 灰度值^相比，若像素值大于平均灰度值;^，则将该像素对应的序列值记为1 ;若像 素值不大于平均灰度值^，则将该像素对应的序列值记为〇,序列值A (i)的元素个数为 LXM ；
[0019] 比较图片p(j)的序列值A(j)与图片p(i)的序列值A(i)之间不同元素的个数， 将其作为图片p(j)与图片p(i)之间的相似性差值。
[0020] 按照本发明的另一方面，还提供了一种适应于移动设备存储与播放的音视频处理 系统，所述系统包括视频帧截取模块、计数器初始化模块、有效帧添加模块、相似性差值计 算模块、相似性判断模块、音频提取模块以及视频播放模块，其中：
[0021] 视频帧截取模块,用于将待压缩原始视频按时间帧进行截取，形成按视频播放时 间顺序排列的视频帧图片库P，视频帧图片库P中的图片数量为N ;
[0022] 计数器初始化模块，用于设i = 1，j = 2 ;
[0023] 有效帧添加模块，用于将第i张图片p(i)加入视频的有效帧图片库中；
[0024] 相似性差值计算模块，用于计算视频帧图片库p中的第j张图片p(j)与第i张图 片P (i)的相似性差值；
[0025] 相似性判断模块，用于如果图片p(j)与p(i)的相似性差值小于预设的相似性阈 值，且j < N，则j = j+Ι，转相似性差值计算模块；如果图片p (j)与p (i)的相似性差值不 小于预设的相似性阈值，且j < N，则i = j，j = j+Ι，并转有效帧添加模块；如果j = N，则 将视频帧图片库P中的第N张图片p(N)加入视频的有效帧图片库中；
[0026] 音频提取模块，用于提取待压缩原始视频中的音频，提取过程中音频的参数设置 与待压缩原始视频中音频的参数设置相同，以使提取的音频不失真；
[0027] 视频播放模块，用于在视频播放时，将视频的有效帧图片库中的图片，按照其在待 压缩原始视频中的时间帧位置，根据音频的播放进度插入图片。
[0028] 在本发明的一个实施例中，所述相似性差值计算模块计算的图片p(j)与图片 P⑴的相似性差值为图片的汉明距离。
[0029] 在本发明的一个实施例中，所述相似性差值计算模块具体包括尺度缩小子模块、 灰度转化子模块、平均灰度值计算子模块、第一图片序列值计算子模块、第二图片序列值计 算子模块以及比较子模块，其中 ：
[0030] 所述尺度缩小子模块，用于将图片P(j)与图片P(i)分别进行尺度缩小，缩小为 LXM的图片p'（j)与图片p'（i);
[0031] 所述灰度转化子模块，用于将缩小后的图片P'（j)与图片P'（i)转换成灰度图 像；
[0032] 所述平均灰度值计算子模块，用于分别计算图片p'（j)与图片p'（i)的灰度图像 的平均灰度值P (./) 4 /7 (/);
[0033] 所述第一图片序列值计算子模块，用于计算图片p(j)的序列值A(j):将图片p(j) 的灰度图像中的各像素值与其平均灰度值;^相比，若像素值大于平均灰度值;^，则 将该像素对应的序列值记为1 ;若像素值不大于平均灰度值，则将该像素对应的序列 值记为〇,序列值A(j)的元素个数为LXM;
[0034] 所述第二图片序列值计算子模块，用于计算图片p(i)的序列值A(i):将图片p(i) 的灰度图片中的各像素值与其平均灰度值^相比，若像素值大于平均灰度值;^，则将 该像素对应的序列值记为1 ;若像素值不大于平均灰度值则将该像素对应的序列值 记为〇,序列值A(i)的元素个数为LXM;
[0035] 所述比较子模块，用于比较图片p(j)的序列值A(j)与图片p(i)的序列值A(i) 之间不同元素的个数，将其作为图片P(j)与图片P(i)之间的相似性差值。
[0036] 总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效 果：
[0037] (1)本发明利用视频中相邻帧之间的相似性，通过提取出视频中的视频帧形成按 视频播放时间顺序排列的视频帧图片库，并判断视频帧图片库中相邻视频帧间的相似性， 从而仅保留每一段相似视频帧序列中第一个视频帧，而将该段相似视频帧序列中与第一个 视频帧相似的视频帧剔除，从而提取出视频帧中能够代表视频特性的有效帧，大大减小了 视频帧的数量，大幅度压缩音视频的容量；在视频播放时，将视频的有效帧图片库中的图 片，按照其在待压缩原始视频中的时间帧位置，根据音频的播放进度插入图片，从而能够达 到原始视频的播放质量；
[0038] (2)通过本发明，能够大幅度压缩音视频的容量，有利于移动设备的存储；同时， 不论是对于移动设备的本地播放，还是移动设备的在线播放，都能够保证音视频播放的流 畅性。
【专利附图】
【附图说明】
[0039] 图1为本发明适应于移动设备存储与播放的音视频处理方法的整体流程图；
[0040] 图2为本发明一实施例中汉明距离-哈希值算法流程图；
[0041] 图3为本发明一实施例中两张图片对比过程示意图。
【具体实施方式】
[0042] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要 彼此之间未构成冲突就可以相互组合。
[0043] 如图1所示，本发明适应于移动设备存储与播放的音视频处理方法具体为：
[0044] (1)将待压缩原始视频按时间帧进行截取，形成按视频播放时间顺序排列的视频 帧图片库P，视频帧图片库P中的图片数量为N;
[0045] (2)设 i = 1，j = 2 ;
[0046] (3)将第i张图片p(i)加入视频的有效帧图片库中；
[0047] (4)计算视频帧图片库p中的第j张图片p(j)与第i张图片p(i)的相似性差值；
[0048] 具体地，所述图片P(j)与图片P(i)的相似性差值为图片的汉明距离。
[0049] 具体地，计算图片P(j)与图片P(i)的相似性为：
[0050] 将图片p(j)与图片p(i)分别进行尺度缩小，缩小为LXM的图片p'（j)与图片 p' Q);
[0051] 将缩小后的图片P'（j)与图片P'（i)转换成灰度图像；
[0052] 分别计算图片p'（j)与图片p'（i)的灰度图像的平均灰度值^与;
[0053] 计算图片p(j)的序列值A(j):将图片p(j)的灰度图像中的各像素值与其平均 灰度值/(j·)相比，若像素值大于平均灰度值.p'CO，则将该像素对应的序列值记为1 ;若像 素值不大于平均灰度值％，则将该像素对应的序列值记为〇,序列值A (j)的元素个数为 LXM ；
[0054] 计算图片p(i)的序列值A(i):将图片p(i)的灰度图片中的各像素值与其平均 灰度值^?相比，若像素值大于平均灰度值巧0，则将该像素对应的序列值记为1 ;若像 素值不大于平均灰度值^，则将该像素对应的序列值记为〇,序列值A(i)的元素个数为 LXM ；
[0055] 比较图片p(j)的序列值A(j)与图片p(i)的序列值A(i)之间不同元素的个数， 将其作为图片P(j)与图片P(i)之间的相似性差值。
[0056] 例如，如图2所示，将原始图片缩小到8X8 (或者32X32)，然后将其进行色彩简 化，将缩小后的图片转化为64级灰度图片，然后计算灰度图片的平均灰度值，并将灰度图 片的各像素值与平均灰度值相比较，如果像素值大于平均灰度值，则将该像素对应的序列 值记为1，如果像素值不大于平均灰度值，则将该像素对应的序列值记为〇,从而得到图片 的序列值。
[0057] (5)如果图片p (j)与p⑴的相似性差值小于预设的相似性阈值，且j < N，则j = j+1，转步骤（4);如果图片p(j)与p(i)的相似性差值不小于预设的相似性阈值，且j <N， 贝1J i = j，j = j+1，转步骤⑶；如果j = N，则将视频巾贞图片库p中的第N张图片p(N)加 入视频的有效帧图片库中；
[0058] 具体判断图片p(j)与p(i)的相似性如图3所示，将图片p(j)的序列值A(j)与 图片P(i)的序列值A(i)进行对比，确定二者之间不同元素的个数，得到两幅图像的汉明距 离，判断汉明距离是否大于预设阈值（所述阀值根据具体需要确定，通常可取5-10,例如 5)，如果大于，则不相似；如果小于，则相似。
[0059] (6)提取待压缩原始视频中的音频，提取过程中音频的参数设置与待压缩原始视 频中音频的参数设置相同，以使提取的音频不失真；
[0060] (7)在视频播放时，将视频的有效巾贞图片库中的图片，按照其在待压缩原始视频中 的时间帧位置，根据音频的播放进度插入图片。
[0061] 进一步地，本发明还提供了一种适应于移动设备存储与播放的音视频处理系统， 所述系统包括视频帧截取模块、计数器初始化模块、有效帧添加模块、相似性差值计算模 块、相似性判断模块、音频提取模块以及视频播放模块，其中：
[0062] 视频帧截取模块，用于将待压缩原始视频按时间帧进行截取，形成按视频播放时 间顺序排列的视频帧图片库P，视频帧图片库P中的图片数量为N ;
[0063] 计数器初始化模块，用于设i = 1，j = 2 ;
[0064] 有效帧添加模块，用于将第i张图片p (i)加入视频的有效帧图片库中；
[0065] 相似性差值计算模块，用于计算视频帧图片库p中的第j张图片p(j)与第i张图 片P (i)的相似性差值；
[0066] 相似性判断模块，用于如果图片P(j)与P(i)的相似性差值小于预设的相似性阈 值，且j < N，则j = j+Ι，转相似性差值计算模块；如果图片p (j)与p (i)的相似性差值不 小于预设的相似性阈值，且j < N，则i = j，j = j+Ι，并转有效帧添加模块；如果j = N，则 将视频帧图片库P中的第N张图片p(N)加入视频的有效帧图片库中；
[0067] 音频提取模块，用于提取待压缩原始视频中的音频，提取过程中音频的参数设置 与待压缩原始视频中音频的参数设置相同，以使提取的音频不失真；
[0068] 视频播放模块，用于在视频播放时，将视频的有效帧图片库中的图片，按照其在待 压缩原始视频中的时间帧位置，根据音频的播放进度插入图片。
[0069] 进一步地，所述相似性差值计算模块计算的图片P(j)与图片P(i)的相似性差值 为图片的汉明距离。
[0070] 进一步地，所述相似性差值计算模块具体包括尺度缩小子模块、灰度转化子模块、 平均灰度值计算子模块、第一图片序列值计算子模块、第二图片序列值计算子模块以及比 较子模块，其中 ：
[0071] 所述尺度缩小子模块，用于将图片P(j)与图片P(i)分别进行尺度缩小，缩小为 LXM的图片p'（j)与图片p'⑴；
[0072] 所述灰度转化子模块，用于将缩小后的图片P'（j)与图片P'（i)转换成灰度图 像；
[0073] 所述平均灰度值计算子模块，用于分别计算图片P'（j)与图片P'（i)的灰度图像 的平均灰度值/; m 1;//;(/);
[0074] 所述第一图片序列值计算子模块，用于计算图片p(j)的序列值A(j):将图片p(j) 的灰度图像中的各像素值与其平均灰度值?相比，若像素值大于平均灰度值^，则 将该像素对应的序列值记为1 ;若像素值不大于平均灰度值^0，则将该像素对应的序列 值记为〇,序列值A(j)的元素个数为LXM;
[0075] 所述第二图片序列值计算子模块，用于计算图片p(i)的序列值A(i):将图片p(i) 的灰度图片中的各像素值与其平均灰度值相比，若像素值大于平均灰度值]^0，则将 该像素对应的序列值记为1 ;若像素值不大于平均灰度值]则将该像素对应的序列值 记为〇,序列值A(i)的元素个数为LXM;
[0076] 所述比较子模块，用于比较图片p(j)的序列值A(j)与图片p(i)的序列值A(i) 之间不同元素的个数，将其作为图片P(j)与图片P(i)之间的相似性差值。
[0077] 本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以 限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含 在本发明的保护范围之内。
【权利要求】
1. 一种适应于移动设备存储与播放的音视频处理方法，其特征在于，所述方法包括： (1) 将待压缩原始视频按时间帧进行截取，形成按视频播放时间顺序排列的视频帧图 片库P，视频帧图片库P中的图片数量为N; (2) 设 i = 1, j = 2 ; (3) 将第i张图片p(i)加入视频的有效帧图片库中； (4) 计算视频帧图片库p中的第j张图片p(j)与第i张图片p(i)的相似性差值； (5) 如果图片p (j)与p (i)的相似性差值小于预设的相似性阈值，且j < N，则j = j+1， 转步骤⑷；如果图片p (j)与p⑴的相似性差值不小于预设的相似性阈值，且j < N，则i =j，j = j+1，转步骤⑶；如果j = N，则将视频巾贞图片库p中的第N张图片p(N)加入视 频的有效帧图片库中； (6) 提取待压缩原始视频中的音频，提取过程中音频的参数设置与待压缩原始视频中 音频的参数设置相同，以使提取的音频不失真； (7) 在视频播放时，将视频的有效帧图片库中的图片，按照其在待压缩原始视频中的时 间帧位置，根据音频的播放进度插入图片。
2. 如权利要求1所述的方法，其特征在于，所述步骤⑷中图片p(j)与图片p(i)的相 似性差值为图片的汉明距离。
3. 如权利要求1或2所述的方法，其特征在于，所述步骤（4)中计算图片p(j)与图片 P⑴的相似性具体为： 将图片P(j)与图片P(i)分别进行尺度缩小，缩小为LXM的图片p'（j)与图片p'（i); 将缩小后的图片P'（j)与图片P'（i)转换成灰度图像； 分别计算图片p'（j)与图片p'（i)的灰度图像的平均灰度值与;^ ; 计算图片P(j)的序列值A(j):将图片p(j)的灰度图像中的各像素值与其平均灰度值 相比，若像素值大于平均灰度值％，则将该像素对应的序列值记为1 ;若像素值不 大于平均灰度值^，则将该像素对应的序列值记为〇,序列值A (j)的元素个数为LXM ; 计算图片P(i)的序列值A(i):将图片p(i)的灰度图片中的各像素值与其平均灰度值 ^相比，若像素值大于平均灰度值:^，则将该像素对应的序列值记为1 ;若像素值不 大于平均灰度值?，则将该像素对应的序列值记为〇,序列值A(i)的元素个数为LXM ; 比较图片P(j)的序列值A(j)与图片p(i)的序列值A(i)之间不同元素的个数，将其 作为图片P(j)与图片P(i)之间的相似性差值。
4. 一种适应于移动设备存储与播放的音视频处理系统，其特征在于，所述系统包括视 频帧截取模块、计数器初始化模块、有效帧添加模块、相似性差值计算模块、相似性判断模 块、音频提取模块以及视频播放模块，其中： 视频帧截取模块，用于将待压缩原始视频按时间帧进行截取，形成按视频播放时间顺 序排列的视频帧图片库P，视频帧图片库P中的图片数量为N; 计数器初始化模块，用于设i = 1，j = 2 ; 有效帧添加模块，用于将第i张图片P(i)加入视频的有效帧图片库中； 相似性差值计算模块，用于计算视频帧图片库P中的第j张图片p(j)与第i张图片 P⑴的相似性差值； 相似性判断模块，用于如果图片p(j)与p(i)的相似性差值小于预设的相似性阈值，且 j < N，则j = j+Ι，转相似性差值计算模块；如果图片p (j)与p (i)的相似性差值不小于预 设的相似性阈值，且j < N，则i = j，j = j+Ι，并转有效帧添加模块；如果j = N，则将视频 帧图片库P中的第N张图片p(N)加入视频的有效帧图片库中； 音频提取模块，用于提取待压缩原始视频中的音频，提取过程中音频的参数设置与待 压缩原始视频中音频的参数设置相同，以使提取的音频不失真； 视频播放模块，用于在视频播放时，将视频的有效帧图片库中的图片，按照其在待压缩 原始视频中的时间帧位置，根据音频的播放进度插入图片。
5. 如权利要求4所述的方法，其特征在于，所述相似性差值计算模块计算的图片p (j) 与图片P(i)的相似性差值为图片的汉明距离。
6. 如权利要求4或5所述的方法，其特征在于，所述相似性差值计算模块具体包括尺度 缩小子模块、灰度转化子模块、平均灰度值计算子模块、第一图片序列值计算子模块、第二 图片序列值计算子模块以及比较子模块，其中： 所述尺度缩小子模块，用于将图片P(j)与图片P(i)分别进行尺度缩小，缩小为LXM 的图片P'（j)与图片P'（i); 所述灰度转化子模块，用于将缩小后的图片P'（j)与图片P'（i)转换成灰度图像； 所述平均灰度值计算子模块，用于分别计算图片P'（j)与图片P'（i)的灰度图像的平 均灰度值/) (./)与p 〇'); 所述第一图片序列值计算子模块，用于计算图片P(j)的序列值A(j):将图片p(j)的 灰度图像中的各像素值与其平均灰度值;^相比，若像素值大于平均灰度值;则将 该像素对应的序列值记为1 ;若像素值不大于平均灰度值^0，则将该像素对应的序列值 记为〇,序列值A(j)的元素个数为LXM; 所述第二图片序列值计算子模块，用于计算图片P(i)的序列值A(i):将图片p(i)的 灰度图片中的各像素值与其平均灰度值]7拓相比，若像素值大于平均灰度值％，则将该 像素对应的序列值记为1 ;若像素值不大于平均灰度值巧0，则将该像素对应的序列值记 为〇,序列值A(i)的元素个数为LXM; 所述比较子模块，用于比较图片P(j)的序列值A(j)与图片p(i)的序列值A(i)之间 不同元素的个数，将其作为图片P(j)与图片P(i)之间的相似性差值。
【文档编号】H04M1/725GK104104952SQ201410379191
【公开日】2014年10月15日 申请日期:2014年8月1日 优先权日:2014年8月1日
【发明者】聂兰兰, 胡彬, 孔志辉, 刘怀兰 申请人:武汉高德信息产业有限公司