一种录像带音频信号的转录修复方法与流程

本发明涉及录像带音频信号处理领域，尤其涉及一种录像带音频信号的转录修复方法。
背景技术：
：u-matic是日本索尼公司推出的一种模拟录像格式，其配套的u型机操作简单、性能优良、图像质量相对较好，并具有电子编辑功能，在广播电视、工业、科研、医疗、电化教育等各个领域，都得到了广泛应用，成为专业级录像机的主力机种。上个世纪80年代中国电视台使用的几乎清一色的u-matic录像带。许多广播电台、档案馆保存着大量的u-matic盒式录像带资料，这些资料迫切需要进行数字化以长期保存。u-matic录像带的磁带的主要成分是用于记录的co-γ-fe2o3磁粉(占70％)和固定磁粉的粘合剂——聚酯聚氨酯(占25％)。磁粉和酯类高分子有机化合物，在环境温湿度不当的情况下，会发生霉变，造成磁带表面不光洁，霉变严重时，会导致磁粉的酶解、脱落，造成记录信息的丢失。除了磁带上的污渍、霉斑对转录质量有影响外，粘合剂也是造成磁带不稳定的主要因素：由于催化过氧化氢分解的氧化铁的存在，加速了磁带的老化。上述这些因素，会在数字化转录过程中，加大磁头对磁层的摩擦，影响磁介质电磁转化的完整性，随机产生小段的音频数据缺失(如图1(a)所示)或畸变(如图1(b)所示)，影响转录质量。这种现象和磁带、采集转录设备的老化有关。技术实现要素：本发明解决的问题是现有的u-matic录像带音频信号转录过程中出现音频信号缺失和畸变。为解决上述问题，本发明实施例提供了一种录像带音频信号的转录修复方法，包括如下步骤：采用磁带表面涂层修复技术对录像带进行处理；对经过处理后的录像带音频信号进行两次转录，以得到音频主文件和音频辅文件，其中所述音频主文件和音频辅文件的内容相同；确定所述音频主文件和音频辅文件匹配的基准点，并根据所确定的基准点调整所述音频主文件或音频辅文件；对调整后的音频主文件进行分帧处理以得到若干个音频帧，并对每个音频帧在调整后的音频辅文件中搜索匹配段；基于搜索结果确定音频主文件中缺失的音频帧，并用音频辅文件中相对应的匹配段替换以及进行音频帧的拼接，以修复音频主文件。可选的，所述确定所述音频主文件和音频辅文件匹配的基准点，并根据所确定的基准点调整所述音频主文件或音频辅文件包括：在所述音频辅文件中截取第一预设长度的第一样本段，并标识该第一样本段的第一起始位置；利用搜索算法在所述音频主文件中搜索与所述第一样本段最相匹配的第二样本段的第二起始位置；根据所述第一起始位置和第二起始位置的位置关系确定所述音频主文件和音频辅文件匹配的基准点；基于所述基准点的位置删减所述音频主文件或音频辅文件的长度。可选的，所述音频主文件的长度不小于所述音频辅文件的长度，且所述音频辅文件的长度不小于75秒。可选的，在所述音频主文件搜索与所述第一样本段最相匹配的第二样本段的第二起始位置的搜索范围在所述音频主文件的前部10％-30％处。可选的，对调整后的音频主文件进行分帧处理以得到若干个音频帧，并对每个音频帧在调整后的音频辅文件中搜索匹配段包括：将调整后的音频主文件按照第二预设长度分割成的若干个音频帧，并对各个音频帧依次编号；从第二个所述音频帧开始，利用搜索算法对每个所述音频帧在调整后的音频辅文件中搜索匹配段，且每完成一个所述音频帧对应的匹配段的搜索，重新调整该音频帧的后一音频帧的位置以使音频主文件和音频辅文件中的该后一音频帧的逻辑起始位置相同。可选的，所述基于搜索结果确定音频主文件中缺失的音频帧，并用音频辅文件中相对应的匹配段替换以及进行音频帧的拼接，以修复音频主文件包括：基于每个音频段以及与其相应的匹配段在各自音频文件中的位置关系确定可用音频帧和不可用音频帧；对于音频主文件中的不可用音频帧，采用音频辅文件中与该不可用音频帧相同编号的匹配段与前一编号的匹配段之间的空隙段替换并进行音频帧的拼接，以修复音频主文件。可选的，利用搜索算法对每个所述音频帧在调整后的音频辅文件中搜索匹配段的搜索范围为所述第二预设长度的三倍长度。可选的，音频帧的拼接包括如下步骤：选取一个端点x，以该点样本为中心，选取长度l，在[x-l，x+l]范围内查找音频主文件和音频辅文件中每个对应样本，以找到两个相位接近，振幅绝对值最小的样本x’，则x’就是端点x拼接点。选取另一个端点y，以该点样本为中心，选取长度l，在[y-l，y+l]范围内查找音频主文件和音频辅文件中每个对应样本，以找到两个相位接近，振幅绝对值最小的样本y’，则y’就是端点y拼接点；用音频辅文件中介于x’和y’之间的样本对音频主文件中相应位置的样本进行替换。可选的，对每个音频帧在调整后的音频辅文件中搜索匹配段的匹配算法如下：其中，si和s’i分别为样本段s和s’的第i个样本，n为每个音频帧的样本数量，两段样本的累积误差为e。可选的，该转录修复方法还包括如下步骤：在用音频辅文件中相对应的匹配段替换以及进行音频帧的拼接后，对拼接端点处进行平滑消噪处理。与现有技术相比，本发明技术方案具有以下有益效果：在对录像带音频信号进行转录之前，采用磁带表面涂层修复技术对录像带进行处理，使得磁带表面与磁头获得更好的贴合性能，其电磁特性指标、机械物理指标得到改善，声音输出质量向原录状态恢复。将u-matic录像带音频信号转录两遍，生成相同内容的两个音频文件。指定其中一个为主文件，另一个为辅文件。对两个文件进行分帧、匹配，然后准确检测主文件中缺失和畸变的信号片段，利用辅文件对主文件的损坏片段进行替换，并对连接处进行信号处理，从而达到完整的修复音频信息、提升听音效果的目的。附图说明图1(a)是现有u-matic录像带在数字化转录过程中出现音频数据缺失的示意图；图1(b)是现有u-matic录像带在数字化转录过程中出现音频数据畸变的示意图；图2是本发明实施例的一种录像带音频信号的转录修复方法的流程示意图；图3(a)是本发明实施例中确定音频主文件与音频辅文件匹配的基准点中at＞bt情形下的示意图；图3(b)是本发明实施例中确定音频主文件与音频辅文件匹配的基准点中at＜bt情形下的示意图；图4是本发明实施例中音频主文件与音频辅文件中可用音频帧与不可用音频帧的标识示意图。具体实施方式为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。如图2所示的是本发明实施例的一种录像带音频信号的转录修复方法的流程示意图。参考图2，所述录像带音频信号的转录修复方法包括如下步骤：步骤s1：采用磁带表面涂层修复技术对录像带进行处理；步骤s2：对经过处理后的录像带音频信号进行两次转录，以得到音频主文件和音频辅文件，其中所述音频主文件和音频辅文件的内容相同；步骤s3：确定所述音频主文件和音频辅文件匹配的基准点，并根据所确定的基准点调整所述音频主文件或音频辅文件；步骤s4：对调整后的音频主文件进行分帧处理以得到若干个音频帧，并对每个音频帧在调整后的音频辅文件中搜索匹配段；步骤s5：基于搜索结果确定音频主文件中缺失的音频帧，并用音频辅文件中相对应的匹配段替换以及进行音频帧的拼接，以修复音频主文件。本实施例是以对u-matic录像带音频信号进行转录修复来描述的。具体来说，如步骤s1所述，采用磁带表面涂层修复技术对录像带进行处理。本领域技术人员知晓，磁带恢复中一项关键的技术是磁带基体老化进程与信号衰降进程非线性理论模型，可概要描述为：相对于构成磁带基体材料的(物理的、化学的)老化进程不可逆性质，磁带基体表涂层(磁性层)中记录的信号输出特性(剩磁磁场总磁通)相对稳定，造成老化磁带信号输出劣化的原因在于老化磁带表涂层中的共聚共混材料水解析出转移到播放设备的磁头所形成的物理损失所致。在固定的条件下，信号劣化程度只与磁带析出物转移到磁头的析出物累积量相关。从理论方面分析，磁带的涂层厚度与信号波长的空间物理尺度有着对应的依存关系，如下列公式：公式中，γ表示记录波长，δ表示磁性涂层厚度。由此可知，磁带磁性涂层越薄，其声音的输出频率特性越好，从而得出结论：假如磁带老化后磁涂层水解析出物造成磁层厚损失为n，修复涂层厚度同样为n，则修复后磁带的输出频率特性将保持不变。磁带表面涂层修复技术就是沿着磁带基体涂层制备、涂敷技术的逆过程，研究开发覆盖磁带基体表面损伤的功能涂层及超薄膜涂敷技术，主要技术指标如表1所示：表1磁带表面涂层修复技术主要技术指标在数字化转录u-matic录像带音频信号之前，采用磁带表面涂层修复技术，通过高精度涂敷设备及涂敷工艺，将由氨基甲酸酯聚合物为主要元素的“无纲目构造粘合剂”均匀、平滑地渗透涂敷于磁带表面。使得修复后的磁带表面与磁头获得更好的贴合性能，其频率响应、动态范围、工作偏磁等录音指标方面得到改善，剩磁、矫顽力、矩形比等重要电声指标方面向原录状态回归，降低小段音频数据缺失或畸变的产生概率。如步骤s2所述，对经过处理后的录像带音频信号进行两次转录，以得到音频主文件和音频辅文件，其中所述音频主文件和音频辅文件的内容相同。在本实施例中，对录像带音频信号进行两次转录得到两个音频文件，其中将长度较大的音频文件作为音频主文件，另一个作为音频辅文件。由于是对同一段音频信号进行两次转录，因此得到的音频主文件和音频辅文件的内容相同。如步骤s3所述，确定所述音频主文件和音频辅文件匹配的基准点，并根据所确定的基准点调整所述音频主文件或音频辅文件。由于u-matic录像带音频信号在转录过程中经过了模拟/数字音频信号转换，因此即使是同一台工作正常的转录设备进行两次转录也很难得到完全一样的音频文件。一般而言，两次转录得到的两段音频的音量是不同的，而且由于随机产生的数据缺失或畸变，其相位也有较大差异，无法通过简单的检测来匹配这两段音频。但两段内容相同的音频，即使音量不同，它们的波形包络一定是相似的。因此可以通过计算两个音频片段波形包络的差异度来进行匹配。为了能利用音频辅文件对音频主文件进行修复，必须建立两个文件音频信号波形之间的匹配对应关系。这种关系建立的首要条件就是找到一个匹配基准点，将两个音频文件在该点处大致对齐。这样，一个音频文件中的某个片段要找到另一文件中的相应的匹配片段，只需要在一个小范围内搜索即可。显然，这个匹配基准点应该在音频文件的前端比较合适。找到匹配基准点后，就可以将主、辅音频文件大致对齐，从而进行后续的信号缺失、畸变的检测和修复。在本实施例中，本步骤包括：在所述音频辅文件中截取第一预设长度的第一样本段，并标识该第一样本段的第一起始位置；利用搜索算法在所述音频主文件中搜索与所述第一样本段最相匹配的第二样本段的第二起始位置；根据所述第一起始位置和第二起始位置的位置关系确定所述音频主文件和音频辅文件匹配的基准点；基于所述基准点的位置删减所述音频主文件或音频辅文件的长度。举例来说，假设音频主文件a和音频辅文件b的长度分别为la和lb(la≥lb)。需要说明的是，如果lb＜75s，则算法终止，匹配失败。因为样本太少，基于统计的匹配算法无法保证准确性。在音频辅文件b的20％位置处取长度为25s(即第一预设长度)的第一样本段m，其第一起始位置标记为bt，在音频主文件a的前部10％～30％处的样本段使用seek算法寻找与第一样本段最相匹配的第二样本段的第二起始位置at，算法公式如下：at＝seek(a,0.1*la,0.3*la,b,bt,lm)其中，at是音频主文件a中最可能与第一样本段m匹配的第二样本段的第二起始位置的编号，lm为第一样本段m的长度。若at＞bt，如图3(a)所示，音频辅文件b第1个样本位置b1与音频主文件a的样本h的位置ah＝at-bt对齐，则ah为音频主文件a与辅文件b匹配的基准点。若at＜bt，如图3(b)所示，bh＝bt-at，则bh为音频主文件a与音频辅文件b匹配的基准点。显然，若at＝bt，则音频主文件a和音频辅文件b已经对齐。然后，基于所述基准点的位置删减所述音频主文件或音频辅文件的长度。对于图3(a)所示的情形，删除音频主文件a在ah位置前的样本，得到调整后的音频主文件a；对于图3(b)的情形，删除音频辅文件b在bh位置前的样本，得到调整后的音频辅文件b。如步骤s4所述，对调整后的音频主文件进行分帧处理以得到若干个音频帧，并对每个音频帧在调整后的音频辅文件中搜索匹配段。在本实施例中，本步骤包括：将调整后的音频主文件按照第二预设长度分割成的若干个音频帧，并对各个音频帧依次编号；从第二个所述音频帧开始，利用搜索算法对每个所述音频帧在调整后的音频辅文件中搜索匹配段，且每完成一个所述音频帧对应的匹配段的搜索，重新调整该音频帧的后一音频帧的位置以使音频主文件和音频辅文件中的该后一音频帧的逻辑起始位置相同。其中，分帧处理是指在音频处理前需将原始音频信号分成大小相等，部分重叠的音频帧。分帧的目的是将音频文件分成较小的单位，便于处理。如步骤s5所述，基于搜索结果确定音频主文件中缺失的音频帧，并用音频辅文件中相对应的匹配段替换以及进行音频帧的拼接，以修复音频主文件。在本实施例中，本步骤包括：基于每个音频段以及与其相应的匹配段在各自音频文件中的位置关系确定可用音频帧和不可用音频帧；对于音频主文件中的不可用音频帧，采用音频辅文件中与该不可用音频帧相同编号的匹配段与前一编号的匹配段之间的空隙段替换并进行音频帧的拼接，以修复音频主文件。下面举例描述上述步骤s4和步骤s5的处理过程。将音频主文件a分割成长度为20s(即第二预设长度)的音频帧，编号为1，2，3，……。从第2段开始，对音频主文件a中的每一个音频帧c，在音频辅文件b中使用seek算法依次在3×20s(即对每个所述音频帧在调整后的音频辅文件中搜索匹配段的搜索范围为所述第二预设长度的三倍长度)的范围内搜索匹配段c’，搜索范围每次向音频辅文件b的尾部移动20s样本。将找到的每一对匹配段在文件中的位置记录在表2所示的匹配表上。表2音频帧匹配表音频帧编号a位置/标记b位置/标记10/y0/y220s/y20s/y340s/n40s+18s/y………按音频帧编号依次对匹配表上的“位置/标记”项进行处理：1)若该音频帧在音频主文件a和音频辅文件b中的位置相同，即at＝bt，则在音频主文件a与音频辅文件b的相应帧标记为y，y表示该段为可用音频帧；2)若音频主文件a的位置at>bt，则将a标记为y，b标记为n，n表示该段为不可用音频帧；3)若bt>at，则将a标记为n，b标记为y。在本实施例中，若序号连续的两段音频帧表示为可用音频帧，则两段音频帧间的空隙段也标志为可用。如图4中所示的音频辅文件b的第2段和第3段间的空隙段为可用。在上述实施例中，若音频帧的第i段已处理完，则在匹配表中对第i+1、……、n段重新调整段位置，使音频主文件a和音频辅文件b的第i+1段的逻辑起始位置相同。进而重复上述针对音频主文件a中第2段的搜索匹配方法，直到匹配表所有项被处理完毕。在本实施例中，对每个音频帧在调整后的音频辅文件中搜索匹配段的匹配算法如下：其中，si和s’i分别为样本段s和s’的第i个样本，n为每个音频帧的样本数量，两段样本的累积误差为e。这样，两个输入段的累积误差越小，说明两帧越相似。显然，两个完全相同音频段的累计误差为0。匹配算法可以通过减少参与计算的样本数量来提高效率，但要保证参与计算的样本在段内均匀分布。例如，可以每隔100个样本选取一个样本参加计算，也能得到同质的结果。然后，依次将音频主文件a中标记为可用音频帧的样本段写入输出文件c中，若样本段标记为n，则用音频辅文件b中相同编号的帧与前一编号段之间的空隙段替换之，并进行音频片段拼接后，将该段写入输出文件c。其中，音频帧的拼接包括如下步骤：选取一个端点x，以该点样本为中心，选取长度l，在[x-l，x+l]范围内查找音频主文件和音频辅文件中每个对应样本，以找到两个相位接近，振幅绝对值最小的样本x’，则x’就是端点x拼接点。选取另一个端点y，以该点样本为中心，选取长度l，在[y-l，y+l]范围内查找音频主文件和音频辅文件中每个对应样本，以找到两个相位接近，振幅绝对值最小的样本y’，则y’就是端点y拼接点；用音频辅文件中介于x’和y’之间的样本对音频主文件中相应位置的样本进行替换。本领域技术人员知晓，无论是缺失段还是畸变段，其产生的原因是相同的，与转录设备磁头过热有关，同时伴随着一段音频信号的丢失，因此可以用同样的方法处理。音频匹配表中标记为y的样本段为正常数据，没有被标记的空隙段就是缺失段。另外，音频缺失和畸变是随机的，但发生的概率并不大，大约为0～28次/小时，这样，在同一个20s的帧内，两个音频文件同时发生信号丢失的概率小于千分之一，若这种情况确实发生了，可以在最终的人工试听时被发现。进一步地，在本实施例中，还包括如下步骤：在用音频辅文件中相对应的匹配段替换以及进行音频帧的拼接后，对拼接端点处进行平滑消噪处理。具体地，当确定音频主文件a中的所有缺失段后，可以用音频辅文件b中相应的匹配段进行替换。但由于两个文件的波形的振幅、相位有明显的差异，直接替换将会在音频段两端产生不连续的断点，产生明显的噪声。为消除这种由于音频片段的拼接而产生的噪声，需要对拼接端点处进行平滑消噪处理。将一个音频片段插入到一个音频文件中，将有两个端点。要使端点处不产生噪音，仅仅对端点进行平滑是不够的。因为声音的产生不仅与波形的振幅有关，还与声波的相位和频率有关。基于上述音频帧的拼接方法的步骤，还包括：对替换后的拼接点及其周围样本采用中值滤波法进行平滑处理。需要说明的是，在采用本实施例所述的录像带音频信号的转录修复方法对音频信号进行转录修复后的听音效果仍旧不理想，则继续依照上述步骤s2的方式转录获取新的音频辅文件，再将修复后音频主文件与新的音频辅文件再做分帧、匹配和修复(可以参照上述步骤s3至步骤s5的实施例)，直至修复后的音频主文件符合听音效果。综上所述，利用磁带表面涂层修复技术进行u-matic录像带音频信号转录，并对转录过程中消除音频信号缺失和畸变的方法。该方法预先采用磁带表面涂层修复技术对磁带进行处理，使得磁带表面与磁头获得更好的贴合性能，其电磁特性指标、机械物理指标得到改善，声音输出质量向原录状态恢复，再利用音频缺失和畸变的随机性和稀疏性，通过至少两次转录得到的多个音频文件，以其中某一个音频文件作为主文件，另外作为辅文件，进行音频信号的分帧、匹配和修复。并且由于匹配和修复方法不需要了解音频信号的先验知识，从转录到修复可以自动处理，适合处理大批量音频数据，效率很高。当前第1页12