一种去除低照度视频噪声的装置和方法与流程

1.本发明涉及计算机视觉领域，更具体地，涉及一种基于宽度学习和生成对抗网络技术去除低照度视频噪声的装置和方法。


背景技术：

2.随着5g和视频技术的发展，基于摄像头的看家类产品发展迅速，而视频文件的存储规模也越来越大。以中国电信天翼看家产品为例，每日新增的视频文件就需要25p的存储空间，海量的存储最直接的是带来了很高的硬件采购成本，另外海量的存储对于扩容、运维、容灾等都带来很高的管理成本。所以对视频文件尽可能大的压缩是一个技术挑战。
3.特别是在低照度环境下，感光元件增加曝光时间，温度上升，较长时间的感光会造成大量白噪声、暗电流，这些白噪声和暗电流会造成大量随机噪点的输出。这些噪点会给生产经营带来以下三方面的问题：
4.1、成像质量低，用户体验差，视频可能会被高斯噪声、椒盐噪声、瑞利噪声、指数噪声等的一种或者多种噪声覆盖；
5.2、噪点会造成视频中的高频信号较为密集，如果不加处理直接输入到编码器进行编码，会造成存储空间的提升。例如，在h265标准下单路视频摄像头的码流在亮度正常的情况下被压缩到700k左右，但在夜晚阴雨天等低照度环境下，存储容量会增加30％-50％；以及
6.3、这些图像用于ai识别(例如，人脸识别、车牌识别)时成功率较低，这给智能安防带来了很大隐患。
7.传统的编解码技术使用低通滤波和中值滤波的方式进行噪声的处理。但低通滤波在去除噪声的同时图片会变得模糊。中值滤波采用非线性的方法，在保护图像尖锐的边缘同时，选择适当的点来替代污染点的值，所以处理效果不会像低通滤波那样模糊，但中值滤波的算法决定了对椒盐噪声表现较好，对高斯噪声等其它噪声表现较差。近年来随着人工智能的发展，机器学习算法和深度学习算法被应用到图像去噪领域，并取得了较为明显的成果，但人工智能模型的训练依赖于大量样本集的标注和学习，在推理阶段依赖于硬件的算力，在端侧进行isp处理和ai处理时会增加硬件成本。
8.目前已经存在利用中值滤波与非线性映射相结合的方法对图像的噪声进行抑制，由此实现在保持原有图像能见度的同时，抑制低照度图像的噪声，提高夜间图像的监控画面质量，然而，采用中值滤波的方法的泛化能力较差，仅对椒盐噪声有一定效果，对其它噪声效果较差。另外，目前还提出了相似场景下使用高质量相似图像进行图像增强的方法，但是该方法直接使用直方图匹配的方式去匹配，导致准确率较低，因为直方图本身受光照影响较大。相对于目前已经存在的方法，基于深度学习的方法取得了更好的效果，但是深度学习需要训练的权重以及偏置等参数多达百万以上，模型训练的速度慢，时间长，计算成本太高。因此，为了改进图像去噪方面的性能，减小对算力的依赖，期望提供一种改进的去除低照度图片噪声的方法。


技术实现要素：

9.提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
10.针对上述现有技术中存在的不足，本发明结合摄像头业务的实际应用情况，区别于行业内主流的盲去噪方案，引入白天光照好的视频帧作为参照帧，使用宽度学习和生成对抗网络技术对低照度图像进行有目的可量化的去噪处理，例如，可用于终端进行h264/h265编码前的isp处理，对i帧和p帧进行去噪，这可以节省存储成本，提升用户体验，也可以用于深度学习图像识别的预处理模块，提高图像识别的准确率。
11.根据本发明的一个方面，提供了一种用于去除低照度图片噪声的方法，所述方法包括：获取待去噪的低照度图片；将所获取的低照度图片作为输入数据输入经训练的宽度学习网络进行空间特征提取以得到对应的特征向量，其中所述宽度学习网络是通过确定所述输入数据所映射到的特征节点和增强节点到给定目标值的伪逆来训练得到的；以及将所得到的特征向量输入经训练的生成对抗网络中的生成网络以生成去噪图片，其中所述生成对抗网络是通过将所述生成网络和判别网络进行交替训练来得到的。
12.根据本发明的一个实施例，所述方法进一步包括：对所获取的低照度图片进行特征提取以得到对应的低照度特征向量；并且在所述低照度特征向量与高照度参照特征库中的一个或多个高照度参照特征向量之间的余弦相似度大于预定阈值时，返回与所述一个或多个高照度参照特征向量中与所述低照度特征向量的余弦相似度最大的高照度参照特征向量相对应的高照度参照图片作为输入数据输入所述宽度学习网络。
13.根据本发明的进一步实施例，所述高照度参照特征库是通过以下方式来构建的：定期采集高照度参照图片，其中所述高照度参照图片的亮度高于一阈值；对所述高照度参照图片进行特征提取以得到对应的高照度参照特征向量；将所述高照度参照特征向量与所述高照度参照特征库中已有特征向量进行比对；在所述高照度参照特征向量与所述高照度参照特征库中已有特征向量中的每一者之间的余弦相似度小于预定阈值时，将所述高照度参照特征向量加入所述高照度参照特征库中；对所述高照度参照特征向量所对应的高照度参照图片进行灰度处理；对所述经灰度处理的图片进行拉普拉斯变换并且序列化保存。
14.根据本发明的进一步实施例，所述生成对抗网络的训练是通过重复以下步骤来实现的，其中将不含噪声的清晰图片与对应的低照度图片作为训练数据集：将所述训练数据集中的低照度图片经由所述宽度学习网络所提取到的特征向量输入所述生成对抗网络中的生成网络以生成去噪图片；将所生成的去噪图片与对应的不含噪声的清晰图片输入所述生成对抗网络中的判别网络以供所述判别网络进行真实图片判别；基于损失计算来对所述生成网络和所述判别网络进行优化。
15.根据本发明的另一方面，提供了一种用于去除低照度图片噪声的系统，所述系统包括：特征提取模块，所述特征提取模块被配置成：获取待去噪的低照度图片；对所获取的低照度图片进行特征提取以得到对应的低照度特征向量；相似图片对比模块，所述相似图片对比模块被配置成：将所述低照度特征向量与高照度参照特征库中的一个或多个高照度参照特征向量进行逐一比对；并且在所述低照度特征向量与所述一个或多个高照度参照特征向量之间的余弦相似度大于预定阈值时，确定存在相似图片并且返回与所述一个或多个
高照度参照特征向量中与所述低照度特征向量余弦相似度最大的高照度参照特征向量相对应的高照度参照图片作为输入数据；否则，确定不存在相似图片并且直接将所获取的低照度图片作为输入数据；宽度学习特征提取模块，所述宽度学习特征提取模块被配置成将所述输入数据输入经训练的宽度学习网络进行空间特征提取以得到对应的特征向量，其中所述宽度学习网络是通过确定所述输入数据所映射到的特征节点和增强节点到给定目标值的伪逆来训练得到的；以及生成对抗网络去噪模块，所述生成对抗网络去噪模块被配置成将所得到的特征向量输入经训练的生成对抗网络中的生成网络以生成去噪图片，其中所述生成对抗网络是通过将所述生成网络和判别网络进行交替训练来得到的。
16.根据本发明的一个实施例，所述高照度参照特征库是通过以下方式来构建的：定期采集高照度参照图片，其中所述高照度参照图片的亮度高于一阈值；对所述高照度参照图片进行特征提取以得到对应的高照度参照特征向量；将所述高照度参照特征向量与所述高照度参照特征库中已有特征向量进行比对；在所述高照度参照特征向量与所述高照度参照特征库中已有特征向量中的每一者之间的余弦相似度小于预定阈值时，将所述高照度参照特征向量加入所述高照度参照特征库中；对所述高照度参照特征向量所对应的高照度参照图片进行灰度处理；对所述经灰度处理的图片进行拉普拉斯变换并且序列化保存。
17.根据本发明的进一步实施例，对所述低照度图片和高照度参照图片的特征提取是采用尺度不变特征变换sift算子来进行的。
18.根据本发明的进一步实施例，所述生成对抗网络的训练是通过重复以下步骤来实现的，其中将不含噪声的清晰图片与对应的低照度图片作为训练数据集：将所述训练数据集中的低照度图片经由所述宽度学习网络所提取到的特征向量输入所述生成对抗网络中的生成网络以生成去噪图片；将所生成的去噪图片与对应的不含噪声的清晰图片输入所述生成对抗网络中的判别网络以供所述判别网络进行真实图片判别；基于损失计算来对所述生成网络和所述判别网络进行优化。
19.根据本发明的又一方面，提供了一种用于去除低照度图片噪声的系统，其特征在于，所述系统包括：存储器，所述存储器存储有经训练的宽度学习网络和生成对抗网络以及计算机可执行指令；以及至少一个处理器，所述计算机可执行指令在被执行时使所述至少一个处理器执行以下操作：获取待去噪的低照度图片；将所获取的低照度图片作为输入数据输入所述宽度学习网络进行空间特征提取以得到对应的特征向量，其中所述宽度学习网络是通过确定所述输入数据所映射到的特征节点和增强节点到给定目标值的伪逆来训练得到的；以及将所得到的特征向量输入所述生成对抗网络中的生成网络以生成去噪图片，其中所述生成对抗网络是通过将所述生成网络和判别网络进行交替训练来得到的。
20.根据本发明的一个实施例，所述存储器进一步存储有高照度参照特征库，并且所述计算机可执行指令在被执行时使所述至少一个处理器进一步执行以下操作：对所获取的低照度图片进行特征提取以得到对应的低照度特征向量；并且在所述低照度特征向量与所述高照度参照特征库中的一个或多个高照度参照特征向量之间的余弦相似度大于预定阈值时，返回与所述一个或多个高照度参照特征向量中与所述低照度特征向量的余弦相似度最大的高照度参照特征向量相对应的高照度参照图片作为输入数据输入所述宽度学习网络。
21.与现有技术中的方案相比，本发明所提供的用于去除低照度图片噪声的方法和系
统至少具有以下优点：
22.(1)去噪效果好：引入宽度学习和生成对抗网络后可以获得更加干净的图片，可以减少低通滤波去噪造成的模糊问题；
23.(2)算力要求低：相比于深度学习所需的大量非线性计算，本发明基于宽度学习法，大部分计算为线性计算，对算力要求低，可以在摄像头、可视门铃、手机等低算力设备上使用；以及
24.(3)使用灵活：本发明的去噪方法不仅可以实现为神经网络的预处理流程，还可以实现为h264/h265编码器的isp处理流程。
25.通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。
附图说明
26.为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。
27.图1示出了根据本发明的一个实施例的用于去除低照度图片噪声的系统的示例架构图；
28.图2示出了根据本发明的一个实施例的用于构建高照度参照特征库的方法的示例流程图；
29.图3示出了根据本发明的一个实施例的用于去除低照度图片噪声的方法的示例流程图；
30.图4示出了根据本发明的一个实施例的宽度学习网络的示例结构图；
31.图5示出了根据本发明的一个实施例的生成对抗网络的示例结构图；
32.图6示出了根据本发明的一个实施例的生成对抗网络中的判别网络的示例结构图；以及
33.图7示出了根据本发明的一个实施例的用于去除低照度图片噪声的系统的示例架构图。
具体实施方式
34.下面结合附图详细描述本发明，本发明的特点将在以下的具体描述中得到进一步的显现。
35.图1示出了根据本发明的一个实施例的用于去除低照度图片噪声的系统100的示例架构图。如图1中所示，本发明的系统100至少包括：特征提取模块101、相似图片对比模块102、宽度学习特征提取模块103以及生成对抗网络去噪模块104。
36.特征提取模块101可被配置成获取待去噪的低照度图片，并且对所获取的低照度图片进行特征提取以得到对应的低照度特征向量。在一些情形中，可以采用sift算子对所获取的低照度图片进行特征提取以得到对应的128维的特征向量，其中sift算子是一种非
常稳定的局部特征提取算子，可以实现旋转、尺度缩放、亮度变化等保持不变性。
37.相似图片对比模块102可被配置成将经由特征提取模块101得到的低照度特征向量与高照度参照特征库中的各高照度参照特征向量进行逐一比对，并且在该低照度特征向量与一个或多个高照度参照特征向量之间的余弦相似度大于预定阈值(例如，0.85)时，确定存在相似图片并且直接返回与该一个或多个高照度参照特征向量中与该低照度特征向量余弦相似度最大的高照度参照特征向量相对应的高照度参照图片以供进一步的图像处理，否则，确定不存在相似图片。高照度参照特征库的构建将在下文中进一步详细描述。
38.宽度学习特征提取模块103可被配置成利用经训练的宽度学习网络来提取所获取的低照度图片的空间特征以得到对应的特征向量，其中该宽度学习网络是通过确定输入数据所映射到的特征节点和增强节点到给定目标值的伪逆来训练得到的，其中宽度学习网络的训练过程将在下文中进一步详细描述。
39.生成对抗网络去噪模块104可被配置成将经由宽度学习网络提取到的特征输入经训练的生成对抗网络中的生成网络以生成去噪图片，其中该生成对抗网络是通过将生成网络和判别网络进行交替训练来得到的具备去噪功能的网络。进一步地，经由生成网络去噪的接近原始图片的数据可被输入到h264/h265编码器以用于视频编码。
40.本领域技术人员能够理解，本发明的系统及其各模块既可以以硬件形式实现，也可以以软件形式实现，并且各模块可以任意合适的方式合并或组合。
41.图2示出了根据本发明的一个实施例的用于构建高照度参照特征库的方法200的示例流程图。方法200开始于步骤201，定期采集高照度参照图片，并且在该图片的亮度低于一定阈值时舍弃，在该图片的亮度高于该阈值时进入下一图片处理过程。作为一个示例，可以在早上9:00到下午15:00期间每隔一小时采集一次摄像机的图片，如果亮度低于一定阈值则舍弃，如果亮度高于阈值则进入下一步。
42.在步骤202，对所采集的高照度参照图片进行特征提取以得到对应的高照度参照特征向量。在一个优选的实施方式中，可以采用sift算子来对所采集的高照度参照图片进行特征提取以得到128维的表征特征向量。
43.在步骤203，将所得到的高照度参照特征向量与高照度参照特征库中已有特征向量进行比对，并且在该高照度参照特征向量与库中已有特征向量中的某个特征向量之间的余弦相似度大于预定阈值(例如，0.9)时，说明已有类似参照图，则舍弃该高照度参照特征向量，否则，将该高照度参照特征向量存入高照度参照特征库中并且进入下一步。
44.在步骤204，对该高照度参照特征向量所对应的高照度参照图片进行灰度处理，其中灰度处理主要用于消除色彩对图片边缘的影响。
45.在步骤205，对经灰度处理的图片进行拉普拉斯变换并且序列化保存，其中拉普拉斯变换用于提取图片的边缘轮廓。
46.由此，通过图2所示的方法200，可以构建高照度参照特征库并且对其进行不断更新，从而在本发明中通过引入高照度参照特征库来进行图像的增强。
47.图3示出了根据本发明的一个实施例的用于去除低照度图片噪声的方法300的示例流程图。方法300开始于步骤301，特征提取模块101可获取待去噪的低照度图片，并且对所获取的低照度图片进行sift特征提取以得到对应的低照度特征向量。
48.在步骤302，相似图片对比模块102可将在步骤301中提取到的sift特征与高照度
参照特征库(例如，利用参考图2所描述的方法200来构建的高照度参照特征库)里的sift特征逐个进行比较。
49.在步骤303，如果所提取到的sift特征与高照度参照特征库中某个sift特征的余弦相似度大于预定阈值(例如，0.85)，则在步骤304，确定存在相似图片并且返回与该sift特征相对应的经灰度处理和拉普拉斯变换的高照度参照图片作为输入数据。优选地，如果高照度参照特征库存在多个sift特征与所提取到的sift特征之间的余弦相似度大于预定阈值，则在步骤304，确定存在相似图片并且返回与该多个sift特征中余弦相似度最大的sift特征相对应的经灰度处理和拉普拉斯变换的高照度参照图片作为输入数据。
50.否则，在步骤305，确定不存在相似图片并且直接将所获取的低照度图片作为输入数据。
51.在步骤306，所述宽度学习特征提取模块可将输入数据输入宽度学习网络进行空间特征提取以得到对应的特征向量。宽度学习的核心是计算特征节点和增强节点到目标值的伪逆，其中宽度学习网络先利用特征节点提取图片的特征，随后通过增强映射函数对各自的特征节点进行增强，形成对应的增强节点，特征节点和增强节点作为宽度学习网络的输入层，求得的逆矩阵相当于神经网络的权值。宽度学习网络的示例结构图400如图4所示，其中用于训练宽度学习网络的方法的具体步骤如下：
52.s1：生成特征节点，建立输入数据到特征节点的映射。
53.设定训练集为h
′
1(s
×
f)
，其中s表示样本个数，f表示特征数。首先，对训练集进行z分数标准化，把输入数据归一化到(0，1)之间。随后，为了在生成特征节点后可以直接通过矩阵运算增加偏置项，对归一化后的数据进行增广操作，在训练集最后增加一列，将训练集转换为h
′
1(s
×
(f+1))
。随后按照以下步骤开始为每个窗口生成特征节点：
54.1)生成服从高斯分布的维度为(f+1)
×
n1的随机权重矩阵we，其中n1表示每个窗口特征节点的个数；
55.2)将we放入we{i}，i表示迭代量，迭代次数记为n2；
56.3)令a1＝h1×
we；
57.4)对a1进行归一化；
58.5)为有效减少新生成特征节点的线性相关程度并求得稀疏矩阵w以使得h1×
w＝a1，对a1进行稀疏表示，在稀疏表示之后，a1的维度为s
×
(f+1)，此处采用例如lasso方法解决稀疏表示过程中的优化问题。由此，可求得：
[0059][0060]
6)生成一个窗口的特征节点
[0061]
t1：t1＝normal(h1×
w)
[0062]
其中，normal表示归一化，每个窗口特征节点的归一化方法记为ps(i)。对于n2个特征窗口，为每个特征窗口生成n1个特征节点，每个节点是s维特征向量。如此，对于整个网络，特征节点矩阵y就是一个维数为s
×
(n2×
n1)的矩阵。
[0063]
s2：生成增强节点。
[0064]
宽度学习网络的另一特性在于，可以利用增强节点对随机的特征节点进行补充。通过上述步骤生成的特征节点都是线性的，而引入增强节点的目的就是为了增加网络中的非线性因素。
[0065]
1)与特征节点一样，首先对特征节点矩阵y进行标准化与增广，得到h2。与特征节点不同，增强节点的系数矩阵不是随机矩阵，而是经过正交规范化后的随机矩阵。假设(n2×
n1)＞n3，则增强节点的系数矩阵wh可以表示为(n2×
n1)
×
n3维经过正交规范化的随机矩阵。这样做的目的是将特征节点通过非线性映射到一个高维的子空间，使得网络的表达能力更强以起到“增强”的目的；
[0066]
2)对增强节点进行激活：
[0067][0068]
其中，s表示增强节点的缩放尺度，是网络中可调参数之一。tansig是bp神经网络中常用的一种激活函数，可以最大程度将增强节点所表达的特征进行激活；
[0069]
3)最终生成网络的输入t3：与特征节点相比，增强节点并不需要进行稀疏表示，也不需要进行窗口迭代。虽然正交化的迭代也会耗费一些计算时间，但增加增强节点所需的计算时间往往少于增加特征节点所需的计算时间。由此，网络最终的输入可以表示为每个样本的特征维度为(n1×
n2)+n3。
[0070]
s3：求伪逆，即，求得宽度网络中输入到输出的映射。
[0071]
假设y
x
为网络的输出值，即y
x
＝t3×
w，则
[0072][0073]
其中，y为训练集的标签。如此，整个网络的输入和权重就训练完成了，训练完成之后需要保存的参数只有w和ps，因此，与深度学习相比，网络参数量很少，所需算力较低。
[0074]
随后，在步骤307，生成对抗网络去噪模块104可将在步骤306中提取到的特征向量输入经训练的生成对抗网络中的生成网络以生成去噪图片，其中该生成对抗网络是通过将所述生成网络和判别网络进行交替训练来得到的。生成对抗网络的示例结构图500如图5所示，其中用于训练生成对抗网络的方法的具体步骤如下：
[0075]
步骤s1：将不含噪声的清晰图片与对应的低照度图片作为训练数据集。
[0076]
步骤s2：将训练数据集中的低照度图片输入经训练的宽度学习网络以提取出对应的空间特征并且将其输入生成网络以生成去噪图片(假样本)。
[0077]
步骤s3：将所生成的去噪图片(假样本)与训练数据集中相应的不含噪声的清晰图片(真样本)输入判别网络以供其进行真实图片判别，其中所生成的去噪图片的标签为0，不含噪声的清晰图片的标签为1。判别网络被设计用来判别输入的图片是真实图片(真样本)还是生成图片(假样本)，通过不断迭代的训练可以提高判别网络的判别能力。判别网络可具有不同的结构，在一个示例中，判别网络的结构600如图6所示，其中通过平均池化对特征进行下采样操作，可以很好的保留图像特征，通过多次的3*3卷积核，步长为2进行卷积，可提取高维的纹理信息。另外，在如图6所示的判别网络中，借鉴resnet网络中的残差思想，在其中加入两个残差模块，对特征进行提取和融合，残差模块可以加速特征的提取和训练的收敛，并获得更好的特征。
[0078]
在图6的示例中，残差网络的输出可以表示为：
[0079]
x
l+1
＝x
l
+f(x
l
，w
l
)
[0080]
其中，x
l
为残差结构的输入，f为残差网络的卷积分支，w
l
为卷积核参数。
[0081]
堆叠残差可以表示为：
[0082][0083]
其中，表示多个残差结构的卷积分支，x
l
为堆叠残差块的输出。
[0084]
根据反向传播结果，输出最优残差网络结构：
[0085][0086]
步骤s4：对生成网络和判别网络进行损失计算，并且根据计算结果来不断优化生成网络和判别网络的参数，其中为了保证判别网络能够正确指导生成网络的训练，需要进行预训练，预训练采用均方误差作为损失函数进行初步优化。训练完成之后，所得到的生成网络即为一个具有去噪功能的网络。
[0087]
随后，所生成的去噪图片可以作为h264/h265编码器的输入数据进行进一步处理，由此实现了存储容量的减少和用户体验的提升。
[0088]
图7示出了根据本发明的一个实施例的用于去除低照度图片噪声的系统700的示例架构图。系统700可被实现在手机端或云端。如图7所示，系统700可包括存储器701和至少一个处理器702。存储器701可存储经训练的宽度学习网络和生成对抗网络。存储器701可包括ram、rom、或其组合。存储器701可存储计算机可执行指令，这些指令在由至少一个处理器702执行时使该至少一个处理器执行本文中所描述的各种功能，包括获取待去噪的低照度图片；将所获取的低照度图片作为输入数据输入经训练的宽度学习网络进行空间特征提取以得到对应的特征向量；以及将所得到的特征向量输入经训练的生成对抗网络中的生成网络以生成去噪图片。在一些情形中，存储器701可尤其包含bios，该bios可控制基本硬件或软件操作，诸如与外围组件或设备的交互。处理器702可包括智能硬件设备(例如，通用处理器、dsp、cpu、微控制器、asic、fpga、可编程逻辑器件、分立的门或晶体管逻辑组件、分立的硬件组件，或其任何组合)。
[0089]
在一个优选的实施方式中，存储器701还可存储高照度参照特征库，其中该高照度参照特征库可以例如通过如图2所示的方法来构建。当在存储器701中所存储的计算机可执行指令由至少一个处理器702执行时进一步使该至少一个处理器执行附加的功能，包括对所获取的低照度图片进行特征提取以得到对应的低照度特征向量；以及在该低照度特征向量与高照度参照特征库中的一个或多个高照度参照特征向量之间的余弦相似度大于预定阈值时，返回与该一个或多个高照度参照特征向量中与该低照度特征向量的余弦相似度最大的高照度参照特征向量相对应的高照度参照图片作为输入数据输入宽度学习网络。
[0090]
结合本文中的公开描述的各种解说性框以及模块可以用设计成执行本文中描述的功能的通用处理器、dsp、asic、fpga或其他可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可被实现为计算设备的组合(例如，dsp与微处理器的组合、多个微处理器、与dsp核心协同的一个或多个微处理器，或者任何其他此类配置)。
[0091]
本文中所描述的功能可以在硬件、由处理器执行的软件、固件、或其任何组合中实现。如果在由处理器执行的软件中实现，则各功能可以作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。其他示例和实现落在本公开及所附权利要求的范围内。例如，由于软件的本质，本文描述的功能可使用由处理器执行的软件、硬件、固件、硬连线或其任何组合来实现。实现功能的特征也可物理地位于各种位置，包括被分布以使得功能的各部分在不同的物理位置处实现。
[0092]
以上所已经描述的内容包括所要求保护主题的各方面的示例。当然，出于描绘所要求保护主题的目的而描述每一个可以想到的组件或方法的组合是不可能的，但本领域内的普通技术人员应该认识到，所要求保护主题的许多进一步的组合和排列都是可能的。从而，所公开的主题旨在涵盖落入所附权利要求书的精神和范围内的所有这样的变更、修改和变化。