基于单像素相机的视频多帧重建方法及装置

本发明涉及计算机视觉和计算摄像学技术领域，尤其涉及一种基于单像素相机的视频多帧重建方法和装置。

背景技术：

单像素相机是一种利用空间光调制器和单个光敏探测器实现多维成像设备。单像素成像方法打破了光敏探测器只能实现单点探测的限制，具有低成本、高信噪比、宽频谱范围等优势。因此，单像素相机在高光谱成像、太赫兹成像、三维成像、光学加密等方面都得到了广泛应用。

近年来，单像素相机优越的性能和视频成像方面的需求促使单像素视频重建成为一个热门领域。单像素视频成像速度受限于两个因素：采集速度和重建速度。采集速度受空间光调制器掩膜切换速度和采样率影响。重建速度于成像方法直接相关。空间光调制器掩膜切换速度可由led和opa等快速切换的光子器件进行提升，但提升效果有限。此外，高采样率和重建速度依赖于重建方法性能。而现有重建方法重建时间长、效率低，大大限制了成像速度。

现有单像素视频成像的重建方法有：基于压缩感知的方法、基于傅里叶变换方法、基于walsh-hamdard变换的方法和基于深度学习的方法等。基于压缩感知方法降低了采样率，但计算代价大，成像速度慢，无法广泛应用。后续提出的进化压缩感知方法提高了帧率，效率高，但成像效率与图像质量需要权衡。傅里叶变换方法，利用闭式解加速，相较于基于压缩感知的方法速度提高了，在采样率0.03采样率实现256*256重建，数据采集与重建并行,帧率为11hz。基于walsh-hamdard变换的方法是现有单像素视频传统方法的主流，walsh-hamdard变换重建速度快，采样率低，但效率仍有待提高。2018年，基于卷积自动编码网络的单像素视频成像，以每秒三十帧、0.02采样率重建出128*128图像，精度和效率高，但依赖于训练样本，可重复性差。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种基于单像素相机的视频多帧重建方法，该方法利用单像素相机获取连续多帧图像对应的一维测量值，基于所述连续多帧图像对应的一维测量值建立视频多帧重建模型，所述视频多帧重建模型使得多帧图像在时间维度上具有低秩性，在空间维度上具有全变分正则化先验，通过增广拉格朗日乘子法求解所述视频多帧重建模型，得出各变量迭代表达式；代入测量值和已知的调制掩膜矩阵，经多次迭代，从所述测量值中解耦合出多帧图像。由此，在多帧图像帧间低秩性先验和视频帧内全变分正则化约束下的本申请实施例，可在较低采样率下，同时重建多帧图像，提高重建效率和重建精度，对噪声具有鲁棒性。

本发明第二个目的在于提出一种用于实现本发明第一个目的的装置

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

为达到上述目的，本发明第一方面实施例提出了一种基于单像素相机的视频多帧重建方法，该方法包括以下步骤：

利用单像素相机获取连续多帧图像对应的一维测量值；

基于所述连续多帧图像对应的一维测量值建立视频多帧重建模型，所述视频多帧重建模型使得多帧图像在时间维度上具有低秩性，在空间维度上具有全变分正则化先验；

通过增广拉格朗日乘子法求解所述视频多帧重建模型，得出各变量迭代表达式；

代入测量值和已知的调制掩膜矩阵，经多次迭代，从所述测量值中解耦合出多帧图像。

另外，根据本发明第一方面实施例的基于单像素相机的视频多帧重建方法还可以通过下述方式实现：

进一步地，在本发明第一方面实施例中，所述视频多帧重建模型的表达式为：

min||s1||*+||s2||i1，

s.t.g1＝s1-x,

g2＝s2-hx,

g3＝b-ax,

其中，最小化核范数||·||*表示帧间低秩性约束，最小化l1范数||·||l1表示全变分正则化约束。x为待求解的多帧图像集合矩阵，x＝[x1,x2,x3,...,xp]，xi(i＝1,2,…,p)为从初始起第i个图像[m,n]的向量化，大小为[1,m*n]，多帧图像集合矩阵内共含有p帧视频图像。b为测量值矩阵，h为梯度算子，a为调制掩膜矩阵，a＝[a1,a2,a3,...,as]中ai(i＝1,2,…,s)为单个调制掩膜的向量化后的转置矩阵，ai大小为[m*n,1]，s为掩膜个数，s/(m*n)为单像素采样率。表达式中参数x满足b＝ax。为了方便求解引入若干个辅助变量，分别是s1、s2、g1、g2和g3，其中，s1满足s1＝x，s2满足s2＝hx，辅助变量g1、g2和g3理论上为0。

进一步地，在本发明第一方面实施例中，通过所述增广拉格朗日乘子法推导出一种凸优化算法来求解所述视频多帧重建模型；

其中，所述通过所述增广拉格朗日乘子法推导出一种凸优化算法来求解所述视频多帧重建模型包括以下步骤：

通过所述增广拉格朗日乘子法将所述视频多帧重建模型的表达式转化为最小化拉格朗日函数，所述最小化拉格朗日函数公式为：

其中，最小化核范数||·||*表示帧间低秩性约束，最小化l1范数||·||l1表示全变分正则化约束，最小化f范数表示辅助变量与对应变量间误差尽可能小，<·>表示内积。x为待求解的多帧图像集合矩阵，x＝[x1,x2,x3,...,xp]，xi(i＝1,2,…,p)为从初始起第i个图像[m,n]的向量化，大小为[1,m*n]，多帧图像集合矩阵内共含有p帧视频图像。b为测量值矩阵，h为梯度算子，a为调制掩膜矩阵，a＝[a1,a2,a3,...,as]中ai(i＝1,2,…,s)为单个调制掩膜的向量化后的转置矩阵，ai大小为[m*n,1]，s为掩膜个数，s/(m*n)为单像素采样率。表达式中参数x满足b＝ax。为了方便求解引入辅助变量s1和s2，满足s1＝x，s2＝hx。μ1，μ2和μ3为平衡优化项的权重，y1,y2和y3为将等式约束纳入目标函数的拉格朗日乘数。

求得参数的解或者更新公式。

进一步地，在本发明第一方面实施例中，所述求得参数的解或者更新公式采用迭代优化方法对转化后的所述公式进行优化，并在每次迭代中顺序更新所述公式中的每个变量，所述每个变量的更新原则是在保持其它变量不变的情况下求使得拉格朗日函数最小化的值。

进一步地，在本发明第一方面实施例中，所述求得参数的解或者更新公式利用梯度下降算法、直接求闭式解、或者共轭梯度法的方法求解。

进一步地，在本发明第一方面实施例中，所述代入测量值和已知的调制掩膜矩阵，从所述测量值中解耦合出多帧图像，其中，同时从求得的多帧图像集合矩阵x中恢复出2帧及以上的多帧图像。

为达上述目的，本发明第二方面实施例提出了一种用于实现本发明第一方面实施例所述方法的装置，该装置包括获取模块、预处理模块、构建模块、求解模块和重建模块；

所述获取模块，用于采集时间连续的所述多帧图像对应的一维测量值；

所述预处理模块，用于将所述多帧图像对应的一维测量值生成测量值矩阵，将与所述测量值对应的掩膜生成调制掩膜矩阵，以及初始化待求的多帧图像集合矩阵；

所述构建模块，用于在帧间低秩性和帧内空间全变分正则化约束下构建所述视频多帧重建模型；

所述求解模块，通过增广拉格朗日乘子法求解所述视频多帧重建模型，得出各变量迭代表达式，代入测量值和已知的调制掩膜矩阵，经多次迭代，从所述测量值中得出多帧图像；

所述重建模块，用于处理所求的多帧图像集合矩阵，一次性分离出待重建多个多帧图像。

另外，根据本发明第二方面实施例的装置还可以通过下述方式实现：

进一步地，在本发明第二方面实施例中，在预处理模块中，将多个所述多帧图像对应的测量值和与所述测量值对应的掩膜生成帧数对应的矩阵时，向量化后按列向量拼合为矩阵的形式。

为达上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本发明第一方面实施例所述的方法。

为达上述目的，本发明第四方面实施例提出了其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明第一方面实施例所述的方法。

本申请实施例利用单像素相机获取连续多帧图像对应的一维测量值，基于所述连续多帧图像对应的一维测量值建立视频多帧重建模型，所述视频多帧重建模型使得多帧图像在时间维度上具有低秩性，在空间维度上具有全变分正则化先验；通过增广拉格朗日乘子法求解所述视频多帧重建模型，得出各变量迭代表达式；代入测量值和已知的调制掩膜矩阵，经多次迭代，从所述测量值中解耦合出多帧图像。由此，在多帧图像帧间低秩性先验和视频帧内全变分正则化约束下的本申请实施例，可在较低采样率下，同时重建多帧图像，提高重建效率和重建精度，对噪声具有鲁棒性。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请实施例一所提供的一种基于单像素相机的视频多帧重建方法的流程示意图；

图2是本申请实施例的整体流程示意图；

图3是本申请实施例的仿真结果图；

图4是本申请实施例所提供的一种基于单像素相机的视频多帧重建装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的基于单像素相机的视频多帧重建方法和装置。首先将参照附图描述根据本发明实施例提出的基于单像素相机的视频多帧重建方法。

图1为本发明实施例一所提供的一种基于单像素相机的视频多帧重建方法的流程示意图，图2给出了本申请实施例的整体流程示意图。

本申请实施例利用单像素相机获取连续多帧图像对应的一维测量值；基于连续多帧图像对应的一维测量值建立视频多帧重建模型，视频多帧重建模型使得多帧图像在时间维度上具有低秩性，在空间维度上具有全变分正则化先验；通过增广拉格朗日乘子法求解所述视频多帧重建模型，得出各变量迭代表达式；代入测量值和已知的调制掩膜矩阵，经多次迭代，从所述测量值中解耦合出多帧图像。由此，在多帧图像帧间低秩性先验和视频帧内全变分正则化约束下的本申请实施例，可在较低采样率下，同时重建多帧图像，提高重建效率和重建精度，对噪声具有鲁棒性，也就是说，本申请实施例具有高信噪比、高精度、低成本、效率高、适应性好等特性。

如图1和2所示，该基于单像素相机的视频多帧重建方法包括以下步骤：

首先，本申请实施例利用单像素相机获取连续多帧图像对应的一维测量值。

具体而言，本申请实施例通过空间光调制器对目标物体反射光进行光波调制，再利用光敏探测器进行探测，以获取多个连续的多帧图像对应的一维测量值。

然后，本申请实施例基于连续多帧图像对应的测量值建立视频多帧重建模型，视频多帧重建模型使得多帧图像在时间维度上具有低秩性，在空间维度上具有全变分正则化先验。

进一步地，本申请实施例基于连续多帧图像对应的测量值建立视频多帧重建模型，视频多帧重建模型使得多帧图像在时间维度上具有低秩性，在空间维度上具有全变分正则化先验；

其中，视频多帧重建模型的表达式为：

min||s1||*+||s2||l1，

s.t.g1＝s1-x,

g2＝s2-hx,

g3＝b-ax,

其中，最小化核范数||·||*表示帧间低秩性约束，最小化l1范数||·||l1表示全变分正则化约束。x为待求解的多帧图像集合矩阵，x＝[x1,x2,x3,...,xp]，xi(i＝1,2,…,p)为从初始起第i个图像[m,n]的向量化，大小为[1,m*n]，多帧图像集合矩阵内共含有p帧视频图像。b为测量值矩阵，h为梯度算子，a为调制掩膜矩阵，a＝[a1,a2,a3,...,as]中ai(i＝1,2,…,s)为单个调制掩膜的向量化后的转置矩阵，ai大小为[m*n,1]，s为掩膜个数，s/(m*n)为单像素采样率。表达式中参数x满足b＝ax。为了方便求解引入辅助变量s1和s2，满足s1＝x，s2＝hx。辅助变量g1,g2,g3理论上为0。

随后，本申请实施例通过增广拉格朗日乘子法求解所述视频多帧重建模型。

进一步地，本申请实施例通过增广拉格朗日乘子法推导出一种凸优化算法来求解视频多帧重建模型；

其中，通过增广拉格朗日乘子法推导出一种凸优化算法来求解视频多帧重建模型包括以下步骤：

首先，本申请实施例通过增广拉格朗日乘子法将视频多帧重建模型的表达式转化为最小化拉格朗日函数，最小化拉格朗日函数公式为：

其中，最小化核范数||·||*表示帧间低秩性约束，最小化l1范数||·||l1表示全变分正则化约束，最小化f范数表示辅助变量与对应变量间误差尽可能小，<·>表示内积。x为待求解的多帧图像集合矩阵，x＝[x1,x2,x3,...,xp]，xi(i＝1,2,…,p)为从初始起第i个图像[m,n]的向量化，大小为[1,m*n]，多帧图像集合矩阵内共含有p帧视频图像。b为测量值矩阵，h为梯度算子，a为调制掩膜矩阵，a＝[a1,a2,a3,...,as]中ai(i＝1,2,…,s)为单个调制掩膜的向量化后的转置矩阵，ai大小为[m*n,1]，s为掩膜个数，s/(m*n)为单像素采样率。表达式中参数x满足b＝ax。为了方便求解引入辅助变量s1和s2，满足s1＝x，s2＝hx。μ1，μ2和μ3为平衡优化项的权重，y1,y2和y3为将等式约束纳入目标函数的拉格朗日乘数。

然后，本申请实施例求得参数的解或者更新公式。

进一步地，本申请实施例求得参数的解或者更新公式采用迭代优化方法对转化后的上述公式进行优化，并在每次迭代中顺序更新公式中的每个变量，每个变量的更新原则是在保持其它变量不变的情况下求使得拉格朗日函数最小化的值，详细的推导过程如下：

初始化矩阵x，已知调制掩膜矩阵a、测量值矩阵b、梯度算子h、y1、μ1和学习率δ。

步骤a，更新s1时，本申请实施例先去除与s1无关的项，最小化拉格朗日函数，也就是将目标函数的公式转化为：

本申请实施例再对步骤a中的式子进行求导，其导数为0，求解为：

其中，ustempv^t是s1-x的奇异值分解，且sθ^-1(x)函数定义为

本申请实施例中，步骤a涉及的参数定义如下：最小化核范数||·||*表示帧间低秩性约束，最小化f范数表示辅助变量与对应变量间误差尽可能小，<·>表示内积。x为待求解的多帧图像集合矩阵，x＝[x1,x2,x3,...,xp]，xi(i＝1,2,…,p)为从初始起第i个图像[m,n]的向量化，大小为[1,m*n]，多帧图像集合矩阵内共含有p帧视频图像。为了方便求解引入辅助变量s1，满足s1＝x。μ1为平衡优化项的权重，y1为将等式约束纳入目标函数的拉格朗日乘数。u为左奇异向量组成的矩阵，stemp表示奇异值矩阵，v^t表示右奇异向量组成的矩阵。

步骤b，更新s2时，本申请实施例先去除与s2无关的项，最小化拉格朗日函数，也就是将目标函数的公式转化为：

本申请实施例再对步骤b中的式子进行求导，其导数为0，求解为：

本申请实施例中，步骤b涉及的参数定义如下：最小化l1范数||·||l1表示全变分正则化约束，最小化f范数表示辅助变量与对应变量间误差尽可能小，<·>表示内积。x为待求解的多帧图像集合矩阵，x＝[x1,x2,x3,...,xp]，xi(i＝1,2,…,p)为从初始起第i个图像[m,n]的向量化，大小为[1,m*n]，多帧图像集合矩阵内共含有p帧视频图像。h为梯度算子。为了方便求解引入辅助变量s2，满足s2＝hx。μ2为平衡优化项的权重，y2为将等式约束纳入目标函数的拉格朗日乘数。

步骤c，更新x时，本申请实施例先去除与x无关的项，即，保留与x相关的项，此时，最小化拉格朗日函数，也就是将目标函数的公式转化为：

本申请实施例再对步骤c中的式子求x的导数，求解为：

x的更新原则为：

本申请实施例中，步骤c涉及的参数定义如下：δ为学习率，为除与x无关的项后对x的导数，了方便求解引入辅助变量s1和s2，满足s1＝x，s2＝hx。μ1，μ2和μ3为平衡优化项的权重，y1,y2和y3为将等式约束纳入目标函数的拉格朗日乘数。a为调制掩膜矩阵，a＝[a1,a2,a3,...,as]中ai(i＝1,2,…,s)为单个调制掩膜的向量化后的转置矩阵，ai大小为[m*n,1]，s为掩膜个数，s/(m*n)为单像素采样率，a^t为矩阵a的转置矩阵,h^t为矩阵h的转置矩阵。表达式中参数x满足b＝ax。

步骤d，更新y和μ：

y1'＝y1+μ1(s1-x),

y2'＝y2+μ2(s2-hx),

y3'＝y3+μ3(b-ax)。

μi选择固定不变，i为正整数1、2和3。

最后，本申请实施例满足预设的收敛条件后结束循环，求解所述的多帧图像集合矩阵。

进一步地，本申请实施例求得参数的解或者更新公式采用迭代优化方法对转化后的公式进行优化，并在每次迭代中顺序更新所述公式中的每个变量，每个变量的更新原则是在保持其它变量不变的情况下求使得拉格朗日函数最小化的值。

进一步地，本申请实施例求得参数的解或者更新公式利用梯度下降算法、直接求闭式解、或者共轭梯度法的方法求解，当然，本申请实施例也可以利用其他方法对其进行求解。

最后，代入测量值和已知的调制掩膜矩阵，经多次迭代，从所述测量值中解耦合出多帧图像。

进一步地，本申请实施例增设迭代收敛限，经过n次迭代收敛后，重建结果并输出多帧图像集合矩阵x，再将多帧图像集合矩阵x中的每列取出调整大小为原目标大小的矩阵，得到多帧图像，其中，n为正整数。

具体而言，设置迭代收敛限，代入测量值矩阵和已知的调制掩膜矩阵，经过多次迭代收敛后，重建结果输出为多帧图像集合矩阵x，再将多帧图像集合矩阵x中的每列取出调整大小为原目标大小的矩阵，结果则为目标图像，该方法可以一次重建出多帧图像。

图3给出了本申请实施例的仿真结果图。

如图3所示，为了验证本申请实施例上述方法的有效性，本申请实施例采用小车监控数据作为训练集进行了仿真。在0.25/每帧的采样率下，重建8帧结果与传统tv算法重建8帧结果对比结果，如图3所示，与传统tv算法相比，基于单像素相机的视频多帧重建方法重建效果精度高，优势明显。

在视频帧间低秩性先验和视频帧内全变分正则化约束下的多帧视频重建方法，充分利用测量过程中的冗余信息和先验信息，提高重建精度；同时重建多帧图像，大大提高重建效率。因此，本申请实施例所描述的方法与传统方法相比，可在更低采样率下同时重建多帧图像，重建精度高，对噪声更具有鲁棒性。

本申请实施例利用单像素相机获取连续多帧图像对应的一维测量值；基于连续多帧图像对应的一维测量值建立视频多帧重建模型，视频多帧重建模型使得多帧图像在时间维度上具有低秩性，在空间维度上具有全变分正则化先验；通过增广拉格朗日乘子法求解所述视频多帧重建模型，得出各变量迭代表达式；代入测量值和已知的调制掩膜矩阵，经多次迭代，从所述测量值中解耦合出多帧图像。由此，本申请实施例利用多帧图像帧间低秩性先验和视频帧内全变分最小化先验的多帧视频重建方法，可在较低采样率下，同时重建多帧图像，提高重建效率和重建精度，对噪声具有鲁棒性。

经过上述迭代更新，收敛后即可获得高分辨率重建结果，采用上述方案的本申请实施例能够有效解决传感器像素限制导致的欠采样的重建问题，并能消除成像过程引入的噪声。

图4给出了本申请实施例所提供的一种基于单像素相机的视频多帧重建装置的结构示意图。

如图4所示，本申请实施例所提供的一种基于单像素相机的视频多帧重建装置包括获取模块、预处理模块、构建模块、求解模块和重建模块。

具体而言，获取模块，用于采集时间连续的多帧图像对应的一维测量值。

预处理模块，用于将多帧图像对应的一维测量值生成测量值矩阵，将与测量值对应的掩膜生成调制掩膜矩阵，以及初始化待求的目标矩阵x。本申请实施例在预处理模块中，将多个多帧图像对应的测量值和与其对应的掩膜生成帧数对应的矩阵时，向量化后按列向量拼合为矩阵的形式。

构建模块，用于在帧间低秩性和帧内空间全变分正则化约束下构建视频多帧重建模型。

求解模块，用于通过增广拉格朗日乘子法求解所述视频多帧重建模型，得出各变量迭代表达式，代入测量值和已知的调制掩膜矩阵，经多次迭代，从所述测量值中解耦合出多帧图像。本申请实施例的求解模块通过拉格朗日乘子法推导模型方法，在各项参数求解的过程中包括但不限于梯度下降法、直接求闭式解、共轭梯度法等优化方法求解。

重建模块，用于处理多帧图像集合矩阵x，一次性分离出待重建多个多帧图像，本申请实施例具体用于同时重建多帧，包括但不限于2帧、3帧、4帧等的同时重建，也就是说，多帧图像的重建包括2帧、3帧、4帧以上帧数图像。

另外，本申请实施例还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述计算机程序时，实现本申请实施例一提出的方法。

本申请实施例利用单像素相机获取连续多帧图像对应的一维测量值；基于连续多帧图像对应的一维测量值建立视频多帧重建模型，视频多帧重建模型使得多帧图像在时间维度上具有低秩性，在空间维度上具有全变分正则化先验；通过增广拉格朗日乘子法求解所述视频多帧重建模型，得出各变量迭代表达式；代入测量值和已知的调制掩膜矩阵，经多次迭代，从所述测量值中解耦合出多帧图像。由此，在多帧图像帧间低秩性先验和视频帧内全变分正则化约束下的本申请实施例，可在较低采样率下，同时重建多帧图像，提高重建效率和重建精度，对噪声具有鲁棒性，也就是说，在多帧图像帧间低秩性先验和视频帧内全变分正则化约束下，本申请实施例所描述的方法能充分利用测量过程中的冗余信息和先验信息，提高重建精度；同时重建多帧图像，大大提高重建效率，本申请实施例与传统方法相比，可在更低采样率下同时重建多帧图像，重建精度高，对噪声更具有鲁棒性。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。