本发明涉及光学及电子技术领域，尤其涉及一种深度成像系统及其温度误差校正方法。
背景技术
结构光深度成像系统由于其具备全场测量、分辨率高、实时性等特点使其在3d建模、体感交互、人脸识别、ar等领域得到广泛的应用。结构光深度成像系统的核心部件之一是结构光投影模组，其由激光、光学元件等器件组成，用于向外投影出预设的结构光图像，在投影过程中难免会受到温度的影响，导致所投影出的结构光图像与预设的结构光图像发生偏差，这种偏差会直接影响后续深度图像的计算，最终导致深度图像产生误差，而这种误差往往对于一些对精度要求高的应用，比如3d建模、人脸识别等，是不允许的。
技术实现要素：
本发明为了解决现有技术中温度使得深度成像系统的精准度降低问题，提供一种深度成像系统及其温度误差校正方法。
本发明公开一种深度成像系统温度误差校正方法，包括：获取第一参考结构光图像与目标结构光图像；对所述第一参考结构光图像进行温度误差校正，并获取第二参考结构光图像；利用所述第二参考结构光图像与所述目标结构光图像进行深度计算以获取深度图像。
在一些实施例中，所述温度误差校正包括：获取当前温度值，基于所述当前温度值执行所述温度误差校正。
具体地，所述第一参考结构光图像包括至少两个不同温度值对应的第一参考结构光图像，所述温度误差校正包括基于所述当前温度值，利用插值法由所述至少两个第一参考结构光图像计算出所述第二参考结构光图像。或者，所述第一参考结构光图像包括至少两个不同温度值对应的第一参考结构光图像，所述温度误差校正包括基于所述当前温度值，将与所述当前温度值最接近的所述温度值对应的第一参考结构光图像作为所述第二参考结构光图像。
在一些实施例中，所述温度误差校正包括：建立温度误差补偿模型，利用温度误差补偿模型描述所述第一参考结构光图像与所述第二参考结构光图像之间因温度引起的变化，并根据所述温度误差补偿模型求解所述第二参考结构光图像。
其中，所述温度误差补偿模型包括线性函数、多项式函数、埃尔米特函数、样条函数中的一种或多种。
其中，所述温度误差补偿模型包括层次化变形函数，所述层次变形函数包括局部变形函数与全局变形函数。
本申请还提供一种深度成像系统，包括：结构光投影模组，用于向目标投影结构光图像；采集模组，用于采集目标结构光图像；存储器，用于保存第一参考结构光图像；处理器，与所述结构光投影模组、采集模组、存储器连接，用于：获取所述目标结构光图像与所述第一参考结构光图像，并对所述第一参考结构光图像进行温度误差校正，并获取第二参考结构光图像；利用所述第二参考结构光图像与所述目标结构光图像进行深度计算以获取深度图像。
在一些实施例中，所述深度成像系统还包括温度传感器，用于获取当前温度值；所述处理器基于所述当前温度值执行所述温度误差校正。
在一些实施例中，所述温度误差校正包括：基于所述当前温度值，利用插值法由所述至少两个第一参考结构光图像计算出所述第二参考结构光图像；或基于所述当前温度值，将与所述当前温度值最接近的温度值对应的第一参考结构光图像作为所述第二参考结构光图像；或建立温度误差补偿模型，根据所述温度误差补偿模型求解所述第二参考结构光图像。
本发明的有益效果：通过获取第一参考结构光图像与目标结构光图像，并对所述第一参考结构光图像进行温度误差校正，并获取第二参考结构光图像；最后利用所述第二参考结构光图像与所述目标结构光图像进行深度计算以获取深度图像，可以实现参考结构光的误差校正，进而实现对深度测量的误差校正，最终提高深度成像系统的测量精度。
附图说明
图1为本发明实施例中深度成像原理以及误差形成示意图。
图2为本发明一个实施例的结构光深度成像系统侧面示意图。
图3为本发明一个实施例的激光投影模组示意图。
图4为本发明一个实施例的结构光图案化光束示意图。
图5为本发明一个实施例的温度误差校正方法示意图。
图6为本发明又一个实施例的温度误差校正方法示意图。
具体实施方式
下面结合具体实施方式并对照附图对本发明作进一步详细说明，应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
结构光深度成像系统测量原理
图1结构光深度成像原理以及误差形成示意图。结构光深度成像系统一般包括结构光投影模组11、采集模组12以及处理器(图中未示出)。结构光投影模组11用于投射结构光图案，当结构光图案入射到物体表面时形成结构光图像，结构光图像中包含了物体的形状信息。采集模组12用于采集被物体反射的结构光图像。在一个实施例中，结构光投影模组11为近红外散斑投影仪，用于向目标空间投影近红外散斑图像，若投射到某一平面上时，所形成的散斑图像具备随机且不相关的特性；采集模组12为近红外相机，用于采集目标散斑图像，采集到的目标散斑图像随后被传输至处理器中进行深度计算以输出深度图像。图1中以散斑图像中的单个散斑为例进行说明，投影模组11a投影出光束151，照射到目标物体14上的z点，该点通过透镜b成像在图像传感器121上，光线17仅用来表示成像关系。在一些实施例中，结构光投影模组11也可以投影出条纹、二维图案等其他形式的结构光图案。在下文的描述中，仅以散斑图案为例进行说明。
深度成像系统一般还包括存储器，用于保存参考散斑图像等，该参考散斑图像是在深度成像系统标定阶段利用投影模组11向已知距离z0的平面13上投影出散斑图像后由采集模组12采集到的，比如光束151入射到平面13上的c点，并通过光线161成像在图像传感器121上。在平面13上的散斑通过透镜成像在图像传感器121上，从图中可以看出，由于目标物体与参考平面13位于不同的深度上，导致同一个散斑在图像传感器上成像的位置发生了改变。处理器在计算时将当前目标的散斑图像与参考散斑图像进行匹配计算，找到当前散斑图像中的散斑(即像素)相对于参考散斑图像中对应的散斑(像素)之间的偏离值d，再根据以下公式计算出目标的深度值，各个像素的深度值最终组成了深度图像。
其中，z为目标的深度值；l为采集模组12中透镜到图像传感器之间的距离，一般情况下等于透镜的焦距，这里的透镜也可以是透镜组；b为投影模组11到采集模组12之间的基线长度。
图2所示的是根据本发明一个实施例的结构光深度成像系统侧面示意图。结构光深度成像系统20主要组成部件有结构光投影模组203、采集模组205、主板202以及处理器201，在一些深度成像系统中还配备了rgb相机204等。结构光投影模组203、采集模组205以及rgb相机204一般被安装在同一个深度成像系统平面上，且处于同一条基线，每个模组或相机都对应一个进光窗口206。一般地，处理器201被集成在主板202上，而结构光投影模组203与采集模组205通过接口与主板202连接，在一种实施例中所述的接口为fpc接口。结构光投影模组203用于向目标空间中投射经编码的结构光图案化光束，比如散斑图案，采集模组205采集目标散斑图案后通过处理器201计算从而得到目标空间的深度图像。
结构光投影模组203主要包含光源以及光学元件，光源可以包含如led、激光等光源，用于发射可见光以及红外、紫外等不可见光。光学元件如透镜、衍射光学元件、反射镜等，用于对光源发出的光束进行调制，以向外投影出结构光图案光束。这里所说的结构光图案光束指的是该图案光束投射到空间平面上将形成该图案。采集模组205与结构光投影模组203往往一一对应，结构光投影模组203的视场一般需要在测量范围内覆盖采集模组205的视场，另一方面，采集模组205往往需要设置与结构光投影模组203所发射光束波长相对应的滤光片，以便于让更多的结构光图案光束的光通过同时降低其他波长光束通过所带来的图像噪声。
图3是图2中结构光投影模组203的一种实施例。该结构光投影模组203包括底座、光源芯片304、镜座306、透镜307以及衍射光学元件(doe)308。在一个实施例中，底座包括主底座301、次底座302以及电路板303。光源芯片304发出的光束经透镜307准直或聚焦后由doe308向空间中发射，一般地，透镜307位于光源芯片304以及doe308之间，透镜307与光源芯片304之间的距离等于或近似等于透镜307的焦距。在其它实施例中透镜307与doe308也可以整合成一个光学元件，比如形成在一块透明基底的两个表面上。在一些实施例中，还可以设置温度传感器305来对光源芯片304及周边的温度进行测量，任何合适的温度传感器均可以应用在模组中，比如ntc、ptc等热敏电阻；在一些实施例中，温度传感器305也可以被安装在投影模组203或深度成像系统20的其他部位，温度传感器305的数量可以为一个或多个，用于测量深度成像系统中对应部件及周边的温度。
光源芯片304可以是半导体led、半导体激光等，优选地采用垂直腔面激光发射器(vcsel)阵列作为光源，由于vcsel拥有体积小、光源发射角小、稳定性好等特点，同时可以在面积1mmx1mm的半导体衬底上布置成百上千个vcsel光源，由此构成的vcsel阵列光源芯片不仅体积小、功耗低，同时更加有利于生成结构光散斑图案化光束。vcsel阵列光源304发射出具有一定发散角的多光束，多光束入射透镜307后形成与vcsel阵列排列图案相对应的子图案光束，这里的对应包括相同、镜像等方式。子图案光束随后入射到doe308后被扩展多倍后形成具有更大视场角的结构光图案化光束。在一个实施例中，通过对doe的设计使得多个子图案以相邻排列的方式形成最终的图案化光束，如图4所示，图案化光束入射到平面上形成的图案40由9个子图案41组成，各个子图案41由不同光源的相同衍射级的光束组成。图中显示的是考虑了透镜等畸变后图案40所呈现的形式。doe308对入射的每个单光束进行了9倍分束。在一些实施例中，多个子图案也可以通过重叠、间隙隔开等方式形成最终的图案化光束。
温度引起的投影误差
深度成像系统中结构光投影模组在投射期间，会产生热量，导致模组温度较高，由此会带来不少于以下4个方面的影响：
(1)温度变化使得光源波长变化，根据衍射方程sinθm＝mλ/λ，当波长λ变化时，不同衍射级(m级)的光束的衍射角度θm会改变，从而导致投射的图案化光束发生变化，比如对于图4所示的实施例中，9个子图案41之间的相对位置会发生变化；
(2)温度变化使得doe发生一定的形变，例如膨胀等，也会导致不同衍射级的衍射角度发生改变，从而最终的图案化光束中斑点的排列发生变化，比如对于图4所示的实施例中，9个子图案41之间的相对位置会发生变化；
(3)温度变化使得透镜焦距变化，透镜焦距改变一方面影响成像质量，另一方面会改变成像放大率，比如对于图4所示实施例中，由于子图案41可以看成是vcsel阵列所成的像，因此当放大率发生变化时，子图案41内部的斑点排列会发生变化；
(4)温度变化使得镜座发生变形，从而导致光学元件如透镜与光源之间的距离发生变化，由此也会影响成像放大率的变化，比如对于图4所示实施例中，由于子图案41可以看成是vcsel阵列所成的像，因此当放大率发生变化时，子图案41内部的斑点排列会发生变化。
对于单光源的结构光投影模组或其他形式的投影模组，以上至少4个因素均会直接影响到最终的结构光图案的分布。
当结构光投影模组的温度在采集目标结构光图像阶段与采集参考结构光图像阶段不同时，目标结构光图像与参考结构光图像中对应点的偏离值与实际的偏离值会有差距，进一步影响深度图像的计算，如图1所示，若虚线152与162对应的点d是标定的参考结构光图像中的散斑点，标定时的温度为标定温度，而实线151与161对应的点c是目标结构光图像中的散斑点。理论上需要计算的偏离值是点c与点z在图像传感器121上成像点之间的像素差值，而实际上计算的却是点d与点z在图像传感器121上成像点之间的像素差值，则会造成最终深度图像的误差。
误差较正方法
为了减少由温度变化引起的深度图像误差，本发明提供了温度误差校正方法，也叫温度误差补偿方法，误差补偿的思路是对参考结构光图像进行校正，将点d尽可能校正到点c的位置。图5所示的是根据本发明一个实施例的温度误差较正方法示意图，方法包括以下步骤：
s1.在结构光投影模组投影下由采集模组采集当前目标的目标结构光图像，同时从存储器中提取出第一参考结构光图像(即：标定参考结构光图像)。
s2.对第一参考结构光图像进行温度误差校正，以获取第二参考结构光图像(即：校正后的参考结构光图像)。
s3.利用第二参考结构光图像与目标结构光图像进行深度计算，以获取深度图像。
在以上的误差校正方法中，通过对第一参考结构光图像进行校正，从根源上可以减少由温度所引起的深度图像计算误差。与一些现有技术方案中，通过先计算出有误差的深度图像，再对深度图像进行误差校正的思路相比，本发明所提供的方法将具有更好的误差校正效果。
以上误差校正方法中核心步骤是对第一参考结构光图像(标定参考结构光图像)进行校正，本发明将提供以下三种方法来实现：
(1)插值法
在一个实施例中，在参考结构光图像采集阶段(即标定阶段)，采集了结构光投影模组在多个不同标定温度下所投影的多幅标定参考结构光图像，相应的标定温度值以及与各个标定温度值对应的标定参考结构光图像被存储在存储器中。当处理器执行深度计算时，首先利用温度传感器(如热敏电阻)测量当前结构光投影模组的温度值；其次从存储器中调用出与当前温度值相关(比如当前温度值前后)的多个标定温度值及相对应的标定参考结构光图像；最后通过当前温度值与所调用的多个标定温度值之间的关系，将多个标定参考结构光图像进行插值计算以获取与当前温度值对应的参考结构光图像。在一个实施例中，结构光图像变化与温度变化成线性关系，则可以采用线性插值算法计算出参考结构光图像。在一些实施例中，也可以通过多项式插值、埃尔米特插值、样条插值等进行插值。
(2)就近选择法
在一个实施例中，在参考结构光图像采集阶段，采集了结构光投影模组在多个不同标定温度下所投影的多幅标定参考结构光图像，相应的标定温度值以及与各个标定温度值对应的标定参考结构光图像被存储在存储器中。当处理器执行深度计算时，先利用温度检测器(如热敏电阻)测量当前结构光投影模组的温度值；最后从存储器中调用出与当前温度值最接近的标定温度值所对应的标定参考结构光图像作为当前温度值对应的参考结构光图像。
(3)误差补偿模型法
在插值法与就近选择法中，都需要在标定阶段提前采集多幅标定参考结构光图像，一方面提升了标定难度，另一方面对存储器提出了更高的要求，增加了设备成本。接下来提供一种误差补偿模型法，通过对温度引起的结构光图像变化进行建模，随后基于该模型对参考结构光图像进行校正。
(a)误差建模
假定在标定阶段结构光投影模组的温度为t，所获取的参考结构光图像(即第一参考结构光图像)中各个像素坐标用(u,v)表示；在实际测量时，结构光投影模组的温度为t′，实际的参考结构光图像(即第二参考结构光图像)中各个像素坐标用(u′,v′)表示。理论上，若t＝t′，则i(u,v)＝i(u′,v′)，其中i表示像素值。当温度不同时，即t≠t′(假定δt＝t′-t)，由于温度变化对投影模组的影响，结构光图像(比如散斑图像)中各个斑点的位置发生了变化，因此该误差补偿模型可以用以下公式描述：
u′＝f(u,v,δt)
v′＝g(u,v,δt)
其中f,g分别表示由温度引起的变形函数，函数中还包含了多个系数，根据变形函数的不同，系数的形式与数量也不同。
在一个实施例中，变形函数为线性函数，具体如下：
其中，a,b分别为系数矩阵。可以理解的是，变形函数也可以为其他类型，比如多项式函数、埃尔米特函数、样条函数等。可以理解的是，根据实际情况，也可以对横、纵坐标(即u′,v′)分别采用不同的变形函数。
变形函数的作用是描述了由于温度变化对结构光图像所引起的变形，即对温度误差进行了数学建模。能准确反映结构光图像因温度变化的变形函数将能实现更好的温度补偿效果。根据前面对温度引起的投影误差描述中，由于温度引起的误差种类较多，因此很难建立一个能准确描述误差变化的模型。在实际使用中，可以结合结构光投影模组的具体结构，选择合适的误差补偿模型。
在一个实施例中，结构光投影模组由单光源、透镜以及doe组成，单光源经透镜以及doe后直接被doe分束成若干子光束，子光束的排列即形成结构光图像，对于这种结构的结构光投影模组，温度的影响主要导致光源波长变化以及doe变形，最终会导致结构光图像中斑点的膨胀或压缩，此时利用如上所述的线性函数或多项式函数能较好的描述温度引起的结构光图像变化。
在一些实施例中，当结构光投影模组为前面所描述的vcsel阵列、透镜以及doe时，其投影的结构光图像如图4所示，此时简单的变形函数难以准确描述温度引起的变化。根据如前面对温度引起的投影误差的描述，可以将此情形下的温度误差分成至少两个层次：结构光图像中各个子图案中斑点的变化以及多个子图案之间相对位置的变化，两个层次分别对应局部变化与全局变化。通过层次化变形函数，比如局部变形函数与全局变形函数，可以更加准确地描述温度引起的变化。在一个实施例中，假定共有n个子图案，编号分别为i＝1,…,n。选取子图案中一点作为描述子图案整体变化，比如子图案中心，中心坐标用(u,v)以及(u′,v′)表示，则层次化变形函数中全局变形函数可以表示如下：
u′＝fg(u,v,δt)
v′＝gg(u,v,δt)
局部变形函数表示如下：
u′＝fl(u′,v′,u,v,δt)
v′＝gl(u′,v′,u,v,δt)
其中fg,gg表示全局变形函数，fl，gl表示局部变形函数，变形函数同样可以是线性函数、多项式函数、埃尔米特函数、样条函数等中的一种或多种。
以上层次化变形函数的目的实际上可以看成是对温度引起结构光图像变形的二次校正，在一个实施例中，首先通过全局变形函数对各个子图案进行整体校正，其次通过局部变形函数对各个子图案内部进行局部校正，在一个实施例中，也可以先通过局部变形函数对各个子图案内部进行局部校正，再通过全局变形函数对各个子图案进行整体校正，此时的全局与局部变形函数与上面公式类似。
以上各实施例中的变形函数均存在多个未知系数需要求解。在一些实施例中，在不同标定温度下采集多幅标定参考结构光图像，以其中一个标定温度为基准标定温度，其对应的标定参考结构光图像为基准标定参考结构光图像，通过其他标定温度下的标定参考结构光图像相对于基准标定参考结构光图像的变形对未知系数进行求解。求解的过程类似数值分析中的插值法，即已知多个(u′,v′,δt)以及(u,v)，求解插值函数(即变形函数)的过程。任何求解方法均可以被应用在本发明中。在一个实施例中，通过迭代法以最小化能量函数的训练算法来计算未知系数，其中能量函数用于表示通过变形函数计算出的变化后的结构光图像坐标与实际像素坐标之间的差异，可以用标准差、方差等来描述差异。
可以理解的是，在进行误差建模时，还可以对结构光图像中的单个点进行独立建模，与上述对整幅或局部图像进行建模不同的是，独立建模可以更准确地描述每个点的变化，但由于每个点都对应各自的系数，因此求解难度相对较大。
(b)误差校正
在对温度变化引起的结构光图像变化建模后，即可以对当前温度下的参考结构光图像进行校正。
在一个实施例中，通过温度传感器测量出当前温度，其次将当前温度代入变形函数以求解出变化后的坐标，最终实现对参考结构光图像的校正。将校正后的参考结构光图像与目标结构光图像进行深度计算可以获取高精度的深度图像。
在一些实施例中，提供另一种温度误差校正方法，该方法无需额外的温度传感器测量当前温度值，如图6所示，包括以下步骤：
a1.获取第一参考结构光图像(标定参考结构光图像)与目标结构光图像。
a2.将第一参考结构光图像(标定参考结构光图像)与目标结构光图像进行匹配计算以获取两幅图像中相同的特征-像素对(比如散斑点)。
a3.基于所述像素对以及温度误差模型进行温度误差校正，并获取第二参考结构光图像(校正后的参考结构光图像)。
a4.利用所述第二参考结构光图像与所述目标结构光图像进行深度计算以获取深度图像。
具体地，在一个实施例中，首先利用匹配算法，比如数字图像相关算法找到标定参考结构光图像与目标结构光图像中的对应像素对(ref(i),tar(i),i＝1,2,…m)，假定第i对像素对应的空间目标点的三维坐标为p(i)、当前温度与标定温度之间的差值设为δt。根据结构光测量原理，由空间目标点p(i)、目标结构光图像中的像素tar(i)＝(ui′,vi′)以及结构光投影模组与采集模组之间的相对关系矩阵，可以逆向计算出当前温度下参考结构光图像的对应像素坐标cal[ref(i)′]，这里用cal[]表示通过计算得到的值。根据温度误差补偿模型(以下以变形函数为例)则可以由cal[ref(i)′]计算出标定温度下的标定参考结构光图像的像素坐标cal[ref(i)]，即cal[ref(i)]＝f(cal[ref(i)′],δt)，其中f为变形函数。则，可以通过最小化以下能量函数求解δt和p(i)：
e＝∑i(cal[ref(i)]-ref(i))2＝∑i(f(cal[ref(i)′],δt)-ref(i))2
以上能量函数反映的是标定参考结构光图像的计算值与实际值之间的差异，可以理解的是，能量函数也可以是目标结构光图像的计算值与实际值之间的差异。具体地，在另一个实施例中，首先利用匹配算法，找到标定参考结构光图像与目标结构光图像中的对应像素对(ref(i),tar(i),i＝1,2,…m)，假定第i对像素对应的空间目标点的三维坐标为p(i)、当前温度与标定温度之间的差值设为δt。根据结构光测量原理，由空间目标点p(i)、标定参考结构光图像中的像素ref(i)＝(ui,vi)以及结构光投影模组与采集模组之间的相对关系矩阵，可以逆向计算出标定温度下目标结构光图像的对应像素坐标cal[tar(i)′]。根据误差补偿模型，则可以由cal[tar(i)′]计算出当前温度下的目标结构光图像的像素坐标cal[tar(i)]，即cal[tar(i)]＝f(cal[tar(i)′],δt)，其中f为变形函数。则，可以通过最小化以下能量函数求解δt和p(i)：
e＝∑i(cal[tar(i)]-tar(i))2＝∑i(f(cal[tar(i)′],δt)-tar(i))2
求解出δt后就可以根据温度误差补偿模型对标定参考结构光图像进行校正，最后利用校正后的参考结构光图像与目标结构光图像计算出深度图像。实际上，由于第一步就已经计算出标定参考结构光图像与目标结构光图像之间的像素对，在求解出δt后可以根据温度误差补偿模型获取当前温度下参考结构光图像的像素变化，进一步根据该像素变化更新第一步中所计算的像素对，最后根据更新后的像素对就可以获取偏离值，进一步得到深度值。可以理解的是，这里仅示意性地给出一种无需测量温度值来对参考结构光图像进行校正的方法，由这一原理可以联想到其他类似的方法，能量函数的表达形式也不仅限于上述公式。
可以理解的是，以上所说的深度成像系统可以是单独的深度相机，也可以是具备深度成像功能的终端设备，比如手机、平板、电脑、电视等等。上述所说的方法被深度成像系统中的处理器执行，处理器可以有一个也可以有多个，比如专门用于执行深度图像计算的深度计算处理器，如soc、fpga等。
上述方法可以完全或部分地以计算机程序的方式存储在计算机可读介质上，如上的计算机程序被处理器调用并执行以实现如上的方法。在一些实施方式中，本发明的方法实现为一种程序产品的形式，包括程序代码，当程序产品在深度成像系统上运行时，程序代码用于使深度成像系统执行如上所述的方法。程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。本发明的程序产品不限于此，在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。