本发明涉及图像处理领域，尤其涉及一种图像传感器及图像动态信息处理方法。
背景技术
图像传感器是一种记录光线强度的传感器。目前最常用的cmos图像传感器通过像素将光信号转换为电信号，并以数字形式进行输出和存储，即拍摄得到照片。目前几乎所有的图像传感器都是以一帧一帧拍摄的方式进行图像获取，后期的图像处理同样对一帧一帧的数据进行处理和分析。
在动态目标捕获应用中，图像传感器需要以高帧率快速拍摄，拍摄后的数据送到处理器中进行数据处理。而且，随着机器视觉和自主机器人技术的发展，使得在移动设备或自主设备中，很难支持大量运算的处理装置。
现有的动态信息捕获图像处理采用的是图像传感器+图像处理器的架构，首先cmos图像传感器产品将拍摄得到的图像数据进行逐帧输出，所有的处理工作放到后面的图像处理器或计算机中完成，但是这种处理方式在小型化、低功耗等应用中，高强度的图像处理任务将会导致图像处理器的处理速度降低的技术问题。
技术实现要素：
本发明提供了一种图像传感器及图像动态信息处理方法，用于解决现有的动态信息捕获图像处理架构，在小型化、低功耗等应用中，高强度的图像处理任务将会导致图像处理器的处理速度降低的技术问题。
本发明提供了一种图像传感器，包括：像素阵列、模拟信号处理模块、存储器阵列、数字处理模块和主控芯片；
所述像素阵列的输出端与所述模拟信号处理模块的输入端电连接；
所述模拟信号处理模块的输出端与所述存储器阵列的输入端通信连接；
所述存储器阵列的输出端与所述数字处理模块通信连接；
所述主控芯片分别与所述像素阵列、所述模拟信号处理模块、所述存储器阵列以及所述数字处理模块的控制端通信连接；
所述像素阵列具体包括n*m个单元像素和像素缓存通道，其中，正整数m代表所述像素阵列的总行数，正整数n代表所述像素阵列的总列数；
所述像素缓存通道具体包括：前帧像素缓存通道和本帧像素缓存通道；
所述单元像素具体包括：光电转换子模块、像素存储子模块和像素读出子模块；
所述像素存储子模块，用于存储前帧像素的模拟电信号；
所述像素读出子模块，用于输出存储在像素存储子模块中的前帧像素模拟信号输出至所述前帧像素缓存通道和由光电转换子模块得到的本帧像素模拟信号输出至所述本帧像素缓存通道。
所述模拟信号处理模块包括：模数转换子模块；
所述存储器阵列具体包括：n个存储器模块，所述存储器模块具体包括：本帧像素序列存储器、第一前帧像素序列存储器、第二前帧像素序列存储器以及第三前帧像素序列存储器；
其中，所述像素阵列通过滚筒式曝光的方式将当前时刻获取的本帧像素模拟信号和上一时刻获取的前帧像素模拟信号输出至所述模拟信号处理模块进行数据转换，得到与所述本帧像素模拟信号对应的本帧像素数字信号和与所述前帧像素模拟信号对应的前帧像素数字信号；
存储器阵列获取所述本帧像素数字信号和所述前帧像素数字信号，根据所述本帧像素数字信号和所述前帧像素数字信号在所述像素阵列中的行列信息，将所述本帧像素数字信号和所述前帧像素数字信号分别存储在对应的存储器中，其中，所述本帧像素数字信号依次储存于各个本帧像素序列存储器，并将与所述本帧像素数字信号同一行单元像素的所述前帧像素数字信号存储于第二前帧像素序列存储器，第一前帧像素序列存储器以及第三前帧像素序列存储器分别用于存储与所述第二前帧像素序列存储器中的前帧像素数字信号的相邻行的单元像素的前帧像素数字信号；
所述数字处理模块获取存储器阵列中的所述本帧像素数字信号和所述前帧像素数字信号，并根据所述本帧像素数字信号与相邻时序的前帧像素数字信号进行差值运算，获得运动目标的运动矢量信息。
优选地，所述模拟信号处理模块还包括：信号放大子模块和降噪滤波子模块；
所述信号放大子模块的输入端与所述像素阵列的输出端连接；
所述信号放大子模块的输出端与所述降噪滤波子模块输入端连接；
所述降噪滤波子模块输出端与所述模数转换子模块的输入端连接。
本发明提供了一种图像动态信息处理方法，应用于上述的一种图像传感器，包括：
像素阵列将接收到的光信号转换成本帧像素模拟信号后，通过触发像素读出子模块，将所述本帧像素模拟信号输出至本帧像素缓存通道，以及将存储在像素存储子模块中的前帧像素模拟信号输出至前帧像素缓存通道；
所述本帧像素缓存通道和所述前帧像素缓存通道分别通过滚筒式曝光的方式将所述本帧像素模拟信号和所述前帧像素模拟信号输入到模拟信号处理模块，得到与所述本帧像素模拟信号对应的本帧像素数字信号和与所述前帧像素模拟信号对应的前帧像素数字信号；
存储器阵列获取所述本帧像素数字信号和所述前帧像素数字信号，根据所述本帧像素数字信号和所述前帧像素数字信号在所述像素阵列中的行列信息，将所述本帧像素数字信号和所述前帧像素数字信号分别存储在对应的存储器中，其中，所述本帧像素数字信号依次储存于各个本帧像素序列存储器，并将与所述本帧像素数字信号同一行单元像素的所述前帧像素数字信号存储于第二前帧像素序列存储器，第一前帧像素序列存储器以及第三前帧像素序列存储器分别用于存储与所述第二前帧像素序列存储器中的前帧像素数字信号的相邻行的单元像素的前帧像素数字信号；
所述数字处理模块获取存储器阵列中的所述本帧像素数字信号和所述前帧像素数字信号，并根据所述本帧像素数字信号与相邻时序的前帧像素数字信号进行差值运算，获得运动目标的运动矢量信息。
优选地，所述将存储在像素存储子模块中的前帧像素模拟信号输出至前帧像素缓存通道之后还包括：
所述像素存储子模块获取所述光电转换子模块输出的本帧像素模拟信号并储存。
优选地，所述数字处理模块获取存储器阵列中的所述本帧像素数字信号和所述前帧像素数字信号，并根据所述本帧像素数字信号与相邻的前帧像素数字信号进行差值运算，获得运动目标的运动矢量信息具体包括：
所述数字处理模块对所述存储器模块中的所述本帧像素序列存储器的本帧像素数字信号与同一所述存储器模块中的所述前帧像素序列存储器的前帧像素数字信号进行差值运算，得到运动判定参数；
若所述运动判定参数大于运动判断阈值，则执行下一步骤；
对所述本帧像素数字信号和同一存储器模块以及相邻存储器模块中的前帧像素数字信号分别进行差值运算，根据获得的所有运动判定参数的最小值与方向判断阈值的差值，确定运动目标的运动矢量信息。
从以上技术方案可以看出，本发明具有以下优点：
本发明提供了一种图像传感器，包括：像素阵列、模拟信号处理模块、存储器阵列、数字处理模块和主控芯片；所述像素阵列的输出端与所述模拟信号处理模块的输入端电连接；所述模拟信号处理模块的输出端与所述存储器阵列的输入端通信连接；所述存储器阵列的输出端与所述数字处理模块通信连接；所述主控芯片分别与所述像素阵列、所述模拟信号处理模块、所述存储器阵列以及所述数字处理模块的控制端通信连接；所述像素阵列具体包括n*m个单元像素和像素缓存通道；其中，正整数m代表所述像素阵列的总行数，正整数n代表所述像素阵列的总列数；所述像素缓存通道具体包括：前帧像素缓存通道和本帧像素缓存通道；所述单元像素具体包括：光电转换子模块、像素存储子模块和像素读出子模块；所述像素存储子模块，用于存储前帧像素的模拟电信号；所述像素读出子模块，用于输出存储在像素存储子模块中的前帧像素模拟信号输出至所述前帧像素缓存通道和由光电转换子模块得到的本帧像素模拟信号输出至所述本帧像素缓存通道。所述模拟信号处理模块包括：模数转换子模块；所述存储器阵列具体包括：n个存储器模块，所述存储器模块具体包括：本帧像素序列存储器、第一前帧像素序列存储器、第二前帧像素序列存储器以及第三前帧像素序列存储器；
其中，所述像素阵列通过滚筒式曝光的方式将当前时刻获取的本帧像素模拟信号和上一时刻获取的前帧像素模拟信号输出至所述模拟信号处理模块进行数据转换，得到与所述本帧像素模拟信号对应的本帧像素数字信号和与所述前帧像素模拟信号对应的前帧像素数字信号；存储器阵列获取所述本帧像素数字信号和所述前帧像素数字信号，根据所述本帧像素数字信号和所述前帧像素数字信号在所述像素阵列中的行列信息，将所述本帧像素数字信号和所述前帧像素数字信号分别存储在对应的存储器中，其中，所述本帧像素数字信号依次储存于各个本帧像素序列存储器，并将与所述本帧像素数字信号同一行单元像素的所述前帧像素数字信号存储于第二前帧像素序列存储器，第一前帧像素序列存储器以及第三前帧像素序列存储器分别用于存储与所述第二前帧像素序列存储器中的前帧像素数字信号的相邻行的单元像素的前帧像素数字信号；所述数字处理模块获取存储器阵列中的所述本帧像素数字信号和所述前帧像素数字信号，并根据所述本帧像素数字信号与相邻时序的前帧像素数字信号进行差值运算，获得运动目标的运动矢量信息。
本发明通过像素中的光电转换单元将光信号转换为模拟电信号，再以数字形式进行输出并按照预置的顺序存储到存储器阵列中，由数字处理电路在存储器阵列中的信号每次更新之后开始数据运算，将本帧信号与相邻的前帧信号进行运算，获得目标场景的时域和空间变化情况，本发明通过将图像传感器与数字处理模块结合，在利用图像传感器获取像素帧后由图像传感器对获取的像素帧进行初步图像处理，使得后续的处理设备可以更快完成动态目标的提取，提高了整体的处理效率，解决了在小型化、低功耗等应用中，高强度的图像处理任务将会导致图像处理器的处理速度降低的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明提供的一种图像传感器的结构示意图；
图2为本发明提供的一种图像传感器的单元像素的结构示意图；
图3为本发明提供的一种图像动态信息处理方法的一个实施例的流程示意图；
图4为本发明提供的一种图像动态信息处理方法中的各行像素读出时序示意图；
图5为本发明提供的一种图像动态信息处理方法中的前帧和本帧信号总线上的信号读出序列示意图；
图6为本发明提供的一种图像动态信息处理方法中的存储器阵列的信号序列示意图。
具体实施方式
本发明实施例提供了一种图像传感器及图像动态信息处理方法，用于解决现有的动态信息捕获图像处理架构，在小型化、低功耗等应用中，高强度的图像处理任务将会导致图像处理器的处理速度降低的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1和图2，本发明提供了一种图像传感器，包括：像素阵列a、模拟信号处理模块b、存储器阵列c、数字处理模块d和主控芯片e；
像素阵列a的输出端与模拟信号处理模块b的输入端电连接；
模拟信号处理模块b的输出端与存储器阵列c的输入端通信连接；
存储器阵列c的输出端与数字处理模块d通信连接；
主控芯片e分别与像素阵列a、模拟信号处理模块b、存储器阵列c以及数字处理模块d的控制端通信连接；
像素阵列a具体包括n*m个单元像素和像素缓存通道，其中，正整数m代表像素阵列a的总行数，正整数n代表像素阵列a的总列数；
像素缓存通道具体包括：前帧像素缓存通道a和本帧像素缓存通道b；
单元像素具体包括：光电转换子模块a1、像素存储子模块a2和像素读出子模块a3；
像素存储子模块a2，用于存储前帧像素的模拟电信号；
像素读出子模块a3，用于输出存储在像素存储子模块a2中的前帧像素模拟信号输出至前帧像素缓存通道a和由光电转换子模块a1得到的本帧像素模拟信号输出至本帧像素缓存通道b。
模拟信号处理模块b包括：模数转换子模块；
存储器阵列c具体包括：n个存储器模块，存储器模块具体包括：本帧像素序列存储器、第一前帧像素序列存储器、第二前帧像素序列存储器以及第三前帧像素序列存储器；
需要说明的是，像素阵列a：像素阵列a由n*m个像素组成，用于将光信号转换为模拟电信号，其中每个像素包含一个光电转换单元、一个存储单元和一个读出单元，光电转换单元完成光信号到模拟电信号的转换，存储单元用于存储前帧信号，读出单元用于将像素模拟信号缓冲到像素缓存通道(前帧像素缓存通道a和本帧像素缓存通道b)，具体结构如图2所示；
模拟信号处理模块b：用于按照列并行方式读出即逐行读出，分别接收从前帧像素缓存通道a和本帧像素缓存通道b读出的数据，读出后的操作还包括模拟信号的传输以及模拟-数字转换操作；
存储器阵列c：在读出电路之后有一个n*4的存储阵列，存储阵列按照n列排列，每列包含4个存储单元，其中3个保存前帧读出信号，1个保存本帧读出信号；
数字处理模块d：数字处理电路完成本帧读出信号与本列3个前帧读出信号以及相邻列前帧读出信号的运算，运算可以包括减法、除法、乘法、移位等，目的是获得本帧读出信号相邻的前帧读出信号的差异。
芯片控制电路：该模块用于控制芯片全局的工作，提供包括逐行的像素曝光、读出、复位、列级读出、模拟-数字转换、数据运算等全部模块所需要的时序控制信号。
其中，像素阵列a通过滚筒式曝光的方式将当前时刻获取的本帧像素模拟信号和上一时刻获取的前帧像素模拟信号输出至模拟信号处理模块b进行数据转换，得到与本帧像素模拟信号对应的本帧像素数字信号和与前帧像素模拟信号对应的前帧像素数字信号；
存储器阵列c获取本帧像素数字信号和前帧像素数字信号，根据本帧像素数字信号和前帧像素数字信号在像素阵列a中的行列信息，将本帧像素数字信号和前帧像素数字信号分别存储在对应的存储器中，其中，本帧像素数字信号依次储存于各个本帧像素序列存储器，并将与本帧像素数字信号同一行单元像素的前帧像素数字信号存储于第二前帧像素序列存储器，第一前帧像素序列存储器以及第三前帧像素序列存储器分别用于存储与第二前帧像素序列存储器中的前帧像素数字信号的相邻行的单元像素的前帧像素数字信号；
数字处理模块d获取存储器阵列c中的本帧像素数字信号和前帧像素数字信号，并根据本帧像素数字信号与相邻时序的前帧像素数字信号进行差值运算，获得运动目标的运动矢量信息。
本实施例通过像素中的光电转换单元经过tint曝光时间将光信号转换为模拟电信号，之后将保存在像素内存储节点的前帧像素信号读出到前帧像素缓存通道a上，模拟信号处理模块b对该信号进行传输、放大、降噪、模拟-数字转换等操作，并将该信号保存在存储器阵列c中；在前帧像素信号读出之后，传感器将该像素的本帧像素信号送入到像素内的像素存储子模块a2中并进行读出，此次读出将本帧信号经由本帧信号总线被列级读出电路读出到存储器阵列c中；数字处理电路在存储器阵列c中的信号每次更新之后开始数据运算，将本帧信号与相邻的前帧信号进行运算，获得目标场景的时域和空间变化情况。
进一步地，模拟信号处理模块b还包括：信号放大子模块和降噪滤波子模块；
信号放大子模块的输入端与像素阵列a的输出端连接；
信号放大子模块的输出端与降噪滤波子模块输入端连接；
降噪滤波子模块输出端与模数转换子模块的输入端连接。
需要说明的是，为了提高图像处理的效果，在进行模数转换前可以先对获取的像素模拟信号进行放大和降噪操作。
本发明实施例通过像素中的光电转换单元将光信号转换为模拟电信号，再以数字形式进行输出并按照预置的顺序存储到存储器阵列c中，由数字处理电路在存储器阵列c中的信号每次更新之后开始数据运算，将本帧信号与相邻的前帧信号进行运算，获得目标场景的时域和空间变化情况，本发明通过将图像传感器与数字处理模块d结合，在利用图像传感器获取像素帧后，由图像传感器直接对获取的像素帧进行初步图像处理，使得后续的处理设备可以更快完成动态目标的提取，提高了整体的处理效率，解决了在小型化、低功耗等应用中，高强度的图像处理任务将会导致图像处理器的处理速度降低的技术问题。
以上为本发明提供的一种图像传感器的一个实施例的详细描述，下面为本发明提供的一种图像动态信息处理方法的一个实施例的详细描述。
请参阅图3至图6，本发明提供了一种图像动态信息处理方法，应用于上述实施例所述的一种图像传感器，包括：
301：像素阵列a将接收到的光信号转换成本帧像素模拟信号后，通过触发像素读出子模块a3，将本帧像素模拟信号输出至本帧像素缓存通道b，以及将存储在像素存储子模块a2中的前帧像素模拟信号输出至前帧像素缓存通道a；
302：像素存储子模块a2获取所述光电转换子模块a1输出的本帧像素模拟信号并储存；
303：本帧像素缓存通道b和前帧像素缓存通道a分别通过滚筒式曝光的方式将本帧像素模拟信号和前帧像素模拟信号输入到模拟信号处理模块b，得到与本帧像素模拟信号对应的本帧像素数字信号和与前帧像素模拟信号对应的前帧像素数字信号；
304：存储器阵列c获取本帧像素数字信号和前帧像素数字信号，根据本帧像素数字信号和前帧像素数字信号在像素阵列a中的行列信息，将本帧像素数字信号和前帧像素数字信号分别存储在对应的存储器中；
其中，本帧像素数字信号依次储存于各个本帧像素序列存储器，并将与本帧像素数字信号同一行单元像素的前帧像素数字信号存储于第二前帧像素序列存储器，第一前帧像素序列存储器以及第三前帧像素序列存储器分别用于存储与第二前帧像素序列存储器中的前帧像素数字信号的相邻行的单元像素的前帧像素数字信号；
305：数字处理模块d对存储器模块中的本帧像素序列存储器的本帧像素数字信号与同一存储器模块中的前帧像素序列存储器的前帧像素数字信号进行差值运算，得到运动判定参数；
306：判断运动判定参数大于运动判断阈值，若是，则执行步骤307；
307：对本帧像素数字信号和同一存储器模块以及相邻存储器模块中的前帧像素数字信号分别进行差值运算，根据获得的所有运动判定参数的最小值与方向判断阈值的差值与方向判断阈值的差值，确定运动目标的运动矢量信息。
为了便于理解，下面以一具体应用例对图3所示实施例进行详细的描述，应用例包括：
首先，像素中的光电转换单元经过tint曝光时间将光信号转换为模拟电信号，之后将保存在单元像素内像素存储子模块的前帧像素信号读出到前帧像素缓存通道上，列级读出电路对该信号进行传输、放大、降噪、模拟-数字转换等操作，并将该信号保存在存储器阵列c中；在前帧像素信号读出之后，传感器将该像素的本帧像素信号送入到像素内存储节点中并进行读出，此次读出将本帧像素信号经由本帧像素缓存通道通过列级读出方式读出到存储器阵列c中；数字处理电路在存储器阵列c中的信号每次更新之后开始数据运算，将本帧像素信号与相邻的前帧像素信号进行运算，获得目标场景的时域和空间变化情况；
其中，输出的数据可以是当前帧的数据也可以是经过运算的时域和空间变化数据，也可以是上述两者都进行输出。
单元像素内的像素读出子模块连接到两个像素缓存通道：前帧像素缓存通道a和本帧像素缓存通道b。对于同一个单元像素来说，先进行前帧像素信号读出，读出模块输出到前帧像素缓存通道a，再进行本帧像素信号读出，读出模块输出到本帧像素缓存通道b。在两次读出之后，像素在此开始曝光，获取下一帧的信号。由于采用的是列级并行读出方式，所有列同时进行读出，即同一行像素在相同的控制时序条件下并行地进行曝光、信号读出等操作。按照上述的像素工作方式，在第m行像素进行前帧像素信号读出时，第m-1行像素进行本帧像素信号读出，下一个读出周期中，第m+1行像素进行前帧像素信号读出，第m行像素进行本帧像素信号读出。按照上述像素阵列a读出方式，为了实现循环读出，在第1行像素进行前帧像素信号读出时，第m行像素进行本帧像素信号读出，下一个读出周期中，第2行像素进行前帧像素信号读出，第1行像素进行本帧像素信号读出，按此方式逐行读出，第m行像素进行前帧像素信号读出时，第m-1行像素进行本帧像素信号，下一个读出周期中，第1行像素进行前帧像素信号读出时，第m行像素进行本帧像素信号，如此构成一个循环读出，保证传感器逐帧输出像素数据。每个信号的读出时间为tr，构成上述循环读出，曝光时间tint满足tint＝m×tr。其中，sigpx代表第x行像素的前帧读出，sigcx代表第x行像素的本帧读出。
其中，各像素的曝光和读出时序如图4所示，前帧像素缓存通道a和本帧像素缓存通道b在读出期间的信号读出序列如图5所示。
按照上述读出方式通过列级并行读出的数据保存在存储器阵列c中。对于n列像素，共有4×n个存储器，每列拥有4个存储器，其中3个前帧存储器(memp1、memp2和memp3)和1个本帧存储器(memc)。在每个读出周期内，1个前帧读出数据和1个本帧读出数据分别送入到前帧存储器和本帧存储器中。3个前帧存储器和1个本帧存储器同时完成数据更新，memp2将数据移动到memp1中，memp3将数据移动到memp2中，新得到前帧读出数据保存在memp3中，新得到的本帧读出数据保存在memc中。这样根据上述传感器读出方式和存储器储存方式，除阵列读出的头尾两行之外，其余读出时刻每列的4个存储器中保存的数据按照memp1、memp2、memp3和memc的顺序分别是sigpm-1、sigpm、sigpm+1和sigcm。阵列头尾部2行信号排列方式为：sigpm-1、sigpm、sigp1和sigcm；sigpm、sigp1、sigp2和sigc1，具体的阵列结构可参照图6。
在存储器数据更新之后，数据处理电路将本帧数据与本列的三个前帧数据和相邻列的6个前帧数据进行运算。通过本帧数据与本列的第二个前帧数据运算，可以判断该像素点在两帧之间是否发生了变化，如果没有发生变化，可以认为该点静止，如果发生变化则可以认为该点对应的场景或目标发生了运动。上述提到的本帧数据预与本列的第二个前帧数据的运算具体是将用本帧数据减去前帧数据，获得一个运动运算结果，再将得到的计算结果取绝对值，当这一绝对值大于运动判断阈值vth，则认为该点对应的场景或目标发生了运动，判断结果输出1；如果这一绝对值小于vth，则认为该点并未发生明显的运动变化，判断结果输出0。在判定该像素点发生变化之后，存储器中本帧数据与本存储列其他两个数据以及相邻存储列的6个数据在此进行运算，可判断该像素点运动的方向。该运算具体是用本帧数据分别减去8个前帧数据，获得8个方向运算结果，再将得到的8个方向运算结果取绝对值，取该8个绝对值中的最小值，当这一最小值小于方向判断阈值dth，则认为该像素点探测到的运动方向是由产生最小值所对应前帧像素的位置指向当前帧像素的位置，该方向判断结果由0～7表示，分别表示0度、45度、90度、135度、180度、225度、270度和315度的运动方向。最后传感器输出的动态信息可以是运动运算数据、运动判断结果、方向运算数据、方向判断结果，后续可以通过计算机或集成处理器完成更进一步的运动目标提取。同时，该传感器也可以输出未经处理的本帧数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统，装置和单元的具体工作过程，可以参考上述的方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。