一种结构化场景表达的认知导航方法及系统与流程

本发明涉及图像处理技术领域，具体涉及一种结构化场景表达的认知导航方法及系统。

背景技术：

目前，随着计算机图形图像处理技术的快速发展，由于三维虚拟场景可以将平面场景图片以形象、生动的再现现实场景，给人们带来很好的视觉效果、以及视觉体验，从而对三维可视化技术的需求呈现明显的增长趋势，因而，如何创建出所需的三维场景图得到越来越广泛的关注与研究，并且已在各种行业得到广泛的应用。现有的场景图生成技术分为：第一，利用深度学习技术，生成基于单张图像的场景图；第二，利用目标检测算法识别物体，结合建图技术对物体进行定位，直接提取三维场景图中各物体的关系；第三，利用目标检测算法识别物体，结合建图技术对物体进行定位，实用数据集作为统计依据，提取三维场景图中各物体的关系。但是利用现有技术生成的场景图中各物体关系紊乱、无序，不能很好的结构化表示物体之间的关系。

技术实现要素：

因此，本发明要解决的技术问题在于克服现有技术生成的场景图中各物体关系紊乱、无序，不能很好的结构化表示物体之间的关系的缺陷，从而提供一种结构化场景表达的认知导航方法及系统。

为达到上述目的，本发明提供如下技术方案：

第一方面，本发明实施例提供一种结构化场景表达的认知导航方法，包括：利用图像获取设备获取目标场景图像，得到相应的图像序列，图像包括深度图像及彩色图像，图像序列包括深度图像序列及彩色图像序列；利用目标场景图像、图像序列及图像获取设备的参数，得到每帧图像中每个目标的二维信息和三维信息；根据每帧图像中每个目标二维信息、三维信息及目标先验常识信息，得到最优场景图信息；对预设数量的待优化帧构成的场景图进行处理，生成局部场景图，并对局部场景图进行合并更新，生成全局场景图；根据全局场景图中的目标信息，获取目标坐标，根据目标坐标规划路径并进行导航。

在一实施例中，目标先验常识信息在获取目标场景图像之前获取，获取目标先验常识信息的过程包括：对预设目标数据集进行筛选清洗处理，根据预设场景图像分类方法，对筛选清洗后的预设目标数据集进行分类，生成各种类型的场景图像；统计每种类型的场景图像中目标出现的概率、目标属性的概率和关系的概率；根据目标的属性及目标之间的关系，构建与或图结构；将每种类型的场景图像中目标出现的概率、目标属性的概率和关系的概率填充到与或图结构中，生成目标先验常识信息。

在一实施例中，利用目标场景图像、图像序列及图像获取设备的参数，得到每帧图像中每个目标的二维信息和三维信息的步骤，包括：利用图像序列及slam方法对图像获取设备的位姿进行估计，获取以第一帧图像位置为坐标原点的图像获取设备的位姿；利用彩色图像及目标检测方法检测每帧图像中的所有目标，获取每帧图像中每个目标的二维信息；根据深度图像、图像获取设备的位姿、图像获取设备的参数及每个目标的二维信息，获取每帧图像中目标的三维信息，三维信息包括目标的三维坐标信息及三维边界框信息。

在一实施例中，根据每帧图像中每个目标二维信息、三维信息及目标先验常识信息，得到最优场景图信息的步骤，包括：根据每帧图像中每个目标的三维信息，估计目标之间的关系及其概率，概率包括在每帧图像中目标出现的概率、目标属性的概率和目标关系的概率；根据每帧图像中对应的目标间的关系、目标的二维信息，生成每帧图像场景图；根据目标先验常识信息、目标之间的关系及其概率，对每帧图像进行优化，得到最优场景图信息。

在一实施例中，对预设数量的待优化帧构成的场景图进行处理，生成局部场景图，并对局部场景图进行合并更新，生成全局场景图的步骤，包括：将预设数量的待优化帧的初始场景图信息存储到待优化组中；当待优化组初始场景图中任一目标出现的次数小于预设出现次数阈值时，将该目标从初始场景图中滤除，生成滤波后的场景图集合；重新计算滤波后的场景图集合中所有目标的三维信息的平均值，根据再次计算得到的目标三维信息平均值，生成局部场景图；根据目标坐标信息、目标类别信息及已生成的全局场景图中的目标信息，对多个局部场景图进行合并及更新，生成全局场景图。

在一实施例中，对预设数量的待优化帧构成的场景图进行处理，生成局部场景图，并对局部场景图进行合并更新，生成全局场景图的步骤，还包括：当待优化组中帧的数量超出预设数量的待优化帧时，对关键帧组场景图进行滤波优化，生成局部场景图。

在一实施例中，对多个局部场景图进行更新的步骤，包括：利用已生成的全局场景图中的目标重新进行目标关系计算，并生成目标关系计算结果；根据目标关系计算结果，在未生成的全局场景图中添加新目标、新目标关系或更新目标旧关系。

第二方面，本发明实施例提供一种结构化场景表达的认知导航系统，包括：图像及图像序列获取模块，用于利用图像获取设备获取目标场景图像，得到相应的图像序列，图像包括深度图像及彩色图像，图像序列包括深度图像序列及彩色图像序列；二维信息及三维信息获取模块，用于利用目标场景图像、图像序列及图像获取设备的参数，得到每帧图像中每个目标的二维信息和三维信息；最优场景图像信息获取模块，用于根据每帧图像中每个目标二维信息、三维信息及目标先验常识信息，得到最优场景图信息；全局场景图生成模块，用于对预设数量的待优化帧构成的场景图进行处理，生成局部场景图，并对局部场景图进行合并更新，生成全局场景图；路径规划及导航模块，用于根据全局场景图中的目标信息，获取目标坐标，根据目标坐标规划路径并进行导航。

第三方面，本发明实施例提供一种终端设备，包括：至少一个处理器，以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行本发明实施例第一方面的结构化场景表达的认知导航方法。

第四方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行本发明实施例第一方面的结构化场景表达的认知导航方法。

本发明技术方案，具有如下优点：

1.本发明提供的结构化场景表达的认知导航方法及系统，将目标场景图、图像序列及目标先验常识相结合，得到局部场景图，并对局部场景图进行合并及更新得到全局场景图，从而可以对多场景及含有更细粒度的场景进行三维场景图构建，提高了三维场景图中目标的有序性及导航的精准度；引入了目标先验常识的结构化表达，可以在有限的感知信息范围内获取更多的场景信息，为检测生成的场景图进一步优化建图效果。

2.本发明提供的结构化场景表达的认知导航方法及系统，通过获取目标二维信息和图像获取设备的位姿，结合深度图像，估计包含物体属性、三维坐标和目标之间关系的结构化信息，并根据目标先验常识信息，得到最优场景图信息，提高了场景图构建的准确度。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的结构化场景表达的认知导航方法的一个具体示例的流程图；

图2为本发明实施例提供的生成目标先验常识信息的一个具体示例的流程图；

图3为本发明实施例提供的与或图结构的一个具体示例的示意图；

图4为本发明实施例提供的获取三维信息的一个具体示例的流程图；

图5为本发明实施例提供的获取最优场景图信息的一个具体示例的流程图；

图6为本发明实施例提供的生成全局场景图的一个具体示例的流程如；

图7为本发明实施例提供的结构化场景表达的认知导航系统的一个具体示例的模块组成图；

图8为本发明实施例提供的终端设备一个具体示例的组成图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

本发明实施例提供一种结构化场景表达的认知导航方法，应用于场景图构建、三维重建及自动化控制技术等领域，如图1所示，包括：

步骤s11：利用图像获取设备获取目标场景图像，得到相应的图像序列，图像包括深度图像及彩色图像，图像序列包括深度图像序列及彩色图像序列。

本发明实施例利用图像获取设备可以在不同时间、不同方位对场景中全部目标依序连续获取目标场景图像，得到对应的深度图像序列及彩色图像序列，并利用不易受光照、阴影等影响的深度图像取代现有技术中的灰度图像，结合彩色图像，从而提高构建的三维场景图的准确度及场景图中目标的有序性。

步骤s12：利用目标场景图像、图像序列及图像获取设备的参数，得到每帧图像中每个目标的二维信息和三维信息。

本发明实施例利用预设目标检测识别方法检测每帧目标场景图像、每帧图像序列中所有目标的二维信息，二维信息包括目标的类别、目标属性、目标在场景图中出现的概率、目标二维边界框信息和目标id等，目标场景图像、图像序列主要为彩色图像及彩色图像序列，预设目标检测识别方法可以为yolo-v3目标检测方法。

根据图像序列，采用激光或视觉定位与地图构建算法对图像获取设备进行定位，估计图像获取设备的初始位姿，同时，可以利用orb-slam算法对角点进行跟踪。根据相机初始位姿、深度图像、二维信息及图像获取设备的参数，得到目标的在三维空间中的坐标及三维边界框。

需要说明的是，本发明实施例所提及的各种算法仅用于举例说明，但并不以此为限制。

步骤s13：根据每帧图像中每个目标二维信息、三维信息及目标先验常识信息，得到最优场景图信息。

本发明实施例使用每帧图像信息中的三维坐标信息和三维边界框信息进行目标间的关系估计，得到目标的类别概率及关系概率后，目标先验常识信息的结构化表达，进行最大后验推理，得到最优场景图信息，最优场景图信息包括优化后的目标类别、属性和目标之间的关系。

步骤s14：对预设数量的待优化帧构成的场景图进行处理，生成局部场景图，并对局部场景图进行合并更新，生成全局场景图。

为了进一步提高三维场景图构建的的准确度，本发明实施例实时对预设数量的待优化帧构成的初始图像进行优化处理，将预设数量的待优化帧的帧放入待优化组中，针对待优化帧的数量超出预设数量的待优化帧时，直接对初始场景图进行优化滤波处理，针对待优化帧的数量超出预设数量的待优化帧，且某一目标出现次数小于预设出现次数阈值时，将该目标从初始场景图中滤除，同时对于优化后的初始场景图中的目标的三维信息平均值进行再计算，并生成局部场景图，根据目标坐标信息、目标类别信息及已生成的全局场景图中的目标信息，对多个局部场景图进行合并及更新，生成全局场景图。

步骤s15：根据全局场景图中的目标信息，获取目标坐标，根据目标坐标规划路径并进行导航。

当终端或设备收到导航指令时，可以根据物体的种类、属性和关系在全局场景图中进行检索查询，找到对应物体，然后查询其坐标，根据目标坐标规划路径并进行导航。

本发明实施例提供的结构化场景表达的认知导航方法，将目标场景图、图像序列及目标先验常识相结合，得到局部场景图，并对局部场景图进行合并及更新得到全局场景图，从而可以对多场景及含有更细粒度的场景进行三维场景图构建，提高了三维场景图中目标的有序性及导航的精准度；引入了目标先验常识的结构化表达，可以在有限的感知信息范围内获取更多的场景信息，为检测生成的场景图进一步优化建图效果。

在一具体实施例中，如图2所示，目标先验常识信息在获取目标场景图像之前获取，获取目标先验常识信息的过程包括：

步骤s21：对预设目标数据集进行筛选清洗处理，根据预设场景图像分类方法，对筛选清洗后的预设目标数据集进行分类，生成各种类型的场景图像。

本发明实施例将目标数据集作为特征提取依据，例如：visualgenome数据集，并对数据集进行筛选清洗处理，去除掉所有包含人的图像，筛选清洗后的预设目标数据集图像可以按照厨房、客厅、卧室、会议室、办公室、餐厅、盥洗室等多个功能场景进行分类，此处分类规则可以根据需要自定义设定。

步骤s22：统计每种类型的场景图像中目标出现的概率、目标属性的概率和关系的概率。

步骤s23：根据目标的属性及目标之间的关系，构建与或图结构。

对各个场景每帧图像中目标出现的概率、目标属性的概率和目标之间关系的概率进行统计，并根据目标的属性及目标之间的关系，构建如图3所示的与或图结构。

如图3所示的与或图结构主要有与节点和或节点组成，与节点表示物体的拆分，或节点表示目标的多个选择，终端节点包含地址节点和属性节点，属性节点为目标属性，如颜色、坐标等。

步骤s24：将每种类型的场景图像中目标出现的概率、目标属性的概率和关系的概率填充到与或图结构中，生成目标先验常识信息。

将对各个场景每帧图像中目标出现的概率、目标属性的概率和目标之间关系的概率的统计结果(目标类别、属性、目标之间的关系及前三项的概率等)填充到与或图结构中对应物体的或节点结构中，在与或图中可以得到多种目标先验常识信息，目标先验常识信息涵盖了实际场景情况。

在一具体实施例中，如图4所示，利用目标场景图像、图像序列及图像获取设备的参数，得到每帧图像中每个目标的二维信息和三维信息的步骤，包括：

步骤s121：利用图像序列及slam方法对图像获取设备的位姿进行估计，获取以第一帧图像位置为坐标原点的图像获取设备的位姿。

本发明实施例利用预设位姿估计算法，根据图像序列对图像获取设备的位姿进行估计，获取以第一帧图像位置为坐标原点的图像获取设备的位姿。例如，当机器人搭载相机设备，可以利用激光或视觉slam算法估计出移动机器人的实时位姿，利用orb-slam算法进行角点跟踪，估计相机的初始位姿。

步骤s122：利用彩色图像及目标检测方法检测每帧图像中的所有目标，获取每帧图像中每个目标的二维信息。

利用目标检测算法检测每帧彩色图像中的所有出现的目标，并获取每个目标的二维信息，二维信息可以包括目标类别、在每帧图像中出现概率、目标二维边界框信息及二维坐标等，本实施例中采用的目标检测算法为现有的比较成熟的目标检测算法检测目标，在此不做限制。

步骤s123：根据深度图像、图像获取设备的位姿、图像获取设备的参数及每个目标的二维信息，获取每帧图像中目标的三维信息，三维信息包括目标的三维坐标信息及三维边界框信息。

利用目标检测识别到的目标种类和二维边界框信息，结合深度图像、图像获取设备的位姿、图像获取设备的参数，计算出目标在三维空间的坐标及三维边界框信息。本发明实施例中，计算三维边界框信息可以分为以下两种情况：对于体积比较小的目标，则可以根据二维边界框对三维边界框进行近似，而对于体积较大的目标，则可以通过对二维码的标注设定目标的三维边界框。

在一具体实施例中，如图5所示，根据每帧图像中每个目标二维信息、三维信息及目标先验常识信息，得到最优场景图信息的步骤，包括：

步骤s131：根据每帧图像中每个目标的三维信息，估计目标之间的关系及其概率，概率包括在每帧图像中目标出现的概率、目标属性的概率和目标关系的概率。

利用得到的三维坐标信息和物体的三维边界框信息，估计每帧图像中物体之间的关系及其概率。针对于目标之间关系的估计可以分为以下两种情况：1、通过判断被支撑目标是否在支撑目标的上方，从而判断目标之间是否具有支撑关系；2、通过判断被包含目标是否在包含目标的内部，从而判断目标之间是否具有包含关系。3、通过判断目标之间是否存在支撑关键及包含关系，从而判断目标之间无关。

步骤s132：根据每帧图像中对应的目标间的关系、目标的二维信息，生成每帧图像场景图。

步骤s133：根据目标先验常识信息、目标之间的关系及其概率，对每帧图像进行优化，得到最优场景图信息。

根据每帧图像中对应的目标间的关系、目标的二维信息(目标的属性及类别)及目标先验常识信息的结构化表达，生成每帧图像场景图。

对每帧图像场景图中目标关系、属性等进行最大后验推理，得到优化后的物体类别、属性和关系，最大后验推理可以根据式(1)进行实施：

其中，pg即为对应图像信息的解析图，p(pg|γ,gε)为后验概率。gε为与或图随机语法，γ为输入图像数据，包括目标种类γo、三维空间关系γs和物体属性γa。

在一具体实施例中，如图6所示，对预设数量的待优化帧构成的场景图进行处理，生成局部场景图，并对局部场景图进行合并更新，生成全局场景图的步骤，包括：

步骤s141：将预设数量的待优化帧的初始场景图信息存储到待优化组中。

本发明实施例将连续多帧的预设数量的待优化帧的初始场景图信息存储到待优化组中，将待优化组容量设置为预设数量，在当待优化组中帧的数量超出预设数量的待优化帧时，对初始场景图进行优化。

步骤s142：当待优化组初始场景图中任一目标出现的次数小于预设出现次数阈值时，将该目标从初始场景图中滤除，生成滤波后的场景图集合。

本发明实施例当待优化组初始场景图中任一目标出现的次数小于预设出现次数阈值时，从而去除掉场景中由于目标检测误识别引入的短时出现的物体，从而提高建图精准度。

步骤s143：重新计算滤波后的场景图集合中所有目标的三维信息的平均值，根据再次计算得到的目标三维信息平均值，生成局部场景图。

本发明实施例在去除掉短时出现的物体后的滤波后的场景图集合，重新对待优化组中的每一物体的三维坐标和边界框进行均值计算，作为优化后的物体的三维坐标和三相边界框，并根据优化后的物体的三维坐标和三相边界框生成局部场景图。

步骤s144：根据目标坐标信息、目标类别信息及已生成的全局场景图中的目标信息，对多个局部场景图进行合并及更新，生成全局场景图。

本发明实施例利用已生成的全局场景图中的目标重新进行目标关系计算，并生成目标关系计算结果；根据目标关系计算结果，在未生成的全局场景图中添加新目标、新目标关系或更新目标旧关系，从而实时生成全局场景图。

在一具体实施例中，对预设数量的待优化帧构成的场景图进行处理，生成局部场景图，并对局部场景图进行合并更新，生成全局场景图的步骤，还包括：

当待优化组中帧的数量超出预设数量的待优化帧时，对关键帧组场景图进行滤波优化，生成局部场景图。

本发明实施例提供的结构化场景表达的认知导航方法，将目标场景图、图像序列及目标先验常识相结合，得到局部场景图，并对局部场景图进行合并及更新得到全局场景图，从而可以对多场景及含有更细粒度的场景进行三维场景图构建，提高了三维场景图中目标的有序性及导航的精准度；引入了目标先验常识的结构化表达，可以在有限的感知信息范围内获取更多的场景信息，为检测生成的场景图进一步优化建图效果；通过获取目标二维信息和图像获取设备的位姿，结合深度图像，估计包含物体属性、三维坐标和目标之间关系的结构化信息，并根据目标先验常识信息，得到最优场景图信息，提高了场景图构建的准确度。

实施例2

本发明施例提供一种结构化场景表达的认知导航系统，如图7所示，包括：

图像及图像序列获取模块1，用于利用图像获取设备获取目标场景图像，得到相应的图像序列，图像包括深度图像及彩色图像，图像序列包括深度图像序列及彩色图像序列；此模块执行实施例1中的步骤s1所描述的方法，在此不再赘述。

二维信息及三维信息获取模块2，用于利用目标场景图像、图像序列及图像获取设备的参数，得到每帧图像中每个目标的二维信息和三维信息；此模块执行实施例1中的步骤s2所描述的方法，在此不再赘述。

最优场景图想信息获取模块3，用于根据每帧图像中每个目标二维信息、三维信息及目标先验常识信息，得到最优场景图信息；此模块执行实施例1中的步骤s3所描述的方法，在此不再赘述。

全局场景图生成模块4，用于对预设数量的待优化帧构成的场景图进行处理，生成局部场景图，并对局部场景图进行合并更新，生成全局场景图；此模块执行实施例1中的步骤s4所描述的方法，在此不再赘述。

路径规划及导航模块5，用于根据全局场景图中的目标信息，获取目标坐标，根据目标坐标规划路径并进行导航；此模块执行实施例1中的步骤s5所描述的方法，在此不再赘述。

本发明实施例提供的结构化场景表达的认知导航系统，将目标场景图、图像序列及目标先验常识相结合，得到局部场景图，并对局部场景图进行合并及更新得到全局场景图，从而可以对多场景及含有更细粒度的场景进行三维场景图构建，提高了三维场景图中目标的有序性及导航的精准度；引入了目标先验常识的结构化表达，可以在有限的感知信息范围内获取更多的场景信息，为检测生成的场景图进一步优化建图效果；通过获取目标二维信息和图像获取设备的位姿，结合深度图像，估计包含物体属性、三维坐标和目标之间关系的结构化信息，并根据目标先验常识信息，得到最优场景图信息，提高了场景图构建的准确度。

实施例3

本发明实施例提供一种终端设备，如图8所示，包括：至少一个处理器401，例如cpu(centralprocessingunit，中央处理器)，至少一个通信接口403，存储器404，至少一个通信总线402。其中，通信总线402用于实现这些组件之间的连接通信。其中，通信接口403可以包括显示屏(display)、键盘(keyboard)，可选通信接口403还可以包括标准的有线接口、无线接口。存储器404可以是高速ram存储器(ramdomaccessmemory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器404可选的还可以是至少一个位于远离前述处理器401的存储装置。其中处理器401可以执行实施例1的结构化场景表达的认知导航方法。存储器404中存储一组程序代码，且处理器401调用存储器404中存储的程序代码，以用于执行实施例1的结构化场景表达的认知导航方法。

其中，通信总线402可以是外设部件互连标准(peripheralcomponentinterconnect，简称pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，简称eisa)总线等。通信总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器404可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-accessmemory，缩写：ram)；存储器也可以包括非易失性存储器(英文：non-volatilememory)，例如快闪存储器(英文：flashmemory)，硬盘(英文：harddiskdrive，缩写：hdd)或固降硬盘(英文：solid-statedrive，缩写：ssd)；存储器404还可以包括上述种类的存储器的组合。

其中，处理器401可以是中央处理器(英文：centralprocessingunit，缩写：cpu)，网络处理器(英文：networkprocessor，缩写：np)或者cpu和np的组合。

其中，处理器401还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specificintegratedcircuit，缩写：asic)，可编程逻辑器件(英文：programmablelogicdevice，缩写：pld)或其组合。上述pld可以是复杂可编程逻辑器件(英文：complexprogrammablelogicdevice，缩写：cpld)，现场可编程逻辑门阵列(英文：field-programmablegatearray，缩写：fpga)，通用阵列逻辑(英文：genericarraylogic,缩写：gal)或其任意组合。

可选地，存储器404还用于存储程序指令。处理器401可以调用程序指令，实现如本申请执行实施例1中的结构化场景表达的认知导航方法。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机可执行指令，该计算机可执行指令可执行实施例1的结构化场景表达的认知导航方法。其中，存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)、随机存储记忆体(randomaccessmemory，ram)、快闪存储器(flashmemory)、硬盘(harddiskdrive，缩写：hdd)或固态硬盘(solid-statedrive，ssd)等；存储介质还可以包括上述种类的存储器的组合。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。