基于图像的目标对象检测方法、装置及电子设备与流程

1.本发明涉及图像处理技术领域，尤其涉及一种基于图像的目标对象检测方法、装置及电子设备。


背景技术：

2.随着计算机视觉技术的发展，以及自动驾驶和车内智能应用场景的普及，车辆使用摄像头进行目标对象识别的需求越来越多，比如：车内乘员识别，驾驶员眼球追踪和表情识别等等。在相关的，目标对象的检测方法中，对目标对象的识别率还有待提高。


技术实现要素：

3.本发明实施例提供一种基于图像的目标对象检测方法、装置及电子设备，可以通过车辆的图像采集装置获取的图像来确定目标对象，以此提示驾驶员关注车内情况。
4.为达到上述目的，本发明采用如下技术方案：第一方面，提供一种基于图像的目标对象检测方法，所述方法包括：获取待识别图像，所述待识别图像由车辆的图像传感装置所采集的图像；将所述待识别图像输入至目标对象检测模型中，得到所述待识别图像的特征图；所述目标对象检测模型包括yolov3算法；将所述特征图输入至目标对象的类别检测模型中，得到目标对象的类别检测结果；根据所述目标对象的类别检测结果，则输出提示信息。
5.根据第一方面所述的方法可知，本发明通过获取待识别图像，通过目标对象检测模型对待识别图像中的目标对象进行识别，得到待识别图像的特征图；再将待识别图像的特征图输入至目标对象的类别检测模型中，最后基于目标对象的类别检测模型得到的目标对象的类别检测结果来输出提示信息，以此提高目标对象的识别率，并且驾驶员可根据提示信息关注车辆的内部情况。
6.结合第一方面，在一种可能的设计方案中，其特征在于，所述将所述待识别图像输入至目标对象检测模型中，得到所述待识别图像的特征图包括：获取所述目标对象检测模型要求输入的图像的尺寸；判断所述待识别图像的尺寸是否与所述目标对象检测模型要求输入的图像的尺寸相同；若不同，利用高低维度差值异化算法将所述待识别图像的尺寸调整为所述目标对象检测模型要求输入的图像的尺寸。
7.根据该可能的设计方案可知，目标对象检测模型对于输入图像的尺寸有要求，若待识别图像的尺寸与目标对象检测模型要求输入的图像的尺寸不同，则无法进行目标对象的识别以及后续步骤，所以当待识别图像的尺寸与目标对象检测模型所要求输入图像的尺寸不同时，利用高低维度差值异化算法将待识别图像的尺寸调整至目标对象检测模型的尺寸相同，以此避免后续对目标图像进行分类出现错误。
8.结合第一方面，在一种可能的设计方案中，所述若不同，利用高低维度差值异化算法将所述待识别图像的尺寸调整为所述目标对象检测模型要求输入的图像的尺寸包括：根据所述待识别图像确定所述待识别图像的灰度图和所述待识别图像对应的二值图像；根据
所述灰度图和所述二值图像确定所述待识别图像中各像素点的深度值，得到待识别图像的深度图；将所述待识别图像与所述深度图融合得到输入图像，所述输入图像的尺寸符合所述目标对象检测模型要求输入的图像的尺寸。
9.根据可能的设计方案可知，在待识别图像的尺寸与目标对象检测模型要你输入图像的尺寸不用时，通过待识别图像来得到待识别图像的灰度图以及二值图像，然后分别确定各像素点在待识别图像的灰度图以及二值图像中的像素值，然后确定各像素点的深度值，即可得到待识别图像的深度图，再将待识别图像的深度图与待识别图像进行融合，以此得到与目标对象检测模型要求输入图像的尺寸相同的输入图像，能够快速的将待识别图像的尺寸进行调整，提高效率。
10.结合第一方面，在一种可能的设计方案中，所述将所述待识别图像输入至目标对象检测模型中，得到所述待识别图像的特征图之前，包括：对所述待识别图像进行降噪处理，得到具有更高清晰度的图像；将所述具有更高清晰度的图像替换为待识别图像。
11.根据可能的设计方案可知，本实施例可对待识别图像进行降噪处理，使得后续对待识别图像进行目标对象检测更加精准。
12.结合第一方面，在一种可能的设计方案中，所述目标对象的类别包括第一目标对象和第二目标对象；所述根据所述目标对象的类别检测结果，则输出提示信息包括：若所述目标对象中包含有第一目标对象，获取参考目标对象的位置信息，所述参考目标对象为所述车辆内部所包括的除第一目标对象以外的目标对象；将对应的位置信息与所述第一目标对象的位置信息的差值小于第一差值阈值内大于第二差值阈值的参考目标对象作为第二目标对象，所述第一差值阈值大于第二差值阈值；获取所述第二目标对象的位置信息；判断所述第一目标对象与所述第二目标对象之间的最小距离是否小于第二差值阈值；若是，则输出所述提示信息，所述提示信息用于提示驾驶员关注车辆内部的状况。
13.根据可能的设计方案可知，本实施例通过第一目标对象与第二目标对象之间的位置关系，能够在第一目标对象与第二目标对象之间的距离差值小于第二差值阈值时，输出提示信息，以提示驾驶员关注车辆的内部情况。
14.结合第一方面，在一种可能的设计方案中，所述若是，则输出所述提示信息之后，所述方法包括：当检测到所述第一目标对象与所述第二目标对象分离后，将所述第一目标对象与所述第二目标对象关联，并记录所述第二目标对象的信息。
15.根据可能的设计方案可知，通过将第一目标对象与第二目标对象关联，以此便于后续步骤确定第一目标对象与第二目标对象的位置关系。
16.结合第一方面，在一种可能的设计方案中，所述当检测到所述第一目标对象与所述第二目标对象分离后，将所述第一目标对象与所述第二目标对象关联包括：确定所述第一目标对象的第一关注信息和所述第二目标对象的第二关注信息；为所述第一关注信息和所述第二关注信息生成虚拟关联关系标识信息，并将所述虚拟关联关系标识信息进行关联存储。
17.根据可能的设计方案可知，本实施例可以通过将第一目标对象的第一关注信息与第二目标对象的关注信息进行关联，并且生成虚拟关联关系标识信息，以此在下一次在待识别图像中同时存在第一目标对象以及第二目标对象时，能够快速识别，并且根据虚拟关联关系标识信息快速确定第一目标对象与第二目标对象之间的关系，并输出提示信息，能
够避免需要重新识别导致的事故发生。
18.第二方面，提供一种基于图像的目标对象检测装置，所述装置包括：待识别图像获取模块，用于获取待识别图像，所述待识别图像由车辆的图像传感装置所采集的图像；第一检测模块，用于将所述待识别图像输入至目标对象检测模型中，得到所述待识别图像的特征图；所述目标对象检测模型包括yolov3算法；第二检测模块，将所述特征图输入至目标对象的类别检测模型中，得到目标对象的类别检测结果；提示模块，用于根据所述目标对象的类别检测结果，则输出提示信息。
19.此外，第二方面所述的基于图像的目标对象检测装置的技术效果可以参考第一方面所述的基于图像的目标对象检测方法的技术效果，此处不再赘述。
20.第三方面，本发明实施例提供了一种电子设备。该电子设备包括：处理器、摄像头和存储器；该存储器用于存储计算机程序，当该处理器执行该计算机程序时，以使该电子设备执行第一方面中的任意一种实现方式所述的方法。
21.第四方面，本发明实施例提供了一种计算机可读存储介质，包括：计算机程序或指令；当该计算机程序或指令在计算机上运行时，使得该计算机执行第一方面中的任意一种可能的实现方式所述的方法。
附图说明
22.图1为本发明实施例提供的基于图像的目标对象检测方法的方法流程图；图2为本发明实施例提供的步骤s130的具体步骤流程图；图3为本发明实施例提供的步骤s1330的具体步骤流程图；图4为本发明实施例提供的步骤s140的具体步骤流程图；图5为本发明实施例提供的基于图像的目标对象检测装置的结构示意图；图6为本发明实施例提供的可读存储介质的结构示意图。
具体实施方式
23.下面结合附图，对本发明中的技术方案进行描述。
24.在本发明实施例中，“示例地”、“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用示例的一词旨在以具体方式呈现概念。此外，在本发明实施例中，“和/或”所表达的含义可以是两者都有，或者可以是两者任选其一。
25.本发明实施例中，“图像”，“图片”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。“的(of)”，“相应的（corresponding，relevant）”和“对应的(corresponding)”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。
26.随着计算机视觉技术的发展，以及自动驾驶和车内智能应用场景的普及，车辆使用摄像头进行目标对象识别的需求越来越多，比如：车内乘员识别，驾驶员眼球追踪和表情识别等等。
27.而发明人在对相关的目标对象检测方法的研究中发现，相关的目标对象检测方法在识别目标对象时，对目标对象的识别率还有待提高。
28.因此，为了克服上述缺陷，本发明实施例提供了一种基于图像的目标对象检测方法、装置、电子设备以及可读存储介质，所述方法包括：获取待识别图像，所述待识别图像由车辆的图像传感装置所采集的图像；将所述待识别图像输入至目标对象检测模型中，得到所述待识别图像的特征图；所述目标对象检测模型包括yolov3算法；将所述特征图输入至目标对象的类别检测模型中，得到目标对象的类别检测结果；根据所述目标对象的类别检测结果，则输出提示信息。预先构建的目标对象的检测模型能够高精度的识别车辆中的目标对象，提高了目标对象的识别率，此外，在检测到有危险目标物时，触发报警，提示驾驶员关注车辆内部的状况，可以减少因驾驶员注意力分散而导致的交通事故的发生。
29.请参阅图1，图1为本发明实施例提供的基于图像的目标对象检测方法的方法流程图，该方法可以应用于驾驶员在驾驶车辆的过程中需要对车辆内部的情况（例如监控小孩或者老人在后座是否存在危险）。具体的，该方法包括步骤s110至步骤s140。
30.步骤s110：获取待识别图像，所述待识别图像由车辆的图像采集装置所采集的图像。
31.在一些实施例中，车辆的图像采集装置可以是车内的监控器、行车记录仪、车内摄像头等。待识别图像可以是有车辆的行车记录仪采集的车辆内部的监控视频的每一帧图像。
32.步骤s120：将所述待识别图像输入至目标对象检测模型中，得到所述待识别图像的特征图；所述目标对象检测模型包括yolov3算法。
33.可选的，作为一种方式，目标对象检测模型可以在服务器中，也可以在车载系统中，其中车载系统可以为安装在车辆内部的具有数据处理功能的系统，进一步的，当通过安装在车辆内部的车载摄像头实时采集到车辆内部的图像时，可以将采集到的图像发送给目标对象检测模型所在的服务器或者车载系统。
34.可选的，可以当检测到车辆开始启动时，图像采集装置开始采集的车辆内部的图像。具体的，当检测到车辆的发动机启动时，图像采集装置开始实时采集车辆内部的图像，并将实时采集到的车辆内部的图像存储到车辆的存储区域中，当需要获取图像采集装置采集的图像时，可以从存储区域中读取图像采集装置采集的车辆内部的图像。
35.步骤s130：将所述特征图输入至目标对象的类别检测模型中，得到目标对象的类别检测结果。
36.其中，目标对象可以理解为需要识别出的对象，可选的，目标对象可以为人或者其他物体。作为一种方式，所述目标对象可以由目标对象检测模型根据提取到的输入的图像所包括的特征信息识别出。具体的，特征信息可以是目标对象的轮廓或特征点或颜色等，在此不进行具体限定。
37.具体的，如图2所示，步骤s130包括：步骤s1310，获取所述神经网络要求输入的图像的尺寸。
38.步骤s1320，判断所述待识别图像的尺寸是否与所述目标对象检测模型要求输入的图像的尺寸相同。
39.步骤s1330，若不同，利用高低维度差值异化算法将所述待识别图像的尺寸调整为所述目标对象检测模型要求输入的图像的尺寸。
40.示例性的，若目标对象检测模型要求输入的图像的尺寸为x*x*y，但待识别图像的
尺寸为x*x，此时，需要将待识别图像的尺寸x*x调整至x*x*y，其中，y可以是图像对应的通道数。例如，要求输入的图像尺寸为30*30*3，此时待识别图像为30*30，则需要将待识别图像的尺寸调整为30*30*3。
41.具体的，如图3所示，步骤s1330包括：步骤s1331，根据所述待识别图像确定所述待识别图像的灰度图和所述待识别图像对应的二值图像。
42.步骤s1332，根据所述灰度图和所述二值图像确定所述待识别图像中各像素点的深度值，得到待识别图像的深度图。
43.步骤s1333，将所述待识别图像与所述深度图融合得到输入图像，所述输入图像的尺寸符合所述目标对象检测模型要求输入的图像的尺寸。
44.示例性的，通过利用待识别图像中每个像素点在对应灰度图中的像素值以及二值图像的像素值，计算各像素点的平均像素值，并将得到的平均像素值确定为各像素点的深度值，然后根据深度值确定待识别图像的深度图，然后将深度图与待识别图像进行融合，以此得到的图像的尺寸即可满足目标对象检测模型要求输入的尺寸。
45.可选的，若目标对象检测模型的要求输入的图像的尺寸为x*y，但待识别图像的尺寸为a*b，则可利用双线性插值算法来经待识别图像的尺寸调整至目标对象检测模型的要求输入的图像的尺寸。
46.可选的，还可通过在目标对象检测模型中加入反卷积层来调整待识别图像的尺寸。
47.请继续参阅图1，步骤s140：根据所述目标对象的类别检测结果，则输出提示信息。
48.具体的，所述目标对象的类别包括第一目标对象和第二目标对象，如图4所示，步骤s140包括：步骤s1401：若所述目标对象中包含有第一目标对象，获取参考目标对象的位置信息，所述参考目标对象为所述车辆内部所包括的除第一目标对象以外的目标对象。
49.具体的，第一目标对象可以是车内的危险物品，例如刀具、笔、具有尖锐的物品、药品、打火机等。第二目标对象可以是儿童、婴儿、老人等需要照顾的对象。
50.步骤s1402：将对应的位置信息与所述第一目标对象的位置信息的差值小于第一差值阈值内大于第二差值阈值的参考目标对象作为第二目标对象，所述第一差值阈值大于第二差值阈值。
51.具体的，当参考目标对象的位置信息与第一目标对象的位置信息的差值小于第一差值阈值内大于第二差值阈值时，表明当前存在危险。
52.步骤s1403：获取所述第二目标对象的位置信息。
53.步骤s1404：判断所述第一目标对象与所述第二目标对象之间的最小距离是否小于第二差值阈值。
54.步骤s1405：若是，则输出所述提示信息，所述提示信息用于提示驾驶员关注车辆内部的状况。
55.具体的，当第一目标对象与第二目标对象之间的最小距离小于第二差值阈值时，表示危险即将发生，以此发出提示信息来提醒驾驶员关注车辆内部的情况，可避免危险发生。
56.可选的，步骤s1405之后，该方法还包括：当检测到所述第一目标对象与所述第二目标对象分离后，将所述第一目标对象与所述第二目标对象关联。
57.具体的，确定所述第一目标对象的第一关注信息和所述第二目标对象的第二关注信息；为所述第一关注信息和所述第二关注信息生成虚拟关联关系标识信息，并将所述虚拟关联关系标识信息进行关联存储。
58.第一关注信息可以是第一目标对象的形状、轮廓等能够表明第一目标对象的外形的信息，还可以是第一目标对象上的标签，例如，对于一些危险物品上通常会有注意小孩的提示标签。第二关注信息可以是第二关注对象的面部特征信息。
59.虚拟关联关系标识信息是显示中不存在的标识信息，该虚拟关联关系标识信息可以是第一关注信息对应的第一目标对象对第二关注信息对应的第二目标对象可能造成的影响。例如，第一对象是刀具，第二目标对象时儿童，刀具可能会造成儿童不同程度的划伤甚至是捅伤，该虚拟关联标志信息可以是一红色感叹号，可以在另一待识别图像中同时存在第一关注信息和第二关注信息时，直接获取带该虚拟关联关系标识信息，以此能够快速提醒驾驶员关注车辆内部的情况。
60.可选的，在步骤s110之前，该方法还包括：对所述待识别图像进行降噪处理，得到具有更高清晰度的图像；将所述具有更高清晰度的图像替换为待识别图像。
61.具体的，车辆的图像采集装置采集到的图像是不能直接使用的，因为会有曝光，噪音之类的问题，所以需要对图像采集装置采集到的图像进行降噪处理。其中，对图像进行降噪处理可以包括对图像进行去除高斯噪声、椒盐噪声等、对图像进行白平衡处理以及对图像进行截取处理等。进而通过对图像采集装置采集到的图像进行降噪处理后，可以得到比原图像具有更少噪声、更合适的白平衡比例、更具有针对性的图像。进一步的，对原图像进行白平衡处理后，得到的图像可以比原图像具有更高的清晰度。
62.在本发明的方案中，通过获取待识别图像，通过目标对象检测模型对待识别图像中的目标对象进行识别，得到待识别图像的特征图；再将待识别图像的特征图输入至目标对象的类别检测模型中，最后基于目标对象的类别检测模型得到的目标对象的类别检测结果来输出提示信息，以此提高目标对象的识别率，并且驾驶员可根据提示信息关注车辆的内部情况，以此可避免驾驶员时刻关注车辆的内部情况所导致的交通事故的发生。
63.示例性地，图5为本发明实施例提供的基于图像的目标对象检测装置的结构示意图。如图5所示，拍摄参数获取装置500包括：待识别图像获取模块510、第一检测模块520、第二检测模块530以及处理模块540。
64.具体的，待识别图像获取模块510，用于获取待识别图像，所述待识别图像由车辆的图像传感装置所采集的图像；第一检测模块520，用于将所述待识别图像输入至目标对象检测模型中，得到所述待识别图像的特征图；所述目标对象检测模型包括yolov3算法；第二检测模块530，将所述特征图输入至目标对象的类别检测模型中，得到目标对象的类别检测结果；提示模块540，用于根据所述目标对象的类别检测结果，则输出提示信息。
65.可选的，第一检测模块520包括：第二获取模块，用于获取所述目标对象检测模型要求输入的图像的尺寸；判断模块，用于判断所述待识别图像的尺寸是否与所述目标对象检测模型要求输入的图像的尺寸相同；调整模块，用于若不同，利用高低维度差值异化算法将所述待识别图像的尺寸调整为所述目标对象检测模型要求输入的图像的尺寸。
66.可选的，调整模块包括：第一确定单元，英语根据所述待识别图像确定所述待识别图像的灰度图和所述待识别图像对应的二值图像；深度图确定单元，用于根据所述灰度图和所述二值图像确定所述待识别图像中各像素点的深度值，得到待识别图像的深度图；融合单元，用于将所述待识别图像与所述深度图融合得到输入图像，所述输入图像的尺寸符合所述目标对象检测模型要求输入的图像的尺寸。
67.可选的，该基于图像的目标对象检测装置500还包括：降噪模块，用于对所述待识别图像进行降噪处理，得到具有更高清晰度的图像；替换模块，用于将所述具有更高清晰度的图像替换为待识别图像。
68.可选的，提示模块540包括：参考目标对象的位置信息获取但永远，用于若所述目标对象中包含有第一目标对象，获取参考目标对象的位置信息，所述参考目标对象为所述车辆内部所包括的除第一目标对象以外的目标对象；第二目标对象确定单元，用于将对应的位置信息与所述第一目标对象的位置信息的差值小于第一差值阈值内大于第二差值阈值的参考目标对象作为第二目标对象，所述第一差值阈值大于第二差值阈值；第二目标对象的位置信息获取单元，用于获取所述第二目标对象的位置信息；判断单元，用于判断所述第一目标对象与所述第二目标对象之间的最小距离是否小于第二差值阈值；提示单元，用于若是，则输出所述提示信息，所述提示信息用于提示驾驶员关注车辆内部的状况。
69.可选的，该基于图像的目标对象检测装置500还包括：关联模块，用于当检测到所述第一目标对象与所述第二目标对象分离后，将所述第一目标对象与所述第二目标对象关联。
70.可选的，关联模块包括：第二确定单元，用于确定所述第一目标对象的第一关注信息和所述第二目标对象的第二关注信息；关联单元，用于为所述第一关注信息和所述第二关注信息生成虚拟关联关系标识信息，并将所述虚拟关联关系标识信息进行关联存储。
71.为了便于说明，图5仅示出了该基于图像的目标对象检测装置500的主要部件。
72.此外，基于图像的目标对象检测装置500的技术效果可以参考前述任一基于图像的目标对象检测方法的技术效果，此处不再赘述。
73.可选地，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质包括计算机程序或指令，当所述计算机程序或指令在计算机上运行时，使得本发明任一实施例所提供的基于图像的目标对象检测方法或训练方法被执行。
74.可选地，本发明实施例还提供一种电子设备，用于执行本发明任一实施例所提供的基于图像的目标对象检测方法、装置，或者用于执行本发明任一实施例所提供的训练方法、装置。
75.如图6所示，电子设备2000可以包括处理器2001。
76.可选地，电子设备2000还可以包括存储器2002和/或收发器2003。
77.其中，处理器2001与存储器2002和收发器2003耦合，如可以通过通信总线连接。
78.下面结合图6对电子设备2000的各个构成部件进行具体的介绍：其中，处理器2001是电子设备2000的控制中心，可以是一个处理器，也可以是多个处理元件的统称。例如，处理器2001是一个或多个中央处理器（central processing unit，cpu），也可以是特定集成电路（application specific integrated circuit，asic），或者是被配置成实施本发明实施例的一个或多个集成电路，例如：一个或多个微处理器
（digital signal processor，dsp），或，一个或者多个现场可编程门阵列（field programmable gate array，fpga）。
79.可选地，处理器2001可以通过运行或执行存储在存储器2002内的软件程序，以及调用存储在存储器2002内的数据，执行电子设备2000的各种功能。
80.在具体的实现中，作为一种实施例，处理器2001可以包括一个或多个cpu，例如图6中所示出的cpu0和cpu1。
81.在具体实现中，作为一种实施例，电子设备2000也可以包括多个处理器，例如图6中所示的处理器2001和处理器2004。这些处理器中的每一个可以是一个单核处理器（single-cpu），也可以是一个多核处理器（multi-cpu）。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据（例如计算机程序指令）的处理核。
82.其中，所述存储器2002用于存储执行本发明方案的软件程序，并由处理器2001来控制执行，具体实现方式可以参考上述方法实施例，此处不再赘述。
83.可选地，存储器2002可以是只读存储器（read-only memory，rom）或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器（random access memory，ram）或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器（electrically erasable programmable read-only memory，eeprom）、只读光盘（compact disc read-only memory，cd-rom）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器2002可以和处理器2001集成在一起，也可以独立存在，并通过电子设备2000的接口电路（图6中未示出）与处理器2001耦合，本发明实施例对此不作具体限定。
84.收发器2003，用于与其他电子设备之间的通信。例如，电子设备2000为智能手机，收发器2003可以用于与网络设备通信，或者与另一个终端设备通信。又例如，电子设备2000为网络设备，收发器2003可以用于与终端设备通信，或者与另一个网络设备通信。
85.可选地，收发器2003可以包括接收器和发送器（图6中未单独示出）。其中，接收器用于实现接收功能，发送器用于实现发送功能。
86.可选地，收发器2003可以和处理器2001集成在一起，也可以独立存在，并通过电子设备2000的接口电路（图6中未示出）与处理器2001耦合，本发明实施例对此不作具体限定。
87.需要说明的是，图6中示出的电子设备2000的结构并不构成对该电子设备的限定，实际的电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
88.此外，电子设备2000的技术效果可以参考上述方法实施例所述的拍摄参数获取方法的技术效果，此处不再赘述。
89.应理解，在本发明实施例中的处理器可以是中央处理单元（central processing unit，cpu），该处理器还可以是其他通用处理器、数字信号处理器（digital signal processor，dsp）、专用集成电路（application specific integrated circuit，asic）、现成可编程门阵列（field programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
90.还应理解，本发明实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（read-only memory，rom）、可编程只读存储器（programmable rom，prom）、可擦除可编程只读存储器（erasable prom，eprom）、电可擦除可编程只读存储器（electrically eprom，eeprom）或闪存。易失性存储器可以是随机存取存储器（random access memory，ram），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器（random access memory，ram）可用，例如静态随机存取存储器（static ram，sram）、动态随机存取存储器（dram）、同步动态随机存取存储器（synchronous dram，sdram）、双倍数据速率同步动态随机存取存储器（double data rate sdram，ddr sdram）、增强型同步动态随机存取存储器（enhanced sdram，esdram）、同步连接动态随机存取存储器（synchlink dram，sldram）和直接内存总线随机存取存储器（direct rambus ram，dr ram）。
91.上述实施例，可以全部或部分地通过软件、硬件（如电路）、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如，dvd）、或者半导体介质。半导体介质可以是固态硬盘。
92.应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况，其中a,b可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。
93.本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a,b,或c中的至少一项（个），可以表示：a, b, c, a-b, a-c, b-c, 或a-b-c，其中a,b,c可以是单个，也可以是多个。
94.应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
95.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
96.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
97.在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
98.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
99.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
100.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（read-only memory，rom）、随机存取存储器（random access memory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。
101.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。