一种视频流传输方法及装置与流程

1.本发明涉及视频传输技术领域，尤其涉及一种视频流传输方法及装置。


背景技术：

2.智慧港口的应用越来越多，港机的远程控制系统是港口智能化、自动化发展的重要应用之一。在港机的远程控制系统中，吊具摄像机的视频画面是辅助港机远控司机执行该操作的关键画面，因此，低延时的吊具摄像机画面显示，能够保障港机远程控制系统中司机控制吊具作业的安全性。
3.当前，吊具摄像机采用常规的高清网络摄像机机芯定做，200万像素高清网络摄像机视频显示延时在250ms～300ms，再叠加向司机的可视界面网络传输延时以及视频显示延时，总延时会大于300ms，然而，较高的延时会影响客户端视频显示的实时性，进而降低司机远程操控的安全性。


技术实现要素：

4.鉴于上述问题，本发明提供一种视频流传输方法及装置，主要目的是为了降低视频流传输的延时，以保证客户端视频显示的实时性。
5.为解决上述技术问题，本发明提出以下方案：
6.第一方面，本发明提供了一种视频流传输方法，所述方法包括：
7.基于客户端发出的查询请求获取对应的目标视频流数据；
8.按照预设编码方式对所述目标视频流数据进行编码；
9.利用预置规则将编码后的目标视频流数据处理为待传输视频流数据，所述预置规则是用于保证所述编码后的目标视频流数据的延时最低而设置的处理规则；
10.将所述待传输视频流数据发送至所述客户端，以便所述客户端通过与所述预设编码方式对应的解码方式解析所述待传输视频流数据
11.第二方面，本发明提供了一种视频流传输装置，所述装置包括：
12.获取单元，用于基于客户端发出的查询请求获取对应的目标视频流数据；
13.转换单元，用于按照预设编码方式对所述目标视频流数据进行编码；
14.处理单元，用于利用预置规则将所述转换单元获得的编码后的目标视频流数据处理为待传输视频流数据，所述预置规则是用于保证所述编码后的目标视频流数据的延时最低而设置的处理规则；发送单元，用于将所述处理单元获得的所述待传输视频流数据发送至所述客户端，以便所述客户端通过与所述预设编码方式对应的解码方式解析所述待传输视频流数据。
15.为了实现上述目的，根据本发明的第三方面，提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述第一方面的视频流传输方法。
16.为了实现上述目的，根据本发明的第四方面，提供了一种处理器，所述处理器用于
运行程序，其中，所述程序运行时执行上述第一方面的视频流传输方法。
17.借由上述技术方案，本发明提供的一种视频流传输方法及装置，是在需要对视频流进行传输时，首先基于客户端发出的查询请求获取对应的目标视频流数据，然后按照预设编码方式对目标视频流数据进行编码，在利用预置规则将编码后的目标视频流数据处理为待传输视频流数据，预置规则是用于保证编码后的目标视频流数据的延时最低而设置的处理规则，最后将待传输视频流数据发送至客户端，以便客户端通过与预设编码方式对应的解码方式解析待传输视频流数据。通过本发明提供的视频流传输方案，可以降低服务器向客户端传输视频流数据的延时，从而提升客户端视频显示的实时性，使得从服务器获取视频流数据到客户端对视频流数据进行视频显示的总延时能够控制在180ms以内，从而为用户(司机)远程操控吊具提供实时视频，避免因延时过大而导致司机控制迟缓，从而避免引起安全事故，提高司机远程操控的安全性。
18.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
19.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
20.图1示出了本发明实施例提供的一种视频流传输方法流程图；
21.图2示出了本发明实施例提供的另一种视频流传输方法流程图；
22.图3示出了本发明实施例提供的一种视频流传输装置的组成框图；
23.图4示出了本发明实施例提供的另一种视频流传输装置的组成框图。
具体实施方式
24.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
25.智慧港口的应用越来越多，港机的远程控制系统是港口智能化、自动化发展的重要应用之一。在港机的远程控制系统中，吊具摄像机的视频画面是辅助港机远控司机执行该操作的关键画面，因此，低延时的吊具摄像机画面显示，能够保障港机远程控制系统中司机控制吊具作业的安全性。然而当前吊具摄像机采用常规的高清网络摄像机机芯定做，200万像素高清网络摄像机视频显示延时在250ms～300ms，再叠加向司机的可视界面网络传输延时以及视频显示延时，总延时会大于300ms，因此，较高的延时会影响客户端视频显示的实时性，进而降低司机远程操控的安全性。为此，本发明实施例提供了一种视频流传输方法，通过该方法能够降低视频流传输的延时，以保证客户端视频显示的实时性，其具体执行步骤如图1所示，包括：
26.101、基于客户端发出的查询请求获取对应的目标视频流数据。
27.在本步骤中，客户端具体指港机远程操控系统中的中控视频软件，用户(司机)可通过在中控视频软件的触控界面或按键进行操控，以获得视频查询指令，客户端通过视频查询指令生成查询请求，查询请求中包括对目标视频流数据的查询内容，当接收到客户端发出的查询请求后，可通过对查询请求进行解析，以获得查询内容，再根据查询内容获取对应的目标视频流数据，而目标视频流数据具体通过在港机吊具上部署多台pal模拟摄像机进行采集，模拟摄像机相对于高清摄像机而言不需要进行ip地址更改，仅需要进行简单的接插线连接即可，避免了由于港机维护工人不具备配置摄像机的专业知识，导致摄像机视频画面无法显示的情况发生。
28.102、按照预设编码方式对目标视频流数据进行编码。
29.在本步骤中，由步骤101可知，目标视频流数据是通过pal模拟摄像机进行采集，因此，采集的视频流的文件格式为pal制式视频流，而预设编码方式是将pal制式视频流编码为h.264协议视频流，即编码后的目标视频流数据的文件格式为h.264协议视频流，具体的，在编码前可将pal 制式视频流接入海思hi3531d芯片进行编码，从而在rtsp和rtp标准协议框架下优化传输过程，故通过h.264协议视频流进行后续传输能够降低视频编解码显示延时。
30.103、利用预置规则将编码后的目标视频流数据处理为待传输视频流数据。
31.其中，预置规则是用于保证编码后的目标视频流数据的延时最低而设置的处理规则。由于本实施例采用海思hi3511d芯片进行编码，而通过海思平台硬件编码后的目标视频流数据的帧类型包括i帧、p帧、sps帧、sei 帧、pps帧，因此，可以先获取编码后的目标视频流数据的帧类型和帧长度，通过帧类型可以先从编码后的目标视频流数据中提取预设桢长度创建出对应该类型的rtp包头，再对编码后的目标视频流数据中除去预设帧长度后的剩余桢长度进行检测，若超过最佳打包临界帧长度，则可先基于最佳打包临界帧长度对剩余桢长度进行打包，若未超过则直接对目标视频流数据中除去预设帧长度后的剩余桢长度进行打包，从而获得多个rtp数据包，最后将rtp数据包分别与rtp包头进行封装组包，以获得待传输视频流数据，而通过针对每一帧类型的编码后的目标视频流数据都单独组包封装发送，且每一rtp数据包的桢长度均不大于最佳打包临界帧长度，这样可以将视频流延时降到最低，示例性的，假设选择组包封装的帧长度为1500字节，而一般创建rtp包头为12个字节，因此，每个与rtp包头组包封装的 rtp数据包对应的有效载荷数据对应的帧长度是1488个字节，即1488个字节即为最佳打包临界长度，通过上述处理方式可以使得编码后的目标视频流数据能够以最低延时的方式封装组包为待传输视频流数据，以便于在后续步骤104中进行发送。
32.104、将待传输视频流数据发送至客户端，以便客户端通过与预设编码方式对应的解码方式解析待传输视频流数据。
33.在本步骤中，由步骤101可知，客户端具体指港机远控系统中的中控视频软件，因此，当待传输视频流数据发送至客户端时，由于待传输视频流数据是通过预设编码方式进行编码而成的，因此，客户端需要对待传输视频流数据进行解码才能在客户端的可视界面中对视频画面进行显示，而为了进一步降低延时，可通过与预设编码方式对应的解码方式对待传输视频流数据进行解码，从而使得待传输视频流数据的视频画面可在客户端的可视界面上进行显示，进而使得用户(司机)能够通过实时传输过来的可视画面进行对吊具进行
操控，而通过上述方式可降低编码、解码显示延时，使得总延时能够控制在180ms以内，进而司机远程手动控制吊具提供实时视频，避免因延时过大，导致司机控制迟缓，引起安全事故。
34.基于上述图1的实现方式可以看出，本发明实施例所提出的一种视频流传输方法，是在需要对视频流进行传输时，首先基于客户端发出的查询请求获取对应的目标视频流数据，然后按照预设编码方式对目标视频流数据进行编码，在利用预置规则将编码后的目标视频流数据处理为待传输视频流数据，预置规则是用于保证编码后的目标视频流数据的延时最低而设置的处理规则，最后将待传输视频流数据发送至客户端，以便客户端通过与预设编码方式对应的解码方式解析待传输视频流数据。通过本发明提供的视频流传输方案，可以降低服务器向客户端传输视频流数据的延时，从而提升客户端视频显示的实时性，使得从服务器获取视频流数据到客户端对视频流数据进行视频显示的总延时能够控制在180ms以内，从而为用户 (司机)远程操控吊具提供实时视频，避免因延时过大而导致司机控制迟缓，从而避免引起安全事故，提高司机远程操控的安全性。
35.进一步的，本发明优选实施例是在上述图1的基础上，针对视频流传输的过程进行的详细说明，其具体步骤如图2所示，包括：
36.201、接收客户端发出的查询请求。
37.在本步骤中，由于客户端具体指港机远程操控系统中的中控视频软件，因此，通过用户(司机)在中控视频软件的触控界面或按键进行操控，可以获得视频查询指令，客户端通过视频查询指令生成查询请求，并且本方案的执行主体为视频服务器，进而可通过接收客户端发出的查询请求，再执行后续步骤202。
38.202、解析查询请求，以获得对应的查询内容。
39.在本步骤中，由于查询请求中含有获取视频流数据的信息，因此，可以对查询请求进行解析，以获得对应的查询内容，其中，查询内容中包括需要获取视频流数据的参数信息，例如摄像机身份信息、通道信息、时间信息等，其可以通过人为前期自定义设置，也可以按照使用需求实时更新，对此，本实施例不做限定。
40.203、基于查询内容获取对应的指定视频流数据。
41.在本步骤中，由步骤202可知，查询内容中包括需要获取视频流数据的参数信息，因此，通过查询内容可以获取由多个pal模拟摄像机采集的指定视频流数据，其中，指定视频流数据具体指代由多台pal模拟摄像机分别采集的视频流数据。
42.根据步骤201-203的方法，可将客户端发出的查询请求解析为查询内容，并基于查询内容获取对应的指定视频流数据，能够提升在获取视频流数据的准确性。
43.204、按照预设方式对指定视频流数据进行拼接，以获得目标视频流数据。
44.在本步骤中，预设方式表示步骤203中由多台pal模拟摄像机分别采集的视频流数据按照预设位置进行拼接的画面显示方式，由于本实施中每台pal模拟摄像机在接入海思hi3531d芯片后，可根据pal模拟摄像机的台数分别建立对应台数的通道，而为了能够在后续画面显示过程中具有更好的可视效果，示例性的，假设pal模拟摄像机的数量为4台，则其在接入海思hi3531d芯片后对应的通道数为4个，因此，可以通过pal模拟摄像机设置在吊具上的位置对其分别对应的指定视频流数据进行拼接，以实现一个可视界面中显示多个指定视频流数据对应的视频画面的效果，具体的，可以先获取指定视频流数据对应的标识信息，
基于标识信息将指定视频流数据调整至预设位置，拼接调整至预设位置的指定视频流数据，其中，标识信息包括pal模拟摄像机的身份信息和设置在吊具上的位置信息，通过pal模拟摄像机的身份信息和设置在吊具上的位置信息可以对多个指定视频流数据的预设位置进行调整，使得后续拼接后形成的目标视频流数据对应的视频画面可以呈现为预设设置的画面显示效果。
45.根据本步骤中的方法，可按照预设位置对指定视频流数据进行拼接，使得后续拼接后形成的目标视频流数据对应的视频画面可以呈现为预设设置的画面显示效果。
46.进一步的，还可以实时存储目标视频流数据。
47.具体的，由于目标视频流数据是由多个指定视频流数据拼接形成的多路合一的视频显示画面，因此，通过对目标视频流数据进行存储，可便于当发生问题时维护/安全人员同时查看多路合一的画面录像，而不需要单独一路查看视频录像，提升维护/安全人员的后续维护便捷性，而在本实施例中对目标视频流数据存储的设备包括但不限于各式存储器、硬盘、u盘和磁光盘等，对此，本实施例不做具体限定。
48.205、按照预设编码方式对目标视频流数据进行编码。
49.本步骤结合上述方法中步骤102的描述，在此相同的内容不赘述。需要说明的是，由步骤203可知，多台pal模拟摄像机在接入海思hi3531d 芯片后可建立对应台数的多个通道，具体的，可建立v1设备n通道并虚拟出v0设备及编码通道，将v1设备n通道绑定到v0设备n通道，接着将v0 设备绑定到编码通道，从而实现对多路指定视频流数据的共同编码，从而将多路pal制式视频流编码为一路h.264协议视频流，进一步降低视频流数据传输的延时。
50.根据本步骤的方法，通过按照预设编码方式对目标视频流数据进行编码，使得进行后续传输能够降低视频编解码显示延时。
51.206、获取编码后的目标视频流数据的帧类型和桢长度。
52.在本步骤中，编码后的目标视频流数据的帧类型和桢长度是可以直接获知的，由于本实施例是基于海思hi3531d芯片进行编码，即是在rtsp和 rtp标准协议框架下优化传输过程，其编码后的目标视频流数据的帧类型较多，其中包括i帧、p帧、sps帧、sei帧、pps帧，而由于在rtsp和rtp 标准协议框架下对视频流数据进行传输需要先组rtp包再发送至客户端，如果对不同帧类型的编码后的目标视频流数据进行组包会增大视频流数据的延时，因此，可先获取编码后的目标视频流数据的帧类型和桢长度，避免执行后续步骤207。
53.207、基于帧类型在编码后的目标视频流数据中提取预设帧长度创建 rtp包头。
54.在本步骤中，由于组rtp包需要先对rtp包头进行创建，因此，在获得编码后的目标视频流数据的帧类型后，可从编码后的目标视频流数据中提取预设帧长度对该类型的rtp进行创建，而一般创建rtp包头为12个字节，因此，可以在目标视频流数据的帧长度中提取12个字节对应的预设帧长度创建rtp包头。
55.208、实时检测编码后的目标视频流数据中除去预设帧长度后的剩余帧长度是否大于指定长度。
56.在本步骤中，指定长度表示rtp数据包中除去rtp包头部分后的有效载荷数据长度，其具体指1488字节对应的桢长度，而由于编码后的目标视频流数据中的桢长度是不确定的，其对应的字节数量跨度较大，因此，就需要对其除去创建rtp包头提取的预设桢长度后的剩余桢长度进行实时检测，若大于指定长度，则执行步骤209a，若不大于指定长度，则
执行步骤 209b，以便保证步骤209获得rtp数据包对应桢长度均处于有效载荷数据长度范围内。
57.209a、按照指定长度对编码后的目标视频流数据中除去预设桢长度后的剩余帧长度进行打包，以获得rtp数据包。
58.在本步骤中，编码后的目标视频流数据中除去预设桢长度后的剩余帧长度是不确定的，因此，为了保证rtp数据包的传输延时最低，可按照1488 字节对应的指定长度对目标视频流数据中的剩余帧长度进行打包，以便执行步骤210。
59.209b、直接将待编码后的目标视频流数据中除去预设桢长度后的剩余帧长度进行打包，以获得rtp数据包。
60.在本步骤中，由于待编码后的目标视频流数据中除去预设桢长度后的剩余帧长度会随着按照指定长度进行打包而逐渐减少，因此，在目标视频流数据中的剩余帧长度减少至不大于指定长度或首次检测就不大于指定长度时，可直接对剩余桢长度进行打包，以便执行步骤210，而为了打包过程能够适时停止，还可以在检测剩余帧长度不大于指定长度后，创建结束标识，以避免打包过程持续运行。
61.210、将各个rtp数据包按顺序分别与rtp包头进行封装，以获得待传输视频流数据。
62.在本步骤中，数据包和rtp包头需要封装组包后才可发送至客户端，而由于rtp数据包的数量可以为一个或多个，因此，在rtp数据包为多个时，就需要将各个rtp数据包按顺序逐个分别与rtp包头进行封装，以获得待传输视频流数据，具体的，可以先获取rtp数据包的生成信息，基于生成信息中的时间参数确定rtp数据包的次序标识，根据次序标识分别将各个rtp数据包与rtp包头进行封装，以获得待传输视频流数据，其中，生成信息中包括rtp数据包的时间参数、长度参数等，因此，可以通过时间参数对各个rtp数据包赋予其对应的次序标识，然后根据次序标识分别将各个rtp数据包与rtp包头进行封装，形成多个按需排列的待传输视频流数据，以便执行步骤211。
63.根据步骤206-210的方法，使得通过针对每个帧类型的编码后的目标视频流数据都单独组包封装发送，且每一rtp数据的帧长度均不大于指定长度，从而使得获得的rtp数据包对应桢长度均处于有效载荷数据长度范围内，使其在与rtp包头封装组包形成的待传输视频流数据可以将延时降到最低。
64.211、将待传输视频流数据发送至客户端，以便客户端通过与预设编码方式对应的解码方式解析待传输视频流数据。
65.本步骤结合上述方法中步骤104的描述，在此相同的内容不赘述。
66.对于上述图2的实现方式可以看出，本发明实施例所提出的一种视频流传输方法，是在需要对视频流进行传输时，可通过接收客户端发出的查询请求解析查询请求，以获得对应的查询内容，再基于查询内容获取对应的指定视频流数据，能够提升在获取视频流数据的准确性，然后按照预设方式对指定视频流数据进行拼接，以获得目标视频流数据，可按照预设位置对指定视频流数据进行拼接，使得后续拼接后形成的目标视频流数据对应的视频画面可以呈现为预设设置的画面显示效果，按照预设编码方式对目标视频流数据进行编码，使得进行后续传输能够降低视频编解码显示延时，获取编码后的目标视频流数据的帧类型和桢长度，并基于帧类型在编码后的目标视频流数据中提取预设帧长度创建rtp包头，
接着实时检测编码后的目标视频流数据中除去预设帧长度后的剩余帧长度是否大于指定长度，若大于，则按照指定长度对编码后的目标视频流数据中除去预设桢长度后的剩余帧长度进行打包，以获得rtp数据包，若不大于，则直接将待编码后的目标视频流数据中除去预设桢长度后的剩余帧长度进行打包，以获得rtp数据包，将各个rtp数据包按顺序分别与rtp包头进行封装，以获得待传输视频流数据，通过针对每个帧类型的编码后的目标视频流数据都单独组包封装发送，且每一rtp数据的帧长度均不大于指定长度，从而使得获得的rtp数据包对应桢长度均处于有效载荷数据长度范围内，使其在与rtp包头封装组包形成的待传输视频流数据可以将延时降到最低，将待传输视频流数据发送至客户端，以便客户端通过与预设编码方式对应的解码方式解析待传输视频流数据，客户端需要对待传输视频流数据进行解码才能在客户端的可视界面中对视频画面进行显示，而为了进一步降低延时，可通过与预设编码方式对应的解码方式对待传输视频流数据进行解码，从而使得待传输视频流数据的视频画面可在客户端的可视界面上进行显示，进而使得用户(司机)能够通过实时传输过来的可视画面进行对吊具进行操控，而通过上述方式可降低编码、解码显示延时，使得总延时能够控制在180ms以内，进而司机远程手动控制吊具提供实时视频，避免因延时过大，导致司机控制迟缓，引起安全事故。
67.进一步的，作为对上述图1-2所示方法实施例的实现，本发明实施例提供了一种视频流传输装置，该装置用于降低视频流传输的延时，以保证客户端视频显示的实时性。该装置的实施例与前述方法实施例对应，为便于阅读，本实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。具体如图3所示，该装置包括：
68.获取单元31，用于基于客户端发出的查询请求获取对应的目标视频流数据；
69.转换单元32，用于按照预设编码方式对所述获取单元31获得的目标视频流数据进行编码；
70.处理单元33，用于利用预置规则将所述转换单元32获得的编码后的目标视频流数据处理为待传输视频流数据，所述预置规则是用于保证所述编码后的目标视频流数据的延时最低而设置的处理规则；
71.发送单元34，用于将所述处理单元33获得的待传输视频流数据发送至所述客户端，以便所述客户端通过与所述预设编码方式对应的解码方式解析所述待传输视频流数据。
72.进一步的，由图4可知，所述获取单元31，包括：
73.接收模块311，用于接收所述客户端发出的所述查询请求；
74.解析模块312，用于解析所述接收模块311获得的查询请求，以获得对应的查询内容：
75.第一获取模块313，用于基于所述解析模块312获得的查询内容获取对应的指定视频流数据；
76.拼接模块314，用于按照预设方式对所述第一获取模块313获得的指定视频流数据进行拼接，以获得所述目标视频流数据。
77.进一步的，由图4可知，所述拼接模块314，包括：
78.第一获取子模块3141，用于获取所述指定视频流数据对应的标识信息；
79.调整子模块3142，用于基于所述第一获取子模块3141获得的标识信息将所述指定视频流数据调整至预设位置；
80.拼接子模块3143，对所述调整子模块3142调整至所述预设位置的所述指定视频流数据进行拼接。
81.进一步的，由图4可知，所述处理单元33，包括：
82.第二获取模块331，用于获取所述编码后的目标视频流数据的帧类型和桢长度；
83.创建模块332，用于基于所述第二获取模块331获得的帧类型在所述编码后的目标视频流数据中提取预设帧长度创建rtp包头；
84.检测模块333，用于实时检测所述编码后的目标视频流数据中除去所述创建模块332提取的预设桢长度后的剩余桢长度是否大于指定长度；
85.打包模块334，用于若所述检测模块333检测所述编码后的目标视频流数据中的剩余桢长度大于指定长度，则按照所述指定长度对所述编码后的目标视频流数据中的剩余帧长度进行打包，以获得rtp数据包；
86.所述打包模块334，还用于若所述检测模块333检测所述编码后的目标视频流数据中的剩余帧长度不大于指定长度，则直接将所述编码后的目标视频流数据中的剩余帧长度进行打包，以获得所述rtp数据包；
87.封装模块335，用于将所述打包模块334获得的各个所述rtp数据包按顺序分别与所述创建模块332获得的rtp包头进行封装，以获得所述待传输视频流数据。
88.进一步的，由图4可知，所述封装模块335，包括：
89.第二获取子模块3351，用于获取所述rtp数据包的生成信息；
90.确定子模块3352，用于基于所述第二获取子模块3351获得的生成信息中的时间参数确定所述rtp数据包的次序标识；
91.封装子模块3353，用于根据所述确定子模块3352获得的次序标识分别将各个所述rtp数据包与所述rtp包头进行封装，以获得所述待传输视频流数据。
92.进一步的，由图4可知，所述装置还包括：
93.存储单元35，用于实时存储所述获取单元31获得的目标视频流数据。
94.进一步的，本发明实施例还提供一种存储介质，所述存储介质用于存储计算机程序，其中，所述计算机程序运行时控制所述存储介质所在设备执行上述图1-2中所述的视频流传输方法。
95.进一步的，本发明实施例还提供一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述图1-2中所述的视频流传输方法。
96.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
97.可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。
98.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
99.在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求
的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
100.此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存 (flash ram)，存储器包括至少一个存储芯片。
101.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
102.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
103.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
104.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
105.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/ 输出接口、网络接口和内存。
106.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。存储器是计算机可读介质的示例。
107.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器 (dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
108.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
109.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
110.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。