分布式视频垂直搜索方法及系统的制作方法
【专利摘要】本发明提供了一种分布式视频垂直搜索方法及系统，该方法包括离线处理步骤和在线处理步骤，在离线处理中包括：视频采集、视频存储、视频信息的索引创建；在线处理步骤中包括：用户交互、视频检索。本发明的有益效果是本发明基于视频领域，提出一种基于Hadoop和ElasticSearch的分布式视频垂直搜索的技术方案，对于海量视频数据，提出一种有效的分布式搜索方案，解决了海量视频的批量快速采集、实时搜索等问题，从而实现了高效的实时搜索、离线处理海量视频的快速采集工作。
【专利说明】分布式视频垂直搜索方法及系统
【技术领域】
[0001]本发明涉及视频搜索领域，尤其涉及分布式视频垂直搜索方法及系统。
【背景技术】
[0002]随着web2.0以及互联网的快速发展，互联网上面的资源量迅速的增长，呈现一种爆炸式的增长速度。如何从海量的、种类繁多的信息资源中找到自己需要的视频信息，给搜索引擎带来挑战，也是目前技术中的不足、以及要解决的问题。
【发明内容】
[0003]为了解决现有技术中的问题，本发明提供了一种分布式视频垂直搜索方法。
[0004]本发明提供了一种分布式视频垂直搜索方法，其特征在于，包括离线处理步骤和在线处理步骤；
[0005]离线处理步骤中包括:
[0006]A.视频采集步骤:获取视频数据资源；
[0007]B.视频存储步骤:将视频采集步骤中获取的视频数据资源存入数据库中；
[0008]C.视频信息的索引创建步骤:创建分布式索引；
[0009]在线处理步骤中包括:
[0010]用户交互步骤:提供搜索输入界面、以及返回展示界面；
[0011]视频检索步骤:根据搜索输入界面输入的搜索关键词进行视频检索，将检索到的视频数据通过返回展示界面进行显示。
[0012]作为本发明的进一步改进，
[0013]在所述视频采集步骤中，通过互联网视频开放平台提供的API获取视频资源，此过程运行在Hadoop集群之上，通过Map任务，访问视频开放平台服务器，获取视频JSON格式的数据并解析成自己定义的视频类的格式，循环获取直到Map任务结束；
[0014]在所述视频存储步骤中，视频存储过程运行于Hadoop集群和HBase集群之上，通过Reduce过程把视频采集步骤中获取的视频信息进行解析，再获取分布式数据库HBase的存储入口，将视频信息存入事先定义的视频库中，循环直到Reduce任务结束；
[0015]在视频信息的索引创建步骤中，视频信息的索引创建运行于HBase集群和ElasticSearch集群之上，首先获取HBase数据库中的视频信息，再通过封装ElasticSearch的索引创建接口来创建分布式索引分片和索引副本，索引存储于ElasticSearch集群之上,直到HBase视频库中视频数据创建完毕,此过程结束；
[0016]视频检索步骤运行于ElasticSearch集群之上。
[0017]作为本发明的进一步改进，在所述视频采集步骤中包括如下步骤:
[0018]Al.视频分片，设置分片个数；
[0019]A2.生成视频连接URL;
[0020]A3.根据生成的URL，访问开放平台的服务器，获取URL对应的视频数据，其格式为JSON类型；
[0021]A4.根据获取的JSON类型的视频数据，利用相应的JSON解析接口对JSON数据进行解析，并转化为自己定义的视频类；
[0022]在所述视频存储步骤中包括如下步骤:
[0023]B1.完成视频类的解析过程，把视频信息解析成对应的视频属性信息；
[0024]B2.接收视频属性信息，并调用分布式数据库HBase的写入接口把相应的视频信息存入的数据库中。
[0025]作为本发明的进一步改进，在所述视频信息的索引创建步骤中包括如下步骤:
[0026]Cl.连接HBase分布式数据库，获取视频信息；
[0027]C2.将获取的视频信息打包成JSON类型的数据；
[0028]C3.获得JSON类型的视频信息，经过一个hash过程把相应的视频分配到对应的索引分片当中建立索引，索引完成后进彳丁副本的创建；
[0029]C4.判断数据库中视频数据是否完成，如是，则结束；否则跳到步骤Cl继续执行。
[0030]作为本发明的进一步改进，在所述在线处理步骤中包括如下步骤:
[0031]第一步:用户通过用户查询接口方便的输入查询关键词，提交给检索服务器；
[0032]第二步:检索服务器负责把用户提交的查询关键词分发给各个节点服务器；
[0033]第三步:各个节点服务器接收到检索服务器发送过来的检索请求后，自动检索本节点上索引分片，完成并行搜索的过程，并把结果返回；
[0034]第四步:检索服务器接收各个节点服务器返回的视频数据，并把其视频数据进行融合，以供返回给用户；
[0035]第五步:将检索服务器返回的视频数据显示给用户。
[0036]本发明还提供了一种分布式视频垂直搜索系统，包括离线处理单元和在线处理单元;
[0037]离线处理单元中包括:
[0038]视频采集模块:用于获取视频数据资源；
[0039]视频存储模块:用于将视频采集模块中获取的视频数据资源存入数据库中；
[0040]视频信息的索引创建模块:用于创建分布式索引；
[0041]在线处理单元中包括:
[0042]用户交互模块:用于提供搜索输入界面、以及返回展示界面；
[0043]视频检索模块:用于根据搜索输入界面输入的搜索关键词进行视频检索，将检索到的视频数据通过返回展示界面进行显示。
[0044]作为本发明的进一步改进，在所述视频采集模块中，通过互联网视频开放平台提供的API获取视频资源，此过程运行在Hadoop集群之上，通过Map任务，访问视频开放平台服务器，获取视频JSON格式的数据并解析成自己定义的视频类的格式，循环获取直到Map任务结束；
[0045]在所述视频存储模块中，视频存储过程运行于Hadoop集群和HBase集群之上，通过Reduce过程把视频采集步骤中获取的视频信息进行解析，再获取分布式数据库HBase的存储入口，将视频信息存入事先定义的视频库中，循环直到Reduce任务结束；
[0046]在视频信息的索引创建模块中，视频信息的索引创建运行于HBase集群和ElasticSearch集群之上，首先获取HBase数据库中的视频信息，再通过封装ElasticSearch的索引创建接口来创建分布式索引分片和索引副本，索引存储于ElasticSearch集群之上,直到HBase视频库中视频数据创建完毕,此过程结束；
[0047]视频检索模块运行于ElasticSearch集群之上。
[0048]作为本发明的进一步改进，在所述视频采集模块中包括:
[0049]分片模块:用于视频分片，设置分片个数；
[0050]生成模块:用于生成视频连接URL ；
[0051]获取模块:用于根据生成的URL，访问开放平台的服务器，获取URL对应的视频数据，其格式为JSON类型；
[0052]转化模块:用于根据获取的JSON类型的视频数据，利用相应的JSON解析接口对JSON数据进行解析，并转化为自己定义的视频类；
[0053]在所述视频存储模块中包括:
[0054]解析模块:用于完成视频类的解析过程，把视频信息解析成对应的视频属性信息；
[0055]存入模块:用于接收视频属性信息，并调用分布式数据库HBase的写入接口把相应的视频信息存入的数据库中。
[0056]作为本发明的进一步改进，在所述视频信息的索引创建模块中包括:
[0057]连接模块:用于连接HBase分布式数据库，获取视频信息；
[0058]打包模块:用于将获取的视频信息打包成JSON类型的数据；
[0059]处理模块:用于获得JSON类型的视频信息，经过一个hash过程把相应的视频分配到对应的索引分片当中建立索引，索引完成后进行副本的创建；
[0060]判断模块:用于判断数据库中视频数据是否完成，如是，则结束；否则跳到步骤Cl继续执行。
[0061]作为本发明的进一步改进，在所述在线处理单元中包括:
[0062]输入模块:用户通过用户查询接口方便的输入查询关键词，提交给检索服务器；
[0063]分发模块:用于检索服务器负责把用户提交的查询关键词分发给各个节点服务器；
[0064]检索模块:用于各个节点服务器接收到检索服务器发送过来的检索请求后，自动检索本节点上索引分片，完成并行搜索的过程，并把结果返回；
[0065]返回模块:用于检索服务器接收各个节点服务器返回的视频数据，并把其视频数据进行融合，以供返回给用户；
[0066]显示模块:用于将检索服务器返回的视频数据显示给用户。
[0067]本发明的有益效果是:本发明基于视频领域，提出一种基于Hadoop和ElasticSearch的分布式视频垂直搜索的技术方案,对于海量视频数据,提出一种有效的分布式搜索方案，解决了海量视频的批量快速采集、实时搜索等问题，从而实现了高效的实时搜索、离线处理海量视频的快速采集工作。
【专利附图】
【附图说明】
[0068]图1是本发明的逻辑原理图。[0069]图2是本发明的Map/Reduce视频信息采集示意图。
[0070]图3是本发明的分布式索引创建示意图。
[0071]图4是本发明的查询处理示意图。
【具体实施方式】
[0072]如图1所示，本发明公开了一种分布式视频垂直搜索方法，包括离线处理步骤和在线处理步骤；
[0073]离线处理步骤中包括:
[0074]A.视频采集步骤:获取视频数据资源；
[0075]B.视频存储步骤:将视频采集步骤中获取的视频数据资源存入数据库中；
[0076]C.视频信息的索引创建步骤:创建分布式索引；
[0077]在线处理步骤中包括:
[0078]用户交互步骤:提供搜索输入界面、以及返回展示界面；
[0079]视频检索步骤:根据搜索输入界面输入的搜索关键词进行视频检索，将检索到的视频数据通过返回展示界面进行显示。
[0080]作为本发明的一个实施例:
[0081]在所述视频采集步骤中，通过互联网视频开放平台提供的API获取视频资源，此过程运行在Hadoop集群之上，通过Map任务，访问视频开放平台服务器，获取视频JSON格式的数据并解析成自己定义的视频类的格式，循环获取直到Map任务结束；
[0082]在所述视频存储步骤中，视频存储过程运行于Hadoop集群和HBase集群之上，通过Reduce过程把视频采集步骤中获取的视频信息进行解析，再获取分布式数据库HBase的存储入口，将视频信息存入事先定义的视频库中，循环直到Reduce任务结束；
[0083]在视频信息的索引创建步骤中，视频信息的索引创建运行于HBase集群和ElasticSearch集群之上，首先获取HBase数据库中的视频信息，再通过封装ElasticSearch的索引创建接口来创建分布式索引分片和索引副本，索引存储于ElasticSearch集群之上,直到HBase视频库中视频数据创建完毕,此过程结束；
[0084]视频检索步骤运行于ElasticSearch集群之上。
[0085]如图2所示，在所述视频采集步骤中包括如下步骤:
[0086]Al.Hadoop视频分片过程，运行在Map/Reduce之前，设置分片个数，任务提交到Hadoop集群之前需要对任务进行分片(分成固定大小的块)；
[0087]A2.生成视频连接URL，为后续步骤访问服务器做铺垫；
[0088]A3.根据生成的URL，访问开放平台的服务器，获取URL对应的视频数据，其格式为JSON类型；
[0089]A4.根据获取的JSON类型的视频数据，利用相应的JSON解析接口对JSON数据进行解析，并转化为自己定义的视频类；
[0090]至此，Map过程结束，之后就要进入Reduce数据存储过程。
[0091]在所述视频存储步骤中包括如下步骤:
[0092]B1.完成视频类的解析过程，把视频信息解析成对应的视频属性信息；
[0093]B2.接收视频属性信息，并调用分布式数据库HBase的写入接口把相应的视频信息存入的数据库中。
[0094]如图3所示，在所述视频信息的索引创建步骤中包括如下步骤:
[0095]Cl.连接HBase分布式数据库，遍历数据库，获取视频信息；
[0096]C2.由于ElasticSearch支持的数据类型是JS0N，所以需要将步骤Cl中获取的视频信息打包成JSON类型的数据；
[0097]C3.完成分布式索引的Sharding过程，根据系统设置，假设系统设置成分片数为2，副本为I，那么从步骤C2获得一条JSON类型的视频信息，经过一个hash过程把相应的视频分配到对应的索引分片当中建立索引，索引完成后进行副本的创建；
[0098]C4.判断数据库中视频数据是否完成，如是，则结束；否则跳到步骤Cl继续执行。
[0099]如图4所示，在所述在线处理步骤中包括如下步骤:
[0100]在步骤SI中:用户通过用户查询接口方便的输入查询关键词，提交给检索服务器；
[0101]在步骤S2中:检索服务器负责把用户提交的查询关键词分发给各个节点服务器；
[0102]在步骤S3中:各个节点服务器接收到检索服务器发送过来的检索请求后，自动检索本节点上索引分片，完成并行搜索的过程，并把结果返回；
[0103]在步骤S4中:检索服务器接收各个节点服务器返回的视频数据，并把其视频数据进行融合，以供返回给用户；
[0104]在步骤S5中:本发明提供给用户个友好的结果展示界面，将检索服务器返回的视频数据以图形化界面的形式展示给用户。
[0105]在图4中，索引服务器即是节点服务器。
[0106]本发明还公开了一种分布式视频垂直搜索系统，包括离线处理单元和在线处理单元;
[0107]离线处理单元中包括:
[0108]视频采集模块:用于获取视频数据资源；
[0109]视频存储模块:用于将视频采集模块中获取的视频数据资源存入数据库中；
[0110]视频信息的索引创建模块:用于创建分布式索引；
[0111]在线处理单元中包括:
[0112]用户交互模块:用于提供搜索输入界面、以及返回展示界面；
[0113]视频检索模块:用于根据搜索输入界面输入的搜索关键词进行视频检索，将检索到的视频数据通过返回展示界面进行显示。
[0114]在所述视频采集模块中，通过互联网视频开放平台提供的API获取视频资源，此过程运行在Hadoop集群之上，通过Map任务，访问视频开放平台服务器，获取视频JSON格式的数据并解析成自己定义的视频类的格式，循环获取直到Map任务结束；
[0115]在所述视频存储模块中，视频存储过程运行于Hadoop集群和HBase集群之上，通过Reduce过程把视频采集步骤中获取的视频信息进行解析，再获取分布式数据库HBase的存储入口，将视频信息存入事先定义的视频库中，循环直到Reduce任务结束；
[0116]在视频信息的索引创建模块中，视频信息的索引创建运行于HBase集群和ElasticSearch集群之上，首先获取HBase数据库中的视频信息，再通过封装ElasticSearch的索引创建接口来创建分布式索引分片和索引副本，索引存储于ElasticSearch集群之上,直到HBase视频库中视频数据创建完毕,此过程结束；
[0117]视频检索模块运行于ElasticSearch集群之上。
[0118]在所述视频米集I旲块中包括:
[0119]分片模块:用于视频分片，设置分片个数；
[0120]生成模块:用于生成视频连接URL ；
[0121]获取模块:用于根据生成的URL，访问开放平台的服务器，获取URL对应的视频数据，其格式为JSON类型；
[0122]转化模块:用于根据获取的JSON类型的视频数据，利用相应的JSON解析接口对JSON数据进行解析，并转化为自己定义的视频类；
[0123]在所述视频存储模块中包括:
[0124]解析模块:用于完成视频类的解析过程，把视频信息解析成对应的视频属性信息；
[0125]存入模块:用于接收视频属性信息，并调用分布式数据库HBase的写入接口把相应的视频信息存入的数据库中。
[0126]在所述视频信息的索引创建模块中包括:
[0127]连接模块:用于连接HBase分布式数据库，获取视频信息；
[0128]打包模块:用于将获取的视频信息打包成JSON类型的数据；
[0129]处理模块:用于获得JSON类型的视频信息，经过一个hash过程把相应的视频分配到对应的索引分片当中建立索引，索引完成后进行副本的创建；
[0130]判断模块:用于判断数据库中视频数据是否完成，如是，则结束；否则跳到步骤Cl继续执行。
[0131]在所述在线处理单元中包括:
[0132]输入模块:用户通过用户查询接口方便的输入查询关键词，提交给检索服务器；
[0133]分发模块:用于检索服务器负责把用户提交的查询关键词分发给各个节点服务器；
[0134]检索模块:用于各个节点服务器接收到检索服务器发送过来的检索请求后，自动检索本节点上索引分片，完成并行搜索的过程，并把结果返回；
[0135]返回模块:用于检索服务器接收各个节点服务器返回的视频数据，并把其视频数据进行融合，以供返回给用户；
[0136]显示模块:用于将检索服务器返回的视频数据显示给用户。
[0137]如图1所示，本发明包括一个搜索引擎集群，所述搜索引擎集群采用Hadoop、HBase> ElasticSearch 作为基础架构；
[0138]采用Hadoop的Map/Reduce来完成视频信息的采集和解析过程,利用分布式数据库HBase来完成存储，利用ElasticSearch来完成分布式索引的创建和检索过程，利用JSP技术来完成用户交互过程，通过JSP技术来完成用户的查询接口和结果展示界面。
[0139]在本发明中，假设集群有5台普通PC机，本发明服务器命名master、slavel,slave2、slave3、slave4,其中,master为服务器的主服务器,担当任务调度、索引分片分配、创建索引的工作，同时作为查询服务器，接收查询请求并提交到其他的节点服务器；slave节点服务器作为数据并行运算、数据存储、查询服务器、真正处理查询请求，返回查询结果。[0140]本发明总体上分为离线处理过程和在线处理过程两部分。离线处理过程包括视频的采集过程、视频的存储过程、视频的索引过程；而在线处理过程主要是用户的交互过程以及后台数据的分布式实时查询过程。由于Hadoop的非实时性和大数据的高速处理能力，本发明利用Hadoop的海量数据处理能力和Map/Reduce并行编程框架来完成离线过程中的视频的采集过程和存储过程。由于ElasticSearch提供了一个开源的可扩展的分布式搜索方案和ElasticSearch的近乎实时的功能,本发明使用ElasticSearch来完成分布式索引的创建和实时检索过程。
[0141]本发明充分利用Hadoop的海量数据处理能力和ElasticSearch近乎实时的搜索能力。
[0142]视频采集模块由信息采集接口组成，其下封装Hadoop的Map/Reduce接口、JSON格式解析接口，运行于Hadoop集群之上。
[0143]视频存储模块，其下封装HBase写入接口、Map/Reduce接口，运行于Hadoop、HBase集群之上。
[0144]视频信息的索引创建模块,其下封装HBase读取接口、ElasticSearch索引接口，运行于HBase集群、Hadoop集群、ElasticSearch集群之上。
[0145]视频检索模块，其下封装ElasticSearch查询接口、JSON数据解析接口，运行于ElasticSearch 集群之上。
[0146]本发明运行至少需要5台普通PC机或者服务器，由于本发明的扩展性很好，对于海量数据来说，理论上，通过增加集群中主机的数量可以提高分布式搜索系统的性能。
[0147]此外，本发明提供的是一种通用的分布式垂直搜索的解决方案，不止适用于视频领域。
[0148]本发明的技术效果非常明显:整个系统分为离线处理过程和在线实时处理过程。离线处理过程主要使用Hadoop的集群高速能力和分布式批处理能力来实现；在线处理过程主要由ElasticSearch集群的近乎实时的搜索能力来完成。
[0149]本发明基于视频领域,提出一种基于Hadoop和ElasticSearch的分布式视频垂直搜索的技术方案，对于海量视频数据，提出一种有效的分布式搜索方案，解决了海量视频的批量快速采集、实时搜索等问题，从而实现了高效的实时搜索、离线处理海量视频的快速采集工作。
[0150]以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属【技术领域】的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
【权利要求】
1.一种分布式视频垂直搜索方法，其特征在于，包括离线处理步骤和在线处理步骤； 离线处理步骤中包括: A.视频采集步骤:获取视频数据资源； B.视频存储步骤:将视频采集步骤中获取的视频数据资源存入数据库中； C.视频信息的索引创建步骤:创建分布式索引； 在线处理步骤中包括: 用户交互步骤:提供搜索输入界面、以及返回展示界面； 视频检索步骤:根据搜索输入界面输入的搜索关键词进行视频检索，将检索到的视频数据通过返回展示界面进行显示。
2.根据权利要求1所述的分布式视频垂直搜索方法，其特征在于: 在所述视频采集步骤中，通过互联网视频开放平台提供的API获取视频资源，此过程运行在Hadoop集群之上，通过Map任务，访问视频开放平台服务器，获取视频JSON格式的数据并解析成自己定义的视频类的格式，循环获取直到Map任务结束； 在所述视频存储步骤中，视频存储过程运行于Hadoop集群和HBase集群之上，通过Reduce过程把视频采集步骤中获取的视频信息进行解析，再获取分布式数据库HBase的存储入口，将视频信息存入事先定义的视频库中，循环直到Reduce任务结束； 在视频信息的索引创建步骤中，视频信息的索引创建运行于HBase集群和ElasticSearch集群之上，首先获取HBase数据库中的视频信息，再通过封装ElasticSearch的索引创建接口来创建分布式索引分片和索引副本，索引存储于ElasticSearch集群之上,直到HBase视频库中视频数据创建完毕,此过程结束； 视频检索步骤运行于ElasticSearch集群之上。
3.根据权利要求2所述的分布式视频垂直搜索方法，其特征在于，在所述视频采集步骤中包括如下步骤: Al.视频分片，设置分片个数； A2.生成视频连接URL; A3.根据生成的URL，访问开放平台的服务器，获取URL对应的视频数据，其格式为JSON类型； A4.根据获取的JSON类型的视频数据，利用相应的JSON解析接口对JSON数据进行解析，并转化为自己定义的视频类； 在所述视频存储步骤中包括如下步骤: B1.完成视频类的解析过程，把视频信息解析成对应的视频属性信息； B2.接收视频属性信息，并调用分布式数据库HBase的写入接口把相应的视频信息存入的数据库中。
4.根据权利要求3所述的分布式视频垂直搜索方法，其特征在于，在所述视频信息的索引创建步骤中包括如下步骤: Cl.连接HBase分布式数据库，获取视频信息； C2.将获取的视频信息打包成JSON类型的数据； C3.获得JSON类型的视频信息，经过一个hash过程把相应的视频分配到对应的索引分片当中建立索引，索引完成后进彳丁副本的创建；C4.判断数据库中视频数据是否完成，如是，则结束；否则跳到步骤Cl继续执行。
5.根据权利要求4所述的分布式视频垂直搜索方法，其特征在于，在所述在线处理步骤中包括如下步骤: 第一步:用户通过用户查询接口方便的输入查询关键词，提交给检索服务器； 第二步:检索服务器负责把用户提交的查询关键词分发给各个节点服务器；第三步:各个节点服务器接收到检索服务器发送过来的检索请求后，自动检索本节点上索引分片，完成并行搜索的过程，并把结果返回； 第四步:检索服务器接收各个节点服务器返回的视频数据，并把其视频数据进行融合，以供返回给用户； 第五步:将检索服务器返回的视频数据显示给用户。
6.一种分布式视频垂直搜索系统，其特征在于，包括离线处理单元和在线处理单元； 离线处理单元中包括: 视频采集模块:用于获取视频数据资源； 视频存储模块:用于将视频采集模块中获取的视频数据资源存入数据库中； 视频信息的索引创建模块:用于创建分布式索引； 在线处理单元中包括: 用户交互模块:用于提供搜索输入界面、以及返回展示界面； 视频检索模块:用于根据搜索输入界面输入的搜索关键词进行视频检索，将检索到的视频数据通过返回展示界面进行显示。
7.根据权利要求6所述的分布式视频垂直搜索系统，其特征在于: 在所述视频采集模块中，通过互联网视频开放平台提供的API获取视频资源，此过程运行在Hadoop集群之上，通过Map任务，访问视频开放平台服务器，获取视频JSON格式的数据并解析成自己定义的视频类的格式，循环获取直到Map任务结束； 在所述视频存储模块中，视频存储过程运行于Hadoop集群和HBase集群之上，通过Reduce过程把视频采集步骤中获取的视频信息进行解析，再获取分布式数据库HBase的存储入口，将视频信息存入事先定义的视频库中，循环直到Reduce任务结束； 在视频信息的索引创建模块中，视频信息的索引创建运行于HBase集群和ElasticSearch集群之上，首先获取HBase数据库中的视频信息，再通过封装ElasticSearch的索引创建接口来创建分布式索引分片和索引副本，索引存储于ElasticSearch集群之上,直到HBase视频库中视频数据创建完毕,此过程结束； 视频检索模块运行于ElasticSearch集群之上。
8.根据权利要求7所述的分布式视频垂直搜索系统，其特征在于，在所述视频采集模块中包括: 分片模块:用于视频分片，设置分片个数； 生成模块:用于生成视频连接URL ； 获取模块:用于根据生成的URL，访问开放平台的服务器，获取URL对应的视频数据，其格式为JSON类型； 转化模块:用于根据获取的JSON类型的视频数据，利用相应的JSON解析接口对JSON数据进行解析，并转化为自己定义的视频类；在所述视频存储I吴块中包括: 解析模块:用于完成视频类的解析过程，把视频信息解析成对应的视频属性信息； 存入模块:用于接收视频属性信息，并调用分布式数据库HBase的写入接口把相应的视频信息存入的数据库中。
9.根据权利要求8所述的分布式视频垂直搜索系统，其特征在于，在所述视频信息的索引创建模块中包括: 连接模块:用于连接HBase分布式数据库，获取视频信息； 打包模块:用于将获取的视频信息打包成JSON类型的数据； 处理模块:用于获得JSON类型的视频信息，经过一个hash过程把相应的视频分配到对应的索引分片当中建立索引，索引完成后进行副本的创建；判断模块:用于判断数据库中视频数据是否完成，如是，则结束；否则跳到步骤Cl继续执行。
10.根据权利要求9所述的分布式视频垂直搜索方法，其特征在于，在所述在线处理单元中包括: 输入模块:用户通过用户查询接口方便的输入查询关键词，提交给检索服务器； 分发模块:用于检索服务器负责把用户提交的查询关键词分发给各个节点服务器； 检索模块:用于各个节点服务器接收到检索服务器发送过来的检索请求后，自动检索本节点上索引分片，完成并行搜索的过程，并把结果返回； 返回模块:用于检索服务器接收各个节点服务器返回的视频数据，并把其视频数据进行融合，以供返回给用户； 显示模块:用于将检索服务器返回的视频数据显示给用户。
【文档编号】G06F17/30GK103984745SQ201410222453
【公开日】2014年8月13日 申请日期:2014年5月23日 优先权日:2014年5月23日
【发明者】何震宇, 张高伟, 陈明明, 刘伟 申请人:何震宇