进行数据云存储的方法及系统的制作方法
【技术领域】
[0001]本发明涉及数据存储技术，尤其涉及进行数据云存储的方法及系统。
【背景技术】
[0002]客户端进行数据采集后，需要存储到云端。云端提供了多个存储节点，云端的索引服务器接收来自客户端的存储请求，为其分配存储节点；而后，客户端将数据存储到为其分配的存储节点中。
[0003]目前，视频数据云存储的方案中，每个存储节点采用单进程进行数据处理，单进程提供统一接口对外服务。这种单进程方式的缺陷是显而易见的:随着功能的增加，统一对外服务的单进程会越来越庞大，越来越复杂，最后可能效率降低，速度越来越慢，并且增减功能模块比较复杂；如果在同一时间段内接收到多个处理请求，单进程需排队对处理请求逐一进行处理，效率很低，无法满足日益增长的功能需求。
[0004]综上，现有采用单进程进行数据云存储的方案，存在速度慢、处理效率低的缺陷。
【发明内容】
[0005]本发明提供了一种进行数据云存储的方法，该方法能够提高数据云存储的效率。
[0006]本发明提供了一种进行数据云存储的系统，该系统能够提高数据云存储的效率。
[0007]—种进行数据云存储的方法，该方法在每个存储节点设置至少两个进程，每个进程对应一个外部端口，在索引服务器内记录每个存储节点内各进程对应的外部端口号，该方法包括:
[0008]索引服务器接收来自客户端的包含通道标识的存储请求，为存储请求选择存储节点，表示为第一存储节点，并从第一存储节点对应的各进程中选择出进程，表示为第一进程，将第一存储节点的标识和第一进程的第一外部端口号反馈给客户端；
[0009]第一存储节点中的第一进程通过第一外部端口号接收来自客户端的存储请求；
[0010]第一进程为存储请求选择存储设备，表示为第一存储设备，从第一存储设备的设备共享内存中获取用于进行数据存储的数据块的描述信息，表示为第一描述信息，在第一描述信息对应的数据块中写入数据，在索引服务器中对应通道标识存储第一存储节点的标识、第一存储设备的标识和第一描述信息。
[0011]—种进行数据云存储的系统，该系统包括索引服务器和存储节点；每个存储节点设置至少两个进程，每个进程对应一个外部端口 ；
[0012]所述索引服务器，记录每个存储节点内各进程对应的外部端口号；收来自客户端的包含通道标识的存储请求，为存储请求选择存储节点，表示为第一存储节点，并从第一存储节点对应的各进程中选择出进程，表示为第一进程，将第一存储节点的标识和第一进程的第一外部端口号反馈给客户端；并接收来自所述第一存储节点的记录请求，对应通道标识存储第一存储节点的标识、第一存储设备的标识和第一描述信息；
[0013]所述第一存储节点中的第一进程，通过第一外部端口号接收来自客户端的存储请求，为存储请求选择存储设备，表示为第一存储设备，从第一存储设备的设备共享内存中获取用于进行数据存储的数据块的描述信息，表示为第一描述信息，在第一描述信息对应的数据块中写入数据，向所述索引服务器反馈记录请求，所述记录请求包含第一存储节点的标识、第一存储设备的标识、第一描述信息以及通道标识。
[0014]从上述方案可以看出，本发明中，在每个存储节点设置至少两个进程，每个进程对应一个外部端口，在索引服务器内记录每个存储节点内各进程对应的外部端口号；索引服务器接收来自客户端的包含通道标识的存储请求后，为存储请求选择存储节点和进程，将选择出的第一存储节点的标识和第一进程的第一外部端口号反馈给客户端；第一进程通过第一外部端口号接收存储请求，为存储请求选择第一存储设备，从第一存储设备的设备共享内存中获取用于进行数据存储的数据块的描述信息，进行数据写入，并在索引服务器中对应通道标识存储第一存储节点的标识、第一存储设备的标识和第一描述信息。采用本发明提供的多进程方案进行数据云存储，存储节点上的多个进程可同时进行数据处理，提高了云存储的速度和效率，进一步满足了需求。
【附图说明】
[0015]图1为本发明进行数据云存储的方法示意性流程图；
[0016]图2为本发明中进程启动的方法流程图实例；
[0017]图3为本发明中存储设备上线的方法流程图实例；
[0018]图4为本发明中存储设备下线的方法流程图实例；
[0019]图5为本发明中存储设备初始化的方法流程图实例；
[0020]图6为本发明进行数据云存储中申请未满块的方法流程图实例；
[0021]图7为本发明进行数据云存储中申请空闲块的方法流程图实例；
[0022]图8为本发明进程数据云存储的系统结构示意图。
【具体实施方式】
[0023]为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。
[0024]现有技术中，采用单进程进行数据云存储，存在速度慢、处理效率低的缺陷。针对该问题，本发明提供了采用多进程进行数据云存储的方案，以提高云存储的速度和效率，进一步满足需求。
[0025]参见图1，为本发明进行数据云存储的方法流程图实例，该方法在每个存储节点设置至少两个进程，每个进程对应一个外部端口，在索引服务器内记录每个存储节点内各进程对应的外部端口号。图1的流程包括以下步骤:
[0026]步骤101，索引服务器接收来自客户端的包含通道标识的存储请求，为存储请求选择存储节点，表示为第一存储节点，并从第一存储节点对应的各进程中选择出进程，表示为第一进程，将第一存储节点的标识和第一进程的第一外部端口号反馈给客户端。
[0027]需要进行数据存储时，客户端向索引服务器发送包含通道标识的存储请求，每个通道标识对应一个数据采集设备，每个数据采集设备进行数据采集后，通过客户端存储到云端的存储节点中。
[0028]索引服务器为存储请求选择存储节点，可采用现有的选择策略实现，例如选择具有足够空闲容量的存储节点。
[0029]选择出第一存储节点后，从第一存储节点对应的各进程中选择出第一进程，其选择方式有多种，例如，采用轮询方式，按照预先设定的顺序逐个为客户端选择进程；或者，从当前空闲的进程中选择任一进程，作为第一进程。
[0030]步骤102，第一存储节点中的第一进程通过第一外部端口号接收来自客户端的存储请求。
[0031]客户端接收来自索引服务器反馈的第一存储节点的标识和第一外部端口号后，向第一存储节点发起存储请求，由第一进程进行数据存储处理。
[0032]步骤103，第一进程为存储请求选择存储设备,表示为第一存储设备，从第一存储设备的设备共享内存中获取用于进行数据存储的数据块的描述信息，表示为第一描述信息，在第一描述信息对应的数据块中写入数据，在索引服务器中对应通道标识存储第一存储节点的标识、第一存储设备的标识和第一描述信息。
[0033]每个存储节点内有至少一个存储设备。第一进程为存储请求选择存储设备的策略可采用多种方式实现，例如，从当前空闲的存储设备中选择任一个，作为第一存储设备；还可以，从存储设备中选择当前空闲容量最大的一个，作为第一存储设备。每个存储设备对应一个设备共享内存，记录了相应存储设备中空闲数据块的描述信息。确定第一存储设备后，从相应设备共享内存中选取用于进行数据存储的数据块的描述信息；然后通知客户端发送数据，将数据写入到第一存储设备内的相应数据块中。并在索引服务器中对应通道标识存储第一存储节点的标识、第一存储设备的标识和第一描述信息；记录后，可根据需要在索引服务器查询与某通道标识对应的第一存储节点的标识、第一存储设备的标识和第一描述