硬盘数据访问方法、装置、设备及介质与流程

文档序号:33179693发布日期:2023-02-04 04:39阅读:24来源:国知局
1.本发明涉及硬盘数据访问领域,尤其涉及一种硬盘数据访问方法、装置、设备及介质。
背景技术
::2.通常硬盘数据访问的过程中,用户通过管理系统搜索数据定位硬盘地址,然后再通过相关手段访问该地址进行数据读写,无法做到对硬盘数据的直接访问,同时,用户无法监控网络上的多块独立硬盘,感知局域网内文件系统的变更能力较弱,无法实现硬盘变动状态下的动态感知以及动态数据管理。技术实现要素:3.本发明提供一种硬盘数据访问方法、装置、设备及介质,用以解决现有技术中,在面临海量硬盘数据管理和使用需求时,无法快速搜索浏览硬盘,无法快速读取硬盘数据文件的技术问题,本发明能够调用posix文件系统驱动连接命名空间服务器以及硬盘机柜服务器,在命名空间服务器中完成根目录列表中的目标硬盘的浏览检索,在硬盘机柜服务器中完成硬盘文件数据的访问。4.第一方面,本发明提供了一种硬盘数据访问方法,包括:5.调用posix文件系统驱动连接命名空间服务器,以显示所述命名空间服务器的逻辑盘的文件目录列表;6.向所述命名空间服务器发出访问目标硬盘文件的请求指令,并接收来自所述命名空间服务器的目标硬盘文件实际地址;7.调用posix文件系统驱动连接硬盘机柜服务器,向所述硬盘机柜服务器发送所述目标硬盘文件实际地址,以指示所述硬盘机柜服务器根据所述目标硬盘文件实际地址,访问所述目标硬盘文件;8.所述访问目标硬盘文件的请求指令是通过遍历所述逻辑盘的文件目录列表,并根据文件目录列表中的目标硬盘文件虚拟地址生成的;9.所述目标硬盘文件实际地址是在地址映射表中根据所述目标硬盘的虚拟地址和实际地址间映射关系而确定的。10.根据本发明提供的硬盘数据访问方法,所述调用posix文件系统驱动连接命名空间服务器,以显示所述命名空间服务器的逻辑盘的文件目录列表,包括:11.根据命名空间服务器的地址,执行挂接命令mount,以调用posix文件系统驱动连接命名空间服务器;12.在连接命名空间服务器成功的情况下,接收来自所述命名空间服务器的返回数据,以显示所述命名空间服务器的逻辑盘的文件目录列表;13.所述返回数据包括所述命名空间服务器的逻辑盘以及所述逻辑盘的文件目录列表。14.第二方面,本发明提供了一种硬盘数据访问方法包括:15.接收来自客户端主机的访问目标硬盘文件的请求指令;16.解析所述请求指令,以获取目标硬盘文件虚拟地址;17.从地址映射表中确定出与所述目标硬盘文件虚拟地址相匹配的目标硬盘文件实际地址;18.发送所述目标硬盘文件实际地址至所述客户端主机。19.根据本发明提供的硬盘数据访问方法,在接收来自客户端主机的访问目标硬盘文件的请求指令之前,还包括:20.接收来自硬盘机柜服务器发出的地址映射表以及文件目录列表;21.所述文件目录列表为所有硬盘所包括的所有文件目录的地址信息;22.所述地址映射表包括所有硬盘的虚拟地址与实际地址的映射关系。23.第三方面,本发明提供了一种硬盘数据访问方法,包括:24.接收来自客户端主机的目标硬盘文件实际地址,以根据所述目标硬盘文件实际地址,确定出所述目标硬盘文件;25.读取所述目标硬盘文件并反馈至所述客户端主机,以完成所述客户端主机对所述目标硬盘文件的访问。26.根据本发明提供的硬盘数据访问方法,在接收来自客户端主机的目标硬盘文件实际地址之前,还包括:27.获取所有硬盘的硬盘设备号,根据每一硬盘的硬盘设备号以及硬盘机柜服务器ip构建每一硬盘相对应的硬盘实际地址;28.获取所有硬盘的硬盘标识,根据每一硬盘的硬盘唯一标识构建每一硬盘相对应的硬盘虚拟地址;29.构建每一硬盘相对应的硬盘实际地址与硬盘虚拟地址的映射关系,将所有硬盘相对应的硬盘实际地址与硬盘虚拟地址的映射关系确定为地址映射表;30.遍历所有硬盘,获取每一硬盘的文件目录列表,向命名空间服务器发送所述地址映射表以及所有硬盘的文件目录列表;31.所述硬盘设备号由操作系统动态分配,随着硬盘插拔而产生变化;32.所述硬盘标识是在硬盘分区文件系统格式化的情况下产生的唯一标识,不会随着硬盘插拔位置的变化而更改。33.根据本发明提供的硬盘数据访问方法,在向命名空间服务器发送所述地址映射表以及所有硬盘的文件目录列表之后,还包括:34.在添加新增硬盘至硬盘机柜服务器的情况下,识别新增硬盘设备号,以根据所述新增硬盘设备号以及硬盘机柜服务器ip构建新增硬盘实际地址,根据所述新增硬盘的硬盘标识构建新增硬盘虚拟地址,构建所述新增硬盘实际地址与新增硬盘虚拟地址的新增映射关系,扫描新增硬盘获取新增硬盘的文件目录列表,向所述命名空间服务器发送所述新增映射关系以及新增硬盘的文件目录列表,以指示添加所述新增映射关系至所述地址映射表,以指示添加所述新增硬盘的文件目录列表至所有硬盘的文件目录列表;35.在从硬盘机柜服务器中移除选中硬盘的情况下,确定与所述选中硬盘相关联的选中硬盘的文件目录列表以及选中硬盘映射关系,以指示从地址映射表中删除所述选中硬盘映射关系,以指示从所有硬盘的文件目录列表中删除所述选中硬盘的文件目录列表。36.第四方面,本发明提供了一种硬盘数据访问装置,包括:37.第一调用模块:用于调用posix文件系统驱动连接命名空间服务器,以显示所述命名空间服务器的逻辑盘;38.第一接收模块:用于向所述命名空间服务器发出访问目标硬盘文件的请求指令,并接收来自所述命名空间服务器的目标硬盘文件实际地址;39.第二调用模块:用于调用posix文件系统驱动连接硬盘机柜服务器,向所述硬盘机柜服务器发送所述目标硬盘文件实际地址,以指示所述硬盘机柜服务器根据所述目标硬盘文件实际地址,访问所述目标硬盘文件;40.所述访问目标硬盘文件的请求指令是通过遍历所述逻辑盘的文件目录列表,并根据文件目录列表中的目标硬盘文件虚拟地址生成的;41.所述目标硬盘文件实际地址是在地址映射表中根据所述目标硬盘的虚拟地址和实际地址间映射关系而确定的。42.第五方面,本发明提供了一种硬盘数据访问装置,包括:43.第二接收模块:用于接收来自客户端主机的访问目标硬盘文件的请求指令;44.解析模块:用于解析所述请求指令,以获取目标硬盘文件虚拟地址;45.确定模块:用于从地址映射表中确定出与所述目标硬盘文件虚拟地址相匹配的目标硬盘文件实际地址;46.发送模块:用于发送所述目标硬盘文件实际地址至所述客户端主机。47.第六方面,本发明提供了一种硬盘数据访问装置,包括:48.第三接收单元:用于接收来自客户端主机的目标硬盘文件实际地址,以根据所述目标硬盘文件实际地址,确定出所述目标硬盘文件;49.读取模块:用于读取所述目标硬盘文件数据并反馈至所述客户端主机,以完成所述客户端主机对所述目标硬盘文件的访问。50.第七方面,还提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现所述的硬盘数据访问方法。51.第八方面,还提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述的硬盘数据访问方法。52.本发明提供了一种硬盘数据访问方法、装置、设备及介质,本发明通过调用posix文件系统驱动连接用于存储硬盘虚拟地址索引的命名空间服务器,显示命名空间服务器的逻辑盘的文件目录列表,在所述逻辑盘中快速浏览查找出目标硬盘的访问需求,并结合预先设置的映射表,根据目标硬盘在命名空间服务器中的目标硬盘虚拟地址匹配出目标硬盘实际地址,最后调用posix文件系统驱动连接硬盘机柜服务器,根据所述目标硬盘文件实际地址,实现所述目标硬盘文件的访问。本发明针对海量独立硬盘中海量数据文件管理和使用需求,提供统一的目录命名空间,各个独立硬盘体现为各自独立的虚拟逻辑目录,并位于同一根目录下,使得用户能够快速搜索、浏览海量数据文件,快速访问硬盘数据文件。附图说明53.为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。54.图1是本发明提供的硬盘数据访问方法的流程示意图之一;55.图2是本发明提供的硬盘数据访问方法的流程示意图之二;56.图3是本发明提供的硬盘数据访问方法的流程示意图之三;57.图4是本发明提供的硬盘数据访问方法的流程示意图之四;58.图5是本发明提供的硬盘数据访问方法的流程示意图之五;59.图6是本发明提供的硬盘数据访问装置的结构示意图之一;60.图7是本发明提供的硬盘数据访问装置的结构示意图之二;61.图8是本发明提供的硬盘数据访问装置的结构示意图之三;62.图9是本发明提供的电子设备的结构示意图。具体实施方式63.为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。64.图1是本发明提供的硬盘数据访问方法的流程示意图之一,本发明主要用于硬盘数据访问,而数据的存储与管理提供了空间与属性数据的存储、查询检索、修改和更新等功能,相关技术中通常采用离线硬盘存储地理信息数据,硬盘数量大,多达几十至数百块,采用人工记录管理方式,当需要使用数据时,根据记录档案找到硬盘,使用硬盘盒接入本机或设置网络共享,来完成数据读写。65.为了提高离线硬盘的人工管理效率,还可以采用硬盘柜技术,硬盘柜主要提供适合硬盘存贮的物理环境,并通过控制软件能够实现硬盘定位,在一定程度上实现了硬盘的电子化管理,当需要使用数据时,用户首先通过管理系统在文件索引库中搜索,再根据搜索结果定位到硬盘读写文件数据。66.本发明为了提高硬盘的即插即用能力和数据透明直接访问能力,提供了统一命名空间的入口,能够对局域网内的多块独立硬盘进行管理,并能根据硬盘变动动态感知,并更新命名空间。67.本发明公开了一种硬盘数据访问方法,执行主体为客户端主机,包括:68.调用posix文件系统驱动连接命名空间服务器,以显示所述命名空间服务器的逻辑盘的文件目录列表;69.向所述命名空间服务器发出访问目标硬盘文件的请求指令,并接收来自所述命名空间服务器的目标硬盘文件实际地址;70.调用posix文件系统驱动连接硬盘机柜服务器,向所述硬盘机柜服务器发送所述目标硬盘文件实际地址,以指示所述硬盘机柜服务器根据所述目标硬盘文件实际地址,访问所述目标硬盘文件;71.所述访问目标硬盘文件的请求指令是通过遍历所述逻辑盘的文件目录列表,并根据文件目录列表中的目标硬盘文件虚拟地址生成的;72.所述目标硬盘文件实际地址是在地址映射表中根据所述目标硬盘的虚拟地址和实际地址间映射关系而确定的。73.在步骤101中,调用posix文件系统驱动连接命名空间服务器,以显示所述命名空间服务器的逻辑盘,所述文件系统驱动为可移植操作系统接口(portableoperatingsysteminterfaceofunix,posix),文件系统驱动位于客户端主机,作为客户端主机文件系统的一个插件部署,提供标准的挂载命令mount,面向上层应用软件提供标准的posix文件服务接口,应用软件能浏览检索虚拟盘的目录文件,并使用标准的文件接口函数直接操作文件,所述文件接口函数可以为函数fopen、函数fread、函数fwrite或者函数fclose,在虚拟文件系统驱动内部,实现了与命名空间服务器与硬盘机柜服务器的完整通讯协议。74.所述调用posix文件系统驱动连接命名空间服务器,以显示所述命名空间服务器的逻辑盘的文件目录列表,包括:根据命名空间服务器的地址,执行挂接命令mount,以调用posix文件系统驱动连接命名空间服务器;在连接命名空间服务器成功的情况下,接收来自所述命名空间服务器的返回数据,以显示所述命名空间服务器的逻辑盘的文件目录列表;所述返回数据包括所述命名空间服务器的逻辑盘以及所述逻辑盘的文件目录列表。在无法连接命名空间服务器成功的情况下,将无法显示所述命名空间服务器的逻辑盘。75.所述返回数据包括所述命名空间服务器的逻辑盘以及所述逻辑盘的文件目录列表,所述命名空间服务器的逻辑盘即为盘符,所述逻辑盘的文件目录列表即为所述硬盘所有文件目录的虚拟地址列表。76.在一个可选地实施例中,用户通过指定命名空间服务器地址执行mount挂载命令,posix文件系统驱动根据该地址连接远程的命名空间服务器,在确认成功的情况下,则客户端主机上将显示挂载成功,例如,在windows界面下体现为新增了一个盘符,例如o:盘。77.在步骤102中,向所述命名空间服务器发出访问目标硬盘文件的请求指令,并接收来自所述命名空间服务器的目标硬盘文件实际地址,所述命名空间服务器用于根据用户的输入指令远程的浏览硬盘的虚拟地址,使得用户能够快速的获取到目标硬盘以及与目标硬盘相对应的目标硬盘虚拟地址,用户在确定目标硬盘后,会生成访问目标硬盘的请求指令,进而向所述命名空间服务器发出访问目标硬盘的请求指令,所述命名空间服务器接收所述请求指令后,对所述请求指令进行解析,以确定目标硬盘文件的虚拟地址,并结合预先存储在命名空间服务器中的地址映射表,实现目标硬盘的虚拟地址在所述地址映射表中的匹配,进而确定出目标硬盘实际地址,并向客户端主机发送所述目标硬盘文件实际地址,所述客户端主机进而接收来自所述命名空间服务器的目标硬盘实际地址。78.可选地,所述访问目标硬盘的请求指令是通过遍历所述逻辑盘的文件目录列表,并根据根目录列表中的目标硬盘虚拟地址生成的,用户通过遍历所述逻辑盘的根目录列表,快速浏览查找目标硬盘,进而确定出根目录列表下的目标硬盘虚拟地址,最后根据根目录列表中的目标硬盘虚拟地址生成访问目标硬盘的请求指令。79.可选地,所述目标硬盘文件实际地址是在地址映射表中根据所述目标硬盘的虚拟地址和实际地址间映射关系而确定的,在所述地址映射表中存在有所有硬盘相对应的硬盘实际地址与硬盘虚拟地址的映射关系,而每一硬盘相对应的硬盘实际地址是根据每一硬盘的硬盘设备号以及硬盘机柜服务器ip构建的,每一硬盘相对应的硬盘虚拟地址是根据每一硬盘的硬盘标识构建的,所述硬盘设备号是在硬盘机柜服务器中分配而确定的,本发明能够根据所述硬盘设备号在所述硬盘机柜服务器中找到所述硬盘的实际位置,所述硬盘标识是在硬盘分区文件系统格式化的情况下产生的唯一标识。80.在步骤103中,调用posix文件系统驱动连接硬盘机柜服务器,向所述硬盘机柜服务器发送所述目标硬盘文件实际地址,以指示所述硬盘机柜服务器根据所述目标硬盘文件实际地址,访问所述目标硬盘文件,所述硬盘机柜服务器负责独立硬盘的硬件管理和数据采集,本发明中的硬盘机柜服务器能够获取所有硬盘的实际地址以及虚拟地址,并将虚拟地址所表征的根目录列表发送给命名空间服务器,以供用户快速浏览,同时发送地址映射表给命名空间服务器,在用户确定出目标硬盘后,即可根据目标硬盘相对应的虚拟地址确定出目标硬盘实际地址,在所述硬盘机柜服务器中根据所述目标硬盘文件实际地址,访问所述目标硬盘文件。81.当用户在客户端主机浏览所述命名空间服务器中虚拟盘的目录文件时,posix文件系统驱动底层与命名空间服务器通讯,获取相应硬盘数据的目录树信息、硬盘“虚拟地址-实际地址”的关键映射信息以及硬盘中文件的相关属性,例如文件创建时间、文件大小等,当用户需要实际读写某一硬盘中的数据文件时,虚拟文件系统驱动根据“虚拟地址-实际地址”的映射,在硬盘机柜服务器中找到所述数据文件所在硬盘的实际位置,并通过专用协议与该服务器通讯交互,完成实际数据文件的读写操作。82.本发明针对独立硬盘的海量文件管理需求,提出了一种软件定义存储的解决方案,实现了海量文件快速检索与数据文件透明直接访问,并支持硬盘插拔的动态感知,能有效提高用户的数据使用效率,通过文件系统驱动posix内部软件流程分支处理,实现了文件目录浏览检索与文件读写操作的分离,在命名空间服务器中,通过使用数据库技术和搜索引擎技术,能实现海量文件的快速检索;在硬盘机柜服务器中,通过硬盘扫描程序监控硬盘状态变化,并自动通知命名空间服务器完成目录文件树采集入库或硬盘下线操作,从而实现虚拟盘统一命名空间的动态更新,并且,硬盘机柜服务器支持横向扩展,当管理硬盘数增多时,能部署更多的硬盘机柜服务器管理接入硬盘,服务器之间硬盘读写互不影响,满足用户的业务数据增长需求和有效成本控制。83.本发明提供了一种硬盘数据访问方法、装置、设备及介质,本发明通过调用posix文件系统驱动连接用于存储硬盘虚拟地址索引的命名空间服务器,显示命名空间服务器的逻辑盘的文件目录列表,在所述逻辑盘中快速浏览查找出目标硬盘的访问需求,并结合预先设置的映射表,根据目标硬盘在命名空间服务器中的目标硬盘虚拟地址匹配出目标硬盘实际地址,最后调用文件系统驱动posix连接硬盘机柜服务器,根据所述目标硬盘文件实际地址,实现所述目标硬盘文件的访问。本发明针对海量独立硬盘中海量数据文件管理和使用需求,提供统一的目录命名空间,各个独立硬盘体现为各自独立的虚拟逻辑目录,并位于同一根目录下,使得用户能够快速搜索、浏览海量数据文件,快速访问硬盘数据文件。84.图2是本发明提供的硬盘数据访问方法的流程示意图之二,本发明还提供了一种硬盘数据访问方法,执行主体为命名空间服务器,包括:85.接收来自客户端主机的访问目标硬盘文件的请求指令;86.解析所述请求指令,以获取目标硬盘文件虚拟地址;87.从地址映射表中确定出与所述目标硬盘文件虚拟地址相匹配的目标硬盘文件实际地址;88.发送所述目标硬盘文件实际地址至所述客户端主机。89.在步骤201中,所述命名空间服务器接收来自客户端主机的访问目标硬盘文件的请求指令。90.可选地,所述命名空间服务器提供针对多块独立硬盘的统一命名空间管理,将各个独立硬盘作为逻辑目录并列挂载在虚拟盘根目录root下,独立硬盘的子目录则位于相应的逻辑目录下,整体体现为一个统一的文件目录树,并且,所述命名空间服务器还负责记录目录文件“虚拟地址-实际地址”的映射。91.在步骤202中,所述命名空间服务器解析所述请求指令,以获取目标硬盘虚拟地址,所述访问目标硬盘的请求指令是通过遍历所述逻辑盘的文件目录列表,并根据根目录列表中的目标硬盘虚拟地址生成的,解析所述请求指令即可获取目标硬盘虚拟地址。92.在步骤203中,从地址映射表中确定出与所述目标硬盘文件虚拟地址相匹配的目标硬盘文件实际地址,在所述地址映射表中存在有所有硬盘相对应的硬盘实际地址与硬盘虚拟地址的映射关系,本发明只需输入所述目标硬盘文件虚拟地址至所述地址映射表,即可获取所述地址映射表输出的目标硬盘实际地址。93.在步骤204中,所述命名空间服务器发送所述目标硬盘文件实际地址至所述客户端主机,在这样的实施例中,在所述命名空间服务器发送所述目标硬盘文件实际地址至所述客户端主机之后,即对应于步骤102中的接收来自所述命名空间服务器的目标硬盘实际地址。94.在接收来自客户端主机的访问目标硬盘文件的请求指令之前,还包括:95.接收来自硬盘机柜服务器发出的地址映射表以及文件目录列表;96.所述文件目录列表为所有硬盘所包括的所有文件目录的地址信息;97.所述地址映射表包括所有硬盘的虚拟地址与实际地址的映射关系。98.可选地,所述命名空间服务器在接收来自客户端主机的访问目标硬盘的请求指令之前,需要预存储地址映射表以及根目录列表,所述地址映射表包括所有硬盘的虚拟地址与实际地址的映射关系,用于根据硬盘虚拟地址获取硬盘实际地址,所述根目录列表用于提供用户快速浏览索引的列表,所述根目录列表为具有所有硬盘虚拟地址的索引,只有在所述命名空间服务器具备地址映射表以及根目录列表的情况下,才能根据用户所需求的目标硬盘虚拟地址确定目标硬盘实际地址。99.本发明提供了一种硬盘数据访问方法、装置、设备及介质,本发明通过调用文件系统驱动posix连接用于存储硬盘虚拟地址索引的命名空间服务器,显示命名空间服务器的逻辑盘的文件目录列表,在所述逻辑盘中快速浏览查找出目标硬盘的访问需求,并结合预先设置的映射表,根据目标硬盘在命名空间服务器中的目标硬盘虚拟地址匹配出目标硬盘实际地址,最后调用文件系统驱动posix连接硬盘机柜服务器,根据所述目标硬盘文件实际地址,实现所述目标硬盘文件的访问。本发明针对海量独立硬盘中海量数据文件管理和使用需求,提供统一的目录命名空间,各个独立硬盘体现为各自独立的虚拟逻辑目录,并位于同一根目录下,使得用户能够快速搜索、浏览海量数据文件,快速访问硬盘数据文件。100.图3是本发明提供的硬盘数据访问方法的流程示意图之三,本发明还提供了一种硬盘数据访问方法,执行主体为硬盘机柜服务器,包括:101.接收来自客户端主机的目标硬盘文件实际地址,以根据所述目标硬盘文件实际地址,确定出所述目标硬盘文件;102.读取所述目标硬盘文件并反馈至所述客户端主机,以完成所述客户端主机对所述目标硬盘文件的访问。103.在步骤301中,在接收来自客户端主机的目标硬盘实际地址之前,对应于步骤103中的向所述硬盘机柜服务器发送所述目标硬盘文件实际地址,由于所述目标硬盘文件实际地址是由硬盘机柜服务器分配而确定的,故本发明能够在获取所述目标硬盘文件实际地址的情况下,确定出所述目标硬盘文件。104.在步骤302中,读取所述目标硬盘数据并反馈至所述客户端主机,以完成所述客户端主机对所述目标硬盘的访问,在一个可选地实施例中,用户双击进入所述逻辑盘,posix文件系统驱动向所述命名空间服务器请求根目录列表,此时,所述命名空间服务器返回所有在线独立硬盘的虚拟地址名称列表文件;posix文件系统驱动收到所述命名空间服务器的返回名称列表,并作为标准目录列表展现给用户。105.当用户双击进入某目录时,获取相应逻辑目录的子目录文件信息,目录的浏览操作包括进入下一级或返回上级等,所述目录的浏览操作只在客户端文件系统驱动与元数据服务器之间交互完成,无须访问各个独立硬盘所在的硬盘存储服务器。其中,所述命名空间服务器返回的关键信息是目标硬盘的“虚拟地址-实际地址”的映射,而所述虚拟地址作为目录可见信息供用户浏览,所述实际地址则在客户端文件系统驱动内存区存储。紧接着,当用户双击某文件需要进行硬盘数据读写时,posix文件系统驱动根据硬盘的虚拟地址匹配出硬盘的实际地址,然后通过硬盘的实际地址定位连接该硬盘所在的硬盘机柜服务器,通过专用协议执行文件的读写操作。在这个过程中,目录浏览与文件读写通过posix文件系统驱动实现了软件分流处理,以实现对应用软件的透明化处理。106.本发明提供了一种硬盘数据访问方法、装置、设备及介质,本发明通过调用文件系统驱动posix连接用于存储硬盘虚拟地址索引的命名空间服务器,显示命名空间服务器的逻辑盘的文件目录列表,在所述逻辑盘中快速浏览查找出目标硬盘的访问需求,并结合预先设置的映射表,根据目标硬盘在命名空间服务器中的目标硬盘虚拟地址匹配出目标硬盘实际地址,最后调用posix文件系统驱动连接硬盘机柜服务器,根据所述目标硬盘实际地址,实现所述目标硬盘的访问。本发明针对海量独立硬盘中海量数据文件管理和使用需求,提供统一的目录命名空间,各个独立硬盘体现为各自独立的虚拟逻辑目录,并位于同一根目录下,使得用户能够快速搜索、浏览海量数据文件,快速访问硬盘数据文件。107.图4是本发明提供的硬盘数据访问方法的流程示意图之四,在接收来自客户端主机的目标硬盘实际地址之前,还包括:108.获取所有硬盘的硬盘设备号,根据每一硬盘的硬盘设备号以及硬盘机柜服务器ip构建每一硬盘相对应的硬盘实际地址;109.获取所有硬盘的硬盘标识,根据每一硬盘的硬盘唯一标识构建每一硬盘相对应的硬盘虚拟地址;110.构建每一硬盘相对应的硬盘实际地址与硬盘虚拟地址的映射关系,将所有硬盘相对应的硬盘实际地址与硬盘虚拟地址的映射关系确定为地址映射表;111.遍历所有硬盘,获取每一硬盘的文件目录列表,向命名空间服务器发送所述地址映射表以及所有硬盘的文件目录列表;112.所述硬盘设备号由操作系统动态分配,随着硬盘插拔而产生变化;113.所述硬盘标识是在硬盘分区文件系统格式化的情况下产生的唯一标识,不会随着硬盘插拔位置的变化而更改。114.在步骤401中,向所有硬盘分配硬盘设备号,以根据每一硬盘的硬盘设备号以及硬盘机柜服务器ip构建每一硬盘相对应的硬盘实际地址,在硬盘机柜服务器的外接硬盘机架上插入新硬盘,硬盘机柜服务器上的硬盘控制模块程序通过定时扫描硬件设备号检测到新硬盘加入,提取该硬盘的关键信息,在实际使用过程中,为了统一对添加硬盘后的硬盘机柜服务器进行管理,向所有硬盘分配硬盘设备号,所述硬盘设备号devname为硬盘在操作系统linux中的当前挂载设备号,所述硬盘设备号devname由硬盘机柜服务器操作系统分配,随着硬盘插拔,其设备号的数值是动态变化的,例如操作系统linux中常见的sda1或者sdb1等。115.可选地,根据每一硬盘的硬盘设备号以及硬盘机柜服务器ip构建每一硬盘相对应的硬盘实际地址,通过硬盘设备号devname和硬盘机柜服务器ip两个字段构成所述硬盘的实际地址,例如,其逻辑形式可以为ip_devname。116.在步骤402中,根据每一硬盘的硬盘标识构建每一硬盘相对应的硬盘虚拟地址,并根据所有硬盘相对应的硬盘虚拟地址形成根目录列表,所述硬盘标识(universallyuniqueidentifier,uuid)是在硬盘分区文件系统格式化的情况下产生的唯一标识,无论硬盘在硬盘机柜服务器的任意位置上插拔都不会变化,可以用来唯一标识所述硬盘,通过硬盘标识uuid构成该硬盘的虚拟地址,例如,其逻辑形式可以为uuid。117.进一步地,根据所有硬盘相对应的硬盘虚拟地址形成根目录列表,所述根目录列表中存储有所有硬盘相对应的硬盘虚拟地址,用户能够在所述根目录列表中遍历所有硬盘相对应的硬盘虚拟地址。118.在步骤403中,构建任一硬盘相对应的硬盘实际地址与硬盘虚拟地址的映射关系,遍历所有硬盘,将所有硬盘相对应的硬盘实际地址与硬盘虚拟地址的映射关系确定为地址映射表,在一个可选地实施例中,步骤403可以在硬盘机柜服务器中完成,而在另一个可选地实施例中,硬盘机柜服务器将扫描获得的硬盘信息devname、uuid以及硬盘机柜服务器的ip信息打包发送给命名空间服务器进行硬盘注册,命名空间服务器收到请求后,并记录每一硬盘中虚拟地址以及实际地址这两者间的映射关系,形式为map《uuid,ip_devname》,然后发送请求给硬盘机柜服务器进行该硬盘文件目录树的扫描。119.在步骤404中,遍历所有硬盘,获取每一硬盘的文件目录列表,向命名空间服务器发送所述地址映射表以及所有硬盘的文件目录列表,所述命名空间服务器在接收到所述地址映射表以及所有硬盘的文件目录列表后进行存储,而在另一个可选地实施例中,硬盘机柜服务器启动目录扫描模块程序,遍历读取该硬盘的目录文件树,并分包发送给命名空间服务器;命名空间服务器根据uuid接收硬盘的文件目录树索引数据并入库存储,完成硬盘的文件目录索引建档,并将该硬盘的虚拟地址作为一个独立的逻辑目录加入统一命名空间;同时,通知硬盘机柜服务器,以实际地址的形式提供专用的硬盘文件共享访问接口。120.可选地,在向命名空间服务器发送所述地址映射表以及所有硬盘的文件目录列表之后,还包括:121.在添加新增硬盘至硬盘机柜服务器的情况下,识别新增硬盘设备号,以根据所述新增硬盘设备号以及硬盘机柜服务器ip构建新增硬盘实际地址,根据所述新增硬盘的硬盘标识构建新增硬盘虚拟地址,构建所述新增硬盘实际地址与新增硬盘虚拟地址的新增映射关系,扫描新增硬盘获取新增硬盘的文件目录列表,向所述命名空间服务器发送所述新增映射关系以及新增硬盘的文件目录列表,以指示添加所述新增映射关系至所述地址映射表,以指示添加所述新增硬盘的文件目录列表至所有硬盘的文件目录列表;122.在从硬盘机柜服务器中移除选中硬盘的情况下,确定与所述选中硬盘相关联的选中硬盘的文件目录列表以及选中硬盘映射关系,以指示从地址映射表中删除所述选中硬盘映射关系,以指示从所有硬盘的文件目录列表中删除所述选中硬盘的文件目录列表。123.可选地,利用硬盘机柜服务器的硬盘控制模块程序检测硬盘槽位信息变化,并与保存的最近一次硬盘列表数据镜像进行比较,找出差异点,所述差异点包括:添加硬盘列表,移除硬盘列表,槽位位置发生变化的硬盘列表,并将这些差异数据发送给命名空间服务器;命名空间服务器收到硬盘变更信息后,更新当前的命名空间索引库,其中,保证索引库当前可访问数据与当前硬盘机柜服务器中的在线硬盘情况保持一致。124.本发明能够通过硬件控制模块扫描硬件设备号监控硬盘的实际变化,例如硬盘插入或拔出,并启动相应的处理流程,当硬盘插入时,启动数据采集模块,对新添加硬盘的文件目录树进行遍历,并将采集的文件目录树数据,结合该硬盘的标识信息,包括硬盘唯一序列号及槽位位置,发送给命名空间服务器入库;当硬盘拔出时,则通知命名空间服务器,设置该硬盘离线,从而使得系统支持硬盘的热插拔和统一命名空间的动态更新。125.本发明针对多个独立硬盘中海量数据文件管理和使用需求,提供统一的目录命名空间,各个独立硬盘体现为各自独立的虚拟逻辑目录,并位于同一根目录下,并且统一命名空间的虚拟逻辑目录能随着外置硬盘的热插拔动态更新,同时,面向上层应用提供标准的posix文件访问接口,以使得用户能够以类似于使用windows文件资源管理器的形式访问虚拟盘,既能快速搜索浏览海量数据文件,又能像访问本地文件的形式直接使用、读写该数据文件。126.图5是本发明提供的硬盘数据访问方法的流程示意图之五,本发明面向独立硬盘的统一命名空间管理和访问,动态采集各个独立硬盘的目录文件树信息,汇总形成统一的目录文件命名空间,并在客户端作为一个虚拟盘挂载,用户在应用软件中能够直接访问操作该虚拟盘的目录文件,就如同访问本地硬盘,其具体包括三个部分:客户端主机、命名空间服务器、硬盘机柜服务器。127.可选地,所述客户端主机中包括应用程序以及posix文件系统驱动,两者通过标准posix文件接口协议进行数据交互,用户能够直接在客户端主机中实现在命名空间服务器中目标文件浏览检索,并在硬盘机柜服务器中实现文件读写。128.所述命令空间服务器包括命名空间索引库,其在根目录列表下存在多个硬盘虚拟地址,例如硬盘1虚拟地址,硬盘2虚拟地址,而每个硬盘虚拟地址均由硬盘标识构成,所述命令空间服务器还包括地址映射表,例如,硬盘1虚拟地址与硬盘1实际地址的映射关系,硬盘2虚拟地址与硬盘2实际地址的映射关系。129.所述硬盘机柜服务器包括目录扫描模块、硬盘控制模块、目录共享服务模块以及硬盘阵列,所述硬盘阵列中包括有硬盘1、硬盘2、硬盘3以及硬盘4,甚至更多,所述硬盘控制模块动态感知所述硬盘阵列,在一个可选地实施例中,所述硬盘机柜服务器在获取到根目录列表以及地址映射表后,发送至所述命令空间服务器,而在另一个可选地实施例中,将所有硬盘的虚拟地址以及实际地址发送至命令空间服务器,在所述命令空间服务器中完成根目录列表以及地址映射表的获取。130.本发明通过采集各个独立硬盘的文件目录树,汇总建立统一的目录文件命名空间,并引入数据库和弹性搜索引擎技术,实现海量文件的快速浏览检索;基于硬盘控制模块实现独立硬盘插拔的动态感知,并自动更新统一命名空间;本发明通过虚拟posix文件系统驱动所提供的标准posix文件访问接口,以使得用户能够以类似于使用windows文件资源管理器的形式访问虚拟盘,既能快速搜索浏览海量数据文件,又能像直接使用、读写该数据文件。131.图6是本发明提供的硬盘数据访问装置的结构示意图之一,本发明提供了一种硬盘数据访问装置,执行主体为客户端主机,包括第一调用模块61:用于调用posix文件系统驱动连接命名空间服务器,以显示所述命名空间服务器的逻辑盘,所述第一调用模块61的工作原理可以参考前述步骤101,在此不予赘述。132.所述硬盘数据访问装置还包括第一接收模块62:用于向所述命名空间服务器发出访问目标硬盘文件的请求指令,并接收来自所述命名空间服务器的目标硬盘文件实际地址,所述第一接收模块62的工作原理可以参考前述步骤102,在此不予赘述。133.所述硬盘数据访问装置还包括第二调用模块63:用于调用posix文件系统驱动连接硬盘机柜服务器,向所述硬盘机柜服务器发送所述目标硬盘文件实际地址,以指示所述硬盘机柜服务器根据所述目标硬盘文件实际地址,访问所述目标硬盘文件,所述第二调用模块63的工作原理可以参考前述步骤103,在此不予赘述。134.所述访问目标硬盘文件的请求指令是通过遍历所述逻辑盘的文件目录列表,并根据文件目录列表中的目标硬盘文件虚拟地址生成的;135.所述目标硬盘文件实际地址是在地址映射表中根据所述目标硬盘的虚拟地址和实际地址间映射关系而确定的。136.本发明提供了一种硬盘数据访问方法、装置、设备及介质,本发明通过调用posix文件系统驱动连接用于存储硬盘虚拟地址索引的命名空间服务器,显示命名空间服务器的逻辑盘的文件目录列表,在所述逻辑盘中快速浏览查找出目标硬盘文件的访问需求,并结合预先设置的映射表,根据目标硬盘在命名空间服务器中的目标硬盘文件虚拟地址匹配出目标硬盘文件实际地址,最后调用posix文件系统驱动连接硬盘机柜服务器,根据所述目标硬盘文件实际地址,实现所述目标硬盘文件的访问。本发明针对海量独立硬盘中海量数据文件管理和使用需求,提供统一的目录命名空间,各个独立硬盘体现为各自独立的虚拟逻辑目录,并位于同一根目录下,使得用户能够快速搜索、浏览海量数据文件,快速访问硬盘数据文件。137.图7是本发明提供的硬盘数据访问装置的结构示意图之二,本发明还公开了一种硬盘数据访问装置,执行主体为命令空间服务器,包括第二接收模块71:用于接收来自客户端主机的访问目标硬盘文件的请求指令,所述第二接收模块71的工作原理可以参考前述步骤201,在此不予赘述。138.所述硬盘数据访问装置还包括解析模块72:用于解析所述请求指令,以获取目标硬盘文件虚拟地址,所述解析模块72的工作原理可以参考前述步骤202,在此不予赘述。139.所述硬盘数据访问装置还包括确定模块73:用于从地址映射表中确定出与所述目标硬盘文件虚拟地址相匹配的目标硬盘文件实际地址,所述确定模块73的工作原理可以参考前述步骤203,在此不予赘述。140.所述硬盘数据访问装置还包括发送模块74:用于发送所述目标硬盘文件实际地址至所述客户端主机,所述发送模块74的工作原理可以参考前述步骤204,在此不予赘述。141.本发明提供了一种硬盘数据访问方法、装置、设备及介质,本发明通过调用posix文件系统驱动连接用于存储硬盘虚拟地址索引的命名空间服务器,显示命名空间服务器的逻辑盘的文件目录列表,在所述逻辑盘中快速浏览查找出目标硬盘的访问需求,并结合预先设置的映射表,根据目标硬盘在命名空间服务器中的目标硬盘虚拟地址匹配出目标硬盘实际地址,最后调用posix文件系统驱动连接硬盘机柜服务器,根据所述目标硬盘文件实际地址,实现所述目标硬盘文件的访问。本发明针对海量独立硬盘中海量数据文件管理和使用需求,提供统一的目录命名空间,各个独立硬盘体现为各自独立的虚拟逻辑目录,并位于同一根目录下,使得用户能够快速搜索、浏览海量数据文件,快速访问硬盘数据文件。142.图8是本发明提供的硬盘数据访问装置的结构示意图之三,本发明还公开了一种硬盘数据访问方法,执行主体为硬盘机柜服务器,包括第三接收单元81:用于接收来自客户端主机的目标硬盘文件实际地址,以根据所述目标硬盘文件实际地址,确定出所述目标硬盘文件,所述第三接收单元81的工作原理可以参考前述步骤301,在此不予赘述。143.所述硬盘数据访问装置还包括读取模块82:用于读取所述目标硬盘文件数据并反馈至所述客户端主机,以完成所述客户端主机对所述目标硬盘文件的访问,所述读取模块82的工作原理可以参考前述步骤302,在此不予赘述。144.本发明提供了一种硬盘数据访问方法、装置、设备及介质,本发明通过调用posix文件系统驱动连接用于存储硬盘虚拟地址索引的命名空间服务器,显示命名空间服务器的逻辑盘的文件目录列表,在所述逻辑盘中快速浏览查找出目标硬盘的访问需求,并结合预先设置的映射表,根据目标硬盘在命名空间服务器中的目标硬盘虚拟地址匹配出目标硬盘实际地址,最后调用posix文件系统驱动连接硬盘机柜服务器,根据所述目标硬盘文件实际地址,实现所述目标硬盘文件的访问。本发明针对海量独立硬盘中海量数据文件管理和使用需求,提供统一的目录命名空间,各个独立硬盘体现为各自独立的虚拟逻辑目录,并位于同一根目录下,使得用户能够快速搜索、浏览海量数据文件,快速访问硬盘数据文件。145.图9是本发明提供的电子设备的结构示意图。如图9所示,该电子设备可以包括:处理器(processor)910、通信接口(communicationsinterface)920、存储器(memory)930和通信总线940,其中,处理器910,通信接口920,存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令,以执行硬盘数据访问方法,该方法包括:调用posix文件系统驱动连接命名空间服务器,以显示所述命名空间服务器的逻辑盘的文件目录列表;向所述命名空间服务器发出访问目标硬盘文件的请求指令,并接收来自所述命名空间服务器的目标硬盘文件实际地址;调用posix文件系统驱动连接硬盘机柜服务器,向所述硬盘机柜服务器发送所述目标硬盘文件实际地址,以指示所述硬盘机柜服务器根据所述目标硬盘文件实际地址,访问所述目标硬盘文件;所述访问目标硬盘文件的请求指令是通过遍历所述逻辑盘的文件目录列表,并根据文件目录列表中的目标硬盘文件虚拟地址生成的;所述目标硬盘文件实际地址是在地址映射表中根据所述目标硬盘的虚拟地址和实际地址间映射关系而确定的。146.此外,上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。147.另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的一种硬盘数据访问方法,该方法包括:调用posix文件系统驱动连接命名空间服务器,以显示所述命名空间服务器的逻辑盘的文件目录列表;向所述命名空间服务器发出访问目标硬盘文件的请求指令,并接收来自所述命名空间服务器的目标硬盘文件实际地址;调用posix文件系统驱动连接硬盘机柜服务器,向所述硬盘机柜服务器发送所述目标硬盘文件实际地址,以指示所述硬盘机柜服务器根据所述目标硬盘文件实际地址,访问所述目标硬盘文件;所述访问目标硬盘文件的请求指令是通过遍历所述逻辑盘的文件目录列表,并根据文件目录列表中的目标硬盘文件虚拟地址生成的;所述目标硬盘文件实际地址是在地址映射表中根据所述目标硬盘的虚拟地址和实际地址间映射关系而确定的。148.又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的硬盘数据访问方法,该方法包括:调用posix文件系统驱动连接命名空间服务器,以显示所述命名空间服务器的逻辑盘的文件目录列表;向所述命名空间服务器发出访问目标硬盘文件的请求指令,并接收来自所述命名空间服务器的目标硬盘文件实际地址;调用posix文件系统驱动连接硬盘机柜服务器,向所述硬盘机柜服务器发送所述目标硬盘文件实际地址,以指示所述硬盘机柜服务器根据所述目标硬盘文件实际地址,访问所述目标硬盘文件;所述访问目标硬盘文件的请求指令是通过遍历所述逻辑盘的文件目录列表,并根据文件目录列表中的目标硬盘文件虚拟地址生成的;所述目标硬盘文件实际地址是在地址映射表中根据所述目标硬盘的虚拟地址和实际地址间映射关系而确定的。149.以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。150.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。151.最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1