一种影像文件存储调阅方法和装置与流程

文档序号:29795832发布日期:2022-04-23 18:48阅读:172来源:国知局
一种影像文件存储调阅方法和装置与流程

1.本发明涉及计算机数据处理技术领域,尤其涉及一种影像文件存储调阅方法和装置。


背景技术:

2.本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
3.现有的分布式影像管理系统中,在多任务并发的场景下,如大量用户通过该系统同时调阅文件、批量调阅文件、调阅大文件等,存在的调阅文件效率低、用户等待时间较长、系统易阻塞的问题。
4.因此,如何提供一种新的方案,其能够解决上述技术问题是本领域亟待解决的技术难题。


技术实现要素:

5.本发明实施例提供一种影像文件存储调阅方法,本发明引入梯度缓存机制,可以缓解多用户调阅、批量调阅、大文件调阅等场景给系统带来的压力,提升系统文件的传输效率、充分利用服务器资源并大幅度提升客户体验,包括:
6.将临时对象存储区划分为不同梯度值对应的临时梯度缓存区;其中,临时梯度缓存区按照对应的梯度值设定文件清理周期;
7.接收上传的影像文件,确定影像文件属性信息;
8.根据影像文件属性信息,确定影像文件的梯度值,将该影像文件的按照梯度值存储至对应临时梯度缓存区,在影像文件完整上传至临时梯度缓存区后,由临时梯度缓存区将影像文件传输至正式对象存储区;所述正式对象存储区用于持续存储影像文件;
9.在发生影像文件调阅时,接收调阅请求,确定目标调阅影像文件的梯度值,将目标影像文件从临时对象存储区下载。
10.本发明实施例还提供一种影像文件存储调阅装置,包括:
11.临时梯度缓存区划分模块,用于将临时对象存储区划分为不同梯度值对应的临时梯度缓存区;其中,临时梯度缓存区按照对应的梯度值设定文件清理周期;
12.影像文件属性信息确定模块,用于接收上传的影像文件,确定影像文件属性信息;
13.影像文件存储模块,用于根据影像文件属性信息,确定影像文件的梯度值,将该影像文件的按照梯度值存储至对应临时梯度缓存区,在影像文件完整上传至临时梯度缓存区后,由临时梯度缓存区将影像文件传输至正式对象存储区;所述正式对象存储区用于持续存储影像文件;
14.影像文件调阅模块,用于在发生影像文件调阅时,接收调阅请求,确定目标调阅影像文件的梯度值,将目标影像文件从临时对象存储区下载。
15.本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并
可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述一种影像文件存储调阅方法。
16.本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述一种影像文件存储调阅方法。
17.本发明实施例还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现上述一种影像文件存储调阅方法。
18.本发明实施例提供的一种影像文件存储调阅方法和装置,包括:将临时对象存储区划分为不同梯度值对应的临时梯度缓存区;其中,临时梯度缓存区按照对应的梯度值设定文件清理周期;接收上传的影像文件,确定影像文件属性信息;根据影像文件属性信息,确定影像文件的梯度值,将该影像文件的按照梯度值存储至对应临时梯度缓存区,在影像文件完整上传至临时梯度缓存区后,由临时梯度缓存区将影像文件传输至正式对象存储区;所述正式对象存储区用于持续存储影像文件;在发生影像文件调阅时,接收调阅请求,确定目标调阅影像文件的梯度值,将目标影像文件从临时对象存储区下载。本发明通过在分布式影像管理中引入梯度缓存机制,在临时对象存储区上划分不同梯度值对应的临时梯度缓存区,在影像文件上传过程中根据文件属性信息,计算出影像文件存储的梯度值,根据影像文件的梯度值将文件放入相应的临时梯度缓存区,不同临时梯度缓存区对应的文件清理周期不同。用户在调阅的过程中,优先从梯度缓存区域检索文件,若检索成功则直接将该文件下载到用户指定位置;本发明引入梯度缓存机制,可以缓解多用户调阅、批量调阅、大文件调阅等场景给系统带来的压力,提升系统文件的传输效率、充分利用服务器资源并大幅度提升客户体验,从而缓解系统下载压力,提升用户调阅效率。
附图说明
19.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
20.图1为本发明实施例一种影像文件存储调阅方法示意。
21.图2为本发明实施例一种影像文件存储调阅方法的流程图。
22.图3为本发明实施例一种影像文件存储调阅方法的影像文件存储过程示意图。
23.图4为本发明实施例一种影像文件存储调阅方法的影像文件调阅过程示意图。
24.图5为运行本发明实施的一种影像文件存储调阅方法的计算机设备示意图。
25.图6为本发明实施例一种影像文件存储调阅装置示意图。
具体实施方式
26.为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
27.本发明属于分布式技术。图1为本发明实施例一种影像文件存储调阅方法示意,如图1所示,本发明实施例提供一种影像文件存储调阅方法,本发明引入梯度缓存机制,可以
缓解多用户调阅、批量调阅、大文件调阅等场景给系统带来的压力,提升系统文件的传输效率、充分利用服务器资源并大幅度提升客户体验,包括:
28.步骤101:将临时对象存储区划分为不同梯度值对应的临时梯度缓存区;其中,临时梯度缓存区按照对应的梯度值设定文件清理周期;
29.步骤102:接收上传的影像文件,确定影像文件属性信息;
30.步骤103:根据影像文件属性信息,确定影像文件的梯度值,将该影像文件的按照梯度值存储至对应临时梯度缓存区,在影像文件完整上传至临时梯度缓存区后,由临时梯度缓存区将影像文件传输至正式对象存储区;所述正式对象存储区用于持续存储影像文件;
31.步骤104:在发生影像文件调阅时,接收调阅请求,确定目标调阅影像文件的梯度值,将目标影像文件从临时对象存储区下载。
32.本发明实施例提供的一种影像文件存储调阅方法,包括:将临时对象存储区划分为不同梯度值对应的临时梯度缓存区;其中,临时梯度缓存区按照对应的梯度值设定文件清理周期;接收上传的影像文件,确定影像文件属性信息;根据影像文件属性信息,确定影像文件的梯度值,将该影像文件的按照梯度值存储至对应临时梯度缓存区,在影像文件完整上传至临时梯度缓存区后,由临时梯度缓存区将影像文件传输至正式对象存储区;所述正式对象存储区用于持续存储影像文件;在发生影像文件调阅时,接收调阅请求,确定目标调阅影像文件的梯度值,将目标影像文件从临时对象存储区下载。本发明通过在分布式影像管理中引入梯度缓存机制,在临时对象存储区上划分不同梯度值对应的临时梯度缓存区,在影像文件上传过程中根据文件属性信息,计算出影像文件存储的梯度值,根据影像文件的梯度值将文件放入相应的临时梯度缓存区,不同临时梯度缓存区对应的文件清理周期不同。用户在调阅的过程中,优先从梯度缓存区域检索文件,若检索成功则直接将该文件下载到用户指定位置;本发明引入梯度缓存机制,可以缓解多用户调阅、批量调阅、大文件调阅等场景给系统带来的压力,提升系统文件的传输效率、充分利用服务器资源并大幅度提升客户体验,从而缓解系统下载压力,提升用户调阅效率。
33.在本发明实施例中,涉及的专业词汇解释如下:
34.分布式数据库:位于不同地点的许多计算机通过网络互相连接,共同组成一个完整的、全局的逻辑上集中、物理上分布的大型数据库。
35.对象存储服务(object storage service,obs):一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力,包括:创建、修改、删除桶,上传、下载、删除对象等。
36.元数据(metadata):对象的描述信息,包括系统元数据和用户元数据。系统元数据由用户在上传对象时指定,也包括后台服务根据文件关联性组成新的关系数据,用于描述影像文件的相关业务信息。用户元数据由用户在上传对象时指定,是用户自定义的对象描述信息。
37.分布式影像管理系统(distributed image management system):一种将影像文件(如照片、视频、合同扫描件等)通过网络上传到服务存储器,以供查询、调用、修改、删除等操作。
38.目前常用的影像管理系统的设计方案是以前后端的形式,前端客户通过某种网络
协议以数据流的形式传输给服务端,服务端直接将数据流转到存储服务器上进行影像文件的正式存储。调阅过程也是将正式存储与客户端直接建立链接,传输数据流。此种方案因为系统稳定性、一致性及安全等问题,实际应用及实现较少。
39.为了解决上述前后端形式带来的稳定性、一致性及安全等问题,提出了一种以分布式影像管理系统,用户一次上传影像操作需上传影像文件和影像描述信息,通过http或socket网络协议将文件数据流传输到服务端。首先,服务端将文件流转接并缓存到临时存储区。然后,服务端将影像描述信息拆解为不同的元数据并存入数据库相应的表中,同时以事务的形式将临时存储区的文件转移至对象存储服务(obs)器的正式存储区,保持数据库表中元数据信息与obs中文件的一致性。调阅过程则是先从正式存储区进行文件检索,检索成功后将文件转存到临时存储区,再通过网络协议将临时存储区中的文件数据流传输到客户端。
40.第二种方案相较于第一种方案进行了一致性、安全性方面的优化,但是在调阅的过程中存在正式到临时转存的效率较低、用户等待时间较长、系统易阻塞等问题。本发明针对此问题提出改进,引入梯度缓存机制。
41.基于应用广泛且技术成熟的第二种方案进行分析,当多用户同时进行影像文件调阅时,或当某些用户进行批量文件调阅时,或当某些用户调阅大文件时,服务端先要完成正式对象存储中的文件检索,然后将正式对象存储中的文件转存到临时对象存储中,进而再将文件传输到用户指定目录。因而,后台服务器及文件存储服务器压力骤然增大,资源占用飙升,从而导致调阅文件过程缓慢,甚至因系统资源不足问题导致某些用户服务失败,用户体验差。
42.原有的分布式影像管理系统在文件上传时,会先将文件存储到临时对象存储服务器,待上传完成及校验成功后转存至正式对象存储服务器,并删除临时存储中的文件。下载过程为先从正式对象存储服务器检索文件,并转存到临时存储服务器,然后再从临时存储服务器下载到用户指定路径。
43.为解决上述问题,本发明引入梯度缓存机制,在影像文件上传过程中根据文件属性信息,比如文件来源系统、影像存储库、上传用户等,计算出影像文件的存储梯度值。在临时对象存储服务器上划分不同梯度值对应的存储区域,根据影像文件的梯度值将文件放入相应的缓存区域,不同梯度的缓存区域对应的存储周期不同。用户在调阅的过程中,优先从梯度缓存区域检索文件,若检索成功则直接将该文件下载到用户指定位置,若检索失败则从正式存储中检索并转存到缓存区域,进而下载到用户指定位置。因此,本发明引入梯度缓存机制,可以缓解多用户调阅、批量调阅、大文件调阅等场景给系统带来的压力,提升系统文件的传输效率、充分利用服务器资源并大幅度提升客户体验。本发明提供一种基于梯度缓存机制的分布式影像管理系统。面向用户提供http、socket两种协议的接口支持,支持影像文件(如照片、视频、合同扫描件等)通过网络从服务存储器调阅到用户指定路径。
44.图2为本发明实施例一种影像文件存储调阅方法的流程图,如图2所示,具体实施本发明实施例提供的一种影像文件存储调阅方法时,在一个实施例中,可以包括:
45.将临时对象存储区划分为不同梯度值对应的临时梯度缓存区;其中,临时梯度缓存区按照对应的梯度值设定文件清理周期;
46.接收上传的影像文件,确定影像文件属性信息;
47.根据影像文件属性信息,确定影像文件的梯度值,将该影像文件的按照梯度值存储至对应临时梯度缓存区,在影像文件完整上传至临时梯度缓存区后,由临时梯度缓存区将影像文件传输至正式对象存储区;所述正式对象存储区用于持续存储影像文件;
48.在发生影像文件调阅时,接收调阅请求,确定目标调阅影像文件的梯度值,将目标影像文件从临时对象存储区下载。
49.本发明实施例将临时对象存储划分为不同梯度值的缓存区域,根据上传文件的属性信息计算文件相应的出梯度值。不同梯度值的缓存区域清理文件周期不同,用户调阅文件时优先到梯度缓存区域检索文件并进行下载。从而缓解系统下载压力,提升用户调阅效率。本发明通过合理的梯度缓存区域设计,将原方案上传过程中临时对象存储进行改进,划分为不同梯度值的缓存区域,不同梯度缓存区域清理文件周期不同,上传的文件根据属性信息,比如文件来源系统、影像存储库、上传用户等,计算出该文件的梯度值,存入到相应的梯度缓存区域。用户调阅时,优先从梯度缓存区域检索该文件,若找不到再从正式对象存储中进行下载。从而,缓解调阅过程中服务器的峰值压力,提升传输效率及服务成功率,提升用户体验。
50.具体实施本发明实施例提供的一种影像文件存储调阅方法时,在一个实施例中,将临时对象存储区划分为不同梯度值对应的临时梯度缓存区,包括:
51.对影像文件调阅需求和历史调阅统计数据进行分析,确定梯度缓存配置信息和文件清理周期;所述梯度缓存配置信息,包括临时梯度缓存区与对应的梯度值;
52.将临时对象存储区按照梯度缓存配置信息,划分为不同梯度值对应的临时梯度缓存区;对每一临时梯度缓存区设定文件清理周期;其中,对于临时梯度缓存区中存储的影像文件,若影像文件的保存时长在文件清理周期内则保留该影像文件,若影像文件的保存时长超出文件清理周期则删除该影像文件。
53.实施例中,梯度缓存机制,是将原有的临时存储区划分为不同梯度值的缓存区域(不同区域清理文件周期不同),并根据影像文件的时效属性信息,比如文件来源系统、影像存储库、上传用户等信息,计算出梯度值,将文件按照梯度值存放到对应的梯度缓存区域。调阅时,优先从梯度缓存区域中检索获取文件,仅当文件已被清理时再从正式存储区中检索获取文件。
54.因此,为了实现梯度缓存机制,需要首先将临时对象存储区划分为不同梯度值对应的临时梯度缓存区,主要过程包括:
55.首先,对影像文件调阅需求和历史调阅统计数据进行分析,确定梯度缓存配置信息和文件清理周期;所述梯度缓存配置信息,包括临时梯度缓存区与对应的梯度值;临时梯度缓存区与梯度值的对应关系,表示影像文件的存储位置,通过梯度缓存配置信息,可以在存储阶段,将影像文件存储至目标存储位置,在调阅阶段,获取影像文件的具体存储位置。然后,将临时对象存储区按照梯度缓存配置信息,划分为不同梯度值对应的临时梯度缓存区;对每一临时梯度缓存区设定文件清理周期;对于临时梯度缓存区中存储的影像文件,若影像文件的保存时长在文件清理周期内则保留该影像文件,若影像文件的保存时长超出文件清理周期则删除该影像文件。通过设定文件清理周期,将影像文件临时存储在临时梯度缓存区,在多用户调阅、批量调阅、大文件调阅等场景下,可以无需从正式对象存储区查找影像文件复制到临时对象存储区再下载至用户,实现直接从临时对象存储区直接下载至用
户,缓解系统压力,提升系统文件的传输效率、充分利用服务器资源并大幅度提升客户体验。
56.具体实施本发明实施例提供的一种影像文件存储调阅方法时,在一个实施例中,接收上传的影像文件,确定影像文件属性信息,包括:
57.建立与客户端的通讯连接,接收上传的影像文件,从影像文件中抽取出影像文件属性信息;所述影像文件属性信息,包括:客户端信息,用户信息,源系统信息,影像库信息,文件唯一标识。
58.实施例中,经过前期认证、地址获取等处理后,用户发起影像文件上传请求,服务接入模块支持http和scoket两种请求;与客户端建立通讯连接,接收用户上传的文件元数据信息,并抽取出文件属性信息,如用户信息、源系统信息、影像库信息、文件唯一标识等。
59.图3为本发明实施例一种影像文件存储调阅方法的影像文件存储过程示意图,如图3所示,具体实施本发明实施例提供的一种影像文件存储调阅方法时,在一个实施例中,在将临时对象存储区划分为不同梯度值对应的临时梯度缓存区后,还包括:将梯度缓存配置信息存储至数据库表;
60.根据影像文件属性信息,确定影像文件的梯度值,将该影像文件的按照梯度值存储至对应临时梯度缓存区,包括:
61.步骤301:根据影像文件属性信息,计算该影像文件的梯度值;
62.步骤302:根据影像文件的梯度值,从数据库表中查询梯度缓存配置信息,确定对应临时梯度缓存区;
63.步骤303:将该影像文件存储至对应临时梯度缓存区。
64.实施例中,在对影像文件调阅需求和历史调阅统计数据进行分析确定梯度缓存配置信息后,还包括将梯度缓存配置信息存储至数据库表;数据库表,用于存储梯度缓存配置信息,属于业务信息表。
65.根据影像文件属性信息,确定影像文件的梯度值,将该影像文件的按照梯度值存储至对应临时梯度缓存区,包括:
66.首先,根据影像文件属性信息,计算该影像文件的梯度值;然后,根据影像文件的梯度值,从数据库表中查询梯度缓存配置信息,确定对应临时梯度缓存区;最后,将该影像文件存储至对应临时梯度缓存区。在影像文件完整上传至临时梯度缓存区后,由临时梯度缓存区将影像文件传输至正式对象存储区,正式对象存储区用于持续存储影像文件,完成影像文件的正式存储。
67.图4为本发明实施例一种影像文件存储调阅方法的影像文件调阅过程示意图,如图4所示,具体实施本发明实施例提供的一种影像文件存储调阅方法时,在一个实施例中,在发生影像文件调阅时,接收调阅请求,确定目标调阅影像文件的梯度值,将目标影像文件从临时对象存储区下载,包括:
68.步骤401:在发生影像文件调阅时,接收调阅请求;
69.步骤402:解析调阅请求,获取目标调阅影像文件文件属性信息,计算得到目标调阅影像文件的梯度值;
70.步骤403:根据目标调阅影像文件的梯度值,从数据库表中查询梯度缓存配置信息,确定存储目标影像文件的临时梯度缓存区;
71.步骤404:根据存储目标影像文件的临时梯度缓存区,将目标影像文件从临时梯度缓存区下载。
72.实施例中,发生文件调阅时,主要过程包括:
73.首先,在发生影像文件调阅时,经过前期认证、地址获取等处理后,用户发起影像文件调阅请求,服务接入模块支持http和scoket两种请求,与客户端建立通讯连接,接收调阅请求;然后,解析调阅请求,获取目标调阅影像文件文件属性信息,如用户信息、源系统信息、影像库信息、文件唯一标识等,计算得到目标调阅影像文件的梯度值;接着,根据目标调阅影像文件的梯度值,从数据库表中查询梯度缓存配置信息,确定存储目标影像文件的临时梯度缓存区;最后,根据存储目标影像文件的临时梯度缓存区,将目标影像文件从临时梯度缓存区下载。
74.具体实施本发明实施例提供的一种影像文件存储调阅方法时,在一个实施例中,根据存储目标影像文件的临时梯度缓存区,将目标影像文件从临时梯度缓存区下载,包括:
75.在存储目标影像文件的临时梯度缓存区中查找目标影像文件;
76.若查询时,临时梯度缓存区内的目标影像文件未被清理,则将目标影像文件从临时梯度缓存区下载;
77.若查询时,临时梯度缓存区内的目标影像文件已被清理,则在正式对象存储区中查找目标影像文件,将查找到的目标影像文件复制到临时梯度缓存区,重置临时梯度缓存区中目标影像文件的保存时长,将目标影像文件从临时梯度缓存区下载。
78.实施例中,根据计算出的存储位置,首先在梯度缓存区查找该文件。若查询时,梯度缓存区域内该文件仍未被清理,则直接返回该文件位置,若在调阅时,梯度缓存中的文件已被清理,即第10步中,检索不到要调阅的文件,即从正式存储中检索,将正式存储中检索到的文件复制到梯度缓存区,将文件从梯度缓存区下载到客户指定位置。
79.本发明在处理调阅影像文件的过程中,优先从临时梯度缓存区检索该文件,若查找不到的情况下,表示影像文件已超期被清理,再从正式对象存储区中复制影像文件到临时梯度缓存区中进行下载,从而缓解调阅过程中服务器的峰值压力,提升传输效率及服务成功率,提升用户体验。
80.本发明主要为了解决现有的分布式影像管理系统中,在多任务并发的场景下(如大量用户通过该系统同时调阅文件、批量调阅文件、调阅大文件等),存在的调阅文件效率低、用户等待时间较长、系统易阻塞的问题。
81.下面结合具体场景,对本发明实施例提供的一种影像文件存储调阅方法进行简要描述:
82.本发明主要为了解决现有的分布式影像管理系统中,在多任务并发的场景下(如大量用户通过该系统同时调阅文件、批量调阅文件、调阅大文件等),存在的调阅文件效率低、用户等待时间较长、系统易阻塞的问题。本发明通过在分布式影像管理系统中引入梯度缓存机制,解决上述问题。
83.本发明提供一种基于梯度缓存机制的分布式影像管理系统。面向用户提供http、socket两种协议的接口支持,支持影像文件(如照片、视频、合同扫描件等)通过网络从服务存储器调阅到用户指定路径。
84.本发明引入梯度缓存机制,在影像文件上传过程中根据文件属性信息(比如文件
来源系统、影像存储库、上传用户等)计算出影像文件的存储梯度值。在临时对象存储服务器上划分不同梯度值对应的存储区域,根据影像文件的梯度值将文件放入相应的缓存区域(不同梯度的缓存区域对应的存储周期不同)。用户在调阅的过程中,优先从梯度缓存区域检索文件,若检索成功则直接将该文件下载到用户指定位置,若检索失败则从正式存储中检索并转存到缓存区域,进而下载到用户指定位置。因此,本发明引入梯度缓存机制,可以缓解多用户调阅、批量调阅、大文件调阅等场景给系统带来的压力,提升系统文件的传输效率、充分利用服务器资源并大幅度提升客户体验。
85.本发明针引入梯度缓存机制。将临时对象存储划分为不同梯度值的缓存区域,根据上传文件的属性信息计算文件相应的出梯度值。不同梯度值的缓存区域清理文件周期不同,用户调阅文件时优先到梯度缓存区域检索文件并进行下载。从而缓解系统下载压力,提升用户调阅效率。
86.本发明通过合理的梯度缓存区域设计,将原方案上传过程中临时对象存储进行改进,划分为不同梯度值的缓存区域(不同梯度缓存区域清理文件周期不同),上传的文件根据属性信息(比如文件来源系统、影像存储库、上传用户等)计算出该文件的梯度值,存入到相应的梯度缓存区域。用户调阅时,优先从梯度缓存区域检索该文件,若找不到再从正式对象存储中进行下载。从而,缓解调阅过程中服务器的峰值压力,提升传输效率及服务成功率,提升用户体验。
87.技术人员需根据用户需求以及历史调阅统计数据进行分析,做好梯度区域的划分、清理文件周期设置、文件梯度值算法的设计。技术人员需要依据方案完成程序的设计与实现,做好文件传输链路的统一性,避免梯度缓存区域文件与正式存储文件信息不一致等脏数据的产生。技术人员需要做充足的测试与验证,确保系统的调阅功能、异步补偿机制与其它查询、上传、修改、删除等操作兼容。
88.本发明实施例描述了影像管理平台调阅文件的梯度缓存机制,为了简要的描述出该机制,图中忽略了系统中其它无关模块及部分无关流程,简化了消息应答、失败场景的处理过程,具体过程描述如下:
89.1、客户文件上传:经过前期认证、地址获取等处理后,用户发起影像文件上传请求,服务接入模块支持http和scoket两种请求。
90.2、上传文件接收:业务处理模块与客户端建立通讯连接,接收用户上传的文件元数据信息,并抽取出文件属性信息(如用户信息、源系统信息、影像库信息、文件唯一标识等)。
91.3、梯度信息计算及策略查询:根据文件属性信息计算出该文件的梯度值,并查询梯度缓存配置信息,从而确定该文件的存储位置。
92.4、文件临时存储:将文件存储到第3步中计算出的存储位置,完成梯度缓存存储。
93.5、文件元数据入库:上传文件的元数据信息存入相应的数据库,此系统动作与本发明关系较弱,故不详细展开。
94.6、文件正式存储:上传文件从梯度缓存传输到正式存储的过程,完成文件的正式存储,此步骤与第5步文件元数据入库归属于同一事务。
95.7、客户文件调阅:经过前期认证、地址获取等处理后,用户发起影像文件调阅请求,服务接入模块支持http和scoket两种请求。
96.8、待调阅文件信息提取:业务处理模块与客户端建立通讯连接,接收用户调阅的文件元数据信息,并抽取出文件属性信息(如用户信息、源系统信息、影像库信息、文件唯一标识等)。
97.9、梯度信息计算及策略查询:根据文件属性信息计算出该文件的梯度值,并查询梯度缓存配置信息,从而确定该文件的存储位置。
98.10、文件梯度缓存区检索:根据计算出的存储位置,首先在梯度缓存区查找该文件。若查询时,梯度缓存区域内该文件仍未被清理,则直接返回该文件位置。
99.11、文件正式区检索:若在调阅时,梯度缓存中的文件已被清理,即第10步中,检索不到要调阅的文件,即从正式存储中检索。
100.12、文件转存:将正式存储中检索到的文件复制到梯度缓存区。
101.13、文件下载:将文件从梯度缓存区下载到客户指定位置。
102.本发明的核心流程为在上传、调阅影像文件的处理过程中,将原有的临时存储区划分为不同梯度值的缓存区域(不同区域清理文件周期不同),并根据影像文件的时效属性信息(比如文件来源系统、影像存储库、上传用户等信息)计算出梯度值,将文件按照梯度值存放到对应的梯度缓存区域。调阅时,优先从梯度缓存区域中检索获取文件,仅当文件已被清理时再从正式存储区中检索获取文件。
103.本发明实施例还提供一种影像文件存储调阅方法的模块化实例,主要包括:服务接入模块、业务处理模块、梯度缓存模块、正式存储模块、梯度策略模块、数据库表;
104.服务接入模块:后台服务模块,用于接收前端传来的文件上传、调阅请求及数据流,支持http及socket两种协议。
105.业务处理模块:根据用户上传、调阅的文件信息,识别出元数据信息并文件的属性信息(比如文件来源系统、影像存储库、上传用户等)计算出文件梯度值。根据梯度策略的配置,确认该文件梯度值对应的临时存储位置,即梯度缓存位置。
106.梯度缓存模块:obs的适配软件模块,用于存储用户上传的影像文件,根据梯度值划分不同的存储桶(存储单元),不同梯度值对应的存储桶按需求配置不同的文件清理周期。
107.正式存储模块:obs的适配软件模块,用于存储用户上传的影像文件,文件正式存储区域。
108.梯度策略模块:启动后即从数据库中读取梯度缓存配置信息,将梯度值与存储桶的存储位置关系读取到内存,并提供查询服务。
109.数据库表:用于存储影像文件的描述信息(元数据),属于业务信息表。
110.本发明中核心流程为在上传、调阅影像文件的处理过程中,将原有的临时存储区划分为不同梯度值的缓存区域(不同区域清理文件周期不同),并根据影像文件的时效属性信息(比如文件来源系统、影像存储库、上传用户等信息)计算出梯度值,将文件按照梯度值存放到对应的梯度缓存区域。调阅时,优先从梯度缓存区域中检索获取文件,仅当文件已被清理时再从正式存储区中检索获取文件。具体包括如下内容:
111.根据影像文件的属性信息(比如文件来源系统、影像存储库、上传用户等信息),设计出合理的文件梯度值计算方法;将临时存储区域,合理的设计划分为不同的梯度缓存区域(含清理周期等方案);在处理用户上传文件的过程中,获取该文件属性信息并计算出该
文件的梯度值,并将文件存储到该梯度值对应的缓存位置;在处理用户调阅文件的过程中,优先从梯度缓存区检索获取该文件。
112.本发明中核心流程为在处理调阅影像文件的过程中,优先从梯度缓存区检索获取文件并下载给客户,获取不到的情况下(如文件已超期被清理),再从正式存储中复制文件到梯度缓存区,下载给客户。
113.在现有的影像管理系统中引入本发明提供的梯度缓存机制,可缓解多用户调阅、批量调阅、大文件调阅等场景给系统带来的压力,提升系统文件的传输效率、充分利用服务器资源并大幅度提升客户体验。
114.图5为运行本发明实施的一种影像文件存储调阅方法的计算机设备示意图,如图5所示,本发明实施例还提供一种计算机设备500,包括存储器510、处理器520及存储在存储器上并可在处理器上运行的计算机程序530,所述处理器执行所述计算机程序时实现上述一种影像文件存储调阅方法。
115.本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述一种影像文件存储调阅方法。
116.本发明实施例还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现上述一种影像文件存储调阅方法。
117.本发明实施例中还提供了一种影像文件存储调阅装置,如下面的实施例所述。由于该装置解决问题的原理与一种影像文件存储调阅方法相似,因此该装置的实施可以参见一种影像文件存储调阅方法的实施,重复之处不再赘述。
118.图6为本发明实施例一种影像文件存储调阅装置示意图,如图6所示,本发明实施例还提供一种影像文件存储调阅装置,具体实施时可以包括:
119.临时梯度缓存区划分模块601,用于将临时对象存储区划分为不同梯度值对应的临时梯度缓存区;其中,临时梯度缓存区按照对应的梯度值设定文件清理周期;
120.影像文件属性信息确定模块602,用于接收上传的影像文件,确定影像文件属性信息;
121.影像文件存储模块603,用于根据影像文件属性信息,确定影像文件的梯度值,将该影像文件的按照梯度值存储至对应临时梯度缓存区,在影像文件完整上传至临时梯度缓存区后,由临时梯度缓存区将影像文件传输至正式对象存储区;所述正式对象存储区用于持续存储影像文件;
122.影像文件调阅模块604,用于在发生影像文件调阅时,接收调阅请求,确定目标调阅影像文件的梯度值,将目标影像文件从临时对象存储区下载。
123.具体实施本发明实施例提供的一种影像文件存储调阅装置时,在一个实施例中,临时梯度缓存区划分模块,具体用于:
124.对影像文件调阅需求和历史调阅统计数据进行分析,确定梯度缓存配置信息和文件清理周期;所述梯度缓存配置信息,包括临时梯度缓存区与对应的梯度值;
125.将临时对象存储区按照梯度缓存配置信息,划分为不同梯度值对应的临时梯度缓存区;对每一临时梯度缓存区设定文件清理周期;其中,对于临时梯度缓存区中存储的影像文件,若影像文件的保存时长在文件清理周期内则保留该影像文件,若影像文件的保存时长超出文件清理周期则删除该影像文件。
126.具体实施本发明实施例提供的一种影像文件存储调阅装置时,在一个实施例中,影像文件属性信息确定模块,具体用于:
127.建立与客户端的通讯连接,接收上传的影像文件,从影像文件中抽取出影像文件属性信息;所述影像文件属性信息,包括:客户端信息,用户信息,源系统信息,影像库信息,文件唯一标识。
128.具体实施本发明实施例提供的一种影像文件存储调阅装置时,在一个实施例中,临时梯度缓存区划分模块,还用于:将梯度缓存配置信息存储至数据库表;
129.影像文件存储模块,具体用于:
130.根据影像文件属性信息,计算该影像文件的梯度值;
131.根据影像文件的梯度值,从数据库表中查询梯度缓存配置信息,确定对应临时梯度缓存区;
132.将该影像文件存储至对应临时梯度缓存区。
133.具体实施本发明实施例提供的一种影像文件存储调阅装置时,在一个实施例中,影像文件调阅模块,具体用于:
134.在发生影像文件调阅时,接收调阅请求;
135.解析调阅请求,获取目标调阅影像文件文件属性信息,计算得到目标调阅影像文件的梯度值;
136.根据目标调阅影像文件的梯度值,从数据库表中查询梯度缓存配置信息,确定存储目标影像文件的临时梯度缓存区;
137.根据存储目标影像文件的临时梯度缓存区,将目标影像文件从临时梯度缓存区下载。
138.具体实施本发明实施例提供的一种影像文件存储调阅装置时,在一个实施例中,影像文件调阅模块,还用于:
139.在存储目标影像文件的临时梯度缓存区中查找目标影像文件;
140.若查询时,临时梯度缓存区内的目标影像文件未被清理,则将目标影像文件从临时梯度缓存区下载;
141.若查询时,临时梯度缓存区内的目标影像文件已被清理,则在正式对象存储区中查找目标影像文件,将查找到的目标影像文件复制到临时梯度缓存区,重置临时梯度缓存区中目标影像文件的保存时长,将目标影像文件从临时梯度缓存区下载。
142.本发明在处理调阅影像文件的过程中,优先从临时梯度缓存区检索该文件,若查找不到的情况下,表示影像文件已超期被清理,再从正式对象存储区中复制影像文件到临时梯度缓存区中进行下载,从而缓解调阅过程中服务器的峰值压力,提升传输效率及服务成功率,提升用户体验。
143.综上,本发明实施例提供的一种影像文件存储调阅方法和装置,包括:将临时对象存储区划分为不同梯度值对应的临时梯度缓存区;其中,临时梯度缓存区按照对应的梯度值设定文件清理周期;接收上传的影像文件,确定影像文件属性信息;根据影像文件属性信息,确定影像文件的梯度值,将该影像文件的按照梯度值存储至对应临时梯度缓存区,在影像文件完整上传至临时梯度缓存区后,由临时梯度缓存区将影像文件传输至正式对象存储区;所述正式对象存储区用于持续存储影像文件;在发生影像文件调阅时,接收调阅请求,
确定目标调阅影像文件的梯度值,将目标影像文件从临时对象存储区下载。本发明通过在分布式影像管理中引入梯度缓存机制,在临时对象存储区上划分不同梯度值对应的临时梯度缓存区,在影像文件上传过程中根据文件属性信息,计算出影像文件存储的梯度值,根据影像文件的梯度值将文件放入相应的临时梯度缓存区,不同临时梯度缓存区对应的文件清理周期不同。用户在调阅的过程中,优先从梯度缓存区域检索文件,若检索成功则直接将该文件下载到用户指定位置;本发明引入梯度缓存机制,可以缓解多用户调阅、批量调阅、大文件调阅等场景给系统带来的压力,提升系统文件的传输效率、充分利用服务器资源并大幅度提升客户体验,从而缓解系统下载压力,提升用户调阅效率。
144.本发明在处理调阅影像文件的过程中,优先从临时梯度缓存区检索该文件,若查找不到的情况下,表示影像文件已超期被清理,再从正式对象存储区中复制影像文件到临时梯度缓存区中进行下载,从而缓解调阅过程中服务器的峰值压力,提升传输效率及服务成功率,提升用户体验。
145.本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
146.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
147.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
148.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
149.以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1