基于区块链非结构化数据存储、使用及审计的方法及系统与流程

1.本发明涉及区块链领域，特别是涉及一种基于区块链非结构化数据存储、使用及审计的方法。


背景技术：

2.区块链是融合数学、密码学、互联网和计算机编程等领域技术，构造的一种具有去中心化、不可篡改、可追溯、集体维护等特性的分布式账本形式的数据库。
3.现有的依赖区块链技术存储的数据多为结构化数据，针对非结构化数据存储、保护、使用、审计目前并不完善，不能对非结构化数据提供系统的保护。非结构化数据的数据结构不规则或不完整，没有预定义的数据模型，现有系统难以做到对非结构化数据安全存储及审计。当前市面上缺乏非结构化数据与区块链结合度比较好系统。


技术实现要素：

4.本发明的目的是克服现有技术中的不足之处，提供一种基于区块链非结构化数据存储、使用及审计的方法，可以对非结构化数据存储及使用，同时将该访问记录的审计信息上传到区块链，保障链上非结构化数据的访问记录安全存储。
5.本发明的目的是通过以下技术方案来实现的：
6.本发明一实施方式提供一种基于区块链非结构化数据存储、使用及审计的方法，包括：上链步骤、下载步骤及审计步骤；
7.所述上链步骤具体包括：
8.接收非结构化数据信息，对所述非结构化数据信息进行校验，校验成功后，则保存非结构化数据信息；
9.对所述非结构化数据信息计算hash值，并且获取文件信息，生成唯一数据id，并组装成系统可识别的格式属性信息；
10.发出预保存的所述文件信息、数据id以及格式属性信息，并且返回上链结果；
11.所述下载步骤具体包括：
12.接收下载非结构化数据信息请求，发送数据id；
13.根据所述数据id查询非结构化数据属性信息并解析，获取非结构化数据源文件、数据属性信息及hash值；
14.获取非结构化数据源文件计算源文件hash值，若所述源文件hash值与所述hash值一致，则发出非结构化数据信息；
15.所述审计步骤具体包括：针对所述上链步骤和所述下载步骤进行审计记录，并生成审计记录信息，保存所述审计记录信息。
16.优选的，所述对所述非结构化数据信息进行校验的具体步骤包括：
17.根据预置准入数据类型和数据大小，校验非结构化数据信息是否合规，若合规则存储所述非结构化数据信息，否则发出不合规消息。
18.优选的，所述文件信息包括文件名称、数据存储路径、数据大小、数据上传时间。
19.优选的，所述下载步骤还包括：接收非结构化数据属性列表的请求，发出非结构化数据属性列表请求，并获取所述非结构化数据属性列表，通过显示客户端显示非结构化数据属性列表。
20.优选的，所述非结构化数据属性列表中的内容包括名称、数据大小、上传时间、hash值及数据id。
21.优选的，所述系统可识别的格式属性信息为json格式属性信息。
22.优选的，所述数据属性信息包括数据存储路径和文件名称。
23.优选的，所述获取非结构化数据源文件计算源文件hash值，若所述源文件hash值与所述hash值一致的具体步骤包括：
24.获取非结构化数据源文件计算源文件hash值，将所述源文件hash值与所述hash值进行比对，返回比对结果，若结果一致，则发出非结构化数据信息，若结果不一致，则发出数据异常消息。
25.本发明一实施方式提供一种基于区块链非结构化数据存储、使用及审计的系统，包括：客户端、后台服务器、数据库模块及区块链平台，所述客户端与所述后台服务器连接，所述后台服务器还与所述数据库模块和所述区块链平台连接。需要说明的是，所述客户端用于上传、查询及下载非结构化数据信息，并且用于显示操作的结果，提供可视化操作模块；所述后台服务器则用于调控整个系统的操作，即进行非结构化数据信息存储、查询、加密、计算以及与区块链平台的连接；所述数据库模块用于起到存储的作用；所述区块链平台用于进行数据审计记录的保存和json格式属性信息的校验操作。
26.优选的，所述客户端包括上传接口、查询接口、校验接口及审计记录接口，所述上传接口、查询接口及校验接口分别与所述后台服务器连接，所述审计记录接口与所述区块链平台连接。
27.本发明相比于现有技术的优点及有益效果如下：
28.1、本发明为一种基于区块链非结构化数据存储、使用及审计的方法及系统，通过对非结构化数据独立存储并生成相同格式的属性信息，将其属性信息存储的区块链平台，做到了对不同类型的非结构化数据统一安全存储管理。
29.2、本发明利用查询区块链上存储的非结构化数据的属性信息，解析后可得到获取非结构化数据存储路径，也可根据解析后得到的hash值对非结构化数据进行防篡改校验，大大地提高了数据可信度。
30.3、本发明通过审计记录，可以使得区块链存储非结构化数据的完整操作记录。
附图说明
31.图1为本发明一实施方式的基于区块链非结构化数据存储、使用及审计的方法的流程图；
32.图2为本发明一实施方式的基于区块链非结构化数据存储、使用及审计的系统的功能模块图。
具体实施方式
33.为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施方式。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本发明的公开内容理解的更加透彻全面。
34.本技术涉及区块链技术领域、非结构化数据相关信息与区块链结合、非结构化数据源文件存储、安全校验及使用过程中的审计记录管理。
35.区块链作为具有去中心化、不可篡改、可追溯的安全平台技术，通过统一部署的智能合约，可对传输的数据进行处理并安全存储。但是对于复杂格式的非结构化数据，由于数据具有不规则、数据大小不确定等多种不确定性，对不同类型的非结构化数据统一管理很不方便，使用区块链技术对非结构化数据进行保护目前也缺少完善的使用流程和可视化审计系统。
36.区块链作为去中心化、不可篡改、可追溯、集体维护等特性的分布式账本形式的数据库，同时使用多种密码技术，保障了存储在区块链上的数据具有较高的安全性。区块链通过部署在链上的智能合约统一处理传递的数据参数，最终将处理后的数据存入区块链数据库中，便于用户实时、快速地检索链上数据。由于区块链使用了多种密码技术及安全策略对数据进行保护，并且需要使用智能合约对接收的数据统一处理，限制了区块链保存大文件及复杂类型数据的能力。伴随着数据安全问题逐渐迈入大众视野，各电子系统中关键数据需要依赖区块链技术提高数据安全性，当前的电子系统环境下，由于各系统的差异性存在关键数据格式不统一、存储方式不统一的问题，通过区块链中自定义智能合约处理可兼容不同格式的结构化数据，但是各系统中非结构化数据的不规则特性却不适合直接接入区块链，将非结构化数据转换为结构化数据需要付出相当大的时间和费用改造当前系统，且具有一定风险。因此设计了基于区块链非结构化数据存储、使用及审计的方法。
37.本发明提供了基于区块链非结构化数据存储、使用及审计的方法，包含基于区块链技术的非结构化数据存储、非结构化数据访问使用和非结构化数据审计三个部分，同时提供web前端页面查询、展示相关系统信息。
38.请参阅图1，一种基于区块链非结构化数据存储、使用及审计的方法，包括如下步骤：
39.上链步骤具体包括：
40.s100、接收非结构化数据信息，根据预置准入数据类型和数据大小，对所述非结构化数据信息进行校验，校验成功后，则保存非结构化数据信息；
41.需要说明的是，应用系统发送非结构化数据信息至后台服务器，所述后台服务器则根据预置准入数据类型和数据大小，校验非结构化数据信息是否符合规定，如果不合规，则想应用系统反馈失败原因，如果合规，则将非结构化数据信息进行本地保存。
42.s200、对所述非结构化数据信息计算hash值，并且获取文件信息，生成唯一数据id，并组装成系统可识别的格式属性信息；
43.需要说明的是，所述后台服务器则根据非结构化数据信息计算hash值，获取文件名、数据存储路径、数据大小、上传时间信息，并且生成唯一的数据id，再组装成json格式属性信息。
44.s300、发出预保存的所述文件信息、数据id以及格式属性信息，并且返回上链结果；
45.需要说明的是，所述后台服务器将数据id、hash值、文件名、数据大小及上传时间发送到数据库和区块链中，并且由数据库中进行保存，而区块链则校验json格式属性信息，并且补充上链时间字段，将json格式属性信息存储到区块链平台中，之后再发送上链完成的结果至后台服务器中，后台服务器再发送上链结果给应用系统，从而可以实现对非结构化数据信息上链保存操作。
46.下载步骤具体包括：
47.s400、接收下载非结构化数据信息请求，发送数据id，并且请求非结构化数据审计记录；
48.需要说明的是，客户端向后台服务器请求下载非结构化数据信息，后台服务器则接收下载请求，向区块链平台发送数据id，区块链平台则请求非结构化数据审计记录存储到区块链中。
49.s500、根据所述数据id获取非结构化数据属性信息并解析，获取非结构化数据源文件、数据属性信息及hash值；
50.需要说明的是，所述区块链平台再根据数据id查询非结构化数据信息完整属性信息和json格式属性信息，并且把非结构化数据信息发回给后台服务器，后台服务器则解析非结构化数据信息，获取数据存储路径、数据名称和hash值。
51.s600、获取非结构化数据源文件计算源文件hash值，若所述源文件hash值与所述hash值一致，则发出非结构化数据信息；
52.需要说明的是，后台服务器再获取非结构化数据原文件并且计算源文件hash值，源文件hash值与区块链返回的hash值进行校对，若校验数据一致，则后台服务器则发送非结构化数据信息给客户端，若校验数据不一致，则发送客户端提示数据异常信息。
53.审计步骤具体包括：
54.s700、针对所述上链步骤和所述下载步骤进行审计记录，并生成审计记录信息，保存所述审计记录信息。
55.需要说明的是，本发明提供安全审计服务，系统后台针对以上全部操作，会自定义生产操作日志并同步存储到区块链，保障操作记录安全存储，支持系统对非结构化数据安全审计。
56.所述下载步骤还包括：接收非结构化数据属性列表的请求，发出非结构化数据属性列表请求，并获取所述非结构化数据属性列表，通过显示客户端展示非结构化数据属性列表；
57.需要说明的是，客户端向后台服务器请求非结构化数据列表，后台服务器通过数据库查询非结构化数据列表，再返回给后台服务器，最后将非结构化数据列表发送给客户端进行显示或展示。
58.本发明的系统接口提供安全校验，系统会为用户分配专属身份识别组合key，用户在调用系统相关接口需附带传递分配的key作为身份校验，系统后台校验识别则过滤掉该请求。其中，本发明的系统可以是后台服务器。
59.请参阅图2，本系统非结构化数据管理提供非结构化数据上传服务，该服务提供非
结构化数据文件上传接口，该接口可供外部调用。该接口服务可根据各系统自身情况自定义开放、关闭指定的非结构化数据文件类型和非结构化数据文件大小，对于上传的非结构化数据进行初步筛选。后台接收到上传的非结构化数据文件经过筛选后，在文件存储服务器非结构化数据存储路径新建以16位长度随机字符串为名称的文件夹，并将该非结构化数据文件作为单一对象存储到新建的文件夹下。后台服务器将非结构化数据文件名称、数据大小、存储路径、运算得到该非结构化数据的hash值、上传时间等属性信息组装成统一的结构化数据通过调用区块链上链接口存储到区块链上，上链成功后返回该非结构化数据的唯一数据id。
60.本系统提供非结构化数据文件属性信息查询接口，用户调用该接口输入上传非结构化数据返回的数据id，后台服务器调用区块链智能合约查询方法并传递数据id值，智能合约读取到链上存储的非结构化数据属性信息后反馈给后台服务器，最终将查询结果返回给用户。
61.本系统提供非结构化数据校验接口，用户调用该接口输入上传非结构化数据返回的数据id，后台服务器调用区块链智能合约查询方法并传递数据id值，智能合约读取到链上存储的非结构化数据属性信息后反馈给后台服务器，后台服务器通过解析返回参数得到该非结构化数据文件存储路径、名称、大小、源文件hash值，后台服务器通过运算非结构化数据源文件hash值并比对，返回给用户比对结果，比对一致则说明数据安全一致，否则则说明数据异常。
62.本发明依赖区块链技术，封装区块链常用的存储、查询接口，通过调用智能合约相关方法接口上传、查询参数，并开发可视化可交互的区块链管理系统，同时结合非结构化数据生成的指定格式的属性信息，将非结构化数据源文件存储到服务器指定位置，将非结构化数据的属性信息通过智能合约统一上链存储，并对非结构化数据的生命周期进行安全审计。从而开发出基于区块链非结构化数据存储、使用及审计的技术方法和配套的可视化管理系统，即客户端，可以进行可视化管理操作。
63.本发明通过非结构化数据源文件，可得到非结构化数据hash值、非结构数据文件名、非结构数据文件大小、非结构数据文件存储路径相关属性信息。利用非结构化数据得到的相关属性信息可对非结构化数据进行唯一性关联，在存储非结构化数据时，可通过非结构化数据属性信息作为检索索引。
64.本发明提供非结构化数据上传接口，系统在接收到非结构化数据源文件时通过软算法生成16位长度的不重复的随机字符串，将使用该字符串生成相同名称的文件夹并将该文件夹作为非结构化数据存储路径，非结构化数据存储到该指定路径，保证单个非结构化数据文件拥有一一对应的存储路径，便于非结构化数据源文件保存、查询、管理。
65.本发明针对非结构化数据存储，在区块链中部署的智能合约，智能合约提供相关非结构化数据属性信息上传和查询接口，提供非结构化数据属性信息上传接口，传入非结构化数据属性信息、存储非结构化数据属性信息的方法名，对传入的属性信息进行数据格式清洗(生成该数据一一对应的不可重复的32位随机数作为唯一数据id)，并将清洗后的属性信息保存到区块链，存储成功后返回成功标识和交易号；提供非结构化数据审计记录接口，用于传入非结构化数据审计信息、存储非结构化数据审计信息的方法名，对传入的审计数据进行数据格式清洗(生成该数据一一对应的不可重复的32位随机数作为唯一数据id)，
并将清洗后的审计数据保存到区块链，存储成功后返回成功标识和交易号；提供链上数据查询接口，传入数据唯一数据id查询区块链上存储的源数据，返回从区块链上查询到的结果。通过以上接口可将非结构化数据属性数据和审计数据存储到区块链，为非结构化数据的生命周期全流程管理提供技术支持。
66.本发明针对存储到本系统的非结构化数据的使用，为保障请求的非结构化数据的安全可信，在通过接口请求非结构化数据源文件时，需要传入非结构化数据的唯一数据id，通过区块链智能合约查询接口查询非结构化数据的存储路径、hash值等信息，再通过运算存储路径下文件得到的hash值和链上存储的hash值进行比对，比对结果一致则证明查询到的非结构化数据文件和上传时源文件一致，证明非结构化数据的可信性，并将非结构化数据源文件返回给请求方；如果hash值的比对结果不一致，则说明系统存储的非结构化数据已损坏且不可信，同时向请求方返回数据不可信信息。同时将该访问记录的审计信息上传到区块链，保障链上非结构化数据的访问记录安全存储。
67.本发明通过web可视化技术，对区块链上数据进行可视化管理，通过前端人性化设计，使用中可直接通过前端页面查看到已通过区块链保护的非结构化数据相关属性信息，如非结构化数据文件名称、大小、保存路径、文件hash值、上传日期、变更日期等信息；可通过前端页面看到非结构化数据访问记录，如访问人姓名、被访问非结构化数据名称、被访问非结构化数据hash值、访问时间等关键信息。
68.web前端设计部分，展示链上存储的非结构化数据属性信息列表及操作类型，属性信息包含名称、数据大小、上传时间、hash值、非结构化数据id，操作类型有“校验”和“下载”操作(支持从页面点击按钮校验、下载非结构化数据)。以上信息以列表展示。另外展示非结构化数据审计记录，该页面展示系统中全部非结构化数据上传、校验、查询、下载操作记录。提供对应的web管理页面，提升用户对系统的监控能力，优化用户体验。
69.针对非结构化数据格式不规则的特点，难以对不同类型的非结构化数据进行合理、统一的管理。本发明对非结构化数据提取相同结构的属性信息，通过提取到的属性信息可作为索引对非结构化数据进行检索管理，并将提取到的信息组装成json格式字符串并存储区块链平台，依赖区块链防篡改和可溯源等一系列的安全特性，在解决不同系统间非结构化数据难以统一管理的同时，也极大地提高了数据可信度。此外由于当前区块链性能的限制，暂时不适合存储大型数据，此发明可解决该问题，在不影响区块链性能限制条件下同时又依赖区块链保障了不规则、数据空间大等特点非结构化数据安全存储。
70.本发明为了进一步加强本系统中非结构化数据可信度，设计了非结构化数据源文件核验功能，涉及一定的密码运算技术。
71.本发明中设计了非结构化数据审计记录的功能，系统后台会自定义上传审计记录到区块链平台，提高了非结构化数据审计能力同时也降低了审计成本，本模块设计使用了系统自定义任务。
72.以上所述实施方式仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。