本发明涉及大数据领域，具体涉及一种基于图像处理的大数据分析方法及系统。
背景技术：
神经网络主要原理是通过大量样本训练得到训练模型，通过训练模型对其他同类数据样本进行自适应处理。其近些年来被用在各方面广泛研究，比如计算机视觉、地质演算领域等。为了获得更加准确的训练模型，就需要更多的基础数据样本，大类数据库中可能会细分小类的数据，如果小类数据库中的数据样本不足，必然导致神经网络训练的发展受限制，比如获得小型客车样本，在小型客车样本中细分为灰色小型客车样本，如果小型客车样本数据集不够充足，必然神经网络训练灰色小型客车的就很难实现或者数据集过少训练结果价值低。现在的数据样本库部分是开放的，但是整体来说，基础数据库的样本数据库种类不齐全且样本数量有限。基础样本数据库大多是通过人工标注的，其费时费力，导致样本数据库很难获得，进一步地限制了基础样本数据库的继续扩充。有限的样本数据库一定程度上限制了神经网络技术的进一步发展。目前大多研究是针对神经网络技术方面的研究，但是甚少关注神经网络数据库样本的研究。
技术实现要素：
本发明的目的在于：针对现有技术中图像处理数据库扩展难度大的问题，本发明提供了一种基于图像处理的大数据分析方法及系统。
本发明采用的技术方案如下：
本发明实施例一方面提供了一种基于图像处理的大数据分析方法，包括：
由节点对第一图像数据分类得到第二图像数据；
由所述节点判断所述第二图像数据的合法性；
由节点发送所述合法的第二图像数据；
接收合法的第二图像数据并根据合法的第二图像数据写入区块链，所述区块链包含由所述第二图像数据组成的样本数据集；
节点同步区块链并获得所述样本数据集。
本发明实施例可能的一个设计中，判断第二图像数据的合法性，具体为：若合法，则节点获得奖励，根据合法的第二图像数据写入区块链；若不合法，节点拒绝发送不合法的第二图像。
本发明实施例可能的一个设计中，对第一图像数据分类得到第二图像数据，具体包括：
存储分类器至节点；
由分类器对第一图像数据分类得到第二图像数据，所述第二图像数据包含所述第一图像数据的分类信息。
本发明实施例可能的一个设计中，优选地，所述第二图像数据包括图像数据索引或图像基本信息。
本发明实施例可能的一个设计中，所述图像数据索引为图像数据链接、图像数据磁力链接或种子中的一种或多种；所述第二图像数据包括第一图像数据信息、第一图像数据的分类信息。
本发明实施例可能的一个设计中，所述图像基本信息包括图像大小和图像分辨率。
本发明实施例可能的一个设计中，所述的判断所述第二图像数据的合法性是指第二图像是否满足预设条件。
本发明实施例可能的一个设计中，所述预设条件包括预设图像基本信息。
本发明实施例另一方面提供了一种基于图像处理的大数据分析系统,包括：数据库和服务器，服务器至少三个，且三个或三个以上的服务器都运行相同区块链客户端；
服务器：包括分类器、第一发送模块和判断模块，所述分类模块对第一图像数据分类得到第二图像数据，所述判断模块，判断所述第二图像数据的合法性；
数据库：包括接收模块、第二发送模块和存储模块，所述接收模块接收所述第一发送模块发送的所述第二图像数据，所述存储模块存储合法的所述第二图像数据，所述第二发送模块将合法的所述第二图像数据发送至服务器。
本发明实施例可能的一个设计中，优选地，所述服务器还包括参数模块、计时模块和计算模块；所述参数模块用于设置奖励参数，所述计算模块用于计算当前服务器的贡献值，所述计时模块用于记录所述服务器的参与区块时间。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明的一个实施例利用区块链技术建立图像处理数据库，建立了一个去中心化的不可篡改性的图像处理数据库，同时各个用户节点可以参与图像处理数据库的建立，扩展了图像处理数据集，同时各个节点参与者可以实时同步图像处理数据集，从而使得整个图像处理数据样本数据集开放，促进了神经网络训练技术的发展；
2、本发明的实施例利用奖励机制，使得参与节点为图像处理做出贡献者可以获得相应的奖励，从而增加了节点参与的积极性，进一步地扩展了图像处理数据集的扩充；
3、本发明的实施例利用索引对图像进行存储，解决了在海量图像在区块链中存储空间占用过大的问题，进而使得各个节点的同步时间短且各个节点同步耗费的存储空间小。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本发明的主旨。
图1是本发明实施例的流程图；
图2是本发明实施例的系统模块图；
图3是本发明实施例的分类器API的编译流程图；
附图标记：100-服务器；110-分类器；120-判断模块；130-第一发送模块；140-参数模块；150-计时模块；160-计算模块；200-数据库；210-第二发送模块；220-存储模块；230-接收模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的主要思路是：
由节点对第一图像数据分类得到第二图像数据，由所述节点发送所述第二图像数据；
判断所述第二图像数据的合法性，接收合法的第二图像数据并根据合法的第二图像数据写入区块链，所述区块链包含由所述第二图像数据组成的样本数据集，节点同步区块链并获得所述样本数据集；本同时提供了与之对应的系统；本发明主要利用区块链技术建立图像处理数据库，建立了一个去中心化的不可篡改性的图像处理数据库，同时各个用户节点可以参与图像处理数据库的建立，扩展了图像处理数据集，同时各个节点参与者可以实时同步图像处理数据集，从而使得整个图像处理数据样本数据集开放，促进了神经网络训练技术的发展。
实施例一
本实施例主要提供了一种基于图像处理的大数据分析方法的具体例子，包括以下步骤：
由节点对第一图像数据分类得到第二图像数据；
其中所述节点主要包括各个用户基于相同区块链运行的虚拟程序，通常这类虚拟程序可以在有计算能力的设备上运行，比如电脑或者显卡与主板的组合体，节点的虚拟程序可以实现对第一图像数据进行分类，分类可以在节点中直接存储分类规则来实现，也可以在节点中存储分类器，分类器通常是已经训练好的大类分类器或者定向分类器，具体分类器的选择根据最后需要的样本数据集来决定，当然分类器是需要提前训练好供节点运行程序使用；
以BP神经网络分类器为例，其获得过程主要包括：(1)输入模式由输入层经隐含层向输出层传播计算；(2)输出的误差由输出层经隐含层传向输入层；(3)模式顺序传播与误差逆传播的计算过程反复交替循环进行；(4)判定全局误差是否趋向极小值；
当然分类器可以直接编译进入节点，也可以通过API接口形式供节点调用；
由所述节点判断所述第二图像数据的合法性；
节点的虚拟程序对第一图像分类之后，节点的分类器或者是节点调用的分类器信息对第二图像进行合法性判断；
由节点发送所述合法的第二图像数据；
如果合法，则节点将合法的第二图像数据发送出去；
接收合法的第二图像数据并根据合法的第二图像数据写入区块链，所述区块链包含由所述第二图像数据组成的样本数据集；
把合法的第二图像数据写入相对于的区块链中去，节点参与者也可以实时同步节点获得区块链中包含的样本数据集；
本实施例利用区块链技术建立图像处理数据库，建立了一个去中心化的不可篡改性的图像处理数据库，各个节点参与者可以实时同步和扩充图像处理数据集，从而扩展了整个图像处理数据样本数据集，促进了神经网络训练技术的发展。
实施例二
在上述实施例一方法的基础上，第一图像数据(比如1M，250P)为图像基本信息，图像基本信息包括比如图像大小和图像分辨率；其中1M表示图像大小，250P表示图像分辨率；
比如节点调用了汽车分类器程序，那么节点上的汽车分类器会对第一图像数据(1M，250P)进行初步分类得到第二图像数据，比如第一图像数据经过分类器之后训练得到第一图像数据属于汽车，那么进一步获得了第二图像数据(包含了第一图像数据以及第一图像数据的分类信息，即1M，250P，属于汽车)；
由所述节点再判断所述第二图像数据的合法性，合法性主要是是指第二图像数据是否满足预设条件，这里的预设条件可以是图像大小，图像类别或者图像分辨率等，比如该节点运行的虚拟程序所包含的预设条件为图像大小大于2M，很明显第二图像数据的大小不合法，所以第二图像数据将会被节点拒绝，无法发送出去；如果该节点运行的虚拟程序包含的预设条件为图像大小大于或等于1M，显然第二图像数据大小合法，则节点会将合法的第二图像数据写入区块链，合法的第二图像数据会建立并实时更新对应的区块，所述区块中自然包含了众多的合法的第二图像数据，节点中也会实时的同步和更新数据库。
本实施例中的利用预设条件进一步地判断第二图像数据的合法性，从而进一步地筛选了图像数据，同时预设条件可以根据用户自己设置，从而可以获得了不同类型的数据库，换言之，在大的分类器的限制作用下，可以进一步地获得其他条件限制的数据库，这对于扩展神经网络数据库有重要意义。
实施例三
在实施例二所述方法的基础上，针对分类器以通过API接口形式供节点调用进行详细说明。
结合图3所示，详细说明分类器API的编译流程：
(1)输入神经网络函数，神经网络函数定义了神经网络训练参数，其中神经网络训练参数包括(图像大小，图像分辨率，时间戳)，当然本实施例只是举例说明，具体选用的参数根据实际情况而定；
(2)根据神经网络存储部分调用存储的运算对象函数，运算对象函数定义运算对象结合神经网络参数从而构建神经网络模型；
(3)调用神经网络编译函数(ANeuralNetworksCompilation_create())对神经网络模型进行编译；
(4)编译之后，调用神经网络执行函数，神经网络执行函数运行神经网络，并在执行的同时从神经网络存储中调用输入执行函数输入值，同时输出值，输出值再输入至输出执行函数，过程中的值均反馈值神经网络存储；
(5)执行完成之后，调用神经网络估算函数，最后生成编译后的神经网络API。
其中，神经网络训练参数应当包含第一图像数据，神经网络在执行过程的同时进行编译。
实施例四
在实施例一所述方法的基础上，本实施例第二图像数据采用的是图像数据索引，即在第一图像数据分类得到第二图像数据，且节点判断了第二图像数据合法之后，此时合法的第二图像数据直接以索引的方式写入区块链中。其中索引可以理解为最小单位的图像存储形式，包括但不限于链接、磁力链接或种子中的一种；本实施例中采用的是第二图像数据采用的是图像数据索引，本实施例解决了在海量图像在区块链中存储空间占用过大的问题，进而使得各个节点的同步时间短且各个节点同步耗费的存储空间小。
实施例五
在实施例三所述方法的基础上，本实施例在节点中加入奖励机制，当节点做出贡献(即上传了合法的第二图像数据时)，就可以获得一定的奖励。其获得奖励量根据节点中运行虚拟程序进行决定。
奖励机制规定举例说明：
Type:Photo excitation(类型：图像激励)
Algo:Equihash(算法：均衡哈希算法)
Max supply:10，0000，0000Coins(最大供应量：10，0000，0000个币)
Current supply:10Coins every 2.5minutes(货币供应：每2.5分钟出10个币)
Current block size is similar to BCC/BCH(Photo excitation＝2MB every 2.5mins～BCC/BCH＝10MB every 10min)(每个区块最大存储量)
Tech:Photo cash(货币种类：图像货币)
本实施例中的奖励机制适用于实施例三中的第二图像数据以索引方式写入的情况，当第二图像数据以直接的图像数据存储的时候，区块对应的奖励机制会相应的变化。比如用户A在2.5分钟内(忽略其他用户的时候)上传了10M的大小的第二图像数据的索引的时候，系统则会生成一个区块，该区块对应的所有奖励将会归为用户A，依次类推。
本实施例中提供了一种参与节点的奖励机制，节点参与可以获得相应的奖励，从而可以以鼓励用户参与的积极性，使得众多用户参与至神经网络数据训练的数据库扩展上。
实施例六
在实施例一至四的基础上，本实施例从另一方面提供了一种基于图像处理的大数据分析系统，结合图2进行说明，本实施例的大数据分析系统包括数据库200和服务器100：
服务器100：包括分类器110、判断模块120和第一发送模块130；
数据库200：包括接收模块230、存储模块220和第二发送模块210；
其中分类器110对第一图像数据进行分类得到第二图像数据，分类器110对图像处理之后再由判断模块120进行判断，判断第二图像数据是否合法，若合法则将第二图像数据发送至数据库200；
数据库200中的接收模块230接收到合法的第二图像数据，存储模块220存储合法的第二图像数据；
当服务器100请求同步的时候，数据库200中的第二发送模块210可以将包含第二图像数据的数据集进行同步，从而获得数据库200中的图像数据。
实施例六
在实施例五的基础上，本实施例提供了一种基于图像处理的大数据分析系统，服务器100还包括参数模块140、计时模块150和计算模块160，参数模块140用于设置奖励参数，计算模块160用于计算当前服务器的贡献值，所述计时模块150用于记录所述服务器的参与区块时间。
实施例七
本实施例基于上述任一实施例的基础上，对于本发明可能的一个设计可读介质进行说明：
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本发明的存储介质其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在服务器设备上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。