图像处理方法、装置及计算机可读存储介质与流程

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。

背景技术：

随着科技的发展，现代的医疗水平也越来越高，人们通常利用医学图像对疾病进行研究与判断，如，可以通过眼前节光学相干断层扫描成像(as-oct)技术来扫描得到灰度眼前节oct图像，通过对所述灰度眼前节oct图像的分析，来判断眼角膜的健康状况等，而为了做出精确的判断，需要对所述灰度眼前节oct图像进行图像处理，得到清晰的细节丰富，无损耗的图像。

但目前现有的关于图像处理的方法大多采用传统图像处理方法，根据图像中纹理或灰度信息，采用形态学操作或图论的方法进行角膜层组织的识别，造成处理后的图像中角膜组织层次的边界产生模糊或缺失，导致得到的识别图像的质量较低。

技术实现要素：

本发明提供一种图像处理方法、装置、电子设备及计算机可读存储介质，其主要目的在于提供一种图像处理方法，能够获得高质量的图像。

为实现上述目的，本发明提供的一种图像处理方法，包括：

获取原始图像，对所述原始图像进行编码处理，得到编码图像；

对所述编码图像进行逐级下采样，得到特征图像集，所述特征图像集包含多张不同尺寸的细节特征图像；

对所述特征图像集中的细节特征图像进行逐级上采样，得到还原特征图像集；

建立跳跃连接通道，利用所述跳跃连接通道将所述特征图像集中的细节特征图像传递至所述还原特征图像集，并利用卷积操作将所述细节特征图像和所述还原特征图像集进行融合，得到细节图像集；

将所述细节图像集中的多张图像利用特征金字塔操作进行特征融合，得到识别图像。

可选地，所述利用所述跳跃连接通道将所述特征图像集中的细节特征图像传递至所述还原特征图像之前，所述方法还包括：

计算边界损失函数值，所述边界损失函数用于对利用所述跳跃连接通道传递细节特征图像的传递过程进行约束。

可选地，所述计算边界损失函数值包括：

分别对所述特征图像集中任一细节特征图像的前景区域和背景区域进行池化操作，得到池化结果；

将所述池化结果相乘获得目标边界；

计算所述细节特征图像与目标边界重叠度，得到边界损失函数值。

可选地，所述将所述细节图像集中的多张图像利用特征金字塔操作进行特征融合，得到识别图像，包括：

将所述细节图像集中的多张图像依次输入至所述特征金字塔的不同层级；

利用所述特征金字塔中映射通道将所述特征金字塔中较高层级的图像逐层向下映射至所述特征金字塔最底层的图像中，对映射后所述特征金字塔底层的多张映射图像进行特征融合，得到所述识别图像。

可选地，所述对所述编码图像进行逐级下采样，得到特征图像集，包括：

对所述编码图像中的像素点进行卷积处理和池化处理；

基于卷积处理和池化处理得到的细节特征图像再次进行卷积处理和池化处理；

汇集每次卷积处理和池化处理得到的细节特征图像，得到特征图像集。

可选地，所述对所述特征图像集中的细节特征图像进行逐级上采样，得到还原特征图像集，包括：

对所述图像特征集中的细节特征图像进行反卷积处理，得到反卷积图像集；

将所述反卷积图像集中反卷积图像的像素进行解码处理，得到还原特征图像集。

为了解决上述问题，本发明还提供一种图像处理装置，所述装置包括：

图像编码模块，用于获取原始图像，对所述原始图像进行编码处理，得到编码图像；

逐级下采样模块，用于对所述编码图像进行逐级下采样，得到特征图像集，所述特征图像集包含多张不同尺寸的细节特征图像；

逐级上采样模块，用于对所述特征图像集中的细节特征图像进行逐级上采样，得到还原特征图像集；

细节融合模块，用于建立跳跃连接通道，利用所述跳跃连接通道将所述特征图像集中的细节特征图像传递至所述还原特征图像集，并利用卷积操作将所述细节特征图像和所述还原特征图像集进行融合，得到细节图像集；

特征融合模块，用于将所述细节图像集中的多张图像利用特征金字塔操作进行特征融合，得到识别图像。

可选地，所述特征融合模块具体用于：

将所述细节图像集中的多张图像依次输入至所述特征金字塔中；

利用所述特征金字塔中映射通道将所述特征金字塔中较高层级的细节图像映射至下一层的细节图像中；

当所有细节图像均被映射至所述特征金字塔最底层的细节图像中后，对映射后的细节图像进行特征融合，得到所述识别图像。

为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的图像处理方法。

为了解决上述问题，本发明还提供一种计算机可读存储介质，包括存储数据区和存储程序区，存储数据区存储根据区块链节点的使用所创建的数据，存储程序区存储有计算机程序；其中，所述计算机程序被处理器执行时实现如上所述的图像处理方法。

本发明实施例获取原始图像，对所述原始图像进行编码处理，得到编码图像；对所述编码图像进行逐级下采样，得到特征图像集，所述特征图像集包含多张不同尺寸的细节特征图像；对所述特征图像集中的细节特征图像进行逐级上采样，得到还原特征图像集；建立跳跃连接通道，利用所述跳跃连接通道将所述特征图像集中的细节特征图像传递至所述还原特征图像集，并利用卷积操作将所述细节特征图像和所述还原特征图像集进行融合，得到细节图像集；将所述细节图像集中的多张图像利用特征金字塔操作进行特征融合，得到识别图像。通过对编码图像进行逐级下采样，可逐渐提取到图像的特征，保证原始图像中特征的完整性；通过建立跳跃连接通道，使得逐级上采样过程中无法恢复的图像细节可直接从特征图像集中获取，保证图像处理后可得到清晰的细节丰富，无损耗的图像。因此本发明提出的图像处理方法、装置及计算机可读存储介质，可以实现获得高质量的图像的目的。

附图说明

图1为本发明一实施例提供的图像处理方法的流程示意图；

图2为本发明一实施例提供的图像处理装置的模块示意图；

图3为本发明一实施例提供的实现图像处理方法的电子设备的内部结构示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本申请实施例提供的图像处理方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述图像处理方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。

区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。

区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。

本发明提供一种图像处理方法。参照图1所示，为本发明一实施例提供的图像处理方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。

在本实施例中，图像处理方法包括：

s1、获取原始图像，对所述原始图像进行编码处理，得到编码图像。

本发明实施例中，所述原始图像可以为灰度眼前节oct图像，所述灰度眼前节oct图像是通过对角膜进行光学相干断层扫描(oct)生成的。

本发明一优选实施例中，所述灰度眼前节oct图像可存储于区块链节点中。

具体地，本发明可利用预先编辑好的java语句从一个或多个区块链节点中调用所述灰度眼前节oct图像，该区块链节点用于存储多个灰度眼前节oct图像。

进一步的，在本发明一优选实施例中，采用预构建的卷积神经网络中的编码层对编码层对原始图像进行编码处理，得到编码图像。

s2、对所述编码图像进行逐级下采样，得到特征图像集，所述特征图像集包含多张不同尺寸的细节特征图像。

在本实施例中，对编码图像进行逐级下采样包括对编码图像进行多次特征提取操作，得到特征图像集。

在具体实施时，可以基于前一次的下采样结果再次进行下采样。由于每次对上一次获得的特征图像进行下采样，因此，获得的细节特征图像的尺寸越来越小，虽然含有的图像细节越来越少，但含有的图像特征越来越具有代表性。

详细地，所述将所述编码图像进行逐级下采样，得到特征图像集，包括：

对所述编码图像中的像素点进行卷积处理和池化处理；

基于卷积处理和池化处理得到的细节特征图像再次进行卷积处理和池化处理；

汇集每次卷积处理和池化处理得到的细节特征图像，得到特征图像集。

本实施例中，对所述编码图像中的像素点进行卷积处理和池化处理包括：对所述编码图像中的像素点进行卷积处理，并对卷积处理后的卷积图像进行池化处理。进行池化处理时，可将卷积处理得到的卷积图像中的像素进行选择性采样，以获取卷积图像中的特征像素。在对编码图像中的像素点进行卷积处理和池化处理之后，得到细节特征图像。

在具体实施时，可以多次执行基于卷积处理和池化处理得到的细节特征图像再次进行卷积处理和池化处理的操作。即对编码图像中的像素点进行卷积处理和池化处理之后，若得到第一细节特征图像，基于第一细节特征图像进行进行卷积处理和池化处理，得到第二细节特征图像，再基于第二细节特征图像进行进行卷积处理和池化处理，得到第三细节特征图像，依次类推，可以得到多张细节特征图像。

优选的，本发明一实施例中，进行四次下采样操作，得到四张细节特征图像。

本发明对编码图像中的不同像素点的编码进行卷积再进行池化操作，通过卷积操作，能够减少编码图像中像素点的数目，提高池化操作的效率，使得特征提取过程占用更少的计算资源且更高效。

s3、对所述特征图像集中的细节特征图像进行逐级上采样，得到还原特征图像集。

具体地，本发明实施例将特征图像集中的多张(如四张)细节特征图像分别进行逐级上采样，得到还原特征图像集，所述还原特征图像集包含多张(如四张)还原特征图。

本发明实施例在逐级上采样时通过反卷积处理来恢复特征图像集在获取过程中丢失的图像信息，所述图像信息包括但不限于空间信息与边缘信息。由此，低分辨率的特征图像集最终会输出为高分辨率的反卷积图像。

进一步的，在本发明一优选实施例中，利用预构建的卷积神经网络中的解码层进行逐级上采用。进一步地，从特征图像集中上采样得到的多个还原特征图，包含了原始图像的图像特征，如角膜边界图像特征，非角膜边界的图像特征等，因此，本发明对特征图像集上采样得到的多个还原特征图的还原精度进行约束，保证上采样得到的还原特征图像中特征的准确性。

较佳地，本发明利用如下dice损失函数对所述特征图像集上采样得到的多个还原特征图像的还原精度进行约束：

其中，为损失值，y为所述还原特征图像集中任一还原特征图像，为预设的标准还原图像，c为所述还原特征图像集中还原特征图像的个数，s为误差因子。

其中，所述标准还原图像是由预设的带标签的还原图像组成，可以从图像数据库中获取。

通过损失函数获得所述损失值后，将所述损失值与预设的损失阈值进行对比，若所述损失值大于或等于所述损失阈值，则说明所述所述还原结果不精确，需重新进行图像还原；若所述损失值小于所述损失阈值，则说明所述还原结果精确，直接输出所述还原特征图像集。

s4、建立跳跃连接通道，利用所述跳跃连接通道将所述特征图像集中的细节特征图像传递至所述还原特征图像集，并利用卷积操作将所述细节特征图像和所述还原特征图像集进行融合，得到细节图像集。

本发明实施例中，所述跳跃连接通道是一种连接通道。

由于在卷积过程中，随着卷积的次数越来越多，细节特征图像中保留的图像细节会越来越少，为了进一步获取更丰富的图像细节，在不同图像集合的对应层级之间建立的一种特殊连接。通过利用跳跃连接通道将特征图像集中的细节特征图像传递到还原特征图像集中，能够进一步丰富还原特征图像集中图像的图像细节。

进一步的，在本发明另一可选实施例中，所述利用所述跳跃连接通道将所述特征图像集中的细节特征图像传递至所述还原特征图像之前，所述方法还包括：

计算边界损失函数值，所述边界损失函数用于对利用所述跳跃连接通道传递细节特征图像的传递过程进行约束。

进一步地，所述计算边界损失函数值包括：

分别对所述特征图像集中任一细节特征图像的前景区域和背景区域进行池化操作，得到池化结果；

将所述池化结果相乘获得目标边界；

计算所述细节特征图像与目标边界重叠度，得到边界损失函数值。

较佳地，本发明实施例中，所述前景区域是所述灰度眼前节oct图像中角膜内的图像区域，所述背景区域是所述灰度眼前节oct图像中角膜外的图像区域。

详细地，所述边界损失函数如下：

btissue(y)＝p(y,3)×p(1-y,3)

其中，ledge为边界损失函数值，btissue(y)为目标边界，y为所述前景区域，1-为所述背景区域，为所述特征图像集，为所述特征图像集中的细节特征图像。

进一步地，当所述细节特征通过所述跳跃连接通道传递到所述还原特征集后，本发明将所述细节特征和所述还原特征集进行进行卷积操作，以实现细节融合，得到所述细节图像集。

s5、将所述细节图像集中的多张图像利用特征金字塔操作进行特征融合，得到识别图像。

本发明实施例通过fpn(featurepyramidnetwork，特征提取网络)构建特征金字塔，利用所述特征金字塔对所述细节图像集中的细节图像进行特征融合，得到识别图像。

所述fpn是指构建从底向上的通道(bottom-uppathway)、从顶向下的通道(top-downpathway)和横向连接通道(lateralconnection)。其中，从底向上的通道、从顶向下的通道和横向连接通道是指特征金字塔中图像特征传递的路径。

优选的，本发明实施例中，所述特征金字塔包含四个层级，分别用于存放不同尺寸的细节图像。

通过所述特征金字塔，可以实现利用所述映射通道对不同尺寸的细节图像进行逐层映射，保证映射过程中细节图像中包含的信息不会丢失。

进一步的，在本发明一优选实施例中，利用预构建的卷积神经网络中的融合层进行特征融合。

详细地，所述将所述细节图像集中的多张图像利用特征金字塔操作进行特征融合，得到识别图像，包括：

将所述细节图像集中的多张图像依次输入至所述特征金字塔的不同层级；

利用所述特征金字塔中映射通道将所述特征金字塔中较高层级的图像逐层向下映射至所述特征金字塔最底层的图像中，对映射后所述特征金字塔底层的多张映射图像进行特征融合，得到所述识别图像。

由于特征金字塔高层中的图像经历过较多次的卷积和池化操作，导致图像的分辨率比较低，但含有的图像特征更明显；所述特征金字塔低层的图像因为卷积和池化操作的次数较少，因此所述细节图像的分辨率比较高，拥有更多的图像细节，但含有的图像特征不明显，因此利用所述特征金字塔将不同尺寸的细节图像逐层映射，保证了最终识别图像的精确性。

本发明实施例中，获取原始图像，对所述原始图像进行编码处理，得到编码图像；对所述编码图像进行逐级下采样，得到特征图像集，所述特征图像集包含多张不同尺寸的细节特征图像；对所述特征图像集中的细节特征图像进行逐级上采样，得到还原特征图像集；建立跳跃连接通道，利用所述跳跃连接通道将所述特征图像集中的细节特征图像传递至所述还原特征图像集，并利用卷积操作将所述细节特征图像和所述还原特征图像集进行融合，得到细节图像集；将所述细节图像集中的多张图像利用特征金字塔操作进行特征融合，得到识别图像。通过对编码图像进行逐级下采样，可逐渐提取到图像的特征，保证原始图像中特征的完整性；通过建立跳跃连接通道，使得逐级上采样过程中无法恢复的图像细节可直接从特征图像集中获取，保证图像处理后可得到清晰的细节丰富，无损耗的图像，从而实现获得高质量的图像的目的。

如图2所示，是本发明图像处理装置的模块示意图。

本发明所述图像处理装置100可以安装于电子设备中。根据实现的功能，所述图像处理装置可以包括图像编码模块101、逐级下采样模块102、逐级上采样模块103、细节融合模块104和特征融合模块105。本发所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。

在本实施例中，关于各模块/单元的功能如下：

所述图像编码模块101，用于获取原始图像，对所述原始图像进行编码处理，得到编码图像；

所述逐级下采样模块102，用于对所述编码图像进行逐级下采样，得到特征图像集，所述特征图像集包含多张不同尺寸的细节特征图像；

所述逐级上采样模块103，用于对所述特征图像集中的细节特征图像进行逐级上采样，得到还原特征图像集；

所述细节融合模块104，用于建立跳跃连接通道，利用所述跳跃连接通道将所述特征图像集中的细节特征图像传递至所述还原特征图像集，并利用卷积操作将所述细节特征图像和所述还原特征图像集进行融合，得到细节图像集；

所述特征融合模块105，用于将所述细节图像集中的多张图像利用特征金字塔操作进行特征融合，得到识别图像。

详细地，所述图像中文本内容提取生成装置各模块的具体实施方式如下：

所述图像编码模块101，用于获取原始图像，对所述原始图像进行编码处理，得到编码图像。

本发明实施例中，所述原始图像可以为灰度眼前节oct图像，所述灰度眼前节oct图像是通过对角膜进行光学相干断层扫描(oct)生成的。

本发明一优选实施例中，所述灰度眼前节oct图像可存储于区块链节点中。

具体地，本发明可利用预先编辑好的java语句从一个或多个区块链节点中调用所述灰度眼前节oct图像，该区块链节点用于存储多个灰度眼前节oct图像。

进一步的，在本发明一优选实施例中，采用预构建的卷积神经网络中的编码层对编码层对原始图像进行编码处理，得到编码图像。

所述逐级下采样模块102，用于对所述编码图像进行逐级下采样，得到特征图像集，所述特征图像集包含多张不同尺寸的细节特征图像。

在本实施例中，对编码图像进行逐级下采样包括对编码图像进行多次特征提取操作，得到特征图像集。

在具体实施时，可以基于前一次的下采样结果再次进行下采样。由于每次对上一次获得的特征图像进行下采样，因此，获得的细节特征图像的尺寸越来越小，虽然含有的图像细节越来越少，但含有的图像特征越来越具有代表性。

详细地，所述将所述编码图像进行逐级下采样，得到特征图像集，包括：

对所述编码图像中的像素点进行卷积处理和池化处理；

基于卷积处理和池化处理得到的细节特征图像再次进行卷积处理和池化处理；

汇集每次卷积处理和池化处理得到的细节特征图像，得到特征图像集。

本实施例中，对所述编码图像中的像素点进行卷积处理和池化处理包括：对所述编码图像中的像素点进行卷积处理，并对卷积处理后的卷积图像进行池化处理。进行池化处理时，可将卷积处理得到的卷积图像中的像素进行选择性采样，以获取卷积图像中的特征像素。在对编码图像中的像素点进行卷积处理和池化处理之后，得到细节特征图像。

在具体实施时，可以多次执行基于卷积处理和池化处理得到的细节特征图像再次进行卷积处理和池化处理的操作。即对编码图像中的像素点进行卷积处理和池化处理之后，若得到第一细节特征图像，基于第一细节特征图像进行进行卷积处理和池化处理，得到第二细节特征图像，再基于第二细节特征图像进行进行卷积处理和池化处理，得到第三细节特征图像，依次类推，可以得到多张细节特征图像。

优选的，本发明一实施例中，进行四次下采样操作，得到四张细节特征图像。

本发明对编码图像中的不同像素点的编码进行卷积再进行池化操作，通过卷积操作，能够减少编码图像中像素点的数目，提高池化操作的效率，使得特征提取过程占用更少的计算资源且更高效。

所述逐级上采样模块103，用于对所述特征图像集中的细节特征图像进行逐级上采样，得到还原特征图像集。

具体地，本发明实施例将特征图像集中的多张(如四张)细节特征图像分别进行逐级上采样，得到还原特征图像集，所述还原特征图像集包含多张(如四张)还原特征图。

本发明实施例在逐级上采样时通过反卷积处理来恢复特征图像集在获取过程中丢失的图像信息，所述图像信息包括但不限于空间信息与边缘信息。由此，低分辨率的特征图像集最终会输出为高分辨率的反卷积图像。

进一步的，在本发明一优选实施例中，利用预构建的卷积神经网络中的解码层进行逐级上采用。进一步地，从特征图像集中上采样得到的多个还原特征图，包含了原始图像的图像特征，如角膜边界图像特征，非角膜边界的图像特征等，因此，本发明对特征图像集上采样得到的多个还原特征图的还原精度进行约束，保证上采样得到的还原特征图像中特征的准确性。

较佳地，本发明利用如下dice损失函数对所述特征图像集上采样得到的多个还原特征图像的还原精度进行约束：

其中，为损失值，y为所述还原特征图像集中任一还原特征图像，为预设的标准还原图像，c为所述还原特征图像集中还原特征图像的个数，s为误差因子。

其中，所述标准还原图像是由预设的带标签的还原图像组成，可以从图像数据库中获取。

通过损失函数获得所述损失值后，将所述损失值与预设的损失阈值进行对比，若所述损失值大于或等于所述损失阈值，则说明所述所述还原结果不精确，需重新进行图像还原；若所述损失值小于所述损失阈值，则说明所述还原结果精确，直接输出所述还原特征图像集。

所述细节融合模块104，用于建立跳跃连接通道，利用所述跳跃连接通道将所述特征图像集中的细节特征图像传递至所述还原特征图像集，并利用卷积操作将所述细节特征图像和所述还原特征图像集进行融合，得到细节图像集。

本发明实施例中，所述跳跃连接通道是一种连接通道。

由于在卷积过程中，随着卷积的次数越来越多，细节特征图像中保留的图像细节会越来越少，为了进一步获取更丰富的图像细节，在不同图像集合的对应层级之间建立的一种特殊连接。通过利用跳跃连接通道将特征图像集中的细节特征图像传递到还原特征图像集中，能够进一步丰富还原特征图像集中图像的图像细节。

进一步的，在本发明另一可选实施例中，所述所述装置还包括计算模块，所述计算模块用于：

利用所述跳跃连接通道将所述特征图像集中的细节特征图像传递至所述还原特征图像之前，计算边界损失函数值，所述边界损失函数用于对利用所述跳跃连接通道传递细节特征图像的传递过程进行约束。

进一步地，所述计算边界损失函数值包括：

分别对所述特征图像集中任一细节特征图像的前景区域和背景区域进行池化操作，得到池化结果；

将所述池化结果相乘获得目标边界；

计算所述细节特征图像与目标边界重叠度，得到边界损失函数值。

较佳地，本发明实施例中，所述前景区域是所述灰度眼前节oct图像中角膜内的图像区域，所述背景区域是所述灰度眼前节oct图像中角膜外的图像区域。

详细地，所述边界损失函数如下：

btissue(y)＝p(y,3)×p(1-y,3)

其中，ledge为边界损失函数值，btissue(y)为目标边界，y为所述前景区域，1-为所述背景区域，为所述特征图像集，为所述特征图像集中的细节特征图像。

进一步地，当所述细节特征通过所述跳跃连接通道传递到所述还原特征集后，本发明将所述细节特征和所述还原特征集进行进行卷积操作，以实现细节融合，得到所述细节图像集。

所述特征融合模块105，用于将所述细节图像集中的多张图像利用特征金字塔操作进行特征融合，得到识别图像。

本发明实施例通过fpn(featurepyramidnetwork，特征提取网络)构建特征金字塔，利用所述特征金字塔对所述细节图像集中的细节图像进行特征融合，得到识别图像。

所述fpn是指构建从底向上的通道(bottom-uppathway)、从顶向下的通道(top-downpathway)和横向连接通道(lateralconnection)。其中，从底向上的通道、从顶向下的通道和横向连接通道是指特征金字塔中图像特征传递的路径。

优选的，本发明实施例中，所述特征金字塔包含四个层级，分别用于存放不同尺寸的细节图像。

通过所述特征金字塔，可以实现利用所述映射通道对不同尺寸的细节图像进行逐层映射，保证映射过程中细节图像中包含的信息不会丢失。

进一步的，在本发明一优选实施例中，利用预构建的卷积神经网络中的融合层进行特征融合。

详细地，所述特征融合模块105具体用于：

将所述细节图像集中的多张图像依次输入至所述特征金字塔的不同层级；

利用所述特征金字塔中映射通道将所述特征金字塔中较高层级的图像逐层向下映射至所述特征金字塔最底层的图像中，对映射后所述特征金字塔底层的多张映射图像进行特征融合，得到所述识别图像。

由于特征金字塔高层中的图像经历过较多次的卷积和池化操作，导致图像的分辨率比较低，但含有的图像特征更明显；所述特征金字塔低层的图像因为卷积和池化操作的次数较少，因此所述细节图像的分辨率比较高，拥有更多的图像细节，但含有的图像特征不明显，因此利用所述特征金字塔将不同尺寸的细节图像逐层映射，保证了最终识别图像的精确性。

本发明实施例中，图像编码模块获取原始图像，对所述原始图像进行编码处理，得到编码图像；逐级下采样模块对所述编码图像进行逐级下采样，得到特征图像集，所述特征图像集包含多张不同尺寸的细节特征图像；逐级上采样模块对所述特征图像集中的细节特征图像进行逐级上采样，得到还原特征图像集；细节融合模块建立跳跃连接通道，利用所述跳跃连接通道将所述特征图像集中的细节特征图像传递至所述还原特征图像集，并利用卷积操作将所述细节特征图像和所述还原特征图像集进行融合，得到细节图像集；特征融合模块将所述细节图像集中的多张图像利用特征金字塔操作进行特征融合，得到识别图像。通过对编码图像进行逐级下采样，可逐渐提取到图像的特征，保证原始图像中特征的完整性；通过建立跳跃连接通道，使得逐级上采样过程中无法恢复的图像细节可直接从特征图像集中获取，保证图像处理后可得到清晰的细节丰富，无损耗的图像，从而实现获得高质量的图像的目的。

如图3所示，是本发明实现图像处理方法的电子设备的结构示意图。

所述电子设备1可以包括处理器10、存储器11和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如图像处理程序12。

其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(smartmediacard，smc)、安全数字(securedigital，sd)卡、闪存卡(flashcard)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如图像处理程序12的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(centralprocessingunit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(controlunit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如执行图像处理程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。

所述总线可以是外设部件互连标准(peripheralcomponentinterconnect，简称pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。

图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、wi-fi模块等，在此不再赘述。

进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。

可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(display)、输入单元(比如键盘(keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organiclight-emittingdiode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

所述电子设备1中的所述存储器11存储的图像处理程序12是多个指令的组合，在所述处理器10中运行时，可以实现：

获取原始图像，对所述原始图像进行编码处理，得到编码图像；

对所述编码图像进行逐级下采样，得到特征图像集，所述特征图像集包含多张不同尺寸的细节特征图像；

对所述特征图像集中的细节特征图像进行逐级上采样，得到还原特征图像集；

建立跳跃连接通道，利用所述跳跃连接通道将所述特征图像集中的细节特征图像传递至所述还原特征图像集，并利用卷积操作将所述细节特征图像和所述还原特征图像集进行融合，得到细节图像集；

将所述细节图像集中的多张图像利用特征金字塔操作进行特征融合，得到识别图像。

进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)。

进一步地，所述计算机可用存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图表记视为限制所涉及的权利要求。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。