超分辨率图像生成电路的制作方法

文档序号:37942640发布日期:2024-05-11 00:22阅读:13来源:国知局
本发明有关超分辨率(super resolution,sr)图像处理,且尤指一种可以支持各种不同的深度架构及/或不同信道数量的超分辨率图像生成电路。
背景技术
::1、对于超分辨率图像处理来说,现有的超分辨率图像生成电路(其是由硬件来实现)可包含有图像放大(image scale-up)电路、稳定超分辨率处理电路以及生成式对抗网络(generative adversarial network,gan)处理电路,其中输入图像(例如低分辨率图像)输入至该图像放大电路来生成放大后图像(其可能是模糊的),该输入图像的特征图(featuremap)被分别输入至该稳定超分辨率处理电路以及该生成式对抗网络处理电路,以分别生成可以提高分辨率的稳定变化量(stable delta value)与有着该低分辨率图像所不具有的细节的生成式对抗网络变化量(gan delta value),如此一来,可以将该稳定变化量以及该生成式对抗网络变化量添加至该放大后图像,以生成超分辨率图像。2、此外,该稳定超分辨率处理电路以及该生成式对抗网络处理电路皆可具有复数个第一基本区块(basic block)以及多组的第二基本区块,其中该复数个第一基本区块处理深度需求的问题,该多组的第二基本区块处理颜色编码格式(color encoding format)的通道需求的问题。然而,由于现有的超分辨率图像生成电路在硬件设计初期就必须决定第一基本区块的深度以及第二基本区块的组数,其造成了设计上的不便并且限制了设计上的弹性,因此极需一种可以支持各种不同的深度架构及/或不同通道数量的新颖的超分辨率图像生成电路。技术实现思路1、因此,本发明的目的之一在于提供一种可以支持各种不同的深度架构及/或不同信道数量的超分辨率图像生成电路,以解决上述问题。2、根据本发明的一个实施例,提供了一种超分辨率图像生成电路。该超分辨率图像生成电路可包含有图像放大电路、稳定超分辨率处理电路、生成式对抗网络处理电路以及可配置基本区块池电路。图像放大电路可用以接收并且处理输入图像以生成放大后图像。稳定超分辨率处理电路可用以接收输入图像的特征图,以生成稳定变化量。生成式对抗网络处理电路可用以接收特征图,以生成生成式对抗网络变化量。可配置基本区块池电路可耦接于稳定超分辨率处理电路以及生成式对抗网络处理电路,并且用以根据输入图像的深度需求来动态地配置复数个基本区块,以生成配置结果,其中稳定变化量以及生成式对抗网络变化量根据配置结果来生成,以及超分辨率图像生成电路根据放大后图像、稳定变化量以及生成式对抗网络变化量来生成超分辨率图像。3、根据本发明的一个实施例,提供了一种超分辨率图像生成电路。该超分辨率图像生成电路可包含有图像放大电路、稳定超分辨率处理电路、生成式对抗网络处理电路以及可配置基本区块池电路。图像放大电路可用以接收并且处理输入图像以生成放大后图像。稳定超分辨率处理电路可用以接收输入图像的特征图,以生成稳定变化量。生成式对抗网络处理电路可用以接收特征图,以生成生成式对抗网络变化量。可配置基本区块池电路可耦接于稳定超分辨率处理电路以及生成式对抗网络处理电路,并且用以根据对应于稳定超分辨率处理电路以及生成式对抗网络处理电路中的至少一个电路的颜色编码格式中的至少一条信道的数量来动态地配置多组基本区块,以生成配置结果,其中稳定变化量以及生成式对抗网络变化量根据配置结果来生成,以及超分辨率图像生成电路根据放大后图像、稳定变化量以及生成式对抗网络变化量来生成超分辨率图像。4、本发明的好处之一在于,通过利用本发明的超分辨率图像生成电路的可配置基本池电路来根据输入图像的深度需求动态地配置复数个第一基本区块,及/或通过利用本发明的超分辨率图像生成电路的另一可配置基本池电路来根据对应于稳定超分辨率处理电路以及生成式对抗网络处理电路中的至少一个电路的颜色编码格式中的至少一条信道的数量动态地配置多组第二基本区块,可使得本发明的超分辨率图像生成电路能够支持各种不同的深度架构及/或不同通道数量,其增加了设计上的方便性以及弹性。技术特征:1.一种超分辨率图像生成电路,包含有:2.根据权利要求1所述的超分辨率图像生成电路,其中由于对应于所述稳定超分辨率处理电路的深度等于对应于所述生成式对抗网络处理电路的深度,配置于所述超分辨率处理电路的基本区块的数量等于配置于所述生成式对抗网络处理电路的基本区块的数量。3.根据权利要求1所述的超分辨率图像生成电路,其中由于对应于所述稳定超分辨率处理电路的深度大于对应于所述生成式对抗网络处理电路的深度,配置于所述超分辨率处理电路的基本区块的数量大于配置于所述生成式对抗网络处理电路的基本区块的数量。4.根据权利要求1所述的超分辨率图像生成电路,其中由于对应于所述稳定超分辨率处理电路的深度小于对应于所述生成式对抗网络处理电路的深度,配置于所述超分辨率处理电路的基本区块的数量小于配置于所述生成式对抗网络处理电路的基本区块的数量。5.根据权利要求1所述的超分辨率图像生成电路,其中所述可配置基本区块池电路将所有的所述复数个基本区块配置于所述超分辨率处理电路或所述生成式对抗网络处理电路。6.一种超分辨率图像生成电路,包含有:7.根据权利要求6所述的超分辨率图像生成电路,其中由于对应于所述稳定超分辨率处理电路的颜色编码格式中的至少一条信道的数量等于对应于所述生成式对抗网络处理电路的颜色编码格式中的至少一条信道的数量,配置于所述超分辨率处理电路的所述多组基本区块的组数等于配置于所述生成式对抗网络处理电路的所述多组基本区块的组数。8.根据权利要求6所述的超分辨率图像生成电路,其中由于对应于所述稳定超分辨率处理电路的颜色编码格式中的至少一条信道的数量大于对应于所述生成式对抗网络处理电路的颜色编码格式中的至少一条信道的数量,配置于所述超分辨率处理电路的所述多组基本区块的组数大于配置于所述生成式对抗网络处理电路的所述多组基本区块的组数。9.根据权利要求6所述的超分辨率图像生成电路,其中由于对应于所述稳定超分辨率处理电路的颜色编码格式中的至少一条信道的数量小于对应于所述生成式对抗网络处理电路的颜色编码格式中的至少一条信道的数量,配置于所述超分辨率处理电路的所述多组基本区块的组数小于配置于所述生成式对抗网络处理电路的所述多组基本区块的组数。10.根据权利要求6所述的超分辨率图像生成电路,其中所述可配置基本区块池电路将所有的所述多组基本区块配置于所述超分辨率处理电路或所述生成式对抗网络处理电路。技术总结本公开的各实施例涉及超分辨率图像生成电路。一种超分辨率图像生成电路包含有图像放大电路、稳定超分辨率处理电路、生成式对抗网络处理电路以及可配置基本区块池电路。图像放大电路用以接收并且处理输入图像以生成放大后图像。稳定超分辨率处理电路用以接收该输入图像的特征图,以生成稳定变化量。生成式对抗网络处理电路用以接收特征图,以生成生成式对抗网络变化量。可配置基本区块池电路用以根据输入图像的深度需求来动态地配置复数个基本区块,以生成配置结果。超分辨率图像生成电路根据放大后图像、稳定变化量以及生成式对抗网络变化量来生成超分辨率图像。技术研发人员:林上晏,包苡廷,王浩然,余家伟受保护的技术使用者:瑞昱半导体股份有限公司技术研发日:技术公布日:2024/5/10
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1