高分辨率高帧率摄像方法和图像处理装置与流程

本技术涉及视频数据采集与处理，尤其涉及一种高分辨率高帧率摄像方法和图像处理装置。

背景技术：

1、伴随移动设备的普及和短视频行业兴起，手机摄影对于成像素质越来越高，记录生活的视频规格需求从1080逐行扫描(progressive scan，p)+30每秒传输帧数(pixel/frame per second，fps)提升至4千(kilo，k)+30fps，甚至8k+30fps等。

2、移动设备视频数据采集的过程通常如下：通过相机的感光元件(例如，传感器sensor等)采集到光信号原始数据，经由数据总线传输到图像处理模块(例如，影像处理器(image signal processor，isp)等)处理为正常彩色图像数据，最后传输到设备完成数据存储或实时预览。

3、因为感光元件到图像处理模块数据总线传输带宽和传输功耗的限制，感光元件单位时间输出的光信号原始数据总量有上限。即若没有经过特殊处理，感光元件输出的感光图像序列不可能同时满足高分辨率和高帧率的要求。

4、现有技术通常通过以下两种方式将采集到的低分辨率高帧率感光图像转化为高分辨率高帧率的感光图像：(一)通过双目相机进行采集，获取更多的额外感光数据，来实现高分辨率；(二)采集低分辨率高帧率感光图像，然后利用训练好的神经网络模型进行图像处理(例如，上采样等方式)，得到高分辨感光图像。

5、然而上述现有技术需要依赖于特定硬件(即双目相机)，因而适用范围较小且成本高，或者依赖模型先验信息而造成泛化效果不确定，且硬件上需要引入额外的神经网络处理单元。

技术实现思路

1、本技术实施例提供了一种高分辨率高帧率摄像方法和图像处理装置，可以在不增加数据传输带宽的前提下，利用帧间信息对低分辨率感光图像进行融合，得到对应的高分辨率高帧率感光图像，进而有效提升电子设备的输出画质。

2、第一方面，本技术提供了一种高分辨率高帧率摄像方法，所述方法包括：获取n张感光图像，所述n张感光图像是通过对感光元件进行连续n次曝光分别得到的；其中，所述n张感光图像中包括第一感光图像和第二感光图像，所述第一感光图像包括p个感光数据，所述p个感光数据是在一次曝光过程中对所述感光元件上的p个感光点分别进行曝光得到的，所述第二感光图像包括q个感光数据，所述q个感光数据是通在一次曝光过程中对所述感光元件上的q个感光点分别进行曝光得到的，所述p个感光点和所述q个感光点在所述感光元件上的位置不同，p、q为大于或等于1的整数，n为大于或等于2的整数；将所述n张感光图像进行融合处理，得到第三感光图像；其中，所述第三感光图像包括与所述p个感光点分别对应的所述p个感光数据，以及与所述q个感光点分别对应的所述q个感光数据。

3、从技术效果上看，本技术通过在一段连续时域上，高频曝光感光元件上不同的感光点，从而得到多帧低分辨率的原始感光图像，且任意两张感光图像中包含的被曝光的感光点位置不同(此种曝光方式得到低分辨率高帧率感光图像对数据总线的传输带宽没有要求)。然后将所有被曝光的感光点对应的感光数据进行组合，得到第三感光图像，使得第三感光图像中包含全部或大部分感光点对应的感光数据，即得到了对应的包含高分辨率信息的感光图像。综上，本技术在无需增加硬件开销和数据传输带宽的基础上，通过特定感光方式和融合方式的配合，可以得到低分辨率感光图像对应的高分辨感光图像(即第三图像)，进而有效提升终端设备输出的视频或图像质量。此外，本技术利用时域上相邻帧进行融合，时域和空域上的相关性更强，进而使得融合得到的高分辨率感光图像中感光数据更加接近真实，输出图像/视频效果更好。

4、在一种可行的实施方式中，所述n张感光图像为k*e张感光图像中在时域上连续的n张，所述k*e张感光图像是通过连续的k个感光周期依次曝光得到的，所述k个感光周期中的每个感光周期都对所述感光元件进行连续e次曝光；所述感光元件包括m个感光单元，所述m个感光单元中的每个感光单元包含c个感光点，且在所述每个感光周期内，所述每个感光单元内的所有感光点都按序进行了一次曝光，c为大于或等于2的正整数。

5、从技术效果上看，由于在一次感光周期内每个感光单元内的感光点都按顺序进行了一次曝光，因此在采集时域上任意选取连续的n张感光图像，该n张感光图像分别包含的感光数据都是由不同的感光点进行曝光得到的，此时进行融合，便可得到包含大部分或全部感光点对应感光数据的高分辨率感光图像。此外，每次只需要选取连续的n张感光图像，也即终端设备最少只需保存采集到的n张感光图像，减少终端设备的缓存开销。

6、在一种可行的实施方式中，在一个感光周期内的每次曝光中，所述每个感光单元内的一个感光点被曝光，所述n等于所述c。

7、从技术效果上看，当一个感光周期内的每次曝光中只曝光一个感光点，且n等于一个感光周期内的曝光次数时，选取的n张感光图像包含的感光数据正好都是由感光元件上的每个感光点曝光一次得到的，此时直接融合，得到的第三感光图像便包含感光元件上每个感光点对应的感光数据，即得到一张包含高分辨信息的感光图像。

8、在一种可行的实施方式中，所述m个感光单元中包括第一感光单元，所述方法还包括：当所述第一感光单元中的第一感光点在所述n次曝光中都未被曝光时，基于所述第一感光单元在所述n次曝光中被曝光感光点对应的感光数据进行插值，计算得到所述第一感光点对应的感光数据；其中，所述第一感光点为所述第一感光单元中的任意一个未被曝光的感光点，所述第一感光单元为所述m个感光单元中的任意一个；所述第三感光图像还包括与所述第一感光点对应的感光数据。

9、从技术效果上看，当在n张感光图像对应的时域内，感光元件上存在部分感光点未进行曝光，即获取的n张感光图像中包含的所有感光数据中不包含这部分未曝光的感光点对应的感光数据，此时，对于一个感光单元内未曝光的感光点，可以利用该感光单元内已曝光的感光点对应的感光数据进行空间上的插值，得到该感光单元内未曝光的感光点对应的感光数据，并将该感光数据作为第三感光图像中对应包含的感光数据，从而使得第三感光图像中包含每个感光点对应的感光数据，得到一张包含高分辨信息的感光图像。

10、在一种可行的实施方式中，所述m个感光单元中包括第一感光单元，所述方法还包括：当所述第一感光单元中的第一感光点在所述n张感光图像对应的n次曝光中都未被曝光时，基于所述n张感光图像包含的感光数据计算运动矢量，并基于所述运动矢量计算所述第一感光点对应的感光数据；其中，所述第一感光点为所述第一感光单元中的任意一个未被曝光的感光点，所述第一感光单元为所述m个感光单元中的任意一个；所述第三感光图像还包括与所述第一感光点对应的感光数据。

11、从技术效果上看，除上述利用插值计算未曝光感光点的感光数据外，还可以将多张感光图像中物体边缘特征点进行匹配，计算得到感光图像上每个像素点在时域上的运动矢量(即移动方向和速度)，进而确定未被曝光的感光点与哪个已曝光的感光点是对物体的同一位置进行曝光，从而将该已曝光的感光点的感光数据作为该未曝光感光点的感光数据。通过运动矢量的方式，确定所有未曝光感光点对应的感光数据，从而使得第三感光图像中包含每个感光点对应的感光数据，得到一张包含高分辨信息的感光图像。

12、在一种可行的实施方式中，所述方法还包括：将所述n张感光图像中在时域上连续的n-1张感光图像、第四感光图像进行融合处理，得到与所述第三感光图像相邻的第五感光图像；其中，所述第四感光图像为在时域上与所述n张感光图像相邻的下一张感光图像，且所述第四感光图像与所述n-1张感光图像在时域上相邻。

13、从技术效果上看，对于时域上连续曝光的感光图像而言，按照时域的顺序，依次利用n张低分辨率的感光图像进行融合，即时采集即时融合，最少只需缓存n张感光图像，可以有效降低缓存开销和用户的预览延迟。

14、在一种可行的实施方式中，所述方法还包括：对所述第三感光图像中包含的每个感光数据进行处理，得到所述第三感光图像上每个感光数据对应的像素值。

15、其中，感光元件上的每个感光点对应感光图像上的一个像素点，每个感光点对应的感光数据也即是与该感光点在感光图像上对应的像素点包含的感光数据，此感光数据即是用于计算该像素点的像素值。

16、第二方面，本技术提供了一种图像处理装置，所述装置包括：获取单元，用于获取n张感光图像，所述n张感光图像是通过对感光元件进行连续n次曝光分别得到的；其中，所述n张感光图像中包括第一感光图像和第二感光图像，所述第一感光图像包括p个感光数据，所述p个感光数据是在一次曝光过程中对所述感光元件上的p个感光点分别进行曝光得到的，所述第二感光图像包括q个感光数据，所述q个感光数据是通在一次曝光过程中对所述感光元件上的q个感光点分别进行曝光得到的，所述p个感光点和所述q个感光点在所述感光元件上的位置不同，p、q为大于或等于1的整数，n为大于或等于2的整数；融合单元，用于将所述n张感光图像进行融合处理，得到第三感光图像；其中，所述第三感光图像包括与所述p个感光点分别对应的所述p个感光数据，以及与所述q个感光点分别对应的所述q个感光数据。

17、在一种可行的实施方式中，所述n张感光图像为k*e张感光图像中在时域上连续的n张，所述k*e张感光图像是通过连续的k个感光周期依次曝光得到的，所述k个感光周期中的每个感光周期都对所述感光元件进行连续e次曝光，k为大于或等于1的正整数；所述感光元件包括m个感光单元，所述m个感光单元中的每个感光单元包含c个感光点，且在所述每个感光周期内，所述每个感光单元内的所有感光点都按序进行了一次曝光，c和m为大于或等于2的正整数。

18、在一种可行的实施方式中，在一个感光周期内的每次曝光中，所述每个感光单元内的一个感光点被曝光，所述n等于所述c。

19、在一种可行的实施方式中，所述m个感光单元中包括第一感光单元，所述融合单元还用于：当所述第一感光单元中的第一感光点在所述n次曝光中都未被曝光时，基于所述第一感光单元在所述n次曝光中被曝光感光点对应的感光数据进行插值，计算得到所述第一感光点对应的感光数据；其中，所述第一感光点为所述第一感光单元中的任意一个未被曝光的感光点，所述第一感光单元为所述m个感光单元中的任意一个；所述第三感光图像还包括与所述第一感光点对应的感光数据。

20、在一种可行的实施方式中，所述m个感光单元中包括第一感光单元，所述融合单元还用于：当所述第一感光单元中的第一感光点在所述n张感光图像对应的n次曝光中都未被曝光时，基于所述n张感光图像包含的感光数据计算运动矢量，并基于所述运动矢量计算所述第一感光点对应的感光数据；其中，所述第一感光点为所述第一感光单元中的任意一个未被曝光的感光点，所述第一感光单元为所述m个感光单元中的任意一个；所述第三感光图像还包括与所述第一感光点对应的感光数据。

21、在一种可行的实施方式中，所述融合单元还用于：将所述n张感光图像中在时域上连续的n-1张感光图像、第四感光图像进行融合处理，得到与所述第三感光图像相邻的第五感光图像；其中，所述第四感光图像为在时域上与所述n张感光图像相邻的下一张感光图像，且所述第四感光图像与所述n-1张感光图像在时域上相邻。

22、在一种可行的实施方式中，所述装置还包括：图像信号处理单元，用于对所述第三感光图像中包含的每个感光数据进行处理，得到所述第三感光图像上每个感光数据对应的像素值。

23、第三方面，本技术提供了一种电子装置，所述计算机设备包括至少一个处理器，存储器和通信接口，所述存储器、所述通信接口和所述至少一个处理器通过线路互联，所述至少一个存储器中存储有指令；所述指令被所述处理器执行时，上述第一方面中任一所述的方法得以实现。

24、第四方面，本技术实施例提供了一种芯片系统，所述芯片系统包括至少一个处理器，存储器和通信接口，所述存储器、所述通信接口和所述至少一个处理器通过线路互联，所述至少一个存储器中存储有指令；所述指令被所述处理器执行时，上述第一方面中任一所述的方法得以实现。

25、第五方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，该计算机程序被执行时，上述第一方面中任意一项所述的方法得以实现。

26、第六方面，本技术实施例提供了一种计算机程序，该计算机程序包括指令，当该计算机程序被执行时，上述第一方面中任意一项所述的方法得以实现。