图像处理方法、设备及存储介质与流程

本技术涉及图像处理，尤其涉及一种图像处理方法、设备及存储介质。

背景技术：

1、近年来，诸如手机、平板电脑、智能穿戴设备、数字相机等机身厚度越来越薄的电子设备，为了能够实现长焦拍摄效果，通常会采用潜望式镜头，即具备棱镜的摄像头模组，通过棱镜对光路进行折叠，从而可以有效减少机身厚度。

2、此外，由于焦距越长，视场角(field of view，fov)越小。因此，可以通过控制棱镜运动，如点头和摇头，从而实现可视范围的变化，进而将潜望式镜头原本的焦距对应的fov和运动过程中可视范围的变化结合，实现fov的扩大，达到对被拍摄对象的追踪。

3、但是，棱镜运动，特别是摇头，会产生像旋，而像旋的存在会影响防抖、平滑、图像识别等图像处理，从而导致最终显示在电子设备的用户界面的图像的会出现抖动，并且清晰度欠佳。

技术实现思路

1、为了解决上述技术问题，本技术提供一种图像处理方法、设备及存储介质，旨在对像旋进行校正，避免像旋对防抖、平滑、图像识别等处理造成影响，进而保证最终显示的图像的效果。

2、第一方面，本技术提供一种图像处理方法，应用于采用可移动摄像头拍摄的电子设备。该方法包括：在获取到可移动摄像头拍摄的原始图像时，获取驱动可移动摄像头拍摄原始图像的马达当前的位置信息；其中，原始图像对应的坐标系为世界坐标系；根据位置信息和预存的位置向量文件，确定原始图像对应的像旋校正向量；根据像旋校正向量构建校准矩阵，将原始图像从世界坐标系转换为图像坐标系；在图像坐标系中，对原始图像进行图像仿射变换处理，得到像旋校正图像。

3、由此，在使用可移动摄像头，如潜望式镜头达到降低电子设备厚度，同时基于潜望式镜头中可运动的棱镜实现扩大fov的情况下，能够对潜望式镜头中棱镜运动，特别是在摇头方向运动造成的像旋及时进行校正，从而有效避免了像旋对防抖、平滑、图像识别等处理造成的影响，进而保证了最终显示的图像的效果。

4、根据第一方面，可移动摄像头为潜望式摄像头，马达为扫描仪马达，扫描仪马达在电机输出的数字信号的驱动下，带动潜望式镜头中的棱镜运动；其中，每一数字信号对应的扫描码用于标识扫描仪马达当前的位置信息，且与棱镜当前的运动角度对应。

5、根据第一方面，或者以上第一方面的任意一种实现方式，位置向量文件包括位置向量表，位置向量表用于存储扫描仪马达在不同拍摄节点对应的扫描码，以及旋转向量和平移向量；位置向量表的构建包括：将可移动摄像头可追踪的视场角进行n×n划分，得到p个拍摄节点，n为不小于3的奇数，p＝n×n；将可追踪的视场角中位于中心点的拍摄节点记作初始位置；控制电机输出不同的扫描码，驱动扫描仪马达带动棱镜运动到每一个拍摄节点，并在每一拍摄节点对设定图卡进行拍摄；计算每一个拍摄节点拍摄的图像相对初始位置拍摄的图像的旋转向量和平移向量；记录每一个拍摄节点、拍摄节点对应的扫描码、旋转向量和平移向量之间的关系，得到位置向量表。

6、根据第一方面，或者以上第一方面的任意一种实现方式，计算每一个拍摄节点拍摄的图像相对初始位置拍摄的图像的旋转向量和平移向量，包括：将在初始位置对设定图卡进行拍摄得到的图像分别记作第一图像和第二图像；对第一图像的中心进行裁剪，得到第三图像；以第二图像为中心，向外延伸得到可移动摄像头可追踪的视场角的画布；选定第三图像中任一特征点，并将特征点的坐标记作第一坐标；将特征点在第二图像中的坐标记作第二坐标；对第二图像和第三图像进行特征匹配，得到第一单应矩阵，第一单应矩阵用于标识第一坐标与第二坐标的第一关系，第一单应矩阵为第三图像到第二图像的单应矩阵；将第三图像在第一图像中移动设定距离，得到第四图像，并将特征点在第四图像中的坐标记作第三坐标；对第四图像和第三图像进行特征匹配，得到第二单应矩阵，第二单应矩阵用于标识第一坐标与第三坐标的第二关系，第二单应矩阵为第三图像到第四图像的单应矩阵；对于任意一个拍摄节点拍摄的图像记作第五图像，并将特征点在第五图像的坐标记作第四坐标；对第五图像和四图像进行特征匹配，得到第三单应矩阵，第三单应矩阵用于标识第三坐标与第四坐标的第三关系，第三单应矩阵为第四图像到第五图像的单应矩阵；根据第一关系、第二关系和第三关系，确定拍摄节点拍摄的图像相对初始位置拍摄的图像的目标单应矩阵；根据目标单应矩阵，确定拍摄节点拍摄的图像相对初始位置拍摄的图像的旋转向量和平移向量。

7、根据第一方面，或者以上第一方面的任意一种实现方式，根据目标单应矩阵，确定拍摄节点拍摄的图像相对初始位置拍摄的图像的旋转向量和平移向量，包括：根据张正友标定法，对目标单应矩阵进行分解，得到拍摄节点拍摄的图像相对初始位置拍摄的图像的旋转向量和平移向量。

8、根据第一方面，或者以上第一方面的任意一种实现方式，获取驱动可移动摄像头拍摄原始图像的马达当前的位置信息，包括：获取扫描仪马达当前对应的目标扫描码。

9、根据第一方面，或者以上第一方面的任意一种实现方式，根据位置信息和预存的位置向量文件，确定原始图像对应的像旋校正向量，包括：根据目标扫描码，在位置向量文件中查找目标扫描码附近的m个扫描码，m最小为4；获取每一个扫描码对应的旋转向量和平移向量；基于预设的插值方式，根据目标扫描码、m个扫描码，以及每一个扫描码对应的旋转向量和平移向量进行插值，确定原始图像对应的像旋校正向量。

10、由此，借助附近扫描码对应旋转向量和平移向量，便于快速确定实际作业中每一个未知的拍摄位置出拍摄的原始图像对应的像旋校正向量，从而实现对每一原始图像的像旋校正处理。

11、根据第一方面，或者以上第一方面的任意一种实现方式，根据像旋校正向量构建校准矩阵，将原始图像从世界坐标系转换为图像坐标系，包括：根据像旋校正向量构建第四单应矩阵；将第二图像中心点的坐标带入第四单应矩阵，得到原始图像的坐标；根据原始图像的坐标，确定映射矩阵；根据第四单应矩阵、映射矩阵和预设的缩放矩阵，构建校准矩阵。

12、由此，将需要进行像旋校正处理的原始图像从世界坐标系转换到图像坐标系，从而保证像旋校正处理的有效性和合理性。

13、根据第一方面，或者以上第一方面的任意一种实现方式，在图像坐标系中，对原始图像进行图像仿射变换处理，得到像旋校正图像，包括：在图像坐标系中，对原始图像进行裁剪处理和缩放处理，得到像旋校正图像。

14、根据第一方面，或者以上第一方面的任意一种实现方式，像旋校正向量包括像旋校正旋转向量和/或像旋校正平移向量。

15、根据第一方面，或者以上第一方面的任意一种实现方式，位置向量文件预先存储在电子设备的系统文件区域，且位置向量文件被设置为不可删除的属性。

16、由此，通过将位置向量文件预先存储在电子设备的系统文件区域，并将其属性设置为不可删除，从而能够避免用户误删除的行为，始终保证采用可移动摄像头拍摄的电子设备能够对拍摄的图像进行像旋校正。

17、第二方面，本技术提供了一种电子设备。该电子设备包括：潜望式镜头、存储器和处理器，存储器和处理器耦合；存储器存储有程序指令，程序指令由处理器执行时，使得电子设备对潜望式镜头拍摄的图像，执行第一方面或第一方面的任意可能的实现方式中的方法的指令。

18、第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

19、第三方面，本技术提供了一种计算机可读介质，用于存储计算机程序，该计算机程序包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的指令。

20、第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

21、第四方面，本技术提供了一种计算机程序，该计算机程序包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的指令。

22、第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

23、第五方面，本技术提供了一种芯片，该芯片包括处理电路、收发管脚。其中，该收发管脚、和该处理电路通过内部连接通路互相通信，该处理电路执行第一方面或第一方面的任一种可能的实现方式中的方法，以控制接收管脚接收信号，以控制发送管脚发送信号。

24、第五方面以及第五方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。