图像处理方法、装置、电子设备和计算机存储介质与流程

1.本公开涉及计算机视觉处理技术，尤其涉及一种图像处理方法、装置、电子设备和计算机存储介质。


背景技术：

2.在相关技术中，粒子系统表示三维计算机图形学中模拟一些特定的模糊现象的技术，而这些现象用其它传统的渲染技术难以实现真实感的物理运动规律。经常使用粒子系统模拟的现象有火、爆炸、烟、水流、火花、落叶、云、雾、雪、尘、流星尾迹或者类似发光轨迹的抽象视觉效果等等。
3.粒子系统已经被广泛运用在特效行业中，传统的方法中设计师与动画建模师需要花费大量时间对需求的粒子效果进行设计及调整参数；在相关技术中，可以采用使用光流法对视频中的粒子效果进行粒子跟踪，在图像采集设备稳定的情况下，跟踪到的粒子轨迹会是较为固定且规律可循的多条平滑曲线；在图像采集设备出现位移时，则会降低粒子跟踪的准确性和可靠性。


技术实现要素：

4.本公开实施例提供一种图像处理的技术方案。
5.本公开实施例提供了一种图像处理方法，所述方法包括：
6.获取图像采集设备采集的具有粒子效果的视频流；
7.分别提取所述第一目标帧图像的背景和所述第二目标帧图像的背景；
8.提取所述第一目标帧图像的背景中的特征点、以及所述第二目标帧图像的背景中的特征点；根据所述第一目标帧图像的背景和所述第二目标帧图像的背景中匹配的特征点之间的位置关系，确定所述图像采集设备在所述第一目标帧图像的采集时刻与所述第二目标帧图像的采集时刻之间的运动信息；
9.根据所述运动信息，确定第一目标帧图像与第二目标帧图像之间的粒子轨迹。
10.在一些实施例中，所述根据所述第一目标帧图像的背景和所述第二目标帧图像的背景中匹配的特征点之间的位置关系，确定所述图像采集设备在所述第一目标帧图像的采集时刻与所述第二目标帧图像的采集时刻之间的运动信息，包括：
11.根据所述位置关系，确定所述第二目标帧图像相对于所述第一目标帧图像的图像变换幅度，将所述图像变换幅度作为所述运动信息；所述图像变换幅度包括旋转量和/或平移量。
12.可以理解地，第一目标帧图像的背景和第二目标帧图像的背景通常是静止的背景，因此，第一目标帧图像的背景和所述第二目标帧图像的背景中匹配的特征点之间的位置关系，可以准确反映出图像采集设备在第一目标帧图像的采集时刻与第二目标帧图像的采集时刻之间的运动信息，即，根据第一目标帧图像的背景和所述第二目标帧图像的背景中匹配的特征点之间的位置关系，可以准确地得出图像采集设备在第一目标帧图像的采集
时刻与第二目标帧图像的采集时刻之间的运动信息。
13.在一些实施例中，所述根据所述位置关系，确定所述第二目标帧图像相对于所述第一目标帧图像的图像变换幅度，包括：
14.获取用于表示所述第一目标帧图像的图像变换幅度的至少一个变量；
15.确定按照所述至少一个变量对所述第一目标帧图像进行图像变换的变换后图像；以降低所述变换后图像的背景和所述第二目标帧图像的背景中的匹配的特征点的位置差异为目标，确定所述至少一个变量的值；
16.根据所述至少一个变量的值，确定所述第二目标帧图像相对于所述第一目标帧图像的图像变换幅度。
17.可以理解地，本公开实施例中，在以降低变换后图像的背景和第二目标帧图像的背景中的匹配的特征点的位置差异为目标，确定上述至少一个变量的值的情况下，根据上述至少一个变量的值，可以准确地确定第二目标帧图像相对于第一目标帧图像的图像变换幅度。
18.在一些实施例中，所述方法还包括：
19.在确定所述第一目标帧图像的背景和所述第二目标帧图像的背景中匹配的特征点后，去除所述第一目标帧图像的背景和所述第二目标帧图像的背景中匹配的特征点中错误匹配的特征点。
20.可以理解地，通过去除第一目标帧图像的背景和所述第二目标帧图像的背景中匹配的特征点中错误匹配的特征点，有利于准确地得出图像采集设备在两帧图像的采集时刻之间的运动信息，进而有利于准确地对视频流中的粒子进行粒子跟踪。
21.在一些实施例中，所述根据所述运动信息，确定第一目标帧图像与第二目标帧图像之间的粒子轨迹，包括：
22.根据所述运动信息，对所述第二目标帧图像中的前景进行修正，得到修正后的第二目标帧图像；
23.对所述第一目标帧图像的前景和所述修正后的第二目标帧图像的前景进行粒子跟踪，得到所述第一目标帧图像与所述第二目标帧图像之间的粒子轨迹。
24.由于图像采集设备的运动，会导致第一目标帧图像和第二目标帧图像对应的粒子跟踪的初步结果出现错误，针对该问题，本公开实施例中可以首先根据图像采集设备在第一目标帧图像的采集时刻与第二目标帧图像的采集时刻之间的运动信息，对第二目标帧图像中的前景进行修正，可以使第一目标帧图像和修正后的第二目标帧图像之间的粒子运动信息与图像采集设备的运动信息解耦，从而，能够更加准确地得出两帧图像之间的粒子轨迹。
25.在一些实施例中，所述第一目标帧图像和所述第二目标帧图像为所述视频流中的两帧相邻图像，所述第一目标帧图像和所述第二目标帧图像组成一组相邻图像对；在确定所述第一目标帧图像与所述第二目标帧图像之间的粒子轨迹后，所述方法还包括：根据所述视频流中包含的多组所述相邻图像对的粒子轨迹，得到所述视频流中的粒子轨迹。
26.可以看出，本公开实施例可以根据图像采集设备在第一目标帧图像的采集时刻与第二目标帧图像的采集时刻之间的运动信息，对视频流中的粒子进行粒子跟踪，得到准确的粒子轨迹。
27.在一些实施例中，所述方法还包括：
28.根据所述视频流中的粒子轨迹，重建所述视频流的粒子效果。
29.可以看出，本公开实施例根据准确得出的粒子轨迹，可以准确重建上述视频流的粒子效果，使重建后的粒子效果接近原视频流的粒子效果，重建后的粒子效果可以准确反映出粒子系统的基本信息。
30.本公开实施例还提供了一种图像处理装置，所述装置包括：获取模块、第一处理模块、第二处理模块和第三处理模块；其中，
31.获取模块，用于获取图像采集设备采集的具有粒子效果的视频流；
32.第一处理模块，用于分别提取所述第一目标帧图像的背景和所述第二目标帧图像的背景；
33.第二处理模块，用于提取所述第一目标帧图像的背景中的特征点、以及所述第二目标帧图像的背景中的特征点；根据所述第一目标帧图像的背景和所述第二目标帧图像的背景中匹配的特征点之间的位置关系，确定所述图像采集设备在所述第一目标帧图像的采集时刻与所述第二目标帧图像的采集时刻之间的运动信息；
34.第三处理模块，用于根据所述运动信息，确定第一目标帧图像与第二目标帧图像之间的粒子轨迹。
35.本公开实施例还提供了一种电子设备，，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
36.所述处理器用于运行所述计算机程序以执行上述任意一种图像处理方法。
37.本公开实施例还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任意一种图像处理方法。
38.本公开实施例提出的图像处理方法、装置、电子设备和计算机存储介质中，获取图像采集设备采集的具有粒子效果的视频流；在视频流中确定每组相邻图像，每组相邻图像包括相邻的第一目标帧图像和第二目标帧图像；分别提取第一目标帧图像的背景和第二目标帧图像的背景；提取第一目标帧图像的背景中的特征点、以及第二目标帧图像的背景中的特征点；根据第一目标帧图像的背景和第二目标帧图像的背景中匹配的特征点之间的位置关系，确定图像采集设备在第一目标帧图像的采集时刻与第二目标帧图像的采集时刻之间的运动信息；根据运动信息，确定每组相邻图像中两帧图像之间的粒子轨迹；根据每组相邻图像中两帧图像之间的粒子轨迹，得到视频流中的粒子轨迹。
39.可以看出，第一目标帧图像的背景和第二目标帧图像的背景通常是静止的背景，因而，第一目标帧图像的背景和第二目标帧图像的背景中匹配的特征点之间的位置变化信息，可以准确反映图像采集设备在第一目标帧图像的采集时刻与第二目标帧图像的采集时刻之间的运动信息；从而，可以根据图像采集设备在第一目标帧图像的采集时刻与第二目标帧图像的采集时刻之间的运动信息，能够更加准确地得出两帧图像之间的粒子轨迹。
40.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
41.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公
开的实施例，并与说明书一起用于说明本公开的技术方案。
42.图1为本公开实施例的图像处理方法的流程图；
43.图2a为本公开实施例中透视投影方式的成像原理示意图；
44.图2b为本公开实施例中正交投影方式的成像原理示意图；
45.图3a为本公开实施例中图像采集设备在x方向的平移量的变化信息的示意图；
46.图3b为本公开实施例中图像采集设备在y方向的平移量的变化信息的示意图；
47.图3c为本公开实施例中图像采集设备的旋转角度的变化信息的示意图；
48.图3d为本公开实施例中图像采集设备在x方向的平移量与图像采集设备在y方向的平移量的关系示意图。
49.图4a为本公开实施例的视频流中的任意一帧图像；
50.图4b为本公开实施例的粒子跟踪的初步结果的示意图；
51.图4c为本公开实施例的一种粒子轨迹的示意图；
52.图4d为本公开实施例的另一种粒子轨迹的示意图；
53.图5为本公开实施例中确定图像采集设备在两帧图像的采集时刻之间的运动信息的流程图；
54.图6为本公开实施例中确定图像变换幅度的流程示意图；
55.图7为本公开实施例中得出粒子轨迹的流程示意图；
56.图8为本公开实施例的图像处理装置的组成结构示意图；
57.图9为本公开实施例的电子设备的结构示意图。
具体实施方式
58.以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本公开，并不用于限定本公开。另外，以下所提供的实施例是用于实施本公开的部分实施例，而非提供实施本公开的全部实施例，在不冲突的情况下，本公开实施例记载的技术方案可以任意组合的方式实施。
59.需要说明的是，在本公开实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素，而且还包括没有明确列出的其他要素，或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元，例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。
60.例如，本公开实施例提供的图像处理方法包含了一系列的步骤，但是本公开实施例提供的图像处理方法不限于所记载的步骤，同样地，本公开实施例提供的图像处理装置包括了一系列模块，但是本公开实施例提供的装置不限于包括所明确记载的模块，还可以包括为获取相关信息、或基于信息进行处理的情况下所需要设置的模块。
61.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
62.本公开实施例可以应用于终端和/或服务器组成的计算机系统中，并可以与众多其它通用或专用计算系统环境或配置一起操作。这里，终端可以是瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统，等等，服务器可以是服务器计算机系统小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
63.终端、服务器等电子设备可以包括用于执行指令的程序模块。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，程序模块可以执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
64.在相关技术中，可以采用图像采集设备采集具有粒子效果的视频流，然后可以采用光流法对视频中的粒子效果进行粒子跟踪，从而重建粒子系统；响应于视频流是在图像采集设备移动(例如出现抖动或明显的位移)的过程中采集到的情况，由于图像采集设备出现位移，因而，图像中的粒子的位置变化不仅仅与粒子在真实场景的位移有关，还与图像采集设备的位移相关，因而，采用光流法进行粒子跟踪的情况下，会出现粒子跟踪错误的情况，从而，得出的粒子轨迹的可信度较低，会对粒子系统的重建造成影响。例如，在图像采集设备处于运动状态的情况下，与图像采集设备的运动方向相同的粒子的轨迹会变得更长，而与像采集设备的运动方向相同的粒子的轨迹会变得更短。
65.在相关技术中，可以采用视频稳像方法估计图像采集设备的运动信息，即，在两个图像帧上找到稳定的特征点，并进行相应的特征点匹配，就能计算出两个图像帧之间的刚体变换，从而用两个图像帧之间的刚体变换来表示图像采集设备的运动信息，从而，根据图像采集设备的运动信息对粒子跟踪结果进行修正。但是在具有粒子效果的视频流中，由于烟花等粒子通常处于复杂的运动状态，因而，不容易将图像采集设备的运动和粒子的运动进行解耦，不容易准确地确定图像的特征点匹配关系，不利于准确地估计图像采集设备的运动信息，从而，不利于得出准确的粒子跟踪结果。
66.针对上述技术问题，在本公开的一些实施例中，提出了一种图像处理方法。
67.图1为本公开实施例的图像处理方法的流程图，如图1所示，该流程可以包括：
68.步骤101：获取图像采集设备采集的具有粒子效果的视频流。
69.本公开实施例中，图像采集设备可以是用于连续采集具有粒子效果的图像的设备，在图像采集设备连续采集具有粒子效果的图像的情况下，可以得到具有粒子效果的视频流，显然，具有粒子效果的视频流包括至少两帧具有粒子效果的图像；这里的粒子效果可以表示火、爆炸、烟、水流、火花、落叶、云、雾、雪、尘、流星尾迹等效果，也可以是类似发光轨迹的抽象视觉效果。
70.在一些实施例中，图像采集设备的成像方式为图2a所示的透视投影方式，物体在成像时有近大远小的效果。在采用图像采集设备拍摄烟花等远距离的拍摄对象，由于图像采集设备与拍摄对象的距离较远，因而，由透视投影方式带来的拍摄对象的成像差异可以基于忽略不计，即，可以忽略近大远小的成像效果；在这种情况下，可以将图像采集设备的成像方式视为图2b所示的正交投影方式，在相同大小的物体与图像采集设备的距离不同的情况下，采用正交投影方式得到的成像尺寸是一致的。
71.步骤102：分别提取所述第一目标帧图像的背景和所述第二目标帧图像的背景。
72.在得出第一目标帧图像和第二目标帧图像后，可以针对第一目标帧图像和第二目标帧图像，分离出各自的背景。
73.本公开实施例中，针对第一目标帧图像和第二目标帧图像，均可以采用图像分割方法分割图像中的前景和背景；图像分割方法可以是基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等；下面以第一目标帧图像为例，说明离图像的背景的实现方式。
74.在一些实施例中，采用基于阈值的分割方法分离第一目标帧图像的背景的实现方式可以包括：首先采用基于自适应阈值的图像分割方法确定第一目标帧图像中灰度值较高的像素点，将确定的灰度值较高的像素点称为显著的像素点；然后，可以结合包括第一目标帧图像的至少两帧图像中显著的像素点的灰度值和位置的变化信息，并采用混合高斯模型的方法，确定第一目标帧图像中的背景。
75.可以理解地，采用图像分割方法不仅可以分割图像中的背景，还可以分割出图像中的前景；图像中的前景可以包括粒子图像；例如，在图像为夜晚的烟花图像的情况下，图像中的背景可以是除烟花外的背景图像，图像中的前景可以是与背景分离的烟花图像。
76.步骤103：提取第一目标帧图像的背景中的特征点、以及第二目标帧图像的背景中的特征点；根据第一目标帧图像的背景和第二目标帧图像的背景中匹配的特征点之间的位置关系，确定图像采集设备在第一目标帧图像的采集时刻与第二目标帧图像的采集时刻之间的运动信息。
77.在一些实施例中，在得到第一目标帧图像的背景和第二目标帧图像的背景后，可以利用神经网络的卷积层提取第一目标帧图像的背景中的特征点、以及第二目标帧图像的背景中的特征点。
78.在提取第一目标帧图像的背景中的特征点、以及第二目标帧图像的背景中的特征点后，可以对第一目标帧图像的背景和第二目标帧图像的背景中的特征点进行特征点匹配处理，得到第一目标帧图像的背景和第二目标帧图像的背景中匹配的特征点；示例性地，特征点匹配的步骤可以包括：检测第一目标帧图像的背景和第二目标帧图像的背景中的特征点；计算第一目标帧图像的背景和第二目标帧图像的背景中的特征点的描述符；计算第一目标帧图像的背景和第二目标帧图像的背景中的特征点的描述符之间的距离；通过最近邻搜索方式，确定第一目标帧图像的背景和第二目标帧图像的背景中的特征点匹配对。需要说明的是，上述记载的内容仅仅是对特征点匹配的实现方式的示例性说明，本公开实施例并不局限于此。
79.可以理解地，第一目标帧图像的背景和第二目标帧图像的背景通常是静止的背景，因而，第一目标帧图像的背景和第二目标帧图像的背景中匹配的特征点之间的位置变化信息，可以准确反映图像采集设备在第一目标帧图像的采集时刻与第二目标帧图像的采集时刻之间的运动信息。
80.步骤104：根据运动信息，确定第一目标帧图像与第二目标帧图像之间的粒子轨迹。
81.在实际应用中，步骤101至步骤104可以利用电子设备中的处理器实现，上述处理器可以为特定用途集成电路(application specific integrated circuit，asic)、数字信
号处理器(digital signal processor，dsp)、数字信号处理装置(digital signal processing device，dspd)、可编程逻辑装置(programmable logic device，pld)、现场可编程门阵列(field－programmable gate array，fpga)、中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器中的至少一种。
82.可以理解地，第一目标帧图像的背景和第二目标帧图像的背景通常是静止的背景，因而，第一目标帧图像的背景和第二目标帧图像的背景中匹配的特征点之间的位置变化信息，可以准确反映图像采集设备在第一目标帧图像的采集时刻与第二目标帧图像的采集时刻之间的运动信息；从而，可以根据图像采集设备在第一目标帧图像的采集时刻与第二目标帧图像的采集时刻之间的运动信息，能够更加准确地得出两帧图像之间的粒子轨迹。
83.在本公开的一些实施例中，可以在视频流中确定每组相邻图像，每组相邻图像包括相邻的第一目标帧图像和第二目标帧图像，显然，第一目标帧图像和第二目标帧图像为视频流中连续的两帧图像。
84.对于视频流中的任意两帧图像，均可以根据步骤101至步骤103的实现方式确定图像采集设备在任意两帧图像的采集时刻之间的运动信息，从而，可以得到图像采集设备在视频流的采集时段内的运动信息，下面通过图3a至图3d示例性地说明图像采集设备的运动信息。
85.图3a中，横轴表示帧序号，纵轴表示图像采集设备在x方向的平移量dx；图3b中，横轴表示帧序号，纵轴表示图像采集设备在y方向的平移量dy；图3c中，横轴表示帧序号，纵轴表示图像采集设备的旋转角度da，图像采集设备的旋转角度da的单位为rad；图3d中，横轴表示图像采集设备在x方向的平移量dx，纵轴表示图像采集设备在y方向的平移量dy。
86.图3a至图3d中，虚线表示图像采集设备在视频流的采集时段内的运动信息，实线表示图像采集设备在除视频流的采集时段外的其余时段的运动信息。通过图3a至图3d，可以直观地了解图像采集设备在视频流的采集时段内的平移量和旋转量。
87.在一些实施例中，第一目标帧图像和第二目标帧图像为两个连续帧的图像。可以理解地，在第一目标帧图像和第二目标帧图像为两个连续帧的图像的情况下，本公开实施例可以准确地得到图像采集设备在两个连续帧的图像的采集时刻之间的运动信息，进而，可以根据图像采集设备在任意两个连续帧的图像的采集时刻之间的运动信息，有利于后续对视频流中的粒子进行准确地粒子跟踪。
88.在一些实施例中，第一目标帧图像和第二目标帧图像为所述视频流中的两帧相邻图像，第一目标帧图像和第二目标帧图像组成一组相邻图像对。可以根据视频流中包含的多组所述相邻图像对的粒子轨迹，得到视频流中的粒子轨迹。一种实施方式中，可以计算视频流中两两相邻的图像之间的粒子轨迹，从而得到在视频流中多个相邻图像之间的粒子轨迹后，得到视频流中的粒子轨迹。
89.示例性地，图4a为视频流中的任意一帧图像；在图像采集设备的运动信息为图3a至图3d所示的运动信息的情况下，可以首先针对视频流中的各帧图像，采用光流法进行粒子跟踪，得到图4b所示的粒子跟踪的初步结果，粒子跟踪的初步结果包括多个粒子轨迹。
90.在得到图4b所示的粒子跟踪的初步结果后，可以根据图像采集设备在视频流的采集时段内的运动信息，对图4b所示的粒子跟踪的初步结果进行运动补偿，得到图4c所示的
粒子轨迹。
91.在相关技术中，由于图像采集设备的运动，会导致第一目标帧图像和第二目标帧图像对应的粒子跟踪的初步结果出现错误，从而影响粒子跟踪结果的准确性和可靠性。而在本公开实施例中，可以根据图像采集设备在第一目标帧图像的采集时刻与第二目标帧图像的采集时刻之间的运动信息，对视频流中的粒子进行粒子跟踪，得到准确的粒子轨迹。
92.在本公开的一些实施例中，参照图5，确定图像采集设备在第一目标帧图像的采集时刻与第二目标帧图像的采集时刻之间的运动信息的流程可以包括：
93.步骤1031：根据上述位置关系，确定第二目标帧图像相对于第一目标帧图像的图像变换幅度，图像变换幅度包括旋转量和/或平移量。
94.这里，第二目标帧图像相对于第一目标帧图像的旋转量可以是第二目标帧图像相对于第一目标帧图像逆时针旋转的角度，也可以是第二目标帧图像相对于第一目标帧图像顺时针旋转的角度；第二目标帧图像相对于第一目标帧图像的平移量可以通过像素个数表示，在本公开实施例中，在图像的分辨率不变的情况下，图像中像素的大小是固定不变的。
95.步骤1032：将图像变换幅度作为图像采集设备在第一目标帧图像的采集时刻与第二目标帧图像的采集时刻之间的运动信息。
96.可以理解地，第一目标帧图像的背景和第二目标帧图像的背景通常是静止的背景，因此，第一目标帧图像的背景和所述第二目标帧图像的背景中匹配的特征点之间的位置关系，可以准确反映出图像采集设备在第一目标帧图像的采集时刻与第二目标帧图像的采集时刻之间的运动信息，即，根据第一目标帧图像的背景和所述第二目标帧图像的背景中匹配的特征点之间的位置关系，可以准确地得出图像采集设备在第一目标帧图像的采集时刻与第二目标帧图像的采集时刻之间的运动信息。
97.在本公开的一些实施例中，参照图6，确定第二目标帧图像相对于第一目标帧图像的图像变换幅度的流程可以包括：
98.步骤10311：获取用于表示第一目标帧图像的图像变换幅度的至少一个变量。
99.步骤10312：确定按照上述至少一个变量对第一目标帧图像进行图像变换的变换后图像；以降低变换后图像的背景和第二目标帧图像的背景中的匹配的特征点的位置差异为目标，确定上述至少一个变量的值。
100.步骤10313：根据上述至少一个变量的值，确定第二目标帧图像相对于第一目标帧图像的图像变换幅度。
101.这里，上述至少一个变量可以是上述旋转量和平移量中的至少一项。示例性地，可以根据式(1)确定第二目标帧图像相对于第一目标帧图像的旋转量r的值、以及第二目标帧图像相对于第一目标帧图像的平移量t的值：
[0102][0103]
式(1)中，n表示第一目标帧图像的背景和第二目标帧图像的背景匹配的特征点的数量，pi'表示第二目标帧图像的背景中第i个匹配的特征点的位置，p
i0
表示第一目标帧图像的背景中第i个匹配的特征点的位置，||
·
||2表示2范数。
[0104]
可以理解地，本公开实施例中，在以降低变换后图像的背景和第二目标帧图像的
背景中的匹配的特征点的位置差异为目标，确定上述至少一个变量的值的情况下，根据上述至少一个变量的值，可以准确地确定第二目标帧图像相对于第一目标帧图像的图像变换幅度。
[0105]
在本公开的一些实施例中，在确定所述第一目标帧图像的背景和所述第二目标帧图像的背景中匹配的特征点后，可以去除第一目标帧图像的背景和所述第二目标帧图像的背景中匹配的特征点中错误匹配的特征点，得到修正后的特征点匹配对；然后，根据修正后的特征点匹配对，确定图像采集设备在第一目标帧图像的采集时刻与第二目标帧图像的采集时刻之间的运动信息。
[0106]
示例性地，可以利用随机抽样一致性(random sample consensus，ransac)方法去除第一目标帧图像的背景和所述第二目标帧图像的背景中匹配的特征点中错误匹配的特征点。
[0107]
可以理解地，通过去除第一目标帧图像的背景和所述第二目标帧图像的背景中匹配的特征点中错误匹配的特征点，有利于准确地得出图像采集设备在两帧图像的采集时刻之间的运动信息，进而有利于准确地对视频流中的粒子进行粒子跟踪。
[0108]
在一些实施例中，在第二目标帧图像为第一目标帧图像和第二目标帧图像中较晚采集的图像的情况下，参照图7，确定第一目标帧图像与第二目标帧图像之间的粒子轨迹的流程可以包括：
[0109]
步骤1041：根据上述运动信息，对第二目标帧图像中的前景进行修正，得到修正后的第二目标帧图像。
[0110]
步骤1042：针对第一目标帧图像的前景和修正后的第二目标帧图像的前景，进行粒子跟踪，得到第一目标帧图像与第二目标帧图像之间的粒子轨迹。
[0111]
可以理解地，由于图像采集设备的运动，会导致第一目标帧图像和第二目标帧图像对应的粒子跟踪的初步结果出现错误，针对该问题，本公开实施例中可以首先根据图像采集设备在第一目标帧图像的采集时刻与第二目标帧图像的采集时刻之间的运动信息，对第二目标帧图像中的前景进行修正，可以使第一目标帧图像和修正后的第二目标帧图像之间的粒子运动信息与图像采集设备的运动信息解耦，从而，能够更加准确地得出两帧图像之间的粒子轨迹。
[0112]
例如，在图像采集设备的运动信息为图3a至图3d所示的运动信息的情况下，首先可以根据图像采集设备在视频流的采集时段内的运动信息，对图像采集设备采集的图像中的前景进行修正，然后，针对修正后的图像进行粒子跟踪，得到图4d所示的粒子轨迹；图4c所示的粒子轨迹相比，图4d所示的粒子轨迹更加符合预期。
[0113]
在本公开的一些实施例中，可以根据上述视频流中的粒子轨迹，重建上述视频流的粒子效果。
[0114]
示例性地，在得出视频流中的粒子轨迹后，可以对粒子轨迹利用二次函数或直线进行拟合，得到经参数化处理的粒子轨迹；对经参数化处理的粒子轨迹可以进行轨迹聚类，得到轨迹聚类结果；轨迹聚类结果中的每一簇表示一类粒子，例如，在粒子为烟花粒子的情况下；轨迹聚类结果中的每一簇表示同一种烟花的轨迹。
[0115]
在得到轨迹聚类结果后，可以针对轨迹聚类结果中的每一簇中的粒子，进行运动建模，从而针对轨迹聚类结果中的每一簇，重建粒子运动信息，即实现上述视频流的粒子效
果的重建。
[0116]
可以看出，本公开实施例根据准确得出的粒子轨迹，可以准确重建上述视频流的粒子效果，使重建后的粒子效果接近原视频流的粒子效果，重建后的粒子效果可以准确反映出粒子系统的基本信息。
[0117]
本公开实施例中，针对图像采集设备存在位移的情况下采集的视频流，可以通过视频流中两帧图像的背景中相互匹配的特征点，进行粒子跟踪，进而重建视频流的粒子效果。在视频流为烟花的视频的情况下，即使在拍摄烟花的视频的过程中出现了图像采集设备的移动，通过本公开实施例的方案可以准确确定出图像采集设备的运动信息，进而可以准确地还原出视频流中烟花的实际位姿信息。
[0118]
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0119]
在前述实施例提出的图像处理方法的基础上，本公开实施例提出了一种图像处理装置。
[0120]
图8为本公开实施例的图像处理装置的组成结构示意图，如图8所示，该装置可以包括：获取模块800、第一处理模块801、第二处理模块802和第三处理模块803；其中，
[0121]
获取模块800，用于获取图像采集设备采集的具有粒子效果的视频流；
[0122]
第一处理模块801，用于分别提取所述第一目标帧图像的背景和所述第二目标帧图像的背景；
[0123]
第二处理模块802，用于提取所述第一目标帧图像的背景中的特征点、以及所述第二目标帧图像的背景中的特征点；根据所述第一目标帧图像的背景和所述第二目标帧图像的背景中匹配的特征点之间的位置关系，确定所述图像采集设备在所述第一目标帧图像的采集时刻与所述第二目标帧图像的采集时刻之间的运动信息；
[0124]
第三处理模块803，用于根据所述运动信息，确定所述第一目标帧图像与所述第二目标帧图像之间的粒子轨迹。
[0125]
在一些实施例中，所述第二处理模块802，用于根据所述第一目标帧图像的背景和所述第二目标帧图像的背景中匹配的特征点之间的位置关系，确定所述图像采集设备在所述第一目标帧图像的采集时刻与所述第二目标帧图像的采集时刻之间的运动信息，包括：
[0126]
根据所述位置关系，确定所述第二目标帧图像相对于所述第一目标帧图像的图像变换幅度，将所述图像变换幅度作为所述运动信息；所述图像变换幅度包括旋转量和/或平移量。
[0127]
在一些实施例中，所述第二处理模块802，用于根据所述位置关系，确定所述第二目标帧图像相对于所述第一目标帧图像的图像变换幅度，包括：
[0128]
获取用于表示所述第一目标帧图像的图像变换幅度的至少一个变量；
[0129]
确定按照所述至少一个变量对所述第一目标帧图像进行图像变换的变换后图像；以降低所述变换后图像的背景和所述第二目标帧图像的背景中的匹配的特征点的位置差异为目标，确定所述至少一个变量的值；
[0130]
根据所述至少一个变量的值，确定所述第二目标帧图像相对于所述第一目标帧图像的图像变换幅度。
[0131]
在一些实施例中，所述第二处理模块802，还用于在确定所述第一目标帧图像的背景和所述第二目标帧图像的背景中匹配的特征点后，去除所述第一目标帧图像的背景和所述第二目标帧图像的背景中匹配的特征点中错误匹配的特征点。
[0132]
在一些实施例中，所述第三处理模块803，用于根据所述运动信息，确定所述第一目标帧图像与所述第二目标帧图像之间的粒子轨迹，包括：
[0133]
根据所述运动信息，对所述第二目标帧图像中的前景进行修正，得到修正后的第二目标帧图像；
[0134]
对所述第一目标帧图像的前景和所述修正后的第二目标帧图像的前景进行粒子跟踪，得到所述第一目标帧图像与所述第二目标帧图像之间的粒子轨迹。
[0135]
在一些实施例中，所述第一目标帧图像和所述第二目标帧图像为所述视频流中每组相邻图像；
[0136]
相应地，所述第三处理模块803，还用于在确定所述第一目标帧图像与所述第二目标帧图像之间的粒子轨迹后，根据所述每组相邻图像中两帧图像之间的粒子轨迹，得到所述视频流中的粒子轨迹。
[0137]
在一些实施例中，所述第三处理模块803，还用于根据所述视频流中的粒子轨迹，重建所述视频流的粒子效果。
[0138]
实际应用中，获取模块800、第一处理模块801、第二处理模块802和第三处理模块803均可以利用电子设备中的处理器实现，上述处理器可以为asic、dsp、dspd、pld、fpga、cpu、控制器、微控制器、微处理器中的至少一种。
[0139]
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
[0140]
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0141]
具体来讲，本实施例中的一种图像处理方法对应的计算机程序指令可以被存储在光盘，硬盘，u盘等存储介质上，当存储介质中的与一种图像处理方法对应的计算机程序指令被一电子设备读取或被执行时，实现前述实施例的任意一种图像处理方法。
[0142]
基于前述实施例相同的技术构思，参见图9，其示出了本公开实施例提供的一种电子设备90，可以包括：存储器901和处理器902；其中，
[0143]
所述存储器901，用于存储计算机程序和数据；
[0144]
所述处理器902，用于执行所述存储器中存储的计算机程序，以实现前述实施例的任意一种图像处理方法。
[0145]
在实际应用中，上述存储器901可以是易失性存储器(volatile memory)，例如
ram；或者非易失性存储器(non-volatile memory)，例如rom，快闪存储器(flash memory)，硬盘(hard disk drive，hdd)或固态硬盘(solid-state drive，ssd)；或者上述种类的存储器的组合，并向处理器902提供指令和数据。
[0146]
上述处理器902可以为asic、dsp、dspd、pld、fpga、cpu、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本公开实施例不作具体限定。
[0147]
本公开实施例还提供了一种计算机程序，包括计算机可读代码，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行用于实现上述任意一种图像处理方法。
[0148]
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
[0149]
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述
[0150]
本技术所提供的各方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
[0151]
本技术所提供的各产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
[0152]
本技术所提供的各方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
[0153]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0154]
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。