用于图像处理的集成视觉惯性里程计和图像稳定的制作方法

本公开内容涉及图像处理。

背景技术：

1、相机设备包括捕获帧(例如，图像和/或视频)的一个或多个相机。相机设备的示例包括独立的数字相机或数字视频摄像机、配备有相机的无线通信设备手机(诸如具有一个或多个相机的移动电话)、蜂窝或卫星无线电电话、配备有相机的个人数字助理(pda)、面板或平板设备、游戏设备、包括相机的计算机设备(诸如所谓的“网络摄像头”)或具有数字成像或视频能力的任何设备。

2、相机设备可以被配置为执行视觉惯性里程计(vio)，其用于基于由相机设备捕获的图像来估计相机设备的姿态和速度。相机设备还可以被配置为执行图像稳定以减少在曝光期间由相机设备的运动引起的模糊效应。

技术实现思路

1、概括而言，本公开内容描述了通过利用补偿相机设备的无意移动的跟踪滤波器来集成视觉惯性里程计(vio)和图像稳定的技术。滤波的结果可以是在没有无意移动的情况下的角速度和移动信息以对帧执行图像稳定。相机设备然后可以利用经图像稳定的帧来确定相机设备的位置和朝向作为vio的一部分。

2、通过集成vio和图像稳定，示例技术可以提高整体图像稳定，从而导致更好的图像质量和更少的模糊度，并且改善经由vio获得的位置和朝向(姿态)信息。此外，由于集成，可以共享用于vio和图像稳定的计算资源，从而导致更好的操作相机设备(例如，具有更少的功率利用率和更少的计算资源)。

3、在一个示例中，本公开内容描述了一种用于图像处理的设备，包括：存储器；以及耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置为：接收第一信息集合，所述第一信息集合基于所述设备跨越由所述设备捕获的当前帧和由所述设备捕获的后续帧的位置变化来指示所述设备的角速度和移动；对所述第一信息集合进行滤波以补偿所述设备的无意移动以生成第二信息集合，所述第二信息集合指示在没有无意移动的情况下所述设备的角速度和移动；基于所述第一信息集合和所述第二信息集合两者来对所述当前帧执行图像稳定，以生成经图像稳定的当前帧；以及输出所述经图像稳定的当前帧以用于显示。

4、在另一示例中，本公开内容描述了一种用于图像处理的方法，所述方法包括：接收第一信息集合，所述第一信息集合基于设备跨越由所述设备捕获的当前帧和由所述设备捕获的后续帧的位置变化来指示所述设备的角速度和移动；对所述第一信息集合进行滤波以补偿所述设备的无意移动以生成第二信息集合，所述第二信息集合指示在没有无意移动的情况下所述设备的角速度和移动；基于所述第一信息集合和所述第二信息集合两者来对所述当前帧执行图像稳定，以生成经图像稳定的当前帧；以及输出所述经图像稳定的当前帧以用于显示。

5、在另一示例中，本公开内容描述了一种在其上存储指令的计算机可读存储介质，所述指令在被执行时使得一个或多个处理器进行以下操作：接收第一信息集合，所述第一信息集合基于设备跨越由所述设备捕获的当前帧和由所述设备捕获的后续帧的位置变化来指示所述设备的角速度和移动；对所述第一信息集合进行滤波以补偿所述设备的无意移动以生成第二信息集合，所述第二信息集合指示在没有无意移动的情况下所述设备的角速度和移动；基于所述第一信息集合和所述第二信息集合两者来对所述当前帧执行图像稳定，以生成经图像稳定的当前帧；以及输出所述经图像稳定的当前帧以用于显示。

6、在另一示例中，本公开内容描述了一种用于图像处理的设备，包括：用于接收第一信息集合的单元，所述第一信息集合基于所述设备跨越由所述设备捕获的当前帧和由所述设备捕获的后续帧的位置变化来指示所述设备的角速度和移动；用于对所述第一信息集合进行滤波以补偿所述设备的无意移动以生成第二信息集合的单元，所述第二信息集合指示在没有无意移动的情况下所述设备的角速度和移动；用于基于所述第一信息集合和所述第二信息集合两者来对所述当前帧执行图像稳定，以生成经图像稳定的当前帧的单元；以及用于输出所述经图像稳定的当前帧以用于显示的单元。

7、在附图和以下描述中阐述了一个或多个示例的细节。根据描述、附图以及权利要求书，其它特征、目的和优点将是显而易见的。

技术特征：

1.一种用于图像处理的设备，所述设备包括：

2.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为：

3.根据权利要求1所述的设备，其中，接收所述第一信息集合包括接收统一变换矩阵中的所述信息，所述统一变换矩阵具有被集成到所述统一变换矩阵中的、指示所述设备的角速度和移动的信息。

4.根据权利要求1所述的设备，其中，接收所述第一信息集合包括：

5.根据权利要求1所述的设备，其中，对所述第一信息集合进行滤波包括：

6.根据权利要求1所述的设备，其中，执行图像稳定包括确定：

7.根据权利要求1所述的设备，其中，所述一个或多个处理器被配置为：从惯性移动单元(imu)接收角速度和移动信息，并且对所述角速度和移动信息进行滤波以生成所述第一信息集合。

8.根据权利要求1所述的设备，其中，所述设备包括具有一个或多个相机的移动电话。

9.一种用于图像处理的方法，所述方法包括：

10.根据权利要求9所述的方法，还包括：

11.根据权利要求9所述的方法，其中，接收所述第一信息集合包括接收统一变换矩阵中的所述信息，所述统一变换矩阵具有被集成到所述统一变换矩阵中的、指示所述设备的角速度和移动的信息。

12.根据权利要求9所述的方法，其中，接收所述第一信息集合包括：

13.根据权利要求9所述的方法，其中，对所述第一信息集合进行滤波包括：

14.根据权利要求9所述的方法，其中，执行图像稳定包括确定：

15.根据权利要求9所述的方法，还包括：

16.一种在其上存储指令的计算机可读存储介质，所述指令在被执行时使得一个或多个处理器进行以下操作：

17.根据权利要求16所述的计算机可读存储介质，还包括使得所述一个或多个处理器进行以下操作的指令：

18.根据权利要求16所述的计算机可读存储介质，其中，使得所述一个或多个处理器接收所述第一信息集合的所述指令包括使得所述一个或多个处理器进行以下操作的指令：接收统一变换矩阵中的所述信息，所述统一变换矩阵具有被集成到所述统一变换矩阵中的、指示所述设备的角速度和移动的信息。

19.根据权利要求16所述的计算机可读存储介质，其中，使得所述一个或多个处理器接收所述第一信息集合的所述指令包括使得所述一个或多个处理器进行以下操作的指令：

20.根据权利要求16所述的计算机可读存储介质，其中，使得所述一个或多个处理器对所述第一信息集合进行滤波的指令包括使得所述一个或多个处理器进行以下操作的指令：

21.根据权利要求16所述的计算机可读存储介质，其中，使得所述一个或多个处理器执行图像稳定的所述指令包括使得所述一个或多个处理器确定以下项的指令：

22.根据权利要求16所述的计算机可读存储介质，还包括使得所述一个或多个处理器进行以下操作的指令：

23.一种用于图像处理的设备，所述设备包括：

24.根据权利要求23所述的设备，还包括：

25.根据权利要求23所述的设备，其中，所述用于接收所述第一信息集合的单元包括：用于接收统一变换矩阵中的所述信息的单元，所述统一变换矩阵具有被集成到所述统一变换矩阵中的指示所述设备的角速度和移动的信息。

26.根据权利要求23所述的设备，其中，所述用于接收所述第一信息集合的单元包括：

27.根据权利要求23所述的设备，其中，对所述第一信息集合进行滤波包括：

28.根据权利要求23所述的设备，其中，所述用于执行图像稳定的单元包括用于确定以下项的单元：

29.根据权利要求23所述的设备，还包括：

30.根据权利要求23所述的设备，其中，所述设备包括具有一个或多个相机的移动电话。

技术总结
一种用于图像处理的示例方法包括：接收第一信息集合，第一信息集合基于设备跨越由设备捕获的当前帧和由设备捕获的后续帧的位置变化来指示设备的角速度和移动；对第一信息集合进行滤波以补偿设备的无意移动以生成第二信息集合，第二信息集合指示在没有无意移动的情况下设备的角速度和移动；基于第一信息集合和第二信息集合两者来对当前帧执行图像稳定，以生成经图像稳定的当前帧；以及输出经图像稳定的当前帧以用于显示。

技术研发人员：X·康,S·袁
受保护的技术使用者：高通股份有限公司
技术研发日：
技术公布日：2024/1/15