使用神经网络放置对象的技术的制作方法

至少一个实施例涉及处理用于控制自主设备放置对象的资源。例如，至少一个实施例涉及处理器或计算系统，其使用一个或更多个神经网络来使自主设备根据本文描述的各种新颖技术来放置对象。

背景技术：

1、使自主设备放置和/或重新布置对象可能使用大量的存储器、时间或计算资源。可以提高用于使自主设备放置对象的存储器、时间或计算资源的数量和/或对象放置的准确性。

技术实现思路

技术特征：

1.一种处理器，包括：

2.根据权利要求1所述的处理器，其中所述一个或更多个图像包括所述一个或更多个对象的目标位置和方向的图像，并且所述一个或更多个电路用于使所述一个或更多个自主设备至少部分地基于识别所述一个或更多个对象的当前位置和方向的一个或更多个第一图像中的像素与所述一个或更多个对象的所述目标位置和方向的第二图像中的像素之间的对应关系，将所述一个或更多个对象放置在所述位置和方向上。

3.根据权利要求1所述的处理器，其中所述一个或更多个电路用于使所述一个或更多个自主设备至少部分地基于当前图像到所述一个或更多个图像中的至少一个图像的变换来放置所述一个或更多个对象。

4.根据权利要求1所述的处理器，其中所述一个或更多个电路用于使所述一个或更多个自主设备进一步至少部分地基于像素深度信息，将所述一个或更多个对象放置在所述位置和方向上。

5.根据权利要求1所述的处理器，其中所述一个或更多个图像是包括像素深度值的一个或更多个彩色图像。

6.根据权利要求1所述的处理器，其中所述一个或更多个电路用于使所述一个或更多个自主设备至少部分地基于一个或更多个光流估计来放置所述一个或更多个对象。

7.根据权利要求1所述的处理器，其中所述一个或更多个电路用于识别所述一个或更多个对象中的一组对象，所述一个或更多个对象中的一组对象能被移动到所述位置和方向而不会与所述一个或更多个对象中的另一对象碰撞。

8.根据权利要求1所述的处理器，其中所述一个或更多个电路用于识别第一当前图像中的像素和第二图像中的像素之间的对应关系，以及使所述一个或更多个自主设备至少部分地基于所述对应关系来放置所述一个或更多个对象。

9.一种系统，包括：

10.根据权利要求9所述的系统，其中所述一个或更多个图像包括所述一个或更多个对象的目标位置和方向的彩色图像，并且所述一个或更多个处理器用于使所述一个或更多个自主设备至少部分地基于所述一个或更多个对象的当前位置和方向的一个或更多个图像以及所述一个或更多个对象的所述目标位置和方向的一个或更多个彩色图像，将所述一个或更多个对象放置在所述位置和方向上。

11.根据权利要求9所述的系统，其中所述一个或更多个图像包括具有所述一个或更多个对象的目标位置和方向的像素深度信息的彩色图像，并且所述一个或更多个处理器用于使所述一个或更多个自主设备至少部分地基于具有所述一个或更多个对象的当前位置和方向的像素深度信息的一个或更多个彩色图像，将所述一个或更多个对象放置在所述位置和方向上。

12.根据权利要求9所述的系统，其中所述一个或更多个处理器用于至少部分地基于所述一个或更多个图像生成像素的一个或更多个光流估计，并且所述一个或更多个处理器用于使所述一个或更多个自主设备至少部分地基于所述一个或更多个光流估计来放置所述一个或更多个对象。

13.根据权利要求9所述的系统，其中所述一个或更多个处理器用于将一个或更多个移动值指派给一个或更多个对象，所述一个或更多个对象能被移动到所述位置和方向而不会与另一对象碰撞，并且所述一个或更多个处理器用于使所述一个或更多个自主设备至少部分地基于所述一个或更多个移动值来移动对象。

14.根据权利要求9所述的系统，其中所述一个或更多个处理器用于至少部分地基于所述一个或更多个神经网络、两个或更多个当前图像和目标图像中的一个或更多个来估计光流，并且所述一个或更多个处理器用于使所述一个或更多个自主设备至少部分地基于所估计的光流来放置所述一个或更多个对象。

15.一种方法，包括：

16.根据权利要求15所述的方法，其中所述位置和方向的所述一个或更多个图像包括所述一个或更多个对象的目标位置和方向的图像，并且所述方法包括：使所述一个或更多个自主设备还至少部分地基于当前位置和方向的一个或更多个图像来放置所述一个或更多个对象。

17.根据权利要求15所述的方法，其中所述方法还包括：分割所述一个或更多个图像，至少部分地基于所分割的图像生成一个或更多个变换，以及使所述一个或更多个自主设备至少部分地基于所述一个或更多个变换来放置所述一个或更多个对象。

18.根据权利要求15所述的方法，其中所述方法还包括：至少部分地基于所述一个或更多个神经网络来估计从当前图像到目标图像的像素的光流，以及使所述一个或更多个自主设备至少部分地基于所估计的光流来放置所述一个或更多个对象。

19.根据权利要求15所述的方法，其中所述方法还包括：从一组非碰撞对象中选择要移动的对象。

20.根据权利要求15所述的方法，其中使用所述一个或更多个神经网络以使一个或更多个自主设备将一个或更多个对象放置在位置和方向上是在不使用所述一个或更多个对象的三维模型的情况下进行的。

21.一种机器可读介质，其上存储有一组指令，如果所述指令由一个或更多个处理器执行，则使所述一个或更多个处理器至少：

22.根据权利要求21所述的机器可读介质，其中所述一个或更多个图像包括所述一个或更多个对象的目标位置和方向的图像，并且如果所述指令由所述一个或更多个处理器执行，则使所述一个或更多个处理器至少部分地基于所述一个或更多个神经网络中的一个或更多个来至少估计从一个或更多个当前图像到所述目标位置和方向的图像的像素的一个或更多个光流，以及使所述一个或更多个自主设备至少部分地基于像素的一个或更多个估计的光流来放置所述一个或更多个对象。

23.根据权利要求21所述的机器可读介质，其中所述一个或更多个图像包括具有所述一个或更多个对象的目标位置和方向的像素的深度信息的彩色图像。

24.根据权利要求21所述的机器可读介质，其中如果所述指令由所述一个或更多个处理器执行，则使所述一个或更多个处理器至少部分地基于显示所述一个或更多个对象的当前位置和方向的一系列两个或更多个图像来至少迭代地选择所述一个或更多个对象中要被移动的两个或更多个对象。

25.根据权利要求21所述的机器可读介质，其中所述位置和方向的所述一个或更多个图像包括目标图像，并且如果所述指令由所述一个或更多个处理器执行，则使所述一个或更多个处理器至少生成从一个或更多个当前图像到所述目标图像的一个或更多个变换，以及使所述一个或更多个自主设备至少部分地基于所述一个或更多个变换来放置所述一个或更多个对象。

26.根据权利要求21所述的机器可读介质，其中如果所述指令由所述一个或更多个处理器执行，则使所述一个或更多个处理器至少部分地基于来自所述一个或更多个图像的目标图像和所述一个或更多个对象的当前位置和方向的第一图像，至少选择所述一个或更多个对象中要被移动的第一对象，以及至少部分地基于所述目标图像和所述一个或更多个自主设备移动所述第一对象后所述一个或更多个对象的当前位置和方向的第二图像，选择所述一个或更多个对象中要被移动的第二对象。

27.一种自主设备，包括：

28.根据权利要求27所述的自主设备，其中所述一个或更多个电路用于至少部分地基于所述一个或更多个神经网络中的一个或更多个来估计从当前图像到目标图像的像素的光流，以及使所述操纵器至少部分地基于像素的所估计的光流来放置所述一个或更多个对象。

29.根据权利要求27所述的自主设备，其中所述一个或更多个电路用于：分割当前图像，至少部分地基于所分割的当前图像和所述一个或更多个图像中的至少一个图像来生成一个或更多个变换，以及使所述操纵器至少部分地基于所述一个或更多个变换来放置所述一个或更多个对象。

30.根据权利要求27所述的自主设备，其中所述操纵器包括机器人手臂。

31.根据权利要求27所述的自主设备，其中所述位置和方向的所述一个或更多个图像是具有像素深度信息的彩色图像。

32.根据权利要求27所述的自主设备，其中所述一个或更多个电路用于使所述操纵器至少部分地基于当前位置和方向的第一图像和所述位置和方向的目标图像来移动所述一个或更多个对象中的第一对象，以及用于使所述操纵器至少部分地基于所述目标图像和在所述操纵器移动所述第一对象后捕获的当前位置和方向的第二图像来移动所述一个或更多个对象中的第二对象。

技术总结
本公开涉及使用神经网络放置对象的技术。用于将一个或更多个对象放置在位置和方向上的装置、系统和技术。在至少一个实施例中，一个或更多个电路用于使用一个或更多个神经网络以使一个或更多个自主设备至少部分地基于位置和方向的一个或更多个图像，将一个或更多个对象放置在位置和方向上。

技术研发人员：A·戈亚尔,A·穆萨维安,C·J·帕克斯顿,晁于伟,D·福克斯
受保护的技术使用者：辉达公司
技术研发日：
技术公布日：2024/1/13