对象关键点检测的制作方法

本发明涉及为医学检查确定三维对象关键点。

背景技术：

1、为受检者进行医学检查(例如，磁共振、超声、ct扫描等)做准备是一项耗时的任务，并且需要训练有素的操作人员。例如，在磁共振(mr)扫描中，操作人员必须将表面线圈放置在待成像的解剖结构上。需要适当地定义扫描平面以运行勘测扫描(survey scan)。为了定义扫描平面，通常在受检者设置(包括毯子、垫子、听力保护设施、护士呼叫)已经完成后使用遮光板。目标解剖结构的视图常常被设置阻挡。打开遮光板激光设备，并且利用设置将受检者移动到经标记的参考位置。然后操作人员按下按钮以激活扫描器并将坐标传输到扫描器。

2、最近，已经提出使用3d光学深度感测相机来简化该任务并使其自动化。然而，在有遮挡的场景中，这种方法有局限性。例如，当线圈被放置在待成像的解剖结构的顶部时，用深度感测相机鲁棒准确地确定被遮挡的解剖结构的3d位置是极其困难的，因为没有有效的深度读取结果可用。另外，深度读取结果仅适用于场景中最顶端的对象。光学深度相机无法“透视”对象。

3、因此，需要在医学检查期间获得重要关键点的准确可靠的3d坐标的系统。另外，需要能够获得被遮挡的关键点的3d坐标的系统。

4、ep 3693926公开了一种经过训练的网络，这种经过训练的网络用于根据患者的表面图像来估计患者的三维(3d)身体表面和身体区域。使用所估计的患者的3d身体表面来确定患者的等中心。使用所估计的身体区域来生成表示患者的可见身体区域边界和不可见身体区域边界的热图。

技术实现思路

1、本发明由权利要求来限定。

2、根据依据本发明的一个方面的示例，提供了一种用于获得在医学扫描器中的对象的对象关键点的系统，其中，所述对象关键点是预定对象部分关于所述医学扫描器的三维3d坐标，所述系统包括：

3、相机系统，其用于获得在所述医学扫描器中的所述对象的二维2d图像，其中，所述相机系统包括一个或多个相机；

4、处理器，其被配置为：

5、从所述医学扫描器和/或所述相机系统获得扫描器变量，其中，所述医学扫描器包含第一移动部分，并且/或者，其中，所述相机系统包含第二移动部分，并且其中，所述扫描器变量包括所述医学扫描器的所述第一移动部分的位置和/或所述相机系统的所述第二移动部分的位置；

6、基于来自所述相机系统的所述2d图像来确定2d坐标中的对象关键点投影；并且

7、通过基于所述扫描器变量关于所述相机系统对所述对象关键点投影进行三角测量来确定3d坐标中的所述对象关键点。

8、典型地，在医学扫描器(例如，mri扫描器)中，移动扫描器的一部分，以便扫描器扫描呈受检者的期望身体部分的形式的对象。例如，受检者可能在医学扫描器的扫描区段保持静止时躺在医学扫描器的工作台上。然后移动其顶部承载有受检者的工作台，使得期望的身体部分在扫描器的成像平面(或成像区段)中。

9、当然，如果受检者是静止的并且扫描器相对于受检者移动，那么扫描结果将是等效的。然后，相机可以随着扫描器移动，从而给出相机系统与对象之间变化的相对位置。在这种情况下，扫描器变量可以包含扫描器的位置和/或相机的位置。通常，扫描器变量包含医学扫描器和/或相机系统的移动部分的位置。

10、为了估计受检者关于医学扫描器的最佳定位，能够使用对象关键点。对象关键点可以包括身体部分(例如，头部、肩膀、肘部、手腕、臀部、膝盖、脚踝等)，并且/或者对象关键点可以包括佩戴在受检者身上或在受检者附近的对象(例如，线圈、ecg导联、头戴式设备等)。为了提高对受检者的定位的准确度，期望获得3d坐标中的对象关键点。

11、能够使用相机系统来获得在医学扫描器中的对象的2d图像。能够从与对象关键点相对应的2d图像中确定2d坐标中的对象关键点投影。相机系统可以包括一个相机或一个以上的相机。

12、另外，由于医学扫描器的移动，相机系统能够以不同的视点(例如，不同的角度)获得对象的2d图像。也能够从医学扫描器获得扫描器变量，所述扫描器变量量化医学扫描器的移动(例如，水平运动、垂直运动、运动角度等)。替代地，可以移动相机系统中的相机来获得不同的视点。

13、能够结合以不同的视点拍摄的2d图像(以及图像中的每幅图像的对象关键点投影)来使用扫描器变量以对对象关键点投影进行三角测量，并由此确定关于医学扫描器的3d坐标中的对象关键点。

14、例如，第一相机可以拍摄医学扫描器中的受检者的第一2d图像。可以确定第一2d图像中的与受检者的头部的中心相对应的第一点(例如，像素或像素组)(即，第一对象关键点投影)。对象关键点投影可以是3d对象关键点在第一2d图像上的投影。

15、随后，在通过医学扫描器的移动部分将受检者在医学扫描器中进行了移动之后，第一相机可以拍摄第二2d图像。扫描器变量包含医学扫描器的移动部分移动的距离(并由此包括受检者移动的距离)。可以确定第二2d图像中的与受检者的头部的中心相对应的第二点(即，第二对象关键点投影)。

16、因此，能够使用第一点和第二点对对象关键点投影进行三角测量，从而确定3d中的对象关键点。三角测量是指在给定一个点在两幅或更多幅图像上的投影的情况下在3d空间中确定这个点的过程。三角测量有时也被称为重建或相交。

17、2d图像中的每个点对应于3d空间中的从相机(或传感器)到3d坐标中的对应点的一条线。因此，3d中的线上的所有点都被投影到图像中的点。如果两幅图像中的一对点是公共3d点(即，对象关键点)的投影，那么这对点是对应的。因此，到这对点的两条线在3d坐标中的对象关键点处相交。

18、能够使医学扫描器的移动部分的移动等于第一相机的移动，因此能够假设：第一受检者没有移动，并且已经用第一相机获得了第一图像，并且已经用第一虚拟相机获得了第二图像，其中，能够基于医学扫描器的移动部分移动的距离来找到第一相机与第一虚拟相机之间的相对位置。

19、因此，能够确定来自第一相机的第一线(对应于第一点)和来自第一虚拟相机的第二线(对应于第二点)，其中，第一线与第二线在3d空间中的交点定义了对象关键点。

20、在某些情况下，这些线在3d空间中可能不相交(例如由于噪声、镜头畸变、对象关键点检测误差等)。在这些线不相交的情况下，可以将两条线之间的中点(即，使第一线与第二线之间的距离最小化的点)用作对象关键点。

21、本领域技术人员将意识到，在第一相机已经相对于受检者发生了移动之后，可以替代地用位于不同于第一相机的位置的第二相机获得第二图像。扫描器变量因此可以包含第一相机与第二相机之间的距离或者第一相机移动的距离。

22、3d坐标系关于医学扫描器是固定的，使得3d坐标系中的位置表示关于医学扫描器的(不可移动)部分的位置。因此，相对于医学扫描器来确定对象关键点的位置，因此扫描器正对其成像的受检者的部分是已知的。

23、处理器可以被配置为确定至少两个对象关键点投影。对象关键点投影可以是对象关键点在对应的2d图像上的投影。

24、相机系统中的每个相机可以具有对应的视场。

25、扫描器变量可以包括医学扫描器的部分的位置，该位置确定了相机系统中的相机与对象之间的相对位置。

26、所述处理器可以被配置为基于将所述图像输入到神经网络中来确定所述图像中的任一幅图像的对象关键点投影，其中，所述神经网络被配置为在所输入的图像中的每幅图像中输出所述对象关键点投影。

27、能够将神经网络训练为识别2d图像中的对象关键点投影并且输出每个对象关键点投影的2d坐标。另外，能够将神经网络训练为检测和/或识别对象关键点投影，即使它们在图像中被遮挡也能够被检测到和/或识别出。例如，受检者的肩膀可能被医学扫描器遮挡，因此受检者的图像不会示出肩膀。然而，神经网络能够学习对象关键点投影的关系之间的图案，并且基于例如另一肩膀和头部的位置并且通过使用网络已经学习的两个肩膀与头部之间的图案(即，它们之间的典型距离)来估计被遮挡的肩膀的位置。

28、所述神经网络可以被训练为学习与所述对象的不同部分相对应的对象关键点投影之间的关系。换句话说，神经网络可以被训练为学习特定对象关键点投影之间的空间关系。例如，对象可以是受检者，并且可以用在医学扫描器中的对象的图像和与受检者的不同身体部分相对应的多个对象关键点投影来训练神经网络。

29、所述神经网络可以基于u-net神经网络架构。

30、u-net网络由收缩路径和扩张路径组成。收缩路径类似于典型的卷积网络，其降低了维度并同时增加了收缩路径中的每层的特征信息。然后，扩张路径通过一系列上卷积和级联将增加的特征信息与空间信息进行组合，因此扩张路径中的每层都增加了数据的维度。

31、u-net神经网络是为了生物医学图像分割的目的而开发的，并且需要的训练数据量较少，同时产生出高精确度的输出。

32、所述相机系统包括恰好一个相机。扫描器部件的移动使得能够使用单个相机来获得对象关键点。

33、所述医学扫描器可以是磁共振成像mri扫描器，所述mri扫描器包括：用于定位受检者的工作台和用于获得医学图像的成像区段，并且其中，所述扫描器变量包括所述工作台相对于所述成像区段的位置。

34、还可以基于以下操作来确定所述对象关键点：基于在第一移动期间移动的距离对在所述第一移动前拍摄的图像中的所述对象关键点投影和在所述第一移动后拍摄的图像中的所述对象关键点投影进行三角测量。

35、例如，第一移动可以是mri扫描器上的工作台水平移动10厘米。能够在该移动前拍摄图像，并且能够在该移动后拍摄图像，并且能够为这两幅图像确定相应的对象关键点投影。能够计算这两幅图像之间的两个对应关键点(例如，头部)之间的明显位移，从而能够使用10厘米的真实距离对对象关键点投影进行三角测量，由此找到对应的对象关键点的3d坐标。

36、所述处理器还可以被配置为基于所述对象关键点来确定所述医学扫描器的成像参数。也可以以这种方式使用对象关键点来自动确定医学扫描器的成像参数。成像参数可以包括成像平面、扫描器的定位等。成像参数将取决于待成像的期望对象部分。

37、例如，如果医学扫描器的操作人员想要对l4椎骨进行成像，那么处理器能够使用臀部和肩膀与l4椎骨之间的典型距离来确定成像部分的定位(即，x、y、z定位)和角度，以便对l4椎骨进行成像。

38、本发明还提供了一种用于获得在医学扫描器中的对象的对象关键点的方法，其中，所述对象关键点是关于所述医学扫描器的三维3d坐标，所述方法包括：

39、从相机系统获得在所述医学扫描器中的所述对象的二维2d图像，其中，所述相机系统包括一个或多个相机；

40、从所述医学扫描器和/或所述相机系统获得扫描器变量，其中，所述医学扫描器包含第一移动部分，并且/或者，其中，所述相机系统包含第二移动部分，并且其中，所述扫描器变量包括所述医学扫描器的所述第一移动部分的位置和/或所述相机系统的所述第二移动部分的位置；

41、基于所述2d图像来确定2d坐标中的对象关键点投影；并且

42、通过基于所述扫描器变量关于所述相机系统对所述对象关键点投影进行三角测量来确定3d坐标中的所述对象关键点。

43、可以基于将所述图像输入到神经网络中来确定所述图像中的任一幅图像的所述对象关键点投影，其中，所述神经网络被配置为在所输入的图像中的每幅图像中输出所述对象关键点投影。

44、所述神经网络可以基于u-net神经网络架构。

45、所述相机系统可以包括一个相机。

46、所述医学扫描器可以是磁共振成像mri扫描器，所述mri扫描器包括用于定位对象的工作台和用于获得医学图像的成像区段，并且其中，所述扫描器变量包含所述工作台相对于所述成像区段的位置。

47、还可以基于以下操作来确定所述对象关键点：基于在第一移动期间移动的距离对在所述第一移动前拍摄的图像中的所述对象关键点投影和在所述第一移动后拍摄的图像中的所述对象关键点投影进行三角测量。

48、所述方法还可以包括基于所述对象关键点来确定所述医学扫描器的成像参数。

49、本发明还提供了一种包括计算机程序代码单元的计算机程序产品，所述计算机程序代码单元当在具有处理系统的计算设备上被运行时使所述处理系统执行上述方法的所有步骤。

50、参考下文描述的(一个或多个)实施例，本发明的这些方面和其他方面将变得明显并且得到阐明。