多相机观测目标的方法和系统、智能电子设备与流程

本发明涉及多相机观测技术，更具体地，涉及多相机观测目标的方法、多相机观测目标的系统、以及智能电子设备。

背景技术：

多相机观测技术涉及的研究领域包括数据融合、模式识别等领域。多相机观测技术作为多摄像机的目标定位基础技术，可以应用到室内虚拟虚拟现实设备(手柄、穿戴式传感器等)的定位跟踪、机器人定位等场景。

在多相机观测技术中，处理低密度多目标定位和跟踪问题已取得长足的进展，但对于高密度目标定位仍然存在诸多问题。主要问题包括目标被其它物体遮挡或目标与目标之间互相遮挡导致检测误差、目标与目标相互靠近导致的目标标签混乱、多相机之间的投影误差等。这些问题导致的一个后果是同一目标在某两个或者多个相机中的观测结果不一致，即来自不同相机的观测结果在同一参考平面(例如地平面)的投影不能汇聚于一点。目前解决多相机观测不一致的主要方法包括特征匹配、极几何约束、对不同相机中同一目标的外貌进行建模等。

技术实现要素：

本发明的目的在于提供一种多相机观测技术，以提高多相机观测同一目标的一致性。

根据本发明的第一方面，提供了一种多相机观测目标的方法，包括以下步骤：

获取各个相机的初始目标观测结果，所述相机的初始目标观测结果是通过对相机拍摄的图像进行目标检测得到的目标在图像中的位置；

按照公式对相机的目标观测结果进行迭代修正，直至全部相机的目标观测结果满足一致条件；

其中，1≤i≤N，N为相机总个数，i代表第i个相机，j代表第j个相机，i≠j，k≥1；是第i个相机的第k次修正后的目标观测结果，是第i个相机的第k-1次修正后的目标观测结果，是依据第j个相机与第i个相机的映射关系，将第j个相机的第k-1次修正后的目标观测结果映射到第i个相机上得到的目标观测结果，是第i个相机的初始目标观测结果，ω_j→i为第j个相机对第i个相机的修正权重，ε为收敛系数；

所述一致条件为ξ为设定的阈值。

可选地，所述初始目标观测结果表现为检测矩形框的底边中心点的坐标。

可选地，所述第j个相机对第i个相机的修正权重ω_j→i是通过以下方式计算获得：

按照计算第j个相机对第i个相机的修正可行度H_j→i，其中，P_j→i是第j个相机拍摄的图像的灰度直方图与第i个相机拍摄的图像的灰度直方图的相似度，Q_j是第j个相机拍摄的图像中目标被遮挡的程度；

计算除第i个相机之外的其它各个相机对第i个相机的修正可行度的和值H；

按照ω_j→i＝H_j→i/H计算出第j个相机对第i个相机的修正权重ω_j→i。

可选地，在对各个相机的目标观测结果进行迭代修正之前，还包括利用相机之间的映射关系从空间上排除错误的初始目标观测结果的步骤。

根据本发明的第二方面，提供了一种智能电子设备，包括处理器和存储器；

所述存储器用于存储指令，所述指令用于控制所述处理器进行操作以执行根据权利要求1-4任一项所述的多相机观测目标的方法。

根据本发明的第三方面，提供了一种多相机观测目标的系统，包括以下模块：

初始目标观测结果获取模块，用于获取各个相机的初始目标观测结果，所述相机的初始目标观测结果是通过对相机拍摄的图像进行目标检测得到的目标在图像中的位置；

目标观测结果修正模块，用于按照公式对相机的目标观测结果进行迭代修正，直至全部相机的目标观测结果满足一致条件；

其中，1≤i≤N，N为相机总个数，i代表第i个相机，j代表第j个相机，i≠j，k≥1；是第i个相机的第k次修正后的目标观测结果，是第i个相机的第k-1次修正后的目标观测结果，是依据第j个相机与第i个相机的映射关系，将第j个相机的第k-1次修正后的目标观测结果映射到第i个相机上得到的目标观测结果，是第i个相机的初始目标观测结果，ω_j→i为第j个相机对第i个相机的修正权重，ε为收敛系数；

所述一致条件为ξ为设定的阈值。

可选地，所述初始目标观测结果表现为检测矩形框的底边中心点的坐标。

可选地，所述系统还包括修正权重计算模块；

所述修正权重计算模块，用于按照计算第j个相机对第i个相机的修正可行度H_j→i，其中，P_j→i是第j个相机拍摄的图像的灰度直方图与第i个相机拍摄的图像的灰度直方图的相似度，Q_j是第j个相机拍摄的图像中目标被遮挡的程度；计算除第i个相机之外的其它各个相机对第i个相机的修正可行度的和值H；按照ω_j→i＝H_j→i/H计算出第j个相机对第i个相机的修正权重ω_j→i。

可选地，所述系统还包括初始目标观测结果预处理模块；

所述初始目标观测结果预处理模块，用于在所述目标观测结果修正模块进行修正之前，利用相机之间的映射关系从空间上排除错误的初始目标观测结果。

本发明提供的多相机观测目标的技术方案，利用加权一致算法修正目标观测结果，提高了多个相机观测目标的一致性。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的多相机观测目标的方法的流程示意图。

图2示出了本发明另一实施例提供的多相机观测目标的方法的流程示意图。

图3示出了本发明实施例提供的多相机观测目标的系统的框图。

图4示出了本发明另一实施例提供的多相机观测目标的系统的框图。

图5示出了本发明实施例提供的智能电子设备的硬件配置的框图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

参考图1说明本发明实施例提供的多相机观测目标的方法，包括以下步骤：

101、获取各个相机的初始目标观测结果，所述相机的初始目标观测结果是通过对相机拍摄的图像进行目标检测得到的目标在图像中的位置。

在一个实施例中，所述初始目标观测结果表现为检测矩形框的底边中心点的坐标。对相机拍摄的图像进行目标检测得到目标在图像中的位置，例如进行目标检测并绘制出代表目标的检测矩形框，得到检测矩形框的底边中心点的坐标，用矩形框的底边中心点的坐标作为目标在图像中的位置。对相机拍摄的图像进行目标检测得到的目标在图像中的位置，为本领域常用技术，这里不再赘述。

102、按照第一公式对相机的目标观测结果进行迭代修正，直至全部相机的目标观测结果满足一致条件；

其中，1≤i≤N，N为相机总个数，i代表第i个相机，j代表第j个相机，i≠j，k≥1；是第i个相机的第k次修正后的目标观测结果，是第i个相机的第k-1次修正后的目标观测结果，是依据第j个相机与第i个相机的映射关系，将第j个相机的第k-1次修正后的目标观测结果映射到第i个相机上得到的目标观测结果，是第i个相机的初始目标观测结果，ω_j→i为第j个相机对第i个相机的修正权重，ε为收敛系数，ε为经验常数，本领域技术人员可以根据实际应用需求进行设定。

所述一致条件为ξ为设定的阈值，ξ可以根据实际需要进行设定。

相机与另一相机之间的映射关系为单应性矩阵。

同一目标的观测结果的不一致性的主要原因是相机之间的映射误差和相机自身的目标检测误差，其中映射误差是由于相机之间的映射关系(单应性矩阵)不够准确导致，目标检测误差可能由于目标被其它物体挡住或者该目标与其它目标互相遮挡导致，也可能是由于检测算法的不准确造成。

可以通过以下方式计算所述第j个相机对第i个相机的修正权重ω_j→i：

(a)按照计算第j个相机对第i个相机的修正可行度H_j→i，其中，P_j→i是第j个相机拍摄的图像的灰度直方图与第i个相机拍摄的图像的灰度直方图的相似度，Q_j是第j个相机拍摄的图像中目标被遮挡的程度；

(b)计算除第i个相机之外的其它各个相机对第i个相机的修正可行度的和值H；

(c)按照ω_j→i＝H_j→i/H计算出第j个相机对第i个相机的修正权重ω_j→i。

H_j→i是第j个相机对第i个相机的修正可行度，计算H_j→i时从遮挡度和灰度直方图两个维度进行衡量，遮挡度Q_j越大，说明第j个相机的目标感测结果可能越不精确，第j个相机对第i个相机的修正可行度越小；灰度直方图相似度P_j→i越大，说明第j个相机的目标感测结果对于第i个相机来说更可信，第j个相机对第i个相机的修正可行度越大，通过这种方式综合衡量第j个相机对第i个相机的修正可行度。ω_j→i＝H_j→i/H相当于将其它各个相机对第i个相机的修正可行度进行了归一化处理，使得即除第i个相机之外的其它各个相机对第i个相机的修正权重的和值为1。

步骤102中，ε控制收敛速度，ε越大收敛速度越大。在第k次迭代中，第i个相机传递第k-1次修正后的目标观测结果给其它各个相机，同时也接收来自其它各个相机的第k-1次修正后的目标观测结果。

将除第i个相机之外的其它各个相机的第k-1次修正后的目标观测结果映射到第i个相机上，得到除第i个相机之外的其它各个相机的第k-1次修正后的目标观测结果映射到第i个相机上的目标观测结果。利用除第i个相机之外的其它各个相机的第k-1次修正后的目标观测结果映射到第i个相机上的目标观测结果，去修正第i个相机的目标观测结果。

例如：一共有三台相机对同一目标进行观测，则：

对于第一台相机，第一公式展开为：

对于第二台相机，第一公式展开为：

对于第三台相机，第一公式展开为：

按照上述展开的第一公式(1)、第一公式(2)、第一公式(3)分别对三个相机的目标观测结果进行迭代修正，直到第一相机的目标观测结果满足并且第二相机的目标观测结果满足并且第三相机的目标观测结果满足即全部相机都满足则认为全部相机的观测结果满足一致性。

本发明的多相机观测目标的方法，利用一致算法对目标观测结果进行迭代修正，融合来自不同相机之间的投影信息，直至全部相机的目标观测结果满足一致条件，提高了多相机观测目标的一致性。可选地，本发明对多相机的初始目标观测结果进行迭代处理，从遮挡度、灰度多个维度对检测算法进行修正，减轻了检测算法带来了错误，优化了目标标签一致性，为后续的目标处理提供了良好的数据输入。

参考图2说明本发明另一实施例提供的多相机观测目标的方法，包括以下步骤：

201、输入各个相机拍摄的图像。

202、对各个相机拍摄的图像进行检测，得到各个相机的初始目标观测结果。

203、对初始目标观测结果进行预处理。

204、用一致算法进一步修正目标观测结果。

可以看出，这一实施例和前一实施非常类似，其主要区别在于，这一实施例对初始目标观测结果进行了预处理，所述预处理是指利用相机之间的映射关系从空间上排除错误的初始目标观测结果。这一过程的实质在于，可以将各个相机的初始目标观测结果映射到同一参考平面(例如地平面或者某一个相机的屏幕平面)中，可以很容易地在空间上排除不可能的初始目标观测结果。

对于本领域技术人员来说，可以通过硬件方式、软件方式或软硬件结合的方式实现前述多相机观测目标的方法。基于同一发明构思，参考图3和图4介绍本发明实施例的多相机观测目标的系统，以执行前述多相机观测目标的方法。

参考图3说明本发明实施例提供的多相机观测目标的系统，包括以下模块：

初始目标观测结果获取模块11，用于获取各个相机的初始目标观测结果，所述相机的初始目标观测结果是通过对相机拍摄的图像进行目标检测得到的目标在图像中的位置；

目标观测结果修正模块12，用于按照公式对相机的目标观测结果进行迭代修正，直至全部相机的目标观测结果满足一致条件；

其中，1≤i≤N，N为相机总个数，i代表第i个相机，j代表第j个相机，i≠j，k≥1；是第i个相机的第k次修正后的目标观测结果，是第i个相机的第k-1次修正后的目标观测结果，是依据第j个相机与第i个相机的映射关系，将第j个相机的第k-1次修正后的目标观测结果映射到第i个相机上得到的目标观测结果，是第i个相机的初始目标观测结果，ω_j→i为第j个相机对第i个相机的修正权重，ε为收敛系数；

所述一致条件为ξ为设定的阈值。

可选地，所述初始目标观测结果表现为检测矩形框的底边中心点的坐标。

参考图4说明本发明另一实施例提供的多相机观测目标的系统，包括以下模块：

初始目标观测结果获取模块21，用于获取各个相机的初始目标观测结果，所述相机的初始目标观测结果是通过对相机拍摄的图像进行目标检测得到的目标在图像中的位置。

初始目标观测结果预处理模块22，用于在所述目标观测结果修正模块进行修正之前，利用相机之间的映射关系从空间上排除错误的初始目标观测结果。

修正权重计算模块24，用于按照计算第j个相机对第i个相机的修正可行度H_j→i，其中，P_j→i是第j个相机拍摄的图像的灰度直方图与第i个相机拍摄的图像的灰度直方图的相似度，Q_j是第j个相机拍摄的图像中目标被遮挡的程度；计算除第i个相机之外的其它各个相机对第i个相机的修正可行度的和值H；按照ω_j→i＝H_j→i/H计算出第j个相机对第i个相机的修正权重ω_j→i。

目标观测结果修正模块23，用于按照公式对相机的目标观测结果进行迭代修正，直至全部相机的目标观测结果满足一致条件；

其中，1≤i≤N，N为相机总个数，i代表第i个相机，j代表第j个相机，i≠j，k≥1；是第i个相机的第k次修正后的目标观测结果，是第i个相机的第k-1次修正后的目标观测结果，是依据第j个相机与第i个相机的映射关系，将第j个相机的第k-1次修正后的目标观测结果映射到第i个相机上得到的目标观测结果，是第i个相机的初始目标观测结果，ω_j→i为第j个相机对第i个相机的修正权重，ε为收敛系数；

所述一致条件为ξ为设定的阈值。

可选地，所述初始目标观测结果表现为检测矩形框的底边中心点的坐标。

图5是显示可用于实现本发明的实施例的智能电子设备的硬件配置的例子的框图。智能电子设备300包括处理器3010、存储器3020、接口装置3030、通信装置3040、显示装置3050、输入装置3060、扬声器3070、麦克风3080，等等。

存储器3020用于存储指令，所述指令用于控制处理器3010进行操作以执行根据前述任一项所述的多相机观测目标的方法。

处理器3010例如可以是中央处理器CPU、微处理器MCU等。存储器3020例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置3030例如包括USB接口、耳机接口等。通信装置3040例如能够进行有线或无线通信。显示装置3050例如是液晶显示屏、触摸显示屏等。输入装置3060例如可以包括触摸屏、键盘等。用户可以通过扬声器3070和麦克风3080输入/输出语音信息。

图5所示的智能电子设备仅是解释性的，并且决不是为了要限制本发明、其应用或用途。本领域技术人员应当理解，尽管在图5中示出了多个装置，但是，本发明可以仅涉及其中的部分装置。本领域技术人员可以根据本发明所公开方案设计指令，指令如何控制处理器进行操作是本领域公知技术，故在此不再详细描述。

本发明的多相机观测目标的技术方案，利用一致算法对目标观测结果进行迭代修正，融合来自不同相机之间的投影信息，直至全部相机的目标观测结果满足一致条件，提高了多相机观测目标的一致性。可选地，本发明对多相机的初始目标观测结果进行迭代处理，从遮挡度、灰度多个维度对检测算法进行修正，减轻了检测算法带来了错误，优化了目标标签一致性，为后续的目标处理提供了良好的数据输入。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。但本领域技术人员应当清楚的是，上述各实施例可以根据需要单独使用或者相互结合使用。另外，对于装置实施例而言，由于其是与方法实施例相对应，所以描述得比较简单，相关之处参见方法实施例的对应部分的说明即可。以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可是不是物理上分开的。

另外，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本发明实施例所提供的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

虽然已经通过例子对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。