目标对象运动方向检测方法和装置的制造方法
【专利摘要】提供了目标对象运动方向检测方法和装置。所述方法包括：获取包含该目标对象的视频序列，并确定该目标对象在该视频序列的多个图像帧中的位置；在拍摄所述视频序列的图像采集装置的覆盖范围内设置多个基准向量，其中每个基准向量与根据拍摄的具体场景设定的参考向量之间的夹角满足预定条件；对于每个所述基准向量，根据目标对象在所述多个图像帧中的位置确定该目标对象在每一对相邻的图像帧间相对于该基准向量的运动方向，并根据目标对象在各对相邻的图像帧间相对于该基准向量的运动方向确定该目标对象相对于该基准向量的总体运动方向；根据该目标对象相对于各个基准向量的总体运动方向，确定该目标对象的运动方向。
【专利说明】
目标对象运动方向检测方法和装置
技术领域
[0001]本公开总体涉及计算机视觉领域，具体涉及目标对象运动方向检测方法和装置。 【背景技术】
[0002]基于人员的流动方向的客流统计对商场、超市等商业场所了解、调整自己的经营策略有着很重要的意义。目前，人员流动方向的检测方法通常是在商业场所的入口区域设置单个图像采集装置并在其中预先设定一条直线，随后根据人员是否以及沿哪一方向穿过该直线来判断人员的流动方向。然而，按照这一检测方法，当待检测人员(即目标对象)的运动轨迹不规律时，很容易产生漏判或误判。另一方面，当商业场所是不规则场地时，可能无法通过在单个图像采集装置中设定一条直线来简单的判断出待检测人员是否进入商业场所。比如，假设某一个商业场所位于一个十字路口的左右两侧，因此在十字路口向左转和向右转都可以进入该商业场所，此时通过在单个图像采集装置中预先设定一条直线无法检测出进入该商业场所的所有人员。
【发明内容】
[0003]考虑到上述问题而提出了本公开。
[0004]根据本公开的一个方面，提供了一种目标对象运动方向检测方法，包括:获取包含该目标对象的视频序列，并确定该目标对象在该视频序列的多个图像帧中的位置;在拍摄所述视频序列的图像采集装置的覆盖范围内设置多个基准向量，其中每个基准向量与根据拍摄的具体场景设定的参考向量之间的夹角满足预定条件;对于每个所述基准向量，根据目标对象在所述多个图像帧中的位置确定该目标对象在每一对相邻的图像帧间相对于该基准向量的运动方向，并根据目标对象在各对相邻的图像帧间相对于该基准向量的运动方向确定该目标对象相对于该基准向量的总体运动方向；根据该目标对象相对于各个基准向量的总体运动方向，确定该目标对象的运动方向。
[0005]根据本公开的另一个方面，提供了一种目标对象运动方向检测装置，包括:定位部件，配置为获取包含该目标对象的视频序列，并确定该目标对象在该视频序列的多个图像帧中的位置;设定部件，配置为在拍摄所述视频序列的图像采集装置的覆盖范围内设置多个基准向量，其中每个基准向量与根据拍摄的具体场景设定的参考向量之间的夹角满足预定条件;定向部件，配置为对于每个所述基准向量，根据目标对象在所述多个图像帧中的位置确定该目标对象在每一对相邻的图像帧间相对于该基准向量的运动方向，并根据目标对象在各对相邻的图像帧间相对于该基准向量的运动方向确定该目标对象相对于该基准向量的总体运动方向；检测部件，配置为根据该目标对象相对于各个基准向量的总体运动方向，确定该目标对象的运动方向。
[0006]根据本公开的又一个方面，提供了一种目标对象运动方向检测装置，包括:处理器;存储器;和存储在所述存储器中的计算机程序指令。所述计算机程序指令在被所述处理器运行时使得所述目标对象运动方向检测装置执行以下步骤:获取包含该目标对象的视频序列，并确定该目标对象在该视频序列的多个图像帧中的位置;在拍摄所述视频序列的图像采集装置的覆盖范围内设置多个基准向量，其中每个基准向量与根据拍摄的具体场景设定的参考向量之间的夹角满足预定条件;对于每个所述基准向量，根据目标对象在所述多个图像帧中的位置确定该目标对象在每一对相邻的图像帧间相对于该基准向量的运动方向，并根据目标对象在各对相邻的图像帧间相对于该基准向量的运动方向确定该目标对象相对于该基准向量的总体运动方向；根据该目标对象相对于各个基准向量的总体运动方向，确定该目标对象的运动方向。
[0007]根据本公开的再一个方面，提供了一种用于目标对象运动方向检测的计算机程序产品，包括计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令可由处理器执行以使得所述处理器:获取包含该目标对象的视频序列，并确定该目标对象在该视频序列的多个图像帧中的位置;在拍摄所述视频序列的图像采集装置的覆盖范围内设置多个基准向量，其中每个基准向量与根据拍摄的具体场景设定的参考向量之间的夹角满足预定条件;对于每个所述基准向量，根据目标对象在所述多个图像帧中的位置确定该目标对象在每一对相邻的图像帧间相对于该基准向量的运动方向，并根据目标对象在各对相邻的图像帧间相对于该基准向量的运动方向确定该目标对象相对于该基准向量的总体运动方向；根据该目标对象相对于各个基准向量的总体运动方向，确定该目标对象的运动方向。
[0008]根据本公开的目标对象运动方向检测方法、装置和计算机程序产品基于具体场景设置多个基准向量来检测目标对象的运动方向，从而能够准确地检测出目标对象的运动方向，进而提尚客流统计的准确性。【附图说明】
[0009]通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其它目的、 特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中， 相同的参考标号通常代表相同部件或步骤。
[0010]图1示意性地示出了根据本公开实施例的目标对象运动方向检测方法的流程图。
[0011]图2例示了在具体场景为某一场所的一个入口的情况下基准向量的示例性设置方式。
[0012]图3例示了在具体场景为摄像机覆盖范围内的某一穿行通道的情况下基准向量的示例性设置方式。
[0013]图4例示了在具体场景为进入某一场所的多个入口的多条道路的情况下基准向量的示例性设置方式。
[0014]图5示出了一个点相对于一个向量的可能的位置关系的示意图。
[0015]图6例示了目标对象在多帧中相对于一个向量的位置的示意图。
[0016]图7示出了根据本公开实施例的目标对象运动方向检测装置的示例性结构框图。
[0017]图8示出了用于实现根据本公开实施例的示例性目标对象运动方向检测装置的计算设备的框图。【具体实施方式】
[0018]为了使得本公开的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。基于本公开中描述的实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本公开的保护范围之内。
[0019]下面将参考图1对根据本公开实施例的目标对象运动方向检测方法进行详细的描述。图1示意性地示出了根据本公开实施例的目标对象运动方向检测方法的流程图。
[0020]如图1所示，在步骤S110,获取包含目标对象(待检测人员)的视频序列，并确定该目标对象在该视频序列的多个图像帧中的位置。
[0021]可以通过诸如立体相机、多目相机、普通相机等各种图像采集装置来拍摄包含目标对象的视频序列。以采用立体相机为例，在该步骤中，对于拍摄得到的深度视频，可以通过诸如模板匹配、SVM(支持向量机)、神经网络等各种本领域中常用的对象检测方法在包含目标对象的图像帧中确定目标对象的大小、形状和位置，随后基于目标对象的颜色信息、局部特征、或运动信息等对该目标对象进行跟踪，从而确定视频中包含有目标对象的视频序列，并确定该目标对象在其中的多个图像帧中的位置，该位置可以通过目标对象的二维坐标点来表示。
[0022]所述多个图像帧并非必须是视频序列中的所有图像帧，而可以仅是其中的部分图像帧；另一方面，所述多个图像帧可以是连续的多帧图像，也可以是以预定帧间隔从所述视频序列中提取的、不连续的多帧图像。另外，应该理解的是，对获取视频序列所进行的对象检测和对象跟踪不能做到100%的准确。例如，即使对象静止不同，通过对象检测方法检测出的位置点也可能会出现小范围的抖动;再比如，在进行对象跟踪识别时可能会在短暂的几帧或几十帧中将非对象区域识别为目标对象。为了消除上述误差，在一个示例中，所述多个图像帧的数量需大于15帧;在另一个示例中，目标对象的起始点和对应的结束点之间的距离需大于100像素，否则认为所获取的视频序列不符合要求。
[0023]在步骤S120,在拍摄所述视频序列的图像采集装置的覆盖范围内设置多个基准向量，其中每个基准向量与根据拍摄的具体场景设定的参考向量之间的夹角满足预定条件。
[0024]所述多个基准向量可以根据拍摄的具体场景来设定。下面将结合附图对一些典型场景的基准向量设置进行描述。
[0025]图2例示了在具体场景为某一场所的一个入口的情况下基准向量的示例性设置方式。在该场景中，期望统计进入该场所的客流量。如图2所示，图中的矩形框为图像采集装置的覆盖范围，该覆盖范围位于所述场所内部邻近入口处。可以通过调整图像采集装置的位置，使得该覆盖范围尽可能地靠近所述场所的入口。在该示例中，在覆盖范围内设置了三个基准向量L1，L2和L3,每个基准向量均横跨所述覆盖区域。能够理解，基准向量的数量并非必须是三个，只要是多个即可。另一方面，尽管在图2中所示的三个基准向量均与入口平行， 并且方向均是从右侧指向左侧，但这并非是必须的。具体的，在该示例场景中，只要每个基准向量与垂直于入口并在进入该场所的方向上延伸的参考向量之间的夹角满足[90°-a， 90°+a]即可，其中a是预先设定的角度，通常小于10度。能够理解，当a为0度时，每个基准向量与所述参考向量垂直，即图2中所示的示例情形。
[0026]图3例示了在具体场景为覆盖范围内的某一穿行通道的情况下基准向量的示例性设置方式。在该场景中，期望统计在穿行通道的正反两个方向上的客流量。如图3所示，图中的矩形框为图像采集装置的覆盖范围，虚线框代表穿行通道。下文中，为了便于描述，假设图3中虚线框下方为穿行通道的入口，上方为出口。在该示例中，在覆盖范围内设置了三个基准向量L1，L2和L3,每个基准向量均横跨所述穿行通道。能够理解，基准向量的数量并非必须是三个，只要是多个即可。另一方面，尽管在图3中所示的三个基准向量均与穿行通道的延伸方向垂直，并且方向均是从右侧指向左侧，但这并非是必须的。具体的，在该示例场景中，只要每个基准向量与平行于该穿行通道并从其入口朝向出口的参考向量之间的夹角满足[90°-a，90°+a]g卩可，其中a是预先设定的角度，通常小于10度。能够理解，当a为〇度时， 每个基准向量与所述参考向量垂直，即图3中所示的示例情形。
[0027]图4例示了在具体场景为进入某一场所的多个入口的多条道路的情况下基准向量的示例性设置方式。在该场景中，多条道路均通往该场所，因此期望统计经由各条道路上的入口进入该场所的总的客流量。如图4所示，图中的矩形框为图像采集装置的覆盖范围，该覆盖范围覆盖分别进入两个入口的两条道路。在该示例中，在每条道路邻近各自的入口处各设置了一个基准向量L1和L2,每个基准向量均横跨所述道路。能够理解，道路的数量可以不止两条，而在每条道路邻近各自的入口处设置的基准向量的数量也可以多于一个。此外， 场所的多个入口并非必须是位于相对侧的，而是也可以位于同一侧。另一方面，尽管在图4 中所示的各基准向量均与相应的入口平行，并且方向均是面对入口从右侧指向左侧，但这并非是必须的。具体的，在该示例场景中，只要每个基准向量与垂直于相应入口并在进入该场所的方向上延伸的参考向量之间的夹角满足[90°-a，90°+a]即可，其中a是预先设定的角度，通常小于10度。能够理解，当a为〇度时，每个基准向量与所述参考向量垂直，即图4中所示的示例情形。
[0028]以上结合图2到图4对一些典型场景的基准向量设置示例进行了描述。对于其他场景，可以类似的设置适合于该场景的基准向量。具体的，可以设定适合于该场景的参考向量，进而设定与参考向量之间的夹角满足预定条件的各个基准向量，以使得能够根据目标对象相对于各个基准向量的运动方向而确定出其在各个场景中的运动方向。
[0029]回到图1，在步骤S130,对于每个所述基准向量，根据目标对象在所述多个图像帧中的位置确定该目标对象在每一对相邻的图像帧间相对于该基准向量的运动方向，并根据目标对象在各对相邻的图像帧间相对于该基准向量的运动方向确定该目标对象相对于该基准向量的总体运动方向。
[0030]在该步骤中，对于在步骤S120中设定的每个基准向量，首先确定目标对象在所述多个图像帧中的每一对相邻图像帧间相对于该基准向量的运动方向。下面，将结合图5描述一种示例性的确定方式。
[0031]图5示出了一个点p相对于一个向量ab的可能的位置关系。如图5所示，一个点p相对于一个向量ab存在4种可能的位置关系:关系1，点p在向量ab上;关系2,点p对向量ab的投影在该向量ab之外;关系3，点p对向量ab的投影在该向量ab上，并且ap沿顺时针方向与ab的夹角大于90度;关系4，点p对向量ab的投影在该向量ab上，并且ap沿顺时针方向与ab的夹角不大于90度。基于上述点相对于向量的可能的位置关系，在该步骤中，可以根据目标对象在图像帧中的位置确定目标对象在任一对相邻的图像帧间相对于一个基准向量的运动方向。 具体的，假设目标对象在一对相邻的图像帧中的在先帧和在后帧中的位置分别为P和P’，基准向量为ab，则可以通过如下处理确定目标对象在该对相邻的图像帧间相对于基准向量ab 的运动方向:
[0032](i)确定目标对象在该对相邻的图像帧中的在先帧中的位置p与该基准向量ab起点的连线ap沿顺时针方向与该基准向量之间的第一夹角；
[0033](i i)确定目标对象在该对相邻的图像帧中的在后帧中的位置p ’与该基准向量ab 起点的连线ap ’沿顺时针方向与该基准向量之间的第二夹角；
[0034](iii)如果目标对象在所述在先帧中的位置p相对于该基准向量ab的投影在该基准向量ab上且所述第一夹角不大于90度(即位置p相对于基准向量ab的位置关系为上文中参考图5中所述的关系4)，并且目标对象在所述在后帧中的位置p’相对于该基准向量ab的投影在该基准向量ab上且所述第二夹角大于90度(即位置p’相对于基准向量ab的位置关系为上文中参考图5中所述的关系3)，则确定目标对象在该对相邻图像帧间相对于该基准向量的运动方向为第一运动方向；
[0035]如果目标对象在所述在先帧中的位置p相对于该基准向量ab的投影在该基准向量 ab上且所述第一夹角大于90度(即位置p相对于基准向量ab的位置关系为上文中参考图5中所述的关系3 )，并且目标对象在所述在后帧中的位置p ’相对于该基准向量ab的投影在该基准向量ab上且所述第二夹角不大于90度(即位置p’相对于基准向量ab的位置关系为上文中参考图5中所述的关系4)，则确定目标对象在该对相邻图像帧间相对于该基准向量的运动方向为不同于第一运动方向的第二运动方向。
[0036]在如上所述对于某一基准向量确定了目标对象在多个图像帧中的每一对相邻图像帧间相对于该基准向量的运动方向后，可以基于这些确定结果进一步确定目标对象相对于该基准向量的总体运动方向。具体的，可以统计目标对象在各对相邻的图像帧间相对于该基准向量的运动方向为第一运动方向的数量，以及运动方向为第二运动方向的数量;如果第一运动方向的数量减去第二运动方向的数量之差大于等于1，则确定所述总体运动方向为第一运动方向，而如果该第二运动方向的数量减去第一运动方向的数量之差大于等于 1，则确定所述总体运动方向为第二运动方向。[〇〇37]下面将结合图6利用一个具体而非限制的示例来进一步描述该步骤S130的处理。 如图6所示，假设所述多个图像帧的数量为10帧(为了便于说明，这里以10帧为例，但应当理解的是，10帧的数量仅是一个示例而已，并不对本发明构成任何限制)，图中的每个小圆圈表示目标对象在各图像帧中的位置，ab为一个基准向量。按照上文中描述的方式可知，在第一对相邻图像帧中，目标对象在第一帧中的位置相对于ab的位置关系为关系4,在第二帧中的位置相对于ab的位置关系为关系3,由此可以确定该目标对象在第一对相邻图像帧间相对于ab的运动方向为第一运动方向。类似的，可以确定目标对象在其他每一对相邻图像帧 (即从第2对相邻图像帧到第9对相邻图像帧)间相对于ab的运动方向。具体的，对于如图6所示的示例情形，可以确定目标对象在第1，第8对相邻图像帧间相对于基准向量的运动方向为第一运动方向，在第5对相邻图像帧间相对于基准向量的运动方向为第二运动方向。由此可知第一运动方向的数量为2,第二运动方向的数量为1，因而可以确定目标对象相对于该基准向量ab的总体运动方向为第一运动方向。
[0038]在步骤S140,根据该目标对象相对于各个基准向量的总体运动方向，确定该目标对象的运动方向。
[0039]在该步骤中，根据在步骤S130中确定的目标对象相对于各个基准向量的总体运动方向，可以确定该目标对象的整体运动方向。下面仍然以图2-图4中所示的典型场景为例， 对该步骤中的处理进行说明。
[0040]对于如图2所示的某一场所的一个入口的场景，如前所述，在该场景中每个基准向量被设置为与垂直于入口并在进入该场所的方向上延伸的参考向量之间的夹角满足[90°_ a，90°+a]。能够理解，如果每个基准向量被设置为沿顺时针方向与该参考向量之间的夹角为[90°-a，90°+a]，即每个基准向量大致为图2中所示的方向，只要目标对象相对于多个基准向量中的至少一个的总体运动方向是第一运动方向，则可以确定该目标对象的运动方向为进入场所的方向；而如果每个基准向量沿逆时针方向与该参考向量之间的夹角为[90°_ a，90°+a]，即每个基准向量大致为与图2中所示的方向相反的方向，只要目标对象相对于多个基准向量中的至少一个的总体运动方向是第二运动方向，则可以确定该目标对象的运动方向为进入场所的方向。由此可以准确地统计出进入图2所示的场所的客流量。
[0041]对于如图3所示的覆盖范围内的某一穿行通道的场景，如前所述，在该场景中每个基准向量被设置为与平行于该穿行通道并从其入口朝向出口的参考向量之间的夹角满足 [90°-a，90°+a]。能够理解，如果每个基准向量沿顺时针方向与该参考向量之间的夹角为 [90°-a，90°+a]，即每个基准向量大致为图3中所示的方向，则当目标对象相对于每一个基准向量的总体运动方向均为第一运动方向时，可以确定该目标对象的运动方向为从穿行通道的入口朝向出口运动，当目标对象相对于每一个基准向量的总体运动方向均为第二运动方向时，可以确定该目标对象的运动方向为从穿行通道的出口朝向入口运动;而如果每个基准向量沿逆时针方向与该参考向量之间的夹角为[90°-a，90°+a]，即每个基准向量大致为与图3中所示的方向相反的方向，则当目标对象相对于每一个基准向量的总体运动方向均为第一运动方向时，可以确定该目标对象的运动方向为从穿行通道的出口朝向入口运动，当目标对象相对于每一个基准向量的总体运动方向均为第二运动方向时，可以确定该目标对象的运动方向为从穿行通道的入口朝向出口运动。由此可以准确地统计出在穿行通道的正反两个方向上的客流量。
[0042]对于如图4所示进入某一场所的多个入口的多条道路的场景，如前所述，在该场景中每个基准向量被设置为与垂直于入口并在进入该场所的方向上延伸的参考向量之间的夹角满足[90°-a，90°+a]。能够理解，如果每个基准向量沿顺时针方向与该参考向量之间的夹角为[90°-a，90°+a]，即各个基准向量大致符合图4中所示的方向，只要目标对象相对于多个基准向量中的至少一个的总体运动方向是第一运动方向，则可以确定该目标对象的运动方向为进入场所的方向；而如果每个基准向量沿逆时针方向与该参考向量之间的夹角为 [90° -a，90° +a]，只要目标对象相对于多个基准向量中的至少一个的总体运动方向是第二运动方向，则可以确定该目标对象的运动方向为进入场所的方向。由此可以准确地统计出经由各条道路上的入口进入图4所示的场所的总的客流量。[〇〇43]以上结合图2到图4所示的典型场景对步骤S140中的处理进行了说明。对于其他场景，可以类似的根据在步骤S130中确定的目标对象相对于各个基准向量的总体运动方向， 来确定该目标对象的运动方向。
[0044]以上，已经对根据本公开实施例的目标对象运动方向检测方法进行了描述。在该方法中，基于具体场景设置多个基准向量来检测目标对象的运动方向，从而能够准确地检测出目标对象的运动方向，进而提高客流统计的准确性。
[0045]下面，将参考图7来描述根据本公开实施例的目标对象运动方向检测装置。图7示出了根据本公开实施例的目标对象运动方向检测装置700的示例性结构框图。如图7所示， 该目标对象运动方向检测装置700可以包括定位部件710、设定部件720、定向部件730和检测部件740,所述各个部件可分别执行上文中结合图1-6描述的目标对象运动方向检测方法的各个步骤/功能。以下仅对该目标对象运动方向检测装置700的各部件的主要功能进行描述，而省略以上已经描述过的细节内容。
[0046]定位部件710获取包含该目标对象的视频序列，并确定该目标对象在该视频序列的多个图像帧中的位置。
[0047]可以通过诸如立体相机、多目相机、普通相机等各种图像采集装置来拍摄包含目标对象的视频序列。以采用立体相机为例，对于拍摄得到的深度视频，定位部件710可以通过各种对象检测方法在包含目标对象的图像帧中确定目标对象的大小、形状和位置，随后对目标对象进行跟踪，从而确定视频中包含有目标对象的视频序列，并确定该目标对象在其中的多个图像帧中的位置，该位置可以通过目标对象的二维坐标点来表示。[〇〇48]所述多个图像帧并非必须是视频序列中的所有图像帧，而可以仅是其中的部分图像帧；另一方面，所述多个图像帧可以是连续的多帧图像，也可以是以预定帧间隔从所述视频序列中提取的、不连续的多帧图像。
[0049]设定部件720在拍摄所述视频序列的图像采集装置的覆盖范围内设置多个基准向量，其中每个基准向量与根据拍摄的具体场景设定的参考向量之间的夹角满足预定条件。
[0050]所述多个基准向量将根据拍摄的具体场景来设定。上文中已经结合图2-4对一些典型场景的基准向量设置进行描述，此处不再详细描述。总之，设定部件720将根据各种不同的场景来设定适合于该场景的参考向量，进而设定与参考向量之间的夹角满足预定条件的多个基准向量，以使得能够根据目标对象相对于各个基准向量的运动方向而确定出其在各个场景中的运动方向。[〇〇51]定向部件730对于每个所述基准向量，根据目标对象在所述多个图像帧中的位置确定该目标对象在每一对相邻的图像帧间相对于该基准向量的运动方向，并根据目标对象在各对相邻的图像帧间相对于该基准向量的运动方向确定该目标对象相对于该基准向量的总体运动方向。[〇〇52] 对于通过设定部件720设定的每个基准向量，该定向部件730首先确定目标对象在所述多个图像帧中的每一对相邻图像帧间相对于该基准向量的运动方向。
[0053]如前文中结合图5所述，一个点p相对于一个向量ab存在4种可能的位置关系，定向部件730将基于这样的位置关系，根据目标对象在图像帧中的位置确定目标对象在任一对相邻的图像帧间相对于一个基准向量的运动方向。具体的，假设目标对象在一对相邻的图像帧中的在先帧和在后帧中的位置分别为P和P ’，基准向量为ab，则定向部件730可以如下确定目标对象在该对相邻的图像帧间相对于基准向量ab的运动方向:[〇〇54](i)确定目标对象在该对相邻的图像帧中的在先帧中的位置p与该基准向量ab起点的连线ap沿顺时针方向与该基准向量之间的第一夹角；
[0055](ii)确定目标对象在该对相邻的图像帧中的在后帧中的位置p ’与该基准向量ab起点的连线ap ’沿顺时针方向与该基准向量之间的第二夹角；
[0056](iii)如果目标对象在所述在先帧中的位置p相对于该基准向量ab的投影在该基准向量ab上且所述第一夹角不大于90度，并且目标对象在所述在后帧中的位置p’相对于该基准向量ab的投影在该基准向量ab上且所述第二夹角大于90度，则确定目标对象在该对相邻图像帧间相对于该基准向量的运动方向为第一运动方向；
[0057]如果目标对象在所述在先帧中的位置p相对于该基准向量ab的投影在该基准向量 ab上且所述第一夹角大于90度，并且目标对象在所述在后帧中的位置p ’相对于该基准向量 ab的投影在该基准向量ab上且所述第二夹角不大于90度，则确定目标对象在该对相邻图像帧间相对于该基准向量的运动方向为不同于第一运动方向的第二运动方向。[〇〇58]在如上所述对于某一基准向量确定了目标对象在多个图像帧中的每一对相邻图像帧间相对于该基准向量的运动方向后，定向部件730将基于这些确定结果进一步确定目标对象相对于该基准向量的总体运动方向。具体的，定向部件730统计目标对象在各对相邻的图像帧间相对于该基准向量的运动方向为第一运动方向的数量，以及运动方向为第二运动方向的数量;如果第一运动方向的数量减去第二运动方向的数量之差大于等于1，则确定所述总体运动方向为第一运动方向，而如果该第二运动方向的数量减去第一运动方向的数量之差大于等于1，则确定所述总体运动方向为第二运动方向。[〇〇59]检测部件740根据定向部件730确定的目标对象相对于各个基准向量的总体运动方向，确定该目标对象的运动方向。
[0060]例如，对于如图2所示的某一场所的一个入口的场景，如果设定部件720将多个基准向量设定为其中的每个基准向量沿顺时针方向与该参考向量之间的夹角为[90° -a，90° + a]，则只要目标对象相对于多个基准向量中的至少一个的总体运动方向是第一运动方向， 检测部件740即确定该目标对象的运动方向为进入场所的方向；而如果设定部件720将多个基准向量设定为其中的每个基准向量沿逆时针方向与该参考向量之间的夹角为[90°-a， 90° +a ]，则只要目标对象相对于多个基准向量中的至少一个的总体运动方向是第二运动方向，检测部件740即确定该目标对象的运动方向为进入场所的方向。由此可以准确地统计出进入图2所示的场所的客流量。
[0061]再比如，对于如图3所示的覆盖范围内的某一穿行通道的场景，如果设定部件720 将多个基准向量设定为其中的每个基准向量沿顺时针方向与该参考向量之间的夹角为 [90° -a，90° +a ]，则当目标对象相对于每一个基准向量的总体运动方向均为第一运动方向时，检测部件740即确定该目标对象的运动方向为从穿行通道的入口朝向出口运动，当目标对象相对于每一个基准向量的总体运动方向均为第二运动方向时，检测部件740即确定该目标对象的运动方向为从穿行通道的出口朝向入口运动；而如果设定部件720将多个基准向量设定为其中的每个基准向量沿逆时针方向与该参考向量之间的夹角为[90° _a，90° + a]，则当目标对象相对于每一个基准向量的总体运动方向均为第一运动方向时，检测部件 740即确定该目标对象的运动方向为从穿行通道的出口朝向入口运动，当目标对象相对于每一个基准向量的总体运动方向均为第二运动方向时，检测部件740即确定该目标对象的运动方向为从穿行通道的入口朝向出口运动。由此可以准确地统计出在穿行通道的正反两个方向上的客流量。
[0062]再比如，对于如图4所示进入某一场所的多个入口的多条道路的场景，如果设定部件720将多个基准向量设定为其中的每个基准向量沿顺时针方向与该参考向量之间的夹角为[90°-a，90°+a]，则只要目标对象相对于多个基准向量中的至少一个的总体运动方向是第一运动方向，检测部件740即确定该目标对象的运动方向为进入场所的方向；而如果设定部件720将多个基准向量设定为其中的每个基准向量沿逆时针方向与该参考向量之间的夹角为[90°-a，90°+a]，则只要目标对象相对于多个基准向量中的至少一个的总体运动方向是第二运动方向，检测部件740即确定该目标对象的运动方向为进入场所的方向。由此可以准确地统计出经由各条道路上的入口进入图4所示的场所的总的客流量。[〇〇63]以上结合图2到图4所示的典型场景对检测部件740的处理进行了说明。对于其他场景，检测部件740可以类似的根据定向部件730所确定的目标对象相对于各个基准向量的总体运动方向，确定该目标对象的运动方向。
[0064]以上结合附图描述了根据本公开实施例的目标对象运动方向检测装置700,该装置基于具体场景设置多个基准向量来检测目标对象的运动方向，从而能够准确地检测出目标对象的运动方向，进而提尚客流统计的准确性。
[0065]下面，参照图8来描述可用于实现本公开的实施例的、目标对象运动方向检测装置的计算设备的示意性框图。该计算设备可以是配备有图像采集装置的计算机或服务器。 [〇〇66]如图8所示，计算设备800包括一个或多个处理器802、存储装置804、图像采集装置 806和输出装置808,这些组件通过总线系统810和/或其它形式的连接机构(未示出)互连。 应当注意，图8所示的计算设备800的组件和结构只是示例性的，而非限制性的，根据需要， 计算设备800也可以具有其他组件和结构。[〇〇67]处理器802可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制计算设备800中的其它组件以执行期望的功能。
[0068]存储装置804可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(R0M)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器802可以运行所述程序指令，以实现上文所述的本公开的实施例的功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如设置的各个基准向量、参考向量、目标对象在图像帧中的位置、第一夹角、第二夹角、目标对象在各对相邻的图像帧间相对于基准向量的运动方向等等。
[0069]图像采集装置806用于拍摄包含该目标对象的视频序列，并且将所拍摄的视频存储在存储装置804中以供其它组件使用。
[0070]输出装置808可以向外部(例如用户)输出各种信息，例如图像信息、声音信息、运动方向检测结果，并且可以包括显示器、扬声器等中的一个或多个。[〇〇71]以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
[0072]本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇 “或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0073]另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(S卩A和B 和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。[〇〇74]还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
[0075]可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
[0076]提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。[〇〇77]为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
【主权项】
1.一种目标对象运动方向检测方法，包括:获取包含该目标对象的视频序列，并确定该目标对象在该视频序列的多个图像帧中的 位置；在拍摄所述视频序列的图像采集装置的覆盖范围内设置多个基准向量，其中每个基准 向量与根据拍摄的具体场景设定的参考向量之间的夹角满足预定条件；对于每个所述基准向量，根据目标对象在所述多个图像帧中的位置确定该目标对象在 每一对相邻的图像帧间相对于该基准向量的运动方向，并根据目标对象在各对相邻的图像 帧间相对于该基准向量的运动方向确定该目标对象相对于该基准向量的总体运动方向；根据该目标对象相对于各个基准向量的总体运动方向，确定该目标对象的运动方向。2.如权利要求1所述的目标对象运动方向检测方法，其中所述多个图像帧是所述视频 序列中的连续的多个图像帧。3.如权利要求1所述的目标对象运动方向检测方法，其中所述多个图像帧是以预定帧 间隔从所述视频序列中提取的多个图像帧。4.如权利要求1所述的目标对象运动方向检测方法，其中对于每个所述基准向量根据 目标对象在所述多个图像帧中的位置确定该目标对象在每一对相邻的图像帧间相对于该 基准向量的运动方向包括:确定目标对象在一对相邻的图像帧中的在先帧中的位置与该基准向量起点的连线沿 顺时针方向与该基准向量之间的第一夹角；确定目标对象在该对相邻的图像帧中的在后帧中的位置与该基准向量起点的连线沿 顺时针方向与该基准向量之间的第二夹角；如果目标对象在所述在先帧中的位置相对于该基准向量的投影在该基准向量上且所 述第一夹角不大于90度，并且目标对象在所述在后帧中的位置相对于该基准向量的投影在 该基准向量上且所述第二夹角大于90度，则确定目标对象在该对相邻图像帧间相对于该基 准向量的运动方向为第一运动方向；如果目标对象在所述在先帧中的位置相对于该基准向量的投影在该基准向量上且所 述第一夹角大于90度，并且目标对象在所述在后帧中的位置相对于该基准向量的投影在该 基准向量上且所述第二夹角不大于90度，则确定目标对象在该对相邻图像帧间相对于该基 准向量的运动方向为第二运动方向。5.如权利要求4所述的目标对象运动方向检测方法，其中根据目标对象在各对相邻的 图像帧间相对于该基准向量的运动方向确定该目标对象相对于该基准向量的总体运动方 向包括:统计目标对象在各对相邻的图像帧间相对于该基准向量的运动方向为第一运动方向 的数量；统计目标对象在各对相邻的图像帧间相对于该基准向量的运动方向为第二运动方向 的数量；如果该第一运动方向的数量减去第二运动方向的数量之差大于等于1，则确定所述总 体运动方向为第一运动方向，如果该第二运动方向的数量减去第一运动方向的数量之差大 于等于1，则确定所述总体运动方向为第二运动方向。6.如权利要求5所述的目标对象运动方向检测方法，所述在拍摄所述视频序列的图像采集装置的覆盖范围内设置多个基准向量包括:在所述具体场景为某一场所的一个入口、所述覆盖范围为该场所内部邻近入口处的区 域的情况下，设置所述多个基准向量，以使得每个基准向量横跨所述覆盖区域，并且与所述 参考向量之间的夹角为[90°-a，90°+a]，其中a为预定角度，所述参考向量垂直于所述入口 并在进入该场所的方向上延伸。7.如权利要求6所述的目标对象运动方向检测方法，其中a小于10度。8.如权利要求6所述的目标对象运动方向检测方法，其中每个基准向量被设置为沿顺 时针方向与参考向量之间的夹角为[90°-a，90°+a]，所述根据该目标对象相对于各个所述基准向量的总体运动方向确定该目标对象的运 动方向包括:如果该目标对象相对于至少一个基准向量的总体运动方向是第一运动方向，则确定该 目标对象的运动方向为进入场所的方向。9.如权利要求6所述的目标对象运动方向检测方法，其中每个基准向量被设置为沿逆 时针方向与所述参考向量之间的夹角为[90°-a，90°+a]，所述根据该目标对象相对于各个所述基准向量的总体运动方向确定该目标对象的运 动方向包括:如果该目标对象相对于至少一个基准向量的总体运动方向是第二运动方向，则确定该 目标对象的运动方向为进入场所的方向。10.如权利要求5所述的目标对象运动方向检测方法，所述在拍摄所述视频序列的图像 采集装置的覆盖范围内设置多个基准向量包括:在所述具体场景为覆盖范围内的某一穿行通道的情况下，在该穿行通道内部设置所述 多个基准向量，以使得每个基准向量横跨所述穿行通道，并且与所述参考向量之间的夹角 为[90°-a，90°+a]，其中a为预定角度，所述参考向量平行于该穿行通道并从其入口朝向出 □ 〇11.如权利要求10所述的目标对象运动方向检测方法，其中a小于10度。12.如权利要求10所述的目标对象运动方向检测方法，其中每个基准向量被设置为沿 顺时针方向与所述参考向量之间的夹角为[90° -a，90° +a ]，所述根据该目标对象相对于各个所述基准向量的总体运动方向确定该目标对象的运 动方向包括:如果该目标对象相对于每一个基准向量的总体运动方向均为第一运动方向，则确定该 目标对象的运动方向为从穿行通道的入口朝向出口运动；如果该目标对象相对于每一个基准向量的总体运动方向均为第二运动方向，则确定该 目标对象的运动方向为从穿行通道的出口朝向入口运动。13.如权利要求10所述的目标对象运动方向检测方法，其中每个基准向量被设置为沿 逆时针方向与所述参考向量之间的夹角为[90°-a，90°+a]，所述根据该目标对象相对于各个所述基准向量的总体运动方向确定该目标对象的运 动方向包括:如果该目标对象相对于每一个基准向量的总体运动方向均为第一运动方向，则确定该 目标对象的运动方向为从穿行通道的出口朝向入口运动；如果该目标对象相对于每一个基准向量的总体运动方向均为第二运动方向，则确定该 目标对象的运动方向为从穿行通道的入口朝向出口运动。14.如权利要求5所述的目标对象运动方向检测方法，所述在拍摄所述视频序列的图像 采集装置的覆盖范围内设置多个基准向量包括:在所述具体场景为进入某一场所的多个入口的多条道路、所述覆盖范围覆盖所述多条 道路的情况下，在每条道路邻近各自的入口处分别设置至少一个所述基准向量，以使每个 基准向量横跨所述道路，并且与所述参考向量之间的夹角为[90°-a，90°+a]，其中a为预定 角度，所述参考向量垂直于相应入口并在进入该场所的方向上延伸。15.如权利要求14所述的目标对象运动方向检测方法，其中a小于10度。16.如权利要求14所述的目标对象运动方向检测方法，其中每个基准向量被配置为沿 顺时针方向与所述参考向量之间的夹角为[90° -a，90° +a ]，所述根据该目标对象相对于各个所述基准向量的总体运动方向确定该目标对象的运 动方向包括:如果该目标对象相对于至少一个基准向量的总体运动方向为第一运动方向，则确定该 目标对象的运动方向为进入场所的方向。17.如权利要求14所述的目标对象运动方向检测方法，其中每个基准向量被配置为沿 逆时针方向与所述参考向量之间的夹角为[90°-a，90°+a]，所述根据该目标对象相对于各个所述基准向量的总体运动方向确定该目标对象的运 动方向包括:如果该目标对象相对于至少一个基准向量的总体运动方向为第二运动方向，则确定该 目标对象的运动方向为进入场所的方向。18.—种目标对象运动方向检测装置，包括:处理器；存储器;和存储在所述存储器中的计算机程序指令，在所述计算机程序指令被所述处理器运行时 使得所述目标对象运动方向检测装置执行以下步骤:获取包含该目标对象的视频序列，并确定该目标对象在该视频序列的多个图像帧中的 位置；在拍摄所述视频序列的图像采集装置的覆盖范围内设置多个基准向量，其中每个基准 向量与根据拍摄的具体场景设定的参考向量之间的夹角满足预定条件；对于每个所述基准向量，根据目标对象在所述多个图像帧中的位置确定该目标对象在 每一对相邻的图像帧间相对于该基准向量的运动方向，并根据目标对象在各对相邻的图像 帧间相对于该基准向量的运动方向确定该目标对象相对于该基准向量的总体运动方向；根据该目标对象相对于各个基准向量的总体运动方向，确定该目标对象的运动方向。19.一种目标对象运动方向检测装置，包括:定位部件，配置为获取包含该目标对象的视频序列，并确定该目标对象在该视频序列 的多个图像帧中的位置；设定部件，在拍摄所述视频序列的图像采集装置的覆盖范围内设置多个基准向量，其 中每个基准向量与根据拍摄的具体场景设定的参考向量之间的夹角满足预定条件；定向部件，配置为对于每个所述基准向量，根据目标对象在所述多个图像帧中的位置 确定该目标对象在每一对相邻的图像帧间相对于该基准向量的运动方向，并根据目标对象 在各对相邻的图像帧间相对于该基准向量的运动方向确定该目标对象相对于该基准向量 的总体运动方向；检测部件，配置为根据该目标对象相对于各个基准向量的总体运动方向，确定该目标 对象的运动方向。
【文档编号】G06T7/00GK106033615SQ201610323389
【公开日】2016年10月19日
【申请日】2016年5月16日
【发明人】林乐, 俞刚, 印奇
【申请人】北京旷视科技有限公司, 北京小孔科技有限公司