确定肢体接触行为的方法、装置、电子设备和存储介质与流程

文档序号:22678490发布日期:2020-10-28 12:36阅读:194来源:国知局
确定肢体接触行为的方法、装置、电子设备和存储介质与流程

本公开的各实现方式涉及图像处理,更具体地,涉及用于基于处理图像来确定人物之间的肢体接触行为的方法、装置、电子设备和存储介质。



背景技术:

随着计算机技术和网络技术的发展,目前已经开发出了用于提供在线车辆服务的应用。乘客可以利用这些应用来提交车辆服务请求,以便寻找适合的车辆并且前往期望的目的地。由于车辆空间狭小并且封闭,为了确保司机以及乘客的安全,可以部署图像采集设备来采集车内图像。进一步,可以基于图像分析技术来确定车内人物是否出现肢体冲突。然而,采集到的图像序列涉及大量数据,并且已有的人物动作识别方法通常涉及较大的计算量,难以实时地处理采集到的图像序列。此时,如何以更为有效的方式来处理图像序列,从而确定车内人物之间的肢体接触行为,成为一个研究热点。



技术实现要素:

期望能够开发并实现一种以更为有效的方式来确定肢体接触行为的技术方案。期望该技术方案能够与现有的应用相兼容,从而以更为有效的方式进行安全监控。

根据本公开的第一方面,提供了一种用于确定人物之间的肢体接触行为的方法。在该方法中,获取包括第一人物和第二人物的至少一个图像;在至少一个图像中识别分别包括第一人物的第一区域和包括第二人物的第二区域;通过检测第一区域和第二区域之间的重叠区域,确定第一人物和第二人物之间的肢体接触行为。

根据本公开的第二方面,提供了一种用于确定人物之间的肢体接触行为的装置,包括:获取模块,配置用于获取包括第一人物和第二人物的至少一个图像;识别模块,配置用于在至少一个图像中识别分别包括第一人物的第一区域和包括第二人物的第二区域;确定模块,配置用于通过检测第一区域和第二区域之间的重叠区域,确定第一人物和第二人物之间的肢体接触行为。

根据本公开的第三方面,提供了一种电子设备,包括:存储器和处理器;其中存储器用于存储一条或多条计算机指令,其中一条或多条计算机指令被处理器执行以实现根据本公开的第一方面的方法。

根据本公开的第四方面,提供了一种计算机可读存储介质,其上存储有一条或多条计算机指令,其中一条或多条计算机指令被处理器执行实现根据本公开的第一方面的方法。

附图说明

结合附图并参考以下详细说明,本公开各实现方式的特征、优点及其他方面将变得更加明显,在此以示例性而非限制性的方式示出了本公开的若干实现方式。在附图中:

图1示意性示出了其中可以使用根据本公开的示例性实现方式的车辆环境的框图;

图2示意性示出了根据本公开的示例性实现方式的用于确定人物之间的肢体接触行为的过程的框图;

图3示意性示出了根据本公开的示例性实现方式的用于确定人物之间的肢体接触行为的方法的流程图;

图4示意性示出了根据本公开的示例性实现方式的第一区域和第二区域之间不存在重叠区域的框图;

图5示意性示出了根据本公开的示例性实现方式的第一区域和第二区域之间存在重叠区域的框图;

图6示意性示出了根据本公开的示例性实现方式的用于确定第一区域和第二区域之间的重叠度的过程的框图;

图7示意性示出了根据本公开的示例性实现方式的人物的深度的框图;

图8示意性示出了根据本公开的示例性实现方式的从图像序列中获取多个图像的过程的框图;

图9示意性示出了根据本公开的示例性实现方式的基于多个图像来确定肢体接触行为的过程的框图;

图10示意性示出了根据本公开的示例性实现方式的针对原始图像序列执行采样的框图;以及

图11示出了其中可以实施本公开的一个或多个实现方式的计算设备/服务器1100的框图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实现。虽然附图中显示了本公开的优选实现,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实现所限制。相反,提供这些实现是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。

在本文中使用的术语“包括”及其变形表示开放性包括,即“包括但不限于”。除非特别申明,术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实现”和“一个实现”表示“至少一个示例实现”。术语“另一实现”表示“至少一个另外的实现”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

首先参见图1描述本公开的示例性实现方式的应用环境。目前已经开发出了诸如在线车辆服务的应用。出于安全性或者其他因素考虑,目前已经提出在车辆内部部署图像采集设备来记录车辆状态的技术方案。尽管采集到的图像序列可以记录车内人物的行为,由于采集到的图像序列涉及较大的数据量,已有的用于分析人物行为的技术方案难以在车载计算设备处运行。此时如何实时地分析车内人物的行为进而避免潜在的风险,成为一个技术难题。

图1示意性示出了其中可以使用根据本公开的示例性实现方式的车辆环境的框图100。可以在车辆内部部署图像采集设备,以便采集如图1所示的车辆状态的图像序列。图像110示意性示出了图像序列中的一个图像。根据本公开的示例性实现方式,可以分析采集到的图像序列中的图像,进而检测车内人物之间是否存在的肢体接触行为。

首先参见图2描述本公开的示例性实现方式的概要。图2示意性示出了根据本公开的示例性实现方式的用于确定人物之间的肢体接触行为的过程的框图200。如图2所示,在包括第一人物212和第二人物222的图像110中,可以识别分别包括第一人物212的第一区域210和包括第二人物222的第二区域220。通过检测第一区域210和第二区域220之间的重叠区域230,确定第一人物212和第二人物222之间的肢体接触行为。利用本公开的示例性实现方式,并不需要复杂的人物行为识别算法,而是可以通过图像处理的简单方式,即可确定人物之间是否存在肢体接触行为。

在下文中,将参见图3描述本公开的示意性实现方式的更多细节。图3示意性示出了根据本公开的示例性实现方式的用于确定人物之间的肢体接触行为的方法300的流程图。在框310处,获取包括第一人物212和第二人物222的至少一个图像110。可以基于多种方式来获取图像。例如,可以经由部署在车辆内部的图像采集设备而获取至少一个图像。将会理解,在此并不限制图像采集设备的种类,该图像采集设备可以包括用于采集图像和/或图像序列的采集设备。

根据本公开的示例性实现方式,可以在车辆的前挡风玻璃处部署包括图像采集设备的处理设备。可以利用该处理设备来执行根据本公开的示例性实现方式的方法300。利用本公开的示例性实现方式,可以实时地处理采集到的至少一个图像,进而实时地检测在车辆内部的人物之间是否存在肢体接触行为。

在框320处,在至少一个图像110中识别分别包括第一人物212的第一区域210和包括第二人物222的第二区域220。可以基于多种方式来识别图像110中的人物。根据本公开的示例性实现方式,可以基于现在已知的和/或将在未来开发的人物识别模型,在图像110中分别识别第一人物212和第二人物222。例如,可以基于机器学习技术来训练人物识别模型,并且基于该模型来识别人物。

将会理解,车辆可以包括多个座位。例如,普通小轿车可以包括前后两排座位,其中前排可以包括驾驶员座位和副驾座位,后排可以包括两个或者三个座位。此时,可以按照座位的位置来将图像110划分至多个区域,并且可以分别在多个区域中识别是否存在人物。以此方式,可以以更高的效率在指定的区域中识别人物。在已经识别出人物的情况下,可以基于人物的图像包围盒,确定相应的区域。例如,第一区域210可以利用左下角和右上角的顶点的坐标来表示。又例如,第一区域210可以利用一个顶点的位置以及区域的长和宽来表示。

在框330处,通过检测第一区域210和第二区域220之间的重叠区域230,确定第一人物212和第二人物222之间的肢体接触行为。为方便描述起见,将以分别位于前排的两个座位中的两个人物为具体示例,描述根据本公开的示例性实现方式的更多细节。可以根据第一区域210和第二区域220之间是否存在重叠区域230,来确定是否存在肢体接触行为。在下文中,将参见图4和图5描述如何确定肢体接触行为。

根据本公开的示例性实现方式,如果第一区域210和第二区域220之间不存在重叠区域230,可以确定第一人物212和第二人物222之间不存在肢体接触行为。参见图4描述不存在肢体接触行为的情况,该图4示意性示出了根据本公开的示例性实现方式的第一区域210和第二区域220之间不存在重叠区域的框图400。如图4所示,第一区域210和第二区域220相互独立,并且两者之间并不存在重叠区域。此时,可以确定车内人物之间不存在肢体接触行为。

根据本公开的示例性实现方式,如果第一区域210和第二区域220之间存在重叠区域230,可以确定第一人物212和第二人物222之间存在肢体接触行为。参见图5描述存在肢体接触行为的情况,该图5示意性示出了根据本公开的示例性实现方式的第一区域210和第二区域220之间存在重叠区域230的框图500。如图5所示,在第一区域210和第二区域220相互重叠,并且两者之间存在重叠区域230。此时,可以确定车内人物之间存在肢体接触行为。

将会理解,车辆内部空间相对较小并且封闭,这导致车辆内部的人物的行为受到空间的限制。当人物执行幅度较大的动作(例如,与另一人物出现推搡、扭打等肢体冲突)时,人物图像之间将会出现重叠区域。利用本公开的示例性实现方式,可以在无需复杂人体动作模型的情况下,基于检测重叠区域230的简单方式,来确定车内人物之间的肢体接触行为。

根据本公开的示例性实现方式,为了更为准确地确定两个人物的图像区域之间的重叠程度,可以确定第一区域210和第二区域220的重叠度。可以基于多种方式来确定重叠度,例如,可以基于重叠区域230的大小与整个图像110的大小之间的比例,确定重叠度。该比例越大,则表示两个人物的图像之间重叠的程度越大,这意味着两个人物之间存在肢体接触行为的可能性更高。具体地,可以基于公式1来确定图像之间的重叠度imageoverlay:

imageoverlay=sizeoverlay/sizeimage公式1

其中imageoverlay表示图像的重叠度,sizeoverlay表示重叠区域230的大小,sizeimage表示图像110的大小。

根据本公开的示例性实现方式,可以设置重叠度阈值。如果确定重叠度高于重叠度阈值,可以确定存在肢体接触行为;如果确定重叠度低于重叠度阈值,则可以确定不存在肢体接触行为。以此方式,可以以数值的方式量化两个人物之间的肢体接触程度,进而提高检测的准确性。

根据本公开的示例性实现方式,还可以基于其他方式确定重叠度。例如,可以基于重叠区域230的大小与第一区域210的大小之间的比例,确定重叠度。又例如,可以基于重叠区域230的大小与第二区域220的大小之间的比例,确定重叠度。将会理解,各个人物的体型之间可能会存在巨大的差异,假设一个人物体型较小因而重叠区域230的大小也较小时,重叠区域230的大小与整个图像110的大小之间的比例可能会很小,并且不能达到判断存在肢体接触行为的阈值比例。此时,很可能会出现漏判。

通过将重叠区域230的大小与第一区域210(或第二区域220)的大小进行比较,可以考虑车内人物的体型。利用本公开的示例性实现方式,可以提高检测的准确程度。具体地,可以基于公式2或者公式3来确定重叠度imageoverlay:

imageoverlay=sizeoverlay/sizeimage1公式2

imageoverlay=sizeoverlay/sizeimage2公式3

其中imageoverlay表示图像的重叠度,sizeoverlay表示重叠区域230的大小,sizeimage1表示第一区域210的大小,以及sizeimage2表示第二区域220的大小。

根据本公开的示例性实现方式,可以基于重叠区域230的大小和第一区域210和第二区域220的并集区域的大小的比例,来确定重叠度。具体地,参见图6,该图示意性示出了根据本公开的示例性实现方式的用于确定第一区域210和第二区域220之间的重叠度的过程的框图600。在图6中重叠区域230表示第一区域210和第二区域220之间的交集,而并集区域610表示第一区域210和第二区域220之间的并集。根据本公开的示例性实现方式,可以利用以下公式4,并基于重叠区域230与并集区域610的比例,确定重叠度。

imageoverlay=sizeoverlay/sizeimage12公式4

其中imageoverlay表示图像的重叠度,sizeoverlay表示重叠区域230的大小,sizeimage12表示第一区域210和第二区域210的并集区域610的大小。

将会理解,当基于不同方式确定重叠度时,相对应的重叠度阈值也会有所不同。例如,当基于公式1确定重叠度时,重叠度阈值可以设置为例如10%(或者其他数值)。当基于公式2或3确定重叠度时,重叠度阈值可以设置为例如30%(或者其他数值)。当基于公式4确定重叠度时,重叠度阈值可以设置为例如20%(或者其他数值)。将会理解,上文中的重叠度阈值的具体数值仅仅是示意性的,可以将上述阈值设置为其他数值。

将会理解,车辆内部存在前后两排座位,因而还需要考虑各个人物在图像中的深度。根据本公开的示例性实现方式,可以分别确定第一人物210在图像110中的第一图像深度和第二人物220在图像110中的第二图像深度。在此,图像深度可以表示人物在垂直于图像平面的方向中的深度。例如,该深度可以以人物所在的座位位置来表示。进一步,可以基于两个人物的图像深度的比较,来确定是否存在重叠区域。

根据本公开的示例性实现方式,可以基于多种方式来确定人物的图像深度。例如,可以基于图像的大小来确定图像深度,图像越大则深度越小(例如,人物位于前排座位中),图像越小则深度越大(例如,人物位于后排座位中)。又例如,可以基于人物所在的座位区域来确定图像深度。备选地和/或附加地,还可以基于其他图像识别算法来确定图像深度。

在上文的示例中,两个人物均位于前排座位。此时,第一图像深度匹配于第二图像深度,因而可以确定存在重叠区域230。在下文中,将参见图7描述两个人物的图像深度不同的情况。图7示意性示出了根据本公开的示例性实现方式的人物的深度的框图700。在图7中,两个人物分别位于前排座位和后排座位。此时,由于第一图像深度不匹配于第二图像深度,可以确定不存在重叠区域。利用本公开的示例性实现方式,可以基于图像深度来确定是否存在重叠区域230。以此方式,可以避免出现将分别位于前后排的两个人物检测为存在肢体接触行为的情况,从而进一步提高检测的准确性。

在上文中,已经描述了如何针对一个图像进行处理。根据本公开的示例性实现方式,可以从包括第一人物212和第二人物222的图像序列获取的多个图像,并且可以基于多个图像来确定肢体接触行为。利用本公开的示例性实现方式,可以基于连续的多个图像来判断车内人物的肢体接触行为。以此方式,可以提高判断的准确性,进而避免出现基于单一图像决策而导致误判的情况。

在下文中,将参见图8描述针对图像序列的处理。图8示意性示出了根据本公开的示例性实现方式的从图像序列中获取多个图像的过程的框图800。在图8中,附图标记810示出了时间的方向,并且可以实时地采集图像序列。例如,可以分析采集到的一组历史帧830中的每个图像,以便确定每个图像中的重叠度。进一步,可以确定多个图像中的重叠度高于重叠度阈值的图像所跨越的时间长度。如果该时间长度高于预定的时间长度阈值,则可以确定存在肢体接触行为。

将会理解,在此的多个图像可以是连续图像也可以是非连续图像。通过确定多个图像跨越的时间长度,可以确定车内人物在一段时间内的状态。以此方式,可以降低基于单一图片中的重叠区域决策而导致的误判。例如,当乘客坐在副驾位置时,司机可能会伸手拿取放置在副驾前方置物架上的物品。此时,如果基于单一(或者少数几个)图像帧中的重叠区域,很可能会认为两个人物之间存在肢体接触行为。利用本公开的示例性实现方式,只有当重叠度高于重叠度阈值的多个图像跨越的时间长度高于预定阈值时,才确定存在肢体接触行为。由于拿取物品的时间跨度较短,以此方式,可以有效地去除由于短暂出现重叠区域而导致的误判。

继续参见图8,可以基于滑动窗口820来持续地获取新采集到的图像帧。此时,未来帧840将会陆续进入滑动窗口820并且被处理。根据本公开的示例性实现方式,可以将滑动窗口820设置为预定的宽度。可以基于图像采集设备的采集频率来设置滑动窗口820的宽度。假设采集频率为30帧每秒,则可以将宽度设置为60帧(或者其他数值)。根据本公开的示例性实现方式,可以实时地处理滑动窗口820内的新接收到的图像帧。如果确定全部图像帧的重叠度均高于重叠度阈值,可以确定存在肢体接触行为。

利用本公开的示例性实现方式,可以以滑动窗口820为单位来处理多个图像帧。以此方式,可以考虑当前图像帧以及先前接收到的多个图像帧中的图像内容之间的连续性,进而提高确定肢体接触行为的准确性。

将会理解,当车内人物出现肢体冲突时,可能会存在如下情景。例如,两个人员相互拉扯并且导致滑动窗口820内的一个或者多个图像的重叠度低于重叠度阈值。此时,如果判断标准为滑动窗口内的全部图像的重叠度均高于重叠度阈值,则可能会出现漏判。因而,期望判断标准可以适合于更多情景。

图9示意性示出了根据本公开的示例性实现方式的基于多个图像来确定肢体接触行为的过程的框图900。如图9所示,可以分别确定滑动窗口820中的每个图像帧的重叠度。假设图像帧910的重叠度低于重叠度阈值,而其他图像帧的重叠度均高于重叠度阈值。此时,可以基于滑动窗口的重叠度来确定是否存在肢体接触行为。

根据本公开的示例性实现方式,可以分别确定所述多个图像的重叠度,并且基于所述多个图像的重叠度的总和,确定滑动窗口820的重叠度,进而确定肢体接触行为。假设滑动窗口820的宽度为k(即,包括k帧图像),并且第i个图像的重叠度表示为imageoverlayi,则可以基于如下公式5来确定滑动窗口820的重叠度windowoverlay:

其中windowoverlay表示滑动窗口的重叠度,k表示滑动窗口820的宽度,imageoverlayi表示滑动窗口中的第i个图像的重叠度。将会理解,上文中的公式1至5仅仅是示意性的,可以基于上文描述的原理来修改公式的内容。

根据本公开的示例性实现方式,可以为滑动窗口的重叠度设置阈值,并且当确定滑动窗口的重叠度高于该阈值时,则确定存在肢体接触行为;否则确定不存在肢体接触行为。例如,可以将滑动窗口的重叠度阈值设置为图像的重叠度阈值的k倍和/或其他数值。

将会理解,滑动窗口820的重叠度可以反应前后连续的多个图像帧的重叠度的整体情况。利用本公开的示例性实现方式,可以允许图像帧的重叠度出现变化,并且可以允许某个或者某几个图像帧的重叠度低于重叠度阈值。以此方式,可以更为逼真地模拟真实肢体接触行为的情况,进而提高检测的准确性。

根据本公开的示例性实现方式,还可以基于其他方式来确定滑动窗口820中的重叠度低于阈值的一个或多个图像帧对于检测结果的影响。例如,可以首先确定多个图像中的重叠度低于重叠度阈值的一组图像。可以比较一组图像的数量与多个图像的数量,并且确定两者的比例。假设两者的比例低于预定阈值(例如,20%或者其他数值),则可以确定存在肢体接触行为。假设两者的比例高于预定阈值(例如,80%或者其他数值),则可以确定不存在肢体接触行为。如果比例在20-80%之间,可以将检测结果设置为“疑似”,并且进一步调用其他图像处理过程。

利用本公开的示例性实现方式,基于多个图像中的重叠度低于阈值的图像数量与多个图像的整体数量的比较,可以以更为准确的方式判断是否存在肢体接触行为。以此方式,可以避免由于车内人物的动态动作导致的某些图像帧的重叠度低于阈值造成的误判。

根据本公开的示例性实现方式,可以基于重叠度低于阈值的一组图像在多个图像中的位置来确定是否存在肢体接触行为。假设一组图像零散地分布在多个图像之间,则可以认为该组图像的重叠度低于阈值是由于动作的动态过程而导致的。假设一组图像连续分布在滑动窗口820的某个位置,则可以认为重叠度高于阈值的多个图像所跨越的时间长度并未达到预定的时间长度阈值。此时,可以认为不存在肢体接触行为。利用本公开的示例性实现方式,可以更为合理地模拟车内人物的动作,进而提高动作检测的准确性。

将会理解,尽管上文分别示意性示出了允许滑动窗口820中存在重叠度低于重叠度阈值的多个示意性实现方式。可以将上述两个或者更多示意性实现方式进行组合。例如,可以确定滑动窗口的重叠度、重叠度低于阈值的图像数量与整体数量的比例、以及重叠度低于阈值的图像数量的分布,并且在上述三项指标均满足预定条件时,确定存在肢体接触行为。以此方式,可以降低出现误判的可能性。

根据本公开的示例性实现方式,从图像采集设备采集到的原始图像序列可能跨越较长时间。如果针对原始图像序列中的每个图像进行处理将会占用大量时间和处理资源。为了降低处理时间和处理资源方面的开销,可以按照预定时间间隔,从原始图像序列中执行采样以形成待处理的图像序列。

图10示意性示出了根据本公开的示例性实现方式的针对原始图像序列1010执行采样的框图1000。如图10所示,可以指定预定的时间间隔,例如指定从连续的n(n为整数,例如n=4)帧图像中采样一帧图像。可以从原始图像序列1010中选择第1帧、第n+1帧、第2n+1帧,等等,并且基于选择的各个图像帧来生成图像序列1020。利用本公开的示例性实现方式,可以通过采样技术来降低待处理图像序列的数据量。以此方式,可以在不影响检测效果的情况下降低处理时间和处理资源的开销,进而提高处理效率。

将会理解,上文仅以第一人物和第二人物作为车内人物的示例来描述了如何确定肢体接触行为。车内还可以包括更多的人物,此时可以基于类似方式确定多个人物中的任意两个人物之间的肢体接触行为,并且还可以确定多个人物之间的肢体接触行为。

上文已经描述了如何确定车内人物之间的肢体接触行为。当检测到肢体接触行为时,可以向车内人物发出警报,并且提醒车内人物注意。又例如,当检测到剧烈的肢体接触行为时,还可以向车辆服务应用的数据中心发出警报,以便提醒管理人员的注意。利用本公开的示例性实现方式,可以尽早发现车辆内部的潜在风险,进而确保车内人物的安全。

在上文中已经参见图2至图10详细描述了根据本公开的方法的示例,在下文中将描述相应的装置的实现。根据本公开的示例性实现方式,提供了一种用于确定人物之间的肢体接触行为的装置,包括:获取模块,配置用于获取包括第一人物和第二人物的至少一个图像;识别模块,配置用于在至少一个图像中识别分别包括第一人物的第一区域和包括第二人物的第二区域;确定模块,配置用于通过检测第一区域和第二区域之间的重叠区域,确定第一人物和第二人物之间的肢体接触行为。

根据本公开的示例性实现方式,确定模块包括:第一确定模块,配置用于如果确定第一区域和第二区域之间存在重叠区域,确定第一人物和第二人物之间存在肢体接触行为;以及第二确定模块,配置用于如果确定第一区域和第二区域之间不存在重叠区域,确定第一人物和第二人物之间不存在肢体接触行为。

根据本公开的示例性实现方式,第一确定模块包括:重叠度确定模块,配置用于基于比较重叠区域与以下中的至少任一区域,确定第一区域和第二区域之间的重叠度:图像的区域、第一区域、第二区域、以及第一区域和第二区域的并集区域;以及行为确定模块,配置用于如果确定重叠度高于重叠度阈值,确定存在肢体接触行为。

根据本公开的示例性实现方式,确定模块包括:深度确定模块,配置用于分别确定第一人物在至少一个图像中的第一图像深度和第二人物在至少一个图像中的第二图像深度;第一重叠区域确定模块,配置用于根据确定第一图像深度匹配于第二图像深度,确定存在重叠区域;以及第二重叠区域确定模块,配置用于根据确定第一图像深度不匹配于第二图像深度,确定不存在重叠区域。

根据本公开的示例性实现方式,至少一个图像是从包括第一人物和第二人物的图像序列获取的多个图像,并且其中行为确定模块进一步配置用于如果多个图像中的重叠度高于重叠度阈值的图像所跨越的时间长度高于时间长度阈值,确定存在肢体接触行为。

根据本公开的示例性实现方式,多个图像是基于预定窗口宽度而被获取的;以及其中行为确定模块进一步配置用于如果确定多个图像的重叠度均高于重叠度阈值,确定存在肢体接触行为。

根据本公开的示例性实现方式,重叠度确定模块进一步配置用于分别确定多个图像的重叠度;以及其中行为确定模块进一步配置用于基于多个图像的重叠度的总和,确定肢体接触行为。

根据本公开的示例性实现方式,该装置进一步包括:图像确定模块,配置用于确定多个图像中的重叠度低于重叠度阈值的一组图像;以及其中行为确定模块进一步配置用于基于以下中的至少任一项,确定肢体接触行为:一组图像在多个图像中的位置以及一组图像的数量与多个图像的数量的比较。

根据本公开的示例性实现方式,该装置进一步包括:接收模块,配置用于接收来自图像采集设备的原始图像序列;以及采样模块,配置用于按照预定时间间隔,从原始图像序列中执行采样以形成图像序列。

根据本公开的示例性实现方式,至少一个图像是经由部署在车辆内部的图像采集设备而获取的。

根据本公开的示例性实现方式,识别模块包括:图像识别模块,配置用于基于人物识别模型在图像中识别第一人物;以及区域确定模块,配置用于基于第一人物的图像包围盒,确定第一区域。

根据本公开的示例性实现方式,提供了一种电子设备,包括:存储器和处理器;其中存储器用于存储一条或多条计算机指令,其中一条或多条计算机指令被处理器执行以实现上文描述的方法。

图11示出了其中可以实施本公开的一个或多个实现方式的计算设备/服务器1100的框图。应当理解,图11所示出的计算设备/服务器1100仅仅是示例性的,而不应当构成对本文所描述的实现方式的功能和范围的任何限制。

如图11所示,计算设备/服务器1100是通用计算设备的形式。计算设备/服务器1100的组件可以包括但不限于一个或多个处理器或处理单元1110、存储器1120、存储设备1130、一个或多个通信单元1140、一个或多个输入设备1150以及一个或多个输出设备1160。处理单元1110可以是实际或虚拟处理器并且能够根据存储器1120中存储的程序来执行各种处理。在多处理器系统中,多个处理单元并行执行计算机可执行指令,以提高计算设备/服务器1100的并行处理能力。

计算设备/服务器1100通常包括多个计算机存储介质。这样的介质可以是计算设备/服务器1100可访问的任何可以获得的介质,包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器1120可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(ram))、非易失性存储器(例如,只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、闪存)或它们的某种组合。存储设备1130可以是可拆卸或不可拆卸的介质,并且可以包括机器可读介质,诸如闪存驱动、磁盘或者任何其他介质,其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在计算设备/服务器1100内被访问。

计算设备/服务器1100可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图11中示出,可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中,每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器1120可以包括计算机程序产品1125,其具有一个或多个程序模块,这些程序模块被配置为执行本公开的各种实现方式的各种方法或动作。

通信单元1140实现通过通信介质与其他计算设备进行通信。附加地,计算设备/服务器1100的组件的功能可以以单个计算集群或多个计算机器来实现,这些计算机器能够通过通信连接进行通信。因此,计算设备/服务器1100可以使用与一个或多个其他服务器、网络个人计算机(pc)或者另一个网络节点的逻辑连接来在联网环境中进行操作。

输入设备1150可以是一个或多个输入设备,例如鼠标、键盘、追踪球等。输出设备1160可以是一个或多个输出设备,例如显示器、扬声器、打印机等。计算设备/服务器1100还可以根据需要通过通信单元1140与一个或多个外部设备(未示出)进行通信,外部设备诸如存储设备、显示设备等,与一个或多个使得用户与计算设备/服务器1100交互的设备进行通信,或者与使得计算设备/服务器1100与一个或多个其他计算设备通信的任何设备(例如,网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(i/o)接口(未示出)来执行。

根据本公开的示例性实现方式,提供了一种计算机可读存储介质,其上存储有一条或多条计算机指令,其中一条或多条计算机指令被处理器执行以实现上文描述的方法。

这里参照根据本公开实现的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元,从而生产出一种机器,使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上,使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实现,上述说明是示例性的,并非穷尽性的,并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其他普通技术人员能理解本文公开的各实现。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1