图像处理方法、装置和多摄像头同步系统与流程

本申请涉及信息处理技术领域，更具体的说是涉及一种图像处理方法、装置和多摄像头同步系统。

背景技术：

随着图像技术的不断发展，在涉及视频图像分析或者视频监控的诸多领域中，都有需要利用摄像头采集图像并对摄像头采集到的图像进行处理。如，利用摄像头采集图像可以为警方办案以及分析用户行为等提供依据。

然而，单个摄像头摄取的视频图像的内容较为有限，因此，在很多领域中，基于单个摄像头采集到的视频图像可能无法实现更为精准和可靠的视频分析，从而导致基于摄像头进行视频分析处理的应用较为受限。

技术实现要素：

有鉴于此，本申请提供了一种图像处理方法、装置和多摄像头同步系统，以有利于较为准确的确定出该多摄像头同步系统中各个摄像头采集到的视频图像的采集时刻。

为实现上述目的，本申请提供如下技术方案：

一方面，本申请提供了一种图像处理方法，应用于多摄像头同步系统中的摄像头，所述多摄像头同步系统包括至少两个摄像头，所述方法包括：

通过图像传感器采集视频流；

在所述图像传感器采集到一帧视频图像时，获取当前的时间信息，所述时间信息为精确到毫秒的时间信息；

生成包含所述视频图像的数据以及所述时间信息的数据包。

优选的，所述时间信息为经过所述摄像头与时间校准设备进行校准后的时间。

优选的，还包括：

在到达时间校准时刻时，向所述时间校准设备发送时间校准请求；

获得所述时间校准设备响应于所述时间校准请求所返回的校准时间，并基于所述校准时间对所述摄像头内的时钟时刻进行校准。

优选的，所述时间校准设备为通过交换机与所述摄像头相连的网络时间协议服务器。

优选的，所述生成包含所述视频图像的数据以及所述时间信息的数据包，包括：

将所述视频图像和所述时间信息传输给编码器；

通过所述编码器将所述时间信息作为所述视频图像关联的时间戳，并将所述时间戳与所述视频图像进行编码，得到编码后的数据包，所述数据包至少包括所述视频图像的数据和所述时间戳。

又一方面，本申请还提供了一种图像处理装置，应用于多摄像头同步系统中的摄像头，所述多摄像头同步系统包括至少两个摄像头，所述装置包括：

视频采集单元，用于通过图像传感器采集视频流；

时间获取单元，用于在所述图像传感器采集到一帧视频图像时，获取当前的时间信息，所述时间信息为精确到毫秒的时间信息；

数据生成单元，用于生成包含所述视频图像的数据以及所述时间信息的数据包。

优选的，所述时间信息为经过所述摄像头与时间校准设备进行校准后的时间。

优选的，还包括：

校准请求单元，用于在到达时间校准时刻时，向所述时间校准设备发送时间校准请求；

时间校准单元，用于获得所述时间校准设备响应于所述时间校准请求所返回的校准时间，并基于所述校准时间对所述摄像头内的时钟时刻进行校准。

又一方面，本申请还提供了一种多摄像头同步系统，包括：

至少两个摄像头；

其中，所述摄像头用于通过图像传感器采集视频流；在所述图像传感器采集到一帧视频图像时，获取当前的时间信息，所述时间信息为精确到毫秒的时间信息；生成包含所述视频图像的数据以及所述时间信息的数据包。

优选的，该系统还包括：交换机和网络时间协议服务器；

其中，所述摄像头通过所述交换机与所述网络时间协议服务器相连；

所述摄像头还用于，在到达时间校准时刻时，向所述时间校准设备发送时间校准请求；

所述网络时间协议服务器，用于响应于所述时间校准请求，向所述摄像头返回校准时间；

所述摄像头还用于，基于所述校准时间对所述摄像头内的时钟时刻进行校准。

经由上述的技术方案可知，在本申请实施例中，多摄像头同步系统中包含多个摄像头，该摄像头每采集到一帧视频图像，都会获取当前精确到毫秒的时间信息，并生成包含该帧视频图像和该时间信息的数据包，在此基础上，从多摄像头同步系统的任意一个摄像头生成的视频图像的数据包中均可以直接提取出该视频图像的采集时刻，从而为利用多摄像头同步系统的多个摄像头在同一时刻采集到不同视频图像进行综合视频分析提供了可能，有利于实现基于多个摄像头协同进行视频监控与分析，进而有利于提高视频监控分析的准确性，也有利于提高视频监控分析的应用范围。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了本申请一种图像处理方法一个实施例的流程示意图；

图2示出了本申请的摄像头生成包含视频图像的数据包的原理框图；

图3示出了本申请的多摄像头同步系统的一种组成架构示意图；

图4示出了本申请一种图像处理方法又一个实施例的流程示意图；

图5示出了本申请一种图像处理装置的一种组成结构示意图。

具体实施方式

本申请的发明人经过研究发现，目前基于单个摄像头进行视频监控或者分析的应用范围较为有限，如，由于单个摄像头的摄像范围有限，在人流监控以及人员跟踪等场景中，无法基于单个摄像头进行人员追踪以及人流分析等。

同时发明人研究发现：为了解决基于单个摄像头采集到的图像进行视频监控分析的应用有限性，利用多个摄像头采集到的图像进行协同分析将成为一种需求。然而，在多个摄像头协同的视频监控分析场景中，需要将多个摄像头的数据对齐，即分别从各个摄像头采集到的视频流中，提取各摄像头在同一时间点采集到视频图像。因此，如果无法确定各个摄像头采集到的视频的精准时刻，则无法确定多个摄像头在同一时刻采集到的图像，也就无法准确的，甚至无法实现视频监控分析。

比如，在利用多摄像头对用户进行定位追踪场景中，如果无法确定两个位置相邻的摄像头中采集到的视频图像的时刻，那么当一个用户从一个摄像头的视野中走到另一个摄像头的视野中，有可能存在一种情况是两个摄像头之间同一时刻的两帧图像都没有这个人，那么就会造成追踪丢失。

基于以上研究发现可知，能够精准的确定摄像头采集到的每帧视频图像的采集时刻，是实现多摄像头协同进行视频分析的前提。基于此，本申请的发明人提出了本申请的方案，本申请的方案适用于任何需要基于多摄像头采集到的图像进行综合分析的场景。即，任意需要基于多摄像头同步系统中的多个摄像头采集到的视频流进行分析的场景。

在由多个摄像头构成的多摄像头同步系统中，每个摄像头均可以执行本申请的图像采集处理方法。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1所示，其示出了本申请一种图像处理方法一种流程示意图，本实施例的方法应用于多摄像头同步系统中的摄像头，该多摄像头同步系统包含至少两个摄像头。本实施例的方法可以包括如下步骤：

s101，通过图像传感器采集视频流。

可以理解的是，在摄像头包括图像传感器，该图像传感器可以实现图像采集，使得摄像头可以持续获得由图像传感器采集到的视频图像构成的视频流。

s102，在图像传感器采集到一帧视频图像时，获取当前的时间信息，时间信息为精确到毫秒的时间信息。

在本申请实施例中，摄像头的图像传感器每采集到一帧视频图像，摄像头都会获取当前的时间信息，因此，该时间信息就是采集该帧视频图像的时间。

特别的，在本申请实施例中，该时间信息并未是常规的精确到秒的时间，而是精确到毫秒的时间信息，因此，基于该时间信息可以直接确定该帧视频图像的采集时刻。其中，精确到毫秒的时间信息是指该时间信息时、分和秒，还包括当前的毫秒时刻，例如，精确到毫秒的时间信息可以为：9:20：10:15。当然，该时间信息还可以包括具体的年月日等日期信息。

本申请的发明人经过研究发现，为了能够确定摄像头采集到对的视频图像得到采集时间，虽然可以在每秒获取一次时间信息，得到精确到秒的时间信息。但是，通常情况下，摄像头每秒可以采集到多帧视频图像，那么同一秒内采集到的多帧视频图像对应的时间信息实际上都是同一个时间(即精确到秒的时间)。

在该种情况下，如果后续获取到视频图像对应的时间信息之后，还需要结合帧率来确定各帧视频图像之间的时间间隔，最终才可以每帧视频图像具体是哪一毫秒采集到的，从而导致了确定视频图像的采集时刻的复杂度较高。

如，假设帧率是25，那么摄像头1秒中会产生25帧视频图像，每帧视频图像之间的间隔是40ms，例如，虽然在1分20秒采集到的25帧图像，但是这25帧视频图像对应的时间信息均为1分20秒，从而无法确定各视频图像的具体采集时刻以及采集先后顺序。在该种情况下，就需要先根据摄像头采集到的各帧图像对应的时间戳(精确到秒)，确定对应的时间戳存在秒数跳变的视频图像，然后再按照相邻视频图像的采集时间间隔为40ms，确定该视频图像之后的下一帧视频对应的实际采集时刻，即精确到毫秒的时刻，然后依此类推。可见，该种方式无法直接根据视频图像对应的时间信息确定出视频图像的采集时刻，那么对于多摄像头同步系统而言，就很难确定各摄像头在同一时刻采集到的视频图像。

为了可以直观确定出摄像头采集到的视频图像的具体时刻，与每秒获取一次时间信息的方式不同，本申请在摄像头每次采集到一帧视频图像时，均会获取当前精确到毫秒的时间信息，在此基础上，该摄像头采集到的不同帧视频图像所对应的时间信息均是不同的，且可以精准反映采集该视频图像的毫秒级时间。

s103，生成包含视频图像的数据以及时间信息的数据包。

在本申请实施例中，在获取视频图像和相应的时间信息之后，本申请直接将视频图像和时间信息的数据生成到一个数据包中，这样，通过该数据包可以直接提取出该视频图像和时间信息，有利于提高获取视频图像对应的时间信息的便捷性和效率。

如，可以将时间信息作为视频图像关联的信息生成包含该时间信息的属性信息包，并将该属性信息与该视频图像的数据包合并到一个数据包中。

可选的，可以为对视频图像和时间信息进行编码，得到编码出的包含该视频图像的数据和时间信息的数据包。其中，在编码过程中可以将该时间信息作为该视频图像关联的属性信息进行编码。如，摄像头可以将该视频图像和该时间信息传输给摄像头内的编码器，通过该编码器将该时间信息作为该视频图像关联的时间戳，并将该时间戳与该视频图像进行编码，得到编码后的数据包，该数据包至少包括该视频图像的数据和该时间戳。

可以理解的是，在通过摄像头对视频图像和该视频图像对应的时间信息进行编码的过程，实际上是将该时间信息作为该视频图像关联的信息单独打包，并最终将打包的时间信息与该视频图像的数据一起编码，从而编码出包含有时间信息和视频图像的数据包。在该种情况下，通过对数据包解析直接得到该视频图像和时间信息。

其中，对于编码的具体算法本申请不做限制，如可以采用h264或者h265等编码算法进行编码等。

为了便于理解，结合图2进行说明：

图2示出了本申请中摄像头进行图像处理的原理框架示意图。

在图2中，摄像头可以包括传感器、控制器和编码器。

由图2可以看出，在控制器检测到传感器采集到的一帧视频图像的情况下，控制器会获取当前的时间信息，在控制传感器将该帧视频图像传输给编码器的同时，控制器会将当前确定的该时间信息传输给编码器。在该种情况下，编码器会将该时间信息和该视频图像一起编码得到编码出的数据包。如此不断重复，从而可以对摄像头采集到的视频流中各帧图像分别进行编码，并最终得到视频流的编码数据。

本申请的发明人经过研究发现，在为图像添加时间戳的方式还可以基于屏幕菜单式调节方式(on-screendisplay，osd)实现为图像添加时间戳。但是该种方式，实际上是将将时间信息作为一个图层与视频图像叠加为一幅图像。在该种情况下如果需要获取该视频图像的时间信息，需要利用光学字符识别ocr技术对叠加的图像进行识别，以识别出该图像中显示的时间信息，从而导致获取该时间信息的复杂度较高。而且由于基于osd方式仅仅支持为视频图像添加精确到秒的时间信息，即每秒仅仅获取一次时间信息，使得每秒内采集到的多帧的视频图像的时间戳均相同，从而无法准确确定视频图像的采集时刻。

在以上研究的基础上，本申请在每次采集到一帧视频图像时均获取当前精确到毫秒的时间信息，同时，还会直接生成将该视频图像与相应的时间信息的数据包，使得从数据包中可以直接获取该视频图像对应的精确到毫米级的时间信息，从而可以准确得到摄像头采集到的各帧视频图像的采集时刻。

可以理解的是，针对不同的应用场景，摄像头生成该数据包之后，还可以存储各帧视频图像的数据包；也可以是将各帧视频图像对应的数据包传输到指定的视频存储设备或者分析设备等。

可见，本申请中，多摄像头同步系统中的摄像头在每次采集到一帧视频图像时，会获取当前的时间信息，并生成包含该帧视频图像和该时间信息的数据包，这样，由于视频图像所在的数据包中包含时间信息且该时间信息为精确到毫秒的时间，因此，可以直接从包含视频图像的数据包中提取出该视频图像的采集时刻，从而可以准确和便捷的确定出该多摄像头同步系统中各个摄像头采集到的视频图像的采集时刻，进而在需要基于该多摄像头同步系统的多个摄像头采集到的视频图像进行综合分析时，可以基于各个摄像头采集到并生成的包含视频图像的数据包，准确确定出各个摄像头中同一时刻采集到的视频图像。

同时，由于多摄像头同步系统中各个摄像头采集到的视频图像的采集时刻都可以精准确定，从而为基于多摄像头同步系统中各个摄像头在同一时刻采集到的视频图像进行综合分析提供了可能，也有利于保证多摄像头同步视频分析的可靠性和精准性。

可以理解的是，在多摄像头同步系统中，如果各个摄像头内的时钟时刻不同步，那么也会导致无法准确确定各个摄像头同一时刻采集到的视频图像。而摄像头的晶振的误差会随着时间的增长而不断积累，导致摄像头的内部时间存在偏差，而为了保证各个摄像头中时钟时间的一致，使得摄像头为采集到的视频图像所关联的时间信息是与其他摄像头中的时间同步的，本申请中摄像头还会与时间校准设备进行时间校准。

相应的，在本申请实施例中，摄像头在检测到采集到一帧视频图像的情况下，所获得的时间信息是经过该摄像头与时间校准设备校准后的时间。其中，由于多摄像头同步系统中各个摄像头均会与该时间校准设备进行时间校准，可以保证各个摄像头的时钟时间的同步。

其中，该时间校准设备可以有多种可能。可选的，该时间校准设备可以为网络时间协议(networktimeprotocol，ntp)服务器。其中，网络时间协议服务器是指基于ntp协议的服务器。其中，该ntp协议可以用来使计算机时间同步化的一种协议，它可以使计算机对其服务器或时钟源做同步化，它可以提供高精准度的时间校正，且可介由加密确认的方式来防止恶毒的协议攻击。

为了便于理解，可以参见图3，其示出了本申请一种多摄像头同步系统的一种组成架构示意图。

由图3可以看出，该多摄像头同步系统至少包括多个摄像头301。其中，每个摄像头301均可以执行本申请任意一个实施例中提到的图像处理方法。

可选的，为了保证各个摄像头的时间同步，该多摄像头同步系统还包括：与该多个摄像头分别相连的ntp服务器302。

在一种可能的实现方式中，该多摄像头同步系统还包括交换机303，其中，各摄像头301与ntp服务器302之间通过交换机303相连。

在本申请实施例中，摄像头与ntp服务器进行时间校准的方式可以有多种。如，摄像头周期性的向ntp服务器请求时间校准，或者是按照设定的步长变化规律，在到达时间校准时刻时，向该ntp服务器发送时间校准请求，以基于nip服务器返回的校准时间对摄像头内的时钟时刻进行校准。

相应的，该ntp服务器，用于响应摄像头发送的时间校准请求，向该摄像头返回校准时间。

如图4所示，其示出了本申请一种图像处理方法又一个实施例的流程示意图，本实施例应用于该多摄像头同步系统中的任意一个摄像头。本实施例包括：

s401，通过图像传感器采集视频流。

s402，在到达时间校准时刻时，向该ntp服务器发送时间校准请求。

如，摄像头可以按照时间校准周期，判断当前时刻是否到达时间校准时刻。

又如，摄像头可以将预先设定的多个特定时刻作为时间校准时刻，在到达任意一个特定时刻，则确定到达时间校准时刻。

其中，该时间校准请求用于请求ntp服务器对摄像头的时间进行校准。

可以理解的是，本实施例使以时间校准设备为ntp服务器为例说明，对于其他能够为摄像头提供时间校准的设备，也同样适用于本实施例。

s403，获得该ntp服务器响应于该时间校准请求所返回的校准时间，基于该校准时间对该摄像头内的时钟时刻进行校准。

其中，ntp服务器所返回的校准时间是指提供给摄像头对摄像头的时钟进行校准的时间信息。

其中，摄像头基于该校准时间可以调整时钟时刻以保证摄像头的时钟与ntp服务器的时钟时刻一致，这样，多摄像头同步系统的所有摄像头均与该ntp服务器同步，从而使得多摄像头同步系统中所有摄像头的时钟同步。

需要说明的是，该步骤s402和s403与s401以及s404等步骤的顺序并不限于图2所示，在实际应用中，在摄像头采集图像的过程中，只要满足时间校准的条件，均可以执行步骤s402和s403。

s404，在图像传感器采集到一帧视频图像时，获取当前的时间信息，时间信息为精确到毫秒的时间信息。

s405，生成包含视频图像的数据以及时间信息的数据包。

以上步骤s404和s405可以参见前面实施例的相关介绍，在此不再赘述。

在本申请实施例中，由于多摄像头同步系统能够中的摄像头会对不断与ntp服务器进行时间校准，使得各个摄像头的时间同步；而且，图像摄像头每采集到一帧视频图像，摄像头所确定的当前时间信息都是经过校准后的时间信息，从而保证了视频图像对应的时间信息可以精准反映该视频图像的采集时刻，进而可以直接基于摄像头生成的数据包中视频图像对应的时间信息，精准确定各个摄像头在同一时刻采集到的视频图像。

可以理解的是，摄像头还可以检测该摄像头是否存在时间校准失败的情况，如，在到达时间校准时刻未发送时间校准请求，或者虽然发送了时间校准请求但是未收到ntp服务器的响应等导致时间校准失败的情况。如果存在，则摄像头还可以记录时间校准失败的信息。

可以理解的是，根据实际应用场景的不同，该多摄像头同步系统还可以包括：视频监控分析设备或者视频存储设备等。相应的，摄像头可以将生成的各视频图像的数据包发送给视频监控分析设备或者视频存储设备等。当然，摄像头还可以向视频监控分析设备或者视频存储设备发送时间校准失败的信息。

对应本申请的一种图像处理方法，本申请还提供了一种图像处理装置。

如图5所示，其示出了本申请一种图像处理装置一个实施例的组成结构示意图，本实施例的装置可以应用于多摄像头同步系统中的摄像头，所述多摄像头同步系统包括至少两个摄像头，该装置包括：

视频采集单元501，用于通过图像传感器采集视频流；

时间获取单元502，用于在所述图像传感器采集到一帧视频图像时，获取当前的时间信息，所述时间信息为精确到毫秒的时间信息；

数据生成单元503，用于生成包含所述视频图像的数据以及所述时间信息的数据包。

可选的，所述时间信息为经过所述摄像头与时间校准设备进行校准后的时间。

在一种可能的实现方式中，该装置还可以包括：

校准请求单元，用于在到达时间校准时刻时，向所述时间校准设备发送时间校准请求；

时间校准单元，用于获得所述时间校准设备响应于所述时间校准请求所返回的校准时间，并基于所述校准时间对所述摄像头内的时钟时刻进行校准。

在又一种可能的实现方式中，所述数据生成单元，包括：

数据传输单元，用于将所述视频图像和所述时间信息传输给编码器；

数据编码单元，用于通过所述编码器将所述时间信息作为所述视频图像关联的时间戳，并将所述时间戳与所述视频图像进行编码，得到编码后的数据包，所述数据包至少包括所述视频图像的数据和所述时间戳。

对于装置实施例而言，由于其基本相应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，在没有超过本申请的精神和范围内，可以通过其他的方式实现。当前的实施例只是一种示范性的例子，不应该作为限制，所给出的具体内容不应该限制本申请的目的。例如，所述单元或子单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或多个子单元结合一起。另外，多个单元可以或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

另外，所描述系统和方法以及不同实施例的示意图，在不超出本申请的范围内，可以与其它系统，模块，技术或方法结合或集成。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。