专利名称：视频数据发送/接收方法和视频监督系统的制作方法
技术领域：
本发明涉及一种用于发送/接收视频数据的视频数据发送/接收方法和一种视频监督系统。
背景技术：
视频监督系统的目标是针对入侵者进行监督，按照惯例，该系统使用慢速VTR或类似物。在几十个小时中，慢速VTR可以按几秒到几十秒的恒定间隔来逐帧地连续记录从摄像机输入的视频信号。
在慢速VTR中，对于模拟录像带而言，记录时间有限制。因此，通过用馈送帧的方法执行视频记录，来增加记录时间。但是，例如，如果在犯罪调查中使用记录的视频图像，则可能有时不是要求视频馈送帧，而是要求一种录像，该录像具有很高的帧速率，以致可以确认入侵者的行为细节。
JP-A-08-77468、JP-A-2000-253390和JP-A-2000-20857中描述了符合这种要求的各种已知的技术。描述它们的技术在于在一种系统中提供了视频图像分析装置，该系统在视频图像发送侧上有一个监督摄像机，由此，只有当视频图像中有重要信息(例如，移动的物体)时，才会发送视频图像。这样，通过只记录包含重要信息的图像，而不是通过由视频馈送帧带来的记录时间加长，来增加记录时间。
同时，JP-A-11-32321描述了一种监督系统，该系统在图像识别发现有异常情况发生时对视频图像进行检测，并在记录异常信息的同时记录视频图像，以便一旦发生异常情况，就可以通过参考异常信息清单来迅速搜索视频图像。
虽然前述的传统例子只发送通过视频分析来检测重要信息的视频数据，但是，计算机的视频识别程序中存在识别错误。也就是说，害怕发生这种情况视频观察器忽略视频图像中的重要信息，或重要信息没有被记录下来。
同时，在视频监督系统中，当存储正在被长期连续发送的视频数据时，需要同时执行视频数据的存储过程和视频数据的搜索/显示过程。但是，前述的原先技术没有提供搜索/显示视频数据的数据文件的方法。
发明内容
本发明的目的是通过一种视频监督系统中的大容量视频数据来促进长时间的视频数据记录和搜索过程，该视频监督系统由多个视频发送装置和用于接收、显示和存储视频数据的视频接收装置构成。
另一个目的是实现同时执行相同视频数据的存储和搜索过程。
还有一个目的是一旦发生异常情况(例如，有入侵者)，就迅速搜索视频图像，从而减轻视频监督人员搜索异常情况发生的负担。
本发明涉及一种实时发送正在被输入的实况视频数据的方法，包括视频编码过程步骤、视频数据发送步骤、元数据产生步骤和元数据发送步骤。在视频编码过程步骤中，当对正在作为流数据被输入的视频数据执行编码过程时，按预定的时间间隔重复编码过程的开始和结束，执行数据划分过程来生成多个时间连续的视频数据，并将其作为部分视频数据输出；在视频数据发送步骤中，实时发送部分视频数据；在元数据产生步骤中，生成部分视频数据的元数据，并将其作为部分视频元数据来输出；在元数据发送步骤中，发送部分视频元数据。
根据这种配置，当长时间连续发送视频数据时，按预定的时间间隔来分割完整视频数据，以发送多个部分视频数据。结果，通过容易地将长视频数据划分为多个部分视频数据文件，而不执行复杂的视频数据分析，有接收侧的系统可以存储长视频数据。同时，由于在发送视频数据的同时发送对应于部分视频数据的部分视频元数据，在只利用已接收的元数据来进行接收的情况下，允许有接收侧的系统对完整视频数据中已接收的部分视频数据进行搜索。
本发明还提供了一种实时接收视频数据的视频数据接收方法，它包括视频数据接收步骤接收发送来的完整视频数据；视频数据存储步骤将所述完整视频数据分为多个部分视频数据，并把这些部分视频数据分别作为独立的数据文件存储到存储媒体；元数据接收步骤接收完整视频元数据；以及元数据存储步骤将所述完整视频元数据分为头部文件、多个部分视频元数据和脚注文件，并把它们分别作为独立的数据文件存储到存储媒体。
本发明还提供了一种播放接收的视频数据的视频数据播放方法，它包括设定视频数据的检索条件的检索条件设定步骤；根据所述检索条件分析存储结束或存储处理进行中的完整视频元数据，检测出与所述检索条件一致的部分视频元数据的部分视频元数据检索步骤；分析检测出的部分视频元数据，检测与所述检索条件一致的场景元数据的场景元数据检索步骤；检测与检索的部分视频元数据对应的部分视频数据的部分视频数据检索步骤；以及播放与检索的场景元数据对应的部分视频数据的场景的部分视频数据播放步骤。
本发明还提供了一种实时接收视频数据的视频数据接收装置，它包括视频数据接收部用于接收发送来的完整视频数据；视频数据存储部用于将所述完整视频数据分为多个部分视频数据，并把这些部分视频数据分别作为独立的数据文件存储到存储媒体；元数据接收部用于接收完整视频元数据；以及元数据存储部用于将所述完整视频元数据分为头部文件、多个部分视频元数据和脚注文件，并把它们分别作为独立的数据文件存储到存储媒体。
本发明还提供了一种播放接收的视频数据的视频数据播放装置，它包括设定视频数据的检索条件的检索条件设定部；根据所述检索条件分析存储结束或存储处理进行中的完整视频元数据，检测出与所述检索条件一致的部分视频元数据的部分视频元数据检索部；分析检测出的部分视频元数据，检测与所述检索条件一致的场景元数据的场景元数据检索部；检测与检索的部分视频元数据对应的部分视频数据的部分视频数据检索部；以及播放与检索的场景元数据对应的部分视频数据的场景的部分视频数据播放部。
图1是方框图，表现了本发明的实施例1中的一种视频监督系统的配置；图2表现了完整视频数据与部分视频数据之间的关系；图3表现了完整视频元数据与完整视频数据之间的关系；图4表现了文件命名规则的一个例子；图5表现了部分视频元数据的一个描述例子；图6表现了完整视频元数据的头部文件的一个描述例子；图7表现了完整视频元数据的脚注文件的一个描述例子；图8A、8B和8C是解释在视频数据搜索期间参考文件的一种方法的视图；图9解释了临时场景元数据和固定场景元数据；
图10解释了在视频数据搜索期间参考文件的一种方法；图11是图1中的视频监督系统的视频发送装置的方框图；图12是流程图，表现了图11的视频发送装置中的视频数据发送过程程序；图13是流程图，表现了图11的视频发送装置中的场景元数据产生过程程序；图14是流程图，表现了图11的视频发送装置中的场景元数据发送过程程序；图15是图1中的视频监督系统的视频接收装置的方框图；图16是流程图，表现了图15的视频接收装置中的视频数据接收过程程序；图17是流程图，表现了图15的视频接收装置中的场景元数据接收过程程序；图18是流程图，表现了图15的视频接收装置中的数据搜索过程程序。
具体实施例方式
在下文中，参考附图来展示本发明的示范实施例。
在图1中，视频发送装置101a、101b、101c将从摄像机获取的视频数据(作为流数据)实时地发送到视频接收装置102。在发送视频数据的同时，也发送视频数据中的元数据。视频发送装置101a、101b、101c可能是只由硬件构成的监督摄像机，也可能是装有软件程序、图像数据输入设备、视频数据发送设备等的任意的终端单元(例如，个人计算机、PDA(个人数字助理)或手机)。
视频接收装置102接收从多个视频发送装置101a、101b、101c被实时发送的视频数据流和视频流数据的元数据，并存储这些数据。视频接收装置102也可用于显示正在被接收的视频数据并利用所存储的元数据来搜索视频数据。视频接收装置102可能是只由硬件构成的一种装置，也可能是装有软件程序、显示视频数据的设备、管理视频数据的数据库等的一种计算机系统。
通信网络103在视频发送装置101a、101b、101c与视频接收装置102之间进行连接。如果视频发送装置101a、101b、101c与视频接收装置102之间可以有相互的通信，则这可能是任意的一种网络(例如，WAN(广域网)、LAN(局域网)、无线电网络或它们的组合)。
视频发送装置101a、101b、101c将从摄像机输入的视频数据实时地发送到视频接收装置102。视频数据(将由视频发送装置101输出)由任意的一种编码方案(例如，MPEG4或H.263)进行编码，然后通过使用没有缺失数据的通信路径(即，拥有网络资源的通信路径)被发送。顺便提及，虽然可以使用视频发送期间可能会发生数据丢失的通信路径，但是，应该采取某种对策来防止发生这种数据丢失。
视频发送装置101a、101b、101c拥有数据分析的手段，并执行视频数据中的重要信息的检测过程和视频数据的场景划分过程。根据数据分析的结果，生成基于场景的元数据并发送到视频接收装置102。在发送视频数据的同时发送元数据，而与其保持适度的同步。
视频接收装置102接收正在从视频发送装置101a、101b、101c被发送的视频数据，以执行用所接收的视频数据实时显示的过程和存储到数据库的过程。视频监督人员(视频接收装置102的用户)监督正在从多个视频发送装置101a、101b、101c被发送的视频数据中是否包括重要的信息。
视频接收装置102可用于将包括因元数据分析过程而产生的重要信息的视频数据部分通知视频监督人员，从而减轻视频监督人员的负担。同时，通过利用被存储在数据库中的元数据，可以立即对视频场景进行搜索。
在这里，对“重要信息”、“场景划分”和“元数据”进行更加详细的解释。
“重要信息”是指视频监督人员寻求检测的信息，例如，具有一个通常不存在的物体的视频图像数据部分被称作“包括重要信息的图像数据区域”。
“场景划分”是指将时间连续的图像数据划分为多个视频数据部分的过程，例如，根据某个确定标准，对应于将视频数据划分为存在移动物体的一个部分和不存在移动物体的一个部分的过程。同时，只根据参考单位时间来划分视频数据的过程也是“场景划分”。
“元数据”是指伴随有视频数据或数据分析结果的、描述各种信息的数据，它是分开独立于“视频数据”的数据。这个实施例根据类似于XML(可扩展的标示语言)的数据描述语言或多媒体内容描述规格(例如MPEG7)，描述了元数据、视频数据文件名(标识符)、编码方案种类、图像尺寸、视频记录开始时间、视频记录结束时间、每个场景的开始与结束时间、场景中是否存在移动物体、各个视频数据文件之间的链接关系等。
现在解释将由视频发送装置101a、101b、101c发送的图像数据的格式。视频发送装置101a、101b、101c长时间连续将视频数据发送到视频接收装置102。另一方面，视频接收装置102接收由视频发送装置101a、101b、101c发送的视频数据，并将它们存储。这里，“长时间”的意思是从几小时到几天的时间或从视频发送装置101a、101b、101c启动到其关闭的一段时期。
在这种情况下，如果发送/接收中的视频数据被作为流数据中的一个简单数据来处理，则存储在视频接收装置102中的视频数据文件保持被打开并长时间被连续写入数据，从而导致数据尺寸加大。这种视频数据文件给数据管理带来困难，会在(例如)搜索、显示、复制和类似操作的数据处理中产生问题。
避免该问题的一种途径是，采用一种方法，用于在存储视频数据的同时将其分割成视频接收装置102内的一个适当的数据尺寸。但是，当处理由任意的编码方案进行编码的视频数据时，由于文件分割依靠编码方案，视频接收装置102的内部配置很复杂。因此，为视频数据提供了发送视频数据的分层结构，同时按适当的时间间隔来对其加以分割，而不只是用视频发送装置101a、101b、101c连续发送视频数据。在这个例子中，数据分层结构具有三个分层的层——“完整视频数据”、“部分视频数据”和“场景数据”。
图2展示了完整视频数据、部分视频数据与场景数据之间的关系。“完整视频数据”是指将由视频发送装置101a、101b、101c连续发送的完整视频数据。相反，“部分视频数据”是具有适当长度的、被分割的完整视频数据的一部分。单独的部分视频数据是将被单独解码/显示的独立视频数据。换言之，完整视频数据被配置成具有时间连续性的多个部分视频数据。例如，如果视频发送装置101a、101b、101c在工作日连续操作，在周六和周日关闭，其中，在操作过程中，使划分过程按1小时的时间间隔来重复开始/结束对视频数据的视频编码过程，则在工作日的一系列视频数据是“完整视频数据”，而由1小时分割的视频数据是“部分视频数据”。
用这种方法，由于发送装置101a、101b、101c发送完整视频数据，同时将其分割成部分视频数据，因此，允许视频接收装置102将所接收的视频数据存储为多个时间连续的视频数据文件，而不是将其存储为一个视频数据文件。
注意，在下文中，如果“完整视频数据”和“部分视频数据”不需要被加以特别的区分，则它们只被称作“视频数据”。
现在解释“场景数据”。如前所述，视频发送装置101能够进行视频数据分析，以便对视频数据执行场景划分过程。因此，部分视频数据被进一步分割成场景数据。注意，每个场景数据是指部分视频数据的一个逻辑段，不是作为离散数据文件的、分开独立的数据。同时，部分视频数据本身不包含有关场景数据的信息。部分视频数据的元数据中描述了有关部分视频数据的场景结构的信息。
从现在起，部分视频数据的元数据被称作“部分视频元数据”。同时，类似于部分图像数据具有元数据，完整视频数据也具有元数据，因而，完整视频数据的元数据被称作“完整视频元数据”。
图3展示了完整视频元数据、部分视频元数据与部分视频数据之间的关系。部分视频数据中的一个数据一定具有部分视频元数据中的一个元数据。部分视频元数据描述了与部分视频数据的链接关系。另一方面，完整视频元数据被构制成具有多个时间连续的部分视频元数据。每个部分视频元数据描述了与前面的和随后的部分视频元数据的链接关系。
特别是，部分视频元数据作为它的一个描述成分，具有前面的部分视频元数据的文件名(即规定数据位置的地址信息)和随后的部分视频元数据的文件名。
这种数据结构可以与作为数据文件分开独立的部分视频元数据保持时间连续的关系。因此，一套部分视频元数据也用作“完整视频元数据”。而且，可以在“部分视频数据”与“部分视频元数据”之间进行通信，以促进视频接收装置102中的数据文件管理。
但是，为了描述部分视频元数据中前面的和随后的部分视频元数据的文件名，需要预先确定视频发送装置101中的部分视频元数据的文件名。由于这个原因，一旦产生元数据，视频发送装置101就确定部分视频元数据的文件名，并在部分视频元数据的描述单元中描述相同的部分视频元数据的文件名。也就是说，部分视频元数据作为其描述单元，描述了三种部分视频元数据文件名——它自己的部分视频元数据的文件名、前面的部分视频元数据的文件名和随后的部分视频元数据的文件名。视频接收装置102确认所接收的部分视频元数据中所描述的各个文件名，并使用这些文件名打开数据文件，以便在那里写入部分视频元数据。
这里考虑一种情况搜索被存储在视频接收装置102中的视频数据。视频接收装置102存储从多个视频发送装置101a、101b、101c接收的所有完整视频数据。每个完整视频数据被划分为多个部分图像数据文件。同样，完整视频元数据也被划分为多个部分视频元数据文件。
虽然在执行视频数据搜索时首先搜索元数据，但是，随意地存取大量部分视频元数据，来找到满足搜索条件的部分视频元数据，这样做的效率非常低。于是，将头部文件和脚注文件加到完整视频元数据，以便进行逐步搜索。当执行视频数据搜索时，通过参考第一个步骤中的完整视频元数据的头部文件，来规定满足搜索条件的完整视频元数据。接下来，又通过参考组成完整视频元数据的多个部分视频元数据，来规定满足搜索条件的部分视频数据。
完整视频元数据的头部文件是一种分开独立于部分视频元数据文件的文件，并用位于完整视频元数据的前端的部分视频元数据的至少一个文件名来加以描述。同样，完整视频元数据的脚注文件是一种分开独立于部分视频元数据文件的文件，并用位于完整视频元数据的终端的部分视频元数据的至少一个文件名来加以描述。
完整视频元数据的头部文件具有到脚注文件的链接信息，而完整视频元数据的脚注文件具有到头部文件的链接信息。这是为了用循环清单结构来构制部分视频元数据文件组。
另一方面，完整视频元数据的前端处的部分视频元数据没有到头部文件的链接信息，而完整视频元数据的终端处的部分视频元数据没有到脚注文件的链接信息。这是因为规定头部/脚注文件属于完整视频元数据，并具有不同于每个部分视频元数据文件的分层层次。
同时，视频接收装置102存储许多视频数据文件及其元数据文件。在这种管理许多数据文件的系统中，所强调的是文件的命名规则。图4表现了部分视频数据和部分视频元数据的文件的命名规则的一个例子。在这个例子中，以用于将视频发送终端101识别为视频数据发送源的单独的识别号码、完整视频数据识别号码和部分视频数据识别号码(＝序列号)构成文件名，其中，在部分视频数据文件、部分视频元数据文件及其头部/脚注文件之间提供不同的扩展符。用这种方法，为完整视频元数据的头部/脚注文件提供一个容易与部分视频元数据文件区别开来的文件名。
现在，使用图5~图7来解释元数据格式。图5是部分视频元数据的一个描述例子。部分视频元数据用类似于XML的一种虚构数据描述语言来加以描述，并以“链接信息”、“前端参数”、“场景元数据”和“终端参数”构成。在链接信息中，描述了相关数据文件的文件名——前面的部分视频元数据的文件名、它自己的部分视频元数据的文件名、随后的部分视频数据的文件名和部分视频数据的文件名。
在前端和终端参数中，描述了部分视频数据的记录日期/小时、场景号码等的信息。
场景元数据中包括有关场景的各种信息(例如，场景号码、场景固定信息(细节以后描述)、场景中的帧数、记录日期/小时、视频分析结果等)。部分视频元数据中的许多被划分的场景中也包括场景元数据。
这种部分视频元数据在视频发送装置101中生成，将被发送到视频接收装置102。
视频发送装置101在发送部分视频元数据之前生成完整视频元数据的头部文件并将其发送到视频接收装置102。同时，在已发送构成完整视频元数据的所有部分视频数据之后，视频发送装置101随后生成完整视频元数据的脚注文件并将其发送到视频接收装置102。
图6是完整视频元数据的头部文件的一个描述例子，而图7是完整视频元数据的脚注文件的一个描述例子。这些头部脚注文件用类似于XML的一种虚构数据描述语言来加以描述，这类似于部分视频元数据的情况，即，用对相关数据文件的链接信息和完整视频数据共有的各种信息(例如，拍摄视频图像的终端单元的记录日期/小时和标识符、视频编码方案的种类、图像尺寸、帧速率(fps)、位速率(bps)等)来描述。
现在解释用于发送部分视频元数据的一种方法。视频发送装置101将视频数据划分为多个部分视频数据，以便将部分视频数据和部分视频元数据发送到视频接收装置102，而不只是发送视频数据。视频发送装置101将部分视频数据划分为多个场景，并描述有关部分视频元数据中部分视像的场景划分的信息。
部分视频数据是将被实时发送和接收的流数据，而部分视频元数据是如图5的例子中的文本文件。
部分视频数据具有任意的记录时间。例如，如果视频数据有24小时的记录时间，部分视频数据有1小时的记录时间，那么，直到开始接收部分视频数据后1小时，视频接收装置102才能利用部分视频数据的元数据。
也就是说，在视频发送装置101生成一个完整的部分视频元数据文件并将其发送到视频接收装置102的情况下，不允许视频接收装置102在完成接收部分视频数据之前参考部分视频元数据。
但是，实时的属性对于视频监督系统而言很重要。正在被发送或接收的部分视频数据也需要利用元数据。因为这个缘故，视频发送装置101通过根据场景元数据划分部分视频元数据来发送部分视频元数据，而不是发送作为一个数据文件的部分视频元数据。
视频发送装置101利用以下程序来发送图5中所示的部分视频元数据。
(1)在发送部分视频数据之前，发送对部分视频元数据的链接信息和前端参数。
(2)在发送部分视频数据的同时，对部分视频数据执行场景划分过程。
(3)每当场景划分结果被输出时，生成场景元数据并发送该场景元数据。
(4)当到达部分视频数据的终端时，发送终端参数。
也就是说，视频发送装置101与视频数据的场景划分过程同步生成场景元数据，并且将其发送到视频接收装置102。另一方面，视频接收装置102连接从视频发送装置101被发送的链接信息、前端参数、多个场景元数据和终端参数，以生成部分视频元数据并将其存储为一个数据文件。
现在，解释场景元数据中所包含的“场景固定信息”。场景元数据的“场景固定信息”是表示场景元数据是临时的还是固定的信息。
虽然视频发送装置101根据视频分析来执行部分视频数据的场景划分，但是，除非视频数据在长时间内有变化，否则，一个场景的时间会增加。在某种情况下，部分视频数据可能不被划分为多个场景，从而导致具有一个单独的场景。在这种情况下，视频发送装置101发送场景元数据的时间间隔会增加，降低了在视频接收装置102中的元数据搜索的方便程度。
由于这个原因，不管场景划分因视频分析而有什么结果，视频发送装置101都按规则的间隔来执行临时场景划分，从而将场景元数据发送到视频接收装置102。
在下文中，场景划分是临时的场景元数据被称作“临时场景元数据”，场景划分是固定的场景元数据被称作“固定场景元数据”。
当发送状态场景划分中的场景元数据没有被固定时，视频发送装置101通过在场景元数据的场景固定信息中将场景元数据描述为临时场景元数据，来将场景元数据发送到视频接收装置102。然后，在场景划分被固定之后，视频发送装置101再次将被固定在场景划分中的场景元数据发送到视频接收装置102。
图8A-8C表现了临时场景元数据和固定场景元数据的一个例子。这里假设视频发送装置101由视频分析与记录、场景数据、在场景中被检测的移动物体的数目、场景号码和场景固定信息执行移动物体检测。
首先，视频发送装置101发送由于视频分析而正在进行场景划分确定的视频部分的场景元数据(即临时场景元数据)。图8A是临时场景元数据的一个例子。在这个例子中，“场景号码”是“100”，“场景固定信息”是“临时”，“移动物体的数目”是“0”。“记录端的日期/小时的时间”是临时的值“15:02:30”。
当视频分析过程继续检测视频图像中的移动物体时，视频发送装置101在作为边界的移动物体检测点处执行场景划分。这里假设，在视频图像中检测一个移动物体，该视频图像被划分为所具有的移动物体的数目为“0”的一个场景(＝固定场景)和所具有的移动物体的数目为“1”的一个场景(＝临时场景)。
首先，视频发送装置101在具有“0”个移动物体的场景上生成如图8中的固定场景元数据，并将其发送到视频接收装置102。在固定场景元数据中，“场景号码”是“100”，“场景固定信息”是“固定”，“记录端的日期/小时的时间”是“15:05:00”，“移动物体的数目”是“0”。
随后，视频发送装置101在图8B中的固定场景后的视频数据部分(即不被固定在其终端处的视频数据部分)上生成如图8C中的临时场景元数据，并将其发送到视频接收装置102。临时场景元数据从具有以前刚刚被发送的“场景号码”“100”以及具有“场景号码”为“101”、“临时”的“场景固定信息”和“移动物体的数目”为“1”的固定场景元数据那里继续。
而且，当场景划分过程在视频发送装置101中继续进行时，对应于图8C中的临时场景元数据的临时场景被固定在进入固定场景的其场景终端处。
图9表现了在视频接收装置102中的部分视频元数据的产生过程。视频接收装置102联接所接收的场景元数据来生成部分视频元数据，由此可以区别临时场景元数据和固定场景元数据。
也就是说，临时场景元数据是第一临时的。相应地，如图9所示，当视频接收装置102接收具有与所接收的临时场景元数据相同的场景号码的固定场景元数据时，它在放弃临时场景元数据之后把最近接收的固定场景元数据加到部分视频元数据。
用这种方式，在这个实施例的视频监督系统中，即使在不固定的场景划分的状态，视频发送装置101也按预定的时间间隔来发送临时场景元数据，并且，在场景划分被固定之后，再次执行发送固定场景元数据的过程。当连接所接收的场景元数据来生成部分视频元数据时，视频接收装置102执行元数据发送/接收过程，其中，临时场景元数据被固定场景元数据适当地取代。
将固定/临时场景元数据引入元数据发送/接收过程，这拓宽了正在被实时发送/接收的已接收数据部分的搜索范围，从而在视频接收装置102内提供了方便的视频数据搜索并改进了实时性能。
现在，解释视频接收装置102中的视频数据搜索。图10表现了在视频接收装置102中的视频数据搜索期间如何参考文件。这里假设，显示从特定的视频发送装置101接收的图像数据的特定时间范围中所记录的图像数据。在这种情况下，对被累积地存储在视频接收装置102中的完整视频数据的头部文件进行搜索，以便将完整视频数据规定为搜索的主题(S1)。在该头部文件搜索中，参考终端单元的单独的号码和记录开始时间(关于记录结束时间，参考脚注文件)。在规定部分视频元数据的头部文件之后，其中所描述的第一部分视频元数据的文件名被用作起点来跟踪部分视频元数据文件，以便将包括时间范围的部分视频元数据规定为搜索主题(S2)。获取所选部分视频元数据中所描述的部分视频数据的文件名，以便存取由该文件名代表的部分视频数据文件(S3)。
通过继续执行这种搜索程序，可以有效地搜索一个部分视频数据文件，该部分视频数据文件包括来自被划分在多个文件中的时间连续的视频数据的文件组中的所需场景。
现在，解释视频发送装置101和视频接收装置102的结构和详细的操作。图11是视频发送装置101的方框配置图。
来自摄像机210的视频数据被保存在视频数据输入部分202的图像存储器中。在视频编码部分203中，对从视频数据输入部分202获取的视频数据进行编码。所编码的视频数据和编码时的各种参数一起被输出到视频数据发送部分204。视频数据发送部分204将由视频编码部分203编码的视频数据的位流划分为适当的尺寸。这由数据发送的头部加到数据包，该数据包被输出到通信部分208。
另一方面，视频数据分析部分205对视频数据输入部分202中所保存的视频数据执行任意的数据分析过程，以便将数据分析结果输出到元数据产生部分206。元数据产生部分206将由视频数据分析部分205输出的数据分析结果制成元数据。在元数据发送部分207中，元数据被划分为适当的尺寸。这由数据发送的头部加入数据包，该数据包被输出到通信部分208。通信部分208将由视频数据发送部分204和元数据发送部分207输出的数据包和用于通信控制的数据包发送到网络上。通信控制部分209利用视频数据接收装置102来执行通信控制。这也控制了视频发送装置101内的各个部分201-208，并设置了各种视频编码的参数。
如上所述，视频发送装置101可能是专用的硬件，或者由个人计算机和外围单元配置成实现软件程序上的一部分过程。例如，图11中的虚线所包围的区域210可以装有软件程序，以便利用硬件资源(例如，视频发送装置101所具有的CPU和存储器)来执行视频发送过程。同时，视频编码部分203和通信控制部分209可能装有软件程序。
现在，就视频数据发送过程、元数据产生过程和元数据发送过程来分开解释图11中所示的视频发送装置101的操作。图12是流程图，表现了视频发送装置101中的视频数据发送程序的一个例子。
这幅流程图表现了从视频发送装置101输入来自摄像机的视频数据到经由网络将视频数据发送到视频接收装置102的流程。
步骤S401是确定视频数据的前端的过程。视频发送装置101对从摄像机输入的视频数据进行编码，以便在长时间内连续发送编码的视频数据。注意，视频发送装置101发送视频数据，同时适当地对其进行划分，而不是以一种流数据的形式来对其进行发送。也就是说，视频发送装置101发送视频数据流，同时按预定的时间间隔来重复开始/结束编码过程。在步骤S401中，确定将被发送的编码视频数据是否在被划分的视频数据的前端。在是视频数据的前端的情况下，过程移到下一个步骤S402；在不是视频数据的前端的情况下，过程略过步骤S402，进到步骤S403。
步骤S402是视频数据的前端过程，用于执行有关视频数据编码过程的初始化过程和完整视频元数据的头部文件的输出过程。如图6所示，完整视频元数据的头部文件由对部分视频数据的链接信息，规定已反映图像数据的视频发送装置101的终端单元标识符、图像尺寸、编码方案种类、记录开始日期/小时等描述。
完整视频元数据的头部文件在元数据产生部分206中生成，并通过元数据发送部分207和通信部分208发送到视频接收装置102。在步骤S402中时，不每次输出头部文件，只在发送位于紧接完整视频数据的前端的部分视频数据之前才输出头部文件。
步骤403是视频数据的输入过程，用于按预定的帧速率将视频数据从摄像机201输入到视频数据输入部分202。视频数据输入部分202具有双缓冲器型图像存储器，以便存入图像存储器中的图像数据可以进入视频编码部分203或视频数据分析部分205。
步骤S404是视频数据的编码过程，其中，视频编码部分203获取保存在视频数据输入部分202中的图像数据，并对图像数据执行编码过程。视频数据编码方案可能是MPEG4、H.263或类似标准中任意的一种编码方案。
步骤S405是编码信息输出过程，用于将关于执行步骤S404中的编码过程的各种编码参数输出到视频数据分析部分205。各种编码参数是指有关编码过程的任意的信息，例如，1帧图像数据的数据长度、已执行完编码过程的时间、编码过程中的中间信息(例如，MPEG4DCT系数或活动矢量信息)。
将这些信息输出到视频数据分析部分205的原因是为了避免在视频数据分析部分205中执行类似于将在视频编码部分203中执行的过程的数据分析。步骤S405不是必要的过程，但可能会被有限地加以执行，以便能够输出在视频数据分析中有用的信息。
步骤S406是编码数据输出过程，其中，在视频编码部分203中被编码的视频数据通过视频数据发送部分204被输出到通信部分208，然后发送到视频接收部分102。
如前文所述，虽然视频发送装置101以如同一个连续视频数据流的方式进行发送，不知道部分视频数据的前端和终端，但是，在发送视频数据中使用相同的通信通道。也就是说，在每个视频数据的划分过程中，连续发送部分视频数据，而不重新获得网络资源，也不在视频发送装置101与视频接收装置102之间进行重新商议。
步骤407是将在视频编码部分203中进行的终端确定过程，用于根据预定条件来确定是否进行部分视频数据的终端过程(即视频数据的划分过程)。例如，按恒定的时间间隔来进行视频数据划分过程。在由视频分析部分205输出的视频数据分析结果有很大变化的情况下，确定进行视频数据划分过程。在没有看见视频数据分析结果有变化的情况下，确定不进行视频数据划分过程。
在步骤S407中，当确定进行视频数据终端过程时，过程移到步骤S408。当确定不进行视频数据终端过程时，过程忽略步骤S408，进到步骤S409。
步骤S408是视频数据终端过程，用于进行结束视频数据编码过程的过程。在步骤S408中结束一次视频数据编码过程的原因是为了在下一个帧处再次开始视频数据编码过程。也就是说，步骤S408的过程是将时间连续的视频数据划分为多个部分视频数据文件的过程。同时，在步骤S408中，也执行输出完整视频元数据的脚注文件的过程。
如图7所示，由对位于完整视频数据终端部分视频数据的链接信息、记录结束时间等描述完整视频元数据的脚注文件。在步骤S408中，不每次输出脚注文件，只在紧接发送位于完整视频数据的终端的部分视频数据之后，才输出脚注文件。
步骤S409是结束确定过程，用于确定是否满足预定的结束条件。在不满足结束条件的情况下，过程返回到步骤S401，以重复一系列过程。在满足结束条件的情况下，结束视频数据发送过程。在这里，满足结束条件的情况对应于中断发送视频数据或关闭视频发送装置101。
如上所述，从步骤S401到步骤S409的一系列过程执行将图像数据从视频发送装置101发送到视频接收装置102的发送过程。
图13是流程图，表现了视频发送装置101中的场景元数据产生过程程序的一个例子。这幅流程图表现了一个流程对被保存在图1的视频数据输入部分202中的帧图像数据执行数据分析过程，以便根据其数据分析结果和由视频编码部分203输出的编码信息来生成场景元数据。
步骤S501是将在视频数据分析部分205中执行的视频数据参数获取过程，用于获取有关来自视频数据输入部分202或通信控制部分209的视频数据的各种参数。获得参数的例子包括图像尺寸(宽度、高度)、视频发送装置101的单独的标识符等。
步骤S502是将在视频数据分析部分205中执行的编码信息获取过程。这里，编码信息是将在图12的步骤S405中输出的信息，尤其是与视频编码过程有关的各种参数(例如，编码方案种类、1帧代码数量或编码过程中的中间数据值)。
注意，编码过程中的中间数据是指每个宏块与DCT(离散余弦变换)直流段值中的活动矢量大小的信息，其中，编码方案是MPEG4、H.263或类似标准。
步骤S503是视频数据输入过程，其中，视频数据分析部分205获取保存在视频数据输入部分202中的帧图像数据。注意，在能执行视频数据分析，同时适当接入视频数据输入部分202的帧图像数据时，可能会忽略步骤S503。
步骤S504是将在视频数据分析部分205中执行的视频数据分析过程，用于对在步骤S503中所获取的帧图像数据执行数据分析。这个视频数据分析过程是计算将被描述为“元数据”的任意信息的过程。例如，计算表示视频数据中是否有移动物体、存在于视频数据中的移动物体的数目、存在于视频数据中的移动物体的区域(＝移动物体区域的像素与帧图像数据的所有像素的比率)、表示视频数据的亮度的值。
注意，步骤S503使用在步骤S502中所获取的编码信息。如果没有使用在步骤S502中所获取的编码信息，则可以忽略步骤S502。同时，如果作为视频数据分析的结果，可以原样使用在步骤S502中所获取的编码信息则可以忽略步骤S503和S504。
步骤S505是将在视频数据分析部分205中执行的临时场景信息的更新过程。临时场景信息是在步骤S504中所获取的数据分析结果的累积的信息。也就是说，在步骤S505中，其场景划分还没有固定的帧图像数据的数据分析结果得到保存并加以更新。
步骤S506是将在视频分析部分205中执行的场景划分确定过程，其中，将在步骤S505中所获取的临时场景信息与一个预定的场景划分确定标准进行核对，以确定是否执行场景划分。例如，设置有关数据分析结果中的波动数量或数据分析结果中的连续性的场景划分确定标准，以确定多个时间连续的帧图像数据作为一个场景，并获得存在于数据分析结果中的公共项。一个特殊的例子是，将视频数据中是否存在移动物体用作场景划分确定标准，以便将视频数据中存在或不存在移动物体时变化的一部分定义为场景边界。如果进行这种场景划分确定，则将它划分为具有存在于视像中的移动物体的一部分和没有存在于视像中的移动物体的一部分，作为分开的场景。
如果在步骤S506中确定执行场景划分，则过程移到步骤S507。如果确定不执行场景划分，则过程返回到步骤S501，以继续一系列过程。
步骤S507是将在元数据产生部分206中执行的场景元数据产生过程，用于生成与步骤S506中的场景划分确定确定为一个场景的视频数据部分相对应的场景元数据。场景元数据的描述利用对应于该场景的视频数据分析结果，例如场景中是否存在一定数目的移动物体、场景前端和终端处的时间信息等。图8表现了场景元数据的一个例子。
步骤S508是场景元数据输出过程，用于将在步骤S507中生成的场景元数据输出到元数据发送部分207。通过通信部分208把输出到元数据发送部分207的场景元数据发送到视频接收装置102，后面将描述该元数据发送程序。
步骤S509是结束确定程序，用于确定是否满足预定的结束条件。如果没有满足结束条件，则过程返回到步骤S501，以重复一系列过程。如果满足结束条件，则结束视频数据发送过程。这里，满足结束条件的情况对应于中断视频数据发送或关闭视频发送装置101。
如上所述，步骤S501~S509的一系列程序执行视频发送装置101的场景元数据产生过程。
图14是流程图，表现了视频发送装置101中的场景元数据发送过程程序的一个例子。这幅流程图表现了产生于元数据产生部分206中的场景元数据被塑造成发送包和该发送包被发送到视频接收装置102的流程。
步骤S601是将在元数据发送部分207中执行的场景元数据获取过程，用于获取从元数据产生部分206输出的场景元数据。
步骤S602是将在元数据发送部分207中执行的场景元数据结合过程，用于按年代顺序联接在步骤S601中获取的场景元数据。按年代顺序结合场景元数据的原因是与视频数据的数据规模相比，单独的场景元数据的数据规模非常小。结果，将在一个信息包中共同发送特定数量的场景元数据。顺便提及，由于场景元数据包括临时/固定场景元数据，因此，当连接具有与临时场景元数据相同的场景号码的固定场景元数据时，必须删除临时场景元数据。
步骤S603是将在元数据发送部分207中执行的元数据发送确定，用于确定是否根据预定的发送确定条件来发送元数据。预定的发送确定条件是有关发送时间和数据规模的条件。例如，对数据发送的最大时间间隔Tmax和最大数据长度Lmax进行定义。如果从前面的数据发送时间Tprev到当前时间Tnow的时间超过Tmax，或联接多个场景元数据的数据包的数据规模L大于Lmax，则确定发送元数据。如果在步骤S603中确定发送元数据，则过程移到步骤S604。如果确定不发送元数据，则过程返回到步骤S601，以重复获取和结合场景元数据。
步骤S604是将在元数据发送部分207中执行的元数据包发送过程，用于将包含多个场景元数据的数据包发送到视频接收装置102。在这个数据包发送过程中，应该采取使用可靠的发送协议等措施，来排除视频接收装置102所执行的数据包接收发生遗漏。
顺便提及，发送可以建立在这个场景元数据的基础上，而不是通过联接多个场景元数据来发送一个数据包。在这种情况下，步骤S602和S603被忽略，在步骤S601中所获取的场景元数据按原样发送。
步骤S605是将在通信控制部分209中执行的结束确定过程，用于确定是否满足预定的结束条件。如果不满足结束条件，则过程返回到步骤S601，以重复一系列过程。如果满足结束条件，则结束元数据发送过程。这里，满足结束条件的情况对应于中断发送视频数据或关闭视频发送装置101。
如上所述，步骤S601~S605的一系列程序执行从视频发送装置101到视频接收装置102的场景元数据发送过程。
现在，解释视频接收装置102。图15是视频接收装置102的方框配置图。
通信部分301与视频发送装置101相互进行通信，用于接收从视频发送装置101发送的视频数据及其元数据。通信部分301通过使用分开的通道将视频数据输出到视频数据接收部分302并将元数据输出到场景元数据接收部分305，来接收视频数据和元数据。
尤其是，不在视频数据编码方案类型中特别规定视频数据接收部分302。如果视频发送装置101和视频接收装置102采用相同的编码方案，则可以使用任意的一种编码方案。
视频解码部分303从视频数据接收部分302接收视频数据，以便对视频数据执行解码过程。解码视频数据被输出到内容显示部分304。顺便提及，视频解码部分303能够为配置有多个部分视频数据的完整视频数据进行解码。也就是说，当为多个时间连续的部分视频数据文件进行解码时，视频解码部分303可以将其加工为无时间中断的连续流数据。
内容显示部分304从视频解码部分303接收被解码的视频数据，以执行视频数据的显示过程。内容显示部分304也可用于将元数据转换成用户可读格式。内容显示部分304将显示处理后的视频数据或元数据输出到内容显示设备312(例如，显示器)。
场景元数据接收部分305从通信部分301接收场景元数据。视频发送装置101发送包含至少一个或多个场景元数据的信息包。场景元数据接收部分305将所接收的场景元数据输出到视频元数据产生部分306。
视频元数据产生部分306连接从场景元数据接收部分305获取的场景元数据，以生成部分视频元数据。场景元数据包括固定场景元数据和临时场景元数据。在视频元数据产生部分306中，连接从视频发送装置101被连续发送的场景元数据，以形成视频元数据。但是，连接过程将固定场景元数据与临时场景元数据分开。也就是说，当视频元数据产生部分306接收用于取代已处理过的临时场景元数据的固定场景元数据时，它放弃临时场景元数据，以便此后将固定场景元数据与部分视频元数据连接。
元数据分析部分307分析从视频元数据产生部分306接收的场景元数据，并确定场景元数据中是否包含重要信息。场景元数据包含在视频发送装置101中被执行的视频分析的结果。通过参考场景元数据中的视频分析结果，可以立即检测到正在被接收的视频数据所处的情况不同于平时的情况。一旦检测到场景元数据满足预定的确定条件，元数据分析部分307就会通知告警部分311。
当从元数据分析部分307接收到指令时，告警部分311通过任意的方法向视频接收装置102的用户(＝视频监督人员)执行告警过程。例如，这里的预定告警过程是显示接收视频并打开告警灯或打开告警蜂音器。
数据管理部分308执行视频数据和元数据的存储、搜索与文件管理的过程，即，存储从视频数据接收部分302输出到存储设备314的视频数据，并读出被存储在存储设备314的视频数据。这也执行一些过程，以便存储正在从视频元数据产生部分306输出到存储设备314的数据，并读出存储在存储设备314中的元数据。
通信控制部分309对视频发送装置101执行通信控制，并对视频接收装置102内的各部分进行控制。
搜索部分310根据已存储在数据管理部分308中的视频数据并通过数据输入接口313输入元数据的视频搜索信息，来执行视频数据的搜索过程。视频搜索信息将在后面描述。
内容显示设备312实时显示从视频显示部分304接收的视频数据，此外还用来显示所存储的视频数据。内容显示设备313不需要是视频显示的专用硬件，即，可以在个人计算机的窗口屏幕上进行覆盖显示。
视频接收装置102可能是如前所述的专用硬件，也可能配置成用于实现软件程序上的一部分处理的一台个人计算机和一些外围单元。例如，可以将块组315设定为软件程序，以便通过使用具有视频接收装置102的各种硬件资源(例如，CPU和存储器)来执行视频接收过程。而且，可以用软件程序设定视频解码部分303、通信控制部分309和搜索部分310。
现在，解释视频接收装置102的操作。在以下的解释中，假设视频接收装置101从视频发送装置101a、101b、101c中的一个视频发送装置接收视频数据。但是，允许视频接收装置102将其功能扩展为能够从多个视频发送装置101a、101b、101c接收视频数据的配置。
例如，可以准备视频解码部分303、视频显示部分304和显示器312，使其数目等同于要接收的视频数据流的数目，从而允许视频数据接收部分302和视频数据产生部分306执行可以区别视频发生送源的数据过程。否则，通过装设将由视频数据接收部分303和视频解码部分304承担的过程作为与多线程兼容的软件程序，来处理多个视频数据的同时接收。
图16是表现视频接收装置102中的视频数据接收过程程序的流程图的一个例子。这幅流程图表现了一个流程视频接收装置102接收视频数据，以显示该视频数据并将其存储到数据库。
步骤S701是接收从视频发送装置101发送的视频数据的视频数据接收过程，它将在通信部分301和视频数据接收部分302中加以执行。
步骤S702是将在视频数据接收部分302中执行的前端确定过程。如前所述，由视频发送装置101长时间连续发送的视频数据已被划分为部分视频数据。视频接收装置102管理作为分开独立的视频数据文件的部分视频数据。这里的“视频数据的前端”是指部分视频数据的前端，而“视频数据的前端确定过程”是指检测部分视频数据的前端的过程。例如，关于遵照MPEG4或H.263下的视频数据，可以通过检测一个特定的位串(被称作“开始代码”)，来检测视频数据的前端。
在步骤S702中检测部分视频数据的前端之后，过程移到步骤S703。另一种情况是，跳过步骤S703。
步骤S703是将在数据管理部分308中执行的视频数据文件的前端过程。部分视频数据的前端已在前面的步骤S702中被检测的这个事实意味着已完成部分视频数据中的一个部分视频数据的接收，可以开始接收新的部分视频数据。在数据管理部分308中，步骤S703执行开始将部分视频数据存入数据库的过程(例如，打开视频数据文件)。如果必要的话，也为视频数据解码过程执行初始化过程。
步骤S704是将在数据管理部分308中执行的视频数据存储过程。在视频接收装置102中，将部分视频数据作为分开独立的视频数据文件来管理。视频发送装置101将部分视频数据作为流数据来发送，而不是进行作为批量中的一个文件的文件转移。也就是说，在步骤S701中，将在一个时间接收的数据是部分视频数据的一部分。在步骤S704中，通过在步骤S701中连接所接收数据中的部分视频数据，来重建部分视频数据。
步骤S705是将在视频数据接收部分302中执行的视频数据的终端确定过程。步骤S705执行检测部分视频数据的终端的过程。如果检测部分视频数据的终端，则过程移到步骤S706。另一种情况是，跳过步骤S706。
步骤S706是将在数据管理部分308中执行的视频数据文件的终端过程。如果在步骤S705中检测部分视频数据的终端，则在步骤S706中关闭部分视频数据的数据文件，以准备接收接下来的部分视频数据。顺便提及，如果部分视频数据所用的格式不能检测其数据终端，则可以在步骤S703的视频数据文件前端过程中对前面的部分视频数据执行终端过程。
步骤S707是为所接收的视频数据解码和为显示过程显示视频数据的过程。步骤S707将在视频解码部分303、内容显示部分304和内容显示设备312中被执行。如果在接收视频数据时不需要视频显示，则步骤S707可以被省略。
步骤S708是将在通信控制部分309中执行的结束确定过程，用于确定是否满足预定的数据接收结束条件。如果不满足结束条件，则过程返回到步骤S701，以重复一系列过程。如果满足结束条件，则结束视频数据接收过程。这里，满足结束条件的情况对应于中断视频数据接收或关闭视频接收装置102。
如上所述，从步骤S701到步骤S708的一系列程序在视频接收装置102中执行视频数据接收过程。
图17是流程图，表现了视频接收装置102中的场景元数据接收过程程序的一个例子。这幅流程图表现了一个流程连接从视频发送装置101接收的场景元数据，从而生成并存储部分视频元数据。
步骤S801是接收由视频发送装置101发送的场景元数据的场景元数据接收过程，它将在通信部分301和场景元数据接收部分305中执行。视频发送装置101将构成部分视频数据的场景中的元数据作为数据包来发送。该数据包包含场景元数据中的至少一个或多个场景元数据。
步骤S802是将在视频元数据产生部分306中执行的部分视频元数据的前端确定过程。视频接收装置102连接由视频发送装置101发送的场景元数据，以生成部分视频元数据。在步骤S802中，确定作为处理主题的场景元数据是否为部分视频元数据的前端处的场景元数据。如果是部分视频元数据的前端处的场景元数据，则过程移到步骤S803。另一种情况是，过程跳过步骤S803，到步骤S804。
步骤S803是部分视频元数据的前端过程。每个场景元数据和部分视频元数据都单独用作元数据。但是，当将元数据存储到数据库时，具有被连接在一起的场景元数据的部分视频元数据被处理成一个数据文件。部分视频元数据的前端已在步骤S802中被检测的这个事实意味着在即将开始接收新的部分视频元数据之前，已完成部分视频元数据中的一个部分视频元数据的接收。步骤S803中，在数据管理部分308执行开始将新的部分视频元数据存储到数据库的过程(例如，打开部分视频元数据文件)。
步骤S804是将在元数据分析部分307中执行的场景元数据分析过程。场景元数据是对应于构成部分视频元数据的一个场景的元数据。该场景元数据包含有关场景的时间信息和视频分析结果及类似内容的信息。场景元数据的描述内容取决于在视频发送装置101中执行什么视频分析和将什么信息描述为元数据。在步骤S804中，对每个场景元数据进行内容分析，以便按要求将场景元数据中所描述的信息呈现给视频接收装置102的用户(＝视频监督人员)。
步骤S805是将在元数据分析部分307中执行的重要信息确定过程。这里，重要信息的“重要性”根据视频监督的目的而变化。本实施例关于意在预防犯罪的视频监督系统，其中，“重要信息”被定义为“情况不同于平时的视频图像”，尤其是“其中存在移动物体的视频图像”，场景元数据包含视频发送装置101中的移动物体确定过程的结果。
在步骤S805中，读出场景元数据中所描述的移动物体检测过程的结果，以确定包括移动物体的视频图像是否处于接收状态。如果在步骤S805中确定包括重要信息，则过程移到下一个步骤S806。如果确定不包括重要信息，则过程略过步骤S806，跳到步骤S807。
顺便提及，在执行步骤S805的过程中，需要预先定义“重要信息”的意思。通过数据输入接口313和搜索部分310将“重要信息的设置”传送给元数据分析部分307。
步骤S806是重要信息的显示过程。如果在步骤S805中检测到场景元数据中包含重要信息，则显示这一点，以通知视频监督人员。在不显示处于接收状态的视频数据的情况下，读出存储在存储设备314中的视频数据，并开始在包括重要信息的场景处显示该视频数据。与此同时，打开告警灯，或者，输出告警声音，以警告视频监督人员发生异常情况。步骤S806将由元数据分析部分307、内容显示部分304、告警部分311和内容显示设备312执行。
步骤S807是将在数据管理部分308中执行的部分视频元数据存储过程。在这个步骤中，最近接收的场景元数据另外写到已存储在存储设备314中的部分视频元数据上。不需要执行每当接收场景元数据时另外写入场景元数据的实际过程，即，特定数量的场景元数据可以保存在数据管理部分308中，以便它们可以另外成批写入。
同时，当另外写入场景元数据时，执行一个过程，来区别固定场景元数据和临时场景元数据。也就是说，在步骤S807中的部分视频元数据的存储过程中，当检测具有与临时场景元数据相同的场景号码的固定场景元数据时，固定场景元数据在卸出临时场景元数据之后被另外写入。顺便提及，临时场景元数据可以被保存在数据管理部分308中，而不存储到存储设备314，从而执行有关固定场景元数据的替换过程。
步骤S808是将在元数据产生部分306中执行的部分视频元数据的终端确定过程，用于确定作为处理主题的场景元数据是否在部分视频元数据的终端处的场景元数据。如果是在部分视频元数据的终端，则过程移到步骤S809。如果不在部分视频元数据的终端，则过程跳过步骤S809，进到步骤S810。
步骤S809是将在数据管理部分308中执行的部分视频元数据的终端过程。如果在步骤S808中检测视频元数据的终端，则关闭部分视频元数据的数据文件，以准备接收接下来的部分视频元数据。
步骤S810是将在通信控制部分309中执行的结束确定过程，用于确定是否满足预定的结束条件。如果不满足结束条件，则过程返回到步骤S801，以重复一系列过程。如果满足结束条件，则结束视频数据接收过程。这里，满足结束条件的情况对应于中断视频数据的接收或关闭视频接收装置102。
如上所述，从步骤S801到步骤S810的一系列程序在视频接收装置102中执行场景元数据接收过程。
顺便提及，除了部分视频数据和场景元数据以外，视频发送装置101还将完整视频元数据的头部/脚注文件发送到视频接收装置102。圆满地将头部/脚注文件作为各自独立的数据文件存储在视频接收装置102中，因此，省略对接收过程程序的解释。
图18是表现视频接收装置102中的数据搜索过程程序的流程图的一个例子。这幅流程图表现了一个流程在视频接收装置102中，读出满足由用户提供的搜索条件的部分视频数据，并对该部分视频数据中所包含的视频场景进行解码或显示。
步骤S901是将在数据输入接口313中执行的搜索条件获取过程，其中，获取关于从数据输入接口313输入的视频数据的搜索的视频搜索信息，并将所获取的信息输出到搜索部分310。将视频元数据中所描述的信息，例如视频记录时间、视频记录地点(规定视频发送装置101的单独标识符)和有关视频分析结果的条件设置为视频搜索条件。
步骤S902是将在数据管理部分308中执行的部分视频元数据获取过程。部分视频元数据是完整视频元数据的一部分，用对前面和随后的部分视频元数据的链接信息以及对部分视频数据的链接信息来描述每个部分视频元数据。同时，连接部分视频元数据的完整视频元数据中存在头部文件和脚注文件。图3表现了这些数据文件之间的关系。
首先，在被存储在存储设备314中的所有视频图像数据的头部文件中进行搜索，以选出满足在步骤S901中所获取的搜索条件的一个头部文件。由于这个头部文件描述对位于完整视频元数据的前端的部分视频元数据文件的链接信息，因此，可参考这一点，来继续跟踪部分视频元数据。当发现满足搜索条件的部分视频元数据时，将该部分视频元数据保存在数据管理部分308中。
步骤S903是将在搜索部分310、数据管理部分308和存储设备311中执行的场景元数据搜索过程。在这个步骤中，分析从存储设备314中读出的部分视频元数据，以规定满足在步骤S901中所获取的搜索条件的场景元数据。由于该场景元数据描述了有关部分视频数据的时间范围的信息，这被保存为视频场景信息。此外，由于部分视频元数据描述了对应于那个部分视频元数据的部分视频数据的文件名，也可以在步骤S903中获取这个文件名。
步骤S904是将在数据管理部分308中执行的场景元数据搜索的结束确定过程。有一种情况是在场景元数据搜索过程中，被检测的不止一个场景元数据，而是多个场景元数据。对于搜索具有某种程度的时间范围的视频场景的这种情况而言是如此。在步骤S904中，确定是否已获取满足在步骤S901中所获取的搜索条件的所有场景元数据。如果已获取所有场景元数据来结束场景元数据搜索，则过程移到步骤S905。如果留下满足搜索条件的场景元数据，则过程返回到步骤S903，以执行场景元数据的下一个搜索过程。
步骤S905是将在数据管理部分308中执行的数据存取的限制设置过程。部分视频元数据中的场景元数据包含表示一种场景元数据的场景固定信息。如果作为搜索主题的部分视频数据处于接收过程中，则部分视频数据不被固定在其文件终端。也就是说，部分视频元数据的终端处的场景元数据是临时场景元数据。在步骤S905中，通过参考每个场景元数据的场景固定信息，来确认在步骤S902中被检测的部分视频元数据是否包含临时场景元数据。如果包含临时场景元数据，则对部分视频数据设置数据存取限制。具体而言，提供了这个限制当搜索/显示视频数据时，不可以对位于对应于临时场景元数据的视频场景后面的视频场景进行数据存取。
以下解释设置数据存取限制的原因。部分视频元数据如以上那样在其终端处具有临时场景元数据的这个事实意味着部分视频元数据在接收/存储过程中。也就是说，即使在部分视频数据的搜索过程中，也另外将数据写到作为搜索主题的部分视频数据文件。如果允许对部分视频数据文件进行自由的搜索/显示，则可以存取位于对应于临时场景元数据的视频场景后面的一个数据区域，从而恐怕会妨碍视频数据接收过程(＝将额外数据写到部分视频数据文件)并破坏数据文件。为了避免这一点，如上所述，提供了这种数据存取限制。顺便提及，如果分开提供用于禁止这种破坏视频数据文件的数据存取的设备，则可以省略步骤S905。同时，在搜索主题是已存储的部分视频数据的情况下，步骤S905是不必要的。
步骤S906是将在搜索部分310中执行的视频数据的搜索过程。视频数据的这个搜索过程使用在步骤S902中搜索到的部分视频元数据。部分视频元数据包含对部分视频数据的链接信息。通过参考链接信息，来存取部分视频数据文件，以发现对应于在步骤S903中从部分视频数据中搜索到的场景元数据的场景部分。检测到的视频场景数据通过数据管理部分308被输出到视频解码部分303。顺便提及，在步骤S905中，搜索主题不包括具有存取限制的场景设置。
步骤S907是将在视频解码部分303中执行的视频场景数据显示过程。将在步骤S907中显示的视频场景数据是在步骤S906中搜索到的视频场景数据。视频解码部分303为从数据管理部分308接收的视频数据的场景数据进行解码。所解码的视频数据通过内容显示部分304被显示在内容显示设备312上。同时，可以将对应于被解码/显示的视频场景的场景元数据显示在内容显示设备312上。
步骤S908是将在搜索部分310中执行的视频场景显示的结束确定过程。如前所述，有一种情况在步骤S903的场景元数据搜索中搜索多个场景。相应地，为了显示场景数据中搜索到的场景数据，必须在一定数目的场景期间读出视频数据中的场景数据，并对其进行解码/显示。在步骤S908中，确定搜索到的场景是否已经都被显示。如果已完成场景显示，则过程移到下一个步骤S909。如果还没有完成场景显示，则过程返回到步骤S906，以重复对剩余的场景进行解码/显示。
顺便提及，在步骤S908中，正在搜索视频数据的人可以重置部分视频数据的场景显示部分，以便自由地对部分视频数据进行播放控制。这是对重复显示所搜索视频场景(包括所搜索视频图像的前面和随后的场景)的视频监督系统所要求的一项功能。在这种情况下，为数据输入接口313或搜索部分310提供具有各种功能(例如，重放、停止、快进、倒带和慢重放)的播放控制设备，以便将来自用户的播放控制命令传达给数据管理部分308，由此，在从步骤S906到步骤S908的控制环路中执行部分视频数据的播放控制。但是，如果对部分视频数据设置存取限制，则有限地允许对遵守该存取限制的部分视频数据进行播放控制。
步骤S909是将在搜索部分310中执行的搜索结束确定过程。当用户发出指令结束搜索时，搜索过程结束。当用户没有发出指令结束搜索时，过程返回到步骤S901，以重复一系列过程。
如上所述，从步骤S901到步骤S909的一系列程序在视频接收装置102中执行视频数据的搜索过程。
顺便提及，如果使用部分视频元数据之间的链接信息，则可以容易地实现对完整图像数据的搜索或在多个部分视频数据上对视频数据的搜索，因此省略解释。
如上所述，根据本发明，如果长时间连续发送视频数据，则在视频数据按预定的时间间隔被分割为多个部分视频数据的同时，对其进行发送。结果，允许有接收侧的系统通过将长视频数据划分为多个部分视频数据文件来容易地存储长视频数据，而无需执行复杂的视频数据分析。相应地，这使管理视频数据的数据文件变得容易了。其间，在发送视频数据的同时，发送对应于部分视频数据的部分视频元数据。结果，通过只利用已接收的元数据，有接收侧的系统可以搜索正在接收过程中的完整视频数据中已接收部分视频数据。
同时，部分视频元数据中所描述的链接信息定义了部分元数据之间的逻辑顺序关系，以及部分视频元数据与部分视频数据之间的对应的关系。相应地，在有接收侧的系统中，可以连接多个部分视频元数据，来重建一个完整视频元数据。可以在完整视频数据的搜索过程中利用这一点。
同时，由头部文件(具有到前端处的部分视频元数据的链接信息)和脚注文件(具有到终端处的部分视频元数据的链接信息)添加完整视频元数据。结果，在有接收侧的系统中，通过顺序地跟踪始于完整视频元数据的头部文件或脚注文件的部分视频元数据，可以搜索完整视频元数据。
同时，部分视频数据被分割为场景数据和部分视频元数据，也被分割为场景元数据。这使利用元数据的视频数据搜索更加方便，从而可以有效地发现所需的视频场景。
此外，作为参考，根据构成部分视频元数据的每个场景元数据来执行元数据发送。相应地，即使在正在进行视频数据发送/接收的状态中，也可以使用场景元数据来实现对已在有接收侧的系统中被接收的视频场景的视频数据搜索。
同时，由于具有视频分析结果方面的类似性的各个视频数据部分被收集到一个场景中，以便将对应于该场景的视频分析结果写到每个场景元数据上，可以使用视频分析结果或视频数据的特征数量(作为检索键)来有效地执行视频搜索过程。
此外，由于即使在视频分析结果没有变化的状态中也可以发送临时场景元数据，可以提高在有接收侧的系统中利用视频数据的场景元数据的即时性。
权利要求
1.一种实时接收视频数据的视频数据接收方法，其特征在于，包括视频数据接收步骤接收发送来的完整视频数据；视频数据存储步骤将所述完整视频数据分为多个部分视频数据，并把这些部分视频数据分别作为独立的数据文件存储到存储媒体；元数据接收步骤接收完整视频元数据；以及元数据存储步骤将所述完整视频元数据分为头部文件、多个部分视频元数据和脚注文件，并把它们分别作为独立的数据文件存储到存储媒体。
2.如权利要求1所述的视频数据接收方法，其特征在于，元数据接收步骤包括，接收元数据被划分为场景元数据而发送来的部分视频元数据的步骤；元数据存储步骤包括，将通过连接属于部分视频元数据的场景元数据来重建的部分视频元数据存储到存储媒体的步骤。
3.如权利要求1所述的接收视频数据的方法，其特征在于，元数据存储步骤根据所述场景元数据的场景固定信息来识别临时场景元数据和固定场景元数据；如果接收具有与已被追加写入所述部分视频元数据上的临时元数据相同的场景号码的固定场景元数据，则从部分视频元数据中删除临时场景元数据之后，追加写入所述固定场景元数据。
4.一种播放接收的视频数据的视频数据播放方法，其特征在于，包括设定视频数据的检索条件的检索条件设定步骤；根据所述检索条件分析存储结束或存储处理进行中的完整视频元数据，检测出与所述检索条件一致的部分视频元数据的部分视频元数据检索步骤；分析检测出的部分视频元数据，检测与所述检索条件一致的场景元数据的场景元数据检索步骤；检测与检索的部分视频元数据对应的部分视频数据的部分视频数据检索步骤；以及播放与检索的场景元数据对应的部分视频数据的场景的部分视频数据播放步骤。
5.如权利要求4所述的视频数据播放方法，其特征在于，还包括设定视频数据的播放、停止、快进和倒带等播放控制条件的播放控制条件设定步骤，所述部分视频数据播放步骤包括将检索的场景元数据作为基点，根据所述播放控制条件进行部分视频数据的播放控制的步骤，所述部分视频元数据检索步骤包含，在根据播放控制达到所述部分视频数据的头部或终端时，参考与播放中的部分视频数据对应的部分视频元数据的链接信息检索前后的部分视频元数据，并检测与检索的部分视频元数据对应的部分视频数据的步骤，所述部分视频数据播放步骤包括平滑地连接播放所述部分视频数据和其前后的部分视频数据的步骤。
6.如权利要求4所述的视频数据播放方法，其特征在于，所述部分视频数据播放步骤包括以下步骤，即获取场景元数据中所描述的所述场景固定信息，并限制存取在对应于临时场景元数据的所述部分视频数据的场景后面的数据部分。
7.如权利要求4所述的显示所接收的视频数据的方法，其特征在于，还包括确定条件设置步骤，设定检测视频数据中所包括的重要信息用的确定条件即重要信息确定条件；重要信息检测步骤，实时分析接收处理进行中的场景元数据，并检测满足所述重要信息确定条件的场景元数据；以及告警过程步骤，如果检测重要信息，则执行预定的告警过程，其中，所述部分视频播放步骤包括以下步骤当检测包括重要信息的场景元数据时，从对应于该数据的部分视频数据的场景开始视频数据的播放。
8.一种实时接收视频数据的视频数据接收装置，其特征在于，包括视频数据接收部用于接收发送来的完整视频数据；视频数据存储部用于将所述完整视频数据分为多个部分视频数据，并把这些部分视频数据分别作为独立的数据文件存储到存储媒体；元数据接收部用于接收完整视频元数据；以及元数据存储部用于将所述完整视频元数据分为头部文件、多个部分视频元数据和脚注文件，并把它们分别作为独立的数据文件存储到存储媒体。
9.一种播放接收的视频数据的视频数据播放装置，其特征在于，包括设定视频数据的检索条件的检索条件设定部；根据所述检索条件分析存储结束或存储处理进行中的完整视频元数据，检测出与所述检索条件一致的部分视频元数据的部分视频元数据检索部；分析检测出的部分视频元数据，检测与所述检索条件一致的场景元数据的场景元数据检索部；检测与检索的部分视频元数据对应的部分视频数据的部分视频数据检索部；以及播放与检索的场景元数据对应的部分视频数据的场景的部分视频数据播放部。
全文摘要
在实时发送正在被外部输入的视频数据的视频数据发送方法中，当为正在作为流数据被输入的视频数据进行编码时，按预定的时间间隔重复编码过程的开始和停止，以执行数据划分过程，由此生成作为部分视频数据的多个时间连续的视频数据。此外，生成部分视频数据的元数据，将其与部分视频数据一起作为部分视频元数据来实时发送。
文档编号H04N5/765GK1913625SQ20061012151
公开日2007年2月14日 申请日期2002年10月30日 优先权日2001年10月30日
发明者谷口幸治 申请人:松下电器产业株式会社