动图像信息的生成方法

专利名称：动图像信息的生成方法
技术领域：
本发明涉及利用通信分发影像数据的技术，特别涉及提供影像数据以及与摄像机设备等实时影像的输入设备相关的控制信息的技术。
背景技术：
有一种影像分发系统，经由互联网分发所拍摄的实时影像，并指示作为摄像设备的摄像机的设定和操作等。
在这些影像分发系统等中，可在影像分发基础上，经由互联网提供所谓摇镜头(pan)、俯仰运动(tilt)、变焦距、逆光补偿的摄像机控制。
进而，关于通过摄像机控制而被拍摄的区域也可以进行限制。例如，采用如下限制特权用户能够利用摄像机具有的全部变焦距功能，而普通用户就有只能利用变焦距功能的一部分(例如，不能完全使用望远端)。关于摇镜头功能和俯仰运动功能而言也是同样的。
作为具有比以往的移动电话服务更高的电波利用效率和通信频带的移动电话服务，提供了第三代(3G)移动电话服务。
用第三代(3G)移动电话可以一边打电话一边进行互联网访问等数据通信。
由于从与移动设备通信网连接的个人信息终端(PDA)和移动电话终端到与宽带网连接的PC的影像收发信息终端的扩展，作为动图像压缩编码方式，ISO在1999年制定了MPEG-4。MPEG-4具有覆盖从数十Kbps到数十Mbps的较广的比特率的高压缩编码效率，以及对无线和互联网等传送路径错误的强耐性等。
提供有对移动电话终端提供影像剪辑(影像文件)的技术。
在这些服务中，使用内置于移动电话终端的数据通信功能，从服务器下载用多媒体数字信号编解码器等所压缩编码后的影像剪辑(影像文件)后，使用内置于相同移动电话终端的解码器把影像显示在移动电话终端的画面中。
而且，这些影像剪辑的数据格式遵照微软公司的ASF(AdvancedStreaming Format)格式或ISO标准的MP4格式(ISO/IEC14496-1Amd1MPEG-4系统Version2)等、在互联网和PC等广泛普及的格式。
在微软公司的ASF(Advanced Streaming Format)格式和Apple公司QuickTime文件格式等中，能够使URL等的超链接功能与影像剪辑相关联。
例如，在ASF格式中，可定义“Script Command Object”，在该对象内，能够列出与ASF文件再生时的时间线同步地设定的链接信息。而且，在ASF格式中，如Script Command Object的名称那样，不仅是链接信息，也可以记述脚本等命令信息。
另外，在KDDI公司的ezmovie规格中，还具有对影像剪辑追加带超链接功能的文本字幕的功能。对于该字幕记述语言，利用KDDI公司的STML(Synchronous Telop Mark-up Language的缩写)。通过该功能，用户能够把声音通话、邮件发送和主页链接等与影像剪辑进行关联。

发明内容
本发明是使上述技术发展的发明，目的在于提供一种可适合于以上述那样的移动电话终端为代表的新型终端的影像分发系统。
为了达到上述目的，在本发明的一个实施例中采用如下结构一种分发给终端设备的动图像信息的生成方法，包括接收步骤，接收由摄像机所拍摄的动图像数据和摄像机所进行的动作的控制顺序信息；文件生成步骤，从上述接收到的动图像数据生成动图像文件；编入步骤，把与上述所生成的动图像文件对应的上述摄像机的控制顺序信息和关于上述摄像机地址的信息编入上述动图像文件；以及分发步骤，把在上述编入步骤中编入了上述摄像机的控制顺序信息和上述摄像机的链接信息的动图像文件分发给上述终端设备。
而且，出于其他观点，采用如下结构一种动图像文件的生成方法，包括取得步骤，取得由摄像机所拍摄的动图像数据和关于与上述动图像数据对应的摄像机的信息；生成步骤，基于上述关于摄像机的信息，分割上述动图像数据，生成动图像文件。
本发明的其他目的和特征可以通过以下的说明和附图得到明确。


图1是表示使用本发明的实施方式的典型的利用形式的图。
图2是表示使影像变换服务器进行动作的硬件结构的一例的图。
图3是表示摄像机服务器的硬件结构的一例的图。
图4是表示移动电话终端的硬件结构的一例的图。
图5是把各设备的动作处理程序模式化了的图。
图6是移动电话终端中的影像的再生处理流程图。
图7A～7C是表示移动电话终端的显示设备上的显示画面的一例的图。
图8是表示摄像机操作的动作处理流程的图。
图9是与摄像机服务器内的摄像机控制有关的动作处理流程图。
图10是与摄像机服务器内的影像处理有关的动作处理流程图。
图11是表示移动电话终端中的操作键的分配的一例的图。
图12是用于说明影像变换服务器中的影像数据的变换的图。
图13是影像变换服务器的动作处理流程图。
图14是表示编入到影像剪辑中的控制顺序数据的一例的图。
图15是表示摄像机的控制履历管理表的一例的图。
图16是表示时间经过和优先级评价值的关系的一例的图表。
具体实施例方式
下面，参照附图详细说明适用本发明的优选实施方式。
<第1实施方式>
在第1实施方式中，说明把从配置在互联网上的摄像机服务器取得的实时影像面向移动电话终端地进行变换，并进行发送的例子。
进而，也说明影像变换服务器，该影像变换服务器反映影像所附带的摄像机控制状态信息(摇镜头、俯仰运动、变焦距或控制权等信息)，生成适当的影像剪辑。特别地，在本实施方式的影像变换服务器中，特征在于使用影像剪辑被生成的时刻的摄像机控制状态信息，来生成影像剪辑，使得能够确认与上述控制状态信息对应的当前的摄像机的影像。另外，所谓“影像剪辑”，表示某期间的动图像的被存储了的影像数据。
而且，影像变换服务器预先取得来自摄像机服务器101的影像数据，在移动电话终端所具有的标准影像观察器中生成可再生的影像剪辑。进行该生成时，在影像剪辑中编入与摄像机控制信息相关联的链接信息。移动电话终端的用户能够基于被编入该影像剪辑中的摄像机控制信息，控制与影像剪辑对应的摄像机，并取得实时的影像数据。
图1是表示使用了本发明实施方式的典型的利用形式的图。摄像机服务器101和102具有摄像机，可分发实时影像。观察器103是连接了网络的PC等。摄像机服务器101、102和观察器103各自与网络连接，从观察器103经由互联网109向摄像机服务器101、102发送请求。收到请求后，从摄像机服务器向观察器分发影像数据，在观察器103中就可以显示摄像机影像了。而且从观察器103向摄像机服务器101、102发送摄像机控制命令，可进行摄像机的变焦距、摇镜头、俯仰运动等操作。进而，在网络109上配置有中继服务器104，用来中继观察器103和摄像机服务器101、102的通信。
影像变换服务器105把摄像机服务器101、102提供的影像数据面向移动电话终端107地进行变换后，对移动电话终端分发影像数据。而且，网关106中介于网络109和移动电话电路网110。移动电话终端107装载有应用程序，该应用程序用于把摄像机作为可控制的观察器而发挥功能。经由该网关106，本实施方式的与互联网连接的设备和移动电话终端107及107可进行通信。而且，移动电话终端107上的应用程序典型的是在出厂时被配置的，但也可以是如Java(R)程序那样在执行时(利用时)进行下载并执行的形式。
图1的网络既有在企业或者组织内所使用的内部网的情况，也有连接着广阔世界的互联网的情况。而且，中继服务器和影像变换服务器典型的是设计成配置在互联网交换站(IX)和数据中心(IDCInternet Data Center)，使得谋求减轻通信负荷。
图2是表示使影像变换服务器105进行动作的硬件结构的一例的图。影像变换服务器105由基于预定的程序总体控制服务器整体的CPU22、用于与网络109连接的网络I/F201等组成。另外，作为存储设备，由作为主存储设备的RAM203、由闪存或HD设备等构成的二次存储设备204、以及用于从介质中载入程序的FD设备205等组成。
而且，虽然无图示，但也有具备用于进行设定等的输入输出设备的情况。具体来说，是连接显示器的显示设备、键盘及鼠标等的控制器等。
图3是表示摄像机服务器101的硬件结构的一例的图，由实际进行摄像的摄像机301和计算机构成，更详细地说，由存储程序和数据的存储器、用于取入影像数据的影像撷取卡(capture board)302、用于向摄像机302发送命令的串行I/F303、用于和网络连接的网络I/F304、以及利用程序执行各种处理的CPU305等组成。存储设备包括作为主存储设备的RAM306、由闪存和HD设备等构成的二次存储设备307、以及用于从介质中载入程序的FD设备308等。而且，具有多部摄像机301，可以根据用户的希望而切换影像输出。
另外，摄像机服务器101也可以用将摄像机301和计算机一体化后的服务器内置式网络摄像机来构成。
图4是表示使移动电话终端107进行动作的硬件结构的一例的图。如上所述，使用移动电话终端107使用于作为观察器而发挥功能的应用功能进行动作。更详细地说，在移动电话终端107中，包括存储程序和数据的存储器401；用于与移动电话电路网110连接的无限通信I/F402；以及利用程序执行各种处理的CPU403外围设备等。存储设备由作为主存储设备的RAM和闪存等组成。而且，作为外围设备，包括配置在移动电话终端107上的按键组406和开关组407等输入设备；显示控制器404；显示器设备408等显示输出设备；以及麦克风和扬声器等声音输入输出设备409。
图5是把各设备的动作处理程序模式化了的图。在摄像机服务器101中，含有负责摄像机控制的摄像机控制服务器501和负责影像分发的影像服务器502这两个模块。同样地，在移动电话终端107中，作为在移动电话终端107上进行动作的应用程序，包括对应于摄像机控制命令的发出和摄像机状态通知的摄像机控制单元503，和负责影像剪辑的显示的影像显示单元504。另外，在影像变换服务器105中，分别包含解释摄像机控制命令序列(以下称为PTZ顺序)，并对摄像机服务器101发出摄像机控制命令的摄像机控制单元505；和从摄像机服务器101取得影像，面向移动电话终端地进行变换，再把其编辑成面向移动电话网的影像剪辑的模块(影像取得单元506、影像变换单元507、影像发送单元508)。
图6是表示在移动电话终端107中，再生显示影像剪辑的动作流程的图。
在步骤S601中，首先得到影像变换服务器105的识别符，这既可以由用户直接通过键操作输入识别符，也可以选择包含在邮件或网页中的识别符。而且，此时的识别符，典型的是识别影像变换服务器105的URL。
接下来在步骤S602中，经由网关106，基于得到的影像变换服务器105的识别符，与影像变换服务器105的影像发送单元508连接。
影像变换服务器105从自身的服务器内检索影像变换服务器105要连接的摄像机服务器101的识别符和摄像机的识别符。进而，从移动电话终端107得到用于指示该摄像机服务器101的摄像机控制(摇镜头、俯仰运动、变焦距)的PTZ顺序，以及用户识别符和口令等用于访问控制的用户识别信息。
而且，关于摄像机服务器识别符和PTZ顺序，既可以由用户在移动电话终端107上直接通过键操作来输入摄像机控制命令，也可以选择包含在邮件或网页中的与摄像机服务器识别符和PTZ顺序有关的信息。
进而在步骤S603中，移动电话终端107向影像变换服务器105请求影像剪辑。该请求含有所请求的影像剪辑的生成方法的指定等，典型的是按照HTTP协议来发送。
这时，如果得到关于PTZ顺序的信息，则把该与PTZ顺序有关的信息发送给影像变换服务器105。该请求和与PTZ顺序有关的信息的发送，既可以用HTTP连接的GET方式编入URL，也可以用HTTP连接的POST方式来发送。在这里，说明用POST方式来发送的情况。例如以下这样。实际上适用了URL编码，但以下根据说明的情况也有不适用URL编码的部分。
<pre listing-type="program-listing"><![CDATA[POST/getvideoclip/HTTP/1.1Host202.28.30.2088080User-AgentMozilePhene/2.0 C210V(c100)Pragmano-cachevideoencodeparam＝QCIFfps15.0bps64000intraframe5me8cameraservers＝webview//vb101_4.x-zone.canon.co.jp34560+34561+34562PTZ＝HZ15_30S3_40S4_40P-10_20moviesizemax＝240kbytesnotifyto＝mailtoriyousha3@mailserver.uesrsite.co.jpuserid＝331245uesrpw＝15215294]]></pre>
不过，接续“videoencodeparam＝”的部分是指示把影像变换服务器105从摄像机服务器101接收到的源影像面向移动电话终端地进行编码时的参数信息的内容。而且，接续“cameraservers＝”的部分指定影像变换服务器105所连接的摄像机服务器101。另外，接续“PTZ＝”的部分指定有关PTZ顺序的信息，所述PTZ顺序排列了影像变换服务器105关于摄像机服务器101应执行的摄像机控制的命令。而且，接续“moviesizemax＝”的部分指定移动电话终端107或者移动电话网所规定的影像剪辑的数据的最大量。而且，接续“notifyto＝”的部分是在影像剪辑生成时要通知的联络目标。典型的是指定移动电话终端107的邮件地址。而且，接续“userid＝”和“uesrpw＝”的部分分别是用户识别符和口令。其中，PTZ顺序的构成要件具有以下的含义。N是数值数据(有正负)。
Pn摇镜头(水平方向摄像机控制)指定Tn俯仰运动(垂直方向摄像机控制)指定Zn变焦距指定Bn逆光补偿、逆光补偿的ON/OFFH原位置指定Sn预设位置指定，第n个预设位置Cn摄像机服务器连接切换指定，第n个摄像机服务器Kn摄像机服务器内摄像机切换指定，第n个摄像机_n时间经过指定。0.1秒单位接下来，在步骤S604中，等待来自影像变换服务器105的响应。接下来，在步骤S605中，解释从影像变换服务器105接收到的响应，显示在移动电话终端107的显示设备上。例如图7A那样。如果来自影像变换服务器105的响应是表示因为某种原因不能立刻生成影像的内容，就进入步骤S606。反之，如果表示能立刻生成影像，就进入步骤S607。
在步骤S606中，等待接收来自影像变换服务器105的邮件通知。邮件通知是例如利用SMTP(Simple Message Transfer Protocol简单邮件传输协议)的，但也可以是SMS(Short Message Service短消息服务)。接收到邮件通知时，把该邮件内容作为来自影像变换服务器105的响应而显示，并进入步骤S607。例如图7B那样。在步骤S607中，选择包含在响应中的一个影像剪辑，下载后进行再生显示。例如图7C那样。
这里，影像剪辑的再生显示处理是等待下载结束后执行的，但也可以不等待下载结束，在取得可显示再生的影像剪辑数据的时刻开始再生显示处理。
而且，在移动电话终端107上的影像剪辑的再生显示中，在检测出进行了移动电话终端107所具有的用户操作按键等预定的操作时，从影像剪辑中抽取出与在检测出的时刻所显示的影像数据(有的称为影像区间或影像片断)对应的链接信息和摄像机的控制信息(关于PTZ顺序的信息)。
而且，使用移动电话终端107所具有的浏览器功能，对其链接信息所表示的链接目标信息进行访问。在对链接目标信息的访问中，典型的是启动可进行摄像机控制的应用，在与所再生的影像剪辑对应的摄像机的摄影方向上一边控制摄像机一边进行摄像。具体地说，基于PTZ顺序信息，对所指定的影像剪辑的再生区间，对应于时序地依次控制摄像机的摇镜头、俯仰运动、变焦距。而且，通过移动电话终端的设定，也有进行所设定的活动的情况。例如，是把所访问的链接信息添加在邮件里的邮件发送。
图8说明摄像机操作的动作处理流程。首先，在步骤S651中，根据启动时所指示的摄像机服务器101内的影像服务器502的地址和连接端口的信息，向影像服务器502连接。在这里，启动用于进行连接之后的处理的动作程序(作为实现方法，成为线程或处理的启动)，反复进行步骤S661直到该程序结束。在步骤S661中，来自影像服务器502的影像数据每到达一次就将其接收并显示。
进而，主程序在步骤S652中根据在相同的启动时所指示的摄像机控制服务器501的地址和连接端口的信息，向摄像机控制服务器501连接。
而且，此后主程序接收来自用户的操作请求，连接到执行的主循环。首先，在步骤S653中检测用户的操作。用户的操作涉及摄像机控制时，就在步骤S654中向摄像机控制服务器501发出命令。另外，在涉及影像服务器502时，就在步骤S655中向影像服务器502发出命令。
另外，用户的操作是变更影像显示状态的操作(例如变更显示尺寸的操作等)时，就在步骤S656中更新影像的显示状态。而且，用户的操作是用于结束影像再生的操作时，就在步骤S657中依次结束与观察器的动作相关联的各程序。S654-S657的处理结束后返回S653，等待用户的操作输入。
另外，在移动电话终端107上进行动作的摄像机操作用的应用，既有作为移动电话终端出厂时具有的软件而被安装的情况，也有如Java(R)程序那样从网络上下载而被安装的软件的情况。
而且，虽然图8中没有图示，但也能够执行下述操作把连接目标的摄像机服务器向其他摄像机服务器切换的操作；在摄像机服务器连接有多部摄像机时，与取得影像的摄像机的切换操作有关的操作。
图9是表示摄像机服务器101内的摄像机控制服务器501的动作的流程图。摄像机控制服务器501首先在启动时在步骤S701中，从特定的文件(取决于OS，是registry等的系统数据库)读出摄像机控制服务器501的动作设定信息，基于此开始动作。在这里，经由影像变换服务器105，打开接受作为客户机的移动电话终端107的请求的端口，然后，进入步骤S702的请求接受状态。
当请求(连接请求或者操作命令请求)被接受时，离开S702，如果是连接请求，就在步骤S703进行可否连接的判断。如果不可连接，就返回拒绝连接的错误代码，返回到步骤S702。如果可以连接，则在步骤S704中，作为连接处理，生成进行来自移动电话终端107等的客户机的命令的接受处理的线程，进行客户机的登录后，返回到步骤S702。用所生成的线程，在步骤S707中接收来自对应的客户机的命令。
当命令到达时，接收该命令，向进行摄像机操作的主程序交送。主程序在步骤S702中接受它，对于操作命令，进入步骤S705，根据发出操作命令的线程所连接的客户机的权限来进行摄像机控制。把该摄像机控制的结果(表示控制成功或失败的代码等)传送给与接受了摄像机操作请求的客户机对应的线程(thread)。该客户机对应的线程在步骤S708中把结果回送给客户机。在主程序部分中，在步骤S706中把根据摄像机的操作而变化了的状态(包含例如摇镜头、俯仰运动、变焦距的数值和有无禁止区域检测等的摄像机状态信息等)传送给全部的客户机对应的线程。
各客户机对应的线程在步骤S709中把摄像机控制状态的变化通知给客户机。客户机对应的线程如果从客户机接受了连接结束的命令，就把它向主程序通知，再在步骤S710中结束自身的线程。
图10是表示摄像机服务器101内的影像服务器502的动作的流程图。影像服务器502先在启动时在步骤S801中从特定的文件(取决于OS，是registry等的系统数据库)读出影像服务器502的动作设定信息，基于此开始动作。在这里，生成进行影像的取得、编码和存储的线程(最初该线程为休止状态)，打开接受来自作为客户机的移动电话终端107的请求的端口，然后，进入步骤S802的请求接受状态。
当请求(连接请求或命令请求)被接受时，离开步骤S802，如果为连接请求，就在步骤S803中进行可否连接的判断。如果不可连接，就返回拒绝连接的错误代码，返回到步骤S802。如果可以连接，就在步骤S804中作为连接处理，生成用于识别每个客户机的通话(session)的通话识别符，生成进行来自客户机的命令的接受处理的线程，依照发出接受请求的客户机的访问权信息等进行客户机的登录，返回到S802。
而且，如果此时请求内容是实时影像的请求，且进行影像的取得和编码的线程为休止状态，则在返回S802之前，指示处于停止状态的线程的动作开始。用所生成的线程，在步骤S807中接受来自对应的客户机的命令。如果命令到达，就接受它，并向进行影像处理的主程序交送。
主程序在步骤S802中接受它，针对操作命令，进入步骤S805，进行关于影像的取得、编码、以及发送等的设定的变更操作，把其结果(表示操作的成功或失败的代码)传送给与接受了命令请求的客户机对应的线程。在步骤S808中，客户机对应的线程把该结果回送给客户机。
在主程序部分中，通过向进行来自步骤S804的影像的取得和编码的线程指示动作开始，在步骤S806中，按事先设定的时间间隔，使用影像撷取卡取得影像数据，把它变换成压缩数据。进而，把该压缩数据传送给连接着实时影像的全部客户机对应的线程。
各客户机对应的线程在步骤S809中，判断有无来自客户机的下一影像帧发送请求，如果有请求，就把影像数据分发给客户机。这时，如果检测到禁止区域，则参照与预先登录的客户机有关的信息。如果不是被登录的客户机，则属于连接被禁止的区域，发出不分发压缩数据的通知(禁止区域检出通知)。
而且，连接着实时影像的客户机对应的线程在接收到来自客户机的下一影像帧发送请求(这一般是对于客户机的压缩影像数据接受结束而被回送的)时，设定影像帧发送请求的标记(flag)。
而且，如果从客户机接受到连接结束的命令，就把它送达主程序，进而在步骤S810中结束自身的线程。
图11是表示生成PTZ控制命令时的移动电话终端107中的操作键分配的一例的图。在生成PTZ顺序时，对于移动电话终端107的键，如图所示那样，分配有摇镜头(摄像机横向变动)、俯仰运动(摄像机纵变运动)、变焦距(放大倍率变更)和逆光补偿等功能。所生成的命令经由影像变换服务器105向摄像机控制服务器501输出。
图12是把影像变换服务器105中的影像数据的大致流向模式化了的图。从摄像机服务器101送出的影像数据(Motion JPEG，QVGA尺寸320x240)经由影像变换服务器105的摄像机服务器对应的通信堆栈(stack)而被接收，然后被传送到JPEG解码器。而且，被传送到面向移动电话地设定的MPEG-4编码器，加工为面向移动电话的影像数据(MPEG-4simple profile、QICF尺寸176x144，64Kbps)后，作为影像剪辑，经由移动电话网对应的通信堆栈，被发送给移动电话终端107。
图13是表示影像变换服务器105的动作的流程图。
影像变换服务器105首先在启动时，在步骤S1301中从特定的文件读出影像变换服务器105的动作设定信息，基于此开始动作。在这里，打开通信端口，然后进入步骤S1302的请求接受状态。上述通信端口是接受来自作为客户机的移动电话终端107的应用程序的请求的端口。
如果请求(HTTP请求的消息等)被接受，就离开步骤S1302，在步骤S1303中进行可否连接的判断。如果不可连接，就送回拒绝连接的错误代码，返回S1302，如果可以连接，就在步骤S1304中作为连接处理而对应于各客户机生成客户机对应线程，进行客户机的登录，返回到S1302。上述客户机对应线程是用于进行与客户机的信息收发的。
在步骤S1311中，用所生成的客户机对应线程，读入来自对应的客户机的请求，并解析内容。请求典型的是采用HTTP请求，发送到影像变换服务器105。而且，在HTTP请求中，既有使用POST方式的情况，也有利用GET方式的情况。
下面，在步骤S1312中，从请求内容中取出如下信息编码参数信息(影像变换参数)、对摄像机服务器的连接信息(源影像信息)、关于PTZ顺序的信息、影像剪辑的最大尺寸(影像剪辑上限值)、通知目标信息(通知目标的地址)、以及用户识别符和口令等用户识别信息。这些分别作为“videoencodeparam＝”“cameraservers＝”“PTZ＝”“moviesizemax＝”“notifyto＝”“userid＝”“uesrpw＝”的值而进行指示。
影像变换参数记述了变换用多媒体数字信号编解码器的选择和给该多媒体数字信号编解码器的参数，以及多媒体数字信号编解码器的输入用/输出用的数据形式等。所谓源影像信息是例如提供实时影像的摄像机服务器101的网络地址和端口号等的通信属性信息。所谓通知目标的地址，典型的是指定了连接中的移动电话终端107的邮件地址。
下面，在步骤S1313中，作为对HTTP请求的HTTP响应，返回表示“因为不能立即生成影像，所以稍候邮件联络”的信息。
下面，在步骤S1314中，按照源影像信息和用户识别信息，初始化影像取得单元506。具体地说，连接提供源影像的摄像机服务器501，开始取得源影像。
而且，进入步骤S1315，根据影像变换参数而初始化影像变换单元。该影像变换单元507由MPGE-4编码器等构成。而且，进入步骤S1316，初始化影像发送单元。这时，把影像剪辑上限值和通知目标的地址指示给影像发送单元508。
进而，进入步骤S1317，从影像取得单元506向影像变换单元507、从影像变换单元507向影像发送单元508分别传送各自的处理数据，进行相互关联。而且，摄像机控制单元505把关于PTZ顺序的信息传送给摄像机控制服务器501，执行摄像机服务器101中的摄像机控制。
而且，进入步骤S1318，进行影像取得单元506、影像变换单元507、以及影像发送单元508的后处理。并且，进入步骤S1319，结束客户机对应线程。
下面顺次说明在影像变换服务器105中发挥功能的影像取得单元506、影像变换单元507、影像发送单元508、以及摄影机控制单元505。影像取得单元506首先根据初始化时接受到的源影像信息和用户识别信息，执行连接在提供实时影像的摄像机服务器101上的处理。而且，从摄像机服务器101取得影像数据，付予取得时的印时戳，并把影像数据送往影像变换单元507。因为本实施方式中的摄像机服务器101以Motion JPEG格式提供影像数据，所以付予印时戳的是各个JPEG数据。
而且，从摄像机服务器101通知禁止区域检测时，取代影像数据，把禁止区域检测通知传给影像变换部507。接下来，在影像变换单元507中首先把在初始化时接受到的给多媒体数字信号编解码器的参数和多媒体数字信号编解码器输入用/输出用的数据形式等设定在MPEG-4编码器中。
而且，影像变换单元507把从影像取得单元506接受到的源影像数据整理成多媒体数字信号编解码器输入用的数据形式和图像尺寸后输入到MPEG-4编码器，把此处理结果传向影像发送单元508。这里，用本实施方式中的影像变换单元507，把JPEG格式的源影像数据预先整理成QCIF尺寸和YUV411格式后，输入到MPEG-4多媒体数字信号编解码器，把所生成的MPEG-4数据(I-frame或P-frame)传送给影像发送单元508。这时，将在影像取得单元506中所付予的印时戳一并输入到MPEG-4多媒体数字信号编解码器。
而且，从影像取得单元506通知禁止区域检测时，取代源影像数据，把表示摄像机控制处于被限制的区域而不能显示影像的合成画面输入到MPEG-4多媒体数字信号编解码器。
然后，在影像发送单元508中，首先，按照在初始化时接受到的影像剪辑上限值来确保存储器区域。而且，接受影像变换单元507生成的面向移动电话的影像数据，保持在所确保的存储器区域中。
另外，在影像发送单元508中，对应于从收到影像显示禁止区域检测通知的时刻到检测到脱离禁止区域的时刻的区间，在加入存储区域的利用率后，确定影像剪辑的分割点。而且，判断为分割点时，把遵循面向移动电话的影像剪辑的数据格式的首部信息前置，把保持在存储区域中的影像数据作为文件来保存，再次利用存储区域。由此，影像剪辑被分割保存在多个文件中。
这里，对生成影像显示禁止区域以外的影像剪辑时的影像数据分割点的确定方法进行说明。
关于影像发送单元508中的生成影像剪辑时的分割点优先级的计算，定期地、每以例如一秒间隔等取得影像数据就进行。例如按条件(0)～(5)来计算。例如图14所示，得到表示相对于时间经过的优先级的评价值。
(0)把从影像变换单元507得到的前面一个影像数据的优先级的评价值作为优先值(PRI)。而且，使优先值的初始值为0。
(1)在由摄像机控制单元505通知了表示是作为与影像数据对应的摄像机控制信息而预先指定(包括原位置指定)，并控制摄像机时的影像数据的信息时，或者通知了表示摄像机服务器切换的指示内容，则在优先值上加3。
(2)如果从摄像机控制单元505(摄像机服务器内的)通知了表示摄像机切换中的定时的指示内容，就在优先值上加2。
(3)如果从摄像机控制单元505通知了表示是摄像机的摇镜头/俯仰运动/变焦距(PTZ)处于动作中的影像的指示内容，就在优先值上加1。
(4)如果没有来自摄像机控制单元505的通知，就在优先值上加0.9。
(5)但是，计算结果超过3时，优先级当作3。
而且，在图14所示的评价值中，以预定间隔(例如15秒间隔)把评价值最高的时刻作为影像剪辑的分割点。这样就生成了影像剪辑。
而且，作为特例，与影像数据对应的摄像机控制信息为向预定位置的移动中的信息，或者在检测到每单位时间的变动量较多的摇镜头/俯仰运动/变焦距(例如，可控制量的20％以上的变动)等的时候，也可以确定该时刻作为影像剪辑的分割点。
而且，在影像发送单元508中，接受在影像取得单元506中所得到的摄像机控制状态信息，并沿时间轴保持。所谓摄像机控制状态信息，是表示沿摄像机的拍摄时刻、摄像机如何被控制的信息。而且，按预先设定的时间周期，从摄像机控制状态信息生成相当于摄像机控制状态信息的与摄像机控制顺序(PTZ顺序)有关的信息，把以PTZ顺序为参数的信息作为链接信息而编入影像剪辑。
典型的是把相当于摄像机控制状态信息的PTZ顺序作为参数。进而，在指定PTZ顺序初始值时或与预设位置、原位置等一致时，把摇镜头、俯仰运动、变焦距的绝对值信息作为链接信息而编入影像剪辑。
而且，在本实施方式的情况下，如图14所示那样，对与某影像数据区间(影像片段)对应的链接信息，冗长地分配重复的摄影机控制顺序。
而且，作为编入影像剪辑的摄像机顺序信息，也可以包括多部摄像机的指定地构成PTZ顺序。例如，考虑了下面那样的PTZ顺序。但是，包含在PTZ顺序中的“Cn”指定向第n个摄像机服务器的连接切换。
cameraservers＝(webview//cam1.univ.ac.jp34560+34561+34562)(webview//cam2.univ.ac.jp34560+34561+34562)(webview//cam3.univ.ac.jp34560+34561+34562)PTZ＝C1HZ15_30C2S3_40C3S4_40P-10_20进而，例如下面那样，也可以是把摄像机服务器1的指定也编入PTZ顺序的安装。但是，包含在PTZ顺序中的“C(x)”指定向用x记述的摄像机服务器1的连接切换。
cameraservers＝PTZ＝C(webview//cam1.univ.ac.jp34560+34561+34562)HZ15_30C(webview//cam2.univ.ac.jp34560+34561+34562)S3_40C(webview//cam3.univ.ac.jp34560+34561+34562)S4_40P-10_20而且，在从摄像机控制单元505通知PTZ顺序的结束的时刻，在把保持在存储区域中的影像数据的剩余同样地作为文件保存后，生成向移动电话终端107的通知信息，通知给初始化时接收到的通知目标地址。上述通知信息嵌入了向至此所保存的多个影像剪辑的链接信息。由此，可以从接收到通知信息的移动电话终端107请求下载各影像剪辑。
另外，影像发送单元508具有HTTP服务器功能，对应于来自移动电话终端107的利用HTTP的影像剪辑下载请求。
下面，在摄像机控制单元505中，解释PTZ顺序，生成要送往摄像机服务器101的摄像机控制命令，把按照PTZ顺序所指示的定时生成的摄像机控制命令送往摄像机服务器101，由此进行摄像机服务器101的摄像机控制。而且，在解释完PTZ顺序的时刻，把PTZ顺序的结束通知给影像发送单元508。
在以上的结构中，移动电话终端107通过影像变换服务器的功能，影像剪辑再生用户就可利用影像剪辑所生成的时刻的摄像机控制状态信息。
以上，能够把从配置在网络上的摄像机服务器送出的实时影像变换成面向移动电话终端的影像剪辑而提供给用户。特别地，在本实施方式的影像变换服务器中，特征在于生成反映了摄像机服务器的摄像机控制状态信息的影像剪辑。
而且，本实施方式中，是在影像变换服务器105中分割影像剪辑的，但也可以把影像数据和图14所示的与优先级的评价值有关的信息传送给移动电话终端107，在移动电话终端107中生成影像剪辑。
而且，在本实施方式中，所谓连结移动电话网和网络的网关，是以独立地在网络上安装有影像变换服务器为例进行说明的，但影像变换服务器105也可以作为网关106的一部分而安装。而且，影像变换服务器105和网关106含有VPN(Virtual Private Network虚拟个人网络)等，用专用线连接的连接形式也能容易地想到。
在本实施方式中，是以进行摄像机控制的移动电话终端和请求影像剪辑的终端是同一终端为例而说明的，但发出摄像机控制命令的用户也可以是其他的用户。例如，可以从被2次传送的终端来访问影像剪辑。在该情况下，不需要摄像机控制用的应用。
在本实施方式中，是以按预定的一定周期生成含有摄像机控制顺序的链接信息并编入影像剪辑为例而说明的，但是链接信息的生成的定时并不限定为一定周期。例如，也可以是摄像机控制状态信息的变化值的累积值满足预定条件的定时。而且，也可以是影像数据本身的变化值(例如，图像所认识目标的个体数的变化)满足预定条件的定时。
而且，在本实施方式的影像发送单元中生成的摄像机控制顺序是基于从影像取得单元所得到的摄像机状态信息而生成的，但这也可以通过从摄像机控制单元所解释的PTZ顺序中取出部分顺序而生成。
在用该方法的情况下，一方面得到更接近请求影像剪辑生成的用户意图的摄像机控制顺序，但另一方面，在含有向禁止区域的摄像机控制等的情况下，生成与影像数据不同步的摄像机控制顺序，这两种情形各有利弊。
在本实施方式的影像发送单元中，以对与影像剪辑中的某影像数据区间对应的链接信息分配邻接的影像数据区间的时间中的摄像机控制顺序为例来说明的，但是所分配的摄像机控制顺序的长度(或者时间)不必从属于影像数据区间的时间。典型的是被影像变换服务器事先设定的固定长度(时间)。而且，也能容易地想到，所分配的摄像机控制顺序的长度(时间)依赖于各种事实和现象的发生。
在本实施方式中，是以把从摄像机服务器取得的影像变换成面向移动电话的影像剪辑而送出的例子进行说明的，但影像剪辑的形式并不限定于面向移动电话的影像剪辑。例如在微软公司的Windows(R)MediaPlayer中，对应于ISO标准的MPEG-4多媒体数字信号编解码器，所以在本实施方式的影像发送单元生成影像剪辑的时刻，整形成遵照微软公司的ASF形式的数据格式，并且通过在该格式中指定MPEG-4多媒体数字信号编解码器，就可以进行在Windows(R)MediaPlayer上的再生了。同样地，通过遵照Apple公司的QuickTime FileFormat，也可以对应于QuickTimePlayer。
而且，也可以在影像变换服务器105内部参照所管理的摄像机控制信息履历的管理表，进行摄像机的控制。此时，在第2实施方式的影像变换单元中，首先，沿时间轴保持从摄像机服务器101接受到的摄像机状态信息，基于该信息生成相当于摄像机控制状态信息的摄像机控制顺序(PTZ顺序)。进行该处理时，不进行把生成的PTZ顺序作为直接链接信息编入影像剪辑的处理。取代该处理，把生成的PTZ顺序存储到如图15所示那样的影像变换服务器内的摄像机的控制履历管理表中，把给该控制履历管理表的参照信息作为链接信息编入影像剪辑。作为给控制履历管理表的参照信息，对控制履历管理表的各项目分配识别符(i-1，i，i+1，…)，把该识别符作为参照信息。
分配的识别符可以由例如摄像机服务器识别符(典型的是IP地址)和PTZ顺序的生成时刻合成。或者，也可以是按顺序分配的串行编号。
而且，有来自移动电话终端107的摄像机控制信息参照请求的时候，把识别符作为关键字在控制履历管理表内进行检索，基于所发现的PTZ顺序，进行动作使得执行摄像机控制。
采用以上结构，作为移动电话终端107的用户，再生影像剪辑的用户可以利用生成影像剪辑的时刻的摄像机控制状态信息。而且，通过在影像变换服务器内参照所管理的控制履历管理表，可以参照与所生成的影像剪辑的时间帧(time frame)邻接的时间帧的摄像机控制信息。即，通过搜寻包含在影像剪辑中的识别符(对控制履历管理表的参照信息)，可以连锁式地取得在影像剪辑的前后所进行的摄像机控制。
而且，可以在影像剪辑中存储那时的摄像机状态信息，在移动电话终端侧基于该摄像机状态信息生成摄像机控制信息，作为摄像机服务器101的摄像机301的控制请求。此时，减轻了影像变换服务器105的负担。
而且，影像变换服务器105和摄像机服务器101一体化地构成一个设备也能达到本实施方式的目的。
权利要求
1.一种分发给终端设备的动图像信息的生成方法，包括接收步骤，接收由摄像机所拍摄的动图像数据和摄像机所进行的动作的控制顺序信息；文件生成步骤，从上述接收到的动图像数据生成动图像文件；编入步骤，把与上述所生成的动图像文件对应的上述摄像机的控制顺序信息和关于上述摄像机地址的信息编入上述动图像文件；以及分发步骤，把在上述编入步骤中编入了上述摄像机的控制顺序信息和上述摄像机的链接信息的动图像文件分发给上述终端设备。
2.根据权利要求1所述的方法，其特征在于上述摄像机的控制顺序信息至少包括上述摄像机的摇镜头、俯仰运动、变焦距动作中的一个。
3.根据权利要求1所述的方法，其特征在于在上述生成步骤中，通过分割接收到的动图像数据而生成动图像文件。
4.一种动图像信息的分发设备，包括通信装置，接收由摄像机所拍摄的动图像数据和摄像机所进行的动作的控制顺序信息；文件生成装置，在由上述接收到的动图像数据生成动图像文件时，把与上述所生成的动图像文件对应的上述摄像机的控制顺序信息和关于上述摄像机地址的信息编入上述动图像文件。
5.根据权利要求4所述的分发设备，其特征在于上述摄像机的控制顺序信息至少包括上述摄像机的摇镜头、俯仰运动、变焦距动作中的一个。
6.根据权利要求4所述的分发设备，其特征在于在上述文件生成装置中，通过分割接收到的动图像数据而生成动图像文件。
7.根据权利要求4所述的分发设备，其特征在于上述摄像机被一体地装入上述分发设备。
8.一种计算机可读取介质，存储有执行分发方法的步骤的程序，所述分发方法的步骤包括接收步骤，接收由摄像机所拍摄的动图像数据和摄像机所进行的动作的控制顺序信息；文件生成步骤，由上述接收到的动图像数据生成动图像文件；编入步骤，把与上述所生成的动图像文件对应的上述摄像机的控制顺序信息和关于上述摄像机地址的信息编入上述动图像文件；以及分发步骤，把在上述编入步骤中编入了上述摄像机的控制顺序信息和上述摄像机的链接信息的动图像文件分发给上述终端设备。
9.根据权利要求8所述的介质，其特征在于上述摄像机的控制顺序信息至少包括上述摄像机的摇镜头、俯仰运动、变焦距动作中的一个。
10.根据权利要求8所述的介质，其特征在于在上述生成步骤中，通过分割接收到的动图像数据而生成动图像文件。
11.一种动图像文件的生成方法，包括取得步骤，取得由摄像机所拍摄的动图像数据和关于与上述动图像数据对应的摄像机的信息；生成步骤，基于上述关于摄像机的信息，分割上述动图像数据，生成动图像文件。
12.根据权利要求11所述的方法，其特征在于上述关于摄像机的信息是关于上述摄像机的摄影禁止范围的信息。
13.根据权利要求11所述的方法，其特征在于上述关于摄像机的信息是关于上述摄像机的切换的信息。
14.根据权利要求11所述的方法，其特征在于上述关于摄像机的信息是上述摄像机的动作信息。
15.根据权利要求14所述的方法，其特征在于上述摄像机的动作信息是关于每单位时间的变动量的信息或者是向预设位置的移动信息。
16.一种动图像文件的生成设备，包括取得装置，取得由摄像机所拍摄的动图像数据和关于与上述动图像数据对应的摄像机的信息；生成装置，基于上述关于摄像机的信息，分割上述动图像数据，生成动图像文件。
17.根据权利要求16所述的生成设备，其特征在于上述关于摄像机的信息是关于上述摄像机的摄影禁止区域的信息。
18.根据权利要求16所述的生成设备，其特征在于上述关于摄像机的信息是关于上述摄像机的切换的信息。
19.根据权利要求16所述的生成设备，其特征在于上述关于摄像机的信息是上述摄像机的动作信息。
20.根据权利要求16所述的生成设备，其特征在于上述摄像机的动作信息是关于每单位时间的变动量的信息或者是向预设位置的移动信息。
21.一种计算机可读取介质，存储有执行动图像文件的生成方法的步骤的程序，所述动图像文件的生成方法包括取得步骤，取得由摄像机所拍摄的动图像数据和关于与上述动图像数据对应的摄像机的信息；生成步骤，基于上述关于摄像机的信息，分割上述动图像数据，生成动图像文件。
22.根据权利要求21所述的介质，其特征在于上述关于摄像机的信息是关于上述摄像机的摄影禁止区域的信息。
23.根据权利要求21所述的介质，其特征在于上述关于摄像机的信息是关于上述摄像机的切换的信息。
24.根据权利要求21所述的介质，其特征在于上述关于摄像机的信息是上述摄像机的动作信息。
25.根据权利要求21所述的介质，其特征在于上述摄像机的动作信息是关于每单位时间的变动量的信息或者是向预设位置的移动信息。
全文摘要
本发明提供一种动图像信息的生成方法。根据从摄像机接收的动图像数据生成动图像文件。把与上述所生成的动图像文件对应的上述摄像机的控制顺序信息和关于上述摄像机地址的信息编入上述动图像文件。而且，基于摄像机的控制信息，分割接收到的动图像数据，生成动图像文件。
文档编号H04N7/14GK1578453SQ20041003060
公开日2005年2月9日 申请日期2004年3月30日 优先权日2003年3月31日
发明者黑泽贵弘, 河合智明 申请人:佳能株式会社