拍摄装置、信息处理装置、信息处理系统以及帧数据输出同步化方法

拍摄装置、信息处理装置、信息处理系统以及帧数据输出同步化方法
【专利摘要】主机终端（20）的偏差时间监视部（34）监视来自拍摄装置（12）的帧数据的输入定时、与根据显示器（16）的输出频率得到的该帧数据的理想的输入定时的偏差。动作周期调整部（36）根据输入定时的偏差的大小，发送用于调整拍摄装置（12）中的每1帧的动作周期的请求信号。拍摄装置（12）的H计数器部（42）将拍摄装置（12）中的垂直同步信号作为起点计数水平同步信号的输出，以规定的扫描线产生信号。VSync调整计数器部（44）将来自H计数器部（42）的信号作为起点计数像素时钟，以对像素时钟设定的值产生垂直同步信号。
【专利说明】拍摄装置、信息处理装置、信息处理系统以及帧数据输出同步化方法
【技术领域】
[0001]本发明涉及在输入接口上使用照相机的信息处理技术。
【背景技术】
[0002]近年，在很多领域中利用网页照相机等将拍摄到的影像的数据实时地转发，在显示器中显示的技术。例如，如视频聊天或监视照相机那样，除了将拍摄到的影像原样显示之夕卜，还存在以视频照相机拍摄用户的头部等身体的一部分，提取眼、口、手等规定的区域并在其他图像中置换，在显示器中显示的游戏等(例如，专利文献I)。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:欧州专利申请公开第0999518号说明书
【发明内容】

[0006]发明要解决的课题
[0007]上述那样的技术中，在照相机和显示器非同步的情况下，对照相机和显示器进行中继的主机终端中准备同步用缓冲器，以帧单位调整输出定时。在该方式中，需要通过调整从而废弃剩余的帧，或显示两次相同的帧。由于这样的同步处理产生不稳定且大的等待时间，除了降低从照相机输入至显示的响应性之外，还存在同步用缓冲器变得不可缺少而压迫存储区域等的问题。特别是在接口非同步且不能共享时钟的USB照相机中，同步处理困难。
[0008]本发明是鉴于这样的课题而完成的，其目的在于，提供能够容易地使照相机输入和显示器输出同步动作的图像处理技术。
[0009]用于解决课题的手段
[0010]本发明的一方式涉及拍摄装置。该拍摄装置的特征在于，具备:输出控制部，以垂直同步信号的频率按照扫描线顺序输出拍摄元件拍摄到的运动图像的各帧数据；以及垂直同步信号调整部，在输出控制部输出的帧数据的输出时刻、与基于即时显示运动图像的显示器中的输出频率的基准输出时刻的偏差超过了规定的阈值时，变更垂直同步信号的产生定时的设定。
[0011]本发明的其他方式涉及信息处理装置。该信息处理装置的特征在于，具备:偏差时间监视部，取得从连接的拍摄装置依次输入的各帧数据的输入时刻，监视与基于该帧数据的输出目的地的显示器中的输出频率的基准输入时刻的偏差；以及动作周期调整部，在偏差超过了规定的阈值时，将调整拍摄装置中的垂直同步信号的产生定时的请求信号发送至拍摄装置。
[0012]本发明的进一步的其他方式涉及信息处理系统。该信息处理系统具备拍摄运动图像的拍摄装置、和依次取得该运动图像的帧数据并向显示器输出的信息处理装置，其特征在于，所述信息处理装置具备:偏差时间监视部，取得从拍摄装置输入的各帧数据的输入时亥IJ，监视与基于显示器中的输出频率的基准输入时刻的偏差；以及动作周期调整部，在偏差超过了规定的阈值时，将调整拍摄装置中的垂直同步信号的产生定时的请求信号发送至拍摄装置，拍摄装置具备:垂直同步信号调整部，在帧的最终扫描线中，将具有像素值的输出频率的像素时钟的边缘数作为像素计数值而计数，在取得请求信号时，变更用于产生垂直同步信号的像素计数值的设定。
[0013]本发明的进一步的其他方式涉及帧数据输出同步化方法。该帧数据输出同步化方法是拍摄装置将即时显示拍摄到的运动图像的显示器中的帧数据输出处理、和自身的帧数据输出处理同步的方法，其特征在于，包含:以垂直同步信号的频率按照扫描线顺序输出各帧数据的步骤；以及在输出的帧数据的输出时刻、和与基于显示器中的输出频率的基准输出时刻的偏差超过了规定的阈值时，变更垂直同步信号的产生定时的设定的步骤。
[0014]另外，以上的结构要素的任意的组合，将本发明的表现在方法、装置、系统、计算机程序、记录了计算机程序的记录介质等之间变换也作为本发明的方式而有效。
[0015]发明效果
[0016]若根据本发明，则能够容易地使照相机输入和显示器输出同步动作。
【专利附图】

【附图说明】
[0017]图1是表示能够应用本实施方式的信息处理系统的结构例的图。
[0018]图2是表示实现照相机输入和视频输出的同步处理的现有技术中的系统结构的图。
[0019]图3是表示根据图2所示的结构进行帧数据输出定时的调整时的、来自拍摄装置的输出数据、同步用缓冲器中的数据、帧存储器中的数据的变迁的图。
[0020]图4是表示拍摄装置和显示器同步的情况下的来自拍摄装置的输出数据、输入缓冲器中的数据、帧存储器中的数据的变迁的图。
[0021]图5是表示本实施方式中的拍摄装置和主机终端的结构的图。
[0022]图6是用于说明本实施方式的拍摄装置中产生的信号的图。
[0023]图7是用于说明本实施方式的拍摄装置中的垂直同步信号的产生定时的调整原理的图。
[0024]图8是表示本实施方式中调整来自拍摄装置的每I帧的输入周期的处理的步骤的流程图。
[0025]图9是表示在本实施方式中调整来自拍摄装置的输入周期的情况下的来自拍摄装置的输出数据、输入缓冲器中的数据、帧存储器中的数据的变迁的图。
[0026]图10是表示在主机终端中设置同步用缓冲器的状态下连接了本实施方式的拍摄装置的情况下的来自拍摄装置的输出数据、同步用缓冲器中的数据、帧存储器中的数据的变迁的图。
【具体实施方式】
[0027]图1表示能够应用本实施方式的信息处理系统的结构例。信息处理系统10包含:拍摄装置12，对用户I等的对象物进行视频拍摄；主机终端20，控制拍摄到的运动图像数据的显示；显示器16，显示运动图像。也可以组合拍摄装置12、主机终端20、显示器16之中的任意两个或者全部而一体地进行装备。此外，拍摄装置12也可以不需要在显示器16上设置。进而用户I也可以不是人，其数目也不被限定。
[0028]拍摄装置12是具备CCD (Charge Coupled Device，电荷耦合器件)或者CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)等的拍摄元件的数字视频照相机。拍摄装置12依次发送拍摄到的运动图像的帧数据至主机终端20。主机终端20将被发送的帧数据与显示器16的输出定时配合并输出至显示器16。另外，主机终端20也可以使用帧数据进行图像输出控制以外的规定的处理。例如能够通过将用户I的形象进行人物化而生成虚拟世界的图像并使显示器16显示，从而实现游戏等，但由于这样的技术能够应用一般的情况所以在此不提及。
[0029]显示器16将基于主机终端20的控制所输入的帧数据作为图像而显示。显示器16可以是具有输出图像的显示器以及输出声音的扬声器的电视，例如是液晶电视、等离子电视、PC显示器等。
[0030]在本实施方式中，在这样的信息处理系统10中拍摄装置12的照相机输入和显示器16的视频输出非同步的情况下，低成本且容易取得同步。首先为了使本实施方式的效果明显，说明在这样的情况下能够应用的同步处理的已有方法。
[0031]图2表示实现照相机输入和视频输出的同步处理的现有技术中的系统结构。另夕卜，由于同图表示现有技术中的结构，作为拍摄装置12a、主机终端20a与本实施方式的各装置区别，但连接方式与图1所示的方式相同。主机终端20a需要从拍摄装置12a，将以拍摄装置的输出频率输入的帧数据，以显示器16的输出频率进行输出。
[0032]因此在主机终端20a中，除了可与显示器16的输出频率配合而改写的帧存储器26之外，还需要具备在拍摄装置12a和帧存储器26之间用于缓冲帧数据而进行定时调整的同步用缓冲器22。进而主机终端20a具备控制从帧存储器26至显示器16的帧数据的输出的显示控制部24。
[0033]图3表示在通过图2所示的结构进行帧数据输出定时的调整时的、来自拍摄装置12a的输出数据(上层)、同步用缓冲器22中的数据(中层3列)、帧存储器26中的数据(下层2列)的变迁。例如设为拍摄装置12a以60fps的帧速率进行拍摄以及数据输入，显示器16以59.94fps的帧速率进行动态图像显示。此时，从拍摄装置12a至主机终端20a的帧数据输入周期为每I巾贞16.0msec,从主机终端20a至显示器16的输出周期为每I巾贞16.7msec。
[0034]同图以横轴表示时间经过，以一个矩形表示与I帧量对应的期间。矩形内的字符表示帧序号。同图上端的凡例所示那样，矩形内的实线以及虚线的斜线分别表示对扫描线进行扫描的数据的输出期间(scan out)、以及输入期间(scan in)。此外以网格示出的矩形表示数据的保持期间。
[0035]首先在拍摄装置12a中，在时刻t0开始第η帧的拍摄以及输出。于是在主机终端20a中的同步用缓冲器22的第I缓冲器22a中，从时刻tl起，按照拍摄结束的扫描线顺序存储第η帧的数据。至已存储全部第η帧的数据的时刻t2的时间为上述所示的16.0msec0显示控制部24从将之前的帧、即第(η-1)帧的数据已存储至帧存储器26的时刻t3起，开始将第η帧的数据存储至帧存储器26的第I区域26a。
[0036]另外同步用缓冲器22的矩形列的下面所示的具有At的宽度的标记表示正上方的矩形示出的帧数据的读出期间。第η帧的读出期间、即从时刻t3起At期间不能进行至该缓冲器的其他数据的写入。写出至帧存储器26的第I区域26a的第η帧的数据从之前的第(η-1)帧的显示结束的时刻t4起，输出至显示器16，并显示图像。从第η帧的显示开始时刻t4至结束时刻t5的时间为上述所示的16.7msecο
[0037]对根据拍摄装置12a中的拍摄的进展而取得的各帧数据同样地进行这样的处理。即拍摄装置12a以及同步用缓冲器22将16.0msec作为每I帧的处理周期而动作，帧存储器26以及显示器16将16.7msec作为每I帧的处理周期而动作。同图所示那样帧存储器26通过将存储正在输出至显示器16的帧数据的区域、和存储下一帧的区域进行区分，并交替地使用第I区域26a、第2区域26b，从而进行顺利的图像显示。
[0038]另一方面，同步用缓冲器22中存储完某帧的数据的定时、和将其读出的定时因拍摄装置12a和显示器16的动作频率的差异而产生偏差。作为结果，在大部分的期间中，存储帧数据时，成为两个之前的帧数据的读出未完成的状况。例如在开始第(n+2)帧的数据的存储的时刻T中，正读出两个之前的第η帧的数据。
[0039]因此，不能将存储着第η帧的数据的第I缓冲器22a作为第(n+2)帧的数据的存储目的地。像这样，在某帧数据的存储开始时，产生两个之前的帧的数据的读出未完成的状况的环境中，作为同步用缓冲器22，需要准备第I缓冲器22a、第2缓冲器22b、第3缓冲器22c这三个缓冲器并循环使用。
[0040]在使用了三个缓冲器的情况下，基本上，各帧的数据保持期间若去除存储处理的期间则成为2周期量。即在同步用缓冲器22中能够保持相同的帧的数据的期间依赖于缓冲器的数目而有限。但是在显示器16侧的动作周期比拍摄装置12a侧的动作周期更长的情况下，相对于同步用缓冲器22中的各帧数据的保持期间，将其读出的期间逐渐向后产生偏差。然后不久读出期间超过数据保持期间。这样，无论数据是否被存储在同步用缓冲器22中，都产生在显示器16中未显示完全的帧。此时，必须废弃该帧数据，读出并显示下一帧数据。
[0041]在图3的例中，结束第(n+6)帧的读出的时刻t6之后应读出第(n+7)帧的期间超过第(n+7)帧的数据保持期间。因此跳过第7帧，在时刻t7中开始已存储的第(n+8)帧的数据读出。由于在该例中显示器16侧的动作周期比拍摄装置12a侧的基本周期更长，因此不消耗剩余的帧数据而废弃，但若动作周期的大小关系相反，则显示所需的帧数据不足，必须将同一帧显示2周期。
[0042]像这样，在拍摄装置12a和显示器16非同步地动作的情况下，需要比较同步用缓冲器22中的帧数据的保持期间、和将其读出的期间，根据其结果产生数据的废弃或2次显示等复杂的处理。此外，由于动作周期的差，作为同步用缓冲器需要的缓冲器区域的数目增加。
[0043]进而，在使主机终端与显示器16的频率同步而进行图像处理的情况下，也考虑由于废弃一个成为处理对象的帧而产生的缺点。例如在跟踪被摄体的一部分的情况下，若与之前帧的时间间隔拉开，则由于可动范围增大而产生扩大搜索区域的需要。因此跟踪处理所需的时间增加，成为等待时间增加的主要原因。
[0044]即使例如拍摄装置和显示器的设定动作频率是相同的，也存在由于内置的振荡电路的精度而产生同样的偏差的可能性。因此在本实施方式中，通过以像素计数单位调整拍摄装置12内部的垂直同步信号的定时，从而将来自拍摄装置12的数据输入和至显示器16的数据输出的周期的偏差收敛至规定的范围，设为至少不产生I帧量的时间差。
[0045]图4表示在拍摄装置和显示器同步的情况下的来自拍摄装置的输出数据(上层)、输入缓冲器中的数据(中层2列)、帧存储器中的数据(下层2列)的变迁。图的表示方式与图3相同，但此时，存储来自拍摄装置的输入数据的存储器不是“同步用缓冲器”，而是作为用于主机终端20内部的处理的“输入缓冲器”而发挥作用。拍摄装置和显示器的动作周期例如都设为16.0msec0
[0046]此时，如同图所示那样，帧数据至帧存储器的读出始终能够在至输入缓冲器的该数据的存储完成之后立刻开始，该两个时刻没有偏差。作为结果输入缓冲器也与帧存储器相同，能够仅由用于写入从拍摄装置输入的帧数据的缓冲器、和用于读出至帧存储器的缓冲器而构成。此外如上述那样，由于不需要偏差积蓄引起的帧单位的调整，因此能够简化处理并抑制突发的等待时间的增大。
[0047]在本实施方式中，即使拍摄装置和显示器的动作频率不同，也会作出与如图4所示的同步动作相近的状况。具体而言在拍摄装置12中，以像素计数单位调整作为I帧量被定义的时间、即垂直同步信号(VSync)的间隔，进行将显示器中的I帧的显示周期设为目标的动作周期的校准。该方式对振荡电路的精度引起的偏差也有效。图5表示本实施方式中的拍摄装置12和主机终端20的结构。
[0048]图5所示的各功能块,硬件上能够通过CPlXCentral Processing Unit,中央处理单兀)、RAM (Random Access Memory,随机存取存储器)、ROM (Read Only Memory,只读存储器)、计数器电路等的构成而实现，软件上可通过发挥数据输入输出功能、数据保持功能等的各功能的程序而实现。从而，本领域技术人员理解这些功能块能够以仅硬件、仅软件、或者根据这些的组合的各种形态而实现，不限定于任一个。
[0049]主机终端20包含:输入缓冲器32，暂时存储从拍摄装置12输入的帧数据；帧存储器38，暂时存储输出至显示器16的帧数据；显示控制部40，控制从输入缓冲器32至帧存储器38的帧数据写出、从帧存储器26至显示器16的帧数据的输出。
[0050]输入缓冲器32、帧存储器38、以及显示控制部40具有与图2所示的主机终端20a中的同步用缓冲器22、帧存储器26、以及显示控制部24相同的功能。其中与关于图4所说明相同，由于本实施方式也不需要进行使用同步用缓冲器的调整，因此代替同步用缓冲器22具备输入缓冲器32。输入缓冲器32与图4所示相同，具备两个缓冲器区域即可。
[0051]主机终端20进一步包含:偏差时间监视部34，监视来自拍摄装置12的帧数据的输入定时、和从显示器16的输出频率得到的该帧数据的理想的输入定时的偏差；动作周期调整部36，根据输入定时的偏差的大小，发送用于调整拍摄装置12中的每I帧的动作周期的请求信号。
[0052]拍摄装置12包含拍摄元件31和桥部30。拍摄元件31如上所述是CXD或者CMOS等的传感器。桥部30包含:输出控制部41，控制帧数据至主机终端20的输出出计数器部42，将拍摄装置12中的垂直同步信号作为起点而计数水平同步信号(HSync)的输出，以规定的扫描线产生信号；VSync调整计数器部44，将来自H计数器部42的信号作为起点计数像素时钟，以对于像素时钟设定的值产生垂直同步信号。
[0053]输出控制部41将拍摄元件31拍摄到的结果所得到的帧的数据，经由USB等的接口，按照扫描线顺序送出至主机终端20。进而分离在帧数据中包含的各种同步信号的信息，适当提供至H计数器部42、VSync调整计数器部44。由于输出控制部41进行的处理能够应用一般的技术因此不详细提及。H计数器部42以及VSync调整计数器部44、和主机终端20的偏差时间监视部34以及动作周期调整部36的详细的动作如后述。
[0054]接着根据图5所示的结构，说明使来自拍摄装置12的输入和至显示器16的输出同步的原理。图6是用于说明拍摄装置12中产生的信号的图。另外这些信号是通过一般的拍摄装置产生的信号，在本实施方式中能够将其利用。同图中右方向表示各扫描线中的像素单位的时间经过，下方向表示扫描线单位的时间经过。同图中央的矩形之中的白区域表示像素值的输入输出期间，网格区域表示水平回扫期间(HBlank)以及垂直回扫期间(VBlank)0
[0055]首先横向所表示的各扫描线中的时间经过如图的上端所示那样，将像素时钟(PCLK)的上升沿周期PT (= 1/PCLK)设为I个单位。像素时钟具有像素值的输出频率。然后对每个扫描线,产生表不像素值的输出期间的数据启动信号(DE)、表不扫描线的终点的定时的水平同步信号(HSync)。图的纵向所表示的扫描线单位的时间经过将水平同步信号的输出周期设为I个单位。然后对每帧，产生表示具有值的扫描线的输出期间的数据启动信号(DE)、表示帧的终点的定时的垂直同步信号(VSync )。
[0056]在此，若将至包含水平回扫期间的下一个扫描线的像素时钟的计数值设为HTotal，将至包含垂直回扫期间的下一帧的扫描线的计数值设为VTotal，则由拍摄装置12所拍摄且输入至主机终端20的帧的帧速率R (fps)为，
[0057]R (fps) = PCLK (Hz) / (HTotal X VTotal)。
[0058]即每I巾贞的输入周期Tint (sec)为，
[0059]Tint (sec) =1/R(fps) = (HTotal X VTotal) /PCLK(Hz) =HTotal XVTotal XPT (sec)。
[0060]在本实施方式中，将从拍摄装置12输入的帧数据的每I帧的输入周期Tint，通过与显示器16中的每I帧的输出周期配合而作出与同步动作相近的状况。因此在本实施方式中，首先，调整HTotal以及VTotal，以扫描线数单位进行粗略的校准后，监视实际的时间的偏差，以由调整的结果所决定的帧的最后的扫描线的输入期间中的像素计数的单位进行微调整。
[0061]以扫描线数单位的调整在将显示器16中的输出帧速率设为目标帧速率TA时，通过决定HTotal以及VTotal以便满足下式从而进行。
[0062]PCLK/(HTotalXVTotal)<TA<PCLK/HTotalX (VTotal-1)
[0063]若取上式的各项的倒数，以周期比较则成为下式。
[0064]PTXHTotalX (VTotal-1) <1/TA<PT X HTotal X VTotal
[0065]S卩，调整HTotal以及VTotal使得在从垂直同步信号紧后的帧的起点至从最后起第2个扫描线的扫描完成所需的像素时钟单位的时间“PTXHTotal X (VTotal-1) ”、和从该起点起至最后的扫描线的扫描完成所需的时间“PTXHTotal X VTotal”之间，有显示器16的每I帧的输出周期进入。由此，像素计数单位的微调整能够限定于最后的扫描线的扫描时间内。
[0066]图7是用于说明拍摄装置12中的垂直同步信号的产生定时的调整原理的图。同图中的矩形与图6相同，表示包含水平同步信号、垂直同步信号在内的I帧的输入期间。然后从左至右横穿过该矩形的箭头示意性地表示扫描线。在此，若设为在显示器16中I帧的显示结束的时刻与线50对应，则线50位于由上述的式决定的最后的扫描线上，严格来说是在VTotal-1的计数和VTotal的计数之间的时间中。
[0067]由于HTotal以及VTotal的调整是扫描线单位的调整，因此根据显示器16的输出频率预先决定。例如也可以在拍摄装置12或主机终端20的内部存储器中，预先准备将适当的HTotal以及VTotal的值与显示器的输出频率建立对应的表，在连接了显示器16时根据实际的输出频率参照表后决定。也可以根据情况将像素时钟本身设为上式的调整对象。
[0068]若这样决定HTotal以及VTotal，则之后监视实际的时间的偏差，同时进行像素计数单位的微调整。该调整从性质上而言成为将作为最后的扫描线上应有的该帧的终点、即图7中的最后的箭头52的前端与线50接近的调整。若在通过调整得到的终点产生垂直同步信号，开始下一帧的拍摄，则来自拍摄装置12的每I帧的输入周期、和至显示器16的每I帧的输出周期变得大致相等。
[0069]若考虑在以像素计数单位的时间测量中对于严密的测量时间产生舍入误差、在拍摄装置或显示器的频率中各自有波动、处理的负荷等，则在时间的偏差积蓄了规定量的时亥IJ，对箭头52的长度、即在最后的扫描线中直至产生垂直同步信号为止的像素计数值进行调整是有效率的。以后，将这样的像素计数值称为“最终线期间”。
[0070]实际的调整处理预先决定在最后的扫描线中比至线50的距离更短的最终线期间MF、以及比至线50的距离更长的最终线期间MS，通过将其切换而进行。较短的最终线期间MF以及较长的最终线期间MS是满足下式的值。
[0071]PTX (HTotal X (VTotal-1)+MF) <1/TA<PT X (HTotal X (VTotal-1)+MS)
[0072]然后，在来自拍摄装置12的输入比至显示器16的输出过早的情况下通过设定长的最终线期间MS，过晚的情况下通过设定短的最终线期间MF，从而调整来自拍摄装置12的每I帧的输入周期。
[0073]若将两个最终线期间MF以及MS设为夹着以线50表示的、显示器16的I帧的输出结束时刻的最近的整数值，则MF以及MS由以下的式决定。
[0074]MF=floor(FIT/PT-HTotal(VTotal-1))
[0075]MS=ceil(FIT/PT-HTotal(VTotal-1))
[0076]在此floor (X)是输出x以下的最大的整数的函数，ceil (x)是输出x以上的最小的整数的函数。此外FIT是由1/TA提供的显示器16的I帧的显示周期。
[0077]进而也可以考虑拍摄装置12以及显示器16中的动作频率的波动的幅度，如下决定两个最终线期间MF以及MS，从而增大两者之差。
[0078]MF=floor(FIT/PT-HTotal(VTotal-1))-dz/2
[0079]MS=ceil(FIT/PT-HTotal(VTotal-1))+dz/2
[0080]在此dz是考虑了波动的幅度的校正值，预先决定dz。
[0081]接着，表示将以上那样的调整通过图5所示的结构而实现时的处理步骤。图8是表示本实施方式中调整来自拍摄装置12的每I帧的输入周期的处理的步骤的流程图。同流程图在用户指示主机终端20执行包含运动图像的拍摄和将其使用的图像的显示的功能，主机终端20请求拍摄装置12开始拍摄时开始处理。
[0082]首先拍摄装置12中，对最终线期间M设定初始值MO(SlO)。初始值MO也可以是从O至HTotal的任一个值，也可以是MF或者MS。接着拍摄装置12开始动态图像拍摄(S12)。然后输出控制部41在对帧序号N代入O (N14)后，将第O个帧的数据按照扫描线顺序输入至主机终端20 (S16).此时H计数器部42在接受垂直同步信号的产生而将计数值设为O后，通过计数水平同步信号的输出从而监视已输入的扫描线数目H。
[0083]主机终端20取得从拍摄装置12输入的数据，开始至显示器16的输出，从而在显示器16中显示运动图像(S18)。在拍摄装置12中，在已输入至主机终端20的扫描线数目H未达到VTotal-1的期间，继续各扫描线的数据输出(S20的“否”、S16)。若已输出的扫描线数目H达到VTotal-1 (S20的“是”)，则将最后的扫描线VTotal的数据输入至主机终端20。此时VSync调整计数器部44从H计数器部42接受扫描线数目H达到VTotal-1的情况，在将计数值设为O后，计数像素时钟的上升沿。
[0084]在像素计数值P未达到最终线期间M的期间，继续数据输入(S24的“否”、S22)。若像素计数值P达到最终线期间M (S24的“是”)，则VSync调整计数器部44将垂直同步信号输出至拍摄元件31以及H计数器部42 (S26)。
[0085]主机终端20的偏差时间监视部34在每次从拍摄装置12输入I帧量的数据时，取得接收时的时戳。然后，判定从第O帧的数据输入开始至第N帧的数据输入完成的实际的时间、与以显示器16的输出频率进行输入动作时的设想时间的差、即偏差，是否超过了预先准备的阈值(S30)。在超过阈值的情况下(S30的“是”)，对拍摄装置12的VSync调整计数器部44保持的最终线期间M，重新设定MF或者MS的值(S32)。
[0086]偏差量D例如由下式求得。
[0087]D= I time_stump (N)-FITXNI
[0088]在此time_stump (N)是从第O帧的输入开始至第N帧的输入完成的时戳的差。通过来自主机终端20输出的视频时钟的频率控制用电压VCT测量该时戳，从而能够基于在主机终端20内进行控制的FIT的实际的时间准确地进行比较。
[0089]若上述那样偏差量D比阈值dw大，则重新设定最终线期间M。此时，若time_Stump(N)-FITXN为正值，则由于来自拍摄装置12的输入慢，因此设定较短的最终线期间MF。若为负值，则由于来自拍摄装置12的输入快，因此设定较长的最终线期间MF。拍摄装置12中的最终线期间的更新实际上也可以在将最后的扫描线以外的数据输入至主机终端20的S16、S20的处理步骤的期间中进行。在偏差量D未超过阈值dw的情况下，维持原样的设定(S30的“否”)。
[0090]在不需要通过来自用户的指示输入等结束处理的期间(S34的“否”、S38的“否”)，拍摄装置12中将帧序号进行增量(S36)，同时重复以上的处理。其间，设为也可以继续进行拍摄装置12中的拍摄、至主机终端20的帧数据输入、至显示器16的帧数据输出、以及显示器16中的运动图像的显示。若需要处理结束，则结束拍摄装置12、主机终端20的双方的处理(S34的“是”、S38的“是”)。
[0091]图9表示在通过本实施方式调整了来自拍摄装置12的输入周期的情况下的、来自拍摄装置12的输出数据(上层)、输入缓冲器32中的数据(中层2列)、帧存储器38中的数据(下层2列)的变迁。图的表示方法与图4相同。此外，在同图中，在示出拍摄装置12中的输出对象的帧的各矩形的上方，表示对于该帧的最终线期间M的设定值。
[0092]首先在从拍摄装置12输出第η帧的时刻t0中，对最终线期间M，设定较短的最终线期间MF。通过该设定，来自拍摄装置12的每I帧的数据输入周期成为比至显示器16的每I帧的数据输出周期稍短的状态。[0093]如图4中说明的那样，若来自拍摄装置12的输入和至显示器16的输出完全同步，则至输入缓冲器32的存储完成的帧数据将紧接着被输出至显示器16。在本实施方式中也在如上所述那样调整了 VTotal、HTotal后，以像素计数单位进行至显示器的输出频率的校准，因此得到与图4相近的状态。
[0094]另一方面，若帧处理进展，则来自拍摄装置12的输入周期和至显示器6的输出周期的微小的偏差积蓄。在同图中，将各帧的数据已存储至输入缓冲器32的时刻、和该数据至帧存储器38的读出开始的时刻的偏差时间表示为D0、D1、D2、…。例如从已将第n+1帧的数据存储至输入缓冲器32的时刻tl，至该数据的读出开始时刻t2的时间的偏差为D1。
[0095]该时间的偏差是由来自拍摄装置12的每I帧的输入周期和至显示器16的每I帧的输出周期的差起因的偏差，进而，与偏差时间监视部34进行阈值判定的值对应。如上所述在设定较小的值MF作为最终线期间M的情况下，由于来自拍摄装置12的输入周期比至显示器16的输出周期更短，因此数据的输入完成的时刻比开始该读出的时刻偏向前，其值如D0、D1、D2、D3增大。然后D4超过阈值dw。
[0096]动作周期调整部36接受其结果，以将VSync调整计数器部44保持的最终线期间M重新设定为较长的最终线期间MS的方式发送请求信号(S40)。由于通过该设定来自拍摄装置12的输入周期比至显示器16的输出周期更长，因此偏差时间在之后的D5中向减少转变，向D6、D7、D8、D9减少。若进一步帧处理进展，则不久偏差时间向来自拍摄装置12的输入慢的方向增大，因此在超过阈值dw的时刻将最终线期间M重新设定为较短的最终线期间MF (未图示)。
[0097]通过这样处理，即使来自拍摄装置12的帧数据的存储完成的时刻、和至显示器16的输出开始的时刻的差最大也能够被抑制至阈值dw程度，因此变得不会产生I帧量的数据的剩余或不足。作为结果，不需要为了合乎情理而废弃数据或2次显示相同的帧，能够抑制不稳定的等待时间的产生。进而如图9所示那样输入缓冲器32仅两个缓冲器区域就足够。
[0098]若本实施方式的拍摄装置12不更新最终线期间M的设定，则与已有的非同步的拍摄装置相同地进行动作。从而也可以与用途配合而切换同步/非同步。图10表示在如图2所示那样在主机终端20中设置了同步用缓冲器22的状态下连接了本实施方式的拍摄装置12的情况下的、来自拍摄装置12的输出数据(上层)、同步用缓冲器22中的数据(中层3列)、帧存储器26中的数据(下层2列)的变迁。
[0099]如图3所示，在仅同步用缓冲器22的应用中，显示器16侧的动作周期比拍摄装置12侧的动作周期更长的情况下，相对于同步用缓冲器22中的各帧的数据的保持期间，将其读出的期间逐渐偏向后方。相反在短的情况下，逐渐偏向前方。通过导入本实施方式，适当地设定最终线期间M，如同图所示那样，能够在同步用缓冲器22中的数据保持期间之中的大致前半的期间中读出各帧的数据。
[0100]作为结果，即使进行与显示器16的频率配合的数据读出，也能够按照本来的帧顺序可靠地接入至数据，不需要多余的处理。此外，由于不产生废弃未显示完全的帧的数据那样的状况，因此帧的时间间隔被保持为一定。由此，即使在使用被读出的帧数据进行跟踪等的处理的情况下，也不产生由于废弃了帧所引起的处理的负荷或精度的变动。[0101]根据以上叙述的本实施方式，将拍摄装置所拍摄到的动态图像实时显示在显示器上的系统中，以将从拍摄装置至主机终端的帧数据的输入周期与从主机终端至显示器的输出周期靠近的方式调整垂直同步信号的产生定时。为此，首先，事先进行扫描线的长度以及数目的调整，监视实际的时间的偏差，同时以像素计数单位调整最后的扫描线中的垂直同步信号的产生定时。
[0102]由此能够以低成本实现像素时钟的上升沿周期级别、即显示器的输出周期的一百万分之一左右的时间调整。在仅调整扫描线数目的情况下，存在拍摄时间的变动根据帧而变得比较大，在具有卷帘式快门的拍摄元件中引起曝光的变动的可能性，但根据本实施方式那样微少时间的调整，成为能够忽略对曝光的影响的等级。
[0103]此外，调整仅在时间的偏差累积了规定量的时刻，重新更新设定值，因此对处理成本的影响少。进而，根据两个最终线期间的差分、或对于时间的偏差的阈值，能够在吸收了装置本身具有的动作频率的波动的定时进行调整，因此不产生高频率地进行无用的调整，花费多余的处理的负荷的不好的情况。作为结果，低成本且对处理的负荷的影响少，能够以低等待时间响应性好地执行从动态图像拍摄至显示。
[0104]以上，基于实施方式说明了本发明。本领域技术人员理解上述实施方式为例示，这些各结构要素或各处理过程的组合中各种各样的变形例是可能的，此外这样的变形例也处于本发明的范围中。
[0105]例如本实施方式中的拍摄装置由单反拍摄元件构成，但也可以设为立体照相机等具备多个照相机的结构。此时，通过将从VSync调整计数器部产生的垂直同步信号提供给全部的照相机，能够容易地将来自多个照相机的影像与显示器的输出同步。
[0106]标号说明
[0107]10信息处理系统，12拍摄装置，16显示器，20主机终端，30桥部，32输入缓冲器，34偏差时间监视部，36动作周期调整部，38帧存储器，40显示控制部，41输出控制部，42H计数器部，44VSync调整计数器部。
[0108]工业上的可利用性
[0109]如以上那样本发明能够用于计算机、游戏装置、照相机、图像显示装置等的信息处理装置以及信息处理系统。
【权利要求】
1.一种拍摄装置，其特征在于，具备: 输出控制部，以垂直同步信号的频率按照扫描线顺序输出拍摄元件拍摄到的运动图像的各帧数据；以及 垂直同步信号调整部，在所述输出控制部输出的帧数据的输出时刻、与基于即时显示运动图像的显示器中的输出频率的基准输出时刻的偏差超过了规定的阈值时，变更垂直同步信号的产生定时的设定。
2.如权利要求1所述的拍摄装置，其特征在于， 所述垂直同步信号调整部在帧的最终扫描线中，将具有像素值的输出频率的像素时钟的边缘数作为像素计数值而计数，使产生垂直同步信号的像素计数值的设定变化。
3.如权利要求2所述的拍摄装置，其特征在于， 设定表示帧的各扫描线的扫描周期的像素计数值、和帧的扫描线数目，以使基于所述显示器中的输出频率的每I帧的扫描时间的基准结束时刻，所述拍摄装置中的帧的最终扫描线的扫描期间中到来。
4.如权利要求3所述的拍摄装置，其特征在于， 进一步具备:存储器，保持将显示器中的输出频率、和应与此相对而设定的表示所述扫描线的扫描周期的像素计数值和所述帧的扫描线数目建立对应的表， 所述像素计数值和扫描线数目根据实际连接的显示器的输出频率，参照所述表而被设定。
5.如权利要求1或者2所述的拍摄装置，其特征在于， 所述垂直同步信号调整部将通过所述帧数据的输出时刻和所述基准输出时刻的前后关系被预先决定的、比基于所述显示器中的输出频率的每I帧的扫描时间的基准结束时刻晚的定时的像素计数值、和比该基准结束时刻早的定时的像素计数值，作为产生垂直同步信号的像素计数值而切换并设定。
6.一种信息处理装置，其特征在于，具备: 偏差时间监视部，取得从连接的拍摄装置依次输入的各帧数据的输入时刻，监视与基于该帧数据的输出目的地的显示器中的输出频率的基准输入时刻的偏差；以及 动作周期调整部，在所述偏差超过了规定的阈值时，将调整所述拍摄装置中的垂直同步信号的产生定时的请求信号发送至所述拍摄装置。
7.一种信息处理系统，具备拍摄运动图像的拍摄装置、和依次取得该运动图像的帧数据并向显示器输出的信息处理装置，其特征在于， 所述信息处理装置具备: 偏差时间监视部，取得从所述拍摄装置输入的各帧数据的输入时刻，监视与基于所述显示器中的输出频率的基准输入时刻的偏差；以及 动作周期调整部，在所述偏差超过了规定的阈值时，将调整所述拍摄装置中的垂直同步信号的产生定时的请求信号发送至所述拍摄装置， 所述拍摄装置具备: 垂直同步信号调整部，在帧的最终扫描线中，将具有像素值的输出频率的像素时钟的边缘数作为像素计数值而计数，在取得所述请求信号时，变更用于产生垂直同步信号的像素计数值的设定。
8.一种帧数据输出同步化方法，拍摄装置将即时显示拍摄到的运动图像的显示器中的帧数据输出处理、和自身的帧数据输出处理同步，其特征在于，包含: 以垂直同步信号的频率按照扫描线顺序输出各帧数据的步骤；以及在输出的帧数据的输出时刻、和与基于所述显示器中的输出频率的基准输出时刻的偏差超过了规定的阈值时，变更所述垂直同步信号的产生定时的设定的步骤。
9.一种计算机程序，其特征在于，使计算机实现以下功能: 取得从连接的拍摄装置依次输入的各帧数据的输入时刻，监视与基于该帧数据的输出目的地的显示器中的输出频率的基准输入时刻的偏差的功能；以及 在所述偏差超过了规定的阈值时，将调整所述拍摄装置中的垂直同步信号的产生定时的请求信号发送至所述拍摄装置的功能。
10.一种记录介质，记录了计算机程序，其特征在于，使计算机实现以下功能: 取得从连接的拍摄装置依次输入的各帧数据的输入时刻，监视与基于该帧数据的输出目的地的显示器中的输出频率的基准输入时刻的偏差的功能；以及 在所述偏差超过了规定的阈值时，将调整所述拍摄装置中的垂直同步信号的产生定时的请求信号发送至所述拍摄装置的功能。
【文档编号】H04N5/232GK103703754SQ201280036086
【公开日】2014年4月2日 申请日期:2012年5月31日 优先权日:2011年7月29日
【发明者】大场章男, 势川博之, 斋藤英幸 申请人:索尼电脑娱乐公司