动图像拍摄装置、信息处理系统、信息处理装置、及图像数据处理方法
【专利摘要】摄像机的图像合成部（156）从前级所设的、用于多阶段地缩小所拍摄的动图像的帧的塔型滤波器接收1／4、1／16、1／64去马赛克后图像的横一行量的像素值。然后，按预定规则将其连接而生成虚拟的合成图像，并使之成为流来进行输出。图像送出部（151）的控制部（164）将来自主机终端的请求通知给数据选择部（154）。数据选择部（154）从由图像合成部（156）、及前级所设的图像取得部、去马赛克部所分别输入的合成图像、RAW图像、1／1去马赛克后图像的数据的流中，选择并抽取所需的数据，来生成应发送的数据的流。打包部（162）将该流打包后发送给主机终端。
【专利说明】动图像拍摄装置、信息处理系统、信息处理装置、及图像数 据处理方法
【技术领域】
[0001]本发明涉及根据对象物的移动进行信息处理的技术。
【背景技术】
[0002]以往，已知用摄影机拍摄用户的头部等身体的一部分，并抽取眼睛、嘴、手等预定 区域，用其它图像置换掉该区域后，将之显示于显示器上的游戏(例如专利文献I)。还已知 将摄影机拍摄的嘴、手的移动作为应用程序的操作指示来接收的用户接口系统。
[0003]〔在先技术文献〕
[0004]〔专利文献〕
[0005]〔专利文献I〕欧州专利申请公开第0999518号说明书
【发明内容】
[0006]〔发明所要解决的课题〕
[0007]在上述那样的技术中，为抽取用户的嘴、手等预定区域，需要高分辨率的图像。但 是，存在如下问题:越使摄影机的拍摄元件高性能化，高分辨率化等数据量就越增大，以合 适的比例提供传送用的压缩、扩展处理和识别、检测、计测处理等所需的信息的滤波和缩 放、剪切等的数据挖掘处理成本会越增加，摄像机输入至各处理输出的延迟会越增加。此 外，当将摄像机作为用户接口来使用时，存在延迟的增大会使易用度较大程度上下降这样 的问题。像这样，即使摄影机拍摄元件的性能提高，系统整体的性能可能也会恶化。
[0008]本发明是鉴于这样的课题而研发的，其目的在于提供一种既使用高性能的拍摄元 件，又能抑制从拍摄至使用了其数据的图像的显示的延迟的图像处理技术。
[0009]〔用于解决课题的手段〕
[0010]本发明的一个方案涉及动图像拍摄装置。该动图像拍摄装置的特征在于，包括: 图像数据生成部，通过多阶段地缩小拍摄对象物而获得的动图像的各帧，按预定的像素顺 序分别生成不同分辨率的多个图像的数据，使之成为流而依次输出；图像合成部，将从图像 数据生成部输出的多个图像数据中的预定的多个图像的数据，按图像的一行量的像素串或 比其小的范围的像素串进行连接，使之成为流进行输出，由此生成包含预定的多个图像的 虚拟合成图像；以及图像送出部，从所连接的主机终端接收数据的发送请求，从由图像数据 生成部及图像合成部输出的多个流中、抽取出所被请求的图像及区域内所包含的像素的数 据，由此生成应发送的数据的流，并将之发送给主机终端。
[0011]本发明的另一方案也涉及动图像拍摄装置。该动图像拍摄装置是具备从左右两个 不同视点拍摄同一对象物的一对摄像机的动图像拍摄装置，其特征在于，一对摄像机分别 包括:图像数据生成部，通过多阶段地缩小拍摄对象物而获得的动图像的各帧，按预定的像 素顺序分别生成不同分辨率的多个图像的数据，并使之成为流而依次进行输出；以及图像 合成部，将从图像数据生成部输出的多个图像的数据中的预定的多个图像数据，按图像的一行量的像素串或比其小的范围的像素串分别进行连接，使之成为流后进行输出，由此生 成包含预定的多个图像的虚拟合成图像；动图像拍摄装置还包括:立体匹配处理部，对一 对摄像机所生成的视点不同的图像的数据中的、预定分辨率的图像的数据进行立体匹配， 由此按预定的像素顺序生成表示对象物在三维空间中的位置的深度图像，并使之成为流后 依次进行输出；以及图像送出部，从所连接的主机终端接收数据的发送请求，并从由图像数 据生成部、图像合成部、及立体匹配处理部输出的多个流中抽取出所被请求的图像及区域 内所包含的像素的数据，由此生成应发送的数据的流，并将之发送给上述主机终端。
[0012]本发明的另一方案涉及信息处理系统。该信息处理系统的特征在于，包括:拍摄对 象物而生成动图像数据的动图像拍摄装置，和从该动图像拍摄装置取得动图像数据的一部 分，使用它来进行预定的图像处理后，显示图像的主机终端；动图像拍摄装置包括:图像数 据生成部，通过多阶段地缩小拍摄所获得的动图像的各帧，来按预定的像素顺序分别生成 不同分辨率的多个图像数据，并使之成为流依次输出；图像合成部，将由图像数据生成部输 出的多个图像的数据中的、预定的多个图像数据，按图像的一行量的像素串或比其小的范 围的像素串分别进行连接而使之成为流、进行输出，由此生成包含预定的多个图像的虚拟 合成图像；以及图像送出部，从由图像数据生成部及图像合成部输出的多个流中、抽取出主 机终端所请求的图像及区域内所包含的像素的数据，由此生成应发送的数据的流后,将之 发送给主机终端。
[0013]本发明的另一方案涉及信息处理装置。该信息处理装置的特征在于，包括:数据请 求部，向拍摄对象物的摄像机，指定分辨率及图像内的区域地请求发送动图像的帧的图像 数据；数据展开部，对于按照请求从摄像机发送来的、将所指定的区域的像素值按像素串分 别连接后的流状态的图像数据，将其在主存储器中展开为二维的图像数据；以及数据处理 部，在使用二维的图像数据进行预定的图像处理后，显示图像；其中，数据请求部指定在摄 像机内生成的、将动图像的帧多阶段地缩小而得到的不同分辨率的多个图像，分别配置在 预定的矩形区域的合成图像；数据展开部将由摄像机发送来的合成图像按各合成对象图像 而分别展开成独立的二维图像数据，由此进行图像的区分。
[0014]本发明的另一方案涉及图像数据处理方法。该图像数据处理方法是动图像拍摄装 置所进行的图像数据处理方法，其特征在于，包括:通过多阶段地缩小拍摄对象物而获得的 动图像的各帧，来按预定的像素顺序分别生成不同分辨率的多个图像的数据，并使之成为 流依次进行输出的步骤；将在进行输出的步骤中被输出的多个图像的数据中的、预定的多 个图像的数据，按图像的一行量的像素串或比其小的范围内的像素串分别进行连接，使之 成为流、进行输出，由此生成包含预定的多个图像的虚拟合成图像的步骤；以及从所连接的 主机终端接收数据的发送请求，从在进行输出的步骤及进行生成的步骤中被输出的多个流 中，抽取出所被请求的图像及区域内所包含的像素的数据，由此生成应发送的数据的流,并 将之发送给主机终端的步骤。
[0015]此外，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、计算机 程序、记录有计算机程序的记录介质等间变换后的实施方式，作为本发明的方案也是有效 的。
[0016]〔发明效果〕
[0017]通过本发明，能抑制从拍摄至使用了其数据的图像的显示的延迟。【专利附图】
【附图说明】
[0018]图1是表示实施方式I的低延时摄像机系统的整体结构的图。
[0019]图2是表示实施方式I的摄像机的结构的图。
[0020]图3是详细表示实施方式I中的摄像机的图像合成部及图像送出部的结构的图。
[0021]图4是表示实施方式I中的主机终端的内部电路结构的图。
[0022]图5是示意性地表示了实施方式I的摄像机和主机终端中的数据形式的基本变化的图。
[0023]图6是表不实施方式I中的、从塔型滤波器部输入I / 4去马赛克后图像、I / 16去马赛克后图像、I / 64去马赛克后图像的像素值的输入定时的时序图。
[0024]图7是示意性地表示在实施方式I中，图像合成部将多个图像的像素串的数据连接起来后的情况的图。
[0025]图8是表示实施方式I中的主机终端的数据请求处理和摄像机的数据发送处理的结构的图。
[0026]图9是表示实施方式I中的图像送出部的结构的变形例的图。
[0027]图10是表示实施方式2的摄像机的结构的图。
[0028]图11是表示实施方式3的摄像机的结构的图。
[0029]图12是表示实施方式3中的主机终端与立体摄像机协作进行图像处理的处理步骤的例子的流程图和所生成的图像例的图。
[0030]图13是表示实施方式3中的主机终端与立体摄像机协作进行图像处理的处理步骤的另一例子的流程图和所生成的图像例的图。
[0031]图14是表示实施方式3中的主机终端与立体摄像机协作进行图像处理的处理步骤的另一例子的流程图和所生成的图像例的图。
【具体实施方式】
[0032]实施方式I
[0033]图1表示本实施方式的低延时摄像机系统10的整体结构。在该系统中,用摄像机100拍摄出用户6的动图像，并基于该数据、由主机终端20进行图像处理、将其结果显示于显示器4上、或介由因特网、LAN (Local Area Network:局域网)等网络12发送给预定的通信对象。
[0034]摄像机100是具有CO) (Charge Coupled Device:电荷稱合器件)或CMOS(Complementary Metal Oxide Semiconductor:互补型金属氧化物半导体)等的拍摄兀件的数字摄像机，如所图示那样被设置于显示器4壳体的上面。显示器4例如是液晶电视、等离子电视、PC显示器等，通常，用户6处于显示器4前方，由摄像机100拍摄用户的全身或一部分。
[0035]显示器4上所显示的像因低延时摄像机系统10中所执行的应用程序而不同。例如，当将低延时摄像机系统10作为识别用户6的动作和表情并将之解释为某种操作指示的用户接口(UI)来使用时，显示器4上所显示出的像8是用户6的脸和手等身体的一部分或全身。当将低延时摄像机系统10用于视频聊天时，显示器4上所显示出的像8是聊天对象的脸，用户6自身的像会介由网络12显示于聊天对象的显示器上。
[0036]从上述那样的使用方式来说，优选将摄像机100设置于显示器4的上部。但是，只要能拍摄到用户6的全身或一部分，其也可以被配置在显示器4附近以外的位置、例如主机终端20附近或用户周围等。此外，摄像机100也可以不是独立个体，而被集成到显示器4的壳体等中。也可以不在摄像机100中使用拍摄元件，而是将模拟图像进行A / D转换来使用。
[0037]主机终端20是具备图像处理功能的个人计算机或游戏装置等计算机终端。主机终端20按时序连续取入用摄像机100拍摄用户6而获得的动图像的各帧、或从各帧获得的各种数据，并进行预定的图像处理。在视频聊天应用程序的情况下，介由网络12将用户6的图像实时地发送给聊天对象。在用户接口应用程序的情况下，基于用户6的图像、基于它而获得的各种数据等实施预定的信息处理，并将其结果输出到显示器4上。
[0038]例如将随着用户6的运动而运动的角色图像或使用户6的手握持着剑等道具时的图像实时输出于显示器4上。关于在这样的应用程序中所需的、用户6的脸检测处理和特定部位的追踪处理，可以由主机终端20进行，也可以如后文所述那样由摄像机100进行，并将其结果作为上述“各种数据”的一部分而发送给主机终端20。
[0039]此外，在上文所述的视频聊天应用程序中，可以进行仅以高分辨率表现进行脸检测处理后获得的用户6的脸区域等的加工。除上文中所述的图像处理外，主机终端20还能合成用于执行各种应用程序的菜单和光标等对象图像，并将之显示在显示器4上。
[0040]像这样，可以考虑多种在低延时摄像机系统10中使用摄像机100所拍摄出的动图像来进行的处理，其内容不被特别限定。在本实施方式中，不论进行哪种处理，摄像机100都不仅进行动图像的拍摄，还进行使用了它的某种处理，生成多种数据。可根据应用程序、摄像机及主机终端的处理能力等来考虑多种摄像机100进行的处理、甚至其构成。
[0041]在本实施方式中，摄像机100生成以多种分辨率表示了所拍出的影像的动图像数据，并按照来自主机终端20的请求，仅将其中所需的数据实时发送给主机终端20。在此，假定主机终端20除能指定分辨率、色度图及其要素等图像整体的表现方式外，还能指定帧内的区域。
[0042]例如从摄像机100取得低分辨率的整体图像的数据和高分辨率的图像中的仅应关注区域的图像数据，并将这些图像在图像平面上进行合成，由此能既抑制数据传送的负荷、又显示详细表现了应关注的区域的动图像。若将通过在主机终端20中进行脸检测处理而获得的脸区域作为应关注的区域，则该例子对于视频聊天等应用程序是有效的。
[0043]图2表示本实施方式的摄像机100的结构。关于该图及后文所述的图3、4、8?11，从硬件上来讲，能由 CPU (Central Processing Unit:中央处理器)、RAM (Random AccessMemory:随机存取存储器)、R0M(Read Only Memory:只读存储器)、描绘电路等结构来实现，从软件上来讲，能由发挥数据输入功能、数据保持功能、图像处理功能、描绘功能等诸功能的程序来实现。这些图中描绘有通过它们的合作来实现的功能块。因此，这些功能块能由硬件、软件的组合以多种形式实现。此外，为容易进行说明，图2中还包含有各功能块所处理的图像部分的示意图。
[0044]摄像机100包括:图像取得部102、去马赛克部104、塔型滤波器部170、图像合成部156、图像送出部151、及通信部108。图像取得部102按预定的定时(timing)(例如60次/秒)读出在CCD或CMOS等拍摄元件中被曝光的图像。在以下说明中，假定该图像是具有横向上W个像素、纵向上H个像素量的幅度的图像。该图像是所谓的RAW图像。每当RAW图像的横一行量的曝光结束后，图像取得部102都将其结果传送到去马赛克部104和图像送出部151中。
[0045]去马赛克部104包括具有W个像素量容量的FIFO (First In First Out:先进先出)缓冲器105和简易去马赛克处理部106。FIFO缓冲器105中被输入RAW图像的横一行量的像素信息，并且保持其直到下一横一行量的像素被输入到去马赛克部104中。简易去马赛克处理部106在接收到横二行量的像素后，使用它们，针对各像素执行基于其周边像素进行颜色信息的插值而制作出全彩色图像的去马赛克(de-mosaic)处理。
[0046]如本领域技术人员所公知的那样，该去马赛克处理存在多种方法，但在此，采用仅利用横二行量的像素的简易的去马赛克处理就足够了。作为一个例子，在应算出所对应的YCbCr值的像素仅具有G值的情况下，作为R值，将左、右相邻的R值进行平均，作为G值，直接使用该G值，作为B值，使用处于上或下位置的B值，由此成为RGB值，将之代入到预定的变换式中，算出YCbCr值等。这样的去马赛克处理是周知的，故省略更详细的说明。此外，去马赛克部104及以后的处理中所生成的图像数据的颜色空间不限定于YCbCr。
[0047]使用简易的去马赛克处理就足够的理由是，当需要高品质的图像时，可使用RAW图像。作为简易的去马赛克处理的变形例，可以使用基于RGB的4个像素构成一像素的YCbCr值的方法。此时，能获得RAW图像的I / 4大小的去马赛克后图像，故不需要后文所述的第I滤波器110。
[0048]简易去马赛克处理部106例如如图示那样将横2X竖2的RGB的4像素变换成YCbCr彩色信号。然后，由该4像素构成的块作为I / I去马赛克图像而被交给图像送出部151，并被发送给塔型滤波器部170。
[0049]塔型滤波器部170具备将一个图像阶层化为多种分辨率后进行输出的功能。塔型滤波器一般具有与所需分辨率的级别相应的数量的I / 4缩小滤波器，在本实施方式中，具有第I滤波器110?第3滤波器130这3阶层的滤波器。各滤波器执行对彼此相邻的4个像素进行双线性插值，来运算出4像素的平均像素值的处理。因此，处理后的图像大小为处理前的图像的I / 4。此外，本领域技术人员容易理解在3阶层以外的滤波器数量的情况下，也同样能适用本实施方式。
[0050]在第I滤波器110的前级，与Y、Cb、Cr各信号对应地分别配置有W个像素量的FIFO缓冲器112。这些FIFO缓冲器112具有如下作用:保持横一行量的YCbCr像素，直到下一横一行量的像素被从简易去马赛克处理部106输出。像素的保持时间是根据拍摄元件的行扫描速度来决定的。在被输入横二行量的像素后，第I滤波器110将横2X竖2的4像素量的Y、Cb、Cr的像素值进行平均。通过反复进行该处理，I / I去马赛克后图像纵横分别成为I / 2长度，整体上被变换成原来的I / 4的大小。被变换后的I / 4去马赛克后图像被传送到图像合成部156中，并被交给下一级的第2滤波器120。
[0051]在第2滤波器120的前阶段，与Y、Cb、Cr各信号对应地分别配置有W / 2个像素量的FIFO缓冲器122。这些FIFO缓冲器122具有如下作用:保持横一行量的YCbCr像素，直到下一横一行量的像素被从第I滤波器110输出。在被输入横二行量的像素后，第2滤波器120将横2X竖2的4像素量的Y、Cb、Cr的像素值进行平均。通过反复进行该处理，I / 4去马赛克后图像纵横分别成为I / 2长度，整体上被变换成I / 16大小。将被变换后的1/16去马赛克后图像传送给图像合成部156,并交给下一级的第3滤波器130。
[0052]关于第3滤波器130，除前级配置有W / 4个量的FIFO缓冲器132外，反复进行与上文所述一样的处理。然后，向图像合成部156输出I / 64大小的去马赛克后图像。此外，上文所述那样的塔型滤波器如被记载在专利文献I中那样是公知的，故在本说明书中省略更详细的说明。
[0053]像这样，每次被缩小到I / 4后的图像被从塔型滤波器部170的各滤波器输出到图像合成部156中。由此可知，越通过塔型滤波器部170内的滤波器，各滤波器的前级所需的FIFO缓冲器的大小就可以越小。此外，滤波器的数量不限定于3个，可以根据所要求的分辨率的高低来适当决定。
[0054]图像合成部156从第I滤波器110、第2滤波器120、第3滤波器130分别接收I /
4、1 / 16、1 / 64去马赛克后图像的YCbCr像素值。然后，按预定规则连接各图像的横一行量的像素串、或比一行量小的范围的像素串，针对Y、Cb、Cr的各像素值，生成将I / 4、1 /16、1 / 64去马赛克后图像的像素串进行连接后的新的像素串。所生成的像素串被传送给图像送出部151。
[0055]图像送出部151按照介由通信部108从主机终端20接收到的数据请求，从所被输入的多种图像数据中选出所需的数据。然后，使所选出的数据打包后传送给通信部108。在本实施方式中，摄像机100所进行的处理是按以图像的左上角顶点为起点、向图像的下方向反复进行从左至右的处理的光栅顺序来执行的，并且以横一行像素为基本处理单位。此夕卜，关于要将向图像送出部151输入的各种图像的数据形式、及要被发送到主机终端20中的图像的数据形式，基本上采用从上端起依次将图像的横一行数据进行连接后的流。
[0056]通信部108例如按照USB1.0/2.0等预定的协议将包发送到主机终端20。与主机终端20的通信不限定于有线方式，例如也可以是IEEE802.1la / b / g等无线LAN通信、IrDA等红外线通信。此外，在图2中，分别表现了 Y、Cb、Cr数据，并针对它们分别表示了用于数据输入输出的箭头，以后，为防止附图变得繁琐，以I组的形式表示这些要素。
[0057]在本实施方式中，图像合成部156所生成的数据是3个去马赛克后图像的像素串混合的一串像素值流。因此，严格来说，并不是将连接3个去马赛克后图像的结果作为二维平面的图像来生成的。但是，如后文所要详述那样，若针对图像合成部156所输出的流定义与图像的横一行量的像素数相当的像素数，则以后的处理会与未介由图像合成部156的RAW图像和I / I图像数据一样。其结果，图像合成部156实质上生成了如下图像，S卩，合成了 I / 4、1 / 16、1 / 64去马赛克后图像后的图像。以后将该虚拟的图像称作“合成图像”。
[0058]图3详细表示了摄像机100的图像合成部156及图像送出部151的结构。图像合成部156具有FIFO缓冲器149、150，它们分别临时保存从第2滤波器120及第3滤波器130取得的I / 16、1 / 64去马赛克后图像的横一行量的数据。
[0059]然后，如此后要详细叙述的那样，按来自第2滤波器120的I / 16去马赛克后图像的横一行量的像素串中的一半像素数据、和来自第3滤波器130的I / 64去马赛克后图像的横一行量的像素串中的四分之一量的像素数据的顺序，将它们连接于来自第I滤波器110的I / 4去马赛克后图像的横一行量的像素数据，成为虚拟合成图像的横一行量的数据。
[0060]图像送出部151具有数据选择部154、打包部162、及控制部164。图像送出部151的控制部164根据来自主机终端20的请求，指示数据选择部154将各种图像数据中的哪一者作为包来发送。数据选择部154以从图像取得部102输入来的RAW图像、从去马赛克部104输入来的I / I去马赛克后图像、从图像合成部156输入来的合成图像的像素串数据作为输入数据，选择并抽取由控制部164指示的数据，并将之传送给打包部162。
[0061]此时，如上文所述那样，根据来自主机终端20的请求的不同，有时直接传送某个图像数据的流，有时仅传送应关注的区域中所包含的一部分范围的数据。在后者的情况下，将所要传送部分的数据进行连接，由此将之重新构建成流。打包部162按与通信部108的协议相应的大小将从数据选择部154输入来的流打包，并写入到内部的包缓冲器(未图示)中。例如在USB的情况下,按端点(endpoint)的大小将流打包。
[0062]通信部108按照预定的通信协议将该包缓冲器内的包传输给主机终端20。此外，当被请求RAW图像、I / I去马赛克后图像、合成图像数据中的多个图像数据时，数据选择部154将与其对应的多个流输入给打包部162。可以为数据选择部154的输出、及打包部162的输入输出、通信部108的输入输出而设置多个信道，来并行发送所被请求的多个数据，实现更低延时的数据发送。此情况会在之后详述。
[0063]图4表示主机终端20的内部电路结构。主机终端20包含CPU(Central ProcessingUnit:中央处理单兀)50、GPU (Graphics Porcessing Unit:图形处理单兀)52、显不控制部54、存储部56、主存储器58、及通信部60。CPU50基于操作系统和应用程序等程序来控制信号处理和内部结构要素。GPU52按照来自CPU50的请求进行图像处理。显示控制部54生成用于将GPU52描绘于帧缓存器(未图示)的图像数据显示在显示器4上的视频信号。
[0064]存储部56由硬盘驱动器或非易失性存储器等构成，保存用于使低延时摄像机系统10工作的程序和所需的数据。主存 储器58由RAM (随机存取存储器)等构成，除载入程序和数据外，还保存从摄像机100发送来的数据。通信部60是USB、IEEE1394等外围设备接口、有线或无线LAN的网络接口，在本实施方式中，特别进行向摄像机100的数据请求信号的发送、从摄像机100发送来的数据的接收。这些各部分介由总线62相互连接。此外，GPU52能介由总线62从主存储器58直接读出纹理数据等处理所需的数据。
[0065]图5示意性地表示了摄像机100及主机终端20中的数据形式的基本变化。在此，作为例子，考虑将具有横向上W个像素量、纵向上H个像素量的幅度的帧图像200整体的数据从摄像机中100发送到主机终端20中的情况。如上文所述那样，在本实施方式中，按像素的光栅顺序进行图像数据的生成、选择、发送，并将横一行量的像素串依次连接，以流形式来进行处理。
[0066]在这样的状况下，数据选择部154所输出的数据是流202。该图中，流202的横轴表示时间经过，构成流202的各矩形L1、L2、...、LH分别表示帧图像200的第I行、第2行、..?、第H行的像素的数据。在将I像素的数据大小记为d字节时，各矩形的数据大小是WXd字节。
[0067]打包部162将流202按每预定大小打成包，生成包？1汴2、？3、？4、？5、..?。由此，按包P1、P2、P3、P4、P5、...顺序将之从摄像机100发送到主机终端20。主机终端20在介由通信部60接收到包P1、P2、P3、P4、P5、..?后，在CPU50的控制下将之保存于主存储器58中。
[0068]此时，以本来的帧图像200的横向的像素数W为横向宽度地，按光栅顺序在主存储器58中排列包数据，并将数据展开到WXdXH字节的、连续的地址，由此复原出图像204。在该图中，构成图像204的矩形表示各包的数据。GPU52在CPU50的控制下，对被展开在主存储器58中的图像204施以加工、或与其它图像进行合成，描绘出应显示于显示器4上的图像。
[0069]然后，说明图像合成部156合成I / 4、1 / 16、1 / 64去马赛克后图像的方法。图6是表示从塔型滤波器部170的各滤波器输入I / 4去马赛克后图像、I / 16去马赛克后图像、I / 64去马赛克后图像的像素值的定时的时序图。在该图中，时间阶段S1、S2、S3、S4、...分别表示输入I / 4去马赛克后图像的第I行、第2行、第3行、第4行、.--像素值的期间。
[0070]如上文所述的I / 4去马赛克后图像那样，合成图像内所包含的图像内的、最高分辨率的图像在塔型滤波器部170中的数据生成率最高。因此，将该图像的横一行量的像素值所被输入的期间作为基准时间阶段，使该时间阶段与合成图像的横一行量的像素串对应。即，以最高分辨率的图像的横一行量的像素值被输入的期间为基准周期，来生成合成图像的横一行量的数据。
[0071]图的上段、中段、下段分别表示了 I / 4去马赛克后图像、I / 16去马赛克后图像、I / 64去马赛克后图像的输入定时，I个矩形对应于I像素量的输入。首先，在时间阶段SI，从左边的像素起依次输入I / 4去马赛克后图像的第I行像素串L(1 ,4)1的像素值。在该时间阶段，未生成I / 16去马赛克后图像、I / 64去马赛克后图像，故不进行输入。
[0072]在下一时间阶段S2，从左边的像素起依次输入I / 4去马赛克后图像的第2行的像素串L(1 /4)2的像素值。此时，在塔型滤波器部170中，会使用I / 4去马赛克图像的第I行的像素串L(1 / 4)1及第2行的像素串L(1 / 4)2的像素值来生成I / 16去马赛克后图像的第I行的像素串L (1 , 16)1，故在时间阶段S2，还输入该像素串的像素值。
`[0073]例如在I / 16去马赛克后图像的第I行的像素串L (1 / 16) I的左端的期间210所被输入的像素值，是使用I / 4去马赛克后图像的第I行的像素串L(1/4)l中的、在期间206被输入的2个像素的像素值、以及第2行的像素串L(1 / 4)2中的、在期间208被输入的2个像素的像素值来生成的。因此，在时间阶段S2，像素串L(1 / 16)1的像素值的输入定时会比像素串L (1 / 4)2所对应的像素的像素值的输入定时至少延迟2像素量。
[0074]在下一时间阶段S3，输入I / 4去马赛克后图像的第3行的像素串L (1/4)3的像素值。在该时间阶段，未生成I / 16去马赛克后图像的第2行的像素值，也未生成I / 64去马赛克后图像，故它们的任意一者都不会被输入。在下一时间阶段S4、即在被输入I /4去马赛克图像的第4行的像素串L (1 / 4)4的像素值的期间，与时间阶段S2时一样地输入
I/ 16去马赛克后图像的第2行的像素串L (1 / 16)2的像素值。
[0075]此外，在塔型滤波器部170中，使用I / 16去马赛克图像的第I行的像素串L(1 716)1及第2行的像素串L (1 / 16)2的像素值来生成I / 64去马赛克后图像的第I行的像素串L (1 / 64) I,故在时间阶段S4,输入该像素串的像素值。例如I / 64去马赛克后图像的第I行的像素串L(1/64)l中的、在最初的输入期间218被输入的像素值，是使用I / 16去马赛克图像的第I行的像素串L (1 / 16)1中的、在期间210和期间212被输入的2个像素的像素值、以及第2行的像素串L(1 / 16)2中的、在期间214和期间216被输入的2个像素的像素值。
[0076]因此，在时间阶段S4中，像素串L (1 / 64)1的输入定时会比像素串L (1丨16)2所对应的像素的像素值输入定时延迟至少2像素量。以后，同样地反复进行各图像的像素值输入，由此，I / 4去马赛克后图像、I / 16去马赛克后图像、I / 64去马赛克后图像的所有像素值被输入到图像合成部156中。
[0077]像这样，各图像的像素值被从塔型滤波器部170的对应滤波器以独立的流的方式按光栅顺序输入。图像合成部156将它们连接起来使之成为I个流，输出到图像送出部151。最简易来说，可以考虑与原来的图像无关地、按被输入时的时间顺序连接像素值数据。在该情况下，合成处理本身是容易的，但此后的处理时会需要针对各图像、分别一行一行地将数据进行分类、抽取，处理会繁琐化。
[0078]此外，也可以考虑在各时间阶段中针对各图像分别汇总像素值来生成像素串，并将它们进行串联连接。在该情况下，在时间阶段SI和S3中，所被输入的像素值仅是I / 4去马赛克后图像的数据，但与此不同，例如在时间阶段S4中，是I / 4去马赛克图像、I / 16去马赛克图像、I / 64去马赛克图像这3个图像数据等，根据时间阶段的不同，所输出的数据长度会有较大的变化。因此，在本实施方式中，对于有不被输入数据的时间阶段的图像，利用该时间阶段输出之前刚被输入的像素值的一部分，并使各时间阶段输出的数据长度大致均匀化。
[0079]图7示意性地表示了图像合成部156将多个图像的像素串数据进行连接后的样子。在该图中，S0、S1、S2、S3、..?是与图6 —样的时间阶段，在各期间，输入I / 4去马赛克后图像的一行量的像素值。在该图中，用各图像分别不同的阴影矩形表示了在各时间阶段被输出数据的像素串。如参照图6说明过的那样，在时间阶段SI，仅输入I / 4去马赛克后图像的第I行的像素串L (1 / 4) I的像素值，故图像合成部156直接输出它。在将原来的RAW图像的横向的像素数记为W 时，I / 4去马赛克后图像的一行量的像素数如该图所示那样是W / 2。
[0080]在下一时间阶段S2，在如图6所示那样的定时并行输入I / 4去马赛克后图像的第2行的像素串L (1 / 4)2的像素值、及I / 16去马赛克后图像的第I行的像素串L (1 / 16)1的像素值。图像合成部156将其中的I / 16去马赛克后图像的第I行的像素串L (1/16) I的像素值临时保存在FIFO缓冲器149中，并连续地先输出I / 4去马赛克后图像的第2行的像素串L (1 / 4)2的像素值。
[0081]I / 4去马赛克图像的第2行的像素串La/4)2的像素值都被输出后，接着从FIFO缓冲器149中读出I / 16去马赛克后图像的第I行的像素串L (1 / 16)1，进行输出。此时，考虑到在下一时间阶段S3时要输出的量，仅输出I / 16去马赛克后图像的第I行的像素串L (1 / 16)1的所有像素中的前半部分(图像平面的左半部分)的像素值，其余的继续保存在FIFO缓冲器149中。
[0082]在下一时间阶段S3，仅输入I / 4去马赛克后图像的第3行的像素串L (1/4)3的像素值。图像合成部156直接输出该像素串的像素值，接着从内部存储器中读出I / 16去马赛克后图像的第I行的像素串L (1 / 16)1中的、尚未输出的后半部分(图像平面的右半部分)的像素值，进行输出。[0083]在下一时间阶段S4，在如图6所示那样的定时并行输入I / 4去马赛克后图像的第4行的像素串LQ/ 4)4的像素值及I / 16去马赛克后图像的第2行的像素串L(1 7 16)
2、I / 64去马赛克后图像的第I行的像素串L (1 / 64) I的像素值。图像合成部156将其中的I / 16去马赛克后图像的第2行的像素串L(1 / 16)2及I / 64去马赛克后图像的第I行的像素串L(1 / 64)1的像素值分别临时保存在FIFO缓冲器149、150中，并连续地先输出I /4去马赛克后图像的第4行的像素串L (1 / 4)4的像素值。
[0084]I / 4去马赛克图像的第4行的像素串La/4)4的像素值都被输出后，接着从FIFO缓冲器149中读出I / 16去马赛克后图像的第2行的像素串L(1 , 16)2的前半部分，来进行输出。然后，输出I / 64去马赛克后图像的第I行的像素串L (1 / 64)1。此时,考虑到下三个时间阶段S5、S6、S7时要输出的量，将I / 64去马赛克后图像的第I行的像素串L(1/16)I进行四分之一分割，仅输出其最初部分的像素值。其余部分保存在FIFO缓冲器150中。
[0085]在下一时间阶段S5，仅输入I / 4去马赛克后图像的第5行的像素串L (1/4)5的像素值。图像合成部156直接输出该像素串的像素值，接着从FIFO缓冲器149中读出I /16去马赛克后图像的第2行的像素串L (1 , 16)2中的、尚未输出的后半部分的像素值，将之进行输出。还输出I / 64去马赛克后图像中的第I行的像素串L (1/16)1的未输出数据中的、被进行四分之一分割后的第2部分的像素值。
[0086]同样地，在下一时间阶段S6，输出I / 4去马赛克后中图像的第6行的像素串L(1 / 4)6的像素值、I / 16去马赛克后图像的第3行的像素串L(1 7 16)3的前半部分的像素值、I / 64去马赛克后图像中的第I行的像素串L(1/64)l的未输出数据中的、被进行四分之一分割后的第3部分的像素值。在下一时间阶段S7时，输出I / 4去马赛克后图像中的第7行的像素串L (1 / 4)7的像素值、I / 16去马赛克后图像中的第3行的像素串L (1 / 16)3的后半部分的像素值、I / 64去马赛克后图像中的第I行的像素串L(1/64)l中的、被进行四分之一分割后的最后部分的像素值。
[0087]即，I / 16去马赛克后图像的第I行的像素串L(1/16)l，在时间阶段S2和S3这2个时间阶段各被输出一半。此外，I / 64去马赛克后图像的第I行的像素串L(1 / 64)1在时间阶段S4、S5、S6、S7这4个时间阶段分别被输出四分之一。在将RAW图像的横向的像素数记为W时，I / 16去马赛克后图像及I / 64去马赛克后图像的横一行量的像素数分别是W / 4.W / 8，故如该图所示那样，每时间阶段分别输出(W / 4) / 2个、(W / 8) / 4个像素数据。
[0088]将以上输出处理反复进行到图像的最下端的行。此时，在输出了 I / 4去马赛克后图像的最下端像素串的数据的时点，I / 16去马赛克后图像中的最下端像素串的后半部分的数据、及I / 64去马赛克后图像的最下端的、其余4分之3的像素的数据尚未输出。因此，在下一时间阶段S(H / 2 + 1)，输出I / 16去马赛克后图像的最下端像素串后半部分的数据、及将I / 64去马赛克后图像的最下端像素串进行四分之一分割后的第2部分的数据。
[0089]此时，作为至此输出I / 4去马赛克后图像的数据的W / 2像素量的数据，首先输出无效数据，接着输出I / 16去马赛克后图像、I / 64去马赛克后图像的数据。在连续的
2个时间阶段S (H / 2 + 2)、S (H / 2 + 3)中，作为至此已输出了 I / 4去马赛克后图像及I / 16去马赛克后图像的数据的W / 2 + (ff / 4)/ 2像素量的数据，首先输出无效数据，接着分别输出将I / 64去马赛克后图像的最下端像素串进行四分之一分割后的第3部分、第4部分的数据。
[0090]像这样，在进行输出时，如该图所示那样，除开头3个时间阶段和末尾3个时间阶段外，总是输出W / 2 + (ff / 4) / 2 + (ff / 8) / 4 = 21W / 32个像素数据。此外，为输出I行量的像素值、I / 4去马赛克后图像需要I个时间阶段、I / 16去马赛克后图像需要2个时间阶段、I / 64去马赛克后图像需要4个时间阶段，故输出I帧量的图像数据需要的时间阶段数H / 2 =(H / 4) X2 =(H / 8) X 4，全都相等。其结果，输出3个图像的I帧量的数据所需要的总时间阶段数为H / 2 + 3。
[0091]如上文所述那样，图像合成部156所输出的数据是像素值的罗列，但通过将对应于各时间阶段的像素的个数、即21W / 32作为横一行量的像素的个数来提供，在图像送出部151中，与RAW图像、I / I去马赛克后图像一样，将在各时间阶段输出的数据作为图像的一行量的数据来处理。
[0092]因此，能使各时间阶段对应于图像的纵向的像素，其结果，生成了图7的整体矩形区域所表达的那样的合成图像220。如上述那样，通过固定各图像数据在各时间阶段输出的像素串中所占据的范围，在合成图像220中，I / 4去马赛克后图像、I / 16去马赛克后图像、I / 64去马赛克后图像的数据能分别构成完整的矩形区域。因此，若利用该区域性，则能容易地进行针对各图像的数据剪切。
[0093]图8表示主机终端20的数据请求处理和摄像机100的数据发送处理的相关结构。此外，在该图中，对与图3和4所示的功能块重复的功能块标注同一标号，并部分省略其说明。此外，主机终端20与摄像机100如上文所述那样介由相互的通信部进行各种数据的收发，但该图中进行了省略。主机终端20的CPU50具有数据请求部64、数据处理部66、及数据展开部68。摄像机100的图像送出部151的数据选择部154具有流选择部166及剪切部168。
[0094]CPU50的数据请求部64向摄像机100发送用于指定所要求发送的图像及其区域的数据请求信号。作为所要求发送的图像，例如指定RAW图像或各种大小的去马赛克后图像的任一者。关于区域，例如指定图像平面中的该区域的左上角顶点的坐标和横向、纵向的长度。除此之外，CPU50的数据请求部64还将请求开始或结束拍摄的信号、用于指定拍摄条件的信号等也发送给摄像机100。在此，所谓拍摄条件，例如是帧率、快门速度、白平衡、视场角等，根据摄像机100所具备的性能和CPU50所执行的应用程序等来决定。
[0095]图像送出部151的控制部164在接收到来自数据请求部64的数据请求信号后，向数据选择部154提供该信息。在接收到要求开始或结束拍摄的信号、用于指定拍摄条件的信号等时，控制部164会向摄像机100的图像取得部102等适当提供该信息，但由于能适用一般的技术，故在此省略详细的说明。
[0096]数据选择部154的流选择部166分别从图像取得部102、去马赛克部104、图像合成部156并行地读出RAW图像、I / I去马赛克后图像、合成图像数据的流后，仅选择数据请求信号所指定的图像数据，输出给剪切部168。剪切部168仅抽出所被输入的像素数据中的、被包含在数据请求信号所指定的矩形区域内的像素数据，并输出给打包部162。
[0097]剪切部168所进行的处理与切出图像内的所被指定的矩形区域、排除掉多余的区域的一般剪切处理是一样的。在本实施方式中，处理对象不是图像平面，而是像素串单位，但只要给出原来图像的横一行量像素数的信息，就较容易使图像平面的二维坐标对应于流中的一维坐标，同样能确定要切取的像素。
[0098]在本实施方式中，将I / 4去马赛克后图像、I / 16去马赛克后图像、I / 64去马赛克后图像数据汇集为了如图7所示那样的合成图像上的矩形区域，故通过该剪切处理能容易地进行3个图像的划分。例如若指定如图7所示的合成图像内的、以坐标(W / 2，I)为左上顶点、横向的宽度为W / 8、纵向的长度为H / 2的区域，则能仅切取出I / 16去马赛克后图像的整体区域。
[0099]数据选择部154反复进行以上处理，由此，数据请求信号所指定的图像内的区域的数据被以连接了像素串后的流的形式连续输出到打包部162。打包部162所接收到的流被按FIFO方式、按每预定大小被打包，依次被发送给主机终端20。
[0100]主机终端20的数据展开部68如图5所示那样将从摄像机100接收到的包在主存储器58中展开为图像平面。数据处理部66使用扩展后的图像来进行与正执行的应用程序相应的处理。此时，可以根据需要向GPU52请求图像处理，而GPU52从主存储器58读出图像，来进行加工和合成。被展开在主存储器58中的图像数据与一般的图像数据是一样的，故能将之作为纹理而读出。
[0101]数据处理部66可以解析被展开在主存储器58中的图像，来取得脸区域或追踪对象的位置，并将其区域的信息提供给数据请求部64。此时，数据请求部64还可以指定该区域，将新的数据请求信号发送给摄像机100。此时，摄像机100的剪切部168在处理新的图像帧的定时，按照指定来变更要抽取的区域。
[0102]图9表示了图像送出部的结构的变形例。在该图中，针对具有与图8所示的功能块一样的功能的块标注相同标号，并省略其一部分说明。在该例子中，图像送出部151的输出及通信部108的输入输出具有多个信道。通过设置多个信道，能并行抽取不同的图像、不同区域的数据，且并行地发送到主机终端20。
[0103]在该情况下，信道数量不被特别限定，在该图时，设置3个信道，由此同时发送3种数据。因此，图像送出部151中设有第I数据选择部154a、第2数据选择部154b、第3数据选择部154c这3个数据选择部和第I打包部162a、第2打包部162b、第3打包部162c这3个打包部。第I数据选择部154a与第I打包部162a、第2数据选择部154b与第2打包部162b、第3数据选择部154c与第3打包部162c分别串联连接，并进行所负责的数据的选择、抽取、及打包。
[0104]因此，第I数据选择部154a、第2数据选择部154b、第3数据选择部154c分别具有流选择部166a和剪切部168a、流选择部166b和剪切部168b、流选择部166c和剪切部168c的组。控制部164将来自主机终端20的数据请求信号所指定的、最多3个图像和区域信息各一个地分别分配给3个数据选择部。
[0105]在此，被分配给不同信道的图像和区域信息可以是全都不同的图像，也可以是相同图像的不同区域。各数据选择部和打包部的组所进行的处理，与图8所示的数据选择部154及打包部162是一样的。由此，从图像送出部151中并行输出的3个流的包分别被输入到通信部108所设的3个信道、即第I信道172a、第2信道172b、第3信道172c，被并行发送到主机终端20。所发送的数据在主机终端20的主存储器58中被作为互相独立的图像展开。[0106]根据上文所述的本实施方式，在包括拍摄用户等的移动的摄像机和使用其来进行图像显示的主机终端的系统中，使所拍摄出的动图像在摄像机内部成为多种分辨率的数据。然后，按图像的种类和分辨率分别使之成为按像素的光栅顺序连接像素值后的流。然后，按照主机终端的请求发送其一部分，在主机终端的存储器中构建帧图像。像这样，不在摄像机内部展开成帧图像，而是以像素串的状态依次进行处理，由此能将应设于摄像机的存储器大小抑制到最小限度。此外，在从拍摄至发送到主机终端中的期间，不需要等待I帧量的数据都聚齐，故系统整体上能低延时地进行与移动相应的图像显示。
[0107]此外，将多种分辨率的图像数据按每一行量的像素值进行连接而包含在I个流中。此时，由于生成“一行量的像素值”的比率因分辨率而不同，故进行分配，使得以较低比率生成数据的低分辨率的图像也包含不生成数据的期间,使之均等地包含于流中。由此,每单位时间应处理和发送的数据大小大致均等，容易估计出至输出所需的时间、要使用的传输频带、发送所需时间，因而传输频带因突发性的数据大小的增大而被压迫的可能性降低。
[0108]这样生成的流在后级的处理中能与仅由I种分辨率的图像数据构成的流同等地进行处理，故实质上生成了由多种分辨率的图像构成的合成图像。然后，通过如上述那样进行连接，合成对象图像就分别构成合成图像内的矩形区域，故通过指定合成图像内的区域，能利用剪切这一一般的图像处理，来容易地使混合于I个流中的多个图像的数据区分。
[0109]此外，通过在摄像机中设置多个进行与来自主机终端的指定相应的流选择、一部分数据的抽取、打包的机构，能并行地发送多个数据，能缩短发送时间。此外，每机构分别负责一个流,并按流将之发送给主机终端,故在主机终端中，能省略数据区分的处理。
[0110]实施方式2
[0111]在实施方式I中，摄像机100基于所拍摄的影像生成多种分辨率的动图像数据，并按照来自主机终端20的请求，仅将其中所需要的数据实时发送给主机终端20。在本实施方式中,还生成帧间的运动差分图像作为主机终端20的请求对象。此外，在摄像机100中，对任意一个图像进行解析，将其结果作为元数据附加于要发送给主机终端20的图像数据中。
[0112]本实施方式能由与图1所示的低延时摄像机系统10 —样的系统来实现。此外，主机终端20也与图4所示的结构一样。以下主要着眼于不同于实施方式I的部分来进行说明，并适当省略重复部分的说明。
[0113]图10表示本实施方式的摄像机的结构。摄像机IOOa与实施方式I中的摄像机100 —样，具有图像取得部102、去马赛克部104、塔型滤波器部170、图像合成部156、图像送出部151a、及通信部108。摄像机IOOa还具有差分图像生成部174及图像解析部176。
[0114]图像取得部102、去马赛克部104、及塔型滤波器部170与实施方式I中的对应的功能块一样地工作。差分图像生成部174生成塔型滤波器部170所输出的预定分辨率的图像与此前被输出的相同分辨率的另一帧图像的差分图像。因此，差分图像生成部174具有临时保存I帧量的图像数据的内部存储器(未图示)。
[0115]然后，取从塔型滤波器部170新输出的像素值与该内部存储器中所保存的之前帧的对应像素的像素值的差分，并将其结果作为差分图像的像素值输出给图像合成部156。该处理也按像素的光栅顺序来进行，故所输出的数据是与其它图像一样的流。
[0116]在大致估计有运动的区域时等，根据主机终端20使用差分图像的目的的不同，不对差分图像要求较高分辨率的时候较多。因此，基于塔型滤波器部170所生成的最低分辨率的图像来生成差分图像，并使之成为图像合成部156的合成对象。若使差分图像成为合成图像的一部分，则以后，图像送出部151a及通信部108如实施方式I所叙述那样工作，由此能将该差分图像数据发送到主机终端20。
[0117]图像解析部176针对塔型滤波器部170所输出的预定分辨率的图像进行预定的图像解析，并将其结果交给图像送出部151a。此外，在该图中，是使差分图像生成部174和图像解析部176的处理对象为相同分辨率的图像的，但并非要将本实施方式限定于此，也可以独立进行彼此的处理。
[0118]图像解析部176所进行的图像解析是脸检测处理或具有预定形状的对象物的追踪等。因此，要交给图像送出部151a的解析结果是脸区域或对象物的区域的位置和大小信息、和表示检测/追踪精度的评价值等。关于进行哪种解析、及对象物的形状信息等解析条件，根据所执行的应用程序，在应用程序起动时等由主机终端20预先通知给摄像机100。
[0119]图像送出部151a的打包部162 (图示在图3中)将图像解析部176的图像解析结果作为元数据插入到要发送给主机终端20的图像数据的I帧量的流之后、或I帧量的流中的预定位置。然后，与不进行图像解析时一样，按预定大小将之打包。
[0120]在该情况下，主机终端20将从摄像机100发送来的数据中的图像数据部分在主存储器中展开成图像，元数据用于该图像的加工、合成等处理。此外，也可以利用元数据，针对以后的帧重新进行要向摄像机100请求的数据的指定。关于图像数据和元数据的区分，可以通过在使所接收到的流全都成为图像后的图像平面内预先规定附加有元数据的区域，或对元数据自身附加用于识别它的信息来实现。
[0121]此外，在本实施方式中，在摄像机IOOa中设置了差分图像生成部174和图像解析部176两者，但也可以仅设置其中任意一者。此外，被作为元数据来附加的信息也可以不是图像解析的结果，例如也可以是取得原来的RAW图像时的时间戳等。在该情况下，图像送出部151a只要直接取得图像取得部102针对各帧所生成的时间戳的信息，与上文所述同样地插入到流中即可。
[0122]根据上文所述的本实施方式，除实施方式I的结构外，还在摄像机内部设置了生成差分图像的机构。在使用差分图像来检查有运动的区域的方案中，多数情况下低分辨率的图像也足够发挥作用，故例如以最低分辨率的图像为对象，使所生成的差分图像包含于合成图像中。由此，除实施方式I所述的效果外，对差分图像也能通过剪切处理来容易地区分。其结果，在想检测有运动的区域的情况下，也能将在主机终端中应进行的处理控制在最小限度。
[0123]此外，在摄像机内部设置脸区域检测或追踪预定形状的对象物的机构，并将其结果作为元数据、按帧单位插入到图像数据的流中。由此，在对脸区域或对象物的区域施以加工、或想获得该区域的详细信息的情况下等，能将主机终端中应进行的处理控制在最小限度。
[0124]实施方式3
[0125]在本实施方式中，用包含从左方、右方这两个不同的视点拍摄同一对象物的一对摄像机的立体摄像机来构成图1所不的低延时摄像机系统10的摄像机100。并且，在该立体摄像机中，使用从左方、右方拍摄的2个动图像的帧来进行立体匹配，生成表示对象物在深度方向上的位置的深度图像。与其它图像一样，该深度图像被按照来自主机终端20的要求随时发送。在此，主机终端20可以是与实施方式I相同的结构。以后主要着眼于与实施方式I和2的不同点来进行说明，并省略重复部分的说明。
[0126]图11表示本实施方式的摄像机的结构。立体摄像机IOOb包含有第I摄像机190a、第2摄像机190b、立体匹配处理部192、图像送出部151b、及通信部108。第I摄像机190a及第2摄像机190b分别具有与实施方式I所示的摄像机100和实施方式2所示的摄像机IOOa大致相同的结构，而图像送出部151b及通信部108由第I摄像机190a、第2摄像机190b、及立体匹配处理部192所共用。
[0127]第I摄像机190a具有图像取得部102a、去马赛克部104a、塔型滤波器部170a、图像合成部156a、图像解析部176a。同样地，第2摄像机190b具有图像取得部102b、去马赛克部104b、塔型滤波器部170b、图像合成部156b、图像解析部176b。分别设于图像取得部102a及图像取得部102b中的拍摄元件从左、右两个不同的视点拍摄同一对象物。该拍摄元件的硬件结构可以与一般的立体摄像机一样。
[0128]此外，第I摄像机190a、第2摄像机190b所具有的上述功能块与实施方式I和2中所说明的对应的功能块同样地工作。立体匹配处理部192按预定的比率，从第I摄像机190a的去马赛克部104a或塔型滤波器部170a取得预定分辨率的左、右动图像帧中的一者，从第2摄像机190b的去马赛克部104b或塔型滤波器部170b中取得另一者。
[0129]然后，使用在同一定时取得的左、右图像来进行立体匹配，来生成深度图像。深度图像是使表示对象物在深度方向上的位置的值成为图像平面的像素值后的图像，表示对象物在三维空间中的位置信息。此处实施的立体匹配处理，可以采用此前提出的多种方法中的任一者。例如可以采用如下的面积相关法等:对左、右图像中的一者设定相关窗，一边移动另一图像的搜索窗，一边算出与相关窗的图像的相互相关系数，由此取得对应点，然后基于这些对应点的视差，使用三角测量原理来求得三维的位置信息。
[0130]不论在哪种情况下，都一行行地处理所被输入的左、右图像数据，按光栅顺序决定出深度图像的像素值，并依次输出到图像送出部151b。图像送出部151b取得该数据，并从第I摄像机190a及第2摄像机190b取得左、右RAW图像、I / I去马赛克后图像、合成图像的数据。
[0131]此外，从第I摄像机190a的图像解析部176a及第2摄像机190b的图像解析部176b接收与实施方式2所说明的一样的图像解析结果。然后，与实施方式I所说明的一样，选择主机终端20所请求的数据，根据需要仅抽取出所被请求的区域后进行打包。此时，如实施方式2所说明的那样，根据主机终端20的要求，将从图像解析部176a、176b取得的图像解析的结果作为元数据来插入。
[0132]通信部108所进行的处理与之前说明过的一样。此外，在该图中，分别用I个箭头表示了图像送出部151b的输出及通信部108的输入输出，但也可以如图9所示那样设置多个信道，来并行发送多个数据。
[0133]接下来，表示出能由之前所述的结构实现的低延时摄像机系统10的工作例。在此所示的工作例能主要由包含实施方式3所说明的立体摄像机IOOb的系统来实现，但也适当组合了实施方式I和2所述的结构。
[0134]图12表示主机终端20与立体摄像机IOOb协作进行图像处理的处理步骤的例子的流程图和所生成的图像例。图12?14的流程图于用户对主机终端20输入应用程序的起动指示时开始。此外，为容易理解，用串联连接的矩形表示了各步骤，但在拍摄动图像的期间，这些步骤是针对各像素串、各帧反复且并行执行的。
[0135]首先，主机终端20指定应用程序等中所设定的初始条件及所需数据，向立体摄像机IOOb进行开始拍摄指示及发送数据请求(S10)。所谓初始条件，是指立体摄像机IOOb的2个摄像机要拍摄的动图像的分辨率和帧率、立体匹配处理部192要进行立体匹配的图像的分辨率和帧率、追踪对象的形状信息等。此外，关于摄像机进行拍摄的动图像的分辨率和帧率，可以通过改变拍摄元件的曝光本身的条件设定来使之变化，也可以通过在后级对来自拍摄元件的数据进行间取等调整，来使之变化。
[0136]在此，例如如下这样指定。
[0137]第I摄像机:分辨率1280X720、帧率60fps
[0138]第2摄像机:分辨率1280X720、帧率60fps
[0139]立体匹配:分辨率1280父720、帧率60邙8
[0140]所谓所需数据的指定，如上文所述那样，除指定图像的种类、分辨率、图像内的区域外，还可以指定元数据。在此，例如如下这样指定3个数据。
[0141]数据1:(左图像，YUV422:16bit，0，0，1280，720)
[0142]数据2:(左合成图像，YUV422:16bit，0，0，850，367，脸区域，对象物区域，时间戳)
[0143]数据3:(深度图像、Z:16bit，0，0，1280，720)
[0144]数据I是在立体摄像机IOOb中的左侧摄像机所拍摄出的图像的I / I去马赛克后图像(YUV422:16比特)中的、左上坐标为(0，0)、横向及纵向的长度为(1280，720)的区域。若考虑上述初始条件所指定的分辨率，则可知该区域是所拍摄的图像的全部区域。
[0145]数据2是在左侧摄像机所拍摄出的图像的合成图像(YUV422:16比特)内的、左上坐标为(0，0)、横向及纵向的长度为(850，357)的区域。图12?14的例子中的合成图像是在图7所不的I / 4去马赛克后图像、I / 16去马赛克后图像、I / 64去马赛克后图像中进一步包含进行I / 256去马赛克后图像的帧间差分后所获得的差分图像的图像。该差分图像被作为(W / 16) / 8XH / 2的图像区域，以与其它同样的规则添加于图7的合成图像的右端。
[0146]上述数据2所指定的区域是该合成图像的全部区域。在数据2中，还进行了指定，使得将进行脸检测处理所获得的脸区域、进行追踪处理后获得的对象物区域、拍摄合成图像的原来图像时的时间戳作为元数据附加于合成图像。数据3是立体匹配处理部192所生成的深度图像(以深度方向的16比特位置信息为像素)内的、左上坐标为(0，0)、横向及纵向的长度为(1280，720)的区域、即全部区域。
[0147]接收到初始条件的指定及数据请求的立体摄像机IOOb的第I摄像机190a和第2摄像机190b按该初始条件开始动图像的拍摄(S12)。弟I摄像机190a、弟2摄像机190b、立体匹配处理部192使用所拍摄的图像帧来如上述那样进行处理，由此生成左侧的RAW图像及I / I去马赛克后图像230、左侧的合成图像232、深度图像234、右侧的RAW图像及I /
I去马赛克后图像236、左侧的合成图像238这些数据(S14)。
[0148]此外，该图中表示了各图像的全部区域，但实际的图像数据被以像素值的流的状态依次输入到图像送出部151b中。图13、图14也是一样。然后，图像送出部151b仅选择并抽取SlO中所指定的数据、使之成为流并打包，从而生成发送数据，进行发送(S16)。[0149]接收到数据的主机终端20将图像展开在主存储器58中。其结果，主存储器58中保存I / I去马赛克后图像的全部区域240、1 / 4去马赛克后图像的全部区域242、1 / 16去马赛克后图像的全部区域244、1 / 64去马赛克后图像的全部区域246、1 / 256去马赛克后图像的差分图像248、包含脸区域、对象物区域、时间戳的元数据250、深度图像252。
[0150]主机终端20的CPU50和GPU52使用这些数据来生成应显示的图像，并显示于显示器4上(S18、S20)。例如，基于运动差分图像248检测出有运动的区域，并从深度图像252取得该部分内的对象物的深度信息。通过持续进行多帧量的该工作，来识别出作为被摄物体的用户的姿势。然后，在I / I去马赛克后图像的全部区域240内的脸区域等显示施以与姿势相应的预定加工后的图像。
[0151]在该实施例中，被从立体摄像机IOOb发送给主机终端20的每单位时间的数据大小为
[0152]数据1:1280 X 720 像素 X 60fps X 16bit = 885Mbps
[0153]数据2:850 X 370 像素 X 60fps X 16bit = 300Mbps
[0154]数据3:1280 X 720 像素 X 60fps X 16bit = 885Mbps
[0155]共计为2.1Gbps。
[0156]图13表示了表示主机终端20与立体摄像机IOOb协同进行图像处理的处理步骤的另一例子的流程图和所生成的图像例。首先，与图12—样，主机终端20指定初始条件及所需的数据，向立体摄像机IOOb进行开始拍摄指示及发送数据请求(S22)。
[0157]假定该例子中的初始条件与图12的例子一样。作为所需的数据，如下那样指定I个数据。
[0158]数据1:(左合成图像，YUV422:16bit，0，0，850，367，脸区域，对象物区域，时间戳)
[0159]该数据与图12的例子的数据2 —样。
[0160]接收到初始条件的指定及数据请求的立体摄像机IOOb的第I摄像机190a及第2摄像机190b按该初始条件开始动图像的拍摄(S24),弟I摄像机190a、弟2摄像机190b、立体匹配处理部192分别生成图像数据(S26)。此时的图像数据与在图12的S14中生成的图像数据相同。
[0161]接下来，图像送出部151b仅选择并抽取在S22中指定的数据，将之成为流、进行打包，生成发送数据来进行发送(S28)。接收到数据的主机终端20将图像展开在主存储器58中。其结果，在主存储器58中，保存I / 4去马赛克后图像的全部区域242、1 / 16去马赛克后图像的全部区域244、1 / 64去马赛克后图像的全部区域246、1 / 256去马赛克后图像的差分图像248、以及包含脸区域、对象物区域、时间戳的元数据250。
[0162]主机终端20的CPU50将如下区域决定为关注区域:基于差分图像248而确定的有运动的区域、或包含元数据250中所包含的脸区域或对象物区域的、预定范围的区域(S30)。然后，指定该关注区域，重新进行数据请求(S32)。在此，例如如下那样指定2个数据。
[0163]数据2:(左图像，RAW:16bit, Fx, Fy, Fw, Fh)
[0164]数据3:(深度图像，Z:8bit, Hx, Hy, Hw, Hh)
[0165]数据2是立体摄像机IOOb中的左侧摄像机所拍摄的RAW图像(16比特)内的、决定为包含脸区域的关注区域的、左上坐标为(Fx，Fy)、横向和纵向的长度为(Fw，Fh)的区域。数据3是立体匹配处理部192生成的深度图像(以深度方向的8比特的位置信息为像素)内的、决定为包含对象物区域的关注区域的、左上坐标为(Hx，Hy)、横向和纵向的长度为(Hw，Hh)的区域。
[0166]立体摄像机IOOb的图像送出部151b在被输入各图像的新的帧的定时抽取RAW图像和深度图像内所被指定的区域的数据、使之成为流并打包，生成发送数据，进行发送(S34)。接收到数据的主机终端20将图像展开在主存储器58中。其结果，主存储器58中保存包含脸的区域的RAW图像254及包含对象物的区域的深度图像256。
[0167]主机终端20的CPU50及GPU52使用这些数据来生成应显示的图像，并显示于显示器4上(S36、S38)。例如，通过以I / 4去马赛克后图像242为背景，合成包含脸的区域的RAff图像254，来显示既抑制了数据大小、又仅表现表情变化等的脸区域较鲜明的图像。还可以从深度图像256取得对象物的深度信息，识别用户的姿势，并施以与之相应的预定加工。
[0168]通过反复进行S30~S38的处理，即使脸或对象物移动，也能无浪费地总是取得与其相关的必要数据，来反映到图像显示中。其结果，能抑制应从立体摄像机IOOb中发送给主机终端20的数据的大小。
[0169]在上述数据指定中，若假定(Fw，Fh)= (400,600), (Hw, Hh) = (320，450)，则在该实施例中，被从立体摄像机IOOb发送到主机终端20的、每单位时间的数据大小为:
[0170]数据1:850 X 370 像素 X 60fps X 16bit = 300Mbps
[0171]数据2:400 X 600 像素 X60fpsX16bit = 230Mbps
[0172]数据3:320X450 像素 X60fpsX8bit = 70Mbps
[0173]共计600Mbps。`
[0174]图14表示了表示主机终端20与立体摄像机IOOb协同进行图像处理的处理步骤的另一例子的流程图和所生成的图像例。首先，与图12—样，主机终端20指定初始条件及所需的数据，向立体摄像机IOOb进行开始拍摄指示及发送数据请求(S40)。
[0175]如下那样指定该例子中的初始条件。
[0176]第I摄像机:分辨率1280 X 720、帧率30fps
[0177]第2摄像机:分辨率1280 X 720、帧率15fps
[0178]立体匹配:分辨率320 X 180、帧率15fps
[0179]如下那样指定所需的数据。
[0180]数据1:(左合成图像，Y (运动差分):81^，840，8，10，360，时间戳)
[0181]数据2:(左合成图像，YUV422:16bit，800，4，40，360，脸区域，时间戳)
[0182]数据3:(深度图像、2:81^，20，15，280，150，时间戳)
[0183]数据I是左侧摄像机所拍摄出的图像的合成图像中的、Y图像内的差分图像区域、即左上坐标为(840，8)、横向和纵向的长度为(10，360)的区域。进行指定使得对数据I附加拍摄原来的图像时的时间戳作为元数据。
[0184]数据2是在左侧摄像机所拍摄出的图像的合成图像(YUV422:16比特)内的、左上坐标为(800，4)、横向和纵向的长度为(40，360)的区域、即I / 64去马赛克后图像的区域。此外，进行指定使得对数据2附加进行脸检测处理后获得的脸区域、拍摄原来的图像时的时间戳作为元数据。能按照图7中所示的配置规则来确定数据I和数据2中所指定的、合成图像所包含的各图像的区域信息。
[0185]数据3是立体匹配处理部192所生成的深度图像(以深度方向的8比特的位置信息为像素)内的、左上坐标为(20，15)、横向和纵向的长度为(280，150)的区域。该区域是将深度图像的上端、下端分别剪掉15像素量，将左端、右端分别剪掉20像素量后的结果，也可以认为是作为深度的信息有意义的区域。像这样，也能抑制数据大小。此外，进行指定使得对数据3附加拍摄原来的图像时的时间戳作为元数据。
[0186]接收到初始条件的指定及数据请求的立体摄像机IOOb的第I摄像机190a及第2摄像机190b按该初始条件开始动图像的拍摄(S42),弟I摄像机190a、弟2摄像机190b、立体匹配处理部192分别生成图像数据(S44)。此时的图像在图像的大小、颜色空间、及帧率等方面与图12及图13的例子相比更简易。
[0187]接下来，图像送出部151b仅选择并抽取在S40中所指定的数据，使之成为流并打包，生成发送数据，进行发送(S46)。接收到数据的主机终端20将图像展开在主存储器58中。其结果，在主存储器58中，保存I / 256去马赛克后图像的差分图像260、其原来的图像的时间戳262、1 / 64去马赛克后图像的全部区域260、包含脸区域、时间戳的元数据266、剪掉周围后的深度图像268及其原来的图像的时间戳270。
[0188]主机终端20的CPU50及GPU52使用这些数据来生成应显示的图像，并将之显示于显示器4上(S48、S50)。例如，基于差分图像260检测出有运动的区域，从深度图像268取得该部分内的对象物的深度信息。由此识别到作为被摄物体的用户的姿势，在I / 64去马赛克后图像的全部区域260内的、从元数据266获得的脸区域等上，显示施以与姿势相应的预定加工后的图像。
[0189]在该例子中，降低帧率、或仅发送分辨率较低的图像，从而既以区域整体为发送对象、处理对象，又抑制了包括传输频带在内的资源的消費量。因为是发送区域整体，故能省略图13的例子所示的适应性的区域指定的步骤。此外，像这样，即使要发送的3个数据的每I帧的数据大小不同，I帧量的数据到达主机终端20的定时因数据而错开了，通过对各帧附加拍摄原来图像时的时间戳，也能容易确定数据的对应关系。
[0190]在该实施例中，从立体摄像机IOOb发送到主机终端20的每单位时间的数据大小为:
[0191]数据1: 10 X 360 像素 X30fpsX8bit = 864Kbps
[0192]数据2:160X90 像素 X15fpsX16bit = 3.5Mbps
[0193]数据3:280X 150 像素 X15fpsX8bit = 5Mbps
[0194]共计9.5Mbps。
[0195]根据上文所述的本实施方式，在立体摄像机中适用实施方式I及2的特征。并且，在该立体摄像机中设置进行立体匹配的机构。在该情况下，能从各摄像机所生成的RAW图像、I / I去马赛克后图像、合成图像、及进行立体匹配所获得的深度图像、进行脸检测所获得的脸区域信息、进行追踪处理所获得的对象物区域的信息这多种数据中，低延迟地发送主机终端指定的数据。因此，主机终端的处理负荷减小，而通过与来自摄像机的数据发送的高效化的叠加效果，能实现低延迟地追踪被摄物体的运动的图像显示。
[0196]以上基于实施方式对本发明进行了说明。本领域技术人员当理解上述实施方式为例示，其各构成要素和各处理过程的组合可以有各种变形例，且该变形例同样包含在本发明的范围内。
[0197]〔标号说明〕
[0198]4显示器、10低延时摄像机系统、20主机终端、50CPU、52GPU、58主存储器、60通信部、64数据请求部、66数据处理部、68数据展开部、100摄像机、104去马赛克部、108通信部、149FIF0缓冲器、150FIF0缓冲器、151图像送出部、156图像合成部、154数据选择部、162打包部、164控制部、166流选择部、168剪切部、170塔型滤波器部、172a第I信道、172b第2信道、172c第3信道、174差分图像生成部、176图像解析部、190a第I摄像机、190b第2摄像机、192立体匹配处理部。
[0199]〔工业可利用性〕
[0200]如以上那样，本发明能适用于计算机、摄像机、游戏装置、图像显示装置等信息处
理装置。
【权利要求】
1.一种动图像拍摄装置，其特征在于，包括:图像数据生成部，通过多阶段地缩小拍摄对象物而获得的动图像的各帧，按预定的像素顺序分别生成不同分辨率的多个图像的数据，使之成为流而依次输出，图像合成部，将从上述图像数据生成部输出的上述多个图像数据中的预定的多个图像的数据，按图像的一行量的像素串或比其小的范围的像素串进行连接，使之成为流进行输出，由此生成包含上述预定的多个图像的虚拟合成图像，以及图像送出部，从所连接的主机终端接收数据的发送请求，从由上述图像数据生成部及上述图像合成部输出的多个流中、抽取出所被请求的图像及区域内所包含的像素的数据， 由此生成应发送的数据的流，并将之发送给上述主机终端。
2.如权利要求1所述的动图像拍摄装置，其特征在于，上述图像合成部以合成对象的图像中的、最高分辨率的图像的一行像素量的数据所被生成的期间为基准周期，输出应作为上述合成图像的一行像素量的数据，关于在长于该基准周期的周期内被生成一行量的数据的其它分辨率的图像，调整要连接的像素串的范围， 以使得在该生成周期内数据被均等地输出。
3.如权利要求1或2所述的动图像拍摄装置，其特征在于，上述图像送出部包括剪切部，该剪切部按构成流的像素串单位切取出被上述主机终端请求数据发送的图像内的矩形区域；上述图像合成部将各图像的数据连接，以使得合成对象的各图像构成上述合成图像内的矩形区域；上述剪切部根据来自上述主机终端的请求、按像素串单位从上述合成图像中切取合成对象图像中的任一者，并发送给上述主机终端。
4.如权利要求1至3的任意一项所述的动图像拍摄装置，其特征在于，还包括差分图像生成部，对上述 不同分辨率的多个图像中的、预定分辨率的图像进行帧间差分，由此生成该分辨率的差分图像；上述图像合成部还将上述差分图像包括在合成对象内。
5.如权利要求1至4的任意一项所述的动图像拍摄装置，其特征在于，上述图像送出部并行地读出由图像数据生成部及上述图像合成部输出的多个流，基于些流中的、根据来自上述主机终端的请求而选择的流的至少一部分,来生成应发送的流。
6.如权利要求1至5的任意一项所述的动图像拍摄装置，其特征在于，上述图像送出部具有用于向主机终端发送数据的多个输出信道，在被上述主机终端请求多个区域的数据时，从上述多个输出信道并行地发送针对该数据分别生成的流。
7.如权利要求1至6的任意一项所述的动图像拍摄装置，其特征在于，还包括脸检测部，对上述多个图像任一者施以脸检测处理，确定作为对象物的人的脸部区域；上述图像送出部根据来自上述主机终端的请求，将涉及上述脸检测部所确定的脸区域的数据作为元数据而插入到所生成的图像数据的流的预定位置后，将之发送给上述主机终端。
8.如权利要求1至7的任意一项所述的动图像拍摄装置，其特征在于，还包括追踪部，从上述主机终端取 得追踪对象的对象物的形状信息，并基于此进行该对象物的追踪处理；上述图像送出部根据来自上述主机终端的请求，将涉及上述追踪部所确定的对象物的位置的数据作为元数据插入到所生成的图像数据的流的预定位置后，将之发送给上述主机终端。
9.一种具备从左右不同视点拍摄同一对象物的一对摄像机的动图像拍摄装置，其特征在于，上述一对摄像机分别包括:图像数据生成部，通过多阶段地缩小拍摄对象物而获得的动图像的各帧，按预定的像素顺序分别生成不同分辨率的多个图像的数据，并使之成为流而依次进行输出，以及图像合成部，将从上述图像数据生成部输出的上述多个图像的数据中的预定的多个图像数据，按图像的一行量的像素串或比其小的范围的像素串分别进行连接，使之成为流后进行输出，由此生成包含上述预定的多个图像的虚拟合成图像；上述动图像拍摄装置还包括:立体匹配处理部，对上述一对摄像机所生成的视点不同的图像的数据中的、预定分辨率的图像的数据进行立体匹配，由此按预定的像素顺序生成表示上述对象物在三维空间中的位置的深度图像，并使之成为流后依次进行输出，以及图像送出部，从所连接的主机终端接收数据的发送请求，并从由上述图像数据生成部、 上述图像合成部、及上述立体匹配处理部输出的多个流中抽取出所被请求的图像及区域内所包含的像素的数据，由此生成应发送的数据的流，并将之发送给上述主机终端。
10.一种信息处理系统，其特征在于，包括:拍摄对象物而生成动图像数据的动图像拍摄装置，和从该动图像拍摄装置取得动图像数据的一部分，使用它来进行预定的图像处理后，显示图像的主机终端；`上述动图像拍摄装置包括:图像数据生成部，通过多阶段地缩小拍摄所获得的动图像的各帧，来按预定的像素顺序分别生成不同分辨率的多个图像数据,并使之成为流依次输出，图像合成部，将由上述图像数据生成部输出的上述多个图像的数据中的、预定的多个图像数据，按图像的一行量的像素串或比其小的范围的像素串分别进行连接而使之成为流、进行输出，由此生成包含上述预定的多个图像的虚拟合成图像，以及图像送出部，从由上述图像数据生成部及上述图像合成部输出的多个流中、抽取出上述主机终端所请求的图像及区域内所包含的像素的数据，由此生成应发送的数据的流后， 将之发送给上述主机终端。
11.一种信息处理装置，其特征在于，包括:数据请求部，向拍摄对象物的摄像机，指定分辨率及图像内的区域地请求发送动图像的帧的图像数据，数据展开部，对于按照请求从上述摄像机发送来的、将所指定的区域的像素值按像素串分别连接后的流状态的图像数据，将其在主存储器中展开为二维的图像数据，以及数据处理部，在使用上述二维的图像数据进行预定的图像处理后，显示图像；其中，上述数据请求部指定在上述摄像机内生成的、将动图像的帧多阶段地缩小而得到的不同分辨率的多个图像，分别配置在预定的矩形区域的合成图像；上述数据展开部将由上述摄像机发送来的上述合成图像按各合成对象图像而分别展开成独立的二维图像数据，由此进行图像的区分。
12.一种动图像拍摄装置所进行的图像数据处理方法，其特征在于，包括:通过多阶段地缩小拍摄对象物而获得的动图像的各帧，来按预定的像素顺序分别生成不同分辨率的多个图像的数据，并使之成为流依次进行输出的步骤，将在上述进行输出的步骤中被输出的上述多个图像的数据中的、预定的多个图像的数据，按图像的一行量的像素串或比其小的范围内的像素串分别进行连接，使之成为流、进行输出，由此生成包含上述预定的多个图像的虚拟合成图像的步骤，以及从所连接的主机终端接收数据的发送请求，从在上述进行输出的步骤及进行生成的步骤中被输出的多个流中，抽取出所被请求的图像及区域内所包含的像素的数据，由此生成应发送的数据的流，并将之发送给上述主机终端的步骤。
13.一种计算机程序，使计算机实现如下功能:通过多阶段地缩小拍摄元件拍摄对象物而获得的动图像的各帧，来按预定的像素顺序分别生成不同分辨率的多个图像的数据，并使之成为流,依次进行输出的功能，将在上述进行输出的功能中被输出的上述多个图像的数据中的、预定的多个图像数据，按图像的一行量的像素串或比其小的范围的像素串分别进行连接，使之成为流、进行输出，由此生成包含上述预定的多个图像的虚拟合成图像的功能，以及从所连接的主机终端接收数据的发送请求，从由上述进行输出的功能及进行生成的功能输出的多个流中，抽取出所被请求的图像及区域内所包含的像素的数据，由此生成应发送的数据的流，并将之发送给上述主机终端的功能。
14.一种记录有计算机程序的记录介质,该计算机程序使计算机实现如下功能:通过多阶段地缩小拍摄元件拍摄对象物而获得的动图像的各帧，来按预定的像素顺序分别生成不同分辨率的多个图像`的数据,并使之成为流,依次进行输出的功能，将在上述进行输出的功能中被输出的上述多个图像的数据中的、预定的多个图像数据，按图像的一行量的像素串或比其小的范围的像素串分别进行连接，使之成为流、进行输出，由此生成包含上述预定的多个图像的虚拟合成图像的功能，以及从所连接的主机终端接收数据的发送请求，从由上述进行输出的功能及进行生成的功能输出的多个流中，抽取出所被请求的图像及区域内所包含的像素的数据，由此生成应发送的数据的流，并将之发送给上述主机终端的功能。
【文档编号】H04N5/232GK103518368SQ201280022231
【公开日】2014年1月15日 申请日期:2012年4月5日 优先权日:2011年5月19日
【发明者】大场章男, 势川博之 申请人:索尼电脑娱乐公司