图像拾取装置、信息处理系统和图像数据处理方法

图像拾取装置、信息处理系统和图像数据处理方法
【专利摘要】一种图像拾取装置，包括：图像数据产生单元，被配置为从已拾取图像产生多种图像的数据，并且连续输出所述数据；图像合成单元，被配置为在对于每种图像预先所设置的范围内循环连接用于每个像素串的所述多种图像的数据，并且输出所连接的数据作为流，以产生虚拟合成图像；图像发送单元，被配置为从所述主机终端接受指定所述虚拟合成图像中的矩形区域的数据发送请求，从流提取并且连接数据，并且将所连接的数据作为新的流发送到所述主机终端。
【专利说明】图像拾取装置、信息处理系统和图像数据处理方法

【技术领域】
[0001] 本发明涉及一种用于使用已拾取图像来执行信息处理的技术。

【背景技术】
[0002] 在现有技术中，由摄像机拾取摄像机的用户的身体部分(例如头部）的图像的游戏 是已知的。然后，从已拾取图像提取预定区域(例如包括眼睛、嘴或手的区域)。此后，以不同 的图像来替换所提取的区域的图像，并且在显示单元上显示所述不同的图像。例如，在欧洲 专利申请公开No. 0999518 (下文中称之为专利文献1)中公开了如上所述的这种游戏。接 收摄像机所拾取的图像中的嘴或手的运动作为对应用的操作指令的用户接口系统也是已 知的。


【发明内容】

[0003] 在上述这种技术中，为了从图像中提取预定区域(例如包括嘴、手等的区域)，使用 高分辨率的图像。然而，随着摄像机的图像拾取元件的性能增强，图像数据量增加。这导致 了如下问题：这增加了用于数据挖掘处理(例如过滤、缩放（seal ing )、剪切处理等）的成本， 数据挖掘处理提供关于对于压缩和解压处理使用的适当尺度的信息，以用于数据传送或识 另IJ、检测、测量处理等。图像数据量的增加进一步导致不同的问题：这增加了从向相机输入 的时间到从每个处理输出的时间的等待时间。此外，将相机用作用户接口导致不同的问题： 等待时间的增加使得可用性极大地降级。以此方式，即使摄像机的图像拾取元件在性能方 面得以改进，也存在整个系统的性能可能恶化的可能性。
[0004] 因此，本发明预期提供一种图像处理技术，其可以在使用高性能图像拾取元件的 同时使用已拾取图像数据来抑制从图像拾取时间到图像显示时间的等待时间。
[0005] 根据本发明实施例，提供一种图像拾取装置，包括：图像数据产生单元，被配置为 从通过图像拾取对象的图像拾取所获得的已拾取图像产生多种图像的数据，并且连续输出 一个水平行的像素的所述数据；图像合成单元，被配置为在对于每种图像预先所设置的范 围内对于每个像素串循环连接从所述图像数据产生单元输出的所述多种图像的数据，并且 输出所连接的数据作为流，以产生虚拟合成图像，其包括所述多种图像，并且其中，当所述 连接进行一轮时的像素串是一个水平行的像素串；图像发送单元，被配置为从连接到所述 图像拾取装置的主机终端接受指定所述虚拟合成图像中的矩形区域的数据发送请求，根据 所述数据发送请求从流提取并且连接数据，并且将所连接的数据作为新的流发送到所述主 机终端。所述图像合成单元将像素串连接为所述多种图像的流，从而对于其每个水平行，连 接具有等于预先确定的基准图像大小的大小的这些图像；对于大于一个水平行的其每个范 围，连接具有大于所述基准图像大小的大小的这些图像；对于小于一个水平行的其每个范 围，连接具有小于所述基准图像大小的大小的这些图像。
[0006] 根据本发明另一实施例，提供一种信息处理系统，包括：图像拾取装置，被配置为 从通过图像拾取对象的图像拾取所获得的已拾取图像产生多种图像的数据；主机终端，被 配置为获取所述图像的至少部分数据，并且利用所获取的数据来执行预定信息处理。所述 图像拾取装置包括：图像数据产生单元，被配置为产生所述多种图像的数据，并且对于一个 水平行中的每个像素，连续输出产生的数据；图像合成单元，被配置为在对于每种图像预先 所设置的范围内对于每个像素串循环连接从所述图像数据产生单元输出的所述多种图像 的数据，并且输出所连接的数据作为流，以产生虚拟合成图像，其包所述多种图像，并且其 中，当所述连接进行一轮时的像素串是一个水平行的像素串；图像发送单元，被配置为从所 述主机终端接受指定所述虚拟合成图像中的矩形区域的数据发送请求，根据所述数据发送 请求从流提取并且连接数据，并且将所连接的数据作为新的流发送到所述主机终端。所述 图像合成单元连接所述多种图像的像素串，从而对于其每个水平行，连接具有等于预先所 确定的基准图像大小的大小的这些图像；对于大于一个水平行的其每个范围，连接具有大 于所述基准图像大小的大小的这些图像；对于小于一个水平行的其每个范围，连接具有小 于所述基准图像大小的大小的这些图像。所述主机终端包括：数据请求单元，被配置为通过 指定所述虚拟合成图像的矩形区域来请求所述图像拾取装置所产生的所述多种图像的至 少部分数据，以及数据显影单元，被配置为基于所指定的矩形区域的信息将从所述图像拾 取装置发送至其的所述流分离为单独图像的数据，将分离后的数据返回到初始像素串中的 位置，以恢复所述图像，然后将所述图像显影到存储器中。
[0007] 根据本发明再一实施例，提供一种图像拾取装置所执行的图像数据处理方法，包 括：从图像拾取元件获取通过图像拾取对象的图像拾取所获得的已拾取图像，基于所获取 的所述已拾取图像来产生多种图像的数据，并连续输出一个水平行的像素的数据；在对于 每种图像预先设置的范围内对于每一像素串循环连接输出的所述多种图像的数据，并且输 出所连接的数据作为流，以产生虚拟合成图像，其包括所述多种图像，并且其中，当所述连 接进行一轮时的像素串是一个水平行的像素串；从连接到所述图像拾取装置的主机终端接 受指定所述虚拟合成图像中的矩形区域的数据发送请求，根据所述数据发送请求从所述流 提取并且连接数据，并且将所连接的数据作为新的流发送到所述主机终端。产生所述合成 图像包括：执行所述多种图像的像素串的连接，从而对于其每个水平行，连接具有等于预先 所确定的基准图像大小的大小的这些图像；对于大于一个水平行的其每个范围，连接具有 大于所述基准图像大小的大小的这些图像；对于小于一个水平行的其每个范围，连接具有 小于所述基准图像大小的大小的这些图像。
[0008] 应注意，此外，上述组件以及通过在方法、装置、系统、计算机程序、记录任何计算 机程序的记录介质等之间转换本发明的表示所获得的要素的任意组合有效地应用为本发 明的不同模型。
[0009] 通过本技术，可以在抑制从图像拾取到使用已拾取图像的数据而显示图像的等待 时间的同时执行各种信息处理。
[0010] 结合附图，本发明的以上和其它目的、特征和优点将从以下描述和所附权利要求 变得清楚，在附图中，相似部分或要素由相似标号表示。

【专利附图】

【附图说明】
[0011] 图1是描述可以应用本技术实施例的信息处理系统的配置的示例的示意图； [0012] 图2是描述图1的信息处理系统的主机终端和图像拾取装置的配置的框图；
[0013] 图3是具体描述图2所示的图像拾取装置的第一相机的配置的框图；
[0014] 图4是具体描述图3所示的金字塔滤波器部分的配置的框图；
[0015] 图5是具体描述图2的图像拾取装置的图像合成单元和图像发送单元的配置的框 图；
[0016] 图6是示意性示出图2的图像拾取装置和主机终端中的数据形式的基本转变的图 解视图；
[0017] 图7是示意性示出图2所描述的第一相机的大小调整部分所执行的图像的缩小处 理之前和之后的各像素之间的关系的图解视图；
[0018] 图8是不出1/4去马赛克图像、1/16去马赛克图像和1/64去马赛克图像的像素数 据对图5的图像合成单元的输入定时的时间图表；
[0019] 图9是示意性示出图5的图像合成单元连接多种图像的像素数据以产生合成图像 的方式的图解视图；
[0020] 图10是示意性示出图5的图像合成单元连接1/1缩小率去马赛克图像和更高缩 小率去马赛克图像的方式的图解视图；
[0021] 图11是示意性描述当对于从图2所示的第一相机和第二相机输出的各个图像数 据交替地重复参照图9和图10所描述的处理时所产生的合成图像的示例的视图；
[0022] 图12是示意性描述响应于来自图2的主机终端的请求的图像数据流的视图；
[0023] 图13是具体描述图2的第一相机的配置的框图，其中，第一相机包括用于连同基 于可见光的色彩信息一起获取红外光的信息的功能；
[0024] 图14是示出图13所示的第一相机的分离处理部分进行的数据的分离处理过程的 视图；
[0025] 图15是描述与图13所示的相机的配置对应的图像合成单元的配置的框图；
[0026] 图16是描述参照图13至图15所描述的配置所产生的合成图像的示例的示意图； 以及
[0027] 图17是示出当图1中所描述的主机终端和图像拾取装置彼此协作以执行信息处 理时的处理过程的示例的流程图。

【具体实施方式】
[0028] 图1描述可以应用本技术实施例的信息处理系统的配置的示例。参照图1，信息 处理系统10包括图像拾取装置12、主机终端20和显示装置16。图像拾取装置12包括两 个相机，用于对图像拾取对象(例如用户1)的图像进行拾取。主机终端20基于图像拾取装 置12所拾取的图像而根据用户的请求来执行信息处理。显示装置16输出主机终端20进 行的处理所获得的图像数据。主机终端20可以连接到网络18 (例如因特网）。
[0029] 主机终端20、图像拾取装置12、显示装置16和网络18可以通过有线缆线彼此连 接，或可以由无线LAN (局域网)等通过无线连接而连接。图像拾取装置12、主机终端20和 显示装置16中的两个或全部可以组合或装配为单一构件。图像拾取装置12可以不完全提 供在显示装置16上，用户1可以不是人，且可以包括任意数量的这种用户1。
[0030] 图像拾取装置12如下配置：在彼此间隔开已知距离的左右位置处布置两个相机， 其包括均含有图像拾取元件的第一相机22a和第二相机22b。图像拾取元件可以是在普通 数码相机和数码摄像机中使用的可见光传感器(例如CCD (电荷耦合器件）传感器或CMOS (互补金属氧化物半导体)传感器)。替代地，从红外光辐射元件和红外光传感器的组合所配 置的距离图像传感器可以与普通可见光传感器组合。这两个相机以相等的帧速率或不等的 帧速率从左右位置拾取在同一空间中存在的图像拾取对象的图像。图像拾取装置12进一 步使用已拾取图像来产生多种图像数据。
[0031] 以如下文中所描述的流格式来将图像拾取装置12拾取并且产生的图像数据发送 到主机终端20。主机终端20使用发送至其的图像数据来执行必要信息处理，以产生输出图 像。主机终端20所执行的处理的内容在此并非特定受限，而是取决于用户所请求的功能、 应用的内容等而合适地设置。
[0032] 例如，当反映作为图像拾取对象的用户1的行为的人物出现的游戏时，将要执行 用于将用户1的行为转换为命令输入等的信息处理，主机终端20在从图像拾取装置12获 取的相同定时使用左右图像来执行立体匹配。然后，主机终端20以预定速率指定关于相机 的视场具有高度、宽度和深度的三维空间中的图像拾取对象的位置坐标，以获取位置坐标 的时间变化。然后，主机终端20基于所获取的时间变化对于已拾取图像执行预定处理，或 在预先准备的图像上反映所获取的时间变化，以产生输出图像。
[0033] 在应用视频聊天应用的情况下，用户1的图像在实时的基础上通过网络18发送到 聊天伙伴。此时，主机终端20可以执行脸部检测处理，然后执行例如用于仅以高分辨率来 表示脸部检测处理所获得的用户1的脸部区域的处理。除了刚描述的这种图像处理之外， 主机终端20还可以合成用于执行各种应用的菜单或对象图像(例如光标)。注意，在仅应用 不请求与图像拾取对象距相机的距离有关的信息的应用（例如视频聊天）的情况下，可以仅 从一个相机来配置图像拾取装置12。
[0034] 显示装置16根据场合要求将主机终端20所执行的处理的结果在其上显示为图 像。显示装置16可以是包括输出图像的显示单元和输出声音的扬声器的电视机，并且可以 是例如液晶电视机、等离子电视机或PC (个人计算机）显示单元。
[0035] 如上所述，在信息处理系统10中，可以使用图像拾取装置12所拾取的运动图像来 执行各种处理，并且处理的内容并非具体地受限。在该实施例中，无论执行何种处理，图像 拾取装置12都不仅执行运动图像的图像拾取，而且还使用运动图片来产生多种图像数据。 然后，图像拾取装置12仅高效地发送主机终端20所指定的图像数据。因此，展现从图像拾 取到图像显示的减少的等待时间的信息处理系统得以实现，此外，其可以执行高级处理。
[0036] 图2描述主机终端20和图像拾取装置12的配置。可以从硬件或软件来实现下文 中所参照的图2和图3至图5、图13和图15中所描述的功能块。在功能块是从硬件配置 的情况下，可以从例如CPU (中央处理单元)、RAM (随机存取存储器)、R0M (只读存储器)、渲 染（rendering)电路、图像拾取元件等的组件来配置它们。在功能块是从软件配置的情况 下，可以通过从记录介质等加载到存储器中并且提供各种功能(例如数据输入功能、数据保 存功能、图像分析功能、渲染功能和通信功能)的程序来实现它们。相应地，本领域技术人员 应理解，功能块可以仅从硬件、仅从软件或从硬件和软件的组合以各种形式而得以实现，并 且不限于它们之一。
[0037] 主机终端20包括指令输入单元36、信息处理单元38、图像处理单元40、主存储器 42和通信单元44。指令输入单元36获取从用户输入的指令。信息处理单元38整体地控 制主机终端20和图像拾取装置12,以根据对象来执行信息处理。图像处理单元40产生输 出图像。主存储器42存储来自图像拾取装置12的图像数据。通信单元44是执行用于将 图像数据请求给图像拾取装置12并且从图像拾取装置12获取图像数据的接口。
[0038] 指令输入单元36接受从用户输入的指令，产生并且发送与输入到信息处理单元 38的指令对应的处理请求信号。通过普通输入装置(例如按钮、键盘、鼠标、轨迹球和/或触 摸板）以及解释对于输入装置执行的操作的实质以产生处理请求信号的处理器等的协作来 实现指令输入单元36。
[0039] 信息处理单元38根据从指令输入单元36获取的处理请求信号来将对图像数据的 请求发布到图像拾取装置12,将对图像处理的请求发布到图像处理单元40等。此外，信息 处理单元38将从图像拾取装置12发送至其的图像数据显影（develop)在主存储器42中， 如下文中详细描述的那样。此外，取决于信息处理系统10所执行的处理的实质，信息处理 单元38使用从图像拾取装置12发送至其的图像数据来执行图像分析(例如立体匹配、图像 拾取对象的跟踪、脸部检测、姿势检测等)。可以通过应用公知技术来实现这种图像分析。
[0040] 图像处理单元40使用主存储器42中显影的图像，根据来自信息处理单元38的请 求来执行图像处理，以产生显示图像。将产生的显示图像存储在帧存储器(未示出）中，并且 这些存储的显示图像在信息处理单元38的控制下连续地显示在显示装置16上。通信单元 44获取信息处理单元38产生的去往图像拾取装置12的图像数据的请求信号，并且将该请 求信号发送到图像拾取装置12。此外，通信单元44根据该请求信号来获取从图像拾取装置 12发送至其的图像数据，并且将获取的图像数据发送到信息处理单元38。
[0041] 图像拾取装置12包括第一相机22a、第二相机22b、图像合成单元30、图像发送单 元32和通信单元34。第一相机22a和第二相机22b拾取运动图片以产生多种图像数据。 图像合成单元30整合多种图像数据。图像发送单元32提取主机终端20所请求的图像数 据，并且产生用于发送的图像数据。通信单元34是执行从主机终端20接收对图像数据的 请求信号并且发送图像数据的接口。
[0042] 第一相机22a和第二相机22b从左右视点对同一图像拾取对象的运动画面进行拾 取。第一相机22a和第二相机22b逐步缩小所拾取的帧图像，以产生不同分辨率的多个图 像数据。图像合成单元30整合第一相机22a和第二相机22b所产生的图像数据，以产生如 下文中所描述的虚拟合成图像。
[0043] 图像发送单元32从图像合成单元30所产生的虚拟合成图像提取主机终端20所 请求的图像数据。具体地说，图像发送单元32从主机终端20接受虚拟合成图像中的区域 指定，并且执行普通剪切处理以切掉一区域。这使得主机终端20可以不仅指定某种图像， 而且还指定该图像的局部区域，从而可以仅接收有关数据。取决于主机终端20与图像拾取 装置12之间的通信方法，合适地封装图像发送单元32所提取的图像数据。
[0044] 通信单元34从主机终端20接受对图像数据的请求信号，并且向图像发送单元32 通知该请求信号。此外，通信单元34将图像发送单元32所产生的用于发送的图像数据发 送到主机终端20。通信单元34根据预定协议(例如，比如USB1. 0/2. 0/3. 0)将分组发送到 主机终端20。与主机终端20的通信不限于有线通信，而是可以是无线LAN通信(例如，比如 IEEE802. lla/b/g)或红外通信(例如IrDA (红外数据协会)）。
[0045] 该实施例中待由图像拾取装置12执行的处理基本上以图像的一个水平行的像素 串为单位而执行，并且以此单位提供给后续功能块。结果，图像拾取装置12的每个功能块 可以仅包括最小行缓冲器作为要在其中提供的存储器，并且可以通过低等待时间来执行从 图像拾取到图像数据发送到主机终端20的处理。
[0046] 图3具体描述图像拾取装置12的第一相机22a的配置。注意，第二相机22b也可 以具有相同配置。替代地，对于明显无需左右立体图像的一种图像，可以从第二相机22b排 除其产生功能。第一相机22a包括图像获取部分102a、去马赛克部分104a、大小调整部分 108a和金字塔滤波器部分135a。图像获取部分102a以预定帧速率读出通过图像拾取元件 进行曝光所拾取的图像。该图像是原始（RAW)图像。
[0047] 每当曝光原始图像的一个水平行的像素串时，图像获取部分102a将该像素串的 图像发送到去马赛克部分l〇4a和图像合成单元30。在该实施例中，图像获取部分102a可 以通过相似的配置和相似的处理过程以低等待时间来发送主机终端20所请求的数据，而 不取决于相机的分辨率。因此，即使图像拾取元件的性能或主机终端20待执行的处理在未 来扩展，可能的是：在可以相似地执行传统处理的同时，应对未来扩展，而无需明显修改系 统配置。结果，可以通过低成本来实现高可扩展性。
[0048] 注意，在以下描述中，在η是自然数的情况下，假设图像获取部分102a待获取的原 始图像在水平方向上具有nW个像素的宽度并且在垂直或高度方向上具有nH个像素的高 度。这是因为，期望将待输入到下文中所描述的金字塔滤波器部分135a的缩小之前的并且 在水平方向上具有数量W的像素并且在垂直方向上具有另一数量Η的像素的图像确定为基 准图像。最简单地，η可以设置为η=1，可以根据取决于相机的分辨率的原始图像的大小来 准备金字塔滤波器部分135a。
[0049] 另一方面，在该实施例中，可以使得金字塔滤波器部分135a的配置以相机的分辨 率由于技术革新等而变化的任何方式而原样使用，由此增强可扩展性，并且无论分辨率如 何都可以使得以相似的方式来执行各种处理。相应地，响应于待引入的相机的分辨率来确 定自然数η。替代地，可以在可预知的范围内确定η的最大值，可以响应于自然数η的最大 值来准备缓冲存储器的容量等。在该实例中，图像获取部分102a从连接至其的图像拾取元 件确定η的实际值，并且向其它块通知η的该实际值，从而可以在处理的内容上反映 η的 值，或可以确定缓冲存储器的使用范围。
[0050] 去马赛克部分104a包括具有用于nW个像素的容量的FIFO(先进先出)缓冲器105 以及简单去马赛克处理部分106。将原始图像的一个水平行的像素数据输入到FIFO缓冲器 105并且由其保存，直到将下一个水平行的像素数据输入到去马赛克部分104a为止。当简 单去马赛克处理部分106接收到两个水平行的像素数据时，其使用像素数据来基于周围像 素而执行对于每个像素完成色彩信息的去马赛克处理，由此创建全彩色图像。
[0051] 如本领域技术人员公知的那样，大量方法对于这种去马赛克处理是可用的。在此， 可以满意地使用仅使用两个水平行的像素的简单去马赛克处理。作为示例，如果待计算对 应YCbCr值的像素仅具有G值，则将该像素的R值计算为左右邻近像素的R值的平均值；原 样使用G值来确定该像素的G值；并且使用位于该像素的上侧或下侧的像素的B值来确定 该像素的B值。然后，使用R、G和B值，并且将它们代入到预定转换表达式中，以计算YCbCr 值。由于这种去马赛克处理在本领域是公知的，因此在此省略更详细的描述。注意，通过去 马赛克部分l〇4a和后续块的处理所产生的图像数据的彩色空间不限于YCbCr空间。
[0052] 可以满意地使用简单去马赛克处理的原因在于，在需要高质量图像的情况下，可 以使用原始图像。作为对简单去马赛克处理的修改，可以使用从四个RGB像素配置一个像 素的YCbCr值的方法。在此情况下，由于获得具有原始图像的1/4大小的去马赛克图像，因 此可以消除下文中所描述的金字塔滤波器部分135a的第一滤波器137a。
[0053] 简单去马赛克处理部分106如图3所描述的那样将例如2X2的四个RGB像素转 换为用于四个像素的YCbCr彩色信号，并且将YCbCr彩色信号发送到图像合成单元30和大 小调整部分l〇8a。关于一个原始图像，简单去马赛克处理部分106对于输入至其的整个原 始图像重复该处理，以产生在水平方向上具有nW个像素并且在垂直方向上具有nH个像素 的宽度的去马赛克图像。该图像具有当在水平方向上具有W个像素并且在垂直方向上具有 Η个像素的作为基准的图像在水平方向和垂直方向二者上都乘以η时所获得的大小。因此， 该图像在下文中被称为η2/1去马赛克图像。
[0054] 大小调整部分108a在水平和垂直方向二者上将图像获取部分102a所获取的原始 图像和去马赛克部分l〇4a所产生的n 2/l去马赛克图像都缩小到1/n倍，以产生基准图像 大小的图像。为此，大小调整部分l〇8a包括具有用于nW个像素的容量的FIFO缓冲器112 和114以及缩小处理部分110。从每一个均用于保存原始图像的一个水平行的图像数据的 一个或多个FIFO缓冲器配置FIFO缓冲器112。FIFO缓冲器具有这样的任务：直到在来自 单次缩小处理所必须的预定数量的行之中的最后一行的像素数据从图像获取部分l〇2a输 入至其之后，保存其它一行或多行的图像数据。
[0055] 缩小处理部分110在预定数量的行的原始图像的像素数据从图像获取部分102a 输入至其的时间点使用所输入的像素数据来执行缩小处理。对于缩小处理，可以使用通常 所使用的方法(例如线性内插)。根据对于缩小处理所应用的方法来确定配置FIFO缓冲器 112的FIFO缓冲器的数量。例如，在用于ηΧη个像素的块中的每一个的像素值的平均值用 作一个像素值的情况下，为了产生一行缩小图像，需要η行的像素数据。因此，FIFO缓冲器 的数量是n-1。而在图3的示例中，示出了多于两个的FIFO缓冲器，一个FIFO缓冲器可以 用于缩小到1/2倍。
[0056] 此外，从用于分别保存分别与Y信号、Cb信号和Cr信号对应的n2/l去马赛克图像 的一个水平行的图像数据的一个或多个FIFO缓冲器相似地配置FIFO缓冲器114。缩小处 理部分110在预定数量的行的n 2/l去马赛克图像的图像数据从去马赛克部分104a输入至 其的时间点，使用所输入的图像数据来执行与以上所描述的相似的缩小处理。
[0057] 作为缩小处理的结果，缩小处理部分110输出缩小的原始图像和缩小之后的Y图 像、Cb图像和Cr图像的图像数据，其对于每一行在水平方向上具有W个像素并且在垂直方 向上具有Η个像素的宽度。大小调整部分108a将数据连续发送到图像合成单元30,并且还 将Y图像、Cb图像和Cr图像的数据发送到金字塔滤波器部分135a。由于此时的Y图像、Cb 图像和Cr图像具有基准大小，因此它们中的每一个在下文中被称为1/1去马赛克图像。注 意，在取决于相机的分辨率而满足n=l的情况下，可以省略大小调整部分108a进行的缩小 处理。金字塔滤波器部分135a具有用于将特定图像分级为多个分辨率并且输出所得各分 辨率的图像的功能。对于每一行，将金字塔滤波器部分135a所产生的各分辨率的Y图像、 Cb图像和Cr图像的像素数据发送到图像合成单元30。
[0058] 图4描述金字塔滤波器部分135a的细节。金字塔滤波器部分135a基本上包括与 所需分辨率级别对应的多个1/4缩小滤波器。在图4中，金字塔滤波器部分135a包括包含 第一滤波器137a、第二滤波器141a和第三滤波器145a的三个等级的滤波器。每个滤波器 执行双线性内插彼此邻近的四个像素的处理，以在算术上运算这四个像素的平均像素值。 相应地，在该处理之后的图像大小是在该处理之前的图像的图像大小的1/4。注意，可以容 易地理解，即使滤波器的数量并非三个等级的滤波器，也可以相似地实现该实施例。
[0059] 在第一滤波器137a的前级，布置与Y信号、Cb信号和Cr信号中的每一个对应的 W个像素的FIFO缓冲器139。FIFO缓冲器139具有这样的任务：保存一个水平行的YCbCr 图像数据，直到下一水平行的图像数据从大小调整部分l〇8a输入至其为止。在输入两个水 平行的图像数据之后，第一滤波器137a对2X2的四个像素的Y像素值、Cb像素值和Cr像 素值取平均值。通过重复该处理序列，获得在水平方向和垂直方向二者上都具有缩小到1/2 的长度的1/1去马赛克图像。结果，将尺寸整体地转换到1/4。将通过转换所获得的1/4去 马赛克图像发送到图像合成单元30,并且传递到在后级的第二滤波器141a。
[0060] 在第二滤波器141a的前级，布置与Y信号、Cb信号和Cr信号中的每一个对应的 用于W/2个像素的一个FIFO缓冲器143。此外，FIFO缓冲器143具有这样的任务：保存一 个水平行的YCbCr像素，直到下一水平行的像素数据从第一滤波器137a输入至其为止。在 输入两个水平行的像素数据之后，第二滤波器141a对2 X 2的四个像素的Y像素值、Cb像 素值和Cr像素值取平均值。通过重复该处理序列，获得在水平和垂直方向二者上都具有缩 小到1/2的长度的1/4去马赛克图像。结果，将尺寸整体地转换为1/16。将通过转换所获 得的1/16去马赛克图像发送到图像合成单元30,并且传递到在后级的第三滤波器145a。
[0061] 此外，虽然用于W/4个像素的FIFO缓冲器147被布置在第三滤波器145a的前级， 但第三滤波器145a重复与以上所描述的相似的处理序列。第三滤波器145a将1/64去马 赛克图像输出到图像合成单元30。注意，上述这种金字塔滤波器公开于专利文献1中，从而 是已知的，因此，在此省略金字塔滤波器部分的更详细的描述。
[0062] 以此方式，将连续缩小了 1/4的图像数据从金字塔滤波器部分135a的滤波器输入 到图像合成单元30。据此可知，由于图像数据连续地通过金字塔滤波器部分135a中的滤波 器，因此在滤波器的后级所需的FIFO缓冲器可以具有更小的容量。注意，在各级处的滤波 器的数量不限于三个，而是可以根据分辨率的期望宽度而合适地确定。
[0063] 此外，图像拾取装置12的第二相机22b具有基本上与第一相机22a相同的结构， 因此，在附图中省略第一相机22a的结构的说明。然而，在以下描述中，第二相机22b的图 像获取部分、去马赛克部分、金字塔滤波器部分、第一滤波器、第二滤波器和第三滤波器分 别被称为图像获取部分l〇2b、去马赛克部分104b、大小调整部分108b、金字塔滤波器部分 135b、第一滤波器137b、第二滤波器141b和第三滤波器145b，其中向其添加了对应标号。
[0064] 图5具体描述图像合成单元30和图像发送单元32的配置。参照图5,图像合成 单元30包括输出定时调整部分150,用于调整从第一相机22a和第二相机22b发送至其的 每个大小的图像数据到图像发送单元32的输出定时。图像合成单元30还包括用于输出定 时调整的 FIFO 缓冲器 170a、172a、174a、176a、170b、172b、174b 和 176b。注意，虽然在图 3 和图4中，单独表示Y、Cb和Cr数据，并且指示与它们对应的用于数据输入和输出的箭头标 记，但在图5和后续附图中，这些因素被看作一个集合并且由一个箭头标号指示，以简化说 明。
[0065] FIFO缓冲器170a保存用于从第一相机22a的大小调整部分108a发送至其的缩小 的原始图像或1/1去马赛克图像的一个水平行的像素值。FIFO缓冲器172a、174a和176a分 别保存用于从第一相机22a的第一滤波器137a、第二滤波器141a和第三滤波器145a发送 至其的1/4去马赛克图像、1/16去马赛克图像和1/64去马赛克图像的一个水平行的YCbCr 像素值。相应地，FIFO缓冲器170a、172a、174a和176a分别保存W、W/2、W/4和W/8像素 值。
[0066] FIFO缓冲器170b保存用于从第二相机22b的大小调整部分108b发送至其的缩小 的原始图像或1/1去马赛克图像的一个水平行的像素值。FIFO缓冲器172b、174b和176b 分别保存从第二相机22b的第一滤波器137b、第二滤波器141b和第三滤波器145b发送至 其的1/4去马赛克图像、1/16去马赛克图像和1/64去马赛克图像的一个水平行的YCbCr像 素值。相应地，FIFO缓冲器170b、172b、174b和176b分别保存W、W/2、W/4和W/8像素值。 [0067] 输出定时调整部分150将从第一相机22a的图像获取部分102a发送至其的原始 图像或从去马赛克部分l〇4a发送至其的n 2/l去马赛克图像的η行的像素数据对于每一行 连续输出到图像发送单元32。此后，输出定时调整部分150将FIFO缓冲器170a中存储的 第一相机22a的缩小的原始图像或1/1去马赛克图像的一行的图像数据以及FIFO缓冲器 170b中存储的第二相机22b的缩小的原始图像或1/1去马赛克图像的一行的像素数据按此 顺序输出。
[0068] 此后，输出定时调整部分150根据例如下文中详细描述的规则连续输出一行或小 于一行的1/4的范围内和更高缩小率去马赛克图像的像素数据。注意，取决于原始图像或 n2/l去马赛克图像到图像合成单元30的输入定时或该图像到图像发送单元32的输出定 时，可以提供用于存储这些图像的附加 FIFO缓冲器。
[0069] 以此方式，输出定时调整部分150调整输出定时，从而产生新的像素行，其中，原 始图像或n2/l去马赛克图像的η行、用于左右缩小原始图像或1/1去马赛克图像的一行或 左右1/4去马赛克图像、1/16去马赛克图像和1/64去马赛克图像的一行或一行中的一部 分的像素数据循环连接。如上所述，按光栅顺序来执行该实施例中图像拾取装置12所执行 的处理，其中，从在图像的左上角处的开始点在图像的向下方向上重复从左到右的处理。在 该实例中，用于一个水平行(一行）的像素是基本处理单位。基本上以如下的流格式来执行 从相机直到图像发送单元32的像素数据的输入和输出以及到主机终端20的图像数据的传 输：以开始于顶行的顺序连接图像的每一行的像素数据。
[0070] 此外，从图像合成单元30输出的数据具有一系列像素值的流的形式，其中，混合 第一相机22a和第二相机22b获取并且产生的各个图像的数据。相应地，严格地说，合成图 像并不产生为二维平面上的图像。然而，如下文中详细描述的那样，如果将当图像的连接关 于从图像合成单元30输出的流进行一轮时的像素的数量定义为合成图像的水平宽度，则 该流可以作为具有例如刚描述的宽度的图像而经受后面的处理。
[0071] 结果，图像合成单元30产生从原始图像或n2/l去马赛克图像、左右缩小原始图像 或1/1去马赛克图像、左右1/4去马赛克图像、左右1/16去马赛克图像图像以及左右1/64 去马赛克图像合成的图像。刚描述的这种虚拟图像下文中被称为"合成图像"。
[0072] 注意，在图5中，假设在合成图像中选择性地包括可以从第一相机22a的图像获取 部分102a输入的原始图像以及可以从去马赛克部分104a输入的n 2/l去马赛克图像之一。 相似地，假设在合成图像中选择性地包括可以从相机的大小调整部分108a和108b输入的 缩小原始图像和1/1去马赛克图像。因此，仅描述它们中每一个的一个输入行。这是因为， 同样在用于在主机终端20等上显示时，在很多情况下，如果原始图像和n 2/l去马赛克图像 之一或缩小的原始图像和1/1去马赛克图像之一是可用的，则这是足够的。
[0073] 应选择图像中的哪一个可以根据来自主机终端20的请求而确定，或另外可以是 固定的。在前一种情况下，可以在相机的输出侧或在图像合成单元30的输入侧提供复用器 等电路，从而图像发送单元32的控制部分182等根据来自主机终端20的请求来执行复用 器等的转变控制。替代地，可以在合成图像中包括所有数据，从而下文中所描述的图像发送 单元32的数据选择部分184执行选择。相似地，假设高分辨率的图像(例如原始图像或n 2/l 去马赛克图像)仅用于显示，并且在很多情况下不需要左右图像。因此，在图5的示例中，仅 从第一相机22a输入这些图像。依据场合要求，可以从两个相机获取原始图像或n 2/l去马 赛克图像。
[0074] 图像发送单元32包括控制部分182、数据选择部分184和数据形成部分186。控 制部分182基于来自主机终端20的请求信号来指令数据选择部分184从合成图像内发送 出区域。控制部分182从主机终端20进一步接收用于请求开始或结束图像拾取的信号、用 于指定图像拾取条件的信号等。然后，控制部分182将信息合适地提供给第一相机22a的 图像获取部分l〇2a和第二相机22b的图像获取部分102b等，以控制图像拾取处理。然而， 由于公知技术可以应用于控制，因此在此省略控制的详细描述。
[0075] 数据选择部分184接受从图像合成单元30输入的合成图像的像素串的数据作为 输入数据，基于来自控制部分182的指令来选择性地提取像素数据，并且将像素数据发送 到数据形成部分186。如果主机终端20请求合成图像中包括的所有数据，则数据选择部分 184将用于从图像合成单元30连续输入至其的合成图像的每一行的所有像素数据输入到 数据形成部分186。如果主机终端20仅请求这些数据中的一部分，则数据选择部分184执 行从合成图像中切掉与所请求的数据对应的区域。然后，数据选择部分184连接切掉的像 素串的这些数据，以重构流，并且将该流发送到数据形成部分186。
[0076] 数据形成部分186将从数据选择部分184输入至其的流的格式转换为符合与主机 终端20的通信协议的格式，从而该流具有其可以被发送出去的数据格式。然后，通信单元 34将该数据格式的流发送到主机终端20。例如，数据形成部分186将该流转换为用于USB 的端点的每个大小的分组，并且将这些分组写入到内部分组缓冲器(未示出）中。然后，通信 单元34将分组缓冲器中的分组连续传送到主机终端20。
[0077] 图6示意性地示出图像拾取装置12和主机终端20中的数据的形式的基本转变。 在此，作为最简单的示例，描述在水平方向上具有W个像素并且在垂直方向上具有Η个像素 的宽度的整个帧图像200的数据从图像拾取装置12到主机终端20的发送。如上所述，以 像素的光栅顺序来执行图像数据的产生、选择和发送，并且连续地连接一行的像素数据，以 形成要用于处理的流。
[0078] 在上述这种情况下从数据选择部分184输出的数据与流202对应。在图6中，流 202的横坐标轴表示时间的经过，配置流202的矩形LI、L2、……、LH分别表示帧图像200 的第一行、第二行、……、第Η行中的像素的数据。如果一个像素的数据大小是d字节，则 每个矩形的数据大小是WX d字节。
[0079] 数据形成部分186对每个预定大小的流202进行封装，以产生分组P1、P2、P3、P4、 P5、……。因此，数据以分组P1、P2、P3、P4、P5、……的顺序从图像拾取装置12发送到主 机终端20。主机终端20通过通信单元44接收分组P1、P2、P3、P4、P5、……，并且在信息 处理单元38的控制下将分组的数据存储到主存储器42中。
[0080] 此时，主机终端20以光栅顺序将分组的数据排列到主存储器42中，从而它们在初 始帧图像200的水平方向上具有与像素数量W对应的宽度，并且将数据显影到WXdXH字 节的连续地址，由此再现与帧图像200对应的图像204。在图6中，配置图像204的矩形表 示分组的数据。取决于分组的数据大小，一个分组中所包括的图像数据可以跨越图像204 的一行的末尾（tale)和下一行的开头。图像处理单元40在信息处理单元38的控制下处 理主存储器42中显影的图像204或将图像204与不同的图像进行合成，以渲染待在显示装 置16上显示的图像。
[0081] 图7示意性地示出在大小调整部分108a执行的图像缩小处理之前和之后的各像 素之间的关系。图像310是原始图像或n 2/l去马赛克图像，并且具有在水平方向上nW个 像素和在垂直方向上nH个像素的宽度。作为图像310的内部中描绘的最小单位的矩形是 像素，从1到η的行号和列号应用于在图像的左上角位置处的ηΧη个像素。例如刚描述的 图像的图像数据在原始图像的情况下从图像获取部分l〇2a对于每一行输入到大小调整部 分108a，而在去马赛克图像的情况下，从去马赛克部分104a对于每一行输入到大小调整部 分 108a。
[0082] 大小调整部分108a在FIFO缓冲器112和114中保存先前输入的各行的图像数据， 直到对于缩小处理必须的预定数量的行的所有图像数据完全输入为止。如果尝试在使用 图像310的ηΧη个像素的块的缩小之后产生一个像素，则在第η行的数据输入的时间点， 大小调整部分108a从FIFO缓冲器中保存的第一行至第（η-1)行读出像素数据。然后，大 小调整部分l〇8a通过对用于每个块的像素值取平均值或通过类似的方法来计算一个像素 值。图7的图像310的粗线所限定的矩形与缩小的原始图像或1/1去马赛克图像的一个像 素对应。重复该处理序列直到图像的行的结束，以产生缩小的原始图像或1/1去马赛克图 像的一行的像素数据。
[0083] 此外，在图像310的垂直方向上重复该处理序列，以产生在水平方向和垂直方向 上都缩小到1/n倍的整个缩小的原始图像或1/1去马赛克图像。每当大小调整部分l〇8a产 生一行的像素数据时，其就将像素数据连续地输入到图像合成单元30和金字塔滤波器部 分135a。以此方式所产生的1/1去马赛克图像在下文中以开始于第一行的顺序由L (1/1)l、 L(1/1)2、L(1/1)3、…表示。注意，1/1去马赛克图像可以如上所述通过后面的处理由相同大小 的缩小的原始图像替换。
[0084] 图8是不出1/1去马赛克图像、1/4去马赛克图像和1/16去马赛克图像的像素数 据从大小调整部分108a和金字塔滤波器部分135a的滤波器输入到图像合成单元30的定 时的时间图。注意，虽然图8描绘了包括1/16去马赛克图像的缩小图像，但即使添加其它一 个或多个缩小的去马赛克图像，也可以在原理上应用相似的处理。在图8中，时间步长S1、 S2、S3和S4、……分别表示1/1去马赛克图像的第一行、第二行、第三行、第四行、……的 像素数据输入到图像合成单元30的时段。
[0085] 在该实施例中，将1/1去马赛克图像的一行的像素数据输入的时段设置为基准时 间步长，该时间步长与合成图像的一行的一个像素串对应。注意，大小调整部分l〇8a与当 n-1行的n2/l去马赛克图像的像素数据存储在FIFO缓冲器中然后第η行的n2/l去马赛克 图像输入时同时开始产生开始于行的顶部的1/1去马赛克图像的像素数据。
[0086] 从而，在输入1/1去马赛克图像的每一行的像素数据的每个时间步长内由粗箭头 标记所指示的时段内，输入n-1行的n 2/l去马赛克图像的至少像素数据，并且在图8中，简 化该时段内的时间轴。在任何情况下，时间步长S1、S2、S3、S4、……也与对于η行输入n 2/l 去马赛克图像的像素数据的时段对应。这也相似地应用于选择原始图像作为输入数据的情 况。
[0087] 图8的顶级、中间级和底级分别指不1/1去马赛克图像、1/4去马赛克图像和1/16 去马赛克图像的输入定时，一个矩形与一个像素的输入对应。首先，在时间步长S1内，1/1 去马赛克图像的第一行的像素串L (1/1)l的像素数据以行顶部的像素开始的顺序输入。在该 时间步长内，由于尚未产生1/4去马赛克图像和1/16去马赛克图像，因此并不输入它们。
[0088] 在下一时间步长S2内，1/1去马赛克图像的第二行的像素串L(1/1)2的像素数据以 行顶部开始的顺序输入。此时，金字塔滤波器部分135a使用1/1去马赛克图像的第一行的 像素串L (1/1)l和第二行的像素串L(1/1)2的像素数据来产生1/4去马赛克图像的第一行的像 素串L (1/4)l。因此，在时间步长S2内，还输入像素行的图像数据。
[0089] 例如，使用从1/1去马赛克图像的第一行的像素串L(1/1)l内的时段206内输入的 两个像素的像素值以及从第二行的像素串L (1/1)2内的时段208内的两个像素的像素值来产 生在1/4去马赛克图像的第一行的像素串L(1/4)l的左端处在时段210内输入的像素值。因 此，在时间步长S2内，像素串L (1/4)l的像素值的输入定时从像素串L(1/1)2的对应像素的像 素值的输入定时延迟至少两个像素的时段。
[0090] 在下一时间步长S3内，输入1/1去马赛克图像的第三行的像素串L(1/1)3的像素数 据。在该时间步长内，尚未产生1/4去马赛克图像的第二行的像素数据，也尚未产生1/16 去马赛克图像，因此，不输入它们。在下一时间步长S4内，S卩：在输入1/1去马赛克图像的 第四行的像素串L (1/1)4的像素值的时段内，也与在时间步长S2内相似地输入1/4去马赛克 图像的第二像素行L(1/4)2的像素数据。
[0091] 此外，金字塔滤波器部分135a使用1/4去马赛克图像的第一像素行L(1/4)l和第 二像素行L (1/4)2的像素数据来产生1/16去马赛克图像的第一像素行L(1/16)l。因此，在时间 步长S4内，还输入像素行的像素数据。例如，使用从1/4去马赛克图像的第一行的像素串 L(1/4)l内的时段210和另一时段212内输入的两个像素的像素值以及从1/4去马赛克图像 的第二行的像素串L (1/4)2内的时段214和另一时段216内输入的两个像素的像素值来产生 从1/16去马赛克图像的第一行的像素串L (1/lfal内的第一输入时段218内输入的像素值。
[0092] 因此，在时间步长S4内，像素行L(1/16)l的输入定时从像素串L(1/4)2的对应像素的 像素值的输入定时延迟至少两个像素的时段。此后，相似地重复图像的像素数据的输入，从 而1/1去马赛克图像、1/4去马赛克图像和1/16去马赛克图像的所有像素数据输入到图像 合成单元30。
[0093] 以此方式，图像的像素数据从第二相机22b的各块以及第一相机22a的各滤波器 作为单独流以光栅顺序而输入。图像合成单元30连接所述流以产生单个流，并且将所述流 输出到图像发送单元32。最简单地，无论初始图像如何，都可以按输入定时的顺序来连接像 素值的数据。在此情况下，合成处理本身是容易的。然而，必须通过后面的处理来分类并且 提取每个图像的每一行的数据，这使得处理复杂。
[0094] 另一构思是，在每个时间步长内，对于单独图像一起放置像素数据，以产生像素 串，并且串行连接像素串。在此情况下，待输出的数据的大小按取决于时间步长的以下方式 大量变化。例如，在时间步长S1或S3内，仅输入原始图像或n2/l去马赛克图像和1/1去 马赛克图像的像素数据，而在时间步长S4内，进一步输入1/4去马赛克图像和1/16去马赛 克图像的像素数据。因此，在该实施例中，从包括不输入数据的时间步长的图像内，利用该 时间步长来输出之前刚输入的部分图像数据，从而在时间步长内输出的数据的大小几乎相 等。
[0095] 图9示意性地示出其中图像合成单元30连接多种图像的像素数据以产生合成图 像的方式。从用于原始图像或n2/l去马赛克图像的区域320以及用于1/1和更高缩小率 去马赛克图像的另一区域322配置合成图像312。如上所述，合成图像312使用1/1去马 赛克图像的一行的像素数据的输入时段作为基本时段，并且基本上连接在基本时段内输入 的各种图像的像素串，以产生一个水平行的像素。具体地说，合成图像312以第一行、第二 行、……、第η行的顺序首先原样连接用于产生1/1去马赛克图像的一行的η行的n 2/l去 马赛克图像的像素数据。这也相似地应用于原始图像。
[0096] 简而言之，合成图像312的第一行包括由原始图像或具有nW个像素的水平宽度的 图像310的第一行的像素串、第二行的像素串、……、第η行的像素串的连接构成的像素行 (箭头标记Α、Β、……、Ν)。此外，对使用通过连接获得的像素数据产生的1/1去马赛克图 像的第一行的像素串L(1/1)l (箭头标记Μ)进行连接。所得数据序列与图8所示的时间步长 S1对应，因此被定义为合成图像312的第一行。
[0097] 然后，为了产生合成图像312的第二行，对于产生1/1去马赛克图像的第二行所使 用的η行的n 2/l去马赛克图像或原始图像的像素数据从第（n+1)行到第2n行以此顺序连 接。然后，对使用连接中的像素数据所产生的1/1去马赛克图像的第二行的像素串L (1/1)2进 行连接。由于如图8所示在此时在时间步长S2内还产生1/4去马赛克图像的第一行的像 素串L (1/4)l，因此也对其进行连接。然而，注意，1/4和更高缩小率去马赛克图像的像素串以 比每个时间步长内的一行更小的单位连接，以几乎等于如上所述待输出的数据的大小。下 文中描述特定示例。
[0098] 对于合成图像312的每一行重复相似的处理序列，以产生如图9所示的这种合成 图像312。注意，虽然从合成图像312内，空矩形仅表示第一行，但像素数据合适地代入到其 它区域中。在以此方式对于η行连接原始图像或n 2/l去马赛克图像的像素数据以产生一 行的一个像素串的情况下，合成图像312的区域320具有等于初始图像的1/n倍的在垂直 方向上的大小，即具有如图9所描述的Η个像素的大小。
[0099] 通过上述这种处理，原始图像或η2/1去马赛克图像的像素数据以及1/1去马赛 克图像的对应像素数据被包括到合成图像312的同一行中，并且可以使得行的数量在区域 320与区域322之间相等。注意，垂直方向上的合成图像312的大小严格地是等于Η个像素 与包括如下所述的无效区域的若干像素之和的值。
[0100] 另一方面，通过连接数量为η的nW个像素，水平方向上的区域320的大小是nXnW 个像素，如图9所示。由于图像合成单元30实际上连接多行的像素数据以产生流并且如上 所述输出该流，因此合成图像312并不产生为二维平面。然而，通过如图9所示的水平宽度 来限定虚拟图像平面，可以通过与用于普通图像相似的修剪处理来实现数据选择部分184 进行的数据的剪切。
[0101] 图1〇示意性地示出图像合成单元30连接1/1和更高缩小率去马赛克图像以产生 图9的区域322的方式。注意，虽然在图10中示出仅连接图8中描绘的三种去马赛克图像 的方式以有助于理解，实际上如下所述交替地连接来自左边相机和右边相机的图像数据。 在图10中，SO、SI、S2、S3、……表示以上参照图8所描述的时间步长，且在单独时段内输 入1/1去马赛克图像的一行的像素数据。
[0102] 在图10中，在每个时间步长内从图像合成单元30作为部分合成图像输出的像素 串在不同图像当中由不同的虚线矩形来指示。如以上参照图8所描述的那样，在时间步长 S1内，仅输入1/1去马赛克图像的第一行的像素串L(1/1)l的像素数据。图像合成单元30临 时将像素数据存储到FIFO缓冲器170a中，然后在其输出原始图像或n 2/l去马赛克图像的 η行的像素数据之后，读出并且输出临时存储的数据。注意，从如上所述并且如图10中所描 绘的W个像素配置1/1去马赛克图像的每一行。
[0103] 在下一时间步长S2内，在如图8所示的定时并行输入1/1去马赛克图像的第二行 的像素串L (1/1)2的像素数据和1/4去马赛克图像的第一行的像素串L(1/4)l的像素数据。图 像合成单元30临时将所输入的像素数据存储到FIFO缓冲器170a和172a中。然后，在图 像合成单元30输出原始图像或n 2/l去马赛克图像的η行的像素数据之后，其从FIFO缓冲 器170a读出1/1去马赛克图像的第二行像素串L (1/1)2的像素数据，并且输出所读出的像素 数据。
[0104] 在输出1/1去马赛克图像的第二行的像素串L(1/1)2的所有像素值之后，然后图像 合成单元30从FIFO缓冲器172a读出1/4去马赛克图像的第一行的像素串L (1/4) 1，并且输 出所读出的数据。此时，考虑到随后的时间步长S3内待输出的数据量，仅输出从1/4去马 赛克图像的第一行的像素串L (1/4)l的所有像素当中的前一半中的那些像素（图像平面的左 边一半中的那些像素）的像素数据，而其余数据继续保存在FIFO缓冲器172a中。
[0105] 在下一时间步长S3内，仅输入1/1去马赛克图像的第三行的像素串L(1/1)3的像素 数据。图像合成单元30临时将输入的像素数据存储到FIFO缓冲器170a中，并且在其输 出原始图像或n 2/l去马赛克图像的η行的像素数据之后，读取并且输出临时存储的像素数 据。然后，图像合成单元30从FIFO缓冲器172a读出尚未输出的1/4去马赛克图像的第一 行的像素串L (1/4)l的后一半（图像平面中的右边一半）中的那些像素数据，并且输出所读出 的像素数据。
[0106] 在下一时间步长S4内，在如图8所示的定时并行输入1/1去马赛克图像的第四行 的像素串L (1/1)4的像素数据以及1/4去马赛克图像的第二行的像素串L(1/4)2和1/16去马 赛克图像的第一行的像素串L (1/16)l的像素数据。图像合成单元30临时将输入的像素数据 存储到FIFO缓冲器170a、172a和174a中。然后，在输出原始图像或n 2/l去马赛克图像的 η行的像素数据之后，图像合成单元30从FIFO缓冲器170a读出1/1去马赛克图像的第四 行的像素串L(1/1)4的像素数据，并且输出所读出的像素数据。
[0107] 在输出1/1去马赛克图像的第四行的像素串L(1/1)4的所有像素数据之后，随后从 FIFO缓冲器172a读出并且输出1/4去马赛克图像的第二行的像素串L(1/4)2的前一半。然 后，输出1/16去马赛克图像的第一行的像素串L(1/16)l。此时，考虑到三个后续时间步长S5、 S6和S7内待输出的数据量，1/16去马赛克图像的第一行的像素串L(1/16)l分区为四个，并且 仅输出第一分区的数据。其余分区的数据存储到FIFO缓冲器174a中。
[0108] 在下一时间步长S5内，仅输入1/1去马赛克图像的第五行的像素串L(1/1)5的像素 数据。图像合成单元30临时将像素数据存储到FIFO缓冲器170a中，然后在其输出原始图 像或n 2/l去马赛克图像的η行的像素数据之后，读出并且输出临时存储的数据。然后，图 像合成单元30从FIFO缓冲器172a读出尚未输出的1/4去马赛克图像的第二行的像素串 L(1/4)2的后一半的像素数据，并且输出所读出的像素数据。此外，图像合成单元30输出尚未 输出的1/16去马赛克图像的第一行的像素串L (1/16)l的第二分区的像素数据。
[0109] 相似地，在下一时间步长S6内，在原始图像或n2/l去马赛克图像的η行的像素数 据之后，图像合成单元30输出1/1去马赛克图像的第六行的像素串L (1/1)6的像素数据、1/4 去马赛克图像的第三行的像素串L(1/4)3的前一半的像素数据以及1/16去马赛克图像的第 一行的像素串L (1/16)l的第三分区的像素数据。在下一时间步长S7内，在原始图像或n2/l 去马赛克图像的η行的像素数据之后，图像合成单元30输出1/1去马赛克图像的第七行的 像素串L(1/1)7的像素数据、1/4去马赛克图像的第三行的像素串L (1/4)3的后一半的像素数据 以及1/16去马赛克图像的第一行的像素串L(1/16)l的最后分区的像素数据。
[0110] 具体地说，在包括时间步长S2和S3的两个时间步长内一半接一半地输出1/4去 马赛克图像的第一行的像素串L (1/4)l。在四个时间步长S4、S5、S6和S7内按四分之一输出 1/16去马赛克图像的第一行的像素串L (1/16)l。在水平方向上的1/1去马赛克图像的像素 数量是W的情况下，由于1/4去马赛克图像和1/16去马赛克图像的一行的像素数量分别是 W/2和W/4,因此如图10描绘的那样按时间步长输出（W/2)/2和（W/4)/4个像素的数据。
[0111] 向下重复上述输出处理序列，直到图像的最底行。此时，在输出1/1去马赛克图像 的最底行的像素数据的时间点，尚未输出1/4去马赛克图像的最底行的后一半的像素数据 和1/16去马赛克图像的最底行的其余四分之三的像素数据。注意，由于原始图像或n 2/l去 马赛克图像的数据以及1/1去马赛克图像的数据在合成图像中具有相等数量的行（H个像 素)，因此在同一行完成它们的数据输出。
[0112] 图像合成单元30继续输出合成图像的像素数据，直到其完成尚未输出的数据的 输出为止。具体地说，在紧接在完成1/1去马赛克图像的所有行的输出之后的时间步长S (H+1)内，输出1/4去马赛克图像的最底行的后一半的像素数据和1/16去马赛克图像的最 底行的四个分区中的第二分区的像素数据。
[0113] 此时，作为已经作为原始图像或n2/l去马赛克图像的数据而输出的nXnW个像素 的数据和已经作为1/1去马赛克图像的数据而输出的W个像素的数据，首先输出无效数据。 在无效数据之后，输出1/4去马赛克图像和1/16去马赛克图像的数据。在后续两个时间 步长S (H+2)和S (H+3)内，作为已经作为原始图像或n2/l去马赛克图像的数据而输出的 nXnW个像素的数据以及已经作为1/1去马赛克图像和1/4去马赛克图像的数据而输出的 W+(W/2)/2像素的数据，首先输出无效数据。在无效数据之后，输出1/16去马赛克图像的最 底行的四个分区中的第三分区和第四分区的像素数据。
[0114] 如果应用上述这种输出处理，则在合成图像的区域322内，在除了前三个时间步 长和最后三个步长之外的所有时间步长内输出W+ (W/2) /2+ (W/4) /4=21W/16个像素的数 据。此外，为了输出一行的像素数据，1/1去马赛克图像需要一个时间步长；1/4去马赛克图 像需要两个时间步长；并且1/16去马赛克图像需要四个时间步长。因此，输出一帧的图像 数据所需的时间步长的数量由H=(H/2) X2=(H/4) X4给定，并且关于所有图像是相等的。 输出三种图像的一帧的数据所需的总时间步长数量并且因此在垂直方向上的合成图像312 的像素数量给定为H+3。
[0115] 从图像合成单元30输出的数据是如上所述的像素数据的枚举。然而，如果与每个 时间步长对应的像素的数量(即nXnW+21W/16)给定为一个水平行的像素的数量，则与普通 图像相似，图像发送单元32可以将要在时间步长内输出的数据处理为图像的一个水平行 的数据。
[0116] 相应地，可以使得每个时间步长与图像的垂直方向上的像素对应，结果，产生如图 9所描绘的这种合成图像312。通过固定如上所述在每个时间步长内输出的像素串中的每 个图像的数据待占用的范围，原始图像或n 2/l去马赛克图像、1/1去马赛克图像、1/4去马 赛克图像和1/16去马赛克图像的数据单独配置单一矩形区域。因此，如果利用该位置，则 可以容易地执行用于每个图像的数据的剪切。
[0117] 图11描述当以上参照图9和10所描述的处理分别对于从第一相机22a和第二相 机22b输出的左边图像数据和右边图像数据交替地重复时所产生的合成图像的示例。在图 11的示例中，假设在原理上拾取用户1的脸部图像并且原始图像具有n=2的分辨率（即在 水平方向上2W个像素和垂直方向上2H个像素的大小)。此外，假设金字塔滤波器部分135a 产生高达1/64去马赛克图像的去马赛克图像。
[0118] 从在水平方向上彼此连接的第一区域342a、第二区域342b和第三区域344配置合 成图像340。第一区域342a仅包括原始图像或n 2/l去马赛克图像的第一行、第三行、第五 行、……以及第（2H-1)行的像素串的数据。第二区域342b仅包括原始图像或n 2/l去马赛 克图像的第二行、第四行、……以及第2H行的像素串的数据。第三区域344包括1/1缩小 率去马赛克图像和更1?缩小率去马赛克图像。在图11中，虚线箭头标记表不各区域之间的 连接关系。
[0119] 原始图像和n2/l去马赛克图像在水平方向和垂直方向上具有等于用作基准的1/1 去马赛克图像的两倍的大小。因此，如果从每隔另一行提取像素串以产生第一区域342a和 第二区域342b，则从在水平方向上2W个像素和在垂直方向上Η个像素的大小的图像配置它 们。从源自第一相机22a的1/1去马赛克图像224、源自第二相机22b的1/1去马赛克图 像226、源自第一相机22a的1/4去马赛克图像228、源自第二相机22b的1/4去马赛克图 像230、源自第一相机22a的1/16去马赛克图像232、源自第二相机22b的1/16去马赛克 图像234、源自第一相机22a的1/64去马赛克图像236以及源自第二相机22b的1/64去马 赛克图像238配置第三区域344。
[0120] 在图11中，在1/1去马赛克图像224和226上表示从左边和右边所拾取的用户1 的脸部图像。其它去马赛克图像（即1/4去马赛克图像228和230、1/16去马赛克图像232 和234以及1/64去马赛克图像236和238)是通过将1/1去马赛克图像缩小为1/4、1/16和 1/64并且将一个水平行的像素行分区为两个、四个和八个然后在垂直方向上排列像素串的 分区所获得的图像。
[0121] 相应地，如在每个图像的顶端处的阴影所指示的那样，在第三区域344中，1/1去 马赛克图像224和226的一行的像素的区域与1/4去马赛克图像228和230的两行的像素 的区域、1/16去马赛克图像232和234的四行的像素的区域以及1/64去马赛克图像236 和238的八行的像素的区域对应。注意，在图11中，示出具有比实际宽度更大的宽度的像 素的一行的宽度，以有助于理解。因此，虽然将密集阴影所指示的无效数据的区域表示得更 宽，但实际上无效数据的区域据以上参照图10所描述的原理最大是七行，并且等于或小于 合成图像340的总面积的1%。
[0122] 图像发送单元32的数据选择部分184仅从合成图像340剪切主机终端20所请求 的图像数据。数据选择部分184所执行的处理与剪切图像中的所指定的矩形区域以去除多 余区域的普通剪切处理相似。在该实施例中，处理目标并非图像平面，而是图像行单位。因 此，如果使得合成图像的一行的像素数量的信息可用，则容易将图像平面的二维坐标与流 的一维坐标关联，并且可以相似地执行待剪切的像素的指定（specification)。
[0123] 在该实施例中，原始图像或n2/l去马赛克图像、左右1/1去马赛克图像、1/4去马 赛克图像、1/16去马赛克图像以及1/64去马赛克图像的数据一起放置在合成图像340上的 矩形区域中。因此，可以由剪切处理容易地执行图像的剪切。
[0124] 图12示意性示出根据来自主机终端20的请求的图像数据的流。参照图12,主机终 端20首先将指定合成图像中的区域的数据请求信号发送到图像拾取装置12。在此，例如， 主机终端20指定合成图像340的垂直方向上的像素的范围和水平方向上的像素的范围。
[0125] 在图12的示例中，指定垂直方向（Y轴)上(最大值，最小值)=(Ys、Ye)的范围内以 及水平方向（X 轴）上(最大值、最小值）=(Xsl、Xel)、（Xs2、Xe2)、（Xs3、Xe3)、（Xs4、Xe4)、 (Xs5、Xe5)和（Xs6、Xe6)的范围内的六个区域。范围（Xsl、Xel)和（Xs2、Xe2)内的图像表 示通过从原始图像或n 2/l去马赛克图像提取每隔一行提取像素数据所获得的两个图像中 的脸部周围的区域。范围（Xs3、Xe3)和（Xs4、Xe4)内的图像表示左边相机和右边相机的1/1 去马赛克图像中的脸部周围的区域。范围（Xs5、Xe5)内的图像是各相机之一的整个1/4去 马赛克图像。范围（Xs6、Xe6)内的图像是各相机之一的整个1/16去马赛克图像。
[0126] 数据选择部分184从图像合成单元30每隔一行输入的合成图像内剪切所指定的 范围内的像素数据。具体地说，数据选择部分184从与Ys对应的行的像素数据仅提取范围 (Xsl、Xel)、（Xs2、Xe2)、（Xs3、Xe3)、（Xs4、Xe4)、（Xs5、Xe5)和（Xs6、Xe6)内的像素数据， 并且连续将所提取的像素数据发送到数据形成部分186。然后，数据选择部分184相似地从 与Ys+1对应的行、与Ys+2对应的行、……提取同一范围内的像素数据，并且将所提取的像 素数据发送到数据形成部分186。数据形成部分186通过连续地连接发送至其的像素数据 以形成流或通过封装像素数据来形成用于发送的数据。
[0127] 结果，主机终端20所接收到的图像数据是流，其中，对于每一行仅从所剪切的区 域配置的新的合成图像240。主机终端20的信息处理单元38基于在数据请求时所指定的 像素的范围将合成图像240剪切为单独图像，并且将图像显影到主存储器42的连续地址。 在此情况下，已经分离为两个分区图像的原始图像或n 2/l去马赛克图像以开始于第一像素 行的顺序在垂直方向上连续交替连接，以恢复初始图像。此外，其中一行在多行中对折的 1/4缩小率去马赛克图像和更1?缩小率去马赛克图像在水平方向上连接，以恢复单独行。
[0128] 结果，在主存储器42中，从原始图像或n2/l去马赛克图像内的脸部周围的图像 241、从左边和右边1/1去马赛克图像内的脸部周围的图像242和244U/4去马赛克图像的 完整图像246和1/16去马赛克图像的完整图像248得以恢复。替代地，信息处理单元38可 以将合成图像240原样显影到主存储器42中，从而在用于图像处理等的各级处区分它们。
[0129] 以此方式，主机终端20可以通过指定合成图像中的区域来同时请求一种图像和 该图像中的特定区域。然后，数据选择部分184从合成图像的单独行连续提取所指定的范 围内的像素数据，以同时剪切多个图像数据并且产生仅由必须的图像数据构成的新的流。
[0130] 在该模式下，主机终端20指定多个区域的垂直方向上的公共范围。在图12的示 例中，所有六个指定的区域在垂直方向上具有（Ys、Ye)的范围。通过这种指定，即使数据选 择部分184执行对于合成图像的每一行单独提取像素数据，所提取的范围在所有行中也是 相同的。结果，即使连接所提取的像素以形成流，也可以消除所提取的像素的数量在不同行 之间不同的情况。因此，新的合成图像240展现出原样保持所剪切的矩形区域的图像平面 的状态。因此，主机终端20可以对于区域中的每一个基于在水平方向上所请求的像素数量 从所获取的流容易地显影单独图像。
[0131] 如果从图像拾取装置12发送如图12中所描绘的这种数据，则主机终端20可以执 行例如如下所述的处理。具体地说，主机终端20使用左边和右边1/1去马赛克图像的脸部 周围的图像242和244来执行立体匹配，由此获取目标(例如三维空间中的脸部）的位置或 执行脸部表情识别。另一方面，主机终端20仅使用1/4去马赛克图像的完整图像246的脸 部区域或原始图像或n 2/l去马赛克图像的脸部周围的图像241产生提升分辨率的图像。然 后，主机终端20响应于三维空间中的位置或面度表情识别而执行图像处理，然后显示所得 图像。1/16去马赛克图像的完整图像248用于通过粗略脸部检测处理来指定脸部区域，并 且调整所请求的n 2/l去马赛克图像或1/1去马赛克图像的范围。
[0132] 然而，主机终端20所执行的处理不限于上述处理，可以取决于主机终端20的使用 情况来请求各种数据组合。此外，在图12的示例中，原始图像或n 2/l去马赛克图像由剪切 处理剪切并且被发送，从而以高精度显示重要位置(例如脸部周围的区域)，而无需增加必 须的通信频带。另一方面，在可以准备充足通信频带的环境中，可以通过高清晰度来显示整 个区域，而无需执行上述剪切。以此方式，也取决于通信频带、图像拾取装置12或主机终端 20的处理能力等而合适地调整待从图像拾取装置12发送的数据的类型和范围。在该实施 例中，可以仅通过指定合成图像中的数据范围来容易地实现这种调整。
[0133] 在上述实施例中，实现即使相机的分辨率增加也可以通过相似过程来发送并且处 理图像数据而无需较大地改变配置的系统。现在，作为另一示例，描述甚至在相机具有用于 检测多种物理量的功能的情况下也可以执行相似的数据发送和处理的模式。图13具体描 绘包括用于通过可见光连同色彩信息一起获取红外光的信息的功能的第一相机22a的配 置。例如，在游戏装置等中，技术已经投入实践，其中，分离地提供的辐射构件在目标上辐射 红外光，检测红外光的反射光以检测三维空间中的目标的位置或运动。
[0134] 第一相机22a的图像拾取元件连同可见光传感器一起包括该红外光传感器。通过 图像拾取元件，对于2X2像素的每个块获取每个像素具有G值、B值和红外光量（IR值）的 已拾取图像的数据。注意，图像拾取装置12的第二相机22b也可以具有相同配置，或可以 被配置为这样：其不包括以上参照图3所描述的红外光传感器。此外，除了可见光传感器之 外的传感器待检测的物理量可以是已经作为相机的检测目标投入实际使用并且不限于红 外光的任何物理量(例如紫外光或X射线)。
[0135] 第一相机22a包括图像获取部分402a、数据分离部分404a、去马赛克部分408a、第 一金字塔滤波器部分414a和第二金字塔滤波器部分416a。图像获取部分402a以预定帧速 率读出图像拾取元件所曝光的并且包括RGB和IR的值的图像。该图像具有在水平方向上 W个像素和在垂直方向上Η个像素的宽度。然而,该图像可以另外具有在水平方向上nW个 像素和在垂直方向上nH个像素的宽度，并且可以与以上参照图3所描述的模式组合。每次 完成图像的一个水平行的曝光，图像获取部分402a就将水平行的数据发送到数据分离部 分 404a。
[0136] 数据分离部分404a包括从具有W个像素的容量的多个（图13中，三个)FIF0缓冲 器所配置的FIFO缓冲器405以及分离处理部分406。配置FIFO缓冲器405的FIFO缓冲 器被循环使用并且连续存储从图像获取部分402a所输入的已拾取图像的一个水平行的像 素数据，从而可以保存多行的像素数据。分离处理部分406从FIFO缓冲器405读出预定数 量的行的已拾取图像的像素数据，并且使用所读出的图像来产生每个像素保持一些R、G和 B值的普通RGB图像以及每个像素保持IR值的红外图像，以分离数据。
[0137] 图14示出分离处理部分406进行的数据的分离处理过程。已拾取图像430具有 数据格式，其中，对于图14所描绘的2 X 2像素的每个块(例如粗线框)，每个像素具有G值、 R值、B值和IR值中的某个。注意，具有这些值的各像素的位置关系不限于图14中所描绘 的关系。分离处理部分406首先从已拾取图像430提取每个块中的一个所包括的IR值，并 且将IR值放置为块的像素值，以产生IR图像432。换句话说，IR图像432具有在水平方向 和垂直方向二者上都等于已拾取图像430的一半的大小。
[0138] 然后，分离处理部分406确定具有IR值的已拾取图像430的那些像素的G值，并 且将G值设置为像素值以产生与普通RGB图像相似的格式的RGB图像434。例如，使用在像 素的左上、右上、左下和右下位置处的四个像素(矩形标记)所保持的G值通过双线性内插来 计算RGB图像434中的圆形标记436所指示的像素的G值。虽然用于G值的计算方法不限 于此，但在任何情况下，根据该计算所需的行的数量来确定配置FIFO缓冲器405的FIFO缓 冲器的数量。
[0139] 返回参照图13,数据分离部分404a根据具有W个像素的水平宽度的已拾取图像来 计算相同大小的RGB图像以及在水平方向和垂直方向上都具有等于已拾取图像大小的1/2 的大小的IR图像的像素数据，并且输出每一行的图像数据。将RGB图像的像素数据发送到 图像合成单元30和去马赛克部分408a。将IR图像的像素数据发送到图像合成单元30和 第二金字塔滤波器部分416a。去马赛克部分408a包括具有W个像素的容量的FIFO缓冲器 410和简单去马赛克处理部分412,并且从RGB图像产生具有YCbCr值的去马赛克图像。
[0140] 由于去马赛克图像具有用于输入到第一金字塔滤波器部分414a的W个像素的水 平宽度(其为基准大小)，因此其是1/1去马赛克图像。即使在已拾取图像中包括IR值，但 是由于数据分离部分404a产生普通格式的RGB图像，因此去马赛克部分408a待执行的处 理也可以与以上参照图3所描述的去马赛克部分104a所执行的处理相似。因此，在此省略 去马赛克部分408a的描述。
[0141] 将去马赛克部分408a所产生的YCbCr图像的数据发送到图像合成单元30和第一 金字塔滤波器部分414a。第一金字塔滤波器部分414a执行与以上参照图3和图4所描述 的处理相似的处理，以产生多个分辨率的Y、Cb和Cr图像，并且将Y、Cb和Cr图像输入到图 像合成单元30。此外，第二金字塔滤波器部分416a将IR图像分级为与第二金字塔滤波器 部分416a相似的多个分辨率的图像，并且输出所得图像。
[0142] 相应地，除了输入数据和输出数据是一种（即IR值）之外，第二金字塔滤波器部分 416a可以具有与以上参照图3和图4所描述的金字塔滤波器部分135a相似的配置和功能。 然而，在该实施例中，输入到第二金字塔滤波器部分416a的IR图像具有等于1/4倍基准大 小的大小，两个滤波器可以用于缩小处理。
[0143] 图15描绘与图13中所描绘的相机的配置对应的图像合成单元30的配置。图像 合成单元30包括输出定时调整部分450,用于调整从第一相机22a和第二相机22b发送至 其的各种图像数据对图像发送单元32的输出定时。图像合成单元30还包括FIFO缓冲器 472a、474a、476a、470b、472b、474b、476b、480a、482a、484a、480b、482b 和 484b，用于输出定 时调整。
[0144] 注意，在图15中，第二相机22b也具有与图13中所描绘的配置相似的配置。因 此，第二相机22b的数据分离部分、去马赛克部分、第一金字塔滤波器部分和第二金字塔滤 波器部分分别被称为数据分离部分404b、去马赛克部分408b、第一金字塔滤波器部分414b 和第二金字塔滤波器部分416b，其中向其添加对应标号。
[0145] FIFO缓冲器472a、474a和476a分别保存从第一相机22a的第一金字塔滤波器部 分414a发送至其的1/4去马赛克图像、1/16去马赛克图像和1/64去马赛克图像的一行的 YCbCr像素值。相应地，FIFO缓冲器472a、474a和476a分别保存W/2、W/4和W/8像素值。 FIFO缓冲器470b保存用于从第二相机22b的去马赛克部分408b发送至其的1/1去马赛 克图像的一行的像素值(即W个像素值)。注意，可以替代来自第一相机22a和第二相机22b 的1/1去马赛克图像而获取从数据分离部分404a和404b发送的RGB图像。
[0146] FIFO缓冲器472b、474b和476b分别保存从第二相机22b的第一金字塔滤波器部 分414b发送至其的1/4去马赛克图像、1/16去马赛克图像和1/64去马赛克图像的一行的 YCbCr像素值。相应地，FIFO缓冲器472b、474b和476b分别保存W/2、W/4和W/8个像素 值。
[0147] FIFO缓冲器480a还保存从第一相机22a的数据分离部分404a发送至其的1/4大 小的IR图像的一行的像素值。FIFO缓冲器482a和484a分别保存从第一相机22a的第二 金字塔滤波器部分416a发送至其的1/16大小的IR图像和1/64大小的IR图像的一行的 像素值。相应地，FIFO缓冲器480a、482a和484a分别保存W/2、W/4和W/8个像素值。
[0148] FIFO缓冲器480b保存从第二相机22b的数据分离部分404b发送至其的1/4大小 的IR图像的一行的像素值。FIFO缓冲器482b和484b分别保存从第二相机22b的第二金 字塔滤波器部分416b发送至其的1/16大小的IR图像和1/64大小的IR图像的一行的像 素值。相应地，FIFO缓冲器480b、482b和484b分别保存W/2、W/4和W/8个像素值。
[0149] 输出定时调整部分450基本上根据与以上参照图5所描绘的策略相似的策略来调 整图像数据对图像发送单元32的输出定时。具体地说，输出定时调整部分450首先将从第 一相机22a的去马赛克部分408a发送至其的1/1去马赛克图像的一行的像素数据输出到 图像发送单元32。然后，输出定时调整部分450输出FIFO缓冲器470b中所存储的第二相 机22b的1/1去马赛克图像的一行的像素数据。
[0150] 在输出1/1去马赛克图像的第二行和后续行的时段内，1/4去马赛克图像、1/16去 马赛克图像和1/64去马赛克图像的像素数据连续产生并且存储到FIFO缓冲器中。因此， 图像的一行的至少部分数据与在以上参照图10所描述的情况下相似地循环输出。此外，输 出定时调整部分450还根据与用于1/4去马赛克图像、1/16去马赛克图像和1/64去马赛克 图像的规则相似规则将单独分辨率的IR图像连续输出到去马赛克图像。
[0151] 在相机中，彩色图像和IR图像在数据分离部分404a和404b进行的分离之后经受 彼此独立的处理。因此，去马赛克图像和IR图像对图像合成单元30的输入定时彼此独立。 然而，输出定时调整部分450根据预先确定的规则来调整去马赛克图像和IR图像的输出定 时。例如，调整输出定时，从而在合成图像的同一行中包括具有相等大小的去马赛克图像和 IR图像的对应行，并且各图像单独地形成矩形区域。
[0152] 因此，无论图像种类如何，都可以有效地执行来自主机终端20的数据指定、数据 选择部分184进行的剪切、主机终端20中的图像的显影等。至此，可以相反地设置去马赛 克图像和IR图像的输出顺序(即它们在合成图像中的排布)。替代地，可以彼此分离并且彼 此并行地产生从去马赛克图像配置的合成图像以及从IR图像配置的另一合成图像。
[0153] 图16描绘以上参照图13至图15所描述的配置所产生的合成图像的示例。参照 图16,从源自第一相机22a的1/1去马赛克图像510、源自第二相机22b的1/1去马赛克图 像512、源自第一相机22a的1/4去马赛克图像514、源自第二相机22b的1/4去马赛克图 像516、源自第一相机22a的1/16去马赛克图像518、源自第二相机22b的1/16去马赛克 图像520、源自第一相机22a的1/64去马赛克图像522、源自第二相机22b的1/64去马赛 克图像524、源自第一相机22a的1/4大小IR图像534、源自第二相机22b的1/4大小IR 图像536、源自第一相机22a的1/16大小IR图像538、源自第二相机22b的1/16大小IR 图像540、源自第一相机22a的1/64大小IR图像542以及源自第二相机22b的1/64大小 IR图像544配置合成图像490。
[0154] 在图16中，分别在1/1去马赛克图像510和512上表示从左边和右边所拾取的用 户1的脸部图像。分别通过将1/1去马赛克图像缩小为1/4、1/16和1/64并且将在水平方 向上将通过缩小所获得的图像的像素行分区为1/2U/4和1/8然后在垂直方向上布置通过 分区的所得图像来获得其余去马赛克图像（即1/4去马赛克图像514和516、1/16去马赛克 图像518和520以及1/64去马赛克图像522和524)。此外，1/4大小IR图像、1/16大小 IR图像和1/64大小IR图像分别具有与1/4去马赛克图像、1/16去马赛克图像和1/64去 马赛克图像的配置相似的配置。
[0155] 图像发送单元32所执行的数据剪切处理和发送处理以及对主机终端20中的主存 储器42的显影与以上参照图12所描述的处理相似。结果，无论图像是彩色图像还是IR图 像，主机终端20都可以从图像拾取装置12容易地获取由此待执行的处理所需的一种图像 和图像的区域。例如，主机终端20可以使用具有某种分辨率的IR图像来识别用户1的运 动或姿势，并且使用1/16去马赛克图像通过脸部识别处理来指定人，并且可以基于1/1去 马赛克图像执行用于显示图像的某种处理。使用IR图像在目标的位置检测方面的精度在 有光的地方(例如在白天室外地方)恶化。因此，可以响应于图像拾取环境而在IR图像与立 体图像之间改变待获取的数据。此外，在此情况下，主机终端20可以仅通过改变合成图像 中的范围指定而容易地实现改变。
[0156] 可以响应于如上所述的通信频带、图像拾取装置12或主机终端20的性能等而调 整获取的目标的图像的种类或区域。此外，当主机终端20获取数据时的速率可以取决于图 像的种类而变化，从而仅以高速率获取待用于显示或跟踪的图像数据，而以低速率获取其 它图像数据。此外，在明白无需通过利用红外光传感器来执行立体匹配或类似情况下，单个 相机可以用于配置图像拾取装置12。此外，两个相机可以被配置为彼此不同，以增加能够获 取的物理量或分辨率的变化。
[0157] 图17是示出主机终端20和图像拾取装置12彼此协作以执行信息处理的处理过 程的示例的流程图。通过用户将应用的开始指令输入到主机终端20来开始图17的流程图 所示的处理。虽然在图17中将各步骤表示为直接连接的矩形以有助于理解，但在拾取运动 画面的时段内对于像素串和帧并行执行各步骤。
[0158] 首先，主机终端20指定在应用程序等中所设置的初始条件和必须的图像数据，并 且将图像拾取开始指令和数据发送请求发布到图像拾取装置12(S10)。初始条件包括图像 拾取装置12的两个相机待拾取的运动画面的分辨率、帧速率、快门速度和视角、是否获取 IR图像等。注意，可以通过改变用于图像拾取元件进行的曝光自身的条件设置或通过稍后 处理来自图像拾取元件的数据来改变相机待拾取的运动画面的分辨率和帧速率。
[0159] 虽然如上所述以合成图像的区域的形式来指定必须的图像数据，但作为初始值， 指定期望用户存在的区域的1/1去马赛克图像、具有某种分辨率的整个图像或其他图像。 接受初始条件的指定和图像数据请求的图像拾取装置12的第一相机22a和第二相机22b 根据所接收到的初始条件开始运动画面的图像拾取（S12)。
[0160] 对于每一行处理相机所获取的图像，图像合成单元30合成每个时间步长内输出 的原始图像、各种大小的去马赛克图像和IR图像中的至少一些（S14)。然后，图像发送单元 32仅从合成图像剪切在步骤S10所指定的图像数据以产生流，然后将该流发送到主机终端 20 (S16 和 S18)。
[0161] 接收数据的主机终端20的图像处理单元38在主存储器42中将发送至其的流 显影为图像（S20)。图像处理单元38使用所显影的图像在执行期间根据应用来执行处理 (S22)。此时，图像处理根据场合要求而被请求到图像处理单元40,图像处理单元40从主存 储器42读出图像并且执行处理或合成。由于在主存储器42所显影的图像数据与普通图像 数据相似，因此也可以将图像数据作为纹理（texture)读出。
[0162] 在步骤S22,图像处理单元38可以执行图像分析处理(例如立体匹配、跟踪、脸部 检测或姿势检测)，从而在显示图像上反映图像分析处理的结果。显示图像以此方式产生， 并且显示在显示装置16上（S24和S26)。此外，图像处理单元38可以基于以上在步骤S22 所描述的图像分析来指定目标的区域等，从而所请求的图像数据改变。在此情况下，图像拾 取装置12的数据选择部分184在处理新的图像帧的定时根据指定来改变待剪切的区域。通 过重复执行在步骤S14至S26的处理，可以在显示装置16上连续显示使用图像拾取装置12 所拾取的图像所执行的信息处理的结果。
[0163] 通过上述该实施例，在包括拾取用户的运动图像等的图像拾取装置和利用已拾取 图像来执行图像显示的主机终端的系统中，图像拾取装置基于已拾取图像来产生多种图像 数据。然后，以行为单位循环连接图像的像素数据以产生流，并且根据来自主机终端的请 求来提取并且发送部分流。因此，可以将在图像拾取装置中待提供的存储器的大小减少到 最低限度，并且无需等待在从图像拾取到数据发送到主机终端的所有处理中准备一帧的数 据。因此，可以通过整个系统的低等待时间来执行响应于运动的图像显示。
[0164] 此外，连续连接来自多种图像数据当中在相同时段内所产生的对应行的像素数 据，从而多种图像之间的对应关系变得明确。此时，响应于取决于图像种类的数据产生时段 来确定流中待连续包括的像素数据的范围，从而当像素数据的连接进行一轮时的像素的数 量基本上相等。图像拾取装置基本上从具有高分辨率的图像产生具有低分辨率的图像，并 且指示同一区域的像素的数量随着分辨率增加而增加。因此，定性地，例如以像素数据的多 行为单位在更大范围中在流中包括高分辨率图像。另一方面，例如以在作为一行的部分的 范围中的像素数据为单位在更小的范围中在流中包括具有较低分辨率的图像。
[0165] 因此，在流中的连续范围中包括关于图像上的位置和产生定时具有关联性的像素 数据。结果，可以通过低等待时间来执行流的输出，每单位时间待处理和发送的数据的大小 变得基本上均匀。此外，可以容易地执行直到输出所需的时间、待使用的发送频带以及发送 所需的时间的估计，此外，发送频带可能因数据大小的突然增加而受抑制的可能性减少。
[0166] 通过将当在流中像素数据的连接进行一轮时的像素的数量定义为水平宽度，可以 考虑以虚拟方式产生包括多种图像的合成图像。由于在流中循环包括各种图像的数据，因 此各种图像中的每一种在具有水平宽度的合成图像中形成矩形区域。相应地，通过指定合 成图像中的区域，可以不仅指定一种图像，而且还可以在提取图像数据的同时指定该图像 中所包括的区域。由于该处理与普通剪切处理相似，因此可以容易地合并它。
[0167] 如果合适地控制待在流中包括的像素数据的范围以及将像素数据包括到流中的 定时，则无论图像拾取装置待获取的图像的种类或分辨率如何，都可以实现上述效果。结 果，可以通过低成本来实现能够准备分辨率的增加或图像拾取装置的功能的增强并且具有 高可扩展性的系统，而不较大改变装置配置。
[0168] 已经基于本发明实施例描述了本发明。上述实施例是说明性的，本领域技术人员 应理解，可以对于实施例的组件和处理过程的组合进行各种修改，这些修改也包括于本发 明的精神和范围内。
[0169] 本发明包含与2013年4月26日提交到日本专利局的日本优先权专利申请 JP2013-094402中公开的有关的主题内容，其完整内容通过引用合并到此。
【权利要求】
1. 一种图像拾取装置，包括： 图像数据产生单元，被配置为从通过图像拾取对象的图像拾取所获得的已拾取图像产 生多种图像的数据，并且连续输出一个水平行的像素的数据； 图像合成单元，被配置为在对于每种图像预先设置的范围内对于每个像素串循环连接 从所述图像数据产生单元输出的所述多种图像的数据，并且输出所连接的数据作为流，以 产生虚拟合成图像，其包括所述多种图像，并且其中，当所述连接进行一轮时的像素串是一 个水平行的像素串；以及 图像发送单元，被配置为从连接到所述图像拾取装置的主机终端接受指定所述虚拟 合成图像中的矩形区域的数据发送请求，根据所述数据发送请求从所述流提取并且连接数 据，并且将所连接的数据作为新的流发送到所述主机终端； 所述图像合成单元将像素串连接为所述多种图像的流，从而对于其每个水平行，连接 具有等于预先确定的基准图像大小的大小的这些图像；对于大于一个水平行的其每个范 围，连接具有大于所述基准图像大小的大小的这些图像；以及对于小于一个水平行的其每 个范围，连接具有小于所述基准图像大小的大小的这些图像。
2. 如权利要求1所述的图像拾取装置，其中，在所述基准图像大小具有W个像素的水平 宽度的情况下，所述图像合成单元连接所述图像的η行的像素串，其对于每一行具有nW个 像素的水平宽度，η是自然数。
3. 如权利要求1或2所述的图像拾取装置， 其中，所述图像数据产生单元包括： 金字塔滤波器，被配置为将所述基准图像大小的图像缩小到多个级，以产生具有彼此 不同的大小的多个缩小图像的数据； 大小调整部分，被配置为将已拾取图像的大小调整为所述基准图像大小，并且将调整 了大小的已拾取图像输入到所述金字塔滤波器，以及 对于每个像素串，所述图像合成单元连接在所述大小调整部分进行的调整之前的大小 的图像、在所述调整之后的所述基准图像大小的图像以及所述金字塔滤波器所产生的多个 缩小图像。
4. 如权利要求1所述的图像拾取装置， 其中，所述图像数据产生单元包括数据分离部分，被配置为将包括可见光传感器和红 夕卜光传感器的相机所拾取的已拾取图像分离为彩色图像和红外图像， 所述图像合成单元在单独对应范围内循环连接对于每个像素串的所述彩色图像和所 述红外图像，从而所述合成图像包括所述彩色图像和所述红外图像。
5. 如权利要求4所述的图像拾取装置， 其中，所述图像数据产生单元获取由两个相机拾取的立体图像作为已拾取图像，所述 两个相机从彼此间隔开已知距离的左视点和右视点对拾取对象的图像进行拾取，以及 所述图像合成单元在单独对应范围内循环连接对于每个像素串的所述立体图像的彩 色图像和红外图像，从而所述合成图像包括所述立体图像的所述彩色图像和所述红外图 像，从而响应于所述主机终端指定矩形区域，发送对象的数据可以在所述立体图像与所述 红外图像之间转变。
6. -种信息处理系统，包括： 图像拾取装置，被配置为从通过图像拾取对象的图像拾取所获得的已拾取图像产生多 种图像的数据；以及 主机终端，被配置为获取所述图像的至少部分数据，并且利用所获取的数据来执行预 定信息处理； 所述图像拾取装置包括： 图像数据产生单元，被配置为产生所述多种图像的数据，并且对于一个水平行中的每 个像素，连续输出所产生的数据， 图像合成单元，被配置为在对于每种图像预先设置的范围内对于每个像素串循环连接 从所述图像数据产生单元输出的所述多种图像的数据，并且输出所连接的数据作为流，以 产生虚拟合成图像，其具有所述多种图像，并且其中，当所述连接进行一轮时的像素串是一 个水平行的像素串，以及 图像发送单元，被配置为从所述主机终端接受指定所述虚拟合成图像中的矩形区域的 数据发送请求，根据所述数据发送请求从所述流提取并且连接数据，并且将所连接的数据 作为新的流发送到所述主机终端； 所述图像合成单元连接所述多种图像的像素串，从而对于其每个水平行，连接具有等 于预先确定的基准图像大小的大小的这些图像；对于大于一个水平行的其每个范围，连接 具有大于所述基准图像大小的大小的这些图像；以及对于小于一个水平行的其每个范围， 连接具有小于所述基准图像大小的大小的这些图像； 所述主机终端包括： 数据请求单元，被配置为通过指定所述虚拟合成图像的矩形区域来请求所述图像拾取 装置产生的所述多种图像的至少部分数据，以及 数据显影单元，被配置为基于所指定的矩形区域的信息将从所述图像拾取装置发送至 其的所述流分离为单独图像的数据，将分离后的数据返回到初始像素串中的位置，以恢复 所述图像，然后将所述图像显影到存储器中。
7. -种图像数据处理方法，由图像拾取装置执行，包括： 从图像拾取元件获取通过图像拾取对象的图像拾取所获得的已拾取图像，基于所获取 的已拾取图像来产生多种图像的数据，并连续输出用于一个水平行的像素的数据； 在对于每种图像预先设置的范围内对于每一像素串循环连接输出的所述多种图像的 数据，并且输出所连接的数据作为流，以产生虚拟合成图像，其包括所述多种图像，并且其 中，当所述连接进行一轮时的像素串是一个水平行的像素串；以及 从连接到所述图像拾取装置的主机终端接受指定所述虚拟合成图像中的矩形区域的 数据发送请求，根据所述数据发送请求从所述流提取并且连接数据，并且将所连接的数据 作为新的流发送到所述主机终端； 产生所述合成图像包括：执行所述多种图像的像素串的连接，从而对于其每个水平行， 连接具有等于预先确定的基准图像大小的大小的这些图像；对于大于一个水平行的其每个 范围，连接具有大于所述基准图像大小的大小的这些图像；以及对于小于一个水平行的其 每个范围，连接具有小于所述基准图像大小的大小的这些图像。
【文档编号】H04N9/04GK104125450SQ201410157876
【公开日】2014年10月29日 申请日期:2014年4月18日 优先权日:2013年4月26日
【发明者】大场章男, 势川博之, 斋藤英幸, 小笠原英彦, 稻田彻悟 申请人:索尼电脑娱乐公司