在立体视觉系统中供处理影像的方法及其装置制造方法

在立体视觉系统中供处理影像的方法及其装置制造方法
【专利摘要】本发明涉及一种在立体视觉系统中供处理影像的装置，该装置包括：影像撷取单元，该影像撷取单元包括第一与第二照相机以及照明单元，所述第一与第二照相机通过撷取主体来获取影像信息，该照明单元在影像撷取期间发出闪光；以及照相机控制器，该照相机控制器控制该影像信息通过以预定时间间隔、不需所述第一与第二照相机同步地交叉获得主体影像来获取。依据本发明，因以预定时间间隔、不需用于立体视觉系统的两个照相机同步地交叉获得主体影像，所以即使以相对较便宜且速度低的照相机，也能够实施与具有高性能照相机的立体视觉系统相同的立体视觉系统。
【专利说明】在立体视觉系统中供处理影像的方法及其装置

【技术领域】
[0001] 本发明涉及一种在立体视觉系统中供处理影像的方法及装置，尤其是，涉及一种 在立体视觉系统中供处理影像的方法及装置，其通过利用包含于立体视觉系统中的多个低 性能照相机交替抓取（grab)影像，以获得高性能照相机的性能。
[0002] 本发明还涉及一种在立体视觉系统中供处理影像的方法及装置，其利用包含于立 体视觉系统中的多个低性能照相机，通过基于照相机交替抓取的影像的影像信息获取预测 影像信息，从而获取关于主体物理特性的信息，以有效撷取影像。
[0003] 本发明还涉及一种在立体视觉系统中供处理影像的方法及装置，其通过根据主体 状态切换拍摄模式，以减小系统负载并有效撷取影像。
[0004] 本发明还涉及一种在立体视觉系统中供处理影像的方法及装置，其通过利用包含 于立体视觉系统中的多个低性能照相机交替抓取影像，以撷取快速移动中的主体的特写影 像。

【背景技术】
[0005] 已经介绍多种影像处理装置，这些影像处理装置利用通过撷取静止或移动主体的 影像而获取的影像信息来获取主体的物理信息（例如获取主体的速度、方向、旋转等）。
[0006] 特别是，包括数码照相机例如数码单反（Digital Single Lens Reflex)照相机在 内的影像处理装置目前在消费者中得到普及，并且由于相关技术的发展，高性能、廉价的影 像处理装置被广泛使用。
[0007] 影像处理装置的各种功能的其中一种功能是在所获取的影像信息上检测或识别 主体。该功能无法利用单个照相机来实现，必须要至少两个以上照相机。用来实现上述功 能的系统是立体视觉系统（SVS ;Stereo Vision System)。
[0008] 立体视觉系统对应于实施个人可视系统的计算机视觉，其指的是包括两个照相机 例如左右照相机的影像系统。该立体视觉系统不仅可用于工业领域中汽车的自动停车和无 人驾驶，而且可用来检测运动游戏中玩家的动作、速度等，以及用来在球类（ball)游戏中， 例如篮球、高尔夫球以及足球，根据所获取的影像信息检测球的速度、方向等。


【发明内容】

[0009] 技术问题
[0010] 依据在立体视觉系统中供处理影像的传统方法，当主体高速移动时或者当撷取该 主体的特写影像时，表示通过照相机的曝光装置曝光胶片来撷取影像的速度的照相机速度 (camera speed)应当非常高。然而，具有高照相机速度的照相机定价非常高，因此利用此种 照相机不能轻易实施立体视觉系统。由此，需要一种能够利用低性能、廉价的照相机来实现 高性能照相机性能的方法。
[0011] 进一步地，对于主体保持静止然后移动的场景，例如，高尔夫球手击打在场地上保 持静止的球的场景，或者投手将手套中的棒球投向接球手的场景，如果影像在高照相机速 度下被不断撷取，那么不必要的影像被分析并存储，从而会使系统负载增加。由此，需要一 种依据主体状态切换影像处理装置的拍摄模式的方法。
[0012] 另外，由于多个照相机应时间同步地抓取主体的影像，以利用立体视觉系统获取 关于主体物理特性的信息，因此很难通过撷取主体的特写影像，来获取关于超高速移动主 体物理特性的信息。由此，需要一种即使当包含于立体视觉系统中的多个照相机未时间同 步地抓取主体的影像时仍获取关于主体物理特性的信息的方法。
[0013] 本领域技术人员将领会，本发明所欲解决的技术问题不限于上文已特别描述的技 术问题，从以下结合附图的详细说明中将更加清楚地了解其他技术问题。
[0014] 技术方案
[0015] 因此，考虑到上述问题而完成了本发明，并且本发明的目的在于提供一种在立体 视觉系统中供处理影像的方法及装置，其通过藉由利用立体视觉系统中所使用的两个廉 价、低性能照相机以一定时间间隔、不需时间同步地交替抓取主体影像来获取影像信息，以 获得高性能照相机的性能。
[0016] 本发明的另一目的在于提供一种在立体视觉系统中供处理影像的方法及装置，其 通过根据主体状态切换拍摄模式，以减小系统负载并有效撷取影像。
[0017] 本发明的另一目的在于提供一种在立体视觉系统中供处理影像的方法及装置，其 基于从包含于立体视觉系统中的多个照相机接收的影像信息获取预测影像信息，并且基于 该预测影像信息检测主体的物理特性等。
[0018] 有益效果
[0019] 本发明具有以下效果与优点。
[0020] 第一，可实施一种立体视觉系统，该立体视觉系统通过藉由利用该立体视觉系统 中所使用的两个廉价、低性能照相机以一定时间间隔、不需时间同步地交替抓取主体影像 来获取影像信息，能够获得高性能照相机的性能。
[0021] 第二，可实施一种立体视觉系统，该立体视觉系统通过根据主体状态切换拍摄模 式，能够减小系统负载并有效撷取影像。
[0022] 第三，通过基于从包含于立体视觉系统中的多个照相机接收的影像信息获取预测 影像信息，并基于该预测影像信息检测主体的物理特性等，可提高预测影像信息的准确性。
[0023] 本领域技术人员将领会，利用本发明所能达到的效果不限于上文已特别描述的效 果，从以下结合附图的详细说明中将更加清楚地了解本发明的其他优点。

【专利附图】

【附图说明】
[0024] 图1为用于说明立体视觉系统的视图；
[0025] 图2为举例说明立体视觉系统的照相机设置方法的视图；
[0026] 图3为举例说明在一般立体视觉系统中照相机抓取影像的时序的视图；
[0027] 图4为举例说明依据本发明一实施例的用于立体视觉的影像处理装置配置的框 图；
[0028] 图5为举例说明图4所示影像处理装置的详细配置、额外配置以及组件功能的框 图；
[0029] 图6为举例说明在图4所示影像处理装置中照相机抓取影像的时序的视图；
[0030] 图7为举例说明依据本发明另一实施例能够切换拍摄模式的立体视觉系统的影 像处理装置配置的框图；
[0031] 图8为举例说明图7所示影像处理装置的详细配置、额外配置以及组件功能的框 图；
[0032] 图9为举例说明依据本发明另一实施例在第二模式下运行的立体视觉系统的影 像处理装置配置的框图；
[0033] 图10为举例说明在图9所示影像处理装置中照相机抓取影像的时序的视图；
[0034] 图11为举例说明利用图7或图9所示的影像处理装置于第二模式下撷取的影像 的视图；
[0035] 图12为举例说明预估利用图7或图9所示的影像处理装置于第二模式下撷取的 影像之间的影像所用的方法的视图；
[0036] 图13为举例说明依据本发明一实施例利用影像处理装置获取影像信息的过程的 流程图；
[0037] 图14为举例说明依据本发明一实施例包括影像处理装置的用于虚拟高尔夫球模 拟的传感装置的视图；
[0038] 图15为举例说明图14所示传感装置的配置的框图；以及
[0039] 图16为举例说明依据本发明一实施例利用传感装置的击打传感器感应主体例如 球是否被使用者击打的过程的视图。

【具体实施方式】
[0040] 根据本发明一方面，通过提供一种在立体视觉系统中供处理影像的装置，能够实 现上述的以及其他的目的，该装置包括一影像撷取单元，该影像撷取单元包括一第一照相 机与一第二照相机以及一照明单元，该第一照相机与该第二照相机通过撷取主体影像来获 取影像信息，该照明单元用于闪光以撷取一影像；以及一照相机控制器，该照相机控制器控 制该第一照相机与该第二照相机通过以一定时间间隔、不需时间同步地交替抓取该主体影 像来获取该影像信息。
[0041] 该装置可进一步包括一照明控制器，该照明控制器控制该照明单元和该第一照相 机与该第二照相机抓取影像时间同步地运行。
[0042] 该装置可进一步包括一影像分析器，该影像分析器根据所获取的影像信息确定该 主体是否保持静止；以及一模式切换单元，在确定该主体保持静止时，该模式切换单元将该 影像撷取单元的一拍摄模式从一第一模式切换到一第二模式，并且该第一照相机与该第二 照相机通过在该第一模式下时间同步地抓取该主体影像，可获取该影像信息，以及通过在 该第二模式下以一定时间间隔交替抓取该主体影像，可获取该影像信息。
[0043] 该第一照相机与该第二照相机可依据从该照相机控制器传输的一信号，在该第二 模式下获取该影像信息。
[0044] 该第一照相机与该第二照相机可在该第一模式下低速抓取影像以及在该第二模 式下高速抓取影像。
[0045] 该影像分析器可包括一击打传感器，该击打传感器根据在该第二模式下所获取的 该影像信息，感应该主体是否被使用者击打。
[0046] 该装置可进一步包括一数据库，该数据库用于存储该第一照相机与该第二照相机 在该第二模式下所获取的该影像信息。
[0047] 该装置可进一步包括一影像预估器，在感应到该主体被该使用者击打时，该影像 预估器检查一撞击点，从该数据库提取该撞击点之前/之后的该影像信息，以及根据所提 取的该影像信息获取预测影像信息。
[0048] 该影像预估器可利用从该第一照相机接收的第一影像信息与第二影像信息以及 从该第二照相机接收的第三影像信息来获取第一预测影像信息。
[0049] 该第一影像信息与该第二影像信息可对应于从该第一照相机接收的连续帧影像， 而该第三影像信息可对应于从该第二照相机接收并于该第一影像信息与该第二影像信息 之间获取的一帧影像。
[0050] 该装置可进一步包括一影像处理器，该影像处理器根据该撞击点之前/之后的该 影像信息以及该预测影像信息，获取该主体的物理特性。
[0051] 根据本发明另一方面，提供一种在立体视觉系统中供处理影像的方法，该方法包 括利用一影像撷取单元在一第一模式下获取一主体的影像信息，该影像撷取单元包括一第 一照相机与一第二照相机以及一用于闪光以撷取一影像的照明单元；根据所获取的影像信 息确定该主体是否保持静止；以及在确定该主体保持静止时，将该影像撷取单元的一拍摄 模式切换到一第二模式，其中该第一照相机与该第二照相机通过在该第一模式下时间同步 地抓取该主体影像来获取该影像信息，以及通过在该第二模式下以一定时间间隔交替抓取 该主体影像来获取该影像信息。
[0052] 该方法可进一步包括通过该第一照相机与该第二照相机在切换到的该第二模式 下获取该影像信息。
[0053] 该方法可进一步包括根据在该第二模式下所获取的该影像信息，感应该主体是否 被使用者击打。
[0054] 该方法可进一步包括将在该第二模式下所获取的该影像信息存储于一数据库中。
[0055] 该方法可进一步包括在感应到该主体被该使用者击打时，检查一撞击点，从该数 据库提取该撞击点之前/之后的该影像信息，以及根据所提取的该撞击点之前/之后的该 影像息获取预测影像息。
[0056] 利用从该第一照相机接收的第一影像信息与第二影像信息以及从该第二照相机 接收的第三影像信息可获取该预测影像信息。
[0057] 该第一影像信息与该第二影像信息可对应于从该第一照相机接收的连续帧影像， 而该第三影像信息可对应于从该第二照相机接收并于该第一影像信息与该第二影像信息 之间获取的一帧影像。
[0058] 该方法可进一步包括根据该撞击点之前/之后的该影像信息以及该预测影像信 息，获取该主体的物理特性。
[0059] 该第一照相机与该第二照相机可在该第一模式下低速抓取影像以及在该第二模 式下高速抓取影像。
[0060] 实施方式
[0061] 现在详细参考本发明的优选实施例，附图中举例说明了其示例。根据发明人能够 适当地定义术语的概念以最佳地描述发明人的发明这一原则，本说明书及权利要求书中所 使用的术语不应限制性地理解为典型的或者词汇的意思，而应理解为符合本发明技术构思 的意思和概念。因此，由于本文所述的实施例与附图中所示的配置只是对应于本发明的优 选实施例，而不代表本发明的所有技术构思，因此应注意的是可作出本发明的各种等效实 施例以及变化例。
[0062] 特别是，在本说明书中，术语"信息（information) "包括所有数值（values)、参数 (parameters)、系数（coefficients)、元素（elements)等，其含义是可变的。因此，本发明不 限于此。
[0063] 图1为用于说明立体视觉系统的视图。
[0064] 参考图la，因为右眼和左眼感知不同影像，因此人们能够立体地感知物体。当两只 眼睛视网膜上的影像被大脑（100)结合时，由于所获取的影像之间的细微差别便实现了立 体影像。所获取的影像作为电信号通过视网膜的视神经传递到大脑的处理部，大脑经各种 处理检测传递的电信号的特征，并将该特征比作大脑中的信息以感知目标对象。
[0065] 参考图lb,立体视觉系统（stereovision system)为将通过人的两眼感知目标 对象的过程应用到计算机视觉的系统。因此，该立体视觉系统包括相当于人眼睛的照相机 (110)以及相当于人的视觉系统的计算机（120)。
[0066] 图2为举例说明立体视觉系统的照相机设置方法的视图。
[0067] 参考图2,该立体视觉系统的照相机设置方法可大致分为连续照相机设置和同时 照相机设置。该连续照相机设置相当于利用单个照相机连续输入影像的方法，而不是设置 两个照相机。
[0068] 然而，该同时照相机设置相当于通过设置两个照相机来同时获取影像的方法，现 有的立体视觉系统通常采用该同时照相机设置。该同时照相机设置依据照相机的配置又 细分为（a)平行照相机设置（Parallel Camera Setup)和（b)交叉照相机设置（Crossing Camera Setup)，而照相机的配置又取决于照相机的光轴如何配置。该平行照相机设置指的 是将照相机的光轴配置成彼此垂直平行或水平平行的方法，而该交叉照相机设置指的是将 照相机的光轴配置成彼此交叉的方法。该交叉照相机设置类似于人眼睛的结构。
[0069] 该平行照相机设置的优势在于距离测定容易，但劣势在于没有视差控制功能，因 此不能实现高质量立体影像。相较于该平行照相机设置，该交叉照相机设置的优势在于能 够测定到快速移动物体的距离。
[0070] 图3为举例说明在一般立体视觉系统中照相机抓取影像的时序的视图。
[0071] 如图3所示，在四帧（frame)的基础上，在该一般立体视觉系统中在两个不同照相 机撷取的时间同步影像的交点抓取影像，并且该影像被照相机以恒定速率抓取，而不考虑 主体的状态。
[0072] 例如，当如图3所示，利用两个具有每秒450巾贞（frame per second)巾贞速率的照 相机撷取影像时，每个照相机每一秒可获取450帧影像，并且利用各个照相机获取的时间 同步影像能够检测出主体的距离、方向等。
[0073] 然而，对于主体保持静止然后移动的场景，如果影像在相同的拍摄模式（例如，帧 速率、抓取时序等）下被不断撷取，而没有考虑到该主体的状态，那么不必要的影像会被撷 取，从而会使系统负载增加。例如，当使用者击打保持静止的高尔夫球时，在撞击点之后需 要高帧速率来撷取快速移动主体的影像。然而，如果在该撞击点之前即使在静止状态下以 高帧速率撷取影像，那么不必要的影像也会被撷取，从而会使系统负载增加。
[0074] 进一步地，不可避免地需要高性能照相机撷取快速移动主体的特写影像，并且，例 如，如果使用两个具有900fps性能的照相机，则该照相机非常昂贵，因此不容易配置立体 视觉系统。
[0075] 因此，需要一种能够依据主体状态控制拍摄模式的立体视觉系统，并且还需要一 种利用廉价照相机代替高价照相机撷取快速移动主体的特写影像来配置立体视觉系统的 方法。
[0076] 图4为举例说明依据本发明一实施例用于立体视觉的影像处理装置的配置的框 图，以及图5为举例说明图4所示影像处理装置的详细配置、额外配置以及组件功能的框 图。
[0077] 如图4所示，依据本发明该实施例的该影像处理装置（400)包括一影像撷取单元 (410)以及一控制器（420)。进一步地，该影像撷取单元（410)包括用于配置一立体视觉系 统的多个照相机（430)以及一包括至少一个用于闪光以撷取影像的照明装置的照明单元 (440)。
[0078] 如以上关于图3的说明，用于立体视觉的一般影像处理装置被配置成时间同步地 以一帧或多帧为单位依序撷取主体影像。然而，依据本发明该实施例的该影像处理装置 (400)的特征在于所述照相机交替撷取主体影像。
[0079] 例如，当包括两个具有450fps速度的照相机的影像处理装置被配置成在利用第 一照相机（Camera#l)抓取影像的1/900秒之后利用第二照相机（Camera#2)抓取影像时， 利用该两个具有450fps速度的照相机可实现具有900fps速度的照相机的影像撷取性能。 在这种情况下，由于主体的影像是从不同位置撷取，因此为了从所撷取的影像提取3D信 息，额外需要预估每个照相机撷取的影像之间的中间影像的过程。
[0080] 该控制器（420)控制该影像撷取单元（410)的该照相机（430)以一定时间间隔抓 取影像，并控制该照明单元（440)在该照相机（430)抓取影像时工作。
[0081] 现在参考图5给出图4所示的该影像处理装置（400)的详细配置和组件功能的说 明。
[0082] 如图4和图5所示，在依据本发明该实施例的该影像处理装置（400)中，信息按该 影像撷取单元（410)-影像预估器（470)-影像处理器（480)的顺序流动，并且该控制器 (420)包括一照相机控制器（450)以及一照明控制器（460)，用以控制该照相机（430)与该 照明单元（440)。
[0083] 在该影像撷取单元（410)中，该照相机依据该照相机控制器（450)的信号以一定 时间间隔抓取影像，并且该照明单元（440)依据该照明控制器（460)的信号提供光以对应 该照相机（430)抓取影像的速度。
[0084] 例如，该照相机控制器（450)可控制两个具有450fps速度的照相机在利用第一 照相机（Camera#l)抓取影像的1/900秒之后利用第二照相机（Camera#2)抓取影像，并且 该照明控制器（460)可控制该照明单元提供一光学环境，在该光学环境中，照相机能够以 900fps的速度撷取影像。
[0085] 该影像撷取单元（410)的该第一照相机（例如，左照相机）以及该第二照相机（例 如，右照相机）以一定时间间隔交替撷取影像，并依据该照相机控制器（450)的信号获取 影像信息。然而，由于所获取的影像信息不是如上所述关于时间同步地撷取的影像的信息 (也就是说，在该第一照相机获取的影像信息与该第二照相机获取的影像信息之间没有交 集），因此不能基于该影像信息获取关于主体物理特性的信息，例如3D信息。
[0086] 该影像预估器（470)基于从该第一与第二照相机接收的该影像信息获取预测影 像信息。具体地，该影像预估器利用从该第一照相机接收的第一影像信息与第二影像信息 以及从该第二照相机接收的第三影像信息来获取第一预测影像信息。
[0087] 该第一影像信息与该第二影像信息指的是从该第一照相机接收的连续帧影像，而 该第三影像信息指的是该第二照相机从该第一影像信息与该第二影像信息之间获取的一 帧影像。下面将参考图12详细说明该影像预估器（470)获取该预测影像信息的过程。 [0088] 依据本发明该实施例的该影像处理装置可进一步包括用于使该影像撷取单元 (410)撷取的电子影像信号数字化的抓取器（未显示），以及用于存储从该影像撷取单元 (410)接收的该影像信息以及从该影像预估器（470)接收的该预测影像信息的数据库（未 显示）。
[0089] 该影像处理器（480)利用从该影像撷取单元（410)接收的该影像信息、从该影像 预估器（470)接收的该预测影像信息、或者存储于该数据库中的信息，来获取关于主体物 理特性的信息。例如，当利用该影像撷取单元（410)撷取移动主体的影像时，该影像处理器 (480)可利用上述信息获取关于到该主体的距离、该主体的速度以及方向等信息。
[0090] 如图3所示，当该第一照相机（Camera#l)与该第二照相机（Camera#2)在每一帧 中时间同步地撷取影像时，需要高性能、高价的照相机来撷取快速移动主体的特写影像。
[0091] 本发明提出一种方法，该方法利用低性能照相机交替撷取影像，即，通过调整抓取 时序（grab sequence)，能够实现高性能照相机的影像撷取性能。
[0092] 现在参考图6说明依据本发明该实施例的该影像处理装置的操作。由于除了抓取 影像的操作之外，本领域技术人员将了解该影像处理装置的操作，因此下面将代表性地说 明抓取影像的操作。
[0093] 图6为举例说明在图4所示影像处理装置中照相机抓取影像的时序的视图。
[0094] 如图6所示，依据本发明该实施例的该影像处理装置（400)的特征在于两个照相 机交替抓取影像。
[0095] 亦即，当利用两个具有N fps (frame per second) (N > 0,并且N指的是照相 机速度）性能的照相机撷取影像时，所述照相机以这样的方式配置：在该第一照相机 (Camera#l)工作1/2N秒之后该第二照相机（Camera#2)工作。在这种情况下，可实现具有 2N fps性能的照相机的影像撷取性能。
[0096] 例如，当如图6所示利用两个具有450fps性能的照相机撷取影像时，如果在利用 该第一照相机（Camera#l)撷取影像的1/900秒之后利用该第二照相机（Camera#2)抓取影 像，则可实现具有900fps性能的照相机的影像撷取性能。
[0097] 通过使该照相机控制器（450)控制多个照相机，如以上关于图5的说明，可实现本 发明的上述原理。亦即，该照相机控制器（450)控制该第二照相机（Camera#2)在该第一照 相机（Camera#l)抓取影像的一定时间（例如，在图6中为1/900秒）之后抓取影像。
[0098] 图7为举例说明依据本发明另一实施例能够切换拍摄模式的立体视觉系统的影 像处理装置的配置的框图，以及图8为举例说明图7所示影像处理装置的详细配置、额外配 置以及组件功能的框图。
[0099] 如图7所示，依据本发明该实施例的该影像处理装置（700)包括一影像撷取单 元（710)、一影像分析器（720)、一模式切换单元（750)、一控制器（760)以及一影像处理器 (770)。
[0100] 如以上关于图3的说明，用于立体视觉的一般影像处理装置被配置成在恒定帧速 率下时间同步地以一帧或多帧为单位依序撷取主体影像，而不考虑主体的状态。然而，依据 本发明该实施例的该影像处理装置（700)的特征在于依据主体的状态将拍摄模式从第一 模式切换到第二模式，特别是，照相机在该第二模式下交替撷取主体的影像。
[0101] 这里，根据帧速率、抓取时序等，来区别该第一模式与该第二模式。例如，该帧速率 高，配置立体视觉系统的多个照相机（730)在该第一模式下时间同步地抓取主体的影像， 以及该帧速率高，该照相机（730)在该第二模式下以一定时间间隔交替抓取主体的影像。
[0102] 如果撷取主体保持静止然后移动的场景的特写影像，则需要自主体从静止状态开 始移动（下文中称为"运动（PLAY)阶段"）的时间点起以高帧速率撷取影像，但是在主体开 始移动之前（即，在静止状态下）（下文中称为"预备（READY)阶段"）能够以低帧速率撷取 影像。
[0103] 因此，例如，当利用包括两个具有450fps速度的照相机的影像处理装置撷取移动 主体的影像时，如果在该预备阶段在该第一模式下撷取影像（例如，以低速，例如30fps，时 间同步地抓取主体影像），以及在该运动阶段在该第二模式下撷取影像（例如，在利用该第 一照相机（Camera#l)抓取主体影像的1/900秒之后利用该第二照相机（Camera#2)抓取主 体影像），则在需要以高速撷取影像的该运动阶段，利用两个具有450fps速度的照相机可 实现具有900fps速度的照相机的影像撷取性能，并且在能够以低速撷取影像的该预备阶 段，可减小当撷取大量不必要影像时所产生的系统负载。
[0104] 如上所述，当在该第二模式下撷取影像时，由于主体的影像是从不同位置撷取，因 此为了从所撷取的影像提取3D信息，额外需要预估每个照相机撷取的影像之间的中间影 像的过程。
[0105] 该影像分析器（720)根据从该影像撷取单元（710)接收的影像来确定主体是否保 持静止，并且在确定该主体保持静止时，该模式切换单元（750)将该影像撷取单元（710)的 拍摄模式切换到该第二模式。
[0106] 该控制器（760)可依据该模式切换单元（750)的信号，控制该影像撷取单元（710) 的该照相机（730)在该第一模式下时间同步地低速抓取主体影像以及在该第二模式下以 一定时间间隔高速交替抓取主体影像，并且控制该照明单元（740)在该照相机（730)抓取 影像时工作。
[0107] 现在参考图8说明图7所示该影像处理装置（700)的详细配置和组件功能。
[0108] 如图7与图8所示，在依据本发明该实施例的该影像处理装置（700)中，信息按该 影像撷取单元（710)-该影像分析器（720)-该模式切换单元（750)-该控制器（760)的 顺序流动，并且该控制器（760)包括一照相机控制器（765)以及一照明控制器（775)，用以 控制该照相机（730)与该照明单元（740)。
[0109] 在该影像撷取单元（710)中，该照相机依据该照相机控制器（765)的信号在该第 一模式或者该第二模式下抓取影像，并且该照明单元（740)依据该照明控制器（775)的信 号提供光以对应该照相机（730)抓取影像的速度。
[0110] 该影像分析器（720)根据在该第一模式下从该影像撷取单元（710)接收的影像信 息，具体地，如图8所示利用包含于该影像分析器（720)中的运动传感器（785)，来确定主体 是否保持静止。
[0111] 在确定该主体保持静止时，该模式切换单元（750)将该影像撷取单元（710)的拍 摄模式从该第一模式切换到该第二模式，并且该照相机控制器（765)依据该模式切换单元 (750)的信号控制该影像撷取单元（710)在该第二模式下撷取影像。
[0112] 例如，当该拍摄模式被切换到该第二模式时，该照相机控制器（765)可控制两个 具有450fps速度的照相机在利用第一照相机（Camera#l)抓取影像的1/900秒之后利用第 二照相机（Camera#2)抓取影像，并且该照明控制器（775)可控制该照明单元（740)提供一 光学环境，在该光学环境中，照相机能够以900fps的速度撷取影像。
[0113] 进一步地，该影像撷取单元（710)的该第一照相机（例如，左照相机）以及该第二 照相机（例如，右照相机）以一定时间间隔交替撷取影像，并依据该照相机控制器（750)的 信号获取影像信息，并且影像预估器（780)根据在该第二模式下获取并由该第一与第二照 相机传送的该影像信息获取预测影像信息。
[0114] 图9为举例说明依据本发明另一实施例在该第二模式下运行的立体视觉系统的 影像处理装置900的配置的框图。
[0115] 如图9所示，在依据本发明该实施例的该影像处理装置（900)中，信息在该第一模 式下是按影像撷取单元（910)-影像分析器（920)-模式切换单元（950)-控制器（960) 的顺序流动，而在该第二模式下是按该影像撷取单元（910)-该影像分析器（920)-影像 预估器（970)-影像处理器（980)的顺序流动。
[0116] 该影像撷取单元（910)与该控制器（960)的功能已经在上面说明，因此下面不再 说明。在依据本发明该实施例的该影像处理装置900中，该影像分析器（920)包括一运动 传感器（985)以及一击打传感器（990)，该运动传感器（985)根据该影像撷取单元（910)在 该第一模式下获取的影像信息来确定主体是否保持静止，该击打传感器（990)根据该影像 撷取单元（910)在该第二模式下获取的影像信息来确定该主体是否被使用者击打。如上所 述，该模式切换单元（950)根据该运动传感器（985)的确定结果切换该影像撷取单元（910) 的拍摄模式。
[0117] 该击打传感器（990)根据在该第二模式下获取的该影像信息来确定该主体是否 被使用者击打，并在确定该主体被使用者击打时，影像预估器（980)检查一撞击点，从该影 像撷取单元（910)或者数据库（未显示）获取该撞击点之前/之后的影像信息，以及根据 该影像信息获取预测影像信息。
[0118] 图10为举例说明在图9所示影像处理装置中照相机抓取影像的时序的视图。
[0119] 如图10所示，依据本发明该实施例的该影像处理装置（900)的特征在于根据主体 是否保持静止来区分预备阶段与运动阶段，于该预备阶段在该第一模式下撷取影像，以及 于该运动阶段在该第二模式下撷取影像。
[0120] 例如，多个照相机于该预备阶段时间同步地低速（例如，帧速率为30fps)抓取主 体影像，并且于该运动阶段以一定时间间隔高速（例如，帧速率为450fps)交替抓取主体影 像，从而获取影像?目息。
[0121] 当利用两个具有N fps (frame per second) (N > 0,并且N指的是照相机速度） 性能的照相机撷取影像时，所述照相机以这样的方式配置：于该预备阶段，持续低速抓 取影像；以及于该运动阶段，在该第一照相机（Camera#l)工作1/2N秒之后第二照相机 (Camera#2)工作。在这种情况下，可实现具有2N fps性能的照相机的影像撷取性能。
[0122] 进一步地，如果于该预备阶段和该运动阶段中通过在该第一模式和该第二模式之 间切换拍摄模式来撷取影像，如图10所示，则可减小当撷取不必要影像时所产生的系统负 载或者防止其增加。
[0123] 图11为举例说明利用图7或图9所示的该影像处理装置于该第二模式下撷取的 影像的视图。
[0124] 如图11所示，利用该影像处理装置（700、900)于该第二模式下撷取的影像是通过 该第一照相机（Camera#l)和该第二照相机（Camera#2)交替获取的。
[0125] 在这种情况下，由于在该两个照相机获取的影像之间没有交集，因此不能获取主 体的3D信息等。由此，需要获取每一个照相机所获取的影像之间的中间影像的过程。
[0126] 图12为举例说明预估利用图7或图9所示的该影像处理装置于该第二模式下撷 取的影像之间的影像所用的方法的视图。
[0127] 利用该影像处理装置（700、900)于该第二模式下撷取的影像是通过两个照相机 交替获取的，因此不会直接获取时间同步的影像。
[0128] 因此，如图12所示，可利用该第一照相机（Camera#l)的第一帧影像（frame#l_l) 与第二巾贞影像（frame#l_2)来获取第一预测（Predicted)影像（P_frame#l_l)，并且以 同样的方式，可利用该第一照相机（Camera#l)的第二巾贞影像（frame#l_2)与第三巾贞影像 (frame#l_3)来获取第二预测影像（P_frame#l_2)。
[0129] 如果利用上述方法预估快速移动主体（例如，高尔夫球或者棒球）的影像，则很难 预测该高尔夫球或者棒球的速度、方向、旋转等，并且其准确性必然非常低。
[0130] 因此，为了提高预测影像的准确性，该影像处理装置（700、900)利用三个影像来 获取该第一预测影像（P_frame#l_l)，这三个影像包括该第二照相机（Camera#2)的第一中贞 影像（frame#2_l)以及该第一照相机（Camera#l)的该第一巾贞影像（frame#l_l)与该第二 中贞影像（frame#l_2)。
[0131] 例如，如果利用图2a的平行立体照相机，则利用该第一照相机（Camera#l)撷取的 影像和利用该第二照相机（Camera#2)撷取的影像在x、y、z坐标系中具有相同的两个坐标 值。如果利用图2b的交叉立体照相机，则一个坐标值相同。因此，与如上所述利用两个影像 (例如，frame#l_l、frame#l_2)的情况相比，利用三个影像（例如，frame#l_l、frame#l_2、 frame#2_l)可提高该第一预测影像（P_frame#l_l)的准确性。
[0132] 在该影像处理装置（700、900)中，可采用各种方法来利用三个影像预测影像。例 如，利用之前影像与当前影像之间的差别，或者通过将一个影像分成块利用主体的移动，可 预估影像。除了上述方法之外，本领域技术人员将了解影像预估方法。
[0133] 图13为举例说明依据本发明一实施例利用影像处理装置获取影像信息的过程的 流程图。
[0134] 参考图13,首先，通过于该第一模式下撷取主体影像来获取影像信息（X) (S1300)，并根据该影像信息（X)确定该主体是否保持静止（S1305)。
[0135] 在确定该主体保持静止时（S1310)，将拍摄模式切换到第二模式（S1315)。在 确定该主体未保持静止时（S1310)，根据该影像信息（X)再次确定该主体是否保持静止 (S1305)。
[0136] 然后，通过于该第二模式下撷取该主体影像来获取影像信息（Y) (S1320)，并根据 该影像信息（Y)确定该主体是否被使用者击打（S1325)。
[0137] 在确定该主体被使用者击打时（S1330)，检查一撞击点，并获取该撞击点之前/之 后的影像信息（Z)(S1335)。在确定该主体没有被使用者击打时（S1330)，根据该影像信息 (Y)再次确定该主体是否被使用者击打（S1325)。
[0138] 然后，根据该影像信息（Z)获取预测影像信息（S1340)，并根据该影像信息（Z)与 该预测影像信息获取关于该主体物理特性的信息（S1345)。
[0139] 如上所述，依据本发明一实施例的影像处理装置可用于各工业领域和运动当中。 现在说明用于虚拟高尔夫球模拟的传感装置，其包括依据本发明一实施例的影像处理装 置。
[0140] 图14为举例说明依据本发明一实施例包括影像处理装置的用于虚拟高尔夫球模 拟的传感装置的视图，以及图15为举例说明图14所示传感装置的配置的框图。
[0141] 通常，虚拟高尔夫球模拟装置包括用于感应球是否被使用者击打的该传感装置 (1400)以及一模拟器（未显示），该模拟器用于显示虚拟高尔夫球场的影像，并通过依据该 传感装置（1400)的感应结果提供显示该虚拟高尔夫球场上球轨迹的模拟影像，来执行虚 拟高尔夫球模拟。
[0142] 如图14所示，在虚拟高尔夫球模拟装置中，可在高尔夫棚的地板上准备供使用者 的高尔夫挥杆的击球员区（1420)，该高尔夫棚提供一定大小的空间，击球垫（1425)可配备 在该击球员区（1420)的侧面，以允许使用者通过在该击球员区（1420)中挥动高尔夫球杆 击打放置在该击球垫（1425)上的球，并且可在前面配备屏幕，以显示从影像输出装置输出 的影像，该影像输出装置从模拟器接收影像信息。
[0143] 如图14和图15所示，依据本发明该实施例的该传感装置（1400)包括一影像撷 取单元（1430)，该影像撷取单元（1430)包括多个照相机（1405U410)以及一照明单元 (1415);-传感处理器（1435)，该传感处理器（1435)通过处理该影像撷取单元（1430)撷 取的影像来提取移动中球的物理特性；一影像处理器（1485)，该影像处理器（1485)接收来 自该传感处理器（1435)的传感信息和影像信息，并进行影像处理以获取虚拟高尔夫球场 的影像或者显示该虚拟高尔夫球场上球轨迹的模拟影像；一影像输出单元（1490)，该影像 输出单元（1490)输出从该影像处理器（1485)接收的影像信息，使用者将在屏幕上看到该 影像信息；一数据库（1495)，该数据库（1495)存储从该影像撷取单元（1430)接收的影像 信息；以及一影像控制器（1480)，该影像控制器（1480)控制该影像处理器（1485)、该影像 输出单元（1490)以及该数据库（1495)的操作。
[0144] 该影像撷取单元（1430)可包括两个时间同步照相机以配置一立体视觉系统。然 而，为了通过利用廉价照相机撷取例如快速移动的高尔夫球的特写影像来提取球的物理特 性（例如，球的速度、方向、旋转等），如上所述，该影像撷取单元可配置成利用两个交替的 照相机抓取影像。
[0145] 该传感处理器（1435)包括一抓取器（1455)，该抓取器（1455)以一巾贞为基础依 序接收并收集该影像撷取单元（1430)获取的影像；一影像分析器（1400)，该影像分析器 (1400)接收从该抓取器（1455)传送的该影像，并确定主体是否保持静止；一模式切换单元 (1410)，在确定该主体保持静止时，该模式切换单元（1410)将该影像撷取单元（1430)的 拍摄模式切换到一第二模式；一击打传感器（1460)，该击打传感器（1460)接收并处理从该 抓取器（1455)传送的该影像，并感应是否准备好击打以及使用者是否完成了击打；一影像 预估器（1465)，如果该击打传感器（1460)感应到击打，则该影像预估器（1465)检查一撞 击点，从该数据库（1495)提取该撞击点之前/之后的影像信息，以及根据该影像信息获取 预测影像信息；一球影像处理器（1470)，该球影像处理器（1470)根据该撞击点之前/之 后的该影像信息以及该预测影像信息，提取作为该主体的球的物理特性；以及一转换单元 (1475)，该转换单元（1475)通过将从该影像撷取单元（1430)接收的该影像信息匹配到从 该影像预估器（1465)接收的该预测影像信息，将该影像撷取单元（1430)的多个照相机的 二维（2D)信息转变成3D信息，或者反过来将该3D信息转变成2D信息。
[0146] 该影像处理器（1485)进行影像处理以获取虚拟高尔夫球场的影像或者显示该虚 拟高尔夫球场上球轨迹的模拟影像，该影像输出单元（1490)将从该影像处理器（1485)接 收的该影像信息输出到屏幕上使使用者可形象地看到，并且该数据库（1495)存储与该传 感装置（1400)有关的所有类型的数据。
[0147] 图16为举例说明依据本发明一实施例利用传感装置的击打传感器感应主体例如 球是否被使用者击打的过程的视图。
[0148] 如图16a所示，该击打传感器（1460)在多个帧的源影像上设定一击打区域，并在 该击打区域搜寻球。通常，对应于该击球垫（1425)的区域被设定为该击打区域。如果如上 所述设定该击打区域并在该击打区域搜寻球，则与搜寻整个源影像的情况相比，可更快并 且准确地检测到球。
[0149] 该击打传感器（1460)可利用各种方法检测球。例如，可分析预设并存储为球的参 考影像的球模板与存在于该击打区域中的特定对象之间的相似度，如果该相似度等于或大 于一定水平，则可确定该特定对象为球。
[0150] 如图16b所示，具有足以包含一个球的大小的感应区域（1600)可相对于所检测的 球而设定，并且该击打传感器（1460)可根据球是否存在于该感应区域（1600)中而确定球 是否被使用者击打。
[0151] 例如，当球处于图16b的状态时，如果感应到球不再存在于该感应区域（1600)中， 如图16c所示，则该击打传感器（1460)可确定球被使用者击打。在感应到作为该主体的球 被使用者击打时，该击打传感器（1460)在所述感应之前检查多个帧影像以检测当球开始 移动时的准确时间点，即撞击点，将该撞击点之前/之后的多个帧的影像信息存储在该数 据库（1495)中，以及将该影像信息传送到该影像预估器（1465)。该影像预估器（1465)根 据该影像信息获取预测影像信息。
[0152] 该球影像处理器（1470)根据从该击打传感器（1460)接收的该撞击点之前/之后 的该影像信息以及从该影像预估器（1465)接收的该预测影像信息来计算物理特性信息， 该物理特性信息包括移动中的球的速度、方向、旋转等。
[0153] 该球影像处理器（1470)所获取的球的该物理特性信息被传送到模拟器（未显 示），该模拟器通过根据该物理特性信息经该影像输出单元（1490)输出虚拟高尔夫球场上 球的模拟影像，来进行虚拟高尔夫球模拟。
[0154] 如上所述，本发明可提供一种在立体视觉系统中供处理影像的方法及装置，其通 过藉由利用立体视觉系统中所使用的两个廉价、低性能照相机以一定时间间隔、不需时间 同步地交替抓取主体影像来获取影像信息，以获得高性能照相机的性能。
[0155] 本发明还可提供一种在立体视觉系统中供处理影像的方法及装置，其通过根据主 体状态切换拍摄模式，以减小系统负载并有效撷取影像。
[0156] 本发明还可提供一种在立体视觉系统中供处理影像的方法及装置，其基于从包含 于立体视觉系统中的多个照相机接收的影像信息获取预测影像信息，并且基于该预测影像 信息检测主体的物理特性等。
[0157] 对本领域技术人员而言，在不脱离本发明的精神或范围的情况下，显然可对本发 明作出各种修饰与变化。因此，意图是倘若这些修饰与变化在所附权利要求书及其等效的 范围内，那么本发明覆盖本发明的这些修饰与变化。
[0158] 产业利用性
[0159] 本发明可用于依据主体状态切换立体视觉系统的拍摄模式。
【权利要求】
1. 一种在立体视觉系统中供处理影像的装置，该装置包括： 一影像撷取单元，该影像撷取单元包括一第一照相机与一第二照相机以及一照明单 元，该第一照相机与该第二照相机通过撷取一主体影像来获取影像信息，该照明单元用于 闪光以撷取一影像；以及 一照相机控制器，该照相机控制器控制该第一照相机与该第二照相机通过以一定时间 间隔、不需时间同步地交替抓取该主体影像来获取该影像信息。
2. 如权利要求1所述的装置，进一步包括一照明控制器，该照明控制器控制该照明单 元和该第一照相机与该第二照相机抓取该影像时间同步地运行。
3. 如权利要求1所述的装置，进一步包括： 一影像分析器，该影像分析器根据所获取的影像信息确定该主体是否保持静止；以及 一模式切换单元，在确定该主体保持静止时，该模式切换单元将该影像撷取单元的一 拍摄模式从一第一模式切换到一第二模式， 其中该第一照相机与该第二照相机通过在该第一模式下时间同步地抓取该主体影像， 获取该影像信息，以及通过在该第二模式下以一定时间间隔交替抓取该主体影像，获取该 影像息。
4. 如权利要求3所述的装置，其中该第一照相机与该第二照相机依据从该照相机控制 器传输的一信号，在该第二模式下获取该影像信息。
5. 如权利要求4所述的装置，其中该第一照相机与该第二照相机在该第一模式下低速 抓取影像以及在该第二模式下高速抓取影像。
6. 如权利要求4所述的装置，其中该影像分析器包括一击打传感器，该击打传感器根 据在该第二模式下所获取的该影像信息，感应该主体是否被一使用者击打。
7. 如权利要求6所述的装置，进一步包括一数据库，该数据库用于存储该第一照相机 与该第二照相机在该第二模式下所获取的该影像信息。
8. 如权利要求7所述的装置，进一步包括一影像预估器，在感应到该主体被该使用者 击打时，该影像预估器检查一撞击点，从该数据库提取该撞击点之前/之后的该影像信息， 以及根据所提取的该影像信息获取预测影像信息。
9. 如权利要求8所述的装置，其中该影像预估器利用从该第一照相机接收的第一影像 信息与第二影像信息以及从该第二照相机接收的第三影像信息来获取第一预测影像信息。
10. 如权利要求9所述的装置，其中该第一影像信息与该第二影像信息对应于从该第 一照相机接收的连续帧影像，而该第三影像信息对应于从该第二照相机接收并于该第一影 像信息与该第二影像信息之间获取的一帧影像。
11. 如权利要求8所述的装置，进一步包括一影像处理器，该影像处理器根据该撞击点 之前/之后的该影像信息以及该预测影像信息，获取该主体的物理特性。
12. -种在立体视觉系统中供处理影像的方法，该方法包括： 利用一影像撷取单元在一第一模式下获取一主体的影像信息，该影像撷取单元包括一 第一照相机与一第二照相机以及一用于闪光以撷取一影像的照明单元； 根据所获取的影像信息确定该主体是否保持静止；以及 在确定该主体保持静止时，将该影像撷取单元的一拍摄模式切换到一第二模式， 其中该第一照相机与该第二照相机通过在该第一模式下时间同步地抓取该主体影像 来获取该影像信息，以及通过在该第二模式下以一定时间间隔交替抓取该主体影像来获取 该影像信息。
13. 如权利要求12所述的方法，进一步包括通过该第一照相机与该第二照相机在切换 到的该第二模式下获取该影像信息。
14. 如权利要求13所述的方法，进一步包括根据在该第二模式下所获取的该影像信 息，感应该主体是否被一使用者击打。
15. 如权利要求14所述的方法，进一步包括将在该第二模式下所获取的该影像信息存 储于一数据库中。
16. 如权利要求15所述的方法，进一步包括在感应到该主体被该使用者击打时，检查 一撞击点，从该数据库提取该撞击点之前/之后的该影像信息，以及根据所提取的该撞击 点之前/之后的该影像信息获取预测影像信息。
17. 如权利要求16所述的方法，其中利用从该第一照相机接收的第一影像信息与第二 影像信息以及从该第二照相机接收的第三影像信息获取该预测影像信息。
18. 如权利要求17所述的方法，其中该第一影像信息与该第二影像信息对应于从该第 一照相机接收的连续帧影像，而该第三影像信息对应于从该第二照相机接收并于该第一影 像信息与该第二影像信息之间获取的一帧影像。
19. 如权利要求16所述的方法，进一步包括根据该撞击点之前/之后的该影像信息以 及该预测影像信息，获取该主体的物理特性。
20. 如权利要求12所述的方法，其中该第一照相机与该第二照相机在该第一模式下低 速抓取影像以及在该第二模式下高速抓取影像。
【文档编号】H04N13/02GK104094595SQ201180076317
【公开日】2014年10月8日 申请日期:2011年12月30日 优先权日:2011年12月29日
【发明者】权起焕, 成龙远 申请人:高夫准株式会社