专利名称：从图像信号产生运动控制信号的设备的制作方法
技术领域：
本发明涉及图像处理。
在一种已知的设备中，当观察者看一幅图像时，根据该图像通过控制观察者座椅的运动，改进了逼真性。提供给该设备使椅子运动的运动控制信号，从由一传感器获得的数据产生，该传感器用于检测在图像被捕获的同时的角度，或者该运动控制信号由一个人通过观察所捕获的图像和由该人预测运动而通过手动操作产生。
在上述设备中，当椅子的运动控制信号由传感器产生时，用于产生运动控制信号的数据必须在捕获图像的同时被记录。因而，不可能通过使用已经捕获的图像来产生运动控制信号。同样，当一个人观察所捕获的图像，产生运动控制信号时，需要手动操作，带来的问题是，处理要很长的时间。
考虑到上述情况，实现了本发明。本发明的一个目的是提供一种信息处理设备，从输入图像产生运动控制信号。
为了实现上述目的，根据本发明的第一个方面，提供了一种信息处理装置，包括运动检测器，用于根据图像信号检测运动相关信号，即有关运动的信息；发生器，用于根据所述运动相关信号产生运动控制信号。
根据本发明的第二个方面，提供了一种信息处理方法，包括以下步骤根据图像信号检测运动相关信号，即有关运动的信息；根据所述运动相关信号产生运动控制信号。
根据本发明的第三个方面，提供了一种存储介质，存储计算机可控程序，该程序包括以下步骤根据图像信号检测运动相关信号，即有关运动的信息；根据所述运动相关信号产生运动控制信号。
通过参照附图以及下面的详细说明，本发明的上述和其它目的、方面及新特征将变得更清楚。
图1是示出本发明的图像处理设备的实施例的结构的方框图；图2是示出图1的特征信息检测部分11的结构的方框图；图3示出了在图2的存储器24中存储的模式(pattern)；图4示出了要处理的图像；
图5是要计算的矢量的图示；图6是示出图1的特征信息处理部分12的结构的方框图；图7是驱动部分3的侧面图；和图8是驱动部分3的顶视图。
图1是示出本发明的图像处理设备的实施例的结构的方框图。从图像磁带录像机(未示出)等提供的图像信号被提供给显示部分1和图像处理设备2。图像处理设备2产生运动控制信号，用于驱动驱动部分3。
图像处理设备2包括特征信息检测部分11和特征信息处理部分12。输入到图像处理设备2的信号被输入特征信息检测部分11，由此特征信息(后面将描述)被检测和输出到特征信息处理部分12。特征信息处理部分12计算要从输入的特征信息提供给驱动部分3的运动控制信号。驱动部分3根据输入的运动控制信号，驱动(运动控制)观察图像的观察者的座椅。该点将在以后描述。
图2是示出特征信息检测部分11的结构的方框图。输入到特征信息检测部分11的图像信号由延迟部分21延迟对应于一帧的量，其后它被提供给帧缓冲器22-1和帧缓冲器22-2。读取部分23-1和23-2根据存储在存储器24中的预定模式从相应的帧缓冲器22-1和22-2读取图像信号，输出该图像信号到运动矢量检测部分25。
运动矢量检测部分25从所提供的图像信号检测运动矢量，输出运动矢量到特征信息计算部分26。特征信息计算部分26从输入的运动矢量计算特征信息。
接着，描述图2所示的特征信息检测部分11的操作。在时刻t，输入到特征信息检测部分11的图像信号被提供给延迟部分21和帧缓冲器22-2。帧缓冲器22-2存储输入的一帧图像信号。在时刻t，由于延迟部分21延迟图像信号对应于一帧的量，在早于时刻t的时刻t-1的图像信号，即在时刻t一帧之前的图像信号被存储在帧缓冲器22-1中。存储在帧缓冲器22-1的时刻t-1的图像信号被读取部分23-1读取，存储在帧缓冲器22-2的时刻t的图像信号被读取部分23-2读取。
读取部分23-1和23-2在对应于存储在存储器24中的模式的部分中，从存储在对应的帧缓冲器22-1和22-2中存储的图像信号中读取图像信号。这里，存储在存储器24中的模式参考图3描述。
图3示出了存储器24中存储的模式的一个例子。对于形成一帧的象素的与运动无关的那些部分，例如，由安装到汽车的摄像机捕获的图像信号，例如图4所示的那样，汽车的车罩(hood)部分被认为是与运动控制无关的一个区域，相应地，位于所述区域已经被去除的区域的中心的象素被称为会聚(convergence)点P。例如，在关于会聚点P水平和垂直对称的位置设定了25个代表点Q(包括该会聚点)。对于每个代表点Q，设定了由预定数目的象素组成和代表点Q位于其中心的参考块B，例如由33×33个象素组成的参考块B。在存储器24中，在该帧的图像平面内的每个代表点Q的坐标和由例如65×65个象素组成的检索块的大小，被作为模式存储。
读取部分23-1从存储在帧缓冲器22-1中的在时刻t-1的图像信号中，根据代表点Q的坐标和参考块B的大小，读取对应于上述存储在存储器24中的模式的象素数据，即，在每个参考块B内的象素数据，并输出作为参考块的数据的象素数据到运动矢量检测部分25。以类似方式，读取部分23-2从存储在帧缓冲器22-2中的在时刻t的图像信号中，读取对应于存储在存储器24中的模式的象素数据，并输出作为搜索块的数据的象素数据到运动矢量检测部分25。
通过使用参考块的输入数据和搜索块的输入数据执行块匹配，运动矢量检测部分25在每个代表点Q检测运动矢量。因而，对于该例子，检测25个运动矢量。
在该实施例中，因为目的是产生运动控制信号，无需对所有象素检测运动矢量。因而，仅确定25个运动矢量。这使得减小电路的规模和增加处理速度称为可能。
特征信息计算部分26基于下面所示的等式，通过使用由运动矢量检测部分25检测的25个运动矢量，计算运动的总共四个分量，即水平分量u，垂直分量v，放大分量vzoom，旋转分量vrot，作为在时刻t该帧的整体。
水平分量u＝(1/n)∑ui(1)垂直分量v＝(1/n)∑vi(2)放大分量vzoom＝(1/n)∑vzoomi/di(3)旋转分量vrot＝(1/n)∑vrot/di(4)其中下标i表示附加到代表点Qi的数字，在该例中从1变化到25，n表示代表点的数目，在该例中是25。由等式(1)到(4)获得的值是由运动矢量检测部分25获得的每个分量u，v，vzoom，vrot的平均值。
上述分量u，v，vzoom，vrot间的关系参考图5描述。处理对象的代表点Qi的运动矢量T的水平分量由ui表示，垂直分量由vi表示。di是一标量，表示从会聚点P到代表点Qi的距离。(Px，Py)表示会聚点P的坐标，到坐标为(Qix，Qiy)的代表点Qi的距离参考这些坐标来计算。
运动矢量T的分量(ui，vi)是当代表点Qi被假定为原点时的分量。运动矢量T在平行于连接会聚点P和代表点Qi的直线的方向上的分量由vzoomi表示，在垂直于连接会聚点P和代表点Qi的直线的方向上的分量由vroti表示。同样，在连接会聚点P和代表点Q1的直线与运动矢量T之间形成的角度由θ表示。同时，vzoomi和vroti基于下面的等式确定。
vzoomi＝(ui2+vi2)(1/2)cosθ (5)vroti＝(ui2+vi2)(1/2)sinθ (6)这里，尽管以平均的方式使用25个运动矢量的值，以便确定每个分量，但每个分量可以基于其在图像平面的位置关系被加权。
通过使用等式(1)到(4)，从运动矢量检测部分25输出的运动矢量，特征信息计算部分26计算四个分量数据u，v，vzoom，vrot，作为特征信息。所计算的四个分量数据u，v，vzoom，vrot被输出到特征信息处理部分12(图1)。
这里，例如，当使观察者虚拟地经历驾驶汽车的感受时，考虑应该施加给观察者的座椅的力(运动)的种类。施加到汽车的椅子的力的例子包括当汽车在坡路上行驶时表示路面的前后倾斜的力、当汽车在颠簸路上行驶时表示从路面接收的上下方向的振动力、当汽车在坡路上行驶时表示路面的左右方向的倾斜的力。
这些力能够从给安装了捕获图像的摄像机的汽车的刺激中，将有相同的身体感受的形式的刺激提供给观察图像的观察者的椅子，这里称为“实际刺激”。实际刺激的特点是，当其值被积分时，值变为零。
相比较，当汽车转弯时表示离心力的力、在加速和减速过程中表示惯性力的力、在汽车在转弯时表示偏航(yawing)的力，它们的特点是即使其值被积分时，值也不变为零。对于这些刺激，很难以与给汽车的刺激相同的身体感受的形式给出，由于椅子可以运动的距离的限制，在运动方向上的限制等，这里被称为“模拟刺激”。
下面将示出在有关上述实际刺激和模拟刺激的力、实际施加到观察者的椅子的运动控制信号的分量、由特征信息计算部分26计算的四个分量间的关系。在下面所示的实际刺激中的路面前后倾斜的运动控制信号是运动控制信号分量之一“俯仰(pitch)”，可以由在运动矢量的垂直方向的分量中的低频量来表示。这里，由于路面的倾斜被认为是以慢周期变化，所以使用低频分量。从路面接收的颠簸被认为是在垂直方向，且是高频的。因而，对于从路面接收的颠簸的运动控制信号，使用在运动矢量的垂直方向的分量中的高频分量。该值由运动控制信号分量z表示。
用于路面的左右倾斜的运动控制信号是运动控制信号分量“摇摆(roll)”之一。从图5中可见，旋转分量vroti可以由一个值表示，这样25个运动矢量被加在一起。转弯的离心力的运动控制信号是运动控制信号分量“摇摆”之一，由水平分量u表示。加速和减速的惯性力的运动控制信号是运动控制信号分量之一“俯仰”，由放大分量vzoom的微分值的低频表示。运动控制信号是低频分量的原因是，灵敏操作对于加速和减速是不必要的。汽车转弯的偏航的运动控制信号是运动控制信号分量“偏航(yaw)”之一，并由水平分量u表示。运动控制信号是-u的原因是，运动控制信号的作用方向与转弯的离心力相反。
实际刺激所表示的分量运动控制信号分量 与4个分量的关系路面的前后倾斜 俯仰 ∑v的低频分量从路面接收的颠簸z -∑v的高频分量路面的左右倾斜 摇摆 -∑vrot模拟刺激所表示的分量运动控制信号分量 与4个分量的关系转弯的离心力摇摆 u加速和减速的惯性力 俯仰 dvzoom/dt低频分量汽车转弯的偏航 偏航 -u特征信息处理部分12使用上述关系，产生运动控制信号，提供给驱动部分3(图1)。图6是示出特征信息处理部分12的结构的方框图。在从特征信息检测部分11输出的四个分量中，旋转分量vrot被输入加法器31-1，水平分量u被输入加法器31-2和代码倒相器32-1，垂直分量v被输入加法器31-3，放大分量vzoom被输入加法器31-5和延迟单元33-3。从加法器31-1输出的数据被延迟单元33-1延迟对应于一个时钟的量，其后它被反馈和输入到加法器31-1。以类似的方式，从加法器31-3输出的数据被延迟单元33-2延迟对应于一个时钟的量，其后它也被反馈和输入到加法器31-3。
从延迟单元33-1输出的数据被输入到加法器31-2，从延迟单元33-2输出的数据经代码倒相器32-2被输出到HPF(高通滤波器)34，也经LPF(低通滤波器)35-1输出到加法器31¨D4。由延迟单元33-3延迟对应于一个时钟的量的放大分量vzoom从输入到加法器31-5的放大分量vzoom中减去，所得分量经LPF35-2被输入加法器31-4。
下面，将给出由特征信息处理部分12执行的运动控制信号分量“摇摆”、“偏航”、“z”和“俯仰”的计算的描述。输入到特征信息处理部分12的旋转分量vrot被输入加法器31-1。加法器31-1将在时刻t输入的旋转分量vrot和在一帧前的时刻t-1从延迟单元33-1输出的数据加在一起。加法器31-1通过以该方式累加(积分)旋转分量vrot，计算运动控制信号分量“摇摆”(∑vrot)，其表示路面的左右倾斜。然而，由于表示路面的左右倾斜的运动控制信号分量“摇摆”是-∑vrot，加法器31-2使用从延迟单元33-1输出的数据的代码被倒相的数据来计算。
运动控制信号分量“摇摆”(水平分量u)也被用于表示转弯的离心力。相应地，加法器31-2，通过将水平分量u和从延迟单元33-1输入的数据的代码被反相的数据相加(从水平分量u中减去延迟单元33-1的输出)，计算要提供给驱动部分3的运动控制信号分量“摇摆”。
由于转弯的汽车的偏航的运动控制信号分量“偏航”是通过将水平分量u的值倒相而获得的，特征信息处理部分12通过使代码倒相器32-1倒相输入的水平分量u的值的代码，计算运动控制信号分量“偏航”。
加法器31-3将在时刻t输入的垂直分量v和在一帧前的时刻t-1从延迟单元33-2输出的垂直分量v加在一起。以这种方式，垂直分量v由加法器31-3累加(积分)。然后，由加法器31-3和延迟单元33-2累加的数据被输入代码倒相器32-2，通过它代码被倒相，另外，仅由高频分量被从HPF34中提取。以这种方式，代表从路面接收的振动的运动控制信号分量z被计算。
另外，从延迟单元33-2输出的数据也被输出到LPF35-1，由此低频分量被提取。以这种方式，表示路面的前后倾斜的运动控制信号分量“俯仰”被计算。运动控制信号分量“俯仰”也被用作表示加速和减速的惯性力的运动控制信号分量。为此，从LPF35-1输出的运动控制信号分量“俯仰”被加法器31-4加到表示惯性力的运动控制信号分量“俯仰”。
表示惯性力的运动控制信号分量“俯仰”从输入到特征信息处理部分12的放大分量vzoom来计算。输入到特征信息处理部分12的放大分量vzoom被输入到加法器31-5和延迟单元33-3。在时刻t输入的放大分量vzoomt和在时刻t-1输入由延迟单元33-3延迟一帧的放大分量vzoomt-1被输入加法器31-5。加法器31-5通过从时刻t输入的放大分量vzoomt减去在时刻t-1输入的放大分量vzoomt-1，微分放大分量vzoom。然后，LPF35-2从加法器31-5输出的值中提取低频分量，从而计算表示加速和减速的惯性力的运动控制信号分量“俯仰”。
加法器31-4将从LPF35-1输出的值和从LPF35-2输出的值加在一起，从而计算要提供给驱动部分3的运动控制信号分量“俯仰”。
图7和8示出了驱动部分3的一个例子。图7是驱动部分3的侧面图。图8是驱动部分3的顶视图。驱动部分3包括六个活塞41-1到41-6，用作致动器，和由这些活塞支撑的基底42。基底42有一固定到它上面的椅子43，这样观察者44可以坐在该椅子43上。
活塞41-1到41-6能够沿它们的中轴伸展和收缩。由活塞41-1到41-6伸展和收缩运动的结果是，基底42拉推(jerk)，此外，固定到基底42的椅子43被拉推。用于控制活塞41-1到41-6的信号被特征信息处理部分12以上述方式产生和提供。
表1示出由驱动部分3操作的具体例子。在该表1中向上箭头表示活塞伸展，向下箭头表示活塞收缩。
表1实际刺激
前下坡 后上坡↑↓周期重复右沿运动方向在右侧部分低左沿运动方向在左侧部分低模拟刺激
左汽车左转右汽车右转Dclt减速 Aclt加速如上所述，在该实施例中，运动控制信号分量从由图像获得的运动来计算。这使得不必确定运动控制信号分量，以便由一个人通过观察图像预先输入它。另外，传感器等的使用使得可以容易地从图像中产生运动控制信号分量，该图像中，运动控制信号分量没有产生。
尽管在本实施例中运动矢量没有检测，也可以根据应用场合，仅检测运动的方向，或仅检测运动量。
尽管在上述例子中，用硬件示出了一个例子，但是本发明的操作可以是计算机可控的软件的一个程序。该程序可以被提供给信息处理设备，该设备由一计算机来控制，通过使用诸如磁盘、CD-ROM的光盘、磁带等的信息存储介质，或使用诸如传输介质的存储介质。该传输介质利用使用互联网、数字卫星等的网络。
该程序可以包括特征信息检测步骤、特征信息处理步骤、和驱动步骤，它们执行与由图1所示的由硬件实现的特征信息检测部分11、特征信息处理部分12和驱动部分3执行的处理一样的处理，例如，可以为每一帧执行这些步骤。
在不脱离本发明的精神和范围的情况下，可以构造本发明的许多不同的实施例。应该理解，本发明不限于在说明书中描述的具体实施例。相反地，本发明意在覆盖包含在后面要求的本发明的精神和范围内的各种修改和等价结构。下面的权利要求的范围将按最宽的解释，以便包含所有这些修改、等价结构和功能。
权利要求
1.一种信息处理设备，包括运动检测器，用于根据图像信号，检测有关运动的信号，该有关运动的信号是有关运动的信息；和发生器，用于根据所述的有关运动的信号产生运动控制信号。
2.如权利要求1所述的信息处理设备，其中所述运动检测器检测运动矢量作为所述有关运动的信号。
3.如权利要求2所述的信息处理设备，其中所述运动检测器为在一帧内的预定位置的由多个象素组成的每块检测一个运动矢量。
4.如权利要求2所述的信息处理设备，其中所述发生器根据所述的运动矢量产生水平分量、垂直分量、放大分量和旋转分量，作为所述运动控制信号。
5.如权利要求1所述的信息处理设备，还包括驱动装置，用于根据所述运动控制信号驱动对象。
6.如权利要求5所述的信息处理设备，其中一个椅子作为所述对象，所述驱动装置包括一致动器，用于移动所述椅子。
7.如权利要求6所述的信息处理设备，还包括显示装置，用于显示所述图像信号。
8.如权利要求1所述的信息处理设备，其中所述的运动控制信号包含多个分量。
9.如权利要求1所述的信息处理设备，其中所述的运动检测器根据在所述图像信号的帧的预定部分中的信号，检测所述有关运动的信号。
10.一种信息处理方法，包括以下步骤根据图像信号，检测有关运动的信号，该有关运动的信号是有关运动的信息；和根据所述的有关运动的信号产生运动控制信号。
11.如权利要求10所述的信息处理方法，其中在所述运动检测步骤，检测运动矢量作为所述有关运动的信号。
12.如权利要求11所述的信息处理方法，其中在所述运动检测步骤，为在一帧内的预定位置的由多个象素组成的每块检测一个运动矢量。
13.如权利要求11所述的信息处理方法，其中在所述产生步骤，根据所述的运动矢量产生水平分量、垂直分量、放大分量和旋转分量，作为所述运动控制信号。
14.如权利要求10所述的信息处理方法，还包括驱动步骤，用于根据所述运动控制信号驱动对象。
15.如权利要求10所述的信息处理方法，其中所述的运动控制信号包含多个分量。
16.如权利要求10所述的信息处理方法，其中在所述的运动检测步骤，根据在所述图像信号的帧的预定部分中的信号，检测所述有关运动的信号。
17.一种存储计算机可控程序的存储介质，所述程序包括以下步骤根据图像信号，检测有关运动的信号，该有关运动的信号是有关运动的信息；和根据所述的有关运动的信号产生运动控制信号。
18.如权利要求17所述的存储介质，其中在所述运动检测步骤，检测运动矢量作为所述有关运动的信号。
19.如权利要求18所述的存储介质，其中在所述运动检测步骤，为在一帧内的预定位置的由多个象素组成的每块检测一个运动矢量。
20.如权利要求18所述的存储介质，其中在所述产生步骤，根据所述的运动矢量产生水平分量、垂直分量、放大分量和旋转分量，作为所述运动控制信号。
21.如权利要求17所述的存储介质，所述程序还包括驱动步骤，用于根据所述运动控制信号驱动对象。
22.如权利要求17所述的存储介质，其中所述的运动控制信号包含多个分量。
23.如权利要求17所述的存储介质，其中在所述的运动检测步骤，根据在所述图像信号的帧的预定部分中的信号，检测所述有关运动的信号。
全文摘要
一种从图像信号产生运动控制信号的设备,为了当根据一图像将运动施加到观察者的椅子时容易产生控制信号,由特征信息检测部分从输入到图像处理设备的图像信号检测一运动矢量。通过使用该运动矢量,确定了水平分量、垂直分量、放大分量和旋转分量。特征信息处理部分从这些确定的分量产生要施加到驱动部分的控制信号。
文档编号G09B9/00GK1262494SQ001011
公开日2000年8月9日 申请日期2000年1月21日 优先权日1999年1月22日
发明者近藤哲二郎, 奥村裕二, 小久保哲志, 勅使川原智 申请人:索尼公司