专利名称：基于图像的移动传感器、多功能摄像系统及其电子装置的制作方法
技术领域：
本发明有关于摄像系统(camera system),特别是有关于基于图像的移动传感器(image-based motion sensor)、相关的多功能(mult1-purposed)摄像系统以及电子装置。所述多功能摄像系统既支持普通的摄像功能，又支持额外的移动传感功能。
背景技术：
当前，移动电话内通常配置有一些用于不同应用程序的传感器，例如，通常的智能手机可能配置有重力传感器(G-sensor)(或称为加速计)和陀螺仪传感器(Gyro sensor)。重力传感器能够提供在移动方向上的速度、位移以及加速度信息。陀螺仪传感器能够直接测量方位朝向(orientation),可以用于机械装置(mechanical means)或者微电机械(MicroElectroMechanical, MEM)装置。然而,对于一些低成本的应用装置例如功能手机，在其中应用重力传感器和陀螺仪传感器是不现实的，因为重力传感器和陀螺仪传感器的成本闻。因此，有必要寻求一种能够支持移动传感相关操作(例如，加速度、速度、位移、转动(roll)、倾斜(pitch)以及偏航(yaw))的新的设计，并且不使用物理移动传感器(例如，重力传感器和陀螺仪传感器)。
发明内容
有鉴于此，本发明提供一种基于图像的移动传感器、多功能摄像系统及其电子装置。依据本发明一实施方式，提供一种基于图像的移动传感器，包括:摄像系统，用于产生包括多个拍摄图像的图像输出；以及处理系统，用于通过处理所述图像输出以获取移动传感输出，其中所述移动传感输出包括指示所述基于图像的移动传感器的移动状态和朝向状态中至少一者的信息。依据本发明另一实施方式，提供一种多功能摄像系统，包括:图像拍摄块，用于产生图像信号；以及图像信号处理块，用于处理所述图像信号；其中，当所述多功能摄像系统操作于第一操作模式时，所述多功能摄像系统作为摄像机，以产生拍摄图像输出；以及当所述多功能摄像系统操作于第二操作模式时，所述多功能摄像系统作为移动传感器的一部分，以产生图像输出。依据本发明又一实施方式，提供一种电子装置，包括:多功能摄像系统和处理系统。所述多功能摄像系统包括:图像拍摄块，用于产生图像信号；以及图像信号处理块，用于处理所述图像信号；其中，当所述多功能摄像系统操作于第一操作模式时，所述多功能摄像系统作为摄像机，以产生拍摄图像输出；以及当所述多功能摄像系统操作于第二操作模式时，所述多功能摄像系统作为移动传感器的一部分，以产生图像输出。所述处理系统作为所述移动传感器的另一部分，用于通过处理所述图像输出以产生移动传感输出，其中，所述移动传感输出包括指示所述电子装置的移动状态和朝向状态中至少一者的信息。
本发明所提供的基于图像的移动传感器、多功能摄像系统及其电子装置，无需使用重力传感器和陀螺仪传感器，就能支持移动传感相关操作，既降低成本，又能提供较高的系统可靠性。对于已经阅读后续由各附图及内容所显示的较佳实施方式的本领域的技术人员来说，本发明的各目的是明显的。
图1为根据本发明一实施例的基于图像的移动传感器的示意图。图2为图1所示的处理系统的一实施例的示意图。图3为图2所不的全域移动估计块(global motion estimation block)的第一实施例的示意图。图4为当全域移动估计块用于基于图像的移动传感器时处理系统如何确定偏航相关 目息的不意图。图5为当全域移动估计块用于基于图像的移动传感器时处理系统如何确定倾斜相关 目息的不意图。图6为当全域移动估计块应用于基于图像的移动传感器时处理系统如何确定转动相关信息的示意图。图7为图2所示的全域移动估计块的第二实施例的示意图。图8为图2所示的全域移动估计块的第三实施例的示意图。图9为对输入图 像应用线性极坐标转换(linear polar transform)的示意图。图10为图2所示的全域移动估计块的第四实施例的示意图。图11为应用于输入图像的傅立叶-梅林转换(Fourier-Mellin transform)的示意图。图12为图1所示的处理系统的另一实施例的示意图。图13为边缘直方图匹配单元(edge histogram matching unit)进行边缘直方图匹配操作的示意图。图14为根据本发明一实施例的检测快速移动动作(fast movement action)的方法流程图。图15为根据本发明另一实施例的检测快速移动动作的方法流程图。图16为根据本发明一实施例的检测慢速移动动作(slow movement action)的方法流程图。图17为根据本发明一实施例的检测旋转动作(rotation action)的方法流程图。图18为根据本发明一实施例的电子装置的示意图。图19为图18所示的多功能摄像系统的一实施例的示意图。图20为根据本发明的多功能摄像系统的模式切换操作(modeswitchingoperation)的流程图。
具体实施例方式在权利要求书及说明书中使用了某些词汇来指称特定的组件。所属领域中的技术人员应可理解，硬件制造商可能会用不同的名词来称呼同样的组件。本权利要求书及说明书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准贝U。在权利要求书及说明书中所提及的「包括」为开放式的用语，故应解释成「包括但不限定于」。另外，「耦接」一词在此包括任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表所述第一装置可直接电连接于所述第二装置，或通过其他装置或连接手段间接地电连接至所述第二装置。本发明的主旨为运用摄像系统来模拟移动传感器的操作。换句话说，本发明提供一种基于图像的移动传感器，其中，摄像系统为基于图像的移动传感器的一部分。使用这种方法，可以降低成本，并能提供较高的系统可靠性。在本发明一实施例中，摄像系统可作为基于图像的移动传感器的专用组件(dedicatedcomponent)。在本发明的另一实施例中，摄像系统可作为支持多种操作模式的多功能摄像系统。例如，当多功能摄像系统操作于第一模式时，多功能摄像系统可当作正常摄像机使用；当多功能摄像系统操作于第二模式时，多功能摄像系统可作为基于图像的移动传感器的一部分。更多的详细说明请见下文。图1为根据本发明一实施例的基于图像的移动传感器的示意图。基于图像的移动传感器100包括(但不限于)摄像系统102和处理系统104。摄像系统102用于产生包括多个拍摄图像/巾贞(captured images/frames)的图像输出IMG_0UT。处理系统104通过处理图像输出MG_0UT来得到移动传感输出S_0UT，其中移动传感输出S_0UT包括的信息指示基于图像的移动传感器100的移动状态(motion status)和朝向状态(orientation status)中至少一者。例如，当移动传感输出S_0UT包括指示朝向状态的信息时，移动传感输出S_OUT可包括转动、倾斜以及偏航的相关移动信息。当移动传感输出S_0UT包括指示移动状态的信息时，移动传感输出S_0UT可包括速度、加速度以及位移信息。简单来说，基于图像的移动传感器100可通过对拍摄的图像进行图像处理，来模拟重力传感器和/或陀螺仪传感器。在本发明的一设计范例中，处理系统104可配置来支持全域移动估计(globalmotion estimation),全域移动估计用于确定移动传感输出S_0UT。请参照图2,图2为图1所示的处理系统104的一实施例的示意图。处理系统104包括全域移动估计块(global motion estimation block) 202和处理器204。全域移动估计块202用于根据摄像系统102的图像输出MG_0UT产生全域移动信息INF。处理器204用于根据全域移动信息INF来确定移动传感输出S_0UT。全域移动估计块202可作为用来处理图像输出MG_0UT的功能块。然而，这只是用来说明，而并不是作为本发明保护范围的限制。作为一种选择，如果摄像系统102配备有电子图像稳定(electronic image stabilization,EIS)模块,那么全域移动估计块202可包括电子图像稳定模块，因为电子图像稳定模块能够执行全域移动估计。具体而言，当摄像系统102操作于正常摄像模式时，电子图像稳定模块执行其指定的电子图像稳定功能；当摄像系统102操作于移动传感模式时，电子图像稳定模块可作为全域移动估计块202。在一实施例中，基于图像的移动传感器100充当陀螺仪传感器，处理器204将产生包括旋转、倾斜以及偏航相关信息的移动传感输出S_0UT。当基于图像的移动传感器100在Y轴方向旋转时，由于摄像机的偏航(yaw),连续拍摄到的图像中的同一物件(object)会具有在水平方向的移动。当基于图像的移动传感器100在X轴方向旋转时，由于摄像机的倾斜(pitch)，连续拍摄到的图像中的同一物件会具有在垂直方向的移动。当基于图像的移动传感器100在Z轴方向旋转时，由于摄像机的转动(roll),连续拍摄到的图像中的同一物件会具有圆周移动(circular movement)。因此,基于这些观察,根据处理连续拍摄的图像得到的全域移动估计结果，可以估计得到偏航相关信息、倾斜相关信息以及转动相关信息。请参照图3，图3为图2所示的全域移动估计块202的第一实施例的示意图。全域移动估计块202可用全域移动估计块300来实现，其中全域移动估计块300包括移动估计单元302和移动向量(motion vector)分析单元304。移动估计单元302用于对第一拍摄图像F_1和第二拍摄图像F_2中的多对(plurality of pairs)相同位置的子图像(co-locatedsub-1mages)(例如:A1、A2、A3和A4)中的每一对执行移动估计,并产生对应每一对相同位置的子图像的移动向量(例如:MV1、MV2、MV3和MV4)，其中第一拍摄图像F_1和第二拍摄图像？_2是连续拍摄的图像。举例来说，每一个子图像可以是尺寸为16X16的子块，第一拍摄图像F_1为先前图像，第二拍摄图像？_2为在先前图像被拍摄后立即拍摄的当前图像。值得注意的是，在图3中所示的相同位置的子图像对的数量仅作为说明用。在实践中，每一个拍摄图像可以分成任意数量的子图像，这取决于移动估计单元302的实际设计。请注意，本发明的实施例中所提到的图像的“尺寸”可以理解为图像的分辨率或者图像的像素等。移动向量分析单元304用于通过分析移动向量(例如，MV1-MV4)以产生全域移动信息INF。更具体地说，根据移动向量MV1-MV4所指出的全域移动方向，可以确定出摄像机旋转/朝向状态(camera rotation/orientation status)。相应地，基于图像的移动传感器100的旋转/朝向状态也可以得到。图4为当全域移动估计块300用于基于图像的移动传感器100时处理系统104如何确定偏航相关信息的示意图。如果基于图像的移动传感器100在Y轴方向旋转，摄像头(camera lens)同样也会在Y轴方向旋转。如图4所示，由于摄像机的旋转,在第一拍摄图像F_1中的物件402的位置水平地移位到(shiftedhorizontally)第二拍摄图像F_2中的新位置。在移动估计单元302针对每一对子图像A1-A4执行完移动估计后，相应地，所得到的移动向量MV1-MV4都是在X轴上。移动向量分析单元304发现所有的移动向量MV1-MV4都是在X轴上，并因此确定摄像机旋转状态为摄像机偏航(camera yaw)。此外,移动向量分析单元304也可以根据移动向量MV1-MV4来确定偏航相关信息(例如，偏航角度)。例如，移动向量分析单元304可以使用移动向量MV1-MV4中的一个或者移动向量MV1-MV4的平均值来确定偏航角度值。值得注意的是，根据摄像机偏航的旋转方向，移动向量MV1-MV4既可以是向左的移动向量，也可以是向右的移动向量。图5为当全域移动估计块300用于基于图像的移动传感器100时处理系统104如何确定倾斜相关信息的示意图。如果基于图像的移动传感器100在X轴方向旋转，摄像头同样也会在X轴方向旋转。如图5所示，由于摄像机的旋转，在第一拍摄图像F_1中的物件502的位置垂直地移位到(shifted vertically)第二拍摄图像F_2中的新位置。在移动估计单元302针对每一对子图像A1-A4执行完移动估计后，相应地，所得到的移动向量MV1-MV4都是在Y轴上。移动向量分析单元304发现所有的移动向量MV1-MV4都是在Y轴上，并因此确定摄像机旋转状态为摄像机倾斜(camera pitch)。此外,移动向量分析单元304也可以根据移动向量MV1-MV4来确定倾斜相关信息(例如，倾斜角度)。例如，移动向量分析单元304可以使用移动向量MV1-MV4中的一个或者移动向量MV1-MV4的平均值来确定倾斜角度值。值得注意的是，根据摄像机倾斜的旋转方向，移动向量MV1-MV4既可以是向上的移动向量,也可以是向下的移动向量。图6为当全域移动估计块300应用于基于图像的移动传感器100时处理系统104如何确定转动相关信息的示意图。如果基于图像的移动传感器100在Z轴方向旋转，摄像头同样也会在Z轴方向旋转。如图6所示，由于摄像机的旋转，在第一拍摄图像F_1中的物件602的位置旋转到第二拍摄图像F_2中的新位置。在移动估计单元302针对每一对子图像A1-A4执行完移动估计后，相应地，所得到的移动向量MV1-MV4围绕成一个圆形(in thecircle)。移动向量分析单元304发现所有的移动向量MV1-MV4围绕成一个圆形，并因此确定摄像机旋转状态为摄像机转动(camera roll)。此外,移动向量分析单元304也可以根据移动向量MV1-MV4来确定转动相关信息(例如，转动角度)。例如，移动向量分析单元304可以使用移动向量MV1-MV4中的一个或者移动向量MV1-MV4的平均值来确定转动角度值。值得注意的是，根据摄像机转动的旋转方向，移动向量MV1-MV4既可以是顺时针方向的移动向量，也可以是逆时针方向的移动向量。在上述实施例中，当每一个拍摄的图像被分为N个子图像时，移动估计单元302(例如，EIS模块)需要执行N次移动估计操作。因此，如果N的值较大，那么运算的复杂度就会较高。为了降低运算的复杂度和/或提高检测的精确度，图2所示的全域移动估计块202的替代实施方式提供如下。请参照图7，图7为图2所示的全域移动估计块202的第二实施例的示意图。全域移动估计块202可用全域移动估计块700来实现，其中全域移动估计块700包括图像缩小单兀(image down-scaling unit) 702和全域移动估计单兀704。图像缩小单兀702用于分别缩小第一拍摄图像F_1和第二拍摄图像？_2，以产生第一已缩小图像(down-scaledimage) F_l’和第二已缩小图像F_2’。第一拍摄图像F_1和第二拍摄图像F_2是连续拍摄的图像。举例来说，第一拍摄图像？_1为先前图像，第二拍摄图像？_2为在先前图像被拍摄后立即拍摄的当前图像。假设第一拍摄图像F_1和第二拍摄图像？_2中的每一个的尺寸为640X480，则图像缩小单元702可以配置为调整第一拍摄图像？_1和第二拍摄图像F_2的尺寸，以使得第一已缩小图像F_l’和第二已缩小图像F_2’的每一个的尺寸为80X80。全域移动估计单元704用于通过对第一已缩小图像F_l’和第二已缩小图像F_2’执行全域移动估计，以产生全域移动信息INF。总的来说，移动估计是确定移动向量的过程，每一个移动向量将一个图像中的图像块(image block)匹配至另一个图像中的图像块。关于全域移动估计，是用来确定两个图像之间的单一移动向量(single motion vector)。如果第一已缩小图像F_1 ’和第二已缩小图像F_2 ’的尺寸均为80 X 80，全域移动估计单元704可从第一已缩小图像F_l’中裁切(crop)出尺寸为60X60的中心图像块(central imageblock),并采用-10到+10的搜寻范围在第二已缩小图像？_2’中找出具有相同尺寸60X60的匹配图像块(matched image block),以确定出作为全域移动信息INF的全域移动向量MV。全域移动向量MV可以分解为X轴方向的移动向量分量MVx和Y轴方向的移动向量分量MVY。处理器204根据移动向量分量(Component)MVx来确定偏航相关信息(例如，偏航角度)，根据移动向量分量MVy来确定倾斜相关信息(例如，倾斜角度)。由于图像缩小单元702能够减小接下来将要被全域移动估计单元704处理的图像的尺寸，因此可以有效地降低运算的复杂度。
如图7所示的配置仅是作为获取偏航角度和倾斜角度的一个替代设计(alternative design)。关于确定转动角度,可以使用不同的配置。请参照图8,图8为图2所示的全域移动估计块202的第三实施例的示意图。全域移动估计块202可用全域移动估计块800来实现,其中全域移动估计块800包括图像缩小单元802、转换单元(transformunit)804和全域移动估计单元806。图像缩小单元802用于产生第一拍摄图像F_1的第一已缩小图像F_l’，以及第二拍摄图像F_2的第二已缩小图像F_2’。第一拍摄图像F_1和第二拍摄图像F_2是连续拍摄的图像。举例来说，第一拍摄图像？_1为先前图像，第二拍摄图像F_2为在先前图像被拍摄后立即拍摄的当前图像。转换单元804用于分别对第一已缩小图像F_l’和第二已缩小图像F_2’执行特定转换(specific transform),以产生第一转换后图像(transformed image) FT_1 和第二转换后图像FT_2。在本实施例中，由转换单元804执行的特定转换可以是线性极坐标转换(linear polar transform)。请参照图9,图9为对输入图像(inputimage)902应用线性极坐标转换的示意图。输入图像902可以是第一已缩小图像F_l’和第二已缩小图像F_2’的其中之一。线性极坐标转换是用来将输入图像902从卡迪尔坐标系(Cartesian coordinatesystem)转换成极坐标系(polarcoordinate system)中的转换后图像904。极坐标系是二维坐标系(two-dimensionalcoordinate system),在二维坐标系中，转换后图像904的每一点都可以通过与一个固定点(fixed point)(例如,输入图像902的图像中心)的距离和与一个固定方向的角度确定出来。如图9所示，线段(line segment)L1在输入图像902中的角度为0°，并作为转换后图像904的第一行。通过将在逆时针方向具有不同角度的线段集合在一起，相应地即可得到转换后图像904。全域移动估计单元806用于通过对第一转换后图像FT_1和第二转换后图像FT_2执行全域移动估计，以产生全域移动信息INF。如图9所示，因为输入图像902可以是例如正方形图像(square image),转换后图像904可包括具有不同长度的行(rows)。为使全域移动估计更容易进行，从转换后图像904裁切出局部矩形图像(partial rectangular image)904’，局部矩形图像904’的行都具有相同的长度R。因此，全域移动估计单元806通过对来自第一转换后图像FT_1的一个局部矩形图像以及来自第二转换后图像FT_2的另一个局部矩形图像执行全域移动估计，以产生全域移动信息INF，其中这两个局部矩形图像具有相同的尺寸大小。通过线性极坐标转换,旋转(rotation)被转换成在Y轴上的移动(如果图9所示的Y轴用来表示角度)或者在X轴上的移动(如果图9所示的X轴用来表示角度)。换句话说，全域移动估计单元806可以仅在一个方向上执行全域移动估计。因此，在本实施例中，转动相关信息(例如，转动角度)可以通过仅参考Y轴上找出的全域移动向量轻易地确定出来。例如，全域移动估计单元806可使用尺寸为70X50的中心图像以及在Y轴方向上-10到+10的图像搜寻范围，以找出上述局部矩形图像在Y轴方向的移动向量。如图8所示，图像缩小单元802可包括图像缩小电路812和图像对准(imagealignment)电路814。图像缩小电路812用于分别缩小第一拍摄图像F_1和第二拍摄图像F_2，以产生第三已缩小图像？_3’和第四已缩小图像F_4’。假设第一拍摄图像F_1和第二拍摄图像F_2中的每一个的尺寸为640 X 480，则图像缩小电路812可以配置来调整第一拍摄图像F_1和第二拍摄图像？_2的尺寸，以使得第三已缩小图像？_3’和第四已缩小图像F_4’的每一个的尺寸为80X80。请注意，图像缩小单元802不是本发明必需的。例如，在一实施例中，产生第一拍摄图像F_1和第二拍摄图像？_2的摄像系统102，当其获取图像时，具有调整/改变图像尺寸的功能，那么摄像系统102可以直接提供第三已缩小图像F_3’和第四已缩小图像F_4’，在这种情况下就可以省略图像缩小单元802。全域移动估计单元806还可以通过对第三已缩小图像？_3’和第四已缩小图像F_4’执行全域移动估计，以产生另一全域移动信息INF’。图像对准电路814用于根据全域移动信息INF’对第三已缩小图像F_3’和第四已缩小图像F_4’执行图像对准，以产生第一已缩小图像F_l’和第二已缩小图像F_2’。如上所述，图9中所示的转换后图像904的每一行都是起始于输入图像902的图像中心并在径向方向上指向输入图像902的边缘。在存在摄像机偏航/倾斜以及摄像机转动的实施例中，位于第一拍摄图像F_1的图像中心的物件从第二拍摄图像F_2中的图像中心移开。如果在执行线性极坐标转换之前没有进行图像对准，那么全域移动估计单元806所找出的全域移动向量的精确度就会降低。在本实施例中，全域移动信息INF’可以是指示第三已缩小图像F_3’和第四已缩小图像F_4’之间的估计图像错位(misalignment)的移动向量。因此，图像对准电路814根据全域移动信息INF’对第三已缩小图像F_3’和第四已缩小图像F_4’进行对准。当搜寻范围为从-10到+10时，图像对准电路814将会通过丢弃不重叠的像素(non-overlapped pixels)来产生尺寸为70X70的对准后图像。这样，对准后图像(例如，第一已缩小图像F_l’和第二已缩小图像F_2’ )将会具有对准于各自图像中心的相同的图像内容，因此可以提高由全域移动估计单元806所确定的全域移动向量的精确度。值得注意的是，当全域移动估计块202采用全域移动估计块800来实现时，处理器204可以根据全域移动信息INF’来推导出偏航/倾斜相关信息(例如，偏航/倾斜角度)，以及可以根据全域移动信息INF来推导出转动相关信息(例如，转动角度)。在另一实施例中，仅存在摄像机转动，而没有摄像机偏航/倾斜，弟一拍摄图像F_1和第二拍摄图像F_2将会具有对准于各自图像中心的相同的图像内容。在一设计范例中，图像对准电路814通过根据第三已缩小图像F_3’、第四已缩小图像？_4’以及全域移动信息INF’来执行相同的图像对准程序，以产生第一已缩小图像F_l’和第二已缩小图像F_2’。在另一设计范例中，图像对准电路814可以直接将第三已缩小图像F_3’作为第一已缩小图像？_1’，并直接将第四已缩小图像F_4’作为第二已缩小图像F_2’。根据上述描述可知，当转换单元804采用的特定转换为线性极坐标转换时，为了提高移动向量的精确度，额外的图像对准步骤是必需的。在实践中，转换单元804采用的特定转换并不限于线性极坐标转换。例如，图8所示的转换单元804可以将采用的线性极坐标转换更改为对数极坐标转换(Log-polartransform)。此外，当转换单元804所采用的特定转换其本身就具有对准图像的效果时，则额外的图像对准步骤也可省略。例如，在一替代设计中，转换单元804所采用的特定转换可以是傅立叶-梅林转换(Fourier-Mellintransform)ο请参照图10,图10为图2所示的全域移动估计块202的第四实施例的示意图。全域移动估计块202可用全域移动估计块1000来实现，其中全域移动估计块1000包括图像缩小单元1002、转换单元1004和全域移动估计单元1006。图像缩小单元1002用于产生第一拍摄图像F_1的第一已缩小图像F_l’，以及第二拍摄图像F_2的第二已缩小图像F_2’。第一拍摄图像F_1和第二拍摄图像？_2是连续拍摄的图像。举例来说，第一拍摄图像？_1为先前图像，第二拍摄图像？_2为在先前图像被拍摄后立即拍摄的当前图像。在本实施例中，图像缩小单元1002直接缩小第一拍摄图像F_1以产生第一已缩小图像F_l’，以及直接缩小第二拍摄图像F_2以产生第二已缩小图像？_2’。也就是说，图像缩小单元1002不会执行图像对准操作。假设第一拍摄图像F_1和第二拍摄图像？_2中的每一个的尺寸为640X480，图像缩小单元1002可以调整第一拍摄图像？_1和第二拍摄图像？_2的尺寸，以使得第一已缩小图像F_l’和第二已缩小图像F_2’的每一个的尺寸为80X80。请注意，图像缩小单元1002不是本发明必需的。例如，在一实施例中，产生第一拍摄图像F_1和第二拍摄图像？_2的摄像系统102，当其获取图像时，具有调整/改变图像尺寸的功能，那么摄像系统102可以直接提供第一已缩小图像F_l’和第二已缩小图像F_2’，在这种情况下就可以省略图像缩小单元1002。转换单元1004用于分别对第一已缩小图像F_l’和第二已缩小图像F_2’执行特定转换，以产生第一转换后图像FT_1和第二转换后图像FT_2。在本实施例中，特定转换为傅立叶-梅林转换。请参照图11，图11为应用于输入图像1102的傅立叶-梅林转换的示意图。输入图像1102可以是第一已缩小图像F_l’和第二已缩小图像F_2’的其中之一。傅立叶-梅林转换包括顺序进行的傅立叶转换(Fourier transform)和对数极坐标转换。如图11所示，输入图像1102首先根据傅立叶转换转变为傅立叶转换后图像1104。根据傅立叶转换的固有特性，输入图像1102中的低频成分(lower-frequency components)对应的转换输出，位于靠近傅立叶转换后图像1104的图像中心的位置；输入图像1102中的高频成分(higher-frequency components)对应的转换输出，位于远离傅立叶转换后图像1104的图像中心的位置。因此，由于傅立叶转换后图像的图像中心总是对应输入图像1102中的低频成分，傅立叶转换可以得到想要的图像对准效果(imagealignment effect)。接下来,对傅立叶转换后图像1104应用对数极坐标转换。对数极坐标转换将傅立叶转换后图像1104从一个转换域(transform domain)转换为另一个转换域(例如，对数极性坐标系(Log-polarcoordinate system))的对数极坐标转换后图像1106。对数极性坐标系是二维坐标系,在此二维坐标系中，转换后图像1106的每一点都可以通过与一个固定点(例如,傅立叶转换后图像1104的图像中心)的距离的对数以及与一个固定方向的角度确定出来。如图11所示，线段LI在傅立叶转换后图像中的角度为0°，并作为对数极坐标转换后图像1106的第一行。通过将在逆时针方向具有不同角度的线段集合在一起，相应地即可得到对数极坐标转换后图像1106。线性极坐标转换与对数极坐标转换之间主要的不同在于，对数极坐标转换采用从傅立叶转换后图像1104的图像中心的距离的对数(logarithm)来保存低频成分的傅立叶转换输出，以及降低高频成分的傅立叶转换输出以降低杂讯(noise reduction)。本领域的技术人员在阅读上述关于图9所示的线性极坐标转换示意图的段落后，应该很容易理解对数极坐标转换的操作，为了简洁起见，这里省略对其进一步的描述。 全域移动估计单元1006用于通过对第一转换后图像FT_1和第二转换后图像FT_2执行全域移动估计，以产生全域移动信息INF。如图11所示，因为输入图像1102是正方形图像，转换后图像1106可包括具有不同长度的行。为使接下来的全域移动估计更容易进行，从转换后图像1106裁切出局部矩形图像1106’，局部矩形图像1106’的行都具有相同的长度R’。因此，全域移动估计单元1006通过对来自第一转换后图像FT_1的一个局部矩形图像以及来自第二转换后图像FT_2的另一个局部矩形图像执行全域移动估计，以产生全域移动信息INF，其中这两个局部矩形图像具有相同的尺寸大小。通过傅立叶-梅林转换，转动相关信息(例如，转动角度)可以仅通过在一个方向上的全域移动向量轻易地确定出来。在本实施例中，由于Y轴用来表示角度，转动相关信息(例如，转动角度)可以通过在Y轴上找出的移动向量来确定。例如，全域移动估计单元1006可使用尺寸为80X60的图像以及在Y轴方向上-10到+10的图像搜寻范围，以找出上述局部矩形图像在Y轴方向的移动向量。值得注意的是，当全域移动估计块202采用全域移动估计块1000来实施时，处理器204可以根据从使用上述方法得到的全域移动信息INF’来取得偏航/倾斜相关信息(例如，偏航/倾斜角度)，以及根据全域移动信息INF来确定转动相关信息(例如，转动角度)。在上述产生用于确定转动相关信息的全域移动信息INF的实施例中，全域移动估计单元(例如，电子图像稳定模块)可以用来执行想要的全域移动估计。然而，这只是用来说明，而并不是作为本发明保护范围的限制。也就是说，表明摄像机转动的旋转状态的全域移动/[目息INF也可以通过其他方法或算法来获得。请参照图12，图12为图1所示的处理系统104的另一实施例的示意图。处理系统104包括边缘检测块1202和处理器1204。边缘检测块1202用于根据图像输出MG_0UT执行边缘检测以产生全域移动信息INF。处理器1204用于根据全域移动信息INF来确定移动传感输出S_0UT。在本实施例中，边缘检测块1202包括图像缩小单元1212、边缘检测单元1214、边缘直方图(edge histogram)单元1216以及边缘直方图匹配(edge histogrammatching)单元1218。图像缩小单元1212用于分别缩小第一拍摄图像F_1和第二拍摄图像F_2，以产生第一已缩小图像F_l’和第二已缩小图像F_2’。第一拍摄图像F_1和第二拍摄图像？_2是连续拍摄的图像。举例来说，第一拍摄图像？_1为先前图像，第二拍摄图像？_2为在先前图像被拍摄后立即拍摄的当前图像。假设第一拍摄图像F_1和第二拍摄图像？_2中的每一个的尺寸为640X480。由于全域移动信息INF是根据边缘信息来确定的,而不是根据移动向量信息来确定的，图像缩小单元1212可在水平分辨率(horizontal resolution)和垂直分辨率(vertical resolution)上米用相同的缩小因子(down-scaling factor)。举例来说，图像缩小单元1212可调整第一拍摄图像F_1和第二拍摄图像F_2的尺寸，以使得第一已缩小图像F_l’和第二已缩小图像F_2’的每一个的尺寸为80X60。值得注意的是，图像缩小单元1212不是本发明必需的。例如，在一实施例中，产生第一拍摄图像F_1和第二拍摄图像F_2的摄像系统102，当其获取图像时，具有调整/改变图像尺寸的功能，那么摄像系统102可以直接提供第一已缩小图像F_l’和第二已缩小图像F_2’，在这种情况下就可以省略图像缩小单元1212。边缘检测单元1214用于对第一已缩小图像F_l’执行边缘检测以产生第一边缘信息E_l，以及对第二已缩小图像？_2’执行边缘检测以产生第二边缘信息E_2。举例来说，第一边缘信息E_1可包括第一已缩小图像F_l’中每一个像素的角度值以及幅度值(magnitude value)，第二边缘信息E_2可包括第二已缩小图像F_2’中每一个像素的角度值以及幅度值。在本实施例中，边缘检测单元1214采用索贝尔算子(Sobel operator)来检测水平变化(horizontal changes)和垂直变化(vertical changes),其中索贝尔算子采用3X3的核心(Kx，KY), Kx和Ky与源图像(source image) A (例如，第一已缩小图像F_l’和第二已缩小图像F_2’)作卷积(convolve)。根据索贝尔算子输出Gx和Gy,源图像A中的每一个像素的角度值Θ和幅度值G都可以得到。边缘检测单元1214的操作可用以下公式来说明。
权利要求
1.一种基于图像的移动传感器，其特征在于，包括: 摄像系统，用于产生包括多个拍摄图像的图像输出；以及 处理系统，用于通过处理所述图像输出以获取移动传感输出，其中所述移动传感输出包括指示所述基于图像的移动传感器的移动状态和朝向状态中至少一者的信息。
2.如权利要求1所述的基于图像的移动传感器，其特征在于，所述移动传感输出包括指示所述基于图像的移动传感器的所述朝向状态的信息，指示所述朝向状态的所述信息包括转动、倾斜以及偏航的相关移动信息。
3.如权利要求1所述的基于图像的移动传感器，其特征在于，所述移动传感输出包括指示所述基于图像的移动传感器的所述移动状态的信息，指示所述移动状态的所述信息包括速度、加速度以及位移信息。
4.如权利要求1所述的基于图像的移动传感器，其特征在于，所述处理系统包括: 全域移动估计块，用于根据所述图像输出产生全域移动信息；以及 处理器，用于根据所述全域移动信息来确定所述移动传感输出。
5.如权利要求4所述的基于图像的移动传感器，其特征在于，所述全域移动估计块包括电子图像稳定模块，所述电子图像稳定模块用于执行全域移动估计。
6.如权利要求4所述的基 于图像的移动传感器，其特征在于，所述全域移动估计块包括: 移动估计单元，用于对第一拍摄图像和第二拍摄图像中的多对相同位置的子图像中的每一对执行移动估计，并产生对应所述多对相同位置的子图像的多个移动向量，其中，所述第一拍摄图像和所述第二拍摄图像是连续拍摄的图像；以及 移动向量分析单元，用于通过分析所述多个移动向量以产生所述全域移动信息。
7.如权利要求4所述的基于图像的移动传感器，其特征在于，所述全域移动估计块包括: 图像缩小单元，用于分别缩小第一拍摄图像和第二拍摄图像，以产生第一已缩小图像和第二已缩小图像，其中，所述第一拍摄图像和所述第二拍摄图像是连续拍摄的图像；以及全域移动估计单元，用于通过对所述第一已缩小图像和所述第二已缩小图像执行全域移动估计，以产生所述全域移动信息。
8.如权利要求4所述的基于图像的移动传感器，其特征在于，所述全域移动估计块包括: 图像缩小单元，用于产生第一拍摄图像的第一已缩小图像，以及第二拍摄图像的第二已缩小图像，其中，所述第一拍摄图像和所述第二拍摄图像是连续拍摄的图像； 转换单元，用于分别对所述第一已缩小图像和所述第二已缩小图像执行特定转换，以产生第一转换后图像和第二转换后图像；以及 全域移动估计单元，用于通过对所述第一转换后图像和所述第二转换后图像执行全域移动估计，以产生所述全域移动信息。
9.如权利要求8所述的基于图像的移动传感器，其特征在于，所述特定转换为线性极坐标转换或对数极坐标转换。
10.如权利要求9所述的基于图像的移动传感器，其特征在于，所述全域移动估计单元进一步用于通过对第三已缩小图像和第四已缩小图像执行所述全域移动估计，以产生另一全域移动信息；以及所述图像缩小单元包括: 图像缩小电路，用于分别缩小所述第一拍摄图像和所述第二拍摄图像，以产生所述第三已缩小图像和所述第四已缩小图像；以及 图像对准电路，用于根据所述另一全域移动信息对所述第三已缩小图像和所述第四已缩小图像执行图像对准，以产生所述第一已缩小图像和所述第二已缩小图像。
11.如权利要求8所述的基于图像的移动传感器，其特征在于，所述全域移动估计单元仅在一个方向上执行所述全域移动估计。
12.如权利要求1所述的基于图像的移动传感器，其特征在于，所述处理系统包括: 边缘检测块，用于根据所述图像输出执行边缘检测以产生全域移动信息；以及 处理器，用于根据所述全域移动信息来确定所述移动传感输出。
13.如权利要求12所述的基于图像的移动传感器，其特征在于，所述边缘检测块包括: 图像缩小单元，用于分别缩小第一拍摄图像和第二拍摄图像，以产生第一已缩小图像和第二已缩小图像，其中，所述第一拍摄图像和所述第二拍摄图像是连续拍摄的图像；边缘检测单元，用于对所述第一已缩小图像执行边缘检测以产生第一边缘信息，以及对所述第二已缩小图像执行边缘检测以产生第二边缘信息； 边缘直方图单元，用于根据所述第一边缘信息获得第一边缘直方图，以及根据所述第二边缘信息获得第二边缘直方图；以及 边缘直方图匹配单元，用于对所述第一边缘直方图与所述第二边缘直方图执行边缘直方图匹配操作，以产生所述全域移动信息。
14.如权利要求13所述的基于图像的移动传感器，其特征在于，在传送所述第一边缘直方图与所述第二边缘直方图到所述边缘直方图匹配单元之前，所述边缘直方图单元进一步用于对所述第一边缘直方图和所述第二边缘直方图执行过滤操作。
15.如权利要求1所述的基于图像的移动传感器，其特征在于，所述基于图像的移动传感器设置于第一电子装置内，所述第一电子装置位于第二电子装置的外部；所述处理系统进一步用于根据所述移动传感输出对所述第二电子装置产生控制信号。
16.一种多功能摄像系统，其特征在于，包括: 图像拍摄块，用于产生图像信号；以及 图像信号处理块，用于处理所述图像信号； 其中，当所述多功能摄像系统操作于第一操作模式时，所述多功能摄像系统作为摄像机，以产生拍摄图像输出；以及当所述多功能摄像系统操作于第二操作模式时，所述多功能摄像系统作为移动传感器的一部分，以产生图像输出。
17.如权利要求16所述的多功能摄像系统，其特征在于，所述图像拍摄块包括图像传感器、光学系统和控制电路，以及所述控制电路和所述图像信号处理块在所述第一操作模式下的所有配置与其在所述第二操作模式下的所有配置是不同的。
18.如权利要求17所述的多功能摄像系统，其特征在于，所述图像信号处理块在所述第二操作模式下的功率消耗低于其在所述第一操作模式下的功率消耗。
19.如权利要求17所述的多功能摄像系统，其特征在于，所述图像信号处理块中的一个信号处理模块，在所述第一操作模式中是使能的，并且在所述第二操作模式中是禁能的。
20.如权利要求17所述的多功能摄像系统，其特征在于，所述图像信号处理块中的一个信号处理模块，在所述第一操作模式中采用第一算法，并且在所述第二操作模式中采用第二算法，所述第一算法不同于所述第二算法。
21.如权利要求17所述的多功能摄像系统，其特征在于，所述控制电路在所述第二操作模式下的功率消耗低于其在所述第一操作模式下的功率消耗。
22.如权利要求17所述的多功能摄像系统，其特征在于，所述控制电路中的一个控制控制模块，在所述第一操作模式中采用第一算法，并且在所述第二操作模式中采用第二算法，所述第一算法不同于所述第二算法。
23.如权利要求16所述的多功能摄像系统，其特征在于，当所述多功能摄像系统作为所述移动传感器的一部分时，所述图像拍摄块使用预定义的且固定的聚焦参数设置。
24.如权利要求16所述的多功能摄像系统，其特征在于，当所述多功能摄像系统作为用户输入装置的一部分时，所述图像拍摄块使用预定义的且固定的曝光参数设置。
25.如权利要求16所述的多功能摄像系统，其特征在于，所述图像信号处理块在所述第二操作模式中将彩色图像转换为灰度图像。
26.如权利要求25所述的多功能摄像系统，其特征在于，所述图像信号处理块对所述彩色图像执行从RGB格式到YUV格式的色彩转换，并且仅储存从所述RGB格式到YUV格式的色彩转换中得到的灰阶值。
27.如权利要求16所述的多功能摄像系统，其特征在于，所述图像信号处理块中的白平衡模块，在所述第一操作模式中是使能的，并且在所述第二操作模式中是禁能的。
28.如权利要求16所述的多功能摄像系统，其特征在于，所述图像拍摄块在所述第一操作模式中采用第一拍摄帧率，在所述第二操作模式中采用第二拍摄帧率，其中所述第二拍摄帧率高于所述第一拍摄帧率。
29.如权利要求16所述的多功能摄像系统，其特征在于，所述图像拍摄块在所述第一操作模式中采用第一拍摄分辨率，在所述第二操作模式下采用第二拍摄分辨率，其中所述第二拍摄分辨率低于所述第一拍摄分辨率。
30.一种电子装置，其特征在于，包括: 多功能摄像系统，包括: 图像拍摄块，用于产生图像信号；以及 图像信号处理块，用于处理所述图像信号；其中，当所述多功能摄像系统操作于第一操作模式时，所述多功能摄像系统作为摄像机，以产生拍摄图像输出；以及当所述多功能摄像系统操作于第二操作模式时，所述多功能摄像系统作为移动传感器的一部分，以产生图像输出；以及 处理系统，作为所述移动传感器的另一部分，用于通过处理所述图像输出以产生移动传感输出，其中，所述移动传感输出包括指示所述电子装置的移动状态和朝向状态中至少一者的信息。
31.如权利要求30所述的电子装置， 其特征在于，所述电子装置为便携式电子装置。
全文摘要
本发明公开一种基于图像的移动传感器、多功能摄像系统和电子装置。基于图像的移动传感器包括摄像系统，用于产生包括多个拍摄图像的图像输出；以及处理系统，用于通过处理所述图像输出以获取移动传感输出，其中所述移动传感输出包括指示所述基于图像的移动传感器的移动状态和朝向状态中至少一者的信息。本发明所公开的基于图像的移动传感器、多功能摄像系统和电子装置，可以支持移动传感相关操作，既降低成本，又能提供较高的系统可靠性。
文档编号H04N5/232GK103108121SQ201210431590
公开日2013年5月15日 申请日期2012年11月1日 优先权日2011年11月2日
发明者朱启诚, 何镇在, 陈鼎匀 申请人:联发科技股份有限公司