专利名称：配备相机的便携式终端中的鼠标指针功能执行设备和方法
技术领域：
本发明涉及一种便携式设备，更具体地讲，涉及一种在配备相机的便携 式终端中执行鼠标指针功能的设备和方法。
背景技术：
便携式终端通常提供在用户移动过程中用户可通过电话交谈或与另 一方
交换数据的通信功能，便携式终端诸如蜂窝电话、个人数字助理(PDA)、个 人通信服务(PCS)电话、国际移动通信2000 (IMT-2000)终端、全球移动 通信系统(GSM)终端等。
在世界上任何地方由任何年龄和性别的人现在普遍使用便携式终端，并 且便携式终端变得更小、更薄、更轻。当前朝着能够执行更多种功能的多媒 体装置发展。未来的便携式终端将以适应各种多媒体环境或互联网环境的方 式改变其形式。
现在，便携式移动通信终端除了进行语音通信之外还发送高速率的数据。 可由便携式终端处理的数据可包括分组数据和图像数据。此外，通过为便携 式终端配备相机或电视接收机(即，电视机)等，实现了显示运动画面信号 的功能。因此，如上所述配备相机的便携式终端可拍摄屏幕图像，并将拍摄 的屏幕图像显示为运动画面或静止画面。此外，便携式终端可发送拍摄的屏 幕图像。
在将视频发送/接收和音频发送/接收一起执行的同时，如上所述配备视频 通信功能的用户的便携式终端发送用户的视频数据，接收另 一方的视频数据， 并且在另 一方的便携式终端的屏幕上显示发送的视频数据的同时，在用户的 便携式终端的屏幕上显示接收的视频数据，使得与另 一方通信的音频和视频 可通过每个便携式终端得以执行。
然而，为了解释或指示在运动画面通信期间发送到另一方的运动画面或 ,争止画面中的一部分，用户不能以口头或月支体解释该部分。当前，当用户无 法查看屏幕图像时，用户必须解释该部分。此外，当打算在运动画面或静止
画面中加以解释的该部分错综复杂时，准确通信变得困难。为了准确通信， 通过用户的动作或口头表达来解释该部分所需的时间变得更长。
因此，迫切需要一种在发送之前无需用户的附加解释来快速准确地指示 作为运动画面发送的特定情况或作为静止画面发送的特定部分的输入方法。
发明内容
因此，本发明通过提供一种能够无需为了更有效地进行传送而改变用户 目光的方向来准确传送在运动画面通信模式期间发送的屏幕图像的解释的设 备和方法来解决在现有技术中发生的上述问题。根据本发明一方面，提供一
种由配备有相机的便携式终端执行鼠标指针功能的方法，所述方法包括通 过相机模块捕获外部图像信号；对外部图像信号进行采样，并将采样的图像 信号转换为图像数据；对每个单位像素将由采样产生的图像数据的一组像素 ——对应映射到图像传感器的 一组像素；在该组映射的像素中检测包括点光 源的所有图^f象数据的坐标值；确定点光源是否确实包括在包括点光源的所有 图像数据中；激活检测的包括点光源的所有图像数据的坐标值，并在屏幕上 显示激活的坐标值。
根据本发明另 一方面，提供一种在配备有相机的便携式终端中执行鼠标 指针功能的设备，所述设备包括相机模块，接收外部图像信号作为输入； 输入装置，将相机模块可识别的点光源信号传送到相机模块。
通过下面结合附图的详细描述，本发明的上述和其他示例性特征、方面
和优点将会变得更清楚，其中
图1示出根据本发明实施例的使用点光源的数据输入；
图2是示出应用了本发明的相机模块的图像传感器的结构的框图3示出根据本发明实施例的在运动画面模式下由单个像素或多个像素
构造的点光源信号到图像传感器的一组像素的映射；
图4示出根据本发明实施例的在静止画面模式下由单个像素或多个像素
构造的点光源信号到图像传感器的 一組像素的映射；
图5是示出根据本发明实施例的在运动画面中检测由输入装置发射的点
光源信号的处理的流程图6示出根据本发明实施例的激活的点光源的多个像素到图像传感器的 一组像素的映射。
具体实施例方式
以下，将参照附图对本发明示例性实施例进行详细的描述。提供本发明 下面描述的内容(如特定的结构部件等)-f义帮助全面理解本发明，对本领域 技术人员来说清楚的是，在不脱离本发明的精神和范围的情况下，可以在形 式和细节上对上述内容进行各种改变。为了清楚和简明，这里包含的对已知
功能和构造的详细描述将被省略，因为详细描述反而可能使本发明的主题不
漆扭 /3疋。
为了在运动画面通信模式期间解释或指示发送到另一方的运动画面或静 止画面中的特定部分，用户无法在口头上或肢体上给接收者解释。此外，当 打算在运动画面或静止画面中加以解释的该部分错综复杂时，准确通信变得 困难。为了解决这个问题，本发明提出这样一种新的方法，其中，用户可使 用通过安装在便携式终端中的相机模块和手指的操作很容易控制的输入装置 来准确地输入期望的信息。以下，将参照示出根据本发明的设备的结构的框 图和示出该方法流程图对本发明进行详细的描述。
图1示出根据本发明实施例的使用点光源的凄t据输入。
参照图1,根据本发明的鼠标指针功能执行设备10包括相机模块12、输 入装置14和屏幕16。这里，相机模块12安装在便携式终端18中。可由用 户容易地开启或关闭输入装置14。屏幕16显示输入装置14的移动。根据本 发明的笔形输入装置14的输出使用点光源，例如，发光二极管(LED)和红 外线等。在输入装置的前端部分以投影的形状提供点光源，以防止在点光源 向相机模块12移动时点光源被阻挡。安装在便携式终端中的相机模块12中 的图像传感器20 (未显示)感测从输入装置14输出的点光源，因此，关于 点光源的信息被显示在屏幕上。
这里，便携式终端18中安装的相机模块12中的图像传感器具有有效吸 收可见光或红外线的特性。图像传感器的结构将详细描述如下。
图2是示出应用了本发明的相机模块的图像传感器20的结构的框图。
参照图2，外部图像被接收作为微透镜组22的输入，然后被划分为单位 像素。像素形式的外部图像通过滤色器组24,然后被发送到用于对外部图像
进行成像的过滤器组。滤色器组24使用光电二极管形成单位像素，并在X 和Y坐标方向布置形成的单位像素以产生期望的图像。通过对与 一组像素中 的每个单位像素的相关位置相应的图像信号进行采样，在像素阵列26中产生 马赛克(mosaic)形式的图像数据。产生的马赛克形式的图像数据被转换为 电信号，电信号通过相关双采样(CDS )单元28和模拟信号链(ASC )单元 30,然后，从ASC单元30输出模拟图像信号。由模数转换器(ADC)将模 拟图像信号转换为数字信号，然后，数字信号被传送到图像信号处理单元34。 由图2所示的图像传感器对外部图^象信号进行采样所产生的马赛克形式 的图像数据可表示为坐标形式，其中，X和Y轴分别对应于横轴和纵轴。如 上所述的X和Y坐标可——对应地被映射到图像传感器的滤色器组中的单位 像素的坐标。
图3示出根据本发明实施例的在运动画面模式下由单个像素或多个像素 构造的点光源信号到图像传感器的一组像素的映射。如图所示，当强的点光 源信号被接收与捕获的图像光信号一起作为输入时，通过在图像传感器的这 组像素中搜索X和Y坐标，可检测接收的点光源信号的位置值。注意，输入 装置14产生的光输出比由相机模块12捕获的外部图像强。然后，可通过图 像信号处理单元将检测的接收的点光源信号的位置值显示在屏幕16上。
参照图3，当在运动画面通信模式期间屏幕上的用户必须指示或解释的 特定区域被显示时，输入装置14在相机模块12的视角之内发射点光源。因 此，用户可使用发射的点光源指示该特定区域，就如同用户使用指针指示该 特定区域一样。此时，相机模块的图^象传感器通过参考X和Y坐标检测单位 像素的位置信息，其中，从所述单位像素检测到比预设为特定值的阈值大的 亮度，然后，将检测到的单位像素的位置信息输出到屏幕上。
这里，输出到屏幕上的信号可实现为指示图标等，并且根据用户的选择， 多个信号可继续保留在屏幕上或可在一旦^皮显示之后被删除。
在替换实施例中，取决于便携式终端的每种装置类型，附加的相机模块 可安装在便携式终端中。在这种情况下，当屏幕图像中的用户必须指示或解 释的特定区域被显示在屏幕上时，通过如用户所愿改变相机模块的选择，用 户可使用从输入装置发射的点光源指示该特定区域，就如同用户使用指针指 示该特定区域一样。
图4示出根据本发明另 一 实施例的在静止画面模式下由单个像素或多个
像素构造的点光源信号到图像传感器的一组像素的映射。类似地，在如上参
照图3所述的情况下，当强的点光源信号被接收与捕获的图像光信号一起作 为输入时，通过在图像传感器的一组像素中搜索X和Y坐标，可检测接收的 点光源信号的位置值。然后，可通过图像信号处理单元将检测的接收的点光 源信号的位置值显示在屏幕上。
在图4中，当在运动画面通信期间需要具体解释特定屏幕图像(例如， 地图和照片)时，在不断发送打算加以解释的特定屏幕图像的同时，打算被 指示的内容被包括在特定屏幕图像中，然后，包括打算被指示的内容的特定 屏幕图像可被发送。如上所述从输入装置发射的点光源和相机模块的图像传 感器产生打算被指示的内容。如图4所示，当与特定屏幕图像重叠的一个或 多个单位像素被显示在屏幕上时， 一个或多个单位像素可在屏幕上显示为一 行。
根据本发明实施例的检测点光源的处理将描述如下。
光源信号的处理的流程图。即，图5示出这样一种处理，其中，使用图像传 感器将输入装置发射的点光源输出到屏幕上。
参照图5,首先，在步骤501,相机模块接收外部图像信号作为输入。在 步骤503,相机模块的图像传感器对接收的外部图像信号进行采样，并将采 样的图像信号转换为图像数据。在步骤505,对每个单位像素将转换的图像 数据的包括单位像素的组合的一组像素——对应映射到图像传感器的一组像 素，然后，关于外部图像信号的图像数据的一组像素被输出到便携式终端的 屏幕上。由于关于外部图像信号的图像数据的一组像素被——对应映射到图 像传感器的 一组像素，所以可^f企测特定^象素的位置值。
此时，映射的图像数据中可存在与点光源相应的强的信号源。在步骤 507,为了确定强的信号源的存在，在该组映射的像素中检测图像数据的坐标 值。在步骤509,计算图像数据的亮度值的平均值，然后，将计算的平均值 与阈值进行比较。由于运动画面的特性，在多帧(而不是一帧)中检测到坐 标值，从而计算与检测的多个坐标值相应的图像数据的亮度值的平均值。
如果在步骤511确定图像数据的亮度值的平均值小于阈值，则该处理进 行到步骤515以确定不存在输入装置的输出，并完成对点光源的检测。与此 相反，如果在步骤511确定图像数据的亮度值的平均值大于阈值，则确定点
光源包括在图像数据中，并且该处理进行到步骤513以将4企测的坐标值显示 在屏幕上。
这里，该处理可在屏幕上显示包括累计;险测到的点光源的图像数据的变 化的位置信息(即，变化的坐标值)，或可在屏幕上只显示当前检测的位置信息。
阈值是指确定输入装置发射的可见光或红外线的亮度或强度所需的参考 值，从而用于基于点光源到检测器的距离在彼此不同的强度值(或亮度值) 之间进行判别。
图6示出根据本发明实施例的激活的点光源的多个像素到图像传感器的 一组像素的映射。
在图6中，相机模块的图像传感器的一组像素被示出，对每个单位像素 将图像数据的包括单位像素的组合的一组像素——对应映射到图像传感器的 一组像素。因此，通过采样外部图像信号所产生的图像数据的一组像素可输 出到便携式终端的屏幕上。当在关于外部图像信号的图像数据的一组像素中 检测到点光源的多个单位像素时，检测到的点光源的多个单位像素可被映射 到图像传感器的一组像素(参考图6的第二示图)。输入装置发射的可见光或 红外线的所有光线都包括在由多个单位像素配置的关于外部图像信号的图像 数据的一组像素中。
可由安装在便携式终端中的相机模块的图像传感器识别的可见光或红外 线可用作点光源(即，信号源)。注意，可被配置为小但充分明亮的可由图像 传感器识别的点光源的所有光源可用作信号源。
为方便使用，将输入装置配置为具有用户可在用其手指拿住输入装置的 同时在输入装置的模式之间切换输入装置的形状的小鼠标，或配置为可固定 到用户的指尖的指曱鼠标。此外，输入装置可配备可由用户在开启和关闭模 式之间进行切换的光源，由此用户可发送期望的信号。此外，当安装在便携 式终端中的相机模块的视角增大时，用户充分移动输入装置，使得便携式终 端可在其屏幕上相对精巧地显示输出值。
如上所述，可在配备相机的便携式终端中实现根据本发明实施例的执行 鼠标指针功能的设备和方法的配置和操作。根据如上所述的本发明，在运动 画面通信期间发送的屏幕图像的解释可^L准确清楚地传送到另一方，而无需 改变用户目光的方向。
与此同时，尽管参照本发明示例性实施例具体表示和描述了本发明，但 本领域的技术人员应该理解，在不脱离本发明的精神和范围的情况下，可以 在形式和细节上进行各种改变。因此，本发明的精神和范围由权利要求及其 等同物限定，而不是由前面描述的实施例限定。
权利要求
1、一种由具有相机模块和屏幕的便携式终端执行鼠标指针功能的方法，所述方法包括:对外部图像信号进行采样，并将采样的图像信号转换为包括多帧的图像数据；对每个单位像素将由采样产生的图像数据的一组像素一一对应映射到相机模块的图像传感器的一组像素；在该组映射的像素中检测图像数据的坐标值；通过将图像数据的平均亮度值与预定的阈值进行比较，确定点光源是否包括在图像数据中；如果平均亮度值大于预定的阈值，则确定点光源包括在图像数据中，并在屏幕上显示检测的包括点光源的图像数据的坐标值。
2、 如权利要求l所述的方法，其中，由相机模块的图像传感器执行将采 样的图像信号转换为图像数据的步骤。
3、 如权利要求l所述的方法，其中，在映射由采样产生的图像数据的这 组像素的步骤中，参考X轴和Y轴，在图像数据的这组像素中产生坐标，并 将产生的坐标映射到屏幕。
4、 一种在配备有相机的便携式终端中执行鼠标指针功能的设备，所述设 备包括相机模块，.对输入的外部图像信号进行采样，将采样的图像信号转换为 图像数据，检测图像数据的坐标值，以显示检测的图像数据的坐标值；输入装置，传送相机模块可识别的点光源信号，其中，将图像数据的平 均亮度值与预定的阈值进行比较，如果平均亮度值大于预定的阈值，则确定 点光源包括在图像数据中，并在屏幕上显示检测的包括点光源的图像数据的 坐标值。
5、 如权利要求4所述的设备，其中，相机模块通过所述相机模块的图像 传感器接收外部图像信号作为输入。
6、 如权利要求4所述的设备，其中，输入装置使用可由图像传感器检测 的信号源作为光源，其中，信号源包括可见光或红外线。
7、 如权利要求4所述的设备，其中，输入装置通过开关将信号源作为点 光源发射到相机模块的图像传感器，其中，信号源包括可见光或红外线。
全文摘要
提供了一种配备相机的便携式终端中的鼠标指针功能执行设备和方法。所述方法包括通过相机模块捕获外部图像信号；对外部图像信号进行采样，并将采样的图像信号转换为图像数据；对每个单位像素将由采样产生的图像数据的一组像素一一对应映射到图像传感器的一组像素；在该组映射的像素中检测包括点光源的所有图像数据的坐标值；确定点光源是否确实包括在包括点光源的所有图像数据中；激活检测的包括点光源的所有图像数据的坐标值，并在屏幕上显示激活的坐标值。
文档编号G06F3/0354GK101382838SQ20081021576
公开日2009年3月11日 申请日期2008年9月8日 优先权日2007年9月6日
发明者姜和映, 尹泳权, 康盛旭, 李埈泳 申请人:三星电子株式会社