专利名称：识别图像的拍摄者的设备的制作方法
技术领域：
本发明涉及一种用于装备有相机的终端中的图像处理的设备。更具体地讲，本发明涉及一种用于将移动终端的标识信息插入到拍摄的图像的设备。
背景技术：
通常，图像处理设备包括用于拍摄图像的相机和用于显示由相机拍摄的图像信号的显示单元。相机可以使用电荷耦合装置(CCD)传感器或互补性氧化金属半导体(CMOS)传感器，显示单元可以使用液晶显示屏(LCD)。随着相机的微型化，用于拍摄图像的设备也已日益微型化。目前，微型化的数字相机已流行起来，并且相机已被安装在便携式终端上。该便携式终端可以拍摄图像，将拍摄的图像转换为运动画面或静止画面，并显示运动画面或静止画面。此外，便携式终端也可将拍摄的图像发送到基站。
因为如上所述的微型化的数字相机可容易地携带并可容易地拍摄图像，所以它们流行起来。此外，因为使用微型化的数字相机拍摄被以电的方式执行，所以当拍摄照片时没有提供听得见的指示。在这种情况下，由于可以通过便携式终端在不经另一人同意的情况下秘密地拍摄该另一人，所以可能侵犯了该另一人的隐私。因此，当前的法规要求当通过数字相机拍摄照片时自动出现听得到的指示。即，通过使用安装在便携式终端上的相机执行的拍摄产生“滴答”声。这是用来通知其他人正在通过便携式终端拍摄照片。
然而，即使“滴答”声自动出现，但在嘈杂的环境下其他人可能无法听到该“滴答”声。此外，当使用微型相机的用户禁止“滴答”声出现时，另一人不能意识到正被拍摄。
而且，随着因特网等的发展，因为如上所述被秘密地拍摄的照片可以被上载到网站等，所以人的隐私可被侵犯。因此，存在对这样的便携式拍摄终端的需要，即通过该终端，当通过相机执行拍摄时，关于拍摄照片或视频的终端的信息可被插入到照片中。因此，可以解决上述的问题。
发明内容
因此，本发明被提出以解决上述出现在现有技术中的问题，本发明的一个目的是提供一种当执行拍摄时能够将装备有相机的终端的信息插入到拍摄的图像中的设备。
本发明的另一个目的是提供这样一种设备，其用于当执行拍摄时能够将装备有相机的便携式终端的信息插入到拍摄的图像，并且能够由接收图像的终端提取该被插入到图像的信息并识别终端的所有者。
本发明的另一个目的是提供一种能够压缩并编码由装备有相机的便携式终端拍摄的图像并将关于该终端的信息插入到编码的图像的设备。
本发明的另一个目的是提供这样一种设备和方法，其用于压缩并编码由装备有相机的便携式终端拍摄的图像并将拍摄者信息插入到编码的图像，从而接收器从该图像提取关于该终端的信息，解码并显示压缩的图像，并检查该提取的终端信息。
本发明的另一个目的是提供一种能够将由装备有相机的便携式终端拍摄的图像压缩并编码为静止画面并将识别信息插入到该静止画面的图像流的设备和方法。
本发明的另一个目的是提供一种能够将由装备有相机的便携式终端拍摄的图像压缩并编码为静止画面的合成运动画面并将识别信息插入到该合成运动画面的图像流的设备和方法。
本发明的另一个目的是提供一种能够将由装备有相机的便携式终端拍摄的图像压缩并编码为运动画面并将识别信息插入到该运动画面的图像流的设备和方法。
通过下面结合附图的详细描述，本发明的以上和其它目的、特性和优点将会变得更清楚，其中图1是示出根据本发明实施例的装备有照相机的便携式终端的框图；图2是示出根据本发明实施例的图1的图像处理器的框图；图3是示出根据本发明实施例的图2中的图像编码解码器的示意图，该图示出了根据本发明实施例的识别信息被插入到被拍摄的图像的过程；图4是示出根据本发明实施例的识别信息被插入在其中的联合图像专家组(JPEG)流的结构的示意图；图5是示出根据本发明实施例的拍摄者信息被插入在其中的JPEG 2000流的结构的示意图；图6是示出根据本发明实施例的拍摄者信息被插入在其中的运动JPEG流的结构的示意图；图7是示出根据本发明实施例的拍摄者信息被插入在其中的运动图像专家组(MPEG)流的结构的示意图；图8示出是根据本发明实施例的拍摄者信息被插入在其中的H.264流的结构的示意图；以及图9是示出根据本发明实施例的图2中的图像编码解码器的示意图，该图示出了识别信息从包括终端信息的图像数据中被提取的过程。
具体实施例方式
这里将在下面参照附图对本发明的实施例进行详细的描述。
在下面的描述中，诸如图像信号格式、传输包格式、和图像压缩方案的特定项目是示例性的。对于本领域的技术人员应该清楚的是，本发明在没有显示的特定例子的情况下可以被容易地实施。
在下文中，将描述将识别信息插入到编码的图像的数据格式的方法。此外，识别信息可以被插入到诸如静态图像以及诸如视频的运动画面的拍摄的图像。该识别信息可以包括唯一地识别捕捉该图像的装置的电子指纹。在本发明的实施例中，将基于相机被安装在便携式终端上这一假设而给出描述。然而，本发明也可被应用于传统的独立数字相机。此外，根据本发明的实施例，在便携式终端的情况下，电子序列号(ESN)或用户电话号码可被用作识别信息。该信息被存储在与用户帐务相关联的集中的数据库中。因此终端的所有者可基于ESN或电话号码被定位。在相机的情况下，相机的序列号可被用作识别信息。而且，拍摄的时间和位置也可被添加为识别信息。
图1是示出根据本发明实施例的装备有照相机的便携式终端的框图。该便携式终端可包括便携式电话。
参照图1，射频(RF)单元121执行便携式电话的无线通信功能。RF单元121包括用于上转换并放大发送的信号的频率的RF发送器(未显示)、用于低噪声放大接收的信号并下转换接收的信号的频率的RF接收器(未显示)等。数据处理器120包括用于对发送的信号编码并调制的发送器(未显示)、用于对接收的信号解调并解码的接收器(未显示)等。数据处理器120可包括调制解调器和编码解码器。调制解调器调制或解调发送/接收的信号，并且通过使用诸如码分多路复用(CDMA)、全球移动通信系统(GSM)、通用移动电信系统(UMTS)等的不同的技术可使用各种类型的调制解调器。编码解码器包括数据编码解码器，用于处理发送和接收数据等；和音频编码解码器，用于处理发送/接收的音频信号。
键输入单元123包括用于输入数字和文本信息的键和用于设置各种功能的功能键。通信接口单元125通过通信线缆连接到外部设备并在控制器100的控制下执行与外部设备的串行通信功能。
存储器130可包括程序存储器、数据存储器、和用于存储根据本发明的实施例产生和接收的图像信号的运动画面存储器。程序存储器根据本发明的实施例可存储控制便携式电话的产生操作的程序和用于控制应用于显示单元160的图像信号的路径的程序。此外，数据存储器执行暂时存储当程序被执行时产生的数据的功能。
控制器100执行控制便携式终端的一般操作的功能，该控制器100也可包括数据处理器120。控制器100根据本发明的实施例基于由键输入单元123设置的模式命令控制以下操作拍摄、存储、再现、发送或接收图像信号。此外，控制器100在显示单元160上显示用户数据。诸如在便携式终端上显示的信息的用户数据可包括显示当前时间、接收器灵敏度、电池等级的用户数据；和通过用户的设置显示的用户数据。
相机单元140包括相机传感器，用于将拍摄图像中检测到的光信号转换为电信号；和信号处理单元，用于将由相机传感器拍摄的模拟图像信号转换为数字数据。假定相机传感器是CCD传感器，并且信号处理单元可包括数字信号处理器(DSP)。此外，相机传感器可与信号处理单元集成，或者相机传感器可与信号处理单元分开构造。
图像处理器150产生用于显示从相机单元140输出的图像信号的屏幕数据。图像处理器150处理从相机单元140输出的图像信号并根据显示单元160的特性和大小输出帧图像数据。此外，图像处理器150包括图像编码解码器250(见图2)。图像编码解码器250使用预设的方案对图像信号编码或将编码的帧图像数据解码成原始帧图像信号。而且，图像处理器150根据在控制器100的控制下设置的模式拍摄或再现图像信号。图像编码解码器250可包括联合图像专家组(JPEG)编码解码器、运动JPEG编码解码器、或者运动图像专家组(MPEG)编码解码器。
显示单元160将从图像处理器150输出的帧图像信号显示在屏幕上并显示从控制器100输出的用户数据。此外，显示单元160在控制单元100的控制下显示再现的运动画面信号。显示单元160可使用液晶显示屏(LCD)。在这种情况下，显示单元160可包括LCD控制器、能够存储图像数据的存储器、LCD显示装置等。当该LCD具有触摸屏功能时，显示单元160可作为输入单元操作。
全球定位系统(GPS)接收器170从GPS卫星接收GPS信息以将接收的GPS信息发送到控制器100。GPS信息可以是关于便携式电话的当前位置的信息。在本发明的实施例中，拍摄位置或者位置信息和时间信息通过GPS接收器170可被接收。
参照图1，当便携式电话使用CDMA方案的信道时，数据处理器120的调制解调器可以是符合CDMA方案的调制解调器。根据本发明的实施例，数据处理器120包括对音频信号编码或解码的音频编码解码器。
根据本发明的实施例的便携式电话可拍摄人或周围的环境并将拍摄的人或周围的环境的图像显示或发送。相机单元140可与便携式电话一起被装备或者可被连接到便携式电话的外部的预定的位置。即，相机单元140可以是外置类型相机或内置类型相机。相机单元140可包括用于拍摄图像的传感器、用于将由传感器拍摄的图像信号转换为数字数据的信号处理器等。传感器可使用CMOS传感器或CCD传感器。由相机单元140拍摄的图像通过内部传感器被转换为电信号，并且信号处理器将拍摄的图像信号转换为数字图像数据。转换的数字图像信号和同步信号被输出到图像处理器150。同步信号可包括水平同步信号(Hsync)、垂直同步信号(Vsync)等。
图2是显示根据本发明实施例的图像处理器150的构造的框图。图像处理器150对相机单元140和显示单元160之间的图像信号建立接口并执行对从相机单元140输入的图像信号编码和解码的功能。如上所述，图像处理器150包括用于对图像信号编码和解码的图像编码解码器250。在本发明的实施例中，图像编码解码器250可以是JPEG编码解码器、运动JPEG编码解码器、MPEG编码解码器、或者H.264编码解码器。
参照图2，相机接口单元211执行对从相机单元140输出的图像数据建立接口的功能。在本发明的实施例中，假定从相机单元140输出的图像数据是YUV格式的图像数据，并且显示单元160显示RGB格式的图像数据。
定标器213根据从控制器100输出的控制信号定标由相机单元140拍摄的图像信号以便该图像信号可以被显示在显示单元160上。定标器213将从相机单元140输出的图像信号的像素减少并裁剪到能够被显示在显示单元160上的图像信号的像素数。然而，当显示单元160可以显示具有大于从相机单元140输出的图像数据的大小的大小的图像数据时，定标器213可被设计以在控制器100的控制下放大并显示从相机单元140输出的图像信号。根据放大并显示图像信号的方法，从输出自相机单元140的图像信号的像素之中选择出能够被显示在显示单元160上的图像信号的像素数那么多的预定像素，并且选择的像素被显示在显示单元160上。
色彩转换器215将从定标器213输出的YUV数据转换为RGB数据并输出该RGB数据。当相机单元140可将拍摄的图像数据转换为RGB数据或者显示单元160可显示YUV格式的图像数据时，可以省略色彩转换器215。
LCD接口单元217执行建立图像数据到显示单元160的接口的功能。LCD接口单元217在其中包括缓冲器并可执行缓冲接口到显示单元160的图像数据的功能。
图像编码解码器250可执行在图像处理控制器200的控制下对拍摄的图像数据编码或者恢复编码的图像数据的功能。图像编码解码器250在图像处理控制器200的控制下输入并通过预定的编码方案编码从色彩转换器215输出的相机图像信号或者在显示单元160上显示的图像信号。此外，图像编码解码器250将标识信息插入到编码的图像数据并产生编码的图像数据。而且，图像编码解码器250在图像处理控制器200的控制下从编码的图像数据中提取标识信息，或者对编码的图像数据解码并将解码的图像数据输出到定标器213或LCD接口单元217。这里，图像处理控制器200在处理图像期间也可处理来自键输入单元123的键数据。在本发明的实施例中，描述基于这样的假设而被给出，即，控制器100检查来自键输入单元123的键数据，并将该键数据传送到图像处理控制器200以便当该键数据涉及图像处理时图像处理控制器200执行涉及图像处理的命令。
图像处理控制器200控制图像处理器150的产生操作。即，图像处理控制器200在控制器100的控制下控制显示单元160以控制用于显示由相机单元140拍摄的图像数据的产生操作。图像处理控制器200控制图像编码解码器250以将标识信息插入到图像数据或提取被插入到图像数据的标识信息。根据将标识信息插入到图像数据的方法，标识信息可被打水印到图像数据，标识信息可被打水印到图像数据流或被嵌入到数据流中。在本发明的实施例中，描述基于这样的假设被给出，即，标识信息被打水印到图像数据流，该图像数据被编码，并且识别信息被打水印到编码的图像数据流。此外，可使用这种方法在图像数据被编码前将识别信息插入到图像数据并对包括该识别信息的图像数据编码。
存储器230在图像处理控制器200的控制下存储或输出图像数据。存储在存储器230中的图像数据可以是拍摄的图像数据或在便携式终端中接收的图像数据。
选择器219执行这样的功能通过从控制器100输出的路径控制信号选择从图像处理器150输出的数据或选择从控制器100输出的数据，并将该选择的数据输出到显示单元160。
参照图2，在图像拍摄模式下，控制器100将图像处理的控制权转移到图像处理控制器200。然后，图像处理控制器200控制从控制器100发送的将被显示在显示单元160上的用户数据。此外，图像处理控制器200控制允许由相机单元140拍摄的图像数据被显示在显示单元160上的操作和通过用户的命令允许拍摄的图像信号被存储在存储器130中的操作。即，仅当通信功能被执行时，控制器100控制涉及通信的操作和控制显示单元160的操作。假定图像处理控制器200在通信等待状态下控制显示单元160的一般操作。当选择了相机单元140的操作时，图像处理控制器200控制便携式终端的一般操作。
在下文中，将描述将由相机单元140拍摄的图像信号发送到显示单元160的操作。首先，图像处理器150处理由相机单元140拍摄的图像信号并将该处理的图像信号显示在显示单元160上。这里，图像处理器150的定标器213可以除掉一些从相机单元140输出的图像信号的像素以便该图像信号可以被显示在显示单元160上，或者可以选择包括一些像素的预定区域并缩放该选择的区域。在这种情况下，拍摄的图像信号没有被存储在存储器230中而是被显示在显示单元160的预览屏幕上。当图像信号被显示在预览屏幕上时，图像编码操作没有被执行，并且拍摄者信息没有被插入到拍摄的图像信号。
此外，在将由相机单元140拍摄的图像信号显示在显示单元160的图像屏幕上的过程中，用户可存储显示的数据信号。也就是说，用户可通过从键输入单元123中选择与图像处理相关的功能键或从菜单中选择与图像处理相关的功能来存储显示的图像信号。当拍摄命令发生时，图像处理控制器200控制图像编码解码器250以对通过相机接口单元211输入的图像信号进行编码，将识别信息插入到编码的图像数据的流中，将拍摄者信息打水印到图像数据，并且在存储器230中存储图像数据。当存储的图像数据或接收的图像数据被再现时，图像处理控制单元200控制图像编码解码器250以提取被水印到图像数据的识别信息。图像编码解码器250对编码的图像数据进行解码并输出解码的图像数据到定标器213，从而解码的图像数据被显示在显示单元160上。图像处理控制器200可通过选择器219在显示单元160上显示提取的拍摄者信息。
图3是图像编码解码器250的示意图。图3示出根据本发明实施例的图像编码解码器250通过预定编码方案对图像数据进行编码并将拍摄者信息作为水印插入编码的图像数据的过程。图3示出了编码器的结构，但解码器以相反的顺序操作并具有与编码器结构相似的结构。
参照图3，编码器311按照预定编码方案对输入图像数据编码。编码方案基于图像数据的类型。也就是说，图像编码解码器250根据拍摄的图像数据是静止画面数据还是运动画面数据而使用不同的编码方法。此外，图像编码解码器250对于静止画面数据或运动画面数据可使用不同的编码方法。在本发明的实施例中，假定对于静止画面数据使用JPEG编码器，对于运动画面数据使用MPEG 4编码器或H.264编码器。此外，可使用运动JPEG编码器，该JPEG编码器合成静止画面以生成运动画面，将音频和文本数据与运动画面进行合成，并处理合成的运动画面。编码器311输入拍摄的图像数据，并按预定编码方案对图像数据进行压缩和编码。编码器311可以是上述的JPEG编码解码器、运动JPEG编码解码器、MPEG编码解码器或H.264编码解码器中的一种。编码解码器自适应头插入器313将头插入编码的图像数据流。用于头的信息可以是根据相应编码方案的头信息。头信息在编码的图像数据流中的预定位置被插入。
混和器317通过将便携终端信息和伪随机序列进行混和来生成水印，其可使用异或门。便携式终端信息是识别信息，可包括ESN和移动标识号码(MIN)。ESN是便携式终端的唯一号码并代表独立地分配给每个便携式终端的号码。MIN是便携式终端的信息，可包括便携式终端的电话号码。此外，便携式终端信息可包括图像拍摄时间和地点等。拍摄地点的信息可通过GPS接收器170来获得。当没有GPS接收器170时，也可使用当前为便携式终端提供无线电通信的基站的信息。伪随机序列可以是用于便携式终端的扩频码(PN序列)。此外，也可使用能被所有便携式终端共同使用的约定的伪随机序列。另一方面，可能无法使用伪随机序列。在该情形下，混和器317可被省略。通过混和器317与特定伪随机序列相混和的拍摄者信息作为图像数据的水印信息被使用。
水印嵌入器315将从混和器317输出的水印嵌入到编码的图像数据流中。也就是说，水印嵌入器315将水印嵌入到由头和编码的图像数据构造的图像数据流的预定位置。用于通过水印嵌入器315将拍摄者信息打水印到图像数据的方法可使用将拍摄者信息嵌入到编码的图像数据流的预定位置的方法。也就是说，当编码数据被存储或发送时，根据预定标准生成编码的图像数据。因此，水印嵌入器315将拍摄者信息嵌入到编码的图像数据流的预定位置，拍摄者信息被嵌入的位置必须是预先指定的位置。
通常，编码的图像数据流的格式包括保留区域。因此，保留区域的特定部分可被用作拍摄者信息的水印部分。在本发明的实施例中，编码的图像数据流的预定位置被用作如上所述的水印部分。除了如上所述的进行水印的方法之外，也可使用将拍摄者信息直接打水印到图像数据的方法。从水印嵌入器315输出的图像数据流可由水印(识别信息)、头信息以及编码的图像数据流构造。
输出单元319将开始码(start code)和结束码(end code)插入到从水印嵌入器315输出的流中，并输出编码的图像数据流。开始码是表示编码的图像数据流的开始的编码，结束码是表示编码的图像数据流的结束的编码。因此，从输出单元319中输出的数据流包括开始码、水印、头、编码的图像数据以及结束码。水印嵌入器315可将拍摄者信息插入到在开始码之后的位置、在头信息之后的位置、或在结束码之前的位置。
具有如上所述构造的图像编码解码器250生成根据编码方案通过不同格式编码的图像数据流。这里，图像编码解码器250可执行用于运动画面数据的编码和用于静止画面数据的编码。在下文中，根据本发明的实施例，将描述JPEG编码方案、运动JPEG编码方案、MPEG编码方案以及H.264编码方案。JPEG编码方案是用于对静止画面编码的方案。运动JPEG编码方案是用于对静止画面编码来将静止画面合成位到运动画面的方案。MPEG编码方案和H.264编码方案是用于对运动画面数据编码的方案。参照图4到图8，根据如上所述的编码方案的本发明的实施例将被描述。图4是示出根据本发明实施例识别信息被打水印至其的JPEG流的结构的示意图。图5是示出根据本发明实施例识别信息被打水印至其的JPEG 2000流的结构的示意图。图6是示出其中识别信息根据本发明实施例被水印的运动JPEG流的结构的示意图。图7是示出根据本发明实施例识别信息被打水印至其的MPEG流的结构的示意图。图8是示出根据本发明实施例拍摄者信息被打水印至其的H.264流的结构的示意图。
参照图4，图像编码解码器250可以是JPEG图像编码解码器。由相机单元140拍摄的图像数据被应用于编码器311。编码器311根据JPEG编码方案对输入图像数据进行编码并生成如图4中的标号411所示的ECS0～ECSlast，ECS0～ECSlast表示JPEG编码的图像数据。然后，JPEG编码的图像数据被应用于编码解码器自适应头插入器313，从而头信息被加入到如标号411所示的JPEG编码的图像数据。头信息可包括JFIF标记、长度、JFIF串、表/杂项、帧头以及扫描头。表/杂项具有如图4的标号413所示的结构，帧头具有如图4的标号415所示的结构，扫描头具有如图4的标号417所示的结构。
如图4的标号411所示，水印嵌入器315将识别信息嵌入在头信息之前。拍摄者信息包括用于识别水印的标记、水印长度、以及X字节的水印。可以是ESN、MIN、拍摄时间和地点、或这些信息中的一些的X字节的水印包含在识别信息中。可以是用于识别拍摄者或终端所有者的信息的ESN和MIN是便携式终端的唯一信息。
在拍摄者信息被嵌入到JPEG流之后，输出单元319将图像开始(SOI)和图像结束(EOI)插入JPEG流，并完成和输出JPEG编码的图像数据流。然后，图像处理控制器200可将如标号411所示的的输出单元319输出的JPEG流存储在存储器230中，或通过控制器100来向外部发送的JPEG流。
参照图5，图像编码解码器250可以是JPEG图像编码解码器。由相机单元140拍摄的图像数据被应用于编码器311。编码器311根据JPEG编码方案对输入图像数据进行编码并生成如图5的标号451所示的比特流。该比特流表示根据JPEG 2000方案编码的图像数据。然后，JPEG编码的图像数据被应用于编码解码器自适应头插入器313，从而头信息被加入到如标号451所示的JPEG编码的图像数据中。头信息包括主要头标记段、多个小片部分头、以及数据开始(SOD)。因此，可以理解，JPEG 2000图像数据具有包括如图5中的标号451所示的主要头标记段、小片部分头、SOD、以及比特流。主要头标记段具有如图5中的标号453所示的结构，小片部分头具有如图5中的标号455所示的结构。
在本发明的实施例中，拍摄者信息被打水印到在SOD和主要头标记段之间的保留区域中。为此，在编码解码器自适应头插入器313之后的水印嵌入器315在如图5的451所示的主要头标记段之前嵌入识别信息。拍摄者信息包括用于识别水印的标记、水印长度、以及X字节的水印。可以是ESN、MIN、拍摄时间和地点、或这些信息中的一些的X字节的水印包含在拍摄者信息中。可以是用于识别拍摄者或终端所有者的ESN和MIN是便携式终端的唯一信息。
在拍摄者信息被嵌入到JPEG流之后，输出单元319将码流开始(SOC)插入到流的开始部分，将码流结束(EOC)插入到流的最后部分，并完成和输出根据JPEG 2000方案编码的图像数据流。然后，图像处理控制器200可将从输出单元319输出的如标号451所示的JPEG 2000流存储在存储器200中，或通过控制器100将JPEG 2000流发送到终端的外部。
参照图6，图像编码解码器250可以是运动JPEG图像编码解码器。运动JPEG图像是通过合成JPEG图像并重建被合成的JPEG图像而获得的运动画面。此外，运动JPEG图像可包括合成的音频和/或文本数据。因此，运动JPEG图像可以是合成的运动画面信号。在该情形下，合成的运动画面数据具有文本数据首先被安排并且对应于帧大小的音频数据和视频数据根据帧间隔而被交织的结构。运动JPEG头在合成的运动画面数据前被插入。运动JPEG头具有如图6中标号513所示的结构。此外，运动JPEG头由如图6中标号515所示的运动JPEG组成的数据、以及如图6中标号517所示的由表/杂项、帧头信息和扫描头信息构成的头信息组成。表/杂项具有如图6中的标号519所示的结构，帧头具有如图6中的标号521所示的结构，扫描头具有如图6中的标号523所示的结构。
水印嵌入器315将拍摄者信息嵌入到如图6的标号513所示的运动JPEG头。拍摄者信息包括用于识别水印的标记、水印长度，以及X字节的水印。可以是ESN、MIN、拍摄时间和地点、或这些信息中的一些的X字节的水印包含在拍摄者信息中。可以是用于识别拍摄者或终端所有者的信息的ESN和MIN是便携式终端的唯一信息。
在拍摄者信息被嵌入到运动JPEG流之后，输出单元319将SOI插入到运动JPEG头的开始部分，将EOI插入到运动JPEG头的最后部分，并完成和输出如图6的标号511所示的运动JPEG流。然后，图像处理控制器200可将从输出单元319输出的运动JPEG流存储在存储器230中，或通过控制器100将该JPEG流发送到终端的外部。
参照图7，图像编码解码器250可以是MPEG4图像编码解码器。MPEG4流具有如图7的标号611所示的结构。MPEG4流包括表示MPEG4流开始的visual_object_sequence_start_code、表示属性和大小的profile_and_level_indication、表示水印开始和水印信息的watermark_start_code和watermark、多个视觉对象，以及在最后的视觉对象之后插入的visual_obiect_sequence_end_code。
每个视觉对象包括如图7的标号613所示的视觉对象信息以及视频对象。视频对象包括如图7的标号615所示的视频对象信息和多个video_object_layer。每个video_object_layer包括如图7的标号617所示的视频对象信息和group_of_videoobjectplane。group_of_videoobjectplane具有如图7的标号619所示的结构。
图7示出了拍摄者信息，即水印被置于在MPEG4数据流中的视觉对象之前的例子。然而，在如图7的标号611所示的MPEG4流中，水印可被置于visual_object_sequence_start_code之后或visual_object_sequence_end_code之前。
参照图8，图像编码解码器250可以是H.264图像编码解码器。H.264流具有如图8所示的结构。H.264流包括表示H.264流开始的开始码，以及网络适配层(NAL)头。NAL头包括一比特的forbidden_zero_bit、两比特的Nal_ref_idc以及五比特的Nal_unit_type。在五比特的Nal_unit_type中，0到12是预设和使用的区域，13到23是保留区域，24到31是未指定区域。在本发明实施例中，Nal_unit_type的13被设置作为水印Nal头来使用。因此，水印Nal头变成水印头。此外，X字节的水印在水印Nal头之后被插入。在H.264流中，水印Nal头和水印(即净荷)被插入。在图8中，被放置在水印之后的Nal头和净荷信息包含在H.264流的已有结构中。
当由图像编码解码器250拍摄的图像数据如上所述被存储或发送时，图像编码解码器250对图像数据进行编码。当图像编码解码器250对图像进行编码时，图像编码解码器250将识别信息打水印到图像数据。为此，图像编码解码器250根据预定编码方案对图像数据进行编码，生成编码数据流的头信息，并将头信息插入到编码数据流。然后，图像编码解码器250将识别信息作为水印插入包括头和的数据的流中。此外，图像编码解码器250将开始码插入到包括水印、头和数据的流中，并存储或发送该流。
如上所述，图像编码解码器将识别信息插入到编码的图像数据流。当识别信息作为水印使用时，可通过在对图像数据解码中分析水印来获得已经拍摄图像的便携式终端的信息。对包括水印的图像数据解码的操作按与编码操作相反的顺序被执行。图9是示出用于对编码数据进行解码的图像编码解码器250的解码器的示意图。
参照图9，当编码数据被接收时，输入单元351从编码的图像数据流中分离出开始码和结束码，并提取和输出水印、头和编码的数据的流。然后，水印提取器353从由水印、头、和编码的数据构建的数据流中提取在预定位置被插入的水印(即拍摄者信息)。水印的大小可通过水印头信息来获知并根据水印头信息被提取。由水印提取器353提取的水印由混和器359与随机序列进行混和以作为原始拍摄者信息而被生成。混和器359可以是异或门，随机序列与图3中使用的随机序列相同。从混和器359输出的识别信息是在编码中被插入的拍摄者信息，该信息包括ESN、MIN、时间和/或位置信息。识别信息可被应用于图像处理控制器200，然后在显示单元160被显示。
从水印提取器353输出的头和编码数据的流被应用于头提取器355，头提取器355提取头信息。此外，解码器357对从头提取器355输出的编码数据流进行解码，并生成原始图像数据。如上所述，图像编码解码器250的解码器按与编码器相反的顺序进行操作。
在本发明的实施例中，图像编码解码器执行将识别信息打水印到拍摄的图像数据中的操作。然而，在将识别信息打水印到拍摄的图像数据中的操作中，当相机单元140执行拍摄时，终端的信息可作为水印被插入。此外，在本发明的实施例中，当识别信息作为水印被插入到图像数据中时，识别信息作为净荷在数据流中的预定位置被插入。然而，除了上述方法，还可使用将识别信息直接打水印到拍摄的图像数据的方法。
根据以上所述的本发明的实施例，在具有相机的终端中，识别信息作为水印被插入到由相机拍摄的图像中，从而拍摄图像的地点可被追踪。当前，因为配备相机的终端已变得流行和小型化，许多人可秘密拍摄，这些拍摄的图像可通过因特网等向公众快速地传播。此外，无法经过拍摄者的拍摄图像的终端来追踪该拍摄者。因此，识别信息被插入到拍摄的图像中，从而当图像被非法传播时，能够追踪拍摄者。
尽管本发明已参照其一定实施例被描述和示出，但本领域技术人员应该理解，在不脱离由所附权利要求限定的本发明的精神和范围的情况下，可以在形式和细节上做出各种改变。
权利要求
1.一种装备有相机的设备，该设备包括图像编码解码器，用于对由相机拍摄的图像数据编码；包括在图像编码解码器中的水印嵌入器，用于将识别信息嵌入在编码的图像数据的流作为水印；和存储器，用于存储包括该水印的编码的图像数据的流。
2.如权利要求1所述的设备，其中，通过混合识别信息和预定的随机序列而产生水印。
3.如权利要求2所述的设备，其中，识别信息包括便携式终端的电子序列号(ESN)信息。
4.如权利要求3所述的设备，其中，识别信息还包括用户电话号码。
5.如权利要求4所述的设备，其中，识别信息还包括拍摄的位置信息。
6.如权利要求3所述的设备，还包括用于发送在存储器中存储的编码的图像数据的通信单元。
7.如权利要求6所述的设备，其中，通信单元包括通过通信线缆被连接到外部通信设备以与该外部通信设备建立接口的通信接口单元。
8.如权利要求7所述的设备，其中，通信单元包括用于执行与基站的RF通信的射频(RF)通信单元。
9.一种用于在便携式终端中处理图像数据的设备，该设备包括相机；包括图像编码解码器的图像处理器，用于在记录模式下处理由相机拍摄的图像数据，并将该拍摄的图像数据应用于图像编码解码器，该图像编码解码器包括编码器，用于通过预定编码方案对从相机输出的图像数据编码；编码解码器自适应头插入器，用于将头信息插入到编码的图像数据的流中；和水印嵌入器，用于将识别信息嵌入到流中作为水印；存储器，用于在记录模式下存储包括水印的流；和通信单元，用于在通信模式下发送从在存储器中存储的编码的图像数据中选择的预定的编码的图像数据。
10.如权利要求9所述的设备，其中，通过混合识别信息和预定的随机序列而产生水印。
11.如权利要求10所述的设备，其中，识别信息包括便携式终端的电子序列号(ESN)信息。
12.如权利要求11所述的设备，其中，识别信息还包括用户电话号码。
13.如权利要求12所述的设备，其中，识别信息还包括拍摄的位置信息。
14.一种用于显示图像数据的设备，该设备包括通信单元，用于在通信模式下接收图像数据；图像编码解码器，包括水印提取器，用于提取水印并产生识别信息，该水印已被插入到从通信单元输出的编码的图像数据的流中的预定位置；头提取器，用于从输出自水印提取器的编码的图像数据的流中提取头信息；和解码器，用于对从头提取器输出的编码的图像数据的流解码并恢复原始图像数据；图像处理器，用于处理从图像编码解码器输出的图像数据；和显示单元，用于显示从图像处理器输出的图像数据。
15.如权利要求14所述的设备，还包括用于对随机序列和由水印提取器提取的水印进行混和并提取识别信息的的混和器。
16.如权利要求15所述的设备，其中，识别信息包括便携式终端的电子序列号(ESN)信息。
17.如权利要求16所述的设备，其中，识别信息还包括用户电话号码。
18.如权利要求17所述的设备，其中，识别信息还包括拍摄的位置信息。
19.如权利要求16所述的设备，其中，通信单元包括射频(RF)通信单元，用于执行与基站的RF通信。
20.一种在便携式终端中处理图像数据的设备，该设备包括相机；图像处理器，具有用于处理从相机输出的图像数据的图像编码解码器以及图像处理器和多块图像数据；显示单元，用于显示相机的图像数据；通信单元，用于在通信模式下发送由图像编码解码器编码的图像数据以及将接收到的编码的图像数据输出到图像编码解码器；以及图像编码解码器，包括编码器，用于根据预定编码方案对从相机输出的图像数据进行编码；编码解码器自适应头插入器，用于将头信息插入编码的图像数据流；水印嵌入器，用于将识别信息作为水印嵌入到流中并将流输出到通信单元；水印提取器，用于提取已在从通信单元输出的流中的预定位置被插入的水印，并生成识别信息；头提取器，用于从自水印提取器输出的流中提取头信息；以及解码器，用于对从头提取器输出的流进行解码、恢复原始图像数据，以及向图像处理器输出恢复的原始图像数据。
21.一种用于在配备相机的便携式终端中处理图像数据的方法，该方法包括以下步骤在相机的拍摄模式下，使用预定的编码方案对由相机拍摄的图像数据进行编码；生成编码的图像数据的流的头信息并将头信息插入到流中；生成作为水印的识别信息并将水印插入到流中；以及存储包括水印的流。
22.如权利要求21所述的方法，其中，通过将预定的随机序列与识别信息混和来生成水印。
23.如权利要求22所述的方法，其中，识别信息包括便携式终端的电子序列号(ESN)信息。
24.如权利要求23所述的方法，其中，识别信息还包括用户电话号码。
25.如权利要求24所述的方法，其中，识别信息还包括拍摄的位置信息。
26.如权利要求23所述的方法，其中，ESN与便携式终端的所有者链接。
27.如权利要求24所述的方法，其中，用户号码与便携式终端的所有者链接。
28.一种用于在配备相机的便携式终端中处理图像数据的方法，该方法包括以下步骤在图像再现模式下提取在编码的数据流的预定位置被插入的水印，以及从提取的水印中检测识别信息从水印已被从其提取的数据流中提取头信息；以及根据预定解码方案对头信息已被从其中提取的数据流进行解码，以及显示解码数据流。
29.一种在配备相机的便携式终端中处理图像数据的方法，该方法包括以下步骤在相机的图像捕获模式下，使用预定编码方案，对由相机捕获的图像数据进行编码；生成用于编码的图像数据的流的头信息并将头信息插入到流中；生成作为电子指纹的识别信息并将电子指纹嵌入到流中；以及存储包括电子指纹的流。
30.如权利要求29所述的方法，其中，通过将预定随机序列和识别信息混和来生成电子指纹。
31.如权利要求29所述的方法，其中，图像数据包括静止图像或运动画面。
32.如权利要求29所述的方法，还包括经由用户终端的电子序列号或电话号码将用户与嵌入的电子指纹进行关联。
全文摘要
公开了一种用于在装备有相机的便携式终端中处理图像数据的设备。在该设备中，在相机的拍摄模式下通过预定的编码方案对由相机拍摄的图像数据编码，编码的图像数据的流的头信息被产生并被插入到流中，识别信息被产生作为水印并且该水印被插入到流中，并且包括该水印的流被存储。
文档编号H04N1/00GK1708084SQ200510073590
公开日2005年12月14日 申请日期2005年6月6日 优先权日2004年6月5日
发明者权成根, 朴铨晚, 姜栋浣, 申载宽 申请人:三星电子株式会社