Camera sensor 基本知识(2)

admin

1 R% g0 V% r% E5 s
一、摄像头模组（CCM）介绍：1、camera特写

    摄像头模组，全称Camera Compact Module，以下简写为CCM，是影像捕捉至关重要的电子器件。先来张特写，各种样子的都有。

2、摄像头工作原理、camera的组成各组件的作用想完全的去理解，还得去深入，如果是代码我们就逐步分析，模组的话我们就把它分解开来，看他到底是怎么工作的。看下它是有那些部分构成的，如下图所示：
$ R$ [  ]& B  ]; W( \4 |% W3 r

( [3 c& G* A0 G% P" o) A
* B' G- k$ ]- x4 |( t) v

（1）、工作原理：光通过镜头（lens）聚集的光,通过CMOS或CCD集成电路，把光信号转换成电信号，再经过内部图像处理器（ISP）转换成数字图像信号输出到数字信号处理器（DSP）加工处理，转换成标准的RGB、YUV等格式图像信号。

（2）、CCM 包含四大件： 镜头(lens)、传感器（sensor）、软板（FPC）、图像处理芯片（DSP）。决定一个摄像头好坏的重要部件是：镜头（lens）、图像处理芯片 （DSP）、传感器（sensor）。CCM的关键技术为：光学设计技术、非球面镜制作技术、光学镀膜技术。

镜头（lens）是相机的灵魂，镜头(lens)对成像的效果有很重要的作用，是利用透镜的折射原理，景物光线通过镜头，在聚焦平面上形成清晰的影像，通过感光材料CMOS或CCD感光器记录景物的影像。镜头厂家主要集中在台湾、日本和韩国，镜头这种光学技术含量高的产业有比较高的门槛，业内比较知名的企业如富士精机、柯尼卡美能达、大立光、Enplas等

传感器（sensor）是CCM的核心模块，目前广泛使用的有两种：一种是广泛使用的CCD（电荷藕合）元件；另一种是CMOS（互补金属氧化物导体）器件。

电荷藕合器件图像传感器CCD（Charge Coupled Device），它使用一种高感光度的半导体材料制成，能把光线转变成电荷，通过模数转换器芯片转换成数字信号。CCD由许多感光单位组成，通常以百万像 素为单位。当CCD表面受到光线照射时，每个感光单位会将电荷反映在组件上，所有的感光单位所产生的信号加在一起，就构成了一幅完整的画面。CCD传感器模块以日本厂商为主导，全球规模市场有90%以上被日本厂商垄断，以索尼、松下、夏普为龙头。

互补性氧化金属半导体CMOS（Complementary Metal-Oxide Semiconductor）主要是利用硅和锗这两种元素所做成的半导体，使其在CMOS上共存着带N（带–电）和 P（带+电）级的半导体，这两个互补效应所产生的电流即可被处理芯片纪录和解读成影像。CMOS 传感器主要美国、台湾和韩国为主导，主要生产厂家有美国 OmniVision、Agilent、Micron,台湾的锐像、原相、泰视等，韩国的三星、现代。

图像处理芯片（DSP）是CCM的重要组成部分，它的作用是将感光芯片获得的数据及时快速地传递中央处理器并刷新感光芯片，因此DSP芯片的好坏，直接影响画面品质（比如色彩饱和度，清晰度等）。

        图像处理（isp）——（Image Signal Processor）——影视处理        无论数码相机、摄像机或者摄像手机，其影像数据从前端感应后，皆须经过ASP（Analog Signal Processing）、ADC（Analog-Digital Converter）、前期影像处理（Pre-ISP）与后端影像处理（Post-ISP）四个阶段后，影像数据才能最终呈现于终端设备上
- N4 G6 L" C+ q9 R; W- A) E
: y# ]* t$ _9 c

FPC柔性电路板(柔性PCB): 简称"软板", 又称"柔性线路板",连接芯片和手机。起到电信号传输作用。

3、camera模组的装配方式

（1）、定焦模组装配图

CCM分为定焦模组和自动变焦模组，其中定焦模组主要由镜头、镜座、感光集成电路、软性线路板、补强和钢片装配而成，其装配图如下：

7 m" [% i; w( e+ w: o& }  n9 C

（2）、自动变焦模组装配图

以前我不知道手机上的光学变焦是怎么会事，以为那些都是忽悠人的，看这个图这下明白了，如果你也不知道，看下这个图，原来里面有个音圈马达，这个只有高像素的模组才有，这个我们不用管，知道怎么光学变焦就可以了。

自动变焦模组由镜头、音圈马达、底座支架、感光集成电路、驱动集成电路和连接器组成，其装配图如下：

3、摄像头的一些技术指标

1）、图像格式(imageFormat/Colorspace)
RGB24，420是目前最常用的两种图像格式。

说道RGB24，不得不提一下RGB。

1 L3 ?* r0 K% }) o

RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，

RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。
3 z! d" _* `  z! C& E" B

RGB色彩模式使用RGB模型为图像中每一个像素的RGB分量分配一个0~255范围内的强度值。RGB图像只使用三种颜色，就可以使它们按照不同的比例混合，在屏幕上重现16777216(256 * 256 * 256)种颜色。
' v, C5 t' u( l& U# O" |/ M# v+ B

RGB555RGB555是另一种16位的RGB格式，RGB分量都用5位表示（剩下的1位不用）。使用一个字读出一个像素后，这个字的各个位意义如下：
高字节 低字节
X R R R R R G G G G G B B B B B （X表示不用，可以忽略）
可以组合使用屏蔽字和移位操作来得到RGB各分量的值：
#define RGB555_MASK_RED 0x7C00
#define RGB555_MASK_GREEN 0x03E0
#define RGB555_MASK_BLUE 0x001F
R = (wPixel & RGB555_MASK_RED) >> 10; // 取值范围0-31
7 d( @  D3 G7 q& OG = (wPixel & RGB555_MASK_GREEN) >> 5; // 取值范围0-31
) a" B  @$ K6 |" z+ E+ BB = wPixel & RGB555_MASK_BLUE; // 取值范围0-31
RGB565RGB565使用16位表示一个像素，这16位中的5位用于R，6位用于G，5位用于B。程序中通常使用一个字（WORD，一个字等于两个字节）来操作一个像素。当读出一个像素后，这个字的各个位意义如下：
4 T7 m4 l. k5 g2 c9 j高字节 低字节
* X3 k' x* |; D8 e# YR R R R R G G G G G G B B B B B
可以组合使用屏蔽字和移位操作来得到RGB各分量的值：
#define RGB565_MASK_RED 0xF800
#define RGB565_MASK_GREEN 0x07E0
5 W2 \' a7 g/ ?" @! K#define RGB565_MASK_BLUE 0x001F
' J: }- r/ A6 L$ vR = (wPixel & RGB565_MASK_RED) >> 11; // 取值范围0-31
0 T) N$ L7 }; t7 e1 sG = (wPixel & RGB565_MASK_GREEN) >> 5; // 取值范围0-63
3 L( @. v" K, J' C! _* t9 DB = wPixel & RGB565_MASK_BLUE; // 取值范围0-31
8 d1 o( p9 e/ b2 a+ u- i#define RGB(r,g,b) (unsigned int)( (r|0x08 << 11) | (g|0x08 << 6) | b|0x08 )
#define RGB(r,g,b) (unsigned int)( (r|0x08 << 10) | (g|0x08 << 5) | b|0x08 )
/ m3 M8 T; |8 O1 P0 u该代码可以解决24位与16位相互转换的问题
- S. x6 H  m4 i. k! c8 c0 IRGB24(RGB888)RGB24使用24位来表示一个像素，RGB分量都用8位表示，取值范围为0-255。注意在内存中RGB各分量的排列顺序为：BGR BGR BGR…。通常可以使用RGBTRIPLE数据结构来操作一个像素，它的定义为：
  J- M- s- g% P( @; A8 ttypedef struct tagRGBTRIPLE {
BYTE rgbtBlue; // 蓝色分量
BYTE rgbtGreen; // 绿色分量
( ^3 K5 P2 F4 h( \! fBYTE rgbtRed; // 红色分量
! u: W. L# J6 [: d: [( R, b% ^} RGBTRIPLE;
0 w( s: b6 n+ E2 |+ oRGB32(RGB8888)RGB32使用32位来表示一个像素，RGB分量各用去8位，剩下的8位用作Alpha通道或者不用。（ARGB32就是带Alpha通道的RGB24。）注意在内存中RGB各分量的排列顺序为：BGRA BGRA BGRA…。通常可以使用RGBQUAD数据结构来操作一个像素，它的定义为：
( u. Y% m8 e$ A5 [" C4 i0 @( o# Qtypedef struct tagRGBQUAD {
BYTE rgbBlue; // 蓝色分量
' \# O$ k9 E/ O9 qBYTE rgbGreen; // 绿色分量
BYTE rgbRed; // 红色分量
BYTE rgbReserved; // 保留字节（用作Alpha通道或忽略）
2 m8 s8 y9 ]6 _} RGBQUAD。

) w' e* J4 O. d$ y4 L) V7 H

（2）、自动白平衡调整(AWB)
定义：要求在不同色温环境下，照白色的物体，屏幕中的图像应也是白色的。色温表示光谱成份，光的颜色。色温低表示长波光成分多。当色温改变时，光源中三基色(红、绿、蓝)的比例会发生变化，需要调节三基色的比例来达到彩色的平衡，这就是白平衡调节的实际。
（3）、图像压缩方式

JPEG格式

# o6 S+ Q: V4 r* ^9 N. D9 X* E7 t$ i
JPEG是Joint Photographic Experts Group(联合图像专家组)的缩写，文件后辍名为"．jpg"或"．jpeg"，是最常用的图像文件格式，由一个软件开发联合会组织制定，是一种有损压缩格式，能够将图像压缩在很小的储存空间，图像中重复或不重要的资料会被丢失，因此容易造成图像数据的损伤。尤其是使用过高的压缩比例，将使最终解压缩后恢复的图像质量明显降低，如果追求高品质图像，不宜采用过高压缩比例。但是JPEG压缩技术十分先进，它用有损压缩方式去除冗余的图像数据，在获得极高的压缩率的同时能展现十分丰富生动的图像，换句话说，就是可以用最少的磁盘空间得到较好的图像品质。而且 JPEG是一种很灵活的格式，具有调节图像质量的功能，允许用不同的压缩比例对文件进行压缩，支持多种压缩级别，压缩比率通常在10：1到40：1之间，压缩比越大，品质就越低；相反地，压缩比越小，品质就越好。比如可以把1．37Mb的BMP位图文件压缩至20．3KB。当然也可以在图像质量和文件尺寸之间找到平衡点。JPEG格式压缩的主要是高频信息，对色彩的信息保留较好，适合应用于互联网，可减少图像的传输时间，可以支持24bit真彩色，也普遍应用于需要连续色调的图像。
JPEG格式是目前网络上最流行的图像格式，是可以把文件压缩到最小的格式，在 Photoshop软件中以JPEG格式储存时，提供11级压缩级别，以0—10级表示。其中0级压缩比最高，图像品质最差。即使采用细节几乎无损的10 级质量保存时，压缩比也可达 5：1。以BMP格式保存时得到4．28MB图像文件，在采用JPG格式保存时，其文件仅为178KB，压缩比达到24：1。经过多次比较，采用第8级压缩为存储空间与图像质量兼得的最佳比例。
JPEG格式的应用非常广泛，特别是在网络和光盘读物上，都能找到它的身影。目前各类浏览器均支持JPEG这种图像格式，因为JPEG格式的文件尺寸较小，下载速度快。
9 U, d3 \4 E" o5 SJPEG2000作为JPEG的升级版，其压缩率比JPEG高约30%左右，同时支持有损和无损压缩。JPEG2000格式有一个极其重要的特征在于它能实现渐进传输，即先传输图像的轮廓，然后逐步传输数据，不断提高图像质量，让图像由朦胧到清晰显示。此外，JPEG2000还支持所谓的"感兴趣区域" 特性，可以任意指定影像上感兴趣区域的压缩质量，还可以选择指定的部分先解压缩。
JPEG2000和JPEG相比优势明显，且向下兼容，因此可取代传统的JPEG格式。JPEG2000即可应用于传统的JPEG市场，如扫描仪、数码相机等，又可应用于新兴领域，如网路传输、无线通讯等等。
JPEG的全称是“联合图片专家组（Joint Photographic Experts Group）”，是由该专家组制订的用于连续色调（包括灰度和彩色）静止图像的压缩编码标准。JPEG标准的压缩编码算法是“多灰度静止图像的数字压缩编码”。
  V* B3 r* Z! e# I+ EJPEG标准包括3部分，即编码器、译码器和交换格式。
1 j3 u- e, W! M6 s' Q; Yl 编码器将原始图像的编码压缩成压缩数据。
0 n5 Q: y, T. t7 V) {; G) [l译码器将压缩的图像数据还原成原始图像数据。
l图像压缩数据以一定的交换格式存储，格式中包括编码过程中采用的码表等。
JPEG标准包括以下4种运行模式。
8 U8 n$ t+ `7 }l 基本系统（Baseline System）：基于离散余弦变换DCT（Discrete Cosine Transform）进行从左到右、从上到下的顺序扫描编码和重建图像，实现信息有丢失的图像压缩，但重建图像的质量要达到难以观察出图像损伤的要求。它采用8×8像素自适应DCT算法量化以及哈夫曼（Huffman）型的熵编码器。
l 扩展系统（Extended System）：选用基于离散余弦变换DCT的递增工作方式，编码过程采用具有自适应能力的算术编码。
l 无失真的预测编码：采用帧内预测编码及哈夫曼编码（或算术编码），可保证重建图像与原始图像完全一样（即均方误差为零）。
  H1 w! u; s8 o1 O" C8 v  ql 分层编码：以多种分辨率对图像进行编码，按不同的应用要求可以获得不同分辨率或质量的图像。
JPEG标准定义了两种基本的压缩算法，即基于空间线性预测技术差分脉冲码调制DPCM（Differential Pulse Code Modulation）的无失真压缩算法和基于离散余弦DCT（Discrete Cosine Transform）的有失真压缩算法。
JPEG压缩标准的压缩比是通过量化因子（Q因子）来控制的。Q因子用来确定原始图像的采样精度，并产生一个JPEG量化矩阵，即：
4 k3 s+ z# P7 q/ F$ |3 v- ]式中QM[i,j]为量化矩阵，Q是量化因子，V[i,j]是图像缺省清晰度表。
  f) k2 [) s* H& j0 K5 F5 X4 P量化矩阵用来量化DCT变换产生的频率系数，量化后的系数值减少，0值的数目大大增加。Q因子越大，量化后的0值越多，压缩比越大，因此Q因子决定着JPEG的压缩比。
JPEG的无失真压缩率为4:1，有失真压缩率为10:1～100:1。在压缩率小于40:1时，人眼基本上分辨不出图像的效果变化，可认为是“主观无失真压缩”。
JPEG标准较复杂，但有许多公司和组织提供大量的操作JPEG的开放源码可以利用。本设计就使用了Independent JPEG Group的Thomas G. Lane编写的JPEGLIB2。
" X1 a/ V, E* d+ F" r

: V7 a% R$ j0 b; K3 W3 J
1 T5 X% m2 ~9 H
1 y: m9 `! j9 a3 e4 sBMP是一种与硬件设备无关的图像文件格式，使用非常广。它采用位映射存储格式，除了图像深度可选以外，不采用其他任何压缩，因此，BMP文件所占用的空间很大。BMP文件的图像深度可选lbit、4bit、8bit及24bit。BMP文件存储数据时，图像的扫描方式是按从左到右、从下到上的顺序。
+ n# ]$ r4 I' X+ z/ ]' p4 Z由于BMP文件格式是Windows环境中交换与图有关的数据的一种标准，因此在Windows环境中运行的图形图像软件都支持BMP图像格式。
, H9 o+ f# J, x# e典型的BMP图像文件由三部分组成：位图文件头数据结构，它包含BMP图像文件的类型、显示内容等信息；位图信息数据结构，它包含有BMP图像的宽、高、压缩方法，以及定义颜色等信息。
BMP图像，即通常所说的位图（Bitmap），是Windows系统中最为常见的图像格式。Windows 3.0以前的版本只支持与设备相关位图DDB（Device Dependent Bitmap）。DDB是一种内部位图格式，它显示的图像依计算机显示系统的设置不同而不同，因此一般不存储为文件，与通常所说的BMP图像不同。在Windows.h中，结构体BITMAP定义了DDB位图的类型、宽度、高度、颜色格式和像素位值等，代码如下：typedef struct tagBITMAP
{int bmType; //位图类型，必须设为0
int bmWidth; //位图宽度
int bmHeight; //位图高度
int bmWidthBytes; //位图中每一扫描行中的字节数
6 R3 c9 x) M  }, ?- tBYTE bmPlanes; //颜色层数
BYTE bmBitsPixel; //每一像素所占的位数
4 C, g! b( j" G, j1 a5 ]void FAR* bmBits; //存放像素值内存块的地址}BITMAP;
DDB中不包括颜色信息，显示时是以系统的调色板为基础进行像素的颜色映射的。Windows只能保证系统调色板的前20种颜色稳定不变，所以DDB只能保证正确显示少于20色的位图。Windows SDK提供标准的DDB位图操作函数；MFC中定义了CBitmap类来说明DDB位图，其中封装了与DDB位图操作相关的数据结构和函数。
Windows 3.1以上版本提供了对设备无关位图DIB（Device Independent Bitmap）的支持。DIB位图可以在不同的机器或系统中显示位图所固有的图像。相对于DDB而言，DIB是一种外部位图格式，经常存储为常见的以BMP为后缀的位图文件（有时也以DIB为后缀）。因此，通常所说的BMP图像，即是DIB位图。
# ?& `+ E4 E, s8 v+ U0 ?" uBMP位图文件包括4部分，即位图文件头结构BITMAPFILEHEADER、位图信息头结构BITMAPINFOHEADER、位图颜色表RGBQUAD和位图像素数据，BMP位图文件的结构如图1.1所示。
位图文件头结构BITMAPFILEHEADER
; f4 Z1 Q! \$ \+ j# L2 J位图信息头结构BITMAPINFOHEADER
位图颜色表RGBQUAD
位图像素数据
图1.1 BMP位图文件的结构
- u1 r" x4 [: U9 p6 d5 v, J% N* j" O下面介绍BMP文件头、BMP位图信息头、颜色表这3个结构体在Windows.h中的定义。
  P* {( f; Y4 ?2 A+ d" o/ k! h1. BMP文件头BMP文件头含有BMP文件的类型、文件的大小、位图文件的保留字、位图数据距文件头的偏移量等信息。定义如下：
typedef struct tagBITMAPFILEHEADER
{UINT bfType; //位图文件的类型，必须为BM
4 t8 P) I8 a( {! z. zDWORD bfSize; //位图文件的大小，以字节为单位
UINT bfReserved1; //位图文件保留字，必须为0
UINT bfReserved2; //位图文件保留字，必须为0
# V0 z1 d: ]! N+ uDWORD bfOffBits; //位图数据距文件头的偏移量，以字节为单位} BITMAPFILEHEADER;
2. BMP位图信息头BMP位图信息头用于说明位图的尺寸等信息，定义如下：
typedef struct tagBIMAPINFOHEADER
{WORD biSize; //本结构所占用字节数
LONG biWidth; //位图的宽度，以像素为单位
. C& F0 }! O, ^+ S7 \/ y3 bLONG biHeight; //位图的高度，以像素为单位
; o  F  w* }7 ?+ S/ E2 j% FWORD biPlanes; //目标设备的级别，必须为1
WORD biBitCount; //每个像素所需的位数，必须是1（双色）、
//4（16色）、8（256色）或24（真彩色）之一
3 u  y1 J) T: A- \' KDWORD biCompression; //位图压缩类型，必须是 0（不压缩）、
//1（BI_RLE8压缩类型）或2（BI_RLE压缩类型）之一
; i* {( `$ A( x' t8 Q! }- s8 v( tDWORD biSizeImage; //位图的大小，以字节为单位
LONG biXPelsPerMeter; //位图水平分辨率，每米像素数
LONG biYPelsPerMeter; //位图垂直分辨率，每米像素数
: Q2 v0 [% E& P( g  l7 @8 b; lDWORD biClrUsed; //位图实际使用的颜色表中的颜色数
DWORD biClrImportant; //位图显示过程中重要的颜色数} BITMAPINFOHEADER;
3. 颜色表颜色表用于说明位图中的颜色，它有若干个表项，每一个表项是一个RGBQUAD类型的结构，且定义一种颜色，定义如下：
typedef struct tagRGBQUAD
{BYTE rgbBlue; //蓝色的亮度（值范围为0～255）
* e; l1 S3 E# x5 }BYTE rgbGreen; //绿色的亮度（值范围为0～255）
BYTE rgbRed; //红色的亮度（值范围为0～255）
BYTE rgbReserved; //保留，必须为0} RGBQUAD;
位图信息头和颜色表组成位图信息，BITMAPINFO结构定义如下：
typedef struct tagBITMAPINFO
( S7 b+ ?3 `( }  p( \2 K{BITMAPINFOHEADER bmiHeader;
0 W- |0 u. a- J" Z4 W4 V) W2 qRGBQUAD bmiColors;} BITMAPINFO;
颜色表中RGBQUAD结构数据的个数由biBitCount来确定，当biBitCount=1、4、8时，分别有2、16、256个表项；当biBitCount=24时，没有颜色表项。
, h  Z6 v2 s% Q) H* `. K位图数据记录了位图的每一个像素值，记录顺序是在扫描行内从左到右、扫描行之间从下到上。位图的一个像素值所占的字节数如下：
l 当biBitCount=1时，8个像素占1个字节。
l 当biBitCount=4时，2个像素占1个字节。
l 当biBitCount=8时，1个像素占1个字节。
l 当biBitCount=24时，1个像素占3个字节。
5 d3 f; Y. _6 y, LWindows规定一个扫描行所占的字节数必须是4的倍数（即以long为单位），不足的以0填充，一个扫描行所占的字节数计算方法如下：
$ b+ [/ R4 ]$ {, `DataSizePerLine=(biWidth×biBitCount+31)/8
3 \$ p8 J1 ^% l( g这是本设计中的一个关键点，无论对图像进行何种变换，都要进行扫描行的4字节对齐。
4 a) R% b) A$ U3 D+ D0 n$ ~除了上述的Windows BMP以外，还有一种与其结构相似，但不完全相同的另一种BMP图像，即OS/2采用的BMP。其与Windows BMP的主要区别是位图信息结构（信息头结构和颜色表结构）不同。而它们的图像位数据的存储方式是完全一样的。本设计只讨论Windows系统下的BMP图像，故对OS/2使用的BMP不进行详细分析。
0 p. n: K2 Q# {+ A（4）、彩色深度(色彩位数)
6 c$ E4 B- w) o4 i; T$ y反映对色彩的识别能力和成像的色彩表现能力，实际就是A/D转换器的量化精度，是指将信号分成多少个等级。常用色彩位数(bit)表示。彩色深度越高，获得的影像色彩就越艳丽动人。现在市场上的摄像头均已达到24位，有的甚至是32位
（5）、图像噪音
# [) ~8 N( Y+ P' Y: K- K& j3 q) F指的是图像中的杂点干挠。表现为图像中有固定的彩色杂点。
（6）、视角
与人的眼睛成像是相成原理，简单说就是成像范围。
（7）、输出/输入接口
' y+ b+ M7 K5 S串行接口(RS232/422):传输速率慢，为115kbit/s
　　并行接口(PP)：速率可以达到1Mbit/s
　　红外接口(IrDA)：速率也是115kbit/s，一般笔记本电脑有此接口
7 K" ]6 ^9 ~8 ^( N* h/ f& o( n　　通用串行总线USB：即插即用的接口标准，支持热插拔。USB1.1速率可达12Mbit/s,USB2.0可达480Mbit/s
2 O# y# I4 @3 |+ w- Q4 M8 D　　IEEE1394(火线)接口(亦称ilink):其传输速率可达100M~400Mbit/s

% F. X5 m, p0 y5 E/ N. Z

/ b6 }8 E. }! `( O; ~( M来自群组: CCM摄像头模组群