手机摄像头图像处理设计知识

admin

   随着时代的不断进步，拍照手机早已朝着“智能”化方向发展，其相机子系统已经不再是拍摄简单的图片或者视频功能。本文主要研究如何选择合适的图像传感器和其他组件来搭建相机系统，即你在设计中“必须知道”的事情，从而保持设计的领先性。

拍照手机
    如今人们所热崇的数码照片的数量已经明显得改变着整个数码成像的产业环境。社交网络网站，如MySpace和YouTube，促使了图片上传的不断增加，而提供照片分享及视频分享的网站，如Flickr和iMovies，也推动着相应的图片下载。今天，照片、视频的上传和下载不仅仅发生在个人电脑之间，已广泛应用到PC、笔记本电脑、PDA以及拍照手机中。

发展趋势
    分析公司Gartner指出，2006年的全球手机销售中，拍照手机占据48%的比例，而该数字在2010年将预计达到81%1。2010年拍照手机的销售量将预计超过10亿部2。如今，拍照手机的销售势头强劲，而数码相机的销售情况却萎靡不振。其中的原因之一：当前技术下的数码相机的销售已经达到饱和点。多项研究表明，平均每4个美国家庭，就有拥有2部或2部以上的数码相机。另一方面，Strategy Analytics指出，改进后的拍照手机技术将导致拍照手机于2010年抢占低端数码相机市场的15%3。
    较差的图像质量、有限的拍照手机内存以及缺少产业环境来实现将手机中照片传输到PC或者其他存储设备功能，这些缺点使得拍照手机更像一个玩具或者一种时尚。然而，一代新的技术鼓励了早期的购买者继续使用他们的拍照手机，并吸引了更多的一度认为拍照手机功能有限的新客户。因此，就像数码相机（DSC）疯狂抢占胶片相机市场一样，新型的改进后的拍照手机也急剧冲击着数码相机的销售。
    由于数码汇总的趋势一直没变，对于从事于开发拍照手机的设计工程师而言，深入理解如何选择图像传感器显得越来越重要，同时需要实时掌握最新的图像传感器技术的发展，从而保证拍照手机能将更高质量的图片呈现给消费者。

调查报告
    德国光学公司Schneider Kreuznach对美国、德国、中国以及印度的1000名用户关于他们的使用习惯进行了调查。他们的研究结果包括：
    采访中，有四分之一的受访者表示，未来他们只会考虑使用拍照手机来拍摄照片（早期的购买者），要求提供的画质基本与当前高中端数码相机相当，分辨率大概在600万像素左右。
    在一些特定的情况下，43%的人们将会愿意配备一部适合的拍照手机来取代他们的数码相机。目前，只有32%表示他们只会选择数码相机。
    印度和中国的用户在对待拍照手机的态度更为开明。在这些国家，几乎十分之八（79%）的受访者表示将来只用拍照手机来进行拍摄照片。
    印度和中国超过一半的受访者（分别为60%和52%）使用拍照手机拍照的频率为每周几次；而在美国这个比例为超过四分之一（26%）；在德国这个比例最低（12%），同时德国也是不使用拍照手机拍照人数最多的（59%）。

图像传感器
    在选择图像传感器时有很多种标准，其中一些事定性/主观性的，还有一些事定量/客观性的。当为拍照手机选购一款CMOS图像传感器时，有几个重要的“必须知道”的量化指标需要记住，他们是：
    像素密度：像素密度是一个图像传感器性能的基本组成部分；传感器所具有的像素越多，拍出照片的细节会越丰富。然而，当选择一款图像传感器时，设计师们不应该仅仅考虑像素数量，因为像素在尺寸上减少，传感器的性能也会下降。为了给传感器增加更多的象素而又不损失图像的质量，传感器厂商正在通过各种先进的技术来提高传感器性能，而设计师们需要知道的是传感器厂商使用了什么样的像素技术来即提高了传感器的性能又减小了像素的尺寸。
    敏感度：敏感度测量的是传感器受到轻微刺激后的反应，其单位通常是mV/luxsec。
    信噪比（SNR）：信噪比是信号与信号标准方差的比值的对数。它测量的是传感器的噪声性能。这里的噪声是多种噪声的混合，包括读出噪声、散粒噪声、暗电流噪声、修复噪声、温度噪声以及其他。信噪比依赖于对应的测试条件，如帧速率/积分时间、亮度条件和测试目标等。
    动态范围：动态范围测量了 图像传感器在同一张照片中同时捕获光明和黑暗物体的能力，通常定义为最亮信号与最暗信号（噪声门槛级别）比值的对数，通常用54dB来作为商业 图像传感器的通用指标。具有较宽动态范围的 图像传感器可以在明光环境下提供更好的性能（例如，使用较窄动态范围传感器在明光环境下拍出的照片会出现“水洗”或模糊的现象。）
    色彩表示：颜色再现往往是采用CIE Lab色彩空间量化得到的。色彩空间是在三维空间内与人的色彩视觉相影射的一种数学方法，每个色彩在该空间上都可以一一对应。色彩表示的精度取决于传感器产生的色彩坐标与人眼对同一色彩产生的色彩坐标的差值的测量。用在测量色彩重现精度的重要指标为“Delta E”。Delta E是色彩空间的空间距离。10以下的Delta E是当前大多数拍照手机图像传感器的典型指标。
    白平衡：白平衡指的是传感器对在光线不断变化环境下的色彩准确重现的能力表示。大多数拍照系统具有自动白平衡的功能，从而能在光线条件变化下自动改变白平衡值。设计工程师寻找的图像传感器应该配备了一个很好的自动白平衡（AWB）控制，从而提供正确的色彩重现。

图像传感器通常用于以下两种形式之一：原始数据传感器或SoC（片上系统）传感器。二者比较而言，都有各自的优点和不足。  
原始图像传感器要求一个外围设备的图像处理引擎来处理图像处理管道的要素，这些无法由传感器提供的要素包括去马赛克、色彩空间的转换、伽玛转换、白平衡调整和输出格式化等。当使用外围图像处理器会明显增加整个相机系统的尺寸指标时，这种配置通常会提供最高质量的图像。然而，很多当前可用的蜂窝基带芯片已经集成了片上图像处理器来为拍照手机设计师提供基于原始图像传感器的处理方案，从而不需要其他的外设芯片。
该SoC传感器集成了很多上述提到的图像处理要素。集成这些图像管道要素于一个单芯片，为设计师提供了一个易用、低成本、小型化的成像解决方案；从而有益于工程师生产小型化、当前消费者热衷的圆滑外型因素的拍照手机。然而，由于这种图像处理能力有限，集成式SoC传感器提供的图片稍逊色于使用那些外设图像处理器的原始传感器拍摄出的图片。这可能在将来会有所改变，随着用于制造图像传感器的半导体处理技术趋于小型化，处理工艺更高效，如90纳米和65纳米。通过这些更精细的工艺，片上集成了图像处理要素的SoC图像传感器将通过其更强大的图像处理能力，提供更高的应用性能。实际上，很多在其数码相机中深受消费者追捧的功能，如图像稳定、JPEG压缩及主体识别等，都将集成到SoC图像传感器中，从而在现在或不久的将来辅助拍照手机的设计师进行设计。

图像传感器之外
图像传感器是相机模块系统的一个重要功能部分，此外相机模块系统还包含了镜头、红外过滤器以及镜头筒。因此，整个成像质量不仅仅取决于传感器。拍照手机的设计师们需要熟悉相机系统其他部件的各种性能指标，其中包括：
• 锐度：锐度定义为不同色调或颜色区域间的分界线。测量锐度的一个方法为使用图片中物体的边缘距离。相机模块通过在空间域或空频响应的频域进行调制传递函数（MTF）来测量锐度。大部分传感器会使用滤波器来提高感知到的锐度，然而这往往会给成像带来更多的噪声。
• 分辨率：分辨率是相机模块系统区分空间细节的能力。除了图像传感器像素间距决定了空间采样率外，模块的镜头系统也对分辨率起到关键的作用。一个具有更高MTF系数的镜头经常会提供更好的分辨率，不过镜头必须与传感器的空间采样率（称之为奈奎斯特）相配合，从而避免信号的混叠（通过过采样使得噪声叠加到信号上）。
• Z高度：指得是相机模块的厚度。拍照手机的设计变得越来越薄，因此Z高度也成为了相机模块选择的重要指标。Z高度依赖于相机的光学格式（像素密度）和传感器的主要射线角度（CRA）。使用较大的CRA可以减小模块的整体高度，当然也会由此带来像素间的干扰以及信号的衰落，这种副作用在行业内称之为“镜头遮光”。
• 定焦：大多数手机相机模型具有一个固定的焦点，焦距范围为40-60厘米。然而，一些高端模型使用了微型自动对焦模块，从而可以在10厘米到几米的范围内准确定焦。不过，不同于数码相机，手机中的自动对焦模块必须通过严格的耐久性测试，或者进行“跌落试验”。为了满足跌落试验的需要以及低成本的要求，传感器厂商已经开发出一种不带有任何运动部件的“自动对焦模块”。在这些自动对焦模块应用最多的技术是所谓的扩展景深（EDoF）。该技术使用数字图像处理技术在不同的焦点平面来重建图像，从而实现看起来如同使用运动部件的自动对焦模块所形成的定焦效果。
• 在图像传感器行业中，越来越多的图像传感器厂商开始投身于设计、工程及制造资源从而在硅生产线上生产相机模块，以简化相机模块的供应链。凭借对半导体工艺的熟悉，这些图像传感器厂商可以生产出模块厂商所不能的相机模块。例如，2007年10月，东芝在其模块制造技术创新的基础上，推出的芯片级相机模块，其尺寸仅占同类竞争模块的65%。通过自有的模块生产工艺，东芝也简化了供应链，并缩短了交货时间，从而为拍照手机的设计商及制造商提供了便利。
• Lyra Research公司指出，到2008年底或2009年初，“拍照手机出货量的累积数字将超过传统相机和数码相机在整个拍摄历史中的累积出货量之和-拍照手机将成为市场维持近10年。随着新技术的不断出现，即使当前的拍照手机也会让位于那些使用其相机子系统不仅仅提供拍摄简单的图片或者视频功能的“智能”手机。很多功能，包括图像识别-手机可以自动识别所拍摄人物或场景，将图片组合成一组，辅助GPS功能-通过带有鲜明地标的图片为使用者提供方位等，都将为拍照手机带来新的应用，这些是我们今天所不能想像的。拍照手机的新式应用的潜能仅受限于设计师们的想象力。