Camera手机工作格式流程

admin · 发表于 2015-6-29 13:47:39

一、手机 Camera 的物理结构：

二、 Camera 的成像原理:

景物通过镜头(LENS)生成的光学图像投射到图像传感器(Sensor)表面上,然后转为模拟的电信号,经过 A/D(模数转换)转换后变为数字图像信号,再送到数字信号处理芯片(DSP)中加工处理,再通过 IO 接口传输到 CPU 中处理,通过 LCD 就可以看到图像了。

   图像传感器(SENSOR)是一种半导体芯片,其表面包含有几十万到几百万的光电二极管。光电二极管受到光照射时,就会产生电荷。目前的 SENSOR 类型有两种:
   CCD(Charge Couple Device),电荷耦合器件,它是目前高像素类 sensor 中比较成熟的成像器件,是以一行为单位的电流信号。
   CMOS(Complementary Metal Oxide Semiconductor),互补金属氧化物半导体。CMOS的信号是以点为单位的电荷信号,更为敏感,速度也更快,更为省电。
   ISP 的性能是决定影像流畅的关键,JPEG encoder 的性能也是关键指标之一。而 JPEG encoder 又分为硬件 JPEG 压缩方式,和软件 RGB 压缩方式。
   DSP 控制芯片的作用是:将感光芯片获取的数据及时快速地传到 baseband 中并刷新感光芯片,因此控制芯片的好坏,直接决定画面品质(比如色彩饱和度、清晰度)与流畅度。

三、 Camera 常见的数据输出格式:
   常见的数据输出格式有:Rawdata 格式、YUV 格式、RGB 格式。
   RGB 格式:采用这种编码方法,每种颜色都可用三个变量来表示红色、绿色以及蓝色的强度。每一个像素有三原色 R 红色、G 绿色、B 蓝色组成。
   YUV 格式:其中“Y”表示明亮度(Luminance 或 Luma),就是灰阶值;而“U”和“V”表示色度(Chrominance 或 Chroma),是描述影像色彩及饱和度,用于指定像素的颜色。
   RAW DATA 格式:是 CCD 或 CMOS 在将光信号转换为电信号时的电平高低的原始记录,单纯地将没有进行任何处理的图像数据,即摄像元件直接得到的电信号进行数字化处理而得到的。
   支持 YUV/RGB 格式的模组,一般会在模组上集成 ISP(Image Single Processor),经过A/D 转换过的原始数据经过 ISP 处理生成 YUV 标准格式传到 BB。一般来说,这种设计适用于低像素 Camera 的要求,会在主板上省去一个 DSP,可降低成本。在调试过程中,YUV/RGB 格式的摄像头,其所有参数都可在 kernel 层通过寄存器来控制。调试一般由 sensor的原厂支持。
   支持 RawData 格式的模组,由于感光区域的需求,不会再模组内集成 ISP 以最大程度的增大感光区域的面积,提高照片质量。模组把原始的数字信号传给 BB 上的 DSP 进行处理,MTK 自带的 DSP 一般包含 ISP、JPEG encoder、和 DSP 控制芯片。在调试的时候图像的效果需要 MTK 在 HAL 层的参数进行支持。

四、阅读 Camera 的规格书(以 Truly 模组 OV5647_Raw 为例):

五、 Camera 的硬件原理图及引脚：

   从上面可看出,连接 Camera 的 30 根 Pin 脚可大致分为以下几类:
      1、电源部分:
               a)VCAMD 就是 DVDD 数字供电,主要给 ISP 供电,由于 RAWDATA格式的sensor其ISP是在 BB 端,所以将其引脚将其 NC。从上面的规格书上可以看出 DVDD 是内部 BB 端供电。模组已将其 NC 掉了;
               b) VCAM_IO 就是 VDDIO 数字 IO 电源主要给 I2C 部分供电;
               c) VCAMA 就是 AVDD 模拟供电,主要给感光区和 ADC 部分供电;
               d) VCAM_AF 是对 Camera 自动对焦马达的供电。
         2、Sensor Input 部分:
               a) Reset 信号,用于复位、初始化。
               b) Standby/PowerDown 信号,用于进入待机模式,降低功耗。
               c) Mclk,即 MasterClock 信号,是由 BB 端提供。
         3、Sensor OutPut 部分:
               a)Pclk,即 PixelClock 信号,由 MCLK 分频得到,作为外部时钟控制图像传输帧率
               b) HSYNC,行同步信号,其上升沿表示新一列行图像数据的开始。
               c) VSYNC,帧同步信号,其下降沿表示新的一帧图片的开始。
               d) D0-D9 一共 10 根数据线(8/10 根等);
         4、I2C 部分:SCL,I2C 时钟信号线和 SDA,I2C 数据信号线。

六、 MTK 平台 Camera 相关代码文件(以下代码均为 MTK6575 平台)
   1、 CameraSensor 驱动相关文件

2、 Sensor ID 和一些枚举类型的定义

3、 Sensor 供电

4、 Kernel Space 的 SensorList,imgsensor 模块注册

5、 User Space 的 SensorList,向用户空间提供支持的 SensorList

   6、 Sensor 效果调整的接口

七、 Camera 模块驱动、设备与总线结构:
         一般在 Linux 设备驱动模型中,我们只需要关心总线、设备、驱动这三个实体。总线会充当红娘对加载于其上的设备与驱动进行配对,对于 Camera 模块也不例外,下面从总线、设备、驱动的角度来分析 Camera 模块驱动的注册、匹配与加载过程。
         a) 驱动的注册:
            在(\custom\common\kernel\imgsensor\src\Kd_sensorlist.c)CAMERA_HW_i2C_init 这个函数里通过 Platform_driver_register(&g_stCAMERA_HW_Driver)把 Camera 模块驱动注册
到 Platform 总线上。而 g_stCAMERA_HW_Driver 是对结构体 Platform_driver 这个结构体的填充。

(Kernel\include\linux\Platform_device.h)

      b) 设备的注册:
            对 platform_device 的定义通常在 BSP 的板级文件:
            (kernel\arch\sh\boards\mach-ap325rxa\Setup.c)中实现,在板级文件中,将 platform_device归纳为一个数组,最终通过 platform_add_device()函数统一注册:

         c) 总线的匹配:
            既然是驱动 Platform_device 那对应的设备必然是挂载 Platform 总线上的Platform_device,Platform 总线是 Linux 系统提供的一种机制,不同于 I2C、I2S 等总线,它
是一种虚拟的总线。Linux 系统为 Platform 总线定义了一个 bus_type 的实例 Platform_bus_type:
            (Kernel\drivers\base\platform.c)

Platform 总线通过 platform_match 这个成员函数来确定 platform_device 与 platform_driver 如何进行匹配:

八、 Camera 驱动工作流程:

         从上图可以清晰的了解到 Camera 的一个工作流程主要分为这么七步:
               1. 打开 Camera Power LDO,让 Camera 有能量保证。
               2. 打开 IIC,设置 PDN 引脚,使 Camera 退出 Standby 模式,按照要求让 Reset 脚做一个复位动作。
               3. 读一下 sensor 的版本 ID,这样可以让你确认是否连接上你想要的 sensor。
               4. 对 Sensor 进行初始化下载最基本的参数让 Sensor 工作起来,可能包括软复位。
               5. 下载 preview 的参数,为预览动作准备。
               6. 下载 Capture 的参数,为拍照动作准备。
               7. 设置 PDN 引脚,使 Sensor 进入 Standby 模式, 或者关掉 LDO 等动作,退出 Camera。
         我们都知道,Linux 内核是通过模块的机制来加载设备驱动的,那么接下来我们就从设备模块加载的角度来看下 Camera 工作流程的驱动代码是如何工作的。
         在-alps\mediatek\custom\common\kernel\imgsensor\src\kd_sensorlist.c 中可以看到:
         module_init(CAMERA_HW_i2C_init);
         module_exit(CAMERA_HW_i2C_exit);
         在这里 Linux 内核加载和卸载 Camera 模块。
         static struct platform_driver g_stCAMERA_HW_Driver = {
                  .probe = CAMERA_HW_probe,
                  .remove = CAMERA_HW_remove,
                  .suspend = CAMERA_HW_suspend,
                  .resume = CAMERA_HW_resume,
                  .driver ={
                        .name = "image_sensor",
                        .owner = THIS_MODULE,
                  }
         };
         Camera 模块初始化开始向总线注册驱动,在 Platform_driver 的成员函数.probe()中,通过 i2c_add_driver(&CAMERA_HW_i2c_driver)向 I2C 申请,而 CAMERA_HW_i2c_driver 这个结构体里填充的是将 Camera 作为一个字符设备在 I2C 上进行注册:

在 RegisterCAMERA_HWCharDrv()中cdev_init(g_pCAMERA_HW_CharDrv, &g_stCAMERA_HW_fops);对设备进行初始化,并将g_stCAMERA_HW_fops 这个文件操作函数作为上层对 Camera 设备操作的接口留给上层进行调用:

其中成员函数 open()只是初始化一个原子变量留给系统调用。ioctl()才是整个 Camera驱动的入口:

CAMERA_HW_Ioctl()是上层文件操作系统操作底层硬件的方法,它先对 Camera 需要的Buffer 做一个初始化,然后建立对 Cameraopen、getinfo 等操作的接口:

         通过判断 Sensor 状态的逻辑值来进行具体的操作,对于这个值的定义在:
         Mediatek\custom\common\kernel\imgsensor\inc\Kd_imgsensor.h 中

在 KdSetDriver()中通过判断 name 和 ID 匹配具体型号的 sensor 的驱动,判断它是主摄还是次摄,并对它进行初始化:

通过 NAME 和 ID 匹配完成后会将 PSENSOR_FUNCTION_STRUCT *pfFunc 这个结构体匹配到具体型号的驱动代码中:

         到这里,整个 Camera 驱动从总线注册到完成具体 sensor 的初始化的流程就完成了,CAMERA_HW_Ioctl()中其他的 ioctl 操作函数最后都会在$sensor$_sensor.c 中实现。

九、 Camera 驱动添加、调试流程:
         1、修改系统配置文件 ProjectConfig.mk:
               -alps\mediatek\config\$project$\ProjectConfig.mk

         2、检查、配置供电文件:
               -alps\mediatek\custom\$project$\Kernel\Camera\Camera\kd_camera_hw.c
               Camera 供电流程(以 3M 前摄 MT9V114+5M 后摄 OV5647 为例):

其实在 kd_camera_hw.c 中只有一个函数 kdCISModulePowerOn(),在这个函数中需要注意的是通过 GPIO 口控制 PDN 和 RST 引脚的时候,对于其相关的定义,由其在切换平台的时候。例如 MT6573 和 MT6575 的定义顺序就不同

         3、添加 Camera 驱动(以 ov5647 为例):
               创建 SensorFuncOV5647 这样一个数据结构
               SENSOR_FUNCTION_STRUCT SensorFuncOV5647={
                  OV5647Open,
                  OV5647GetInfo,
                  OV5647GetResolution,
                  OV5647FeatureControl,
                  OV5647Control,
                  OV5647Close
            };
            a)OV5647Open

            初始化操作就是对 SensorIC 中寄存器的操作,调试主要由 IC 原厂支持。Open 函数结束后返回 ERROR_NONE 表示初始化成功,可以正常使用

            b)OV5647GetInfo

            UINT32 OV5647GetInfo(MSDK_SCENARIO_ID_ENUM ScenarioId,MSDK_SENSOR_INFO_STRUCT *pSensorInfo,MSDK_SENSOR_CONFIG_STRUCT *pSensorConfigData)
            第一个参数 ScenarioId 来自于 MSDK_SCENARIO_ID_ENUM 这个数组,在kd_imgsensor_define.h 中是这样定义的:
            #define MSDK_SCENARIO_ID_ENUM ACDK_SCENARIO_ID_ENUM
            typedef enum{
         ACDK_SCENARIO_ID_CAMERA_PREVIEW=0,
         ACDK_SCENARIO_ID_VIDEO_PREVIEW,
         ACDK_SCENARIO_ID_VIDEO_CAPTURE_MPEG4,
         ACDK_SCENARIO_ID_CAMERA_CAPTURE_JPEG,
         ACDK_SCENARIO_ID_CAMERA_CAPTURE_MEM,
         ACDK_SCENARIO_ID_CAMERA_BURST_CAPTURE_JPEG,
         ACDK_SCENARIO_ID_VIDEO_DECODE_MPEG4,
         ACDK_SCENARIO_ID_VIDEO_DECODE_H263,
         ACDK_SCENARIO_ID_VIDEO_DECODE_H264,
         ACDK_SCENARIO_ID_VIDEO_DECODE_WMV78,
         ACDK_SCENARIO_ID_VIDEO_DECODE_WMV9,
         ACDK_SCENARIO_ID_VIDEO_DECODE_MPEG2,
         ACDK_SCENARIO_ID_IMAGE_YUV2RGB,
         ACDK_SCENARIO_ID_IMAGE_RESIZE,
         ACDK_SCENARIO_ID_IMAGE_ROTATE,
         ACDK_SCENARIO_ID_IMAGE_POST_PROCESS,
         ACDK_SCENARIO_ID_JPEG_RESIZE,
         ACDK_SCENARIO_ID_JPEG_DECODE,
         ACDK_SCENARIO_ID_JPEG_PARSE,
         ACDK_SCENARIO_ID_JPEG_ENCODE,
         ACDK_SCENARIO_ID_JPEG_ENCODE_THUMBNAIL,
         ACDK_SCENARIO_ID_DRIVER_IO_CONTROL,
         ACDK_SCENARIO_ID_DO_NOT_CARE,
         ACDK_SCENARIO_ID_IMAGE_DSPL_BUFFER_ALLOC,
         ACDK_SCENARIO_ID_TV_OUT,
         ACDK_SCENARIO_ID_MAX,
         ACDK_SCENARIO_ID_VIDOE_ENCODE_WITHOUT_PREVIEW,
         ACDK_SCENARIO_ID_CAMERA_CAPTURE_JPEG_BACK_PREVIEW,
         ACDK_SCENARIO_ID_VIDEO_DECODE_RV8,
         ACDK_SCENARIO_ID_VIDEO_DECODE_RV9,
         ACDK_SCENARIO_ID_CAMERA_ZSD,
      }ACDK_SCENARIO_ID_ENUM;
      通过这个数组定义 Camera 的各种模式,并且给他们从 0 开始给一个模拟的 ID,通过这个ScenarioID 来控制 Camera 的工作模式是在拍照、摄像等等。
      想要了解*pSensorInfo 这个指针的内容就得看 MSDK_SENSOR_INFO_STRUCT 的定义
      #define MSDK_SENSOR_INFO_STRUCT ACDK_SENSOR_INFO_STRUCT

essam · 发表于 2015-7-26 22:24:35

这个怎么没有内容

		自动登录	找回密码
密码			立即注册

Camera手机工作格式流程

相关帖子

主题推荐

在线客服