MTK6577Camera驱动浅析

admin

图1

1.     Camera拍照相关概念

1.1  ISP

isp——（Image Signal Processor）——影视处理

无论数码相机、摄像机或者摄像手机，其影像数据从前端感应后，皆须经过ASP（Analog Signal Processing）、ADC（Analog-Digital Converter）、前期影像处理（Pre-ISP）与后端影像处理（Post-ISP）四个阶段后，影像数据才能最终呈现于终端设备上

1.2  720p

720P是美国电影电视工程师协会（SMPTE)制定的高等级高清数字电视的格式标准，有效显示格式为：1280×720.SMPTE（美国电影电视工程协会）将数字高清信号数字电视扫描线的不同分为1080P、1080I、720P(i是interlace,隔行的意思，p是Progressive,逐行的意思)。720P是一种在逐行扫描下达到1280×720的分辨率的显示格式。是数字电影成像技术和计算机技术的融合。

分辨率为1280×720p/60Hz，行频为45kHz

' X- p/ S$ N/ }/ W# U4 O

2.     MTK6577Camera控制器部分

2.1  camera控制器概述

MT6577 camera可接受RAM和SOC传感器处理之后的图像数据(sensor image data)，并输出YUV数据给MDP(什么的简称)。Camera控制器可同时连接2个并行SOC传感器，它提供像素缺陷补偿(bad pixel compensation)、去马赛克(demosaic)、边缘曾强(edge enhancement)、标准色自适应(preference color adaptation)、空间和暂时噪声消除(spatial and temporal noise reduction)这些特征，用于图像处理。

6 O. a' i, @1 K, G% a. r

2.2  camera特征

$ ?8 ?: k2 h7 x. q; ^& s5 R

MT6577内部集成的ISP，包含了一个功能强大的图像信号处理器，用于连接各种各样的图像传感器模组，这个处理器由时序产生单元(timing generated unit: TG)、镜头/传感器补偿(lens/sensor compensation)单元和图像处理单元。

# ]! o$ {, ]" E

支持的特征如下：

(1)   抓图分辨率达8M像素(image capture resolution)。

(2)   录像分辨率达720p(video recording resolution)。

(3)   原始图像数据转储帧率8M@15(raw dump frame rate)。

(4)   曝光抓图率8M@7(burst capture rate)。

(5)   图像处理

低像素补偿(poor pix compensation)、镜头阴影补偿(lens shading compensation)、去马赛克(demosaic)、色彩削波(color clipping)、局部对比度增强(local contrast enhancement)、伽玛校正(gamma correction)、边缘曾强(edge enhancement)、噪声消除(noise reduction)、标准色自适应(preference color adaptation)、空间和暂时噪声消除(spatial and temporal noise reduction)。

, Q- ]% Y+ x' a& p

(6)   3A统计和校正(statistics and correction)

(7)   闪烁检测(flicker detection)。

2.3  camera框图

图2

       TG只配合主图像传感器(master type image sensor)，也就是说主图像传感器应发送垂直和水平信号给TG。TG通过内部自动同步 (internal auto synchronization)或外部像素时钟同步来提供传感器所需要的数据时钟和接收传感器Bayer模式原始数据(Bayer pattern raw data)。TG的主要目的是为主图像传感器创建数据时钟和接收垂直/水平同步信号与sensor数据，然后产生Bayer数据的捕获区域(grabbed area of Bayer data)或是YUV422/RGB565数据给镜头/传感器补偿(lens/sensor compensation)单元。

3 J- G( p9 o. Q

在Bayer原始数据输入模式，镜头/传感器补偿(lens/sensor compensation)单元产生补偿的原始数据给色彩处理单元(color process unit)；在YUV422/RGB565 输入模式，这步被忽略。

9 |2 J* J. h0 r+ H* c, n

色彩处理单元接受来之镜头/传感器补偿(lens/sensor compensation)单元产生补偿的原始数据或是YUV422/RGB565数据。ISP的输出的是很容易被压缩引擎(compress engine，JPEG编码器和MPEG4编码器)编码的YCbCr888数据格式，它是其他数据格式转化的基本数据域(比如R/G/B domain)(it can be the basic data domain of otherdata format translation such as the R/G/B domain)。ISP是流水线式(pipelined)，在处理阶段ISP硬件能够为后面的AE/AF/AWB计算提取有意义的信息，这些信息被临时保存在ISP寄存器或是内存中，并且能够被MCU读取出来。

下面给出一些性能参数：

图3

3.     原理图设计

8 C* R# g& v2 U5 {' O% e2 A; @3 d

MT6577支持两路camera接口，一路是MIPI接口，一路是并行接口，这里我们采用的是并行接口，下面给出MT6577 CAM并行接口定义：

图4

Camera sensor连接座如下：

图5

(1)  OV5640输出的数据格式

《Y1MT6577 design notice V0.1.pdf》文档给出这样的说明：

Sensor outputformat is RAM8/YUV/JPEG，connect sensor output to CMDAT[0:7] or CMDAT[2:9]

Sensor outputformat is RAM10，connect sensor output to CMDAT[0:9]

而我们采用摄像头模组的驱动IC为OV5640(500万像素: active array size: 2592 x 1944) Sensor :outputformats: 8-/10-bit RGB RAW output，这是由OV5640寄存器0x4745决定的。原则就是：首先看硬件上采用的是8根数据线还是10根数据线，然后初始化参数-也就是寄存器设定也可以设定是8位或10位。如下图：

图6

! Z- T+ E  }7 W+ n
) j, T# u# I3 b7 ?

(2)  OV5640IIC地址

IIC 8bit写地址为0x78，读地址为0x79,查询Sensor规格书可以看到：

图7

IIC 8bit地址最后一位为0时是写地址，为1时是读地址。这属于IIC通讯规则

. ?2 s, f/ k5 U3 n# Q. ^1 u' r

4.     驱动实现

8 r1 t% G! h+ c* y' `$ z1 P5 H

4.1  相关代码

(1)  CameraSensor驱动相关文件

\mediatek\custom\common\kernel\imgsensor\ov5642_yuv

- S1 {* w# x( n3 s9 a  K+ c

(2)  SensorID和一些枚举类型的定义

\mediatek\custom\common\kernel\imgsensor\inc

kd_imgsensor.h---------SensorID

kd_imgsensor_define.h--------------一些枚举类型的定义

0 z- I$ ?4 E' H) N! T

(3)  Sensor供电

\mediatek\custom\common\kernel\camera\camera

kd_camera_hw.c和kd_camera_hw.h

) O9 Q, o8 t* e7 e; ?1 p" J/ R8 y

(4)  KernelSpace的SensorList，imgsensor模块注册

\mediatek\custom\common\kernel\imgsensor\src

kd_sensorlist.c和kd_sensorlist.h-----------camera模块加载

(5)  UserSpace的SensorList，向用户空间提供支持的SensorList

\mediatek\custom\common\hal\imgsensor\src\sensorlist.cpp

提供给用户空间的SensorList

8 Y8 a3 C( l3 v8 K1 w5 j5 E

(6)  Sensor效果调整的接口

\mediatek\custom\common\hal\imgsensor\ov5642_yuv

1 F( T5 t) `) [

4.2  针对OV5640的修改

4.2.1       mediatek\config\hsimobile77_ics2\ProjectConfig.mk

8 D* P% ?% t' e' }' a8 _- M

CUSTOM_KERNEL_IMGSENSOR=mt9p017_rawgc0329_yuv

mt9p017_raw表示后置摄像头(也就是主摄像头)，mt9p017是摄像头sensor驱动IC，raw是sensor一种输出的数据格式，是CCD或CMOS在将光信号转换为电信号时的电平高低的原始记录，单纯地没有将没有进行任何处理的图像数据，即摄像元件直接得到的电信号进行数字化处理而得到的。

gc0329_yuv是前置摄像头，yuvsensor一种输出的数据格式，支持YUV/RGB格式的模组，一般会带有ISP(image single processor)，经过A/D转换过的原始数据经过ISP处理生成YUV标准格式传到BB。

我们采用的OV5640就带有ISP，输出YUV格式

(1)  把mt9p017_raw 改为ov5640_yuv，去掉gc0329_yuv因为我们的产品没有后置摄像头

(2)  去掉类似CUSTOM_KERNEL_LENS后面的dummy_lens因为没有后置摄像头

修改之后的HAL层的配置：

• CUSTOM_HAL_IMGSENSOR=ov5640_yuv  
• CUSTOM_HAL_LENS=fm50afdummy_lens  
• CUSTOM_HAL_MAIN_BACKUP_IMGSENSOR=  
• CUSTOM_HAL_MAIN_BACKUP_LENS=  
• CUSTOM_HAL_MAIN_IMGSENSOR=ov5640_yuv  
• CUSTOM_HAL_MAIN_LENS=fm50af  
• CUSTOM_HAL_MATV=  
• CUSTOM_HAL_MSENSORLIB=mmc328xakm8975 ami304 yamaha530 mag3110 akmd8963  
• CUSTOM_HAL_SENSORS=sensor  
• CUSTOM_HAL_SUB_BACKUP_IMGSENSOR=  
• CUSTOM_HAL_SUB_BACKUP_LENS=  
• CUSTOM_HAL_SUB_IMGSENSOR=  
• CUSTOM_HAL_SUB_LENS=dummy_lens  
  ' C6 U# r+ x& n3 C

( M# Z# D% A0 W4 G3 ~4 ^

修改之后的kernel层的配置：

7 f- j& k, J$ y- [, m  Z  f

• CUSTOM_KERNEL_IMGSENSOR=ov5640_yuv  
• CUSTOM_KERNEL_JOGBALL=  
• CUSTOM_KERNEL_KPD=kpd  
• CUSTOM_KERNEL_LCM=ili9806e  
• CUSTOM_KERNEL_LEDS=mt65xx  
• CUSTOM_KERNEL_LENS=fm50afdummy_lens  
• CUSTOM_KERNEL_MAGNETOMETER=akm8975  
• CUSTOM_KERNEL_MAIN_BACKUP_IMGSENSOR=  
• CUSTOM_KERNEL_MAIN_BACKUP_LENS=  
• CUSTOM_KERNEL_MAIN_IMGSENSOR=ov5640_yuv  
• CUSTOM_KERNEL_MAIN_LENS=fm50af  
• CUSTOM_KERNEL_MATV=  
• CUSTOM_KERNEL_OFN=  
• CUSTOM_KERNEL_RTC=rtc  
• CUSTOM_KERNEL_SOUND=amp_6329pmic_2in1_spk  
• CUSTOM_KERNEL_SUB_BACKUP_IMGSENSOR=  
• CUSTOM_KERNEL_SUB_BACKUP_LENS=  
• CUSTOM_KERNEL_SUB_IMGSENSOR=  
• CUSTOM_KERNEL_SUB_LENS=dummy_lens  
  

" D; z: k1 W. |5 K; }4 c
% P3 J8 E6 W% [  |, O: i

1 y& T  k6 @; D3 b

虽然我们没有后置摄像头，但不能去掉dummy_lens，我尝试过去掉之后用./mk r dr编译会提示下面的错误：

4 ^/ L# e) X- G# U
" f' |. U! |  E4 }* O0 p6 G

• prebuilt/linux-x86/toolchain/arm-linux-androideabi-4.4.x/bin/../lib/gcc/arm-linux-androideabi/4.4.3/../../../../arm-linux-androideabi/bin/ld:out/target/product/hsimobile77_ics2/obj/SHARED_LIBRARIES/libcameracustom_intermediates/common/hal/lens/lenslist.o:in function global constructors keyed tolenslist.cpp:mediatek/source/external/mhal/src/custom/common/hal/lens/lenslist.cpp:82:error: undefined reference to 'pDummy_getDefaultData'  
• make[3]: ***[out/target/product/hsimobile77_ics2/obj/SHARED_LIBRARIES/libcameracustom_intermediates/LINKED/libcameracustom.so]Error 1  
  

! @) _5 l4 e. N! Y3 Z! u( _9 k1 N: T

6 K: n. l4 Q6 o2 r

4.2.2       mediatek\custom\common\kernel\imgsensor----------kernel层

$ o5 d7 s- Q- Z  z, W

(1)  创建ov5640_yuv并建立需要的文件

创建文件夹ov5640_yuv，把sensor IC厂家提供的ov5640yuv_Sensor.c放到此目录下。另外拷贝ov5642yuv_Sensor.h、ov5642yuv_Camera_Sensor_para.h、ov5642yuv_CameraCustomized.h拷贝过来改为ov5640yuv_Sensor.h等。

编译发现mediatek\custom\common\kernel\imgsensor\ov5640_yuv\ov5640yuv_Sensor.c文件用到的OV5640_FULL_PERIOD_PIXEL_NUMS_HTS、OV5640_FULL_PERIOD_LINE_NUMS_VTS、OV5640_PV_PERIOD_PIXEL_NUMS_HTS和OV5640_PV_PERIOD_LINE_NUMS_VTS没有定义，但ov5642yuv_Sensor.c是没有这几个宏定义，我暂时定义如下：

) Y2 t+ n$ [: x. i) q5 q
0 t4 Z6 r. I( ]' p" J

• //kandi add startat 2014.11.29  
• #defineOV5640_FULL_PERIOD_PIXEL_NUMS_HTS  OV5640_FULL_PERIOD_PIXEL_NUMS  
• #define  OV5640_FULL_PERIOD_LINE_NUMS_VTS   OV5640_FULL_PERIOD_LINE_NUMS  
•    
• #defineOV5640_PV_PERIOD_PIXEL_NUMS_HTS  OV5640_PV_PERIOD_PIXEL_NUMS  
• #define  OV5640_PV_PERIOD_LINE_NUMS_VTS   OV5640_PV_PERIOD_LINE_NUMS  
  

: i/ D) A9 p% I1 C: Y2 E

: [; M$ J1 j5 ~+ g: E: V

这是参考ov5642的相关定义来定义的。

" f& a3 ]' [7 O9 l

(2)  在支持的sensor列表中增加目标sensor

" c& q. R9 J/ V4 w2 F

mediatek\custom\common\kernel\imgsensor\src\kd_sensorlist.h

在数组增加OV5640的内容，如下：

• ACDK_KD_SENSOR_INIT_FUNCTION_STRUCTkdSensorList[MAX_NUM_OF_SUPPORT_SENSOR+1] =  
• {  
•        ………….  
•        #if defined(OV5640_YUV)  
• {OV5640_SENSOR_ID,SENSOR_DRVNAME_OV5640_YUV, OV5640_YUV_SensorInit},  
• #endif  
• …………….  
• }  
  
  

: m; X' j* }( Z* o
- H* c2 I& X2 v! o& }

也增加UINT32 OV5640_YUV_SensorInit(PSENSOR_FUNCTION_STRUCT*pfFunc)；

mediatek\custom\common\kernel\imgsensor\inc\kd_imgsensor.h

(3)  增加sensor ID和字符串的定义

• #defineOV5640_SENSOR_ID            0x5640  
• #defineSENSOR_DRVNAME_OV5640_YUV  "ov5640yuv"  
  

" l2 [7 u* i0 }" C) u. f# f
( M- L6 ]! c& b( a

4.2.3       mediatek\custom\common\hal\imgsensor---------------HAL层

! c# t0 K1 ]1 L

(1)  创建ov5640_yuv文件夹

但这些文件夹下该有哪些文件，有需要哪些内容了，首先我对比了

ov3640_yuv和ov5642_yuv文件夹，只有cfg_ftbl_ov5642_yuv.h有差别：

图8

这里主要是不同驱动IC支持的分辨率不同，以及设置默认的分辨率。

图9

: I, x; @; w+ O, _' L

此文件下有两个这样的地方不同，这里是指自动对焦模式。

; \9 h7 k" }- b) Y

因为我们的OV5640和OV5642非常接近，所以就直接把OV5642的目录复制过来修改为OV5640即可。

所以把mediatek\custom\common\kernel\imgsensor\ov5642_yuv拷贝到imgsensor目录下，改为ov5640_yuv

(2)  在支持的sensor列表中增加目标sensor

) m0 k, |8 v2 D  M1 c

\src\ sensorlist.cpp

0 b& g% S$ O" [- a# }

• MSDK_SENSOR_INIT_FUNCTION_STRUCTSensorList[] =  
• {  
• ………..  
• #ifdefined(OV5640_YUV)  
•     YUV_INFO(OV5640_SENSOR_ID,SENSOR_DRVNAME_OV5640_YUV, NULL),  
• #endif  
• …………  
• }  
  2 m# S# f. D  U. M* U2 s" `$ v

! U( X7 Z$ e2 A' N0 C+ ~- l4 R$ h& R
0 m3 I. ?+ L' M  ?" L# C

注意：在 kd_SensorList.h 和 SensorList.cpp 里面添加驱动的时候要注意，Sensor 添加的位置要一样。否则驱动会跑乱，轻则 ISP 参数不对，重则 Sensor 无法启动。

* I5 W" w/ i: y* H: S

4.3  拍照图片尺寸设置

, D5 h$ y$ A# o0 R2 s, o! i

mediatek\custom\common\hal\imgsensor\ov5640_yuv\cfg_ftbl_ov5640_yuv.h

+ r; ?: u8 U  \2 f6 @  _" e
: w% y& I! d% U) _: x! e: U
, W9 m# O8 Q. W) f( ?. m

• // Capture Size  
•    CONFIG_FEATURE_SI(FID_CAP_SIZE,  
•        BY_DEFAULT(CAPTURE_SIZE_2560_1920),  
•        CAPTURE_SIZE_1280_960,  CAPTURE_SIZE_1600_1200,  
•        CAPTURE_SIZE_2048_1536,CAPTURE_SIZE_2560_1920  
•    )  
  # a3 o' ?# ~9 R& q
  

6 z3 D) O9 n2 d6 C: s
& \& T/ V# ^4 @$ Q/ ?

4.4  Camera物理角度旋转

Cfg_setting_imgsensor.h

3 o( y& B2 _* ?& K" d

• /*******************************************************************************
• * Image SensorOrientation
• *******************************************************************************/  
• SensorOrientation_Tconst&  
• getSensorOrientation()  
• {  
•     static SensorOrientation_T const inst = {  
•         u4Degree_0  : 0,//270,//180,//90,   // main sensor in degree (0, 90, 180, 270),kandi change from 90 to 180  
•         u4Degree_1  : 0,   //  sub  sensor in degree (0, 90, 180, 270)  
•     };  
•     return inst;  
• }  
  # ~" Y0 W6 W$ F0 }
  

        这几种都试过了，但都不行，预览和实际的都是成某种镜像关系。这是平台是提供旋转的功能。这个配置好了之后，如果方向不正确，可以通过驱动中的方向调整函数进行调整，如下： static void XXXXXSetMirror(kal_uint16ImageMirror)

参考：http://blog.csdn.net/loongembedded/article/details/41679977

# ~2 C! P* M3 j& u: |5 V- s

      看了OV5640的数据手册，寄存器0x3820和0x3821是用于控制图像发射(mirror)和翻转(flip)的，在u4Degree_0=270情况下，OV5640YUVPreview()调用OV5640YUV_Set_Mirror_Flip (IMAGE_V_MIRROR)，预览和拍照后的预览都是OK，但拍好的照片在电脑上打开的时候发现是顺时针翻转了90度。

http://bbs.csdn.net/topics/390837150

可是我在OV5640YUV_Sensor_Init()调用OV5640YUV_Set_Mirror_Flip(IMAGE_V_MIRROR)却问题依旧，很奇怪。

+ f3 ]' k0 r7 c$ O! B

mediatek\custom\common\hal\imgsensor\ov5640_yuv\cfg_ftbl_ov5640_yuv.h

• /*
•     // Capture Size
•     CONFIG_FEATURE_SI(FID_CAP_SIZE,
•         BY_DEFAULT(CAPTURE_SIZE_2560_1920),
•         CAPTURE_SIZE_1280_960,  CAPTURE_SIZE_1600_1200,
•         CAPTURE_SIZE_2048_1536,CAPTURE_SIZE_2560_1920
•     )
•     */  
•      // Capture Size  
•     CONFIG_FEATURE_SI(FID_CAP_SIZE,  
•         BY_DEFAULT(CAPTURE_SIZE_1920_2560),  
•         CAPTURE_SIZE_960_1280,  CAPTURE_SIZE_1200_1600,  
•         CAPTURE_SIZE_1536_2048,CAPTURE_SIZE_1920_2560  
• )  
  5 b" I( M, k5 a* e. K

( k8 W$ W: f! M) x2 R. i. i
/ b( b  @2 B7 U/ n6 c* E' R/ t

我试过做上面的修改，但打开摄像头的时候，提示”Unfortunately, Camera has stopped”

本文作者：LoongEmbedded

! o$ M& A5 f2 K+ d- V