camera 基础知识-1

0-基础知识

手机摄像头：PCB板、镜头、固定器和滤色片、DSP(CCD用)、传感器等部件组成。
工作原理为：拍摄景物通过镜头，将生成的光学图像投射到传感器上，然后光学图像被转换成电信号，电信号再经过模数转换变为数字信号，数字信号经过DSP加工处理，再被送到手机处理器中进行处理，最终转换成手机屏幕上能够看到的图像

焦点：

景深：

根据公式可以得到
(1)、镜头光圈：光圈越大，景深越小；光圈越小，景深越大；
(2)、镜头焦距：镜头焦距越长，景深越小；焦距越短，景深越大；
(3)、拍摄距离：距离越远，景深越大；距离越近，景深越小。

ISP芯片的作用就是对传感器输入的信号进行运算处理，最终得出经过线性纠正、噪点去除、坏点修补、颜色插值、白平衡校正、曝光校正等处理后的结果。
例子：

RGB565 每个像素用16位表示，RGB分量分别使用5位、6位、5位

光学变焦：光学变焦是通过移动镜头内部镜片的相对位置来改变焦点的位置，改变镜头焦距的长短，并改变镜头的视角大小，从而实现影像的放大与缩小。光学变焦不会牺牲清晰度

数字变焦： 数字变焦是通过可拍照手机处理器，把图片内的每个像素面积增大，从而达到放大的目的，就像我们在ACDSEE等图像处理软件中，强行拉大图像的像素一样。数字变焦显著牺牲清晰度

自动对焦算法有很多种， 相位，图像等等。 Voice Coil Motor（音圈马达VCM） 需要这种马达才可以调整自动对焦。

FV: Focus Value, 用来衡量图像AF的清晰度。
DOF: Deep Of Field, 景深，表示物距清晰的范围，景深越长表示物距前后清晰的范围越大
FV 与DOF 有了对应关系（如下图曲线的顶点位置），就可以定于拍摄的最佳位置，自动AF 就可以想办法做了

1-ISP 流程

备注：pipeline 中虽然 AWB 在 shading 校正之后，但 shading 校正需会要 AWB 根据统计资料推算出来的 CCT 值，且shading 是否校正对 AWB 影响较小，因此建议先做 AWB 色温曲线范围的调整，等 ALSC 校正完后再回来检查 AWB色温曲线范围是否需要微调。

上面的流程只是建议，如何调试看自己，大致流程基本一直。

2-其他概念知识

• 关于raw(bayer)数据转换rgb数据
  RGB图, 即为三色图, 一个像素点就由RGB三种颜色构成的混合色, 而bayer图一个像素就只有一个颜色, 或R或G或B. 因为bayer一个像素点只有一种颜色, 需要借助这个像素点周围的颜色对它进行插值(填充)另外的两种颜色, 它本身的颜色就不用插了.

• 关于色温的规律：
  色温越高，光色越偏蓝；色温越低则偏红

• 关于白平衡：
  白平衡就是针对不同色温条件下，通过调整摄像机内部的色彩电路使拍摄出来的影像抵消偏色，更接近人眼的视觉习惯。 原理就是补充蓝色、红色， 在不同的温度下接近白色

• 关于坏点矫正BPC(Bad Pixel Correction)：
  坏点为全黑环境下输出图像中的白点， 高亮环境下输出图像中的黑点。

3-shading

• Y shading
  Y 就是亮度，下面的图片看成单色图片就可以，关心亮度值

  
  
  Y shading 修正

  1.一般我们是计算出中心亮度L0和四个角的亮度L1,L2,L3,L4。
  2.计算出他们分别和中心亮度的比值:
     Y1 = L1/L0      Y2 = L2/L0
     Y3 = L1/L0      Y4 = L2/L0
 3.对于他们进行平均值，他们中的最大值，最小值，最大值和最小值的差
   Rvg = (Y1+Y2+Y3+Y4)/4
   Y_Max = max(Y1,Y2,Y3,Y4)
   Y_Min  = min(Y1,Y2,Y3,Y4)
   Y_Diff  = Y_Max - Y_Min  

就是四角与中心的的Y（亮度）达到一直

• color shading

  
  
  color shading 原理

假设下面的颜色不一致，怎么调整，调整的依据是什么

1.根据图片，在图片上选择13block区域，再分别计算出13block区域的R/G，B/G
    中心:B0/G0   R0/G0
    四周:B1/G1 R1/G1,B2/G2 R2/G2,B3/G3 R3/G3..........B12/G12 R12/G12
2.根据四周的12block区域R/G,B/G与中心进行比值:
    R/G：
      RG1 = (R1/G1) / (R0/G0)
      RG2 = (R2/G2) / (R0/G0)
      RG12 = (R12/G12) / (R0/G0)
    B/G：
      BG1 = (B1/G1) / (B0/G0)
      BG2 = (B2/G2) / (B0/G0)
      BG12 = (B12/G12) / (B0/G0)
3.计算出12block区域RG,BG与中心的相对偏差比值:
     RG_offset:
       RG1_offset = abs((R1/G1 - R0/G0) / R0/G0)
       RG2_offset = abs((R2/G2 - R0/G0) / R0/G0)
       RG12_offset = abs((R12/G12 - R0/G0) / R0/G0)
     BG_offset:
       BG1_offset = abs((B1/G1 - B0/G0) / B0/G0
       BG2_offset = abs((B2/G2 - B0/G0) / B0/G0)
       BG12_offset = abs((B12/G12 - B0/G0) / B0/G0)
4.计算出12block区域的offset的偏差值
      R/G:
        RG_offset_max = Max{RG1_offset,RG2_offset,......,RG12_offset}
        RG_offset_min  = Min{RG1_offset,RG2_offset,......,RG12_offset}
        RG_offset_Diff  = RG_offset_max - RG_offset_min
      B/G:
        BG_offset_max = Max{BG1_offset,BG2_offset,......,BG12_offset}
        BG_offset_min  = Min{BG1_offset,BG2_offset,......,BG12_offset}
        BG_offset_Diff  = BG_offset_max - BG_offset_min

3-颜色矩阵

M是颜色矩阵，C颜色矩阵分量是图片中包含的RGBA信息，C1矩阵是用M应用于C之后的新的颜色矩阵分量。
M中数据含义 ：第一行决定红色、第二行决定绿色、第三行决定蓝色、第四行决定了透明度。第五列是颜色的偏移量。
改变颜色分量时可以通过修改第5列的颜色偏移量来实现

4-fix pattern noise（FPN）与 temporal noise

从色彩空间上分，可以分为luma noise亮度噪声与chroma noise彩色噪声。

从时态上分，可以分为fix pattern noise与temporal noise。

• Fix pattern noise 与时间无关，表现上看就是噪声幅度不随时间变化。

• Temporal noise是随时间变化，在低光下录制的视频中不断变化的细小信号就是temporal noise。
  也有的分法把fix pattern noise定义为在图像行或者列存在的一条条的噪声，如下图所示

  
  
  
  

  Temporal noise视觉上是一种高频噪声。
  temporal noise的方法就是多帧平均加运动检测，如果存在图像存在变化就不累加，如果图像无变化就累加平均。

5-畸变类型，如何处理畸变

畸变类型: 径向畸变,切向畸变
**5.1径向畸变 **
径向畸变就是沿着透镜半径方向分布的畸变，产生原因是光线在原理透镜中心的地方比靠近中心的地方更加弯曲，这种畸变在普通廉价的镜头中表现更加明显，径向畸变主要包括桶形畸变和枕形畸变两种。

5.1切向畸变

下图的r 可以看成常数;

因此p1,p2 就可以校准了。
根据畸变的方式，只要确定了五个k1,k2,k3,p1,p2参数，就可以进行校准了；

REF:
ISP各模块功能介绍及调试经验