一、相机模型

1、相机与图像

2、坐标系

针孔相机模型存在四个坐标系：世界坐标系、摄像机坐标系、图像物理坐标系和图像像素坐标系。

1、世界坐标系

是客观三维世界的绝对坐标系，也称客观坐标系。就是物体在真实世界中的坐标。世界坐标系是随着物体的大小和位置变化的，单位是长度单位。

2、相机坐标系

以相机的光心为坐标系的原点，以平行于图像的 x 和 y 方向为 x 轴和 y 轴，z 轴和光轴平行，x，y，z 互相垂直，单位是长度单位。

3、图像物理坐标系

以主光轴和图像平面交点为坐标原点，x’ 和 y’ 方向如图所示，单位是长度单位。

4、图像像素坐标系

以图像的顶点为坐标原点，u 和 v 方向平行于 x’ 和 y’ 方向，单位是以像素计。

假设：世界坐标系的坐标为 Pw(Xw,Yw,Zw)

对应的摄像机坐标系坐标为 Po(x,y,z)

对应的图像物理坐标系的坐标为 P’(x’,y’)

对应的图像像素坐标系的坐标为 p(u,v)

3、相机成像

4、世界坐标系到摄像机坐标系

这两个坐标系之间除了旋转矩阵 R，还存在平移矩阵 t。其关系可表示为：

$$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]$$

$$\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=L_w\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$$

5、欧氏变换

两部分组成：旋转和平移。
$$a^{\prime }=Ra+t$$

6、齐次坐标

多次连续的旋转和平移的情况下，假设我们将向量 a 进行了两次欧氏变换，旋转和平移分别为 R1, t1 和 R2，t2。

分别得到：
$$b=R_1\ast a+t_1,c=R2\ast b+t2\Rightarrow c=R2\ast (R1\ast a+t1)+t2$$

$$\left[\begin{array}{c}{a}^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]\left[\begin{array}{c}a\\ 1\end{array}\right]=T\left[\begin{array}{c}a\\ 1\end{array}\right]$$

$$\tilde{b}=T_1\tilde{a},\tilde{c}=T_2\tilde{b}\Rightarrow \tilde{c}=T_2{T}_1\tilde{a}$$

7、摄像机坐标系到图像物理坐标系

相似三角形：
$$\{\begin{array}{l}{X}^{\prime }=f\frac{X_c}{Z_c}\\ Y^{\prime }=f\frac{Y_c}{Z_c}\end{array}$$
矩阵形式为：
$$Z_c\ast \left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]\ast \left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]$$

8、图像物理坐标系到图像像素坐标系

$$\{\begin{array}{l}u=\frac{x}{dx}+u_0\\ v=\frac{y}{dy}+v_0\end{array}$$

dx 和 dy 表示：x 方向和 y 方向的一个像素分别占多少个（可能是小数）长度单位。

图像物理坐标系到图像像素坐标系单位不同，需要统一。

齐次坐标下：
$$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{dx}& 0& u_0\\ 0& \frac{1}{dy}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$

9、摄像机坐标系到图像像素坐标系

$$Z_c\ast \left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]\ast \left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]$$

$$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{dx}& 0& u_0\\ 0& \frac{1}{dy}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$

$$Z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{f}{dx}& 0& u_0\\ 0& \frac{f}{dy}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]=K\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]$$

10、世界坐标系到图像像素坐标系

$$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]=R\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]+t$$

$$Z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{f}{dx}& 0& u_0\\ 0& \frac{f}{dy}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]=K\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]$$

$$Z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K(R{P}_w+t)=K\left(R\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]+t\right)$$

$$Z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{dx}& 0& u_0\\ 0& \frac{1}{dy}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$$

11、相机成像原理

二、镜头畸变

1、镜头畸变

透镜由于制造精度以及组装工艺的偏差会引入畸变，导致原始图像的失真。

镜头的畸变分为径向畸变和切向畸变两类。

2、径向畸变

由透镜的形状引起的畸变称为径向畸变，透镜径向畸变后点位的偏移示意图。

3、径向畸变

枕形畸变

桶形畸变

4、切向畸变

切向畸变是由于透镜本身与相机传感器平面（成像平面）或图像平面不平行而产生的。

这种情况多是由于透镜被粘贴到镜头模组上的安装偏差导致。

5、畸变矫正

6、透视变换

透视变换是将图片投影到一个新的视平面，也称作投影映射。

我们常说的仿射变换是透视变换的一个特例。

透视变换的目的就是把现实中为直线的物体，在图片上可能呈现为斜线，通过透视变换转换成直线的变换。

仿射变换，又称为仿射映射，是指在几何中，图像进行从一个向量空间进行一次线性变换和一次平移，变换为到另一个向量空间的过程。

通用的变换公式为：
$$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$
下式中的 X,Y 是原始图片坐标（上式的 x,y），对应得到变换后的图片坐标（X’,Y’,Z’）其中 Z’=1：
$$\{\begin{array}{l}{X}^{\prime }=\frac{X}{Z}\\ Y^{\prime }=\frac{Y}{Z}\\ Z^{\prime }=\frac{Z}{Z}\end{array}$$

$$\{\begin{array}{l}{X}^{\prime }=\frac{a_{11}x+a_{12}y+a_{13}}{a_{31}x+a_{32}y+a_{33}}\\ Y^{\prime }=\frac{a_{21}x+a_{22}y+a_{23}}{a_{31}x+a_{32}y+a_{33}}\\ Z^{\prime }=1\end{array}$$

一般地，我们令 a33=1，展开上面公式，得到一个点的情况：
$$\{\begin{array}{l}{a}_{11}x+a_{12}y+a_{13}-a_{31}x{X}^{\prime }-a_{32}{X}^{\prime }y=X^{\prime }\\ a_{21}x+a_{22}y+a_{23}-a_{31}x{Y}^{\prime }-a_{32}y{Y}^{\prime }=Y^{\prime }\end{array}$$
源点四个坐标分别为 A：(x0,y0),(x1,y1),(x2,y2),(x3,y3)

目标点四个坐标分别为 B：(X’0,Y’0),(X’1,Y’1),(X’2,Y’2),(X’3,Y’3)

求 WarpMatrix 过程

import numpy as np  # 导入 NumPy 库，用于数组操作

def WarpPerspectiveMatrix(src, dst):
    assert src.shape[0] == dst.shape[0] and src.shape[0] >= 4  # 确保输入的源点和目标点数组行数相等，且不小于4

    nums = src.shape[0]  # 获取源点数组的行数
    A = np.zeros((2 * nums, 8))  # 创建一个全零矩阵 A，用于构建线性方程组，A*warpMatrix=B
    B = np.zeros((2 * nums, 1))  # 创建一个全零列向量 B，用于存储目标点的坐标

    for i in range(0, nums):
        A_i = src[i, :]  # 获取源点数组的第i行
        B_i = dst[i, :]  # 获取目标点数组的第i行
        # 构建线性方程组的两行，每行包含8个系数
        A[2 * i, :] = [A_i[0], A_i[1], 1, 0, 0, 0, -A_i[0] * B_i[0], -A_i[1] * B_i[0]]
        B[2 * i] = B_i[0]  # 设置目标点坐标值

        A[2 * i + 1, :] = [0, 0, 0, A_i[0], A_i[1], 1, -A_i[0] * B_i[1], -A_i[1] * B_i[1]]
        B[2 * i + 1] = B_i[1]  # 设置目标点坐标值

    A = np.mat(A)  # 将 A 转换为矩阵
    # 用A.I求出A的逆矩阵，然后与B相乘，求出warpMatrix
    warpMatrix = A.I * B  # 求出a_11, a_12, a_13, a_21, a_22, a_23, a_31, a_32

    warpMatrix = np.array(warpMatrix).T[0]  # 将透视变换矩阵转换为数组，并进行转置
    warpMatrix = np.insert(warpMatrix, warpMatrix.shape[0], values=1.0, axis=0)  # 插入a_33 = 1
    warpMatrix = warpMatrix.reshape((3, 3))  # 将数组重新形状为3x3的透视变换矩阵
    return warpMatrix  # 返回透视变换矩阵

if __name__ == '__main__':
    print('warpMatrix')
    # 源点和目标点的坐标
    src = [[10.0, 457.0], [395.0, 291.0], [624.0, 291.0], [1000.0, 457.0]]
    src = np.array(src)

    dst = [[46.0, 920.0], [46.0, 100.0], [600.0, 100.0], [600.0, 920.0]]
    dst = np.array(dst)

    # 调用透视变换矩阵计算函数并打印结果
    warpMatrix = WarpPerspectiveMatrix(src, dst)
    print(warpMatrix)
    # [[-5.01338334e-01 - 1.35357643e+00  5.82386716e+02]
    #  [-2.41793700e-16 - 4.84035391e+00  1.38781980e+03]
    # [7.65500265e-20 - 4.14856327e-03
    # 1.00000000e+00]]

7、代码实现矫正

import numpy as np  # 导入 NumPy 库，用于数组操作
import cv2  # 导入 OpenCV 库，用于图像处理

img = cv2.imread('img/photo.jpg')  # 读取图像文件
result3 = img.copy()  # 复制图像，用于显示原始图像和处理后的图像的对比

'''
注意这里src和dst的输入并不是图像，而是图像对应的顶点坐标。
'''
src = np.float32([[207, 151], [517, 285], [17, 601], [343, 731]])  # 源图像中的四个顶点坐标
dst = np.float32([[0, 0], [337, 0], [0, 488], [337, 488]])  # 映射到目标图像中的四个顶点坐标
print(img.shape)  # 打印图像的形状信息（高度、宽度、通道数）

m = cv2.getPerspectiveTransform(src, dst)  # 获取透视变换矩阵
print("warpMatrix:")
print(m)  # 打印透视变换矩阵

result = cv2.warpPerspective(result3, m, (337, 488))  # 应用透视变换到原始图像并获取处理后的图像
cv2.imshow("src", img)  # 显示原始图像
cv2.imshow("result", result)  # 显示处理后的图像
cv2.waitKey(0)  # 等待用户按键退出

记录学习过程，欢迎讨论交流，尊重原创，转载请注明出处~