你有没有想过为什么你的照片里的一些直线看起来扭曲了，明明应该是直的？

详解相机校准：提升计算机视觉应用的精度

或者为什么物体看起来比实际上更近或更远？答案就在相机校准上，这是一个令人着迷的过程，帮助我们缩小相机看到的世界和真实世界之间的差距。

把相机校准想象成去眼科医生那里检查眼睛。就像眼科医生检查你的眼睛如何处理视觉信息一样，相机校准帮助我们了解相机如何将3D世界转换为2D图像。这种理解对于从智能手机摄影等应用到自动驾驶汽车的各种应用来说都非常重要。

在其核心，相机校准其实依赖的是一个非常优雅的数学公式：x = P X

x的向量形式为x = PX

• x 表示图像中的二维坐标
• P 是相机内参矩阵（包含所有相机参数）
• X 表示真实世界中的三维坐标

将相机矩阵 P 想象成你相机的专属“配方”，用于将3D场景转换成2D图像。这个矩阵包含了两个关键的组分：一组关键的成分。

• 焦距：视图拉近的程度
• 主点：图像真正的中心位置
• 倾斜：像素的形状和排布方式
• 宽高比：像素宽度与高度的比例

• 旋转：相机的朝向
• 位移：相机的位置

想象仅用一张照片来测量两栋建筑之间的距离。如果没有进行正确的相机校准，你可能会得到完全错误的测量。这就是相机校准为什么如此重要的原因，

1. 镜头畸变校正：你有没有注意到广角自拍时，脸看起来有点扭曲？这就是镜头畸变造成的。
2. 精确测量：在制造和建筑等行业中至关重要。
3. 增强计算机视觉：帮助AI系统通过摄像头更准确地理解世界。
4. 改进的增强现实：让虚拟物体更好地与真实世界对齐。

不同类型的镜头畸变会影响图像的效果。［了解更多关于镜头畸变的信息：https://clickitupanotch.com/lens-distortion/］

要调整相机设置，请按照以下步骤进行。

1. 准备一个校准标定板： 最常用的是棋盘格图案。你可以将这个图案打印在纸上或者使用尺寸已知的实际棋盘。

棋盘格

2. 拍摄照片: 从不同的角度和距离拍摄棋盘的多张照片。确保每张照片都清楚地显示整个图案。

使用棋盘进行相机校准的图像

3. 检测角点：使用软件工具在每个图像中检测棋盘方格的角点。

4. 计算参数: 利用检测到的角和已知的正方形尺寸，使用如下算法计算内部参数和外部参数：张正友方法等或OpenCV函数。

5. 计算重投影误差以验证校准准确性: 通过计算重投影误差来验证校准准确性。

这里有一个使用OpenCV调整相机的例子：

    import cv2  
    import numpy as np  
    import glob  

    # 终止标准，用于角点亚像素精度  
    criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)  

    # 准备对象点（实际世界中的3D点）  
    objp = np.zeros((6*7, 3), np.float32)  
    # 将二维网格坐标赋值给objp的前两列  
    objp[:, :2] = np.mgrid[0:7, 0:6].T.reshape(-1, 2)  

    # 用于存储对象点和图像点的数组  
    objpoints = []  # 实际世界中的3D点  
    imgpoints = []  # 图像平面上的2D点  

    # 加载图像  
    images = glob.glob('path/to/calibration/images/*.jpg')  # 请用自己的路径替换  

    for img in images:  
        gray = cv2.imread(img)  
        gray = cv2.cvtColor(gray, cv2.COLOR_BGR2GRAY)  

        # 寻找棋盘角点  
        ret, corners = cv2.findChessboardCorners(gray, (7, 6), None)  # 寻找棋盘角点  

        if ret:  
            objpoints.append(objp)  
            corners2 = cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria)  
            imgpoints.append(corners2)  

    # 校准相机  
    ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)  

    print("相机矩阵:\n", mtx)  
    print("畸变系数:\n", dist)

参考自:OpenCV

准备自己的校准图片

1. 打印棋盘图案或创建一个数字棋盘图案。
2. 确保拍照时光线充足。
3. 从不同角度拍摄至少10到15张图片，以确保结果准确。
4. 将图片保存在专用文件夹里，便于编码时调用。

相机校准在许多领域都有广泛的应用。以下是一些它起关键作用的几个领域：

在虚拟现实（VR）和增强现实（AR）等应用中，准确的3D重建至关重要。相机标定使系统能够通过理解不同图像在三维空间中的相对位置，利用多个2D图像生成精确的3D模型。因此，在需要逼真互动的游戏和模拟环境中尤为关键。

3D重建的多视角系统示例

机器人高度依赖视觉输入来导航和与环境互动。相机校准过程使机器人能够准确感知周围物体的距离和大小。例如，在自动驾驶汽车上，校准过的摄像头有助于确定障碍物和周围车辆的位置，从而确保安全导航。

手眼标定（Hand-Eye 校准）

在增强现实应用中，将数字信息叠加到现实世界需要虚拟元素与现实世界物体之间精确对齐。相机校准过程确保虚拟内容正确地定位和调整大小，从而提升用户体验。

视觉、AR及触觉视角的相机标定。

在如内窥镜和放射学等医学成像技术中，相机校正对于准确诊断和治疗计划至关重要。它确保图像真实反映解剖尺寸，帮助医疗专业人员做出明智决定。

实时内窥镜图像畸变校正及摄像机标定C相机标定与实时图像畸变校正

相机校准用于体育科技，以分析运动员的动作和比赛的动态。通过校准安装在运动场或竞技场周围的相机，分析师能够捕捉运动员及其装备的精确动作，从而提升训练方法和策略。

体育分析中的辅助场景校准

相机标定乍一看可能显得复杂，但实际上它是一个基本过程，有助于我们从相机中获取最准确的信息。无论是业余摄影爱好者还是正在开发计算机视觉应用的开发者，理解相机标定对于获得精确结果都至关重要。

记得，完美的校准需要多练习。从基础做起，试试提供的代码，逐步过渡到更高级的应用。

参考文献

1. https://docs.opencv.org/4.x/dc/dbb/tutorial_py_calibration.html OpenCV官方教程：相机标定 (Official OpenCV Tutorial: Camera Calibration)
2. https://www.youtube.com/playlist?list=PL7Fxe7FxChBa8DWnKQ0if4s8eBEOOVOdn 视频教程合集：相机标定 (Playlist of video tutorials: Camera Calibration)

关注我的 LinkedIn/