手眼标定之基本原理

大家好，又见面了，我是你们的朋友全栈君。

文章目录

原文首发于微信公众号【3D视觉工坊】。

一前言

机器人的视觉系统分为固定场景视觉系统和运动的「手-眼」视觉系统。摄像机与机器人的手部末端，构成手眼视觉系统。根据摄像机与机器人相互位置的不同，手眼视觉系统分为Eye-in-Hand系统和Eye-to-Hand系统。Eye-in-Hand系统的摄像机安装在机器人手部末端（end-effector），在机器人工作过程中随机器人一起运动。Eye-to-Hand系统的摄像机安装在机器人本体外的固定位置，在机器人工作工程中不随机器人一起运动。

Eye-in-Hand系统的在工业机器人中应用比较广泛，随着机械手逐渐接近目标，摄像机与目标的距离越来越小，被测物体位置参数的绝对误差会随之降低。在Eye-in-Hand系统中，采用基于图像的视觉控制、基于位置的视觉控制以及结合两者的混合视觉控制，可以快速有效地标定被测物体的坐标。

手眼标定方法通常分为3类：标准手眼标定、基于旋转运动的手眼标定以及在线手眼标定。以上方法是将摄像机标定与手眼标定分开进行，也有的论文采用的是联合标定法。

本文重点讲解Eye-in-Hand的一般方法，重在阐述其基本原理。

二 Eye-in-Hand

2.1 基础知识准备

在研究相机标定时，已较为熟悉，在本公众号「视觉IMAX」里已有几篇文章做过总结，如：
a) 一分钟详解OpenCV之相机标定函数calibrateCamera()；
b) 一分钟详解「本质矩阵」推导过程；
c) 计算机视觉基本原理——RANSAC；
d) 再谈「相机标定」；

此处就不详细展开叙述了。

2.2 Eye-in-Hand基本原理

对目标点的空间三维坐标进行变换的过程中，首先遇到的问题是机器人末端关节坐标系与摄像机坐标系之间的位置变换关系，也就是机器人的手眼位置关系，该关系用符号X表示，具体可以用方程AX=XB求解。其中A表示相邻两次运动时机器人末端关节的变换关系；B表示相邻两次运动时摄像机坐标的相对运动。

下面，简单介绍一下本问题模型中为何会引入AX=XB模型。
如图1所示，为眼在手上，也即eye-in-hand。（本篇文章重点讨论的是双目，所以此处仅是为了演示效果图，而非真实的实验场景）。相机固定在机械臂末端，会随着机械臂的运动而运动。

图1 眼在手上

我们会得到一堆坐标系和坐标变换关系：

A：机器人末端在机械臂坐标系下的位姿，这其实就是机器人运动学正解的问题。（已知）。
B：相机在机器人末端坐标系下的位姿，这个变换是固定的，只要知道这个变换，我们就可以随时计算相机的实际位置，所以这就是我们想求的东西。（未知，待求）
C：相机在标定板坐标系下的位姿，这个其实就是求解相机的外参（已知）。
D：相机在机器人基坐标系下的位姿。实际使用过程中标定板并不存在，所以这个变换关系我们不关心。

所以，只要我们能计算得到B变换，那么相机在机器人坐标系下的位姿D也就自然得到了。

如图2所示，我们让机械臂运动两个位置，保证这两个位置下都可以看到标定板，然后构建空间变换回路：
图2 机械臂运动到两个位置，构建变换回路

在这里插入图片描述

图3 谷歌学术搜索

在谷歌学术用关键词「AX=XB」搜索便可以得到各种求解办法，见图3所示。

以上图中的几篇论文，都很详细地给出了推导过程，按照它们写程序基本没问题。

这样，我们便有了A、B和C，就能直接求解得到我们想要的手眼标定结果D了。

前面主要是为了理清思路，对于每个部分的细节都给省略掉了，接下来进行详细说明。

1）变换A: 它是机械臂末端在机器人基座坐标系下的位姿，其实就是机器人学里面最基础的运动学正解。如图4所示。
图4 机器人运动学正解模型
用DH矩阵等方法来计算机器人运动学正解。可以参看熊有伦主编的《机器人技术基础》这本书。在实际操作中，根据机器人的示教器读出欧拉角，即可换算出机械手爪坐标系到机械臂基座的转换矩阵。