-
摘要: 微零件的姿态测量对微装配具有重要的作用.但对于微球零件，其姿态的精确测量存在困难，影响了装配精度.针对带有微孔的微球，本文提出了一种基于单目显微视觉的微球姿态高精度测量方法.设计了一种由粗到精的微孔检测算法，实现了高精度的微孔定位.通过对相机光轴方向的标定，在相机运动后对微球图像坐标进行补偿，提高了在相机坐标系下的微球定位精度.通过对微球和微孔的精确定位，计算出微球球心与微孔圆心的空间相对位置，实现了相机坐标系下高精度的微球姿态测量.同时，根据标定出的相机坐标系与调整平台坐标系之间的旋转关系，将微球姿态转换到调整平台坐标系.实验结果表明，最大姿态测量误差0.3度，验证了本文方法的有效性.Abstract: Pose measurement for micro-components is very important to micro assembly. But it is quite difficult to measure the pose of a micro sphere with high precision, which impacts the assembly accuracy. An accurate pose measurement method for sphere with micro hole is proposed. A coarse-to-fine detection method is designed for the micro-hole on the micro-sphere. It realizes the high precision location of the micro-hole. The direction of the microscopic camera's optical axis is calibrated. It is used to compensate the micro-sphere's image coordinates after the microscopic camera moves in order to improve the location accuracy of the micro-sphere in the camera's frame. The relative position between the center of sphere and the center of hole can be easily derived from the accurately located micro-sphere and micro-hole. Then the pose of micro-sphere can be gotten. Meanwhile, the pose of micro-sphere can be transformed from the camera's frame into the frame of adjusting platform according to the calibrated rotation relationship between the two frames. The maximum error in pose measurements is 0.3 degree. Experimental results verify the effectiveness of the proposed method.
-
近年来, 微操作和微装配获得了更加广泛的关注[1-2].微装配的目的是把两个或多个微零件在保证一定精度的情况下, 装配到一起.因此, 对微零件姿态高精度的测量是保证微装配顺利完成的关键[1-2].目前, 对于物体三维姿态的测量大多采用多个相机或者采用多种传感器信息融合的方式.在文献[3]中, 提出了一种融合视觉和深度传感器信息的姿态估计方法, 实现了对基准标签姿态的精确测量.在文献[4]中, 采用了一种惯性测量单元(Inertial measurement unit, IMU)和视觉传感器信息融合的方式, 实现无人机的姿态估计.在文献[5]中, 提出了一种基于主动形状模型(Active shape model, ASM)和立体视觉的头部姿态估计方法, 具有较高的精度和较好的实时性.上述基于多传感器信息融合的姿态估计方法, 需要多种传感器对目标进行测量.在微装配中, 由于显微视觉景深小, 不同的显微相机没有公共视野, 上述方法不能使用.
在显微视觉领域, 也存在一些姿态测量方法.在文献[6]中, 提出了一种基于Hough变换和模板匹配的姿态测量方法, 实现了两个柱腔零件的定位和姿态的测量.在文献[7]中, 采用了一种基于单目显微视觉的平面的姿态测量方法, 由一种基于PnP (Perspective-n-Point)算法的线性方法确定姿态的初始值, 采用正交迭代算法得到姿态的估计值, 实现姿态实时估计.文献[8]提出了一种基于显微视觉和旋转电场的细胞姿态控制方法, 实现了细胞绕单轴旋转角度的测量和控制.上述方法只适用于平面内目标的姿态测量, 无法测量物体的三维姿态.
在微装配中, 微零件三维姿态的测量是完成装配任务的关键.其中, 轴孔装配是非常常见的一类装配任务[9-11], 目的是将一个柱形零件插入到微孔中, 而首要任务就是对微孔三维姿态的测量.对于微球姿态的测量, 常常通过直接测量微孔来确定微球姿态的方法.文献[12]提出了一种基于单目显微视觉微球姿态测量方法, 控制显微相机多次主动运动获得微球球心、微孔圆心图像坐标, 并转换到操作手坐标系, 实现微球姿态向量的测量.但是在这种方法中, 并未考虑相机运动轴方向与光轴方向之间存在偏差的影响, 没有对相机主动运动后的特征点图像坐标进行补偿, 导致姿态测量存在误差.针对显微视觉具有景深小、视场小的特点, 文献[13]中提出了一种基于双目显微视觉的微球姿态测量方法, 通过显微相机主动运动测量出微球球心到微孔的向量所在平面的法向量, 利用两台显微相机测量出的两个平面的法向量叉乘, 获得微球球心到微孔的向量, 即获得微球的姿态.该方法需要两台显微相机, 成本较高, 而且需要两台显微相机分别主动运动, 姿态测量的效率较低.
本文在单目显微视觉引导下, 通过对直径5 mm微半球上的直径1.5 mm微孔的检测, 实现对微球姿态的精确测量.本文结构安排如下:第1节介绍系统构成与标定; 第2节给出了微孔和微球的定位方法; 第3节给出了微球的姿态测量方法, 并给出了姿态从相机坐标系到调整平台坐标系的变换方法; 第4节为实验与结果, 对所提出的方法进行了验证, 并与已有的方法进行了对比; 第5节为结论, 对全文进行了总结.
1. 系统构成及标定
1.1 微球零件
微球零件示意图如图 1所示, 是一个直径5 mm的半球, 在顶部有一个直径1.5 mm的微孔, 微球球心与微孔圆心的连线方向与微孔平面法向量方向平行.因微球和微孔尺寸较小, 常规视觉采集的图像分辨率不足, 故需要采用显微视觉采集微球微孔的图像, 以便实现微球姿态测量.
1.2 平台系统构成
设计的实验系统平台如图 2所示, 包括一台显微相机、一个四自由度的调整平台、光源系统和一台控制计算机.显微相机配置了运动轴, 可以沿着运动轴方向平移, 以便调整物距实现对目标的清晰成像.四自由度调整平台包括沿$ Z $轴的平移和绕着$ X $、$ Y $、$ Z $轴的旋转.
建立的坐标系如图 3所示.微球零件放置在调整平台上, 世界坐标系$ \{{\pmb W}\} $建立操作空间的某点处, 其$ X_W $、$ Y_W $、$ Z_W $轴的方向与调整平台坐标系初始状态下的$ X_P $、$ Y_P $、$ Z_P $轴的方向相同.调整平台可以分别绕着$ X_P $、$ Y_P $、$ Z_P $轴旋转, 沿着$ Z_W $平移.以显微相机光心为坐标原点, 图像横坐标增加的方向作为$ X_C $轴方向, 图像纵坐标增加的方向作为$ Y_C $轴方向, 根据右手系规则建立相机坐标系$ \{{\pmb C}\} $.坐标系$ \{{\pmb W}\} $是相机机械运动轴坐标系, $ Z_M $轴方向朝向, 与$ Z_C $轴方向接近; $ X_M $、$ Y_M $轴方向与$ X_C $、$ Y_C $轴方向接近.
1.3 系统标定
1.3.1 $ {\pmb {Z_M}} $轴和$ {\pmb {Z_C}} $轴的偏差标定
实验中显微相机的景深只有400 $ \rm{ \mathit{ μ}} $m, 因此微孔与微球无法同时聚焦.在对微孔聚焦之后, 需要相机沿$ Z_M $轴方向平移, 实现对微球聚焦.如图 4所示, 机械运动轴$ Z_M $方向与相机光轴$ Z_C $方向近似平行, 由于机械误差, 二者之间存在一定偏差.在相机沿$ Z_M $轴方向运动后, 如果将$ Z_M $轴当作$ Z_C $轴, 会导致微球球心定位存在偏差.因此, 需要对$ Z_M $轴和$ Z_C $轴的方向进行标定, 或者对$ Z_M $轴和$ Z_C $轴的偏差进行标定.
在本文中, 对$ Z_M $轴和$ Z_C $轴的偏差进行了标定.具体而言, 只需要显微相机沿机械运动轴$ Z_M $轴运动固定距离$ \Delta h $后, 测量导致的参照物图像特征的偏差$ \Delta u $和$ \Delta v $, 即可计算出比例系数$ k_x $和$ k_y $, 见式(1).
$ \begin{equation} \begin{cases} k_x = \dfrac{\Delta u}{\Delta h}\\ k_y = \dfrac{\Delta v}{\Delta h} \end{cases} \end{equation} $
(1) 1.3.2 相机放大倍率$ \pmb{k} $标定
使用已知尺寸的标记物或者通过特征点的主动运动, 在聚焦的情况下, 可以完成相机放大倍率k($ \mu $m/像素)的标定, 如式(2)所示.
$ \begin{equation} \Delta L = k\cdot\Delta l \end{equation} $
(2) 其中, L表示坐标系$ \{{\pmb C}\} $中的尺寸, 单位为$ \mu $m: $ \Delta l $表示在图像中的尺寸, 单位为像素.
1.3.3 向量旋转角关系标定
由于设备安装误差等原因, 坐标系$ \{{\pmb W}\} $与$ \{{\pmb C}\} $对应的坐标轴并不能完全平行, 因此一个向量在$ \{{\pmb W}\} $中的旋转角度与$ \{{\pmb C}\} $中的旋转角度存在如式(3)所示的关系.
$ \begin{equation} \begin{bmatrix} \theta \\ \gamma \end{bmatrix} = J \begin{bmatrix} \alpha \\ \beta \end{bmatrix} \end{equation} $
(3) 其中, $ \alpha $和$ \beta $是绕$ X_C $轴和$ Y_C $轴的旋转角度, $ \theta $和$ \gamma $是绕$ X_W $轴和$ Y_W $轴的旋转角度, $ J $是旋转变换向量旋转角关系矩阵.
为了求解矩阵$ J $, 在坐标系$ \{{\pmb W}\} $中对一个向量主动旋转, 在坐标系$ \{{\pmb C}\} $中测量该向量的旋转角度.通过获得$ n $组$ \alpha $, $ \beta $的数据及其对应的$ \theta $, $ \gamma $的数据, 使用最小二乘法可以求解出$ J $, 见式(4) $ \sim $ (7), 其中$ \alpha $和$ \beta $的计算方法见第3.2节.根据式(3), 一组对应数据可以产生两个方程, 因此理论上两组数据就可以求解出$ J $.为了提高精度, 可以使用多组数据进行计算.
$ \begin{equation} {Y} = {J}\cdot {X} \end{equation} $
(4) $ \begin{equation} {J} = Y{X}^\text{T}({XX}^\text{T})^{-1} \end{equation} $
(5) 其中
$ \begin{equation} X = \begin{bmatrix} \alpha_1&\alpha_2&\alpha_3&\cdots&\alpha_n\\ \beta_1&\beta_2&\beta_3&\cdots&\beta_n \end{bmatrix} \end{equation} $
(6) $ \begin{equation} Y = \begin{bmatrix} \theta_1&\theta_2&\theta_3&\cdots&\theta_n\\ \gamma_1&\gamma_2&\gamma_3&\cdots&\gamma_n \end{bmatrix} \end{equation} $
(7) 2. 微孔和微球精确定位
2.1 微孔精确定位
由于受零件的制作精度的限制, 球面不能保证十分光滑, 尤其是在微孔边缘周围存在毛刺, 采集的图像存在很大的噪声, 如图 5所示.由于微孔平面与$ X_C O_C Y_C $平面不平行, 微孔在显微相机中的成像是椭圆并不是圆.为此, 在本节中提出了一种由粗到精的微孔检测方法, 对噪声较大的情况下依然能够实现微孔的定位, 具有较高的鲁棒性和定位精度.
微孔、微球定位算法流程图如图 6所示, 首先沿着$ Z_M $轴移动显微相机, 实现对微孔聚焦.由于Hough变换十分耗时, 首先对图像进行下采样, 采用Canny算子提取边缘点, 之后进行Hough变换, 得到微孔圆心位置$ O_0 $, 实现微孔圆心粗定位.以$ O_0 $为中心, 在角度为$ \theta $的半径方向上, 获得半径方向$ \theta $上, 半径范围[$ r_0, r_1 $]的点的集合$ P_\theta $, 如式(8)所示.计算得到沿角度为$ \theta $的半径方向上灰度梯度最大的点$ p_{\theta m} $, 作为该方向上微孔边缘点的候选点即实现了微孔边缘点的提取, 然后以$ \Delta \theta $为半径方向的角度增量, 实现各个半径方向上的微孔边缘点粗提取.
$ \begin{equation} \{P_\theta\} = \{p_\theta |\triangledown_\textbf{r}(p_\theta)>\varphi\} \end{equation} $
(8) 其中, $ \varphi $是灰度梯度阈值, $ \triangledown_\ {_r}(p_\theta) $表示像素点$ p $在角度为$ \theta $半径方向上, 与圆心$ O_0 $距离为$ r $处沿着半径方向r的灰度梯度.
为了实现微孔边缘点精确提取, 如图 7所示, 首先沿角度为$ \theta $的半径方向$\mathit{\boldsymbol{r}}$得到$ p_{\theta m} $附近的点的集合$ P_{\theta n} $, 使用最小二乘法拟合得到其灰度梯度二次曲线, 如式(9)所示.
$ \begin{equation} \triangledown I_{p_i} = ar^2_i+br_i+c \end{equation} $
(9) 其中, $ r_i $为点$ p_i $ $ \in $ $ \{P_{\theta n}\} $到圆心$ O_0 $距离, $ I_{pi} $是像素点$ p_i $的灰度值, $ \Delta I_{pi} $像素点$ p_i $的灰度梯度, $ a $、$ b $、$ c $是二次曲线的参数.
根据式(9), 每个边缘像素点可以产生一个方程, 则最少需要三个点可以求解出参数$ a $、$ b $、$ c $, 增加点的个数可以提高精度.
$ \begin{equation} \triangledown I_p = R\cdot A \end{equation} $
(10) $ \begin{equation} A = (R^\text{T}R)^{-1}R^\text{T}\triangledown I_p \end{equation} $
(11) 其中
$ \begin{equation} \triangledown I_p = \begin{bmatrix}\triangledown I_{p_1}&\triangledown I_{p_2}&\dots&\triangledown I_{p_n}\end{bmatrix} \end{equation} $
(12) $ \begin{equation} A = \begin{bmatrix}a&b&c\end{bmatrix}^{\rm T} \end{equation} $
(13) $ \begin{equation} R = \begin{bmatrix}r_1^2&r_1&1\\r_2^2&r_2&1\\ \vdots&\vdots&\vdots\\r_n^2&r_n&1\end{bmatrix} \end{equation} $
(14) 利用式(10)$ \sim $(14)获得灰度梯度二次曲线的参数, 以其极值点位置作为精确的微孔边缘点位置$ p_f $, 即得到一个精确的边缘点.多次利用式(10)$ \sim $(14)对不同位置的边缘提取出一系列精确边缘点, 得到微孔的精确边缘点集合$ P_f $, 采用最小二乘法进行椭圆拟合, 得到微孔圆心的位置$ O_c $, 实现微孔精确定位.
2.2 微球精确定位
微球的精确定位相对于微孔比较简单, 如图 6所示, 首先沿相机机械运动轴$ Z_M $轴运动, 实现对微球聚焦并记录移动距离$ \Delta h $.因为对微球聚焦后, 外轮廓比较清晰, 噪声较小, 通过逐行扫描微球的边缘, 筛选出梯度大于阈值$ \delta $的点, 由式(15)得到微球的精确边缘点集合$ P_b $, 采用最小二乘法拟合椭圆, 得到微球球心$ O_b $.然后, 根据光轴方向$ Z_C $轴与机械运动轴$ Z_M $轴方向的偏差, 对定位结果进行补偿, 得到微球球心$ O_{bf} $, 见式(16).
$ \begin{equation} \{P_b\} = \{p|\triangledown p>\delta\} \end{equation} $
(15) $ \begin{equation} O_{bf} = O_{b}-\begin{bmatrix}k_x\\k_y\end{bmatrix}\cdot\Delta h \end{equation} $
(16) 其中, $ \delta $为像素点灰度梯度阈值.
3. 微球姿态测量与变换
3.1 微球姿态测量
如图 1所示, 微球的姿态指的是由微球球心$ {O}_W $指向微孔圆心$ {O}_S $的向量$ {\pmb{n}}_{{ws}} $的方向.微球姿态的计算如式(17)所示.
$ \begin{equation} \textbf{n}_{{ws}} = \begin{bmatrix}\Delta x_c\\\Delta y_c\\\Delta z_c \end{bmatrix} = \begin{bmatrix}k\Delta u\\k\Delta v\\-\sqrt{l^2-\Delta x_c^2-\Delta y_c^2}\end{bmatrix} \end{equation} $
(17) $ \begin{equation} l = \sqrt{r_1^2-r_2^2} \end{equation} $
(18) 其中, $ \Delta u $, $ \Delta v $表示微孔圆心$ O_S $与微球球心$ O_W $的分别沿着$ X_C $和$ Y_C $方向的图像坐标的偏差; $ \Delta x_c, \Delta y_c, \Delta z_c $是姿态向量在$ X_C, Y_C, Z_C $轴的分量; k是相机放大倍率, 单位为$ \rm{ \mathit{ μ} m} $/pixel; $ r_1 $和$ r_2 $分别是微球和微孔的半径, 单位为$ \rm{ \mathit{ μ} m} $.
3.2 坐标系$ \{{\pmb C}\} $中微球姿态角
根据第3.1节中定义的微球姿态, 以微球旋转前在坐标系$ \{{\pmb C}\} $中的的姿态单位向量nc1作为$ \{{\pmb C}\} $中参考姿态向量, 微球旋转后在坐标系$ \{{\pmb C}\} $中的姿态单位向量nc2.由于微球具有对称性, 对绕着以微球球心和微孔圆心连线为轴的旋转后微球姿态不变.因此, 微球姿态由nc1转换为nc2, 可以通过依次绕$ X_C $轴旋转$ \alpha $角度和$ Y_C $轴旋转$ \beta $角度实现.
根据第3.1节中微球姿态测量方法, 计算出旋转前后微球的姿态单位向量$ \ {\mathit{\boldsymbol{n}}}_{c1} = [\Delta x_{c1} $, $ \Delta y_{c1} $, $ \Delta z_{c1}]^{\text T} $和$ \ {\mathit{\boldsymbol{n}}}_{c2} = [\Delta x_{c2} $, $ \Delta y_{c2} $, $ \Delta z_{c2}]^{\text T} $. $ \ {\mathit{\boldsymbol{n}}}_{c1} $与$ \ {\mathit{\boldsymbol{n}}}_{c2} $的关系可以由式(19)表示.
$ \begin{equation} \ {\mathit{\boldsymbol{n}}}_{c2} = R_{yc}R_{xc}\ {\mathit{\boldsymbol{n}}}_{c1} \end{equation} $
(19) 其中, $ R_{xc} $和$ R_{yc} $分别为相机坐标系$ \{{\pmb C}\} $中绕着$ X_C $轴和$ Y_C $轴的旋转变换矩阵, 旋转角度分别为$ \alpha $和$ \beta $.
由式(19), 得:
$\begin{array}{l} \left[ {\begin{array}{*{20}{c}} {\Delta {x_{c2}}}\\ {\Delta {y_{c2}}}\\ {\Delta {z_{c2}}} \end{array}} \right] = \quad \\ \left[ {\begin{array}{*{20}{c}} {\cos \beta }&0&{\sin \beta }\\ 0&1&0\\ { - \sin \beta }&0&{\cos \beta } \end{array}} \right]\left[ {\begin{array}{*{20}{c}} 1&0&0\\ 0&{\cos \alpha }&{ - \sin \alpha }\\ 0&{\sin \alpha }&{\cos \alpha } \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {\Delta {x_{c1}}}\\ {\Delta {y_{c1}}}\\ {\Delta {z_{c1}}} \end{array}} \right] \end{array}$
(20) 根据式(21)可以解得微球在坐标系$ \{{\pmb C}\} $中的旋转角度$ \alpha $和$ \beta $, 见式(21).
$ \begin{equation} \begin{cases} \alpha = \arctan{\left(\dfrac{\Delta y_{c1}}{\Delta z_{c1}}\right)} -\arcsin{\left(\dfrac{\Delta y_{c2}}{\sqrt{\Delta y_{c1}^2+ \Delta z_{c1}^2}}\right)} \\ \beta = \arctan{\dfrac{k_1k_2\Delta x_{c2}-k_1^2\Delta z_{c2}}{\Delta x_{c2}(k_1^2+k_2^2)-k_2^2\Delta x_{c2}+k_1k_2\Delta z_{c2}}} \end{cases} \end{equation} $
(21) 其中,
$ \begin{equation} \begin{cases} k_1 = \Delta x_{c1}\\ k_2 = \Delta z_{c1}\cos{\alpha}+\Delta y_{c1}\sin{\alpha} \end{cases} \end{equation} $
(22) 3.3 微球姿态转换到坐标系$ \{{\pmb W}\} $
第3.1节中计算的微球姿态是表示在相机坐标系$ \{{\pmb C}\} $中, 为了便于验证姿态测量的精确性, 本文将其需要转化到世界坐标系$ \{{\pmb W}\} $中.利用第1.3.3节标定出的旋转变换关系矩阵$ J $, 由式(3)和式(21)计算出调整平台的旋转角度$ \theta $和$ \gamma $.利用式(23)计算出微球在世界坐标系$ \{{\pmb W}\} $中的姿态向量.
$ \begin{array}{l} {\mathit{\boldsymbol{n}}_{w2}} = \quad \\ \left[ {\begin{array}{*{20}{c}} {\cos \gamma }&0&{\sin \gamma }\\ 0&1&0\\ { - \sin \gamma }&0&{\cos \gamma } \end{array}} \right]\left[ {\begin{array}{*{20}{c}} 1&0&0\\ 0&{\cos \theta }&{ - \sin \theta }\\ 0&{\sin \theta }&{\cos \theta } \end{array}} \right]{\mathit{\boldsymbol{n}}_{w1}} \end{array} $
(23) 其中, $ \mathit{\boldsymbol{n}}_{w1} $是坐标系$ \{{\pmb C}\} $中已知的参考姿态向量$ \mathit{\boldsymbol{n}}_{c1} $对应在世界坐标系$ \{{\pmb W}\} $中的姿态向量, $ \mathit{\boldsymbol{n}}_{w2} $是当前微球在世界坐标系$ \{{\pmb W}\} $中的姿态向量.
4. 实验与结果
本文采用的实验系统如图 8所示, 包括三路正交布置的显微相机、一个四自由度的调整平台、一路点激光测距传感器、光源系统和一台控制计算机.三路显微相机只采用了垂直布置的一路显微相机, 由GC2450相机和Navitar变焦显微镜头构成, 显微镜头放大倍率0.47 $ \sim $ 4.5, 采集图像帧率为15 FPS, 图像大小为2 448像素$ \times $ 2 050像素.四自由度调整平台包括沿$ Z_W $轴的平移和绕着$ X_P, Y_P, Z_P $的旋转.绕着$ Z_P $轴的旋转分辨率是$ 0.02^\circ $, 绕着$ X_P $轴和$ Y_P $轴的旋转分辨率是$ 0.001^\circ $, 沿着$ Z_W $轴的平移分辨率是1 $ \mu $m.控制计算机的处理器是Intel Core2 DUO, 频率2.8 GHz.
4.1 系统标定
4.1.1 $ {\pmb {Z_M}} $轴和$ {\pmb {Z_C}} $轴的偏差标定
根据第1.3.1节中的方法, 使用一个标记物, 在清晰成像情况下, 沿着相机机械运动轴方向运动固定距离, 计算出比例系数$ k_x $和$ k_y $.多次计算取平均值, 最终计算结果见式(24).
$ \begin{equation} \begin{cases}k_x = 4.1\quad(\text{pixel/mm}) \\k_y = 0\quad (\text{pixel/mm})\end{cases} \end{equation} $
(24) 4.1.2 相机放大倍率$ \pmb{k} $标定
根据第1.3.2节中的方法, 本文通过观测主动运动的目标的方式标定出相机放大倍率$ k $, 标定结果见式(25).
$ \begin{equation} k = 3.94\quad (\rm{ \mathit{ μ} m/pixel}) \end{equation} $
(25) 4.1.3 坐标系$ \{{\pmb W}\} $与$ \{{\pmb C}\} $转换关系$ \pmb J $标定
通过对调整平台的主动旋转运动, 根据式(19) $ \sim $ (22), 计算出$ n $组在坐标系$ \{{\pmb C}\} $中的旋转角度, 得到式(6)所示矩阵$ X $, 同时根据调整平台实际的旋转角度获得对应的$ \{{\pmb W}\} $中的旋转角度, 得到式(7)所示矩阵$ Y $, 使用最小二乘法, 根据式(4) $ \sim $ (7), 计算得到$ J $见式(26).
$ \begin{equation} J = \begin{bmatrix}0.0757&0.8940\\1.1060&-0.0372\end{bmatrix} \end{equation} $
(26) 4.2 微孔和微球精确定位实验
4.2.1 微孔精确定位实验
根据第2.1节中的方法, 可以实现对微孔的精确定位, 精度较好. 图 9为微孔的边缘点提取结果, 其中沿着微孔径向分布的点表示粗提取的微孔边缘点, 在粗提取的边缘点中存在一个半径较大的圆点表示精确提取的微孔边缘点, 并据此拟合微孔.
图 10为微孔精确定位结果.从图 10中可以看出, 因加工精度较低, 微孔周围存在很多环状纹理, 给微孔定位带来很大干扰.其中一个半径较大的圆是直接采用Hough变换提取的圆, 很明显由于受到噪声的干扰, 直接采用Hough提取的圆其位置不够准确, 与实际的微孔存在明显的偏差; 半径较小的圆是采用本文提出的由粗到精的微孔定位算法得到的椭圆.可见, 虽然微孔周围存在较大噪声, 但是采用本文提出微孔定位算法, 依然能够实现微孔的精确定位, 说明了上述算法的有效性.同时, 由于采用了下采样的方法, 检测算法运行时间与直接进行Hough变换相比, 由273 ms降低到139 ms, 运行效率明显提高.
4.2.2 微球精确定位实验
根据第2.2节中的微球精确定位算法可以实现对微球的精确定位, 结果如图 11所示.从图 11中可以看出, 对微球聚焦后, 边缘很清晰, 图中实线画出的椭圆表示微球定位结果, 可以看出检测出的椭圆的位置与真实的位置十分接近, 检测十分准确.微球定位算法耗时为141 ms.一次测量既需要微孔定位, 又需要微球定位, 再加上数据读取与预处理, 整体运行时间为498 ms.
4.3 微球姿态检测实验
令$ X_W $轴保持不变, 连续绕$ Y_W $轴旋转, 间隔为0.5度, 根据第4.1节中的微球姿态测量方法, 计算出各个情况下微球的姿态, 如表 1所示, 其中姿态向量进行了归一化处理, 绘制向量如图 12所示.由于微球是绕着$ Y_W $轴旋转, 姿态向量的$ \Delta x_c $分量应近似保持不变, $ \Delta y_c $分量应连续递增.从表 1中数据可以看出, $ \Delta x_c $几乎保持不变, $ \Delta y_c $连续递增, 因此从定性分析的角度, 验证了微球姿态测量方法的正确性.
表 1 在坐标系{C}中的微球姿态向量Table 1 The pose vector of micro-sphere in {C}编号 1 2 3 4 5 ∆xc 0.0350 0.0362 0.0366 0.0370 0.0375 ∆yc 0.0186 0.0254 0.0320 0.0378 0.0439 ∆zc -0.9992 -0.9990 -0.9988 -0.9985 -0.9983 4.4 微球姿态坐标变换实验
根据第3.2节中的方法, 可以计算出微球在$ \{{\pmb C}\} $中和$ \{{\pmb W}\} $中姿态的测量值$ \mathit{\boldsymbol{n}}_\text{c2} $和$ \mathit{\boldsymbol{n}}_{w2} $, 同时根据从调整平台中读取由参考姿态调整到当前姿态实际的旋转量$ \theta _r $和$ \gamma _r $, 根据式(23)计算出当前姿态在$ \{{\pmb W}\} $中的真实值$ \mathit{\boldsymbol{n}}_{wr} $.根据式(27)计算出实际值与测量值之间的偏差$ \theta _e $, 即误差.
$ \begin{equation} \theta_e = \arccos{\left(\frac{\mathit{\boldsymbol{n}}_{w2}\cdot \mathit{\boldsymbol{n}}_{wr}}{||\mathit{\boldsymbol{n}}_{w2}||\cdot||\mathit{\boldsymbol{n}}_{wr}||}\right)} \end{equation} $
(27) 在实际中, 由于参考姿态$ \mathit{\boldsymbol{n}}_\text{c1} $对应的在$ \{{\pmb W}\} $中的姿态$ \mathit{\boldsymbol{n}}_{w1} $难以直接获得, 因此我们不妨假设$ \mathit{\boldsymbol{n}}_{w1} $与$ Z_W $轴平行, 因此, 根据上述方法, 使微球连续旋转, 以调整平台为初始状态时微球的姿态为参考姿态, 分别计算出在不同旋转角度情况下, 微球姿态误差$ \theta _e $.
1) 绕$ Y_W $轴旋转
$ X_W $轴保持不变, 分别绕着$ Y_W $轴旋转$ \pm $3, $ \pm $2, $ \pm $1度, 计算出微球姿态的实际值与测量值, 如图 13所示图中末端是圆圈的线表示真实值, 末端是星号的线表示测量值, 最大误差0.18度, 平均误差0.09度. 表 2为旋转角真实值与测量值对比.
表 2 绕YW轴旋转的实验结果Table 2 The results of rotating along with YW axis绕XW, YW旋转角(度) 编号 真实值 测量值 1 0, -3 -0.04, -3.0 2 0, -2 -0.02, -2.0 3 0, -1 -0.04, -1.0 4 0, 1 0.06, 1.1 5 0, 2 -0.00, 2.2 6 0, 3 0.12, 3.1 2) 绕$ X_W $轴旋转
$ Y_W $轴保持不变, 分别绕着$ X_W $轴旋转$ \pm $5, $ \pm $4, $ \pm $3, $ \pm $2, $ \pm $1度, 计算出微球姿态的实际值与测量值, 如图 14所示. 图 14中末端是圆圈的线表示真实值, 末端是星号的线表示测量值, 最大误差0.10度, 平均误差0.06度. 表 3为旋转角真实值与测量值对比.
表 3 绕XW轴旋转的实验结果Table 3 The results of rotating along with XW axis绕XW, YW旋转角(度) 编号 真实值 测量值 1 -5, 0 -4.9, -0.03 2 -4, 0 -3.9, 0.02 3 -3, 0 -2.9, -0.01 4 -2, 0 -2.0, -0.02 5 -1, 0 -1.0, -0.05 6 1, 0 1.0, -0.02 7 2, 0 2.0, -0.04 8 3, 0 3.0, 0.01 9 4, 0 3.9, 0.01 10 5, 0 4.9, -0.03 3) 同时绕$ X_W $轴和$ Y_W $轴旋转
同时绕$ X_W $和$ Y_W $轴旋转$ (-5, -3) $、$ (-3, -2) $、$ (-1, -1) $、(1, 1)、(3, 2)、(5, 3)度, 计算出微球姿态的实际值与测量值, 如图 15所示. 图 15中末端是圆圈的线表示真实值, 末端是星号的线表示测量值, 最大误差0.30度, 平均误差0.18度. 表 4为旋转角真实值与测量值对比.
图 15 同时绕XW和YW轴旋转后的姿态向量Fig. 15 The pose vector after rotating along with XW and YW axis, simultaneously表 4 同时绕XW、YW轴旋转的实验结果Table 4 The results of rotating along with XW, YW axis, simultaneously绕XW, YW旋转角(度) 编号 真实值 测量值 1 -5, -3 -4.8, -3.1 2 -3, -2 -3.0, -2.1 3 -1, -1 -1.0, -1.1 4 1, 1 1.0, 0.9 5 3, 2 3.0, 1.8 6 5, 3 4.8, 2.8 通过三组实验结果可以看出本文提出的姿态测量算法误差最大0.30度, 充分说明了算法的有效性和准确性.
在文献[13]中提出了一种微孔姿态检测算法, 绕着$ X $轴旋转$ \pm5, \pm4, \pm3, \pm2, \pm1 $度, 测量值与实际值最大误差不超过0.7度.而根据第5.4节中绕着$ X_W $轴旋转同样角度时, 最大误差仅为0.10度, 平均误差0.06度; 并且当同时绕着$ X_W $轴和$ Y_W $轴进行大角度旋转时, 旋转角度与文献[13]中有了较大增加, 而最大误差仅为0.30度, 平均误差0.18度.因此, 与文献[13]中使用两台显微相机, 通过主动运动进行测量的方法相比, 本文方法只采用一台显微相机, 成本较低, 更加高效, 且精度明显提高, 具有较大优势.
5. 结论
本文提出了一种基于单目显微视觉的微球姿态高精度测量方法.设计了一种由粗到精的微孔检测算法, 实现了高精度的微孔定位.通过对相机光轴方向的标定, 在相机运动后对微球图像坐标进行补偿, 提高了在相机坐标系下的微球定位精度.通过对微球和微孔的精确定位, 计算出微球球心与微孔圆心的空间相对位置, 实现了相机坐标系下高精度的微球姿态测量.同时, 根据标定出的相机坐标系与调整平台坐标系之间的旋转关系, 将微球姿态转换到调整平台坐标系.根据坐标系$ \{{\pmb W}\} $中微球姿态的真实值与测量值之间的偏差, 验证姿态测量方法精度.实验结果表明, 提出的方法可以实现微球姿态精确测量, 最大姿态误差0.30度, 与文献[13]中的方法相比, 精度明显提高, 从而验证了本文方法的有效性.
在未来, 我们将致力于研究适用于复杂零件的精确、鲁棒的姿态测量算法.
-
图 15 同时绕XW和YW轴旋转后的姿态向量
Fig. 15 The pose vector after rotating along with XW and YW axis, simultaneously
表 1 在坐标系{C}中的微球姿态向量
Table 1 The pose vector of micro-sphere in {C}
编号 1 2 3 4 5 ∆xc 0.0350 0.0362 0.0366 0.0370 0.0375 ∆yc 0.0186 0.0254 0.0320 0.0378 0.0439 ∆zc -0.9992 -0.9990 -0.9988 -0.9985 -0.9983 
下载: 导出CSV
表 2 绕YW轴旋转的实验结果
Table 2 The results of rotating along with YW axis
绕XW, YW旋转角(度) 编号 真实值 测量值 1 0, -3 -0.04, -3.0 2 0, -2 -0.02, -2.0 3 0, -1 -0.04, -1.0 4 0, 1 0.06, 1.1 5 0, 2 -0.00, 2.2 6 0, 3 0.12, 3.1
下载: 导出CSV
表 3 绕XW轴旋转的实验结果
Table 3 The results of rotating along with XW axis
绕XW, YW旋转角(度) 编号 真实值 测量值 1 -5, 0 -4.9, -0.03 2 -4, 0 -3.9, 0.02 3 -3, 0 -2.9, -0.01 4 -2, 0 -2.0, -0.02 5 -1, 0 -1.0, -0.05 6 1, 0 1.0, -0.02 7 2, 0 2.0, -0.04 8 3, 0 3.0, 0.01 9 4, 0 3.9, 0.01 10 5, 0 4.9, -0.03
下载: 导出CSV
表 4 同时绕XW、YW轴旋转的实验结果
Table 4 The results of rotating along with XW, YW axis, simultaneously
绕XW, YW旋转角(度) 编号 真实值 测量值 1 -5, -3 -4.8, -3.1 2 -3, -2 -3.0, -2.1 3 -1, -1 -1.0, -1.1 4 1, 1 1.0, 0.9 5 3, 2 3.0, 1.8 6 5, 3 4.8, 2.8
下载: 导出CSV
-
[1] Liu S, Xu D, Zhang D, Zhang Z. High precision automatic assembly based on microscopic vision and force information. IEEE Transactions on Automation Science and Engineering, 2016, 13(1):382-393 doi: 10.1109/TASE.2014.2332543 [2] Liu S, Xu D, Liu F, Zhang D, Zhang Z. Relative pose estimation for alignment of long cylindrical components based on microscopic vision. IEEE/ASME Transactions on Mechatronics, 2016, 21(3), 1388-1398 doi: 10.1109/TMECH.2015.2506906 [3] Jin P, Matikainen P, Srinivasa S S. Sensor fusion for fiducial tags: highly robust pose estimation from single frame RGBD. In: Proceedings of the 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems. Vancouver, Canada: IEEE, 2017. 5770-5776 [4] Zheng W, Yan B, Wang Z. Multi-sensor fusion based pose estimation for unmanned aerial vehicles on ships. In: Proceedings of the 2016 IEEE International Conference on Information and Automation. Ningbo, China: IEEE, 2016. 648-653 [5] Chen Y, Fu M, Yang Y, Song W. A method of head pose estimation based on active shape model and stereo vision. In: Proceedings of the 33rd Chinese Control Conference. Nanjing, China: IEEE, 2014. 8277-8282 [6] Su J, Huang X, Wang M. Pose detection of partly covered target in micro-vision system. In: Proceedings of the 10th World Congress on Intelligent Control and Automation. Beijing, China: IEEE, 2012. 4721-4725 [7] Zhang P, Xu D, Wu B. Pose estimation for plane based on monocular microscope vision system. In: Proceedings of the 32nd Chinese Control Conference. Xi'an, China: IEEE, 2013. 5687-5692 [8] Jiang C, Mills J K. Planar cell orientation control system using a rotating electric field. IEEE/ASME Transactions on Mechatronics, 2015, 20(5):2350-2358 doi: 10.1109/TMECH.2014.2377116 [9] Liu S, Li Y, Xing D, Xu D, Su H. An efficient insertion control method for precision assembly of cylindrical components. IEEE Transactions on Industrial Electronics, 2017, 64(12):9355-9365 doi: 10.1109/TIE.2017.2711551 [10] Park H, Park J, Lee D H, Park J H, Baeg M H, Bae J H. Compliance-based robotic peg-in-hole assembly strategy without force feedback. IEEE Transactions on Industrial Electronics, 2017, 64(8):6299-6309 doi: 10.1109/TIE.2017.2682002 [11] Das A N, Popa D O. Precision evaluation of modular multiscale robots for peg-in-hole microassembly tasks. In: Proceedings of the 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems. San Francisco, USA: IEEE, 2011. 1699-1704 [12] 史亚莉, 张正涛, 徐德.跨尺度微管微球三维半自动装配点胶系统.光学精密工程, 2015, 23(11):3121-3128 http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201511016Shi Ya-li, Zhang Zheng-tao, Xu De. 3D semi-automatic assembly and dispensing system for trans-scale parts of micro-tube and micro-sphere. Optics and Precision Engineering, 2015, 23(11):3121-3128 http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201511016 [13] Li F, Xu D, Zhang Z, Shi Y, Shen F. Pose measuring and aligning of a micro glass tube and a hole on the micro sphere. International Journal of Precision Engineering and Manufacturing, 2014, 15(12):2483-2491 doi: 10.1007/s12541-014-0618-0 期刊类型引用(5)
1. 兰建军. 基于单目视觉的光电跟踪传感器设计. 仪表技术与传感器. 2022(08): 20-24 . 
百度学术2. 李基顺，兰天，蒋泓杨，黄发千，邹胜友. 高原输变电工程电网设备安装姿态自动测量方法. 微型电脑应用. 2022(10): 97-100 . 百度学术3. 高兴华，董登峰，王博，周维虎. 芯片级原子钟核心器件识别与位姿测量. 半导体光电. 2021(01): 136-143 . 百度学术4. 曲吉旺，徐德，张大朋，许家忠. 基于两台显微相机主动运动的微球孔姿态高精度测量方法. 自动化学报. 2021(06): 1315-1326 . 本站查看5. Ying Li，Xi-Long Liu，De Xu，Da-Peng Zhang. Orientation Measurement for Objects with Planar Surface Based on Monocular Microscopic Vision. International Journal of Automation and Computing. 2020(02): 247-256 . 必应学术其他类型引用(6)
-
下载:
计量
- 文章访问数: 1888
- HTML全文浏览量: 520
- PDF下载量: 426
- 被引次数: 11
