High Precision Pose Measurement of Microsphere-hole Based on Active Movements of Two Microscopic Cameras
-
摘要: 在一些微装配任务中, 对微器件姿态的测量是至关重要的一步. 带有微孔的球形微器件, 特征较少, 姿态测量困难. 为此, 本文提出一种基于双目显微视觉的微球孔姿态高精度测量方法. 设计了微球/微孔边缘提取方法, 实现了微球球心和微孔孔心的精确定位. 通过对两路显微相机聚焦轴方向的标定, 弥补了由相机聚焦轴运动引入的测量误差, 提高了微球孔姿态的测量精度. 通过两路倾斜正交的显微相机的主动运动, 计算出微球孔姿态向量在相机运动坐标系中的分解角. 根据相机运动坐标系与微球调整平台坐标系间的角度转换矩阵, 将相机运动坐标系中的分解角转换为微球调整平台坐标系中的旋转角, 从而计算出精确的微球孔姿态向量. 实验结果表明, 微球孔姿态测量的最大误差为0.08°, 验证了本文方法的有效性.Abstract: In some microassembly tasks, the pose detection of micro-components is a crucial step. It is very difficult to measure the poses of spherical micro-components with micro-holes due to the lack of efficient features. A high-precision pose measurement method for the micro-hole on a micro-sphere is proposed based on binocular micro-vision. The edge extraction methods for the micro-sphere and micro-hole are designed. The image coordinates of the micro-sphere center and micro-hole center are obtained in high accuracy. The focusing movement directions of the two microscopic cameras are calibrated, which can compensate the measurement error caused by the focusing motions to improve the measurement accuracy of micro-hole＇ s pose. Through the active motions of two inclined orthogonal microscopic cameras, the decomposed angles of the micro-hole＇ s vector in the two frames of motion mechanisms for microscopic cameras are calculated. The decomposed angles are transformed to the rotation angles of the micro-sphere adjusting platform according to the angle transformation matrix from the two frames of motion mechanisms for microscopic cameras to the frame of micro-sphere adjusting platform. The micro-hole＇ s vector is computed with the rotation angles in high accuracy. The experimental results show that the maximum measurement error of the rotation angles indicating the micro-hole＇ s pose is 0.08 degrees. It verifies the effectiveness of the proposed method.
-
自20世纪80年代至今, 微机电系统得到了飞速的发展, 微装配与微操作技术也取得了较大的进步. 目前, 微装配仍然是一个热点领域, 如何将不同形状不同材质的微小型零件进行高精密装配, 仍然存在很多需要解决的问题[1]. 其中, 微器件姿态的测量在微装配中是一个非常重要的方面, 是后续的运动控制、姿态调整的基础, 受到研究人员的普遍重视. 目前, 已有大量关于姿态测量的文献. 例如, 文献[2]利用立体视觉测量了超音速风洞中滚动目标的位姿, 通过删除不匹配点, 提高了测量精度. 文献[3]提出了一种利用两台机器人的机载相机估计目标位置的方法, 利用两台相机图像中目标的匹配特征点计算目标的3D位置, 相当于立体视觉. 针对非基准复杂零件的位姿测量问题, 文献[4]中提出了一种基于迭代优化的视觉测量方法, 不需要特征提取, 具有较高的测量精度, 但每次测量耗时近20 s. 文献[5]提出了一种基于卷积神经网络的端到端的位姿测量方法, 实现了棋盘格目标的位姿测量. 文献[6]设计了基于三轴陀螺仪、三轴加速度计和三轴磁强计的姿态测量系统, 通过多传感器数据融合求取无人机姿态, 并将加速度计信任度引入基于四元数的互补滤波算法, 增加了无人机姿态测量的精度. 文献[7]提出了一种融合RGB和深度传感器信息的姿态估计方法, 提高了姿态估计对尺寸、光照和噪声的鲁棒性, 提高了复杂场景中方形基准标记的姿态估计精度. 文献[8]中提出了一种基于单位四元数的立体视觉初始姿态估计方法, 并对姿态估计精度进行了预测和分析. 通过对机器人姿态的旋转和平移的相关分析, 分离出旋转协方差和平移协方差, 有效地实现协方差估计, 实现了姿态的精确估计. 文献[9]提出了一种基于3D激光雷达和立体视觉信息融合的非合作目标姿态测量及运动估计方法, 实现了对空间非合作目标姿态的高精度测量.
上述姿态估计皆可实现对目标姿态的准确测量, 但皆属于宏观测量, 且其中有些测量方法需要多种传感器, 通过信息融合提高姿态测量的精度. 在微装配中, 由于显微视觉视野小景深小, 操作空间小, 不同的显微相机几乎没有公共视野, 故上述姿态测量方法不适用于微装配. 为此, 研究人员提出了一些基于显微视觉的目标姿态测量的方法. 文献[10]提出了一种基于Hough变换和模板匹配的目标定位和姿态检测方法. 该方法能精确定位目标并获得其倾斜角度. 文献[11]提出了一种基于单目显微视觉系统的平面位姿估计算法, 用于基于视觉引导下的微零件加工. 利用基于PnP (Perspective-n-point)算法的线性方法估计姿态的初始值, 然后利用正交迭代算法对姿态进行优化, 可保证姿态矩阵的单位正交性. 文献[12]提出了基于双目视觉检测针状目标姿态的方法, 提取针状目标特征点, 标定空间三维坐标系与二维图像之间的转换矩阵, 得到目标中轴线上一系列点的三维坐标, 采用最小二乘法拟合直线, 得出针状目标的姿态向量, 测量误差为
$\pm $ 0.3°. 文献[13]提出了一种基于三路显微视觉系统的微小零件在线检测与装配策略, 提出了基于图像特征的微零件相对位姿测量算法, 实现了复杂的微小零件装配. 文献[14]提出了一种利用单台显微相机测量凸台零件姿态的方法, 利用凸台的阴影估计零件的姿态, 方向向量均方根误差约0.2°. 文献[15]提出了一种基于显微视觉的微胶接自动装配方法, 利用点特征测量两个器件之间的相对位置偏差, 采用视觉伺服完成微装配任务. 文献[16]提出了一种基于支持向量机的微器件识别方法, 利用Broyden方法在线估计表征位置偏差的图像雅可比矩阵, 实现了基于显微视觉的微器件识别、定位和抓取. 文献[17]提出了一种基于轮廓基元的微器件体征提取方法, 基于模板匹配实现轮廓基元与微器件图像的对准, 从而准确提取出图像特征. 对于3台显微相机构成的视觉测量系统, 基于上述提取的点和线特征, 实现了微器件的高精度姿态测量, 其中位置均方根误差为3 μm, 方向均方根误差为0.05°.但上述方法无法实现带孔球类目标的姿态测量. 在一些球形零件的微装配中, 对微零件三维姿态的精确测量是完成装配任务的关键. 文献[18]提出了一种基于单目显微视觉测量微球孔姿态的方法, 通过相机的主动运动完成对微球球心与微孔孔心的聚焦, 获得球心与孔心的图像坐标并转换到微管操作手所在的运动坐标系中, 计算出微球孔姿态向量. 此方法并未对聚焦轴方向的运动进行标定, 相机沿聚焦轴运动后特征点的图像坐标存在误差, 导致姿态测量不够精确. 针对显微视觉景深小的特点, 文献[19]中提出了一种基于双目显微视觉的微球孔姿态测量方法, 通过显微相机主动运动测量出微球球心到微孔的向量所在平面的法向量, 利用两台显微相机测量出的两个平面的法向量叉乘, 获得微球球心到微孔的姿态向量, 测量误差为0.7°, 精度有待进一步提高. 文献[20]中提出了一种基于单目显微视觉的微球孔姿态测量方法, 通过对微球与微孔的精确定位, 计算出微球心与微孔心的空间相对位置关系, 并由此计算出微球孔姿态, 测量精度为0.3°. 此方法中显微相机竖直安装, 位于微球调整平台的正上方, 由于显微视觉景深小视野小的特点, 相机距离微球较近, 限制了操作空间的高度, 且微球零件与其他零件配合安装时, 很容易遮挡视野, 不利于装配操作.
在惯性约束核聚变的微靶制靶过程中, 需要对微球和微管进行高精度对接. 其中, 微球孔的高精度姿态测量是影响装配质量的核心问题, 如何进一步提高微球孔姿态的测量精度是亟待解决的难题. 针对上述微球孔姿态测量方法的不足, 本文在倾斜双目显微视觉引导下, 通过相机的主动运动, 实现了微球孔姿态的高精度测量. 本文的主要贡献包括: 1) 通过相机的主动运动, 分别将微球中心和微孔中心的图像调整到光轴中心点的位置, 利用高精度的主动运动量计算微球孔的姿态. 2) 对相机运动轴进行了标定, 考虑了相机运动轴与相机光轴不平行引起的运动量, 并对用于姿态计算的相机运动量进行了修正.
本文内容安排如下: 第1节介绍系统构成以及系统标定方法, 包括相机运动与图像特征变化之间的图像雅可比矩阵标定、相机光轴与聚焦运动轴的标定、相机运动坐标系与微球调整平台坐标系间的角度转换矩阵的标定、相机光轴中心点的标定. 第2节给出了微球微孔的精确定位方法, 在图像空间聚焦以及定位微球和微孔, 得到其图像坐标. 第3节为微球孔的姿态测量方法, 介绍了测量的原理与步骤. 第4节为实验与结果, 进行了微球孔测量实验, 并与已有的方法进行了对比. 第5节为结论, 对全文进行了总结.
1. 系统构成及标定
1.1 带孔微球零件
目标零件为直径500 μm的微球, 球上微孔直径为8 μm. 微球示意图如图1所示. 球心孔心连线与微孔平面法向量一致, 微球微孔尺寸过小, 常规视觉因分辨率不足无法对其进行有效成像并测量. 此外, 微球微孔尺寸相差数十倍, 微孔与微球边缘无法处于同一视野之内, 需使用变倍显微相机对其进行跨尺度观测并测量.
1.2 平台系统构成
实验平台示意图如图2所示. 该平台包含两路倾斜正交的显微视觉, 一台微球调整平台. 显微视觉由显微相机、运动机构构成, 显微相机的镜头可改变放大倍率, 运动机构包含X、Y、Z方向及聚焦轴方向四自由度的运动轴. 微球调整平台为可绕X轴与Y轴旋转的两自由度运动机构. 该平台的坐标系如图3所示.
图3中,
$\{C1\} $ 表示显微相机1的相机坐标系,${{X}} _{c1} $ 对应于其图像坐标水平轴方向,${{Y}} _{c1} $ 对应于其图像坐标竖直轴方向,${{Z}} _{c1}$ 为其光轴方向.$\{C2\} $ 表示显微相机2的相机坐标系,${{X}} _{c2}$ 对应于其图像坐标水平轴方向,${{Y}} _{c2}$ 对应于其图像坐标竖直轴方向,${{Z}} _{c2}$ 为其光轴方向.$\{M1\} $ 表示显微相机1运动机构坐标系,$\{M2\} $ 表示显微相机2运动机构坐标系,$\{W\} $ 表示微球调整平台坐标系. 三个坐标系$\{M1\} $ 、$\{M2\} $ 和$\{W\} $ 的X轴、Y轴、Z轴分别相互平行.1.3 系统标定
1.3.1 相机运动与图像变化关系的标定
因微孔尺寸远远小于微球尺寸, 观测微孔与观测微球时的图像分辨率具有很大差异, 需要在不同倍率下观测. 因此, 需要在不同倍率下对相机进行标定. 此处以显微相机1初始倍率的标定为例进行说明.
首先完成显微相机1对标定物的定位及聚焦, 协调运动显微相机1运动机构的
${{X}} _{m1},\;$ ${{Y}} _{m1},\;$ ${{Z}} _{m1}$ 轴, 使标定物始终处于清晰平面内, 记录三轴运动量$(\Delta x_1 ,\;$ $\Delta y_1 ,\;$ $ \Delta z_1) ,$ 记录特征点的图像变化量$(\Delta u_1 ,\;$ $\Delta v_1 ).$ 以$(\Delta x_1 ,\;$ $\Delta y_1 ,\;$ $\Delta z_1 ,\;$ $\Delta u_1 ,\;$ $ \Delta v_1 )$ 作为一组数据, 重复$ n $ 次, 得到$ n $ 组数据, 获得式(1).$$ U = {J_{1s}}Y \hspace{135pt}$$ $$ Y = \left[ {\begin{array}{*{20}{c}} \begin{array}{l} \Delta {x_1}\\ \Delta {y_1} \end{array}&\begin{array}{l} \Delta {x_2}\\ \Delta {y_2} \end{array}&\begin{array}{l} ...\\ ... \end{array}&\begin{array}{l} \Delta {x_n}\\ \Delta {y_n} \end{array}\\ {\Delta {z_1}}&{\Delta {z_2}}&{...}&{\Delta {z_n}} \end{array}} \right] $$ $$ U = \left[ {\begin{array}{*{20}{c}} {\Delta {u_1}}&{\Delta {u_2}}&{...}&{\Delta {u_n}}\\ {\Delta {v_1}}&{\Delta {v_2}}&{...}&{\Delta {v_n}} \end{array}} \right] \hspace{43pt} $$ (1) 式中,
$ J_{1s} $ 是初始倍率下显微相机1运动量到图像特征变化的图像雅可比矩阵,$ Y $ 是$ n $ 次运动形成的运动量矩阵,$ U $ 是$ n $ 次运动形成的特征点图像变化量矩阵. 利用最小二乘法, 可以求得式(1)中的雅可比矩阵$ J_{1s} $ , 见式(2).$$ {J_{1s}} = U{Y^{\rm T}}(Y{Y^{\rm T}}){^{ - 1}}\ $$ (2) 大倍率下显微相机1运动量到图像特征变化的图像雅可比矩阵
$ J_{1b} $ 的标定方法与初始倍率下的图像雅可比矩阵$ J_{1s} $ 的标定方法相同. 显微相机2初始倍率与大倍率下的由相机运动量到图像特征变化的图像雅可比矩阵$J_{2s} ,\;$ $ J_{2b} $ 的标定方法与显微相机1的标定方法相同.1.3.2 相机光轴及聚焦运动轴的标定
在显微相机1初始倍率下, 对标定物进行聚焦, 在标定物保持清晰的情况下, 两次以不同方向对显微相机1的
${{X}} _{m1},\;$ ${{Y}} _{m1} ,\;$ ${{Z}} _{m1}$ 轴进行运动, 记录其移动量分别为$(\Delta x_{11},\;$ $\Delta y_{11} ,\;$ $ \Delta z_{11} )$ 和$(\Delta x_{12} ,\;$ $\Delta y_{12},\;$ $ \Delta z_{12} )$ . 光轴单位方向向量的计算如式(3)所示, 光轴单位方向向量与${{Y}} _{m1}$ 轴夹角的计算如式(4)所示.$$ {{{n}}_{1s}}\;{\rm{ = }}\left[ {\begin{array}{*{20}{c}} {{n_{1sx}}}\\ {{n_{1sy}}}\\ {{n_{1sz}}} \end{array}} \right] = \frac{{{{{v}}_1} \times {{{v}}_2}}}{{\left| {{{{v}}_1}} \right|\left| {{{{v}}_2}} \right|}} $$ (3) $$ {\alpha _{c1}}\;{\rm{ = arctan}}\left(\frac{{ - {n_{1sz}}}}{{{n_{1sy}}}}\right) \hspace{36pt}$$ (4) 式中,
${{{n}}}_{1s}$ 为初始倍率下显微相机1光轴单位方向向量,${{v}}_{1} = [ \Delta x_{11} , \; \Delta y_{11} , \; \Delta z_{11} ] ^{\rm T},\;$ ${{v}}_{2} = [ \Delta x_{12} ,\; \Delta y_{12} ,$ $\Delta z_{12} ] ^{\rm T} $ 为${{n}}_{1s}$ 与${{Y}} _{m1}$ 轴的夹角. 显微相机1大倍率下的光轴单位方向向量${{n}}_{1b}$ 的标定方法与其在初始倍率下光轴单位方向向量的标定方法相同. 显微相机2初始倍率与大倍率下光轴单位方向向量$ {{n}}_{2s} $ 和$ {{n}}_{2b} $ 的标定方法与显微相机1的标定方法相同.${{n}}_{2s}$ 与${{X}} _{m1}$ 轴的夹角$ \alpha_{c2} $ 见式(5).$$ {\alpha _{c{\rm{2}}}}\;{\rm{ = arctan}}\frac{{ - {n_{{\rm{2}}sz}}}}{{{n_{2sx}}}} $$ (5) 相机聚焦运动轴的标定在初始倍率下进行, 显微相机可以运动较大距离, 因而标定结果具有较高精度. 初始倍率下移动显微相机1对标定物进行定位及聚焦, 使相机聚焦运动轴移动合适距离, 通过
${{X}} _{m1},\;$ ${{Y}} _{m1},\;$ ${{Z}} _{m1}$ 三个运动轴的协调运动使相机沿相机光轴方向运动, 对标定物重新聚焦, 记录三个运动轴的运动量$(\Delta x _{1},\;$ $\Delta y _{1} ,\;$ $ \Delta z _{1} )$ , 并记录相机运动前后标定物特征点的图像偏差$(\Delta u _{1},\;$ $ \Delta v _{1} )$ . 根据图像偏差$(\Delta u _{1} ,\;$ $ \Delta v _{1} )$ , 利用式(6)计算出对应的位移向量. 利用位移矢量相加得到聚焦运动轴的方向, 见式(7).$$ {X_t} = {J_1}^{\rm{ + }}{[\begin{array}{*{20}{c}} {\Delta {u_1}}&{\Delta {v_1}} \end{array}]^{\mathop{\rm T}\nolimits} } $$ (6) 式中,
${J_1}^{\rm{ + }} = {(J_1^{\rm{T}}{J_1})^{ - 1}}J_1^{\rm{T}},\;$ 是$ {J_1} $ 的广义逆.$$ {{{V}}_m} = {X_{{t}}} + {{{n}}_{1s}} $$ (7) 式中,
${{{n}}_{1s}} = {\left[ {\Delta {x_1},\;\Delta {y_1},\;\Delta {z_1}} \right]}^{\rm T}$ 为光轴方向向量,${{V}} _{m}$ 为相机聚焦轴的运动向量. 将${{V}} _{m}$ 归一化后, 得到显微相机1聚焦运动轴的单位方向向量${{ V}}_{m1}.\;$ 显微相机2初始倍率下的聚焦运动单位方向向量${{V}}_{m2}$ 的标定方法与显微相机1的标定方法相同.1.3.3 运动机构坐标系与微球调整平台坐标系之间的角度转换关系标定
由于微球调整平台与两台显微相机运动机构之间存在安装误差, 其坐标轴不完全平行. 微球孔姿态向量在微球调整平台坐标系中的旋转角与在相机运动机构坐标系中测量出的分解角之间的转换关系需要标定.
将微球孔姿态向量在
$ \{W\}$ 坐标系中分别绕${{X}} _{W}$ 轴与${{Y}} _{W}$ 轴旋转$ \alpha _{1} $ 和$ \beta _{1} $ 度, 分别在$\{W2\} $ 坐标系与$\{C1\} $ 坐标系中测量该向量的分解角$ \theta _{x} $ 和$ \theta _{y} $ , 测量方法如第3.2节所述. 将($\alpha _{1} ,\;$ $\beta _{1} ,\;$ $\theta _{x} ,\;$ $ \theta _{y} $ )作为一组数据, 重复$ n $ 次, 得到$ n $ 组数据, 获得式(8).$$ \chi = {J_{\rm{3}}}\theta \hspace{80pt}$$ $$ \chi =\left[ {\begin{array}{*{20}{c}} {{\alpha _{\rm{1}}}}&{{\alpha _{\rm{2}}}}&{\cdots}&{{\alpha _{{n}}}}\\ {{\beta _{\rm{1}}}}&{{\beta _{\rm{2}}}}&{\cdots}&{{\beta _{{n}}}} \end{array}} \right] \hspace{8pt}$$ $$ \theta =\left[ {\begin{array}{*{20}{c}} {{\theta _{x1}}}&{{\theta _{x2}}}&{\cdots}&{{\theta _{xn}}}\\ {{\theta _{y1}}}&{{\theta _{y2}}}&{\cdots}&{{\theta _{yn}}} \end{array}} \right] $$ (8) 式中,
$ \theta $ 为微球孔姿态向量在相机运动机构坐标系中$ n $ 次测量结果形成的测量角度矩阵, 为微球孔姿态向量在微球调整平台坐标系中$ n $ 次旋转量形成的旋转角度矩阵,$ J_{3} $ 为相机运动机构坐标系与微球调整平台坐标系之间的旋转角度转换矩阵. 利用最小二乘法可以求得式(8)中的角度转换关系矩阵, 见式(9).$$ {J_{\rm{3}}} = \chi {\theta ^{\rm T}}{(\theta {\theta ^{\rm T}})^{ - 1}} $$ (9) 1.3.4 相机光轴中心点的标定
由于相机与变倍镜头存在安装误差, 光轴中心点与图像中心点并不重合. 假设改变相机倍率时, 光轴中心点的图像坐标不变. 因此, 可以将相机变倍后图像坐标不变的点作为相机光轴中心点.
将微孔中心点作为目标点, 光轴中心点的标定步骤如下:
步骤 1. 初始倍率下移动相机, 使微孔中心点图像坐标与图像中心点图像坐标一致.
步骤 2. 调整相机倍率对目标点进行放大, 移动相机沿光轴方向运动, 再次对微孔中心点进行聚焦, 并得到运动前后微孔中心点的图像坐标偏差(
$\Delta u ,$ $ \Delta v $ ), 通过相机运动量到图像特征变化的图像雅可比矩阵$J_{1b} ,$ $ J_{2b} $ 的伪逆, 计算出相机运动量$k [ \Delta x , \; \Delta y, \; $ $ \Delta z ] ^{\rm T} ,$ 控制相机运动, 此处系数$ k $ 为0.6.步骤 3. 使相机恢复初始倍率, 并再次对微孔中心点进行聚焦, 记录其图像坐标.
步骤 4. 重复步骤2和步骤3, 当改变相机倍率, 微孔中心点图像坐标不发生变化时, 将此时微孔中心点的图像坐标作为相机光轴中心点的图像坐标.
2. 微球微孔的精确定位
2.1 微球边缘的聚焦
将微球移入视野内合适位置, 选取包含微球边缘的感兴趣区域(Region of interest, ROI), 由清晰度评价函数计算ROI区域的清晰度值. 清晰度评价函数采用的是Tenengrad评价函数, 在ROI区域内
$ P ( u ,\;v )$ 点上使用Sobel算子提取水平和垂直方向的梯度值, 以其均方根作为梯度值, 见式(10).$$ G(u,v) = \sqrt {G_x^2(u,v) + G_y^2(u,v)} $$ (10) 式中,
$ G _{x} $ 和$ G _{y} $ 分别为水平和垂直梯度. 对梯度值求平均值作为ROI区域的清晰度值, 见式(11).$$ S = \frac{1}{{{u_N}{v_N}}}\sum\limits_{u = 1}^{{u_N}} {\sum\limits_{v = 1}^{{v_N}} {G(u,v)} } $$ (11) 式中,
$ S $ 为清晰度值,$ G $ 为梯度值. 首先对微球进行粗略聚焦, 移动相机聚焦运动轴向上运动一定距离, 使微球处于离焦状态, 移动相机聚焦运动轴向下运动合适距离$ d _{1} $ 并计算ROI区域清晰度值$S _{1} ,\;$ 并将($d _{1} ,\;$ $ S _{1} $ )作为一组数据. 重复运动$ n $ 次得到$ n $ 组数据, 运动过程中微球边缘逐渐清晰后再次处于离焦状态. 对$ n $ 组数据进行二次曲线拟合得到极大值, 以该极大值位置作为聚焦位置, 如图4所示.2.2 微球的定位
由于微球微孔尺寸过小, 显微相机视野内微球边缘与背景差别不大, 且视场内明暗程度受环境影响较大, 故采用灰度与梯度相结合的方法, 提取微球边缘点. 微球图像如图5所示, 对图像第i行进行扫描得到灰度值变化曲线, 如图6所示. 根据式(12)得到边缘点的集合
$Q _{b} ,\;$ 可将微球边缘点粗略地定位于图6中的$ a $ 处与$ b $ 处. 然后, 再由式(13)对微球边缘进行精确定位.
图 6 微球图像中一行的灰度值变化曲线图Fig. 6 Gray value change graph of one line in the microsphere image$$ \begin{split} {Q_b} =\;& \{ ({u_i},{v_i})|g(u,v) < m;\\ & g(u,v - 2) > g(u,v - 1) > g(u,v);\\& g(u - {\rm{2}},v - 2) > g(u - 1,v - 1) > g(u,v);\\ & {G_x}(u,v) > 12;{G_y}(u,v) > 15\} \\[-8pt] \end{split} $$ (12) 其中,
$ g $ ($u ,\;$ $ v $ )表示图像点($u ,\;$ $ v $ )的灰度值,$ m $ 表示设定的灰度阈值,$ Q _{b} $ 为边缘点集合.$$ \begin{split} P =\;& \{ ({u_i},{v_i})|\max (g(u,v - 2) - g(u,v - 1);\\& g(u,v - 1) - g(u,v))\}\end{split} $$ (13) 式中,
$ P $ 为精确定位的边缘点.根据式(12)与式(13)在图像中确定出
$ n $ 个边缘点, 对边缘点进行粗大误差筛选, 利用误差较小的边缘点拟合出微球边缘圆, 得到微球半径及圆心的图像坐标, 如图7所示. 微球边缘圆的拟合方法如下:步骤 1. 由
$ n $ 个边缘点拟合出圆心$ O_{b1} $ .步骤 2. 计算每个点到圆心的距离, 在距离圆心大于阈值的边缘点中, 将距离圆心最远的一个点去除.
步骤 3. 得到新的点群
$n _{1} ,\;$ 拟合新的圆心$O_{b2} ,\;$ 重复步骤2的计算, 直到所有点距离新的圆心的距离在设定阈值之内.通过上述方法, 可实现对微球球心的精确定位, 得到微球球心的图像坐标.
2.3 微孔的精确定位
根据先验知识移动相机, 使微孔处于显微相机光轴中心点附近. 将显微镜头倍率放大至合适倍率后, 对微孔进行聚焦. 经过聚焦后得到的微孔图像如图8所示, 微孔边缘较为清晰, 边缘特征明显. 在区域A中, 按照第2.2节方法利用灰度值便可精确的确定微孔边缘点, 根据边缘点拟合出椭圆中心点作为微孔中心点. 由图8可以发现, 上述方法可以准确地检测出微孔边缘点, 并拟合出微孔中心点, 得到微孔中心点的图像坐标.
图 8 微孔边缘检测与微孔中心的拟合Fig. 8 The detection of micro-hole edge and fitting of micro-hole center3. 微球孔姿态测量
3.1 微球孔姿态测量原理
微球孔姿态测量原理以显微相机2为例进行说明, 测量原理示意图如图9所示. 为了更加简明地阐述其测量原理, 先将相机聚焦运动轴方向与其光轴方向视为一致, 改变相机倍率, 相机光轴及其光轴中心点不变. 实际测量过程中, 对相机聚焦运动轴与不同倍率下的光轴进行了标定.
图 9 微球孔姿态测量原理示意图Fig. 9 Schematic diagram of microsphere hole pose measurement principle$ O _{b} $ 是微球的球心,$ O _{h} $ 是微球孔的中心点,$ \alpha _{c2} $ 为显微相机2光轴中心线与${\rm{X}} _{m2} $ 轴的夹角. 由于$ O _{h} $ 位于微球表面, 所以微球孔姿态向量$O _{b} O _{h}$ 的长度为微球半径$R .\;$ 首先, 显微相机2在初始倍率下对微球聚焦, 使得球心$ O _{b} $ 在显微相机2图像中与光轴中心点的图像坐标重合. 此时的清晰成像平面即聚焦平面, 记为$F _{1}. \;$ 然后, 沿$ Z_{m2} $ 轴向上移动显微相机2, 同时沿相机聚焦运动轴调整显微相机2与微球的距离, 对微孔聚焦, 并使得显微相机2在高倍率下获得的图像中微孔的图像纵坐标与光轴中心点的图像纵坐标相同. 此时的聚焦平面, 记为$F_{2} . \;$ 聚焦微球时显微相机2的光轴中心线与聚焦平面$ F _{1} $ 的交点为$P_{2} ,\;$ 聚焦微孔时显微相机2的光轴中心线与聚焦平面$ F_{2} $ 的交点为$P _{1} .\;$ $ P_{3} $ 点为$ Z_{m2} $ 轴上的点, 其$ Z $ 坐标与$ P _{1} $ 点相同. 过$ O _{h} $ 点做$ X_{m2} $ 轴的平行线, 与$Y_{m2} O _{b} Z_{m2}$ 平面相交于$ P_{4} $ 点. 最后, 通过显微相机2沿$ Y_{m2} $ 轴的运动, 将微孔中心的图像坐标调整到光轴中心点的图像坐标. 从微球聚焦到微孔聚焦, 显微相机2沿$ Z_{m2} $ 轴的运动量为$\Delta z _{2},\;$ 沿相机聚焦运动轴的运动量为$m_{2} . \;$ 为了对准微孔中心, 调整时沿$ Y_{m2} $ 轴的运动量为$\Delta y _{2}.\;$ 由于微孔聚焦时显微相机2只沿
$ Z_{m2} $ 轴和相机聚焦运动轴运动, 所以$ P _{1} $ 和$ P_{2} $ 位于$X_{m2} O _{b}Z_{m2}$ 平面内. 为了对准微孔中心调整时, 显微相机2只沿$ Y_{m2} $ 轴运动, 所以$P _{1} O _{h}$ 平行于$ Y_{m2} $ 轴. 可见,$\angle P _{1} O _{b} P _{3}$ 是微球孔姿态向量的分解角$ \theta _{y} $ . 点$P _{1} ,\;$ $O _{h} ,\;$ $P_{4} ,\;$ $ P_{3} $ 构成矩形, 所以$\angle P_{4} O _{b} P_{3}$ 是微球孔姿态向量的分解角$ \theta _{x} $ . 由图9中的几何关系, 可知:$$ \sin \angle {P_1}{O_b}{P_2} = \frac{{\left| {{P_1}{P_2}} \right|}}{{\left| {{O_b}{P_1}} \right|}} = \frac{{\Delta {z_2}\cos {\alpha _{c2}}}}{{\sqrt {{R^2} - \Delta y_2^2} }} $$ (14) 其中,
$ R $ 是微球半径.考虑到安装误差, 显微相机2的光轴中心线与聚焦运动轴不平行, 显微相机2在聚焦运动后目标图像会发生变化. 为了使得聚焦前后目标的图像坐标保持不变, 需要相机沿
${{X}} _{m2},\;$ ${{Y}} _{m2},\;$ ${{Z}} _{m2}$ 轴做补偿运动, 运动量为$- m_{2}$ ($ V_{m2} $ −$ n_{s2} $ ). 为消除补偿运动对姿态计算的影响, 需要对式(14)中的$ \Delta z _{2} $ 和$ \Delta y _{2} $ 进行修正, 见式(15).$$ \left[ {\begin{array}{*{20}{c}} {\Delta {x_{\rm{2}}}}\\ {\Delta {y_{\rm{2}}}}\\ {\Delta {z_{\rm{2}}}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {\Delta {x_{m2}}}\\ {\Delta {y_{m2}}}\\ {\Delta {z_{m2}}} \end{array}} \right]{\rm{ +\; }}{m_{\rm{2}}}\left( {{{{V}}_{m2}} - {{{n}}_{2s}}} \right) $$ (15) 其中,
$ [\Delta x _{2} ,\; \Delta y _{2} , \; \Delta z _{2}] ^{\rm T} $ 为显微相机2运动机构修正后的运动量, [$\Delta x _{m2},\;$ $\Delta y _{m2},\;$ $\Delta z _{m2}]^{\rm{T}}$ 为其运动机构的运动量,$ m_{2} $ 为其聚焦运动轴的运动量,$ {{V}}_{m2} $ 为其聚焦运动轴单位方向向量,${{n}}_{2s}$ 为显微相机2光轴单位方向向量. 于是, 得到显微相机2测量的微球孔姿态向量的分解角$ \theta _{y2} $ 和$\theta _{x2},\;$ 见式(16)和式(17).$$ \begin{split} {\theta _{y{\rm{2}}}} =\;& \angle {P_1}{O_b}{P_2} + {\alpha _{c2}} - \frac{ {\text{π}} }{2}=\\ & {\rm{arcsin}}\frac{{\Delta {z_2}\cos {\alpha _{c2}}}}{{\sqrt {{R^2} - \Delta y_2^2} }} + {\alpha _{c2}} - \frac{ {\text{π}} }{2} \end{split} $$ (16) $$ \begin{split} {\theta _{x2}} =\;& {\rm{arctan}}\frac{{\left| {{P_3}{P_4}} \right|}}{{\left| {{O_b}{P_3}} \right|}}=\\ & {\rm{arctan}}\frac{{\Delta {y_2}}}{{\sqrt {{R^2} - \Delta y_2^2} \cos {\theta _{y2}}}} \end{split} $$ (17) 类似地, 对显微相机1的运动量进行修正:
$$ \left[ {\begin{array}{*{20}{c}} {\Delta {x_{\rm{1}}}}\\ {\Delta {y_{\rm{1}}}}\\ {\Delta {z_{\rm{1}}}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {\Delta {x_{m{\rm{1}}}}}\\ {\Delta {y_{m{\rm{1}}}}}\\ {\Delta {z_{m{\rm{1}}}}} \end{array}} \right]{\rm{ + }}{m_{\rm{1}}}\left( {{{{V}}_{m{\rm{1}}}} - {{{n}}_{{\rm{1}}s}}} \right) $$ (18) 其中, [
$\Delta x _{1},\;$ $\Delta y _{1} ,\;$ $\Delta z _{1}]^{\rm{T}}$ 为显微相机1修正后的运动量, [$\Delta x _{m1} ,\;$ $\Delta y _{m1} ,\;$ $\Delta z _{m1} ]^{\rm{T}}$ 为其运动机构真实运动量,$ m _{1} $ 为其聚焦运动轴的运动量,${{V}}_{m1}$ 为其聚焦运动轴单位方向向量,${{n}}_{1s}$ 为其光轴单位方向向量.利用修正后的显微相机1运动量, 结合几何关系, 得到显微相机1测量的微球孔姿态向量的分解角
$ \theta _{x1} $ 和$\theta _{y1},\;$ 见式(19)和式(20).$$ {\theta _{x1}} = {\rm{arcsin}}\frac{{\Delta {z_{\rm{1}}}\cos {\alpha _{c{\rm{1}}}}}}{{\sqrt {{R^2} - \Delta x_1^2} }} + {\alpha _{c{\rm{1}}}} - \frac{ {\text{π}} }{2} $$ (19) $$ {\theta _{y1}} = {\rm{arctan}}\frac{{\Delta {x_1}}}{{\sqrt {{R^2} - \Delta x_1^2} \cos {\theta _{x1}}}} \hspace{16pt}$$ (20) 其中, (
$\theta _{x1},\;$ $ \theta _{y1} $ )与($\theta _{x2},\;$ $ \theta _{y2} $ )为微球孔姿态分别在显微相机1与显微相机2运动机构坐标系中的分解角. 由于显微相机1对$ X_{m1} $ 方向的变化敏感, 显微相机2对$ Y_{m2} $ 方向的变化敏感, 故只将$ \theta _{x2} $ 和$ \theta _{y1} $ 作为有效的测量数据, 记为($\theta _{x},\;$ $ \theta _{y} $ ).3.2 微球孔姿态测量步骤
微球孔姿态的精确测量依靠显微视觉对微球与微孔的精确定位及相机运动机构的高分辨率运动. 微球孔姿态测量步骤如下:
步骤 1. 微球聚焦. 初始倍率下, 利用两台显微相机运动机构的运动, 使微球位于两台显微相机视野内合适位置. 按照第2.1节微球聚焦过程, 分别利用两台显微相机聚焦运动轴调整相机位置, 利用式(10)和式(11)计算微球边缘ROI区域的清晰度值, 在清晰度值达到最高时, 即实现了对微球的聚焦.
步骤 2. 微球对准. 在两台显微相机初始倍率下, 利用式(12)和式(13)确定微球边缘点, 并拟合出微球球心的图像坐标. 计算出微球球心到光轴中心点的图像坐标偏差, 利用初始倍率下的图像雅可比矩阵
$ J_{1s} $ 与$ J_{2s} $ 的伪逆, 由式(6)分别求得两台显微相机运动机构的运动量, 分别控制两台显微相机运动, 使微球球心的图像坐标分别与两台显微相机光轴中心点的图像坐标相同.步骤 3. 微球孔聚焦. 按照第2.3节方法, 利用显微相机1的
$ Z_{m1} $ 轴及其聚焦运动轴调整显微相机1的位置, 利用显微相机2的$ Z_{m2} $ 轴及其聚焦运动轴调整显微相机2的位置, 使微孔中心点的图像坐标分别位于两台显微相机光轴中心点图像坐标附近, 避免因增大倍率使得微孔移出相机视野. 增大显微相机倍率, 再次协同两台显微相机的Z轴与聚焦运动轴的运动, 使得两台显微相机在高倍率下获得的图像中微球孔图像清晰; 并使得微球孔中心点的图像纵坐标与光轴中心点的图像纵坐标相同. 记录两台显微相机的Z轴运动量$ \Delta z _{1} $ 和$\Delta z _{2} ,\;$ 聚焦运动轴的运动量$ m _{1} $ 和$m_{2} .\;$ 步骤 4. 微球孔对准. 利用显微相机1的
$ X_{m1} $ 轴与显微相机2的$ Y_{m2} $ 轴调整两台显微相机位置, 对微孔中心点进行对准, 使微孔中心点在两台显微相机中的图像坐标与其光轴中心点图像坐标一致. 记录两台显微相机的运动量$ \Delta x _{1} $ 和$\Delta y _{2} .\;$ 根据两台显微相机光轴单位方向向量${{n}}_{1s},\;$ ${{n}}_{2s},\;$ 光轴单位方向向量XOY平面的夹角$\alpha _{c1},\;$ $ \alpha _{c2} $ 与聚焦运动轴单位方向向量${{V}}_{m1},\;$ ${{V}}_{m2},\;$ 可由式(15)和式(20)计算出微球孔姿态在运动机构坐标系中的分解角($\theta _{x},\;$ $ \theta _{y} $ ).步骤 5. 根据式(7)中微球调整平台坐标系与相机运动机构坐标系之间的旋转角度转换矩阵
$J_{3} ,\;$ 可由$\theta _{x} ,\;$ $ \theta _{y} $ 得出微球孔姿态在调整平台坐标系中的旋转角度$ \alpha $ 与$\beta .\;$ 利用旋转角度
$ \alpha $ 与$\beta ,\;$ 得到在调整平台坐标系下的微球孔姿态单位向量:$$ \left[ {\begin{array}{*{20}{c}} {{r_x}}\\ {{r_y}}\\ {{r_z}} \end{array}} \right]{\rm{ = }}\left[ {\begin{array}{*{20}{c}} {\sin \beta }\\ { - \sin \alpha \cos \beta }\\ {\cos \alpha \cos \beta } \end{array}} \right] $$ (21) 式中, [
$\gamma _{x},\;$ $\gamma _{y},\;$ $\gamma _{z} ]^{\rm{T}}$ 为微球孔姿态单位向量在微球调整平台坐标系中的表示.4. 实验与结果
按照图2所示原理, 设计了实验系统, 如图10所示. 实验系统包括两台倾斜正交显微相机及其运动机构、一个两自由度的调整平台、光源系统和一台控制计算机. 显微相机由CCD相机(型号为TXG50)和Navitar变焦显微镜头构成, 显微镜头放大倍率为5.54 ~ 66.3×, 采集图像的帧率为15 帧/s, 图像大小为2448×2050像素, 显微相机运动机构的运动分辨率为0.25 μm, 重复定位精度小于
$\pm $ 0.3 μm. 两自由度调整平台包括绕着$ X _{W} $ 轴和$ Y _{W} $ 轴的旋转, 绕着$ X _{W} $ 轴和$ Y _{W} $ 轴的旋转分辨率是0.001. 控制计算机的处理器是Intel Core i5, 频率2.9 GHz.4.1 系统标定
根据第1.3.1节所述方法, 初始倍率下显微相机1与显微相机2的运动量到其图像特征变化的图像雅可比矩阵分别为
$$ {J_1}_s = \left[ {\begin{array}{*{20}{c}} { - 0.8409}&{ - 1.0163}&{1.1705}\\ { - 0.0197}&\,\;\;{0.0575}&{1.2402} \end{array}} \right] $$ $$ {J_{2s}}{\rm{ = }}\left[ {\begin{array}{*{20}{c}} { - 1.1497}&\;\;\,{0.8478}&{1.5720}\\ \;\;\,{0.3230}&{ - 0.0706}&{0.9179} \end{array}} \right] $$ 在大倍率下, 显微相机1与显微相机2的运动量到其图像特征变化的图像雅可比矩阵分别为
$$ {J_{1b}} = \left[ {\begin{array}{*{20}{c}} { - 2.{\rm{1171}}}&{ - {\rm{1}}{\rm{.0276}}}&{1.{\rm{2360}}}\\ { - 0.0490}&\;\;\,{0.6299}&{2.5960} \end{array}} \right] $$ 利用第1.3.2节所述方法, 对两台显微相机的光轴及聚焦轴进行了标定. 初始倍率下两台显微相机光轴单位方向向量为
$$ {{{n}}_{{\rm{1}}s}}\;{\rm{ = }}\left[ \begin{array}{l}\;\;\, 0.{\rm{0002 }}\\ \;\;\,{\rm{0}}{\rm{.6433}}\\ {\rm{ - 0}}{\rm{.7659}} \end{array} \right],\;\; {{{n}}_{{\rm{2}}s}}\;{\rm{ = }}\left[ \begin{array}{l}\;\;\, {\rm{0}}{\rm{.6324}}\\ \;\;\,{\rm{0}}{\rm{.0002}}\\ {\rm{ - 0}}{\rm{.7748}} \end{array} \right] $$ 显微相机1在初始倍率下光轴单位方向向量与Y轴的夹角为
$ \alpha _{c1} $ = 49.97°, 显微相机2在初始倍率下光轴单位方向向量与X轴的夹角为$ \alpha _{c2} $ = 50.78°. 大倍率下两台显微相机光轴单位方向向量为$$ {{{n}}_{{\rm{1}}b}}\;{\rm{ = }}\left[ \begin{array}{l} \;\;\,0.{\rm{0003}}\\ \;\;\,{\rm{0}}{\rm{.6251}}\\ - {\rm{0}}{\rm{.7713}} \end{array} \right],\;\; {{{n}}_{{\rm{2}}b}}\;{\rm{ = }}\left[ \begin{array}{l}\;\;\, {\rm{0}}{\rm{.6148}}\\ \;\;\,{\rm{0}}{\rm{.0007}}\\ {\rm{ - 0}}{\rm{.7862}} \end{array} \right] $$ 两台显微相机聚焦运动轴的单位方向向量为
$$ {{{V}}_{m{\rm{1}}}}\;{\rm{ = }}\left[ \begin{array}{l}\;\;\, {\rm{0}}{\rm{.0004}}\\ \;\;\,{\rm{0}}{\rm{.6051}}\\ {\rm{ - 0}}{\rm{.7963}} \end{array} \right],\;\;\, {{{V}}_{m{\rm{2}}}}\;{\rm{ = }}\left[ \begin{array}{l}\;\;\, {\rm{0}}{\rm{.6293}}\\ {\rm{ - 0}}{\rm{.0090}}\\ {\rm{ - 0}}{\rm{.7783}} \end{array} \right] $$ 由第1.3.3节所述方法对相机运动机构坐标系分解角(
$\theta _{x},\;$ $ \theta _{y} $ )到微球调整平台坐标系下的旋转角($\alpha ,\;$ $ \beta $ )之间的转换关系进行了标定, 标定结果为$$ {J_3} = \left[ {\begin{array}{*{20}{c}} \;\;\,{{\rm{0}}{\rm{.9950}}}&{{\rm{ - 0}}{\rm{.0723}}}\\ {{\rm{ - 0}}{\rm{.0267}}}&\;\;\,{{\rm{0}}{\rm{.9842}}} \end{array}} \right] $$ 由第1.3.3节所述方法, 对两台显微相机的光轴中心点图像坐标进行了标定. 显微相机1的光轴中心点的图像坐标为(1184, 1164)像素, 显微相机1的光轴中心点的图像坐标为(1200, 1080)像素.
4.2 微球孔姿态的测量实验
分别令调整平台绕
$ X _{W} $ 和$ Y _{W} $ 轴旋转, 转动角度记为$ \alpha _{r} $ 和$\beta _{r} ,\;$ 作为真实值. 根据第3节介绍的方法, 利用式(9)、式(15)$ \sim $ (20), 对微球孔姿态分解角进行测量并转换到微球调整平台坐标系中, 测量结果记为$ \alpha _{m} $ 和$\beta _{m}.$ 将真实值($\alpha _{r} ,$ $ \beta _{r} $ )和测量值($\alpha _{m},$ $ \beta _{m} $ )分别代入式(21), 得到在微球调整平台坐标系中微球孔姿态单位向量.图11给出了一次实验过程中采集的微球和微孔图像, 其中, 图11(a)是完成第3.2节的步骤2“微球对准”后显微相机1采集的微球图像, 图11(b)是完成第3.2节的步骤4“微球孔对准”后显微相机1采集的微球孔图像. 显微相机2采集的微球与微孔图像与图11类似, 此处从略. 从图11可以发现, 圆轮廓拟合准确, 微球球心以及微孔孔心的图像坐标准确地对准到了光轴中心点的图像坐标位置.
图 11 实验过程中采集的微球和微孔图像Fig. 11 Microsphere and micro-hole images acquired during the experiment1) 调整平台的
$ Y _{W} $ 轴不动, 仅绕$ X _{W} $ 轴进行旋转, 依次旋转$\pm$ 2.00°,$\pm $ 4.00°,$\pm $ 6.00°,$\pm $ 8.00°. 根据第3节介绍的方法, 对微球孔姿态角进行测量, 测量结果如表1所示. 其中$ \alpha $ 的最大测量误差为0.05°, 平均误差为0.04°, 方差为0.01;$ \beta $ 的最大测量误差为0.05°, 平均误差为0.03°, 方差为0.02. 文献[20]方法$ \alpha $ 的最大测量误差为0.18°, 平均误差为0.11°, 方差为0.04;$ \beta $ 角的最大测量误差为0.15°, 平均误差为0.08°, 方差为0.04.表 1 绕$ X _{W} $ 轴旋转的实验结果(°)Table 1 Experimental results of rotation along with the$ X _{W} $ axis (°)次数 本文方法 文献 [20] 真实值 ${\alpha}_{m1},$ ${\beta}_{m1}$ ${\alpha}_{m2},$ ${\beta}_{m2}$ ${\alpha}_{r},$ ${\beta}_{r}$ 1 2.03, 0.00 2.08, 0.04 2.00, 0.00 2 4.05, 0.04 3.90, 0.08 4.00, 0.00 3 6.05, 0.03 6.11, 0.10 6.00, 0.00 4 8.02, −0.04 8.18, 0.15 8.00, 0.00 5 −2.03, 0.04 −2.05, 0.03 −2.00, 0.00 6 −3.95, 0.05 −3.91, 0.04 −4.00, 0.00 7 −5.95, −0.04 −6.12, −0.08 −6.00, 0.00 8 −7.96, −0.03 −8.13, −0.13 −8.00, 0.00 2) 调整平台的
$ X _{W} $ 轴不动, 仅绕$ Y _{W} $ 轴进行旋转, 依次旋转$\pm $ 1.00°,$\pm $ 2.00°,$\pm $ 3.00°,$\pm $ 4.00°,$\pm $ 5.00°, 测量微球孔姿态, 测量结果如表2所示. 其中,$ \alpha $ 的最大测量误差为0.08°, 平均误差为0.04°, 方差为0.02;$ \beta $ 的最大测量误差为0.08°, 平均误差为0.05°, 方差为0.03. 文献[20]方法$ \alpha $ 的最大测量误差为0.10°, 平均误差为0.06° 方差为0.05;$ \beta $ 角的最大测量误差为0.17°, 平均误差为0.13°, 方差为0.04.表 2 绕$ Y _{W} $ 轴旋转的实验结果(°)Table 2 Experimental results of rotation along with the$ Y _{W} $ axis (°)次数 本文方法 文献 [20] 真实值 ${\alpha}_{m1}$, ${\beta}_{m1}$ ${\alpha}_{m2}$, ${\beta}_{m2}$ ${\alpha}_{r}$, ${\beta}_{r}$ 1 −0.06, 1.05 0.06, 1.07 0.00, 1.00 2 0.02, 1.92 0.04, 2.12 0.00, 2.00 3 0.08, 2.99 0.04, 3.11 0.00, 3.00 4 0.03, 4.03 0.05, 4.13 0.00, 4.00 5 −0.05, 5.04 −0.07, 5.16 0.00, 5.00 6 0.01, −1.01 −0.04, −1.09 0.00, −1.00 7 0.06, −2.04 −0.06, −2.11 0.00, −2.00 8 −0.04, −3.06 −0.05, −3.13 0.00, −3.00 9 0.07, −4.06 −0.07, −4.16 0.00, −4.00 10 0.01, −5.07 −0.10, −5.17 0.00, −5.00 3)
$ X _{W} $ 轴与$ Y _{W} $ 轴同时旋转不同的角度, 利用本文方法测量微球孔姿态, 同时利用文献[20]方法测量微球孔姿态, 测量结果如表3所示. 其中, 本文方法$ \alpha $ 的最大测量误差为0.04°, 平均误差为0.02°, 方差为0.01;$ \beta $ 的最大测量误差为0.07°, 平均误差为0.04°, 方差为0.02. 文献[20]方法$ \alpha $ 的最大测量误差为0.20°, 平均误差为0.12°, 方差为0.05;$ \beta $ 角的最大测量误差为0.18°, 平均误差为0.10°, 方差为0.04.表 3 绕$ X _{W} $ 轴及$ Y _{W} $ 轴旋转的实验结果(°)Table 3 Experimental results of rotation along with the$ X _{W} $ and$ Y _{W} $ axis, simultaneously (°)次数 本文方法 文献 [20] 真实值 ${\alpha}_{m1}$, ${\beta}_{m1}$ ${\alpha}_{m2}$, ${\beta}_{m2}$ ${\alpha}_{r}$, ${\beta}_{r}$ 1 1.03, 1.05 0.93, 1.03 1.00, 1.00 2 2.02, 0.98 1.86, 1.10 2.00, 1.00 3 3.01, 2.04 3.10, 2.08 3.00, 2.00 4 3.97, 3.04 3.89, 3.18 4.00, 3.00 5 4.96, 5.07 5.20, 4.88 5.00, 5.00 6 −1.01, −2.00 −1.04, −2.05 −1.00, −2.00 7 −2.02, −3.04 −1.92, −2.89 −2.00, −3.00 8 −3.03, −0.97 −3.07, −0.95 −3.00, −1.00 9 −3.96, −1.97 −3.85, −2.14 −4.00, −2.00 10 −4.99, 4.04 −4.83, 4.10 −5.00, 4.00 为了更加直观地显示实验结果, 按照式(14)计算出上述实验的微球孔姿态向量, 分别如图12所示, 带有“+”号的线表示姿态向量的真实值, 带有“o”号的线表示利用本文方法测量姿态向量所得的测量值, 带有“Δ”号的线表示利用文献[20]方法测量姿态向量所得的测量值. 由表1、表3和图12可以发现, 利用本文方法测量姿态向量所得的测量值与真实值的误差较小.
图 12 用向量表示的微球孔姿态实验结果Fig. 12 Experimental results of microsphere hole poses expressed by vector5. 结论
本文提出了一种基于两台显微相机主动运动的微球孔姿态高精度测量方法. 设计了微球边缘点检测与微球轮廓拟合的算法, 实现了微球球心的高精度定位. 通过两路显微视觉的主动运动, 实现了微球孔姿态的高精度测量. 实验结果表明, 利用本文方法, 角度测量值与实际值的最大偏差为0.08°, 平均偏差为0.04°, 方差为0.02. 利用文献[20]的方法, 角度测量值与实际值的最大偏差为0.20°, 平均偏差为0.10°, 方差为0.05. 与已有的微球孔姿态测量方法相比, 本文测量方法具有更高的精度. 在后续工作中, 我们将研究如何提高测量速度与操作的自动化程度, 提高测量的实时性.
-
图 6 微球图像中一行的灰度值变化曲线图
Fig. 6 Gray value change graph of one line in the microsphere image
图 8 微孔边缘检测与微孔中心的拟合
Fig. 8 The detection of micro-hole edge and fitting of micro-hole center
图 9 微球孔姿态测量原理示意图
Fig. 9 Schematic diagram of microsphere hole pose measurement principle
图 11 实验过程中采集的微球和微孔图像
Fig. 11 Microsphere and micro-hole images acquired during the experiment
图 12 用向量表示的微球孔姿态实验结果
Fig. 12 Experimental results of microsphere hole poses expressed by vector
表 1 绕
$ X _{W} $ 轴旋转的实验结果(°)Table 1 Experimental results of rotation along with the
$ X _{W} $ axis (°)次数 本文方法 文献 [20] 真实值 ${\alpha}_{m1},$ ${\beta}_{m1}$ ${\alpha}_{m2},$ ${\beta}_{m2}$ ${\alpha}_{r},$ ${\beta}_{r}$ 1 2.03, 0.00 2.08, 0.04 2.00, 0.00 2 4.05, 0.04 3.90, 0.08 4.00, 0.00 3 6.05, 0.03 6.11, 0.10 6.00, 0.00 4 8.02, −0.04 8.18, 0.15 8.00, 0.00 5 −2.03, 0.04 −2.05, 0.03 −2.00, 0.00 6 −3.95, 0.05 −3.91, 0.04 −4.00, 0.00 7 −5.95, −0.04 −6.12, −0.08 −6.00, 0.00 8 −7.96, −0.03 −8.13, −0.13 −8.00, 0.00 
下载: 导出CSV
表 2 绕
$ Y _{W} $ 轴旋转的实验结果(°)Table 2 Experimental results of rotation along with the
$ Y _{W} $ axis (°)次数 本文方法 文献 [20] 真实值 ${\alpha}_{m1}$, ${\beta}_{m1}$ ${\alpha}_{m2}$, ${\beta}_{m2}$ ${\alpha}_{r}$, ${\beta}_{r}$ 1 −0.06, 1.05 0.06, 1.07 0.00, 1.00 2 0.02, 1.92 0.04, 2.12 0.00, 2.00 3 0.08, 2.99 0.04, 3.11 0.00, 3.00 4 0.03, 4.03 0.05, 4.13 0.00, 4.00 5 −0.05, 5.04 −0.07, 5.16 0.00, 5.00 6 0.01, −1.01 −0.04, −1.09 0.00, −1.00 7 0.06, −2.04 −0.06, −2.11 0.00, −2.00 8 −0.04, −3.06 −0.05, −3.13 0.00, −3.00 9 0.07, −4.06 −0.07, −4.16 0.00, −4.00 10 0.01, −5.07 −0.10, −5.17 0.00, −5.00
下载: 导出CSV
表 3 绕
$ X _{W} $ 轴及$ Y _{W} $ 轴旋转的实验结果(°)Table 3 Experimental results of rotation along with the
$ X _{W} $ and$ Y _{W} $ axis, simultaneously (°)次数 本文方法 文献 [20] 真实值 ${\alpha}_{m1}$, ${\beta}_{m1}$ ${\alpha}_{m2}$, ${\beta}_{m2}$ ${\alpha}_{r}$, ${\beta}_{r}$ 1 1.03, 1.05 0.93, 1.03 1.00, 1.00 2 2.02, 0.98 1.86, 1.10 2.00, 1.00 3 3.01, 2.04 3.10, 2.08 3.00, 2.00 4 3.97, 3.04 3.89, 3.18 4.00, 3.00 5 4.96, 5.07 5.20, 4.88 5.00, 5.00 6 −1.01, −2.00 −1.04, −2.05 −1.00, −2.00 7 −2.02, −3.04 −1.92, −2.89 −2.00, −3.00 8 −3.03, −0.97 −3.07, −0.95 −3.00, −1.00 9 −3.96, −1.97 −3.85, −2.14 −4.00, −2.00 10 −4.99, 4.04 −4.83, 4.10 −5.00, 4.00
下载: 导出CSV
-
[1] 李福东. 基于显微视觉的微管-微球装配与胶接研究 [博士学位论文]. 中国科学院自动化研究所, 中国, 2014Li Fu-Dong. Research on Micro Tube and Micro Sphere Assembly Involving Adhesive Bonding Based on Microscopic Vision [Ph.D. dissertation]. Institute of Automation, Chinese Academy of Sciences, China, 2014. [2] Jia Z Y, Ma X, Liu W, Lu W B, Li X, Chen L, et al. Pose measurement method and experiments for high-speed rolling targets in a wind tunnel. Sensors, 2014, 14(12): 23933−23953 doi: 10.3390/s141223933 [3] Lins R G, Givigi S N, Kurka P R G. Vision-based measurement for localization of objects in 3-D for robotic applications. IEEE Transactions on Instrumentation and Measurement, 2015, 64(11): 2950−2958 doi: 10.1109/TIM.2015.2440556 [4] Hou D X, Mei X S, Huang W W, Li J, Wang C J, Wang X. An online and vision-based method for fixtured pose measurement of non-datum complex component. IEEE Transactions on Instrumentation and Measurement, 2020, 69(6): 3370−3376 [5] Yang J C, Man J B, Xi M, Gao X B, Lu W, Meng Q G. Precise measurement of position and attitude based on convolutional neural network and visual correspondence relationship. IEEE Transactions on Neural Networks and Learning Systems, 2020, 31(6): 2030−2041 [6] 李二闯, 张建杰, 袁亮, 吴金强. 基于四元数互补滤波的小型四旋翼姿态解算. 组合机床与自动化加工技术, 2019, (3): 37−39, 43Li Er-Chuang, Zhang Jian-Jie, Yuan Liang, Wu Jin-Qiang. Small quadruple rotor attitude solving based on quaternion complementary filtering. Modular Machine Tool and Automatic Manufacturing Technique, 2019, (3): 37−39, 43 [7] Jin P J, Matikainen P, Srinivasa S S. Sensor fusion for fiducial tags: Highly robust pose estimation from single frame RGBD. In: Proceedings of the 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems. Vancouver, BC, Canada: IEEE, 2017. [8] Li J M, Wang J G, Zhou W T, Jia S W. Robot pose estimation and accuracy analysis based on stereo vision. In: Proceedings of the 9th IEEE International Conference on Mobile Ad-hoc and Sensor Networks. Dalian, China: IEEE, 2013. [9] Peng J Q, Xu W F, Liang B, Wu A G. Pose measurement and motion estimation of space non-cooperative targets based on laser radar and stereo-vision fusion. IEEE Sensors Journal, 2019, 19(8): 3008−3019 doi: 10.1109/JSEN.2018.2889469 [10] Su J, Huang X H, Wang M. Pose detection of partly covered target in micro-vision system. In: Proceedings of the 10th World Congress on Intelligent Control and Automation. Beijing, China: IEEE, 2012. [11] Zhang P C, Xu D, Wu B L. Pose estimation for plane based on monocular microscope vision system. In: Proceedings of the 32nd Chinese Control Conference. Xi＇ an, China: IEEE, 2013. [12] 刘国华, 邓钊钊. 基于双目视觉的探针姿态检测. 天津工业大学学报, 2019, 38(2): 68−72, 88 doi: 10.3969/j.issn.1671-024x.2019.02.012Liu Guo-Hua, Deng Zhao-Zhao. Probe attitude detection based on binocular vision. Journal of Tianjin Polytechnic University, 2019, 38(2): 68−72, 88 doi: 10.3969/j.issn.1671-024x.2019.02.012 [13] 张娟, 张正涛, 徐德. 基于显微视觉的微零件在线检测与装配策略研究. 高技术通讯, 2013, 23(8): 848−855 doi: 10.3772/j.issn.1002-0470.2013.08.011Zhang Juan, Zhang Zheng-Tao, Xu De. On-line detecting and assembling of micro parts based on microscope vision. High Technology Letters, 2013, 23(8): 848−855 doi: 10.3772/j.issn.1002-0470.2013.08.011 [14] Ma Y Q, Liu X L and Xu D. Precision pose measurement of an object with flange based on shadow distribution. IEEE Transactions on Instrumentation and Measurement, 2020, 69(5): 2003−2015 [15] Li F D, Xu D, Zhang Z T, Shi Y L. Realization of an automated micro assembly task involving micro adhesive bonding. International Journal of Automation and Computing, 2013, 10(6): 545−551 doi: 10.1007/s11633-013-0752-7 [16] Huang X H, Zeng X J, Wang M. SVM-based identification and un-calibrated visual servoing for micro manipulation. International Journal of Automation and Computing, 2010, 7(1): 47−54 doi: 10.1007/s11633-010-0047-1 [17] Qin F B, Shen F, Zhang D P, Liu X L, Xu D. Contour primitives of interest extraction method for microscopic images and its application on pose measurement. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2018, 48(8): 1348−1359 doi: 10.1109/TSMC.2017.2669219 [18] 史亚莉, 张正涛, 徐德. 跨尺度微管微球三维半自动装配点胶系统. 光学精密工程, 2015, 23(11): 3121−3128Shi Ya-Li, Zhang Zheng-Tao, Xu De. 3D semi-automatic assembly and dispensing system for trans-scale parts of micro-tube and micro-sphere. Optics and Precision Engineering, 2015, 23(11): 3121−3128 [19] Li F D, Xu D, Zhang Z T, Shi Y L, Shen F. Pose measuring and aligning of a micro glass tube and a hole on the micro sphere. International Journal of Precision Engineering and Manufacturing, 2014, 15(12): 2483−2491 doi: 10.1007/s12541-014-0618-0 [20] 李迎, 张大朋, 刘希龙, 徐德. 基于单目显微视觉的微球姿态测量方法. 自动化学报, 2019, 45(7): 1281−1289Li Ying, Zhang Da-Peng, Liu Xi-Long, Xu De. A pose measurement method for micro sphere based on monocular microscopic vision. Acta Automatica Sinica, 2019, 45(7): 1281−1289 期刊类型引用(0)
其他类型引用(2)
-
计量
- 文章访问数: 1082
- HTML全文浏览量: 215
- PDF下载量: 160
- 被引次数: 2
