Text Detection in Natural Scene Images Based on Enhanced Receptive Field and Fully Convolution Network
-
摘要: 自然场景图像质量易受光照及采集设备的影响, 且其背景复杂, 图像中文字颜色、尺度、排列方向多变, 因此, 自然场景文字检测具有很大的挑战性. 本文提出一种基于全卷积网络的端对端文字检测器, 集中精力在网络结构和损失函数的设计, 通过设计感受野模块并引入 Focalloss、GIoUloss 进行像素点分类和文字包围框回归, 从而获得更加稳定且准确的多方向文字检测器. 实验结果表明本文方法与现有先进方法相比, 无论是在多方向场景文字数据集还是水平场景文字数据集均取得了具有可比性的成绩.Abstract: The quality of natural scene images is influenced easily by the shooting environment and conditions, and scene image background is relatively complex and has a strong interference for detection, besides, text in scene images may have different colors, fonts, sizes, directions, languages and so on, all these situations make natural scene text detection be still a challenging research topic. This paper proposes an end-to-end text detector based on fully convolution network. We focus on the design of the network structure and the loss function, through adding the enhanced receptive field module and introducing Focalloss, GIoUloss for pixels classification and text boxes regression respectively, we gain a more stable accurate multi-oriented text detector. Our method provides promising performance compared to the recent state-of-the art methods on both the multi-oriented scene text dataset and horizontal text dataset.
-
Key words:
- Receptive field enhanced module /
- Focalloss /
- GIoUloss /
- full convolution network
-
近年来, 轮式移动方式以其高效率、高能量利用率引起了腿足式机器人研究者的广泛关注[1]. 试图搭建腿轮构型机器人, 将腿式机器人的高越障能力与轮式运行方式的快速移动能力相结合. 因此, 双腿轮机器人、四腿轮机器人等平台应运而生[2]. 其中, 双腿轮机器人具有更加灵活的移动与转向性能, 在多种行业工况下具有广阔的应用前景[3].
为使双腿轮机器人的地形适应能力进一步提高, 面临较高垂直障碍时, 可采用跳跃形式快速跨越. 苏黎世理工大学研发的双腿轮机器人Accento[4-5]在基于线性二次调节器(Linear quadratic regulator, LQR)平衡控制器的基础上进行跳跃控制器的设计, 实现了跳跃运动, 收到了显著的效果. 美国波士顿动力公司研发的Handle双腿轮机器人[6]实现了快速加减速、跳跃、搬运重物等功能, 展现了良好的动态平衡能力. 如何构建一个可以将运动与平衡功能集于一体的具有扩展性的双腿轮控制框架, 成为一个亟待解决的问题. 但是, 双腿轮机器人系统为内在不稳定系统, 且具有欠驱动特性, 运动过程中不存在稳定平衡点, 因此需要借助复杂的控制算法使其保持动态平衡. 而针对该系统的高动态运动控制研究尚处于起步阶段.
移动机器人经过半个世纪的发展, 基于静态稳定的控制算法已成熟, 主要应用对象包括双足机器人[7]、四足机器人[8]、六足机器人[9]等, 该类算法在保证机器人静态稳定裕度的前提下进行位置控制, 实现期望运动, 其依据为ZMP (Zero moment point)[10]、ESM (Energy stability margin)[11]、NESM (Normalized ESM)[12]等静态稳定判据, 因此无法实现高动态运动控制. 而双腿轮机器人的支撑面为两轮与地面接触点的连线, 不存在静态稳定区域, 因此静态稳定算法对于双腿轮机器人的借鉴意义不大.
双轮机器人的控制方法已渐趋成熟, 作为一个欠驱动不稳定多耦合系统, 常用于控制算法的有效性验证[13-14], 日本庆应大学搭建了两轮移动机械臂平台, 验证了基于零空间的共振比率控制器[15]、滑膜控制器[16]、非线性反步法控制器等控制轮的移动与机械臂运动的有效性; 意大利技术研究院控制双足机器人站立于两轮移动平台Segway上[17], 采用二次优化方法以质心位置与角动量为调节目标, 生成全身关节力矩, 能够保持平衡并控制平台移动. 大连理工大学团队采用模型预测控制(Model predictive control, MPC)实现了两轮移动平台的运动轨迹跟踪[18]. 以上研究都具有借鉴意义, 但与两轮移动平台不同, 双腿轮平台不再存在两轮同轴被动约束, 这也使得控制器的构造难度大大增加.
近几年来, 腿足式机器人动态控制算法成为研究热点. 得益于各种实时优化解算库[19-20]的开发, 控制中的多解问题可转化为优化问题, 得到局部甚至全局最优解[21-22]. 如美国麻省理工学院的四足机器人Mini-cheetah[23]构造了全身控制与模型预测控制相结合的控制器, 实现了4 m/s的奔跑和碎石路面行走. 双足机器人Atlas[24]跟踪采用模型预测控制器优化的参考轨迹, 实现了左右脚交替三连跳40 cm台阶、前滚翻等高动态运动.
为提高双腿轮机器人的地形适应性, 实现稳定的速度跟随与跳跃, 本文在前期研究的基础上[25], 构造了基于最优力分配的全身力矩控制器并实现了跳跃运动, 其创新点如下:
1)实现了基于优化的自平衡全身力矩控制. 该方法可自行生成同时满足平衡与期望运动的全身力矩, 不需要设计平衡控制器. 受到跳跃着陆冲击干扰时, 能够有效规划期望状态轨迹, 并恢复有界稳定.
2)提出了适用于双腿轮机器人的连续跳跃规划. 可在保证高速运动的前提下, 实现垂直障碍的跨越, 并能够在腾空阶段对俯仰姿态进行有效调整, 保证着陆姿态.
1. 运动学与动力学建模
本文的控制对象以美国HEBI Robotics公司的双腿轮机器人HEBI IGOR[26]为原型, 其简化模型如图1所示. 该机器人具有一个单刚体躯干与两条结构相同相对于躯干左右对称布置的腿轮. 躯干尺寸为$200\;{\rm{ mm}}\times300\;{\rm{ mm}}\times200\; {\rm{mm}}\; (L\times w\times h)$, 质量为40 kg. 腿轮完全伸展长度为1150 mm, 其中大腿长度(L1)为500 mm, 小腿长度(L2)为500 mm, 轮的半径(R)为150 mm. 每条腿轮布置3 个旋转关节, 所有关节都可以实现独立的力矩控制. 髋部与膝部为俯仰旋转关节, 能够实现腿部的收缩与伸展, 轮通过一个俯仰旋转关节与腿部末端相连, 从而实现机器人在三维空间中的移动.
1.1 运动学建模
双腿轮机器人为典型的动基座系统, 浮动坐标系${\Sigma _B}$固连于躯干质心处, 其在惯性系中的线速度与角速度分别描述为${}^{\boldsymbol{O}}{{\boldsymbol{v}}_{\boldsymbol{B}}}$与${}^{\boldsymbol{O}}{{\boldsymbol{\omega}} _{\boldsymbol{B}}}$. 各肢体末端均由关节、连杆与躯干相连, 因此, 肢体末端广义速度同时受到躯干动基座广义速度与各关节角速度的影响.
$$\left[ {\begin{array}{*{20}{c}} {{}^{\boldsymbol{O}}{{\boldsymbol{v}}_{i}}} \\ {{}^{\boldsymbol{O}}{{\boldsymbol{\omega}} _{i}}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {\boldsymbol{E}}&{ - {}^{\boldsymbol{O}}{{\vec {\boldsymbol{r}}}_{\boldsymbol{B}i}}} \\ {\boldsymbol{0}}&{\boldsymbol{E}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{}^{\boldsymbol{O}}{{\boldsymbol{v}}_{\boldsymbol{B}}}} \\ {{}^{\boldsymbol{O}}{{\boldsymbol{\omega}} _{\boldsymbol{B}}}} \end{array}} \right] + {{\boldsymbol{J}}_{i}}{\dot {{\boldsymbol{q}}}_{i}}$$ (1) 其中, 本文中编号$i= 1, 2$分别代表右腿与左腿, ${}^{\boldsymbol{O}}{{\boldsymbol{v}}_{i}}$与${}^{\boldsymbol{O}}{{\boldsymbol{\omega}} _{i}}$分别为腿i末端相对于世界坐标系的速度与角速度. ${}^{\boldsymbol{O}}{\vec {\boldsymbol{r}}_{\boldsymbol{B}i}}$为由躯干坐标系到腿i末端坐标系的位矢在世界坐标系中的表示, ${{\boldsymbol{q}}_{i}}$为腿${i}$主动关节角度.
1.2 动力学建模
为便于构造分布式控制器, 采用了分布式动力学建模方法[25]. 分布式动力学模型由躯干子系统以及腿轮子系统组成. 腿轮子系统通过广义力旋量与躯干子系统形成迭代递推关系, 其广义力旋量的表示如图1所示. 躯干的动力学模型为
$${{\boldsymbol{M}}_{\boldsymbol{b}}}\left( {\boldsymbol{X}} \right)\ddot {\boldsymbol{X}}{\rm{\;+\;}}{{\boldsymbol{G}}_{\boldsymbol{b}}}\left( {\boldsymbol{X}} \right) = {{\boldsymbol{J}}^{{\rm{T}}}}{\boldsymbol{W}}$$ (2) 其中, ${\boldsymbol{X}} = {\left[ {{}^{O}{x_B}}\;\;{{}^{O}{y_B}} \;\; {{}^{O}{z_B}}\;\;\gamma \;\;\beta \;\;\alpha \right]^{\rm{T}}}$为躯干坐标系${\Sigma _B}$在大地坐标系${\Sigma _O}$中的位姿描述, ${{\boldsymbol{M}}_{\boldsymbol{b}}}$为惯性矩阵, ${{\boldsymbol{G}}_{\boldsymbol{b}}}$为重力补偿项. ${\boldsymbol{W}} = {\left[ {{\boldsymbol{W}}_{1}}\;\;{{{\boldsymbol{W}}_{2}}} \right]^{\rm{T}}}$为腿i末端施加于躯干的广义力旋量, 其中, ${{\boldsymbol{W}}_{i}} = {\left[{{f_{ix}}}\;\;{{f_{iz}}}\;\;{{n_{iy}}} \right]^{\rm{T}}}$. 支撑工况下, 腿轮施加于躯干的力旋量可作为躯干子系统的输入, 从而实现躯干子系统的控制. 由于轮式结构造成的非完整约束, 世界坐标系中躯干侧向运动(${}^{O}{\dot y_B}$)与前向运动(${}^{O}{\dot x_B}$)由躯干坐标系中x方向速度${}^B{{v}_{{B}}}$和航向角度($\alpha $)耦合而成, 基于非完整约束运动学构造矩阵${\boldsymbol{S}}$:
$${\boldsymbol{S}}\;{\rm{ = }}\left[ {\begin{array}{*{20}{c}} {\cos \alpha}&0&0&0&0 \\ {\sin \alpha }&0&0&0&0 \\ 0&1&0&0&0 \\ 0&0&1&0&0 \\ 0&0&0&1&0 \\ 0&0&0&0&1 \end{array}} \right]$$ (3) 使得${\dot{\boldsymbol X}}\;{\rm{=}}\;{\boldsymbol{S\eta}}$, 其中${\boldsymbol{\eta}}\; {\rm{=}}\;[{ {{}^B{{v}_{{B}}}}\;\;{{}^B{{\dot z}_B}}\;\;{\dot \gamma }\;\;{\dot \beta }\;\;{{\omega}}^{\rm{T}}}]$, ${{\omega}} $为航向角速度, 求导得$\ddot{\boldsymbol{X}}{\rm{ \;= \;}}{\boldsymbol{S}}\dot{\boldsymbol{\eta}} $, 因此, 式(2)中动力学模型可改写为
$${\boldsymbol{\Psi}} \dot {\boldsymbol{\eta}}\; {\rm{ + }}\;{{\boldsymbol{G}}_{\boldsymbol{b}}}\left( {\boldsymbol{X}} \right) = {{\boldsymbol{J}}^{{\rm{T}}}}{\boldsymbol{W}}$$ (4) 其中, ${\boldsymbol{\Psi}} ={{\boldsymbol{M}}_{\boldsymbol{b}}}{\boldsymbol{S}}$. 此时, 状态量${\boldsymbol{\eta}}$为躯干刚体在自然坐标系(始终与机体坐标系重合)中的运动描述.
与腿足式机器人不同, 双腿轮机器人处于支撑状态时, 腿轮不仅要提供躯干所需虚拟力, 还要在不同运动状态下保持唯一的平衡姿态. 因此, 以轮为动基座, 采用递推牛顿−欧拉方法建立支撑状态下的腿轮动力学方程如下所示:
$$\begin{split} &{{\boldsymbol{M}}_{i}}\left( {{{\boldsymbol{q}}_{i}},{{\boldsymbol{q}}_{iw}}} \right){{\ddot {\boldsymbol{q}}}_{i}} + {{\boldsymbol{C}}_{i}}\left( {{{\boldsymbol{q}}_{i}},{{\dot {\boldsymbol{q}}}_{i}},{{\boldsymbol{q}}_{iw}},{{\dot {\boldsymbol{q}}}_{iw}}} \right)+\\ & \quad{{\boldsymbol{G}}_{i}}\left( {{{\boldsymbol{q}}_{i}},{{\boldsymbol{q}}_{iw}}} \right){\rm{ + }}\;{{\boldsymbol{I}}}\left( {{{q}_{iw}},{{\dot q}_{iw}}} \right){{\ddot q}_{iw}} + {\boldsymbol{J}}_{i}^{\rm{T}}{{\boldsymbol{W}}_{i}} = {{\boldsymbol{\tau}} _{i}} \end{split} $$ (5) 其中, ${{\boldsymbol{\tau}} _{i}} = {\left[ {{\tau _{iw}}}\;\;{{\tau _{ik}}}\;\;{{\tau _{ih}}} \right]^{\rm{T}}}$分别为腿i的轮关节、膝关节与髋关节力矩. ${{\boldsymbol{q}}_{i}}={\left[ {{{q}_{ic}}}\;\;{{{q}_{ik}}}\;\;{{{q}_{ih}}} \right]^{\rm{T}}}$分别为腿i 的小腿俯仰角度、膝关节与髋关节角度. ${{\boldsymbol{M}}_{i}}\left( {{{\boldsymbol{q}}_{i}}} \right)$、${{\boldsymbol{C}}_{i}}\left( {{{\boldsymbol{q}}_{i}},{{\dot {\boldsymbol{q}}}_{i}}} \right)$、${{\boldsymbol{G}}_{i}}\left( {{{\boldsymbol{q}}_{i}}} \right)$分别为惯性矩阵、科氏力与离心力、重力补偿矩阵. 值得注意的是, 所提出的分布式动力学建模方法, 其关节角度变量中不包括轮式动基座的线运动与角运动, 但当双腿轮机器人进行高速运动时, 腿部连杆会产生较大的惯性力, 从而影响控制精确度与系统的平衡. 因此, ${\boldsymbol{I}}\left( {{{q}_{iw}},{{\dot q}_{iw}}} \right)$为动基座惯性力补偿矩阵, 以补偿高速运动时动基座传导给各腿轮的惯性力.
当双腿轮机器人处于腾空状态时, 将腿轮子系统分解为两个简化的模型 —— 腿部模型与轮式倒立摆模型, 腿部模型中髋关节坐标系与躯干坐标系方向相同, 以髋关节坐标系为基座, 建立动力学模型如下:
$${\boldsymbol{M}}_{i}^{s}\left( {{\boldsymbol{q}}_{i}^{s}} \right)\ddot {\boldsymbol{q}}_{i}^{s}\;+\; {\boldsymbol{C}}_{i}^{s}\left( {{\boldsymbol{q}}_{i}^{s},\dot {\boldsymbol{q}}_{i}^{s}} \right)\;+\;{\boldsymbol{G}}_{i}^{s}\left( {{\boldsymbol{q}}_{i}^{s}} \right) + {\boldsymbol{J}}_{i}^{{s}{\rm{T}}}{{\boldsymbol{F}}_{is}}{\rm{\;=\;}}{\boldsymbol{\tau}} _{i}^{s}$$ (6) 其中, ${\boldsymbol{\tau}} _{i}^{s} = \left[ {{\tau _{ih}}}\;\;{{\tau _{ik}}} \right]$, ${\boldsymbol{q}}_{i}^{s} = {\left[ {{{q}_{ih}}}\;\;{{{q}_{ik}}} \right]^{\rm{T}}}$.
为研究腾空阶段轮的转动对机器人姿态的影响, 将模型简化为一级轮式倒立摆, 即只关注矢状面内的运动, 将除轮以外的杆件质量集中于一个质点, 形成虚拟质心, 虚拟质心与轮轴的连线为虚拟倒立摆摆杆. 进行无外部接触力的拉格朗日动力学建模, 其动力学模型为
$$\begin{split} &\left( {{m_u} + {m_w} + \dfrac{{{I_w}}}{{{R^2}}}} \right)R{{\ddot \theta }_w} + L{m_u}\ddot \sigma {{\rm{c}} _\sigma } - L{m_u}{{\dot \sigma }^2}{{s} _\sigma } = 0 \\ &L{m_u}R{{{c}} _\sigma }{{\ddot \theta }_w} + \left( {{I_{b}} + {L^2}{m_u}} \right)\ddot \sigma - gL{m_u}{{s} _\sigma } = - {\tau _w} \\[-10pt] \end{split} $$ (7) 其中, ${m_u}$为除轮外其他杆件的质量总和, $\sigma $为倒立摆的虚拟俯仰角, L为虚拟摆杆长度, ${I_{b}}$与${I_w}$分别为摆杆与轮的转动惯量.
2. 轨迹生成器
构造轨迹生成器使机器人可根据障碍物的高度规划此次跳跃的躯干参考轨迹与足端参考轨迹. 本节中, 首先根据障碍物高度确定关键点处的位置与速度, 然后采用三次样条插值法得到躯干质心点与轮最小离地点的连续位置与速度. 简称轮最小离地点为足端. 相关参数的含义如表1所示.
表 1 跳跃参数设置Table 1 Parameters of the jump motion参数 参数含义 H0 正常行走时躯干站立高度在${\Sigma _O}$中的表示 H1 腾空瞬间躯干站立高度在${\Sigma _O}$中的表示 Hpt 足端最大离地距离在${\Sigma _O}$中的表示 Hs 足端最大收缩量在${\Sigma _B}$中的表示 图2展示了机器人跳跃时躯干与足端轨迹, 虚线表示躯干正常站立高度H0, 实线为跳跃过程中躯干的期望轨迹. 支撑相时, 机器人双轮着地; 腾空相时, 机器人双轮离地, 处于自由落体状态. 将跳跃动作分解为三阶段, 分别为起跳($p_0-p_1$)、腾空($p_1- p_3$)、缓冲($p_3-p_4$). 起跳阶段, 通过腿部快速伸展, 为躯干纵向加速, 当达到期望速度($p_1$)时, 腿部开始收缩, 进入腾空相. 腾空相躯干受到重力加速度, 纵向速度不断减小, 在此过程中, 腿部完成了收缩, 并伸展到可保持正常站高H0的长度, 准备落地. 缓冲阶段将纵向速度调整为0, 并保持期望站高.
图 2 躯干与足端矢状面轨迹示意图Fig. 2 The trajectory schematic of the torso and feet in the sagittal plane图2中, $ H_0 $、$ H_1 $以及腿部最大收缩量$H_s $ 为常量, 由机器人本体结构确定, $H_{pt} $由所要跨越的障碍高度确定. $p_2 $ 点的高度也随之确定: ${H_2}=H_s + {H_{pt}} $, 由于p2点的速度${{v}_2} = 0$, 根据能量守恒定理, 可得:
$$\left\{\begin{aligned} &{{v}_1} = \sqrt {2g\left( {{H_{pt}} + {H_s} - {H_1}} \right)} \\ &{{v}_{\rm{3}}} = \sqrt {2g\left( {{H_{pt}} + {H_s} - {H_{\rm{0}}}} \right)} \\ &{t_{01}} = \dfrac{{2\left( {{H_1} - {H_0}} \right)}}{{\sqrt {2g\left( {{H_{pt}} + {H_s} - {H_1}} \right)} }} \\ & {t_{12}} = \dfrac{{\sqrt {2g\left( {{H_{pt}} + {H_s} - {H_1}} \right)} }}{g} \\ & {t_{{\rm{23}}}} = \dfrac{{\sqrt {2g\left( {{H_{pt}} + {H_s} - {H_{\rm{0}}}} \right)} }}{g} \end{aligned}\right. $$ (8) 其中, ${{v}_1}$和${{v}_{\rm{3}}}$分别为点p1和p3处的速度. 足端离地时间即腾空时间为${t_{12}} + {t_{23}}$. 为同时保证每一段期望轨迹的平滑以及初始点与结束点的位置$\left( {{y_{{\rm{init}}}}},{{y_{{\rm{end}}}}}\right)$、速度$\left( {{{v}_{{\rm{init}}}}},{{{v}_{{\rm{end}}}}} \right)$要求, 采用三次样条函数生成连续轨迹. 起跳阶段的纵向位置期望轨迹、$p_1$-$p_2 $阶段、${p_2}$-${p_3}$ 阶段足端期望轨迹均由式(9)生成:
$$ \left\{\begin{aligned} &y=a{t}^{3}+b{t}^{2}+ct+d\\ &c={v}_{{\rm{init}}}\\ &d={y}_{{\rm{init}}}\\ &a=\dfrac{{v}_{{\rm{end}}}t-2{y}_{{\rm{end}}}+{v}_{{\rm{init}}}t+2{y}_{{\rm{init}}}}{T^{3}}\\ &b=\dfrac{{v}_{{\rm{end}}}-3a{T}^{2}-c}{2T}\end{aligned}\right.$$ (9) 其中, T为该段三次样条插值的总时长.
3. 全身力矩控制器
为实现机器人奔跑与跳跃的有效控制, 本节介绍了分布式控制器的设计方法. 首先基于躯干子系统的动力学模型, 采用二次规划 (Quadratic programming, QP)二次优化得到合理的虚拟作动力以使得躯干位姿满足控制要求. 采用逆动力学前馈补偿与逆运动学反馈补偿方法得到腿轮关节力矩.
3.1 基于最优虚拟力分配的躯干控制器
对于躯干单刚体进行静力分析, 假设躯干质量集中于几何中心处, 建立躯干质心合力与躯干受到的腿轮虚拟作动力的映射关系如下所示:
$$\left[ {\begin{array}{*{20}{c}} {\boldsymbol{F}} \\ {\boldsymbol{N}} \end{array}} \right]{\rm{\;+ \;}}{{\boldsymbol{G}}_{b}} = {\boldsymbol{A}}\left[ {\begin{array}{*{20}{c}} {{{\boldsymbol{W}}_{1}}} \\ {{{\boldsymbol{W}}_{2}}} \end{array}} \right]$$ (10) 其中, ${\boldsymbol{F}}{\rm{\;= [}}{F_x},{F_y},{F_z}{]^{\rm{T}}},\;{\boldsymbol{N}} = {[{N_x},{N_y},{N_z}]^{\rm{T}}}$分别为躯干质心合力与力矩. 受到关节配置的约束, 腿轮末端只能主动输出延机体坐标系x和z的力与绕y轴的力矩, 式(10)可展开为式(11)的形式.
$$\begin{split} \left[ {\begin{array}{*{20}{c}} {\boldsymbol{F}} \\ {\boldsymbol{N}} \end{array}} \right] + &\left[ {\begin{array}{*{20}{c}} {{m_{{b}}}g\sin \beta } \\ 0 \\ {{m_{{b}}}g\cos \beta } \\ {\rm{0}} \\ {\rm{0}} \\ {\rm{0}} \end{array}} \right] = \\ &\underbrace {\left[ {\begin{array}{*{20}{c}} 1&0&0&1&0&0 \\ 0&0&0&0&0&0 \\ 0&1&0&0&1&0 \\ 0&{\dfrac{w}{2}}&0&0&{ - \dfrac{w}{2}}&0 \\ { - \dfrac{h}{2}}&0&1&{ - \dfrac{h}{2}}&0&1 \\ { - \dfrac{w}{2}}&0&0&{\dfrac{w}{2}}&0&0 \end{array}} \right]}_{\boldsymbol{A}}\left[ {\begin{array}{*{20}{c}} {{f_{1x}}} \\ {{f_{1z}}} \\ {{n_{1y}}} \\ {{f_{2x}}} \\ {{f_{2z}}} \\ {{n_{2y}}} \end{array}} \right]\end{split}$$ (11) 其中, $g = 9.8 \; {\rm{m}}/{{\rm{s}}^2}$. 根据不同维度的特点构造躯干期望虚拟力${\boldsymbol{F}}$与${\boldsymbol{N}}$的反馈部分, 基于动力学模型进行必要的前馈补偿, 为保证速度跟踪性能, 虚拟力${F_x}$的反馈部分采用自适应滑膜方法构造, 其他维度采用比例−微分控制方法构造, 具体方法为
$$\left\{\begin{aligned} &{F_x} = s + sat\left( s \right)c \\ &s = \dot e + \lambda e \\ &e = {{\dot x}_d} - {}^B{{{v}}_{{B}}}, \dot e = {{\ddot x}_d} - {}^B{{\dot v}_B} \\ &{F_z} = {k_{pz}}\left( {{z_d} - {}^B{z_B}} \right) + {k_{dz}}\left( {{{\dot z}_d} - {}^B{{\dot z}_B}} \right)+{m_{{b}}}{{\ddot z}_d} \\ &{N_x} = {k_{p\gamma }}\left( {{\gamma _d} - \gamma } \right) + {k_{n\gamma }}\left( {{{\dot \gamma }_d} - \dot \gamma } \right) \\ & {N_y} = {k_{p\beta }}\left( {{\beta _d} - \beta } \right) + {k_{n\beta }}\left( {{{\dot \beta }_d} - \dot \beta } \right) \\ &{N_z} = {k_{{\omega}} }\left( {{{{\omega}} _d} - {{\omega}} } \right) \end{aligned}\right. $$ (12) 矩阵${\boldsymbol{A}}$为奇异矩阵, 因此无法直接解得与躯干虚拟广义力一一对应的腿轮末端作动力, 因此, 将式(11)变形为
$${\boldsymbol{A}}\underbrace {\left[ {\begin{array}{*{20}{c}} {{{\boldsymbol{W}}_{1}}} \\ {{{\boldsymbol{W}}_{2}}} \end{array}} \right]}_x=\underbrace {{{\left[ {\begin{array}{*{20}{c}} {\boldsymbol{F}} \\ {\boldsymbol{N}} \end{array}} \right]}^{{\rm{desire}}}}+{{\boldsymbol{G}}_{b}}}_b$$ (13) 通过QP优化器进行作动力求解
$$\begin{split} &\mathop {\min }\limits_{\boldsymbol{x}} \;\;\;f =\; {\left( {{\boldsymbol{Ax}} - {\boldsymbol{b}}} \right)^{\rm{T}}}{\boldsymbol{Q}}\left( {{\boldsymbol{Ax}} - {\boldsymbol{b}}} \right)\;+ \\ & \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{\boldsymbol{P}}{\left\| {{\boldsymbol{x}} - {{\boldsymbol{x}}_{{\rm{pre}}}}} \right\|^2} + {\boldsymbol{J}}{\left\| {\boldsymbol{x}} \right\|^2} \\ &{\rm{s.t}}\; \left| {{f_{ix}}} \right| \leq \mu {f_{iz}} \end{split} $$ (14) 其中, Q, P, J为正定对角权重矩阵, ${{\boldsymbol{x}}_{{\rm{pre}}}}$为上一时刻的解.
3.2 腿部控制器
当机器人处于支撑相时, 躯干控制器将躯干期望合力分配为各条腿轮的末端力旋量. 为实现力伺服, 基于轮式基座动力学模型前馈补偿的逆动力学力矩解算器如下所示
$$\begin{split} {{\boldsymbol{\tau}} _{i}} =\;& {\boldsymbol{J}}_{i}^{\rm{T}}{{\boldsymbol{W}}_{i}} + {{\boldsymbol{C}}_{i}}\left( {{{\boldsymbol{q}}_{i}},{{\dot {\boldsymbol{q}}}_{i}},{{q}_{iw}},{{\dot q}_{iw}}} \right) + \\ &{{\boldsymbol{G}}_{i}}\left( {{{\boldsymbol{q}}_{i}},{{q}_{iw}}} \right) +{i}\left( {{{q}_{iw}},{{\dot q}_{iw}}} \right){{\ddot q}_{iw}} \end{split} $$ (15) 其中, ${q}_{iw}{\text{, }}{\dot{q}}_{iw}{\text{, }}{\ddot{q}}_{iw}$均由基于传感器的状态观测器得到. 基于动力学前馈补偿的控制方法可以使机器人自适应地保持在唯一的不稳定平衡点处.
当机器人处于腾空相时, 为保证腿轮末端与躯干的相对位置以及机器人在世界坐标系中姿态的稳定, 将腾空相腿部控制器分为两部分, 基于式(6)动力学模型, 对髋关节与膝关节进行力矩控制以实现腿轮末端轨迹跟踪.
$${\boldsymbol{\tau}} _{i}^{s} = {\boldsymbol{C}}_{i}^{s}\left( {{\boldsymbol{q}}_{i}^{s},\dot {\boldsymbol{q}}_{i}^{s}} \right) + {\boldsymbol{G}}_{i}^{s}\left( {{\boldsymbol{q}}_{i}^{s}} \right) + {\boldsymbol{J}}_{i}^{{s}{\rm{T}}}{{\boldsymbol{F}}_{is}}$$ (16) 其中, ${{\boldsymbol{F}}_{is}} = {\left[ {{f_{ipx}}}\;\;{{f_{ipz}}}\right]^{\rm{T}}}$.
$$\left\{\begin{aligned} &{f_{ipx}} = {k_{ipx}}\left( {{x_{pd}} - {x_{ip}}} \right) + {k_{idx}}\left( {{{\dot x}_{pd}} - {{\dot x}_{ip}}} \right) \\ &{f_{ipz}} = {k_{ipz}}\left( {{z_{pd}} - {z_{ip}}} \right) + {k_{idz}}\left( {{{\dot z}_{pd}} - {{\dot z}_{ip}}} \right) \end{aligned}\right. $$ (17) 其中, $\left( {{x_{ip}},{z_{ip}}} \right)$与$\left( {{x_{pd}},{z_{pd}}} \right)$分别为自然坐标系中的足端位置描述与期望足端位置描述.
在腾空阶段, 系统处于动量守恒状态, 因此腿部关节的运动会导致整体姿态的变化, 此时可通过控制飞轮转动对姿态的误差进行有效补偿. 将一级轮式倒立摆动力学模型式(7)变形, 得到:
$$\ddot \beta = - \frac{{L{m_{b}}R{{\rm{c}} _\beta }}}{{{I_{b}} + {L^2}{m_{b}}}}{\ddot \theta _w} - \frac{1}{{{I_{b}} + {L^2}{m_{b}}}}{\tau _w} + \frac{{gL{m_{b}}{{\rm{s}} _\beta }}}{{{I_{b}} + {L^2}{m_{b}}}}$$ (18) 此时轮不与地面接触, 可以看作调整平衡的飞轮, 通过式(18)可以看出, 飞轮的转动能够影响倒立摆的俯仰角运动状态, 当俯仰角逆时针偏离期望位置时, 飞轮应顺时针转动保证姿态平衡, 反之亦然. 基于这一结论, 可以根据躯干控制器中输出的俯仰姿态矫正力矩${N_y}$ (如式(12)所示)来规划轮的力矩, 从而得到轮关节的力矩为
$$ {\tau _{{\rm{1}}w}} = {\tau _{2w}} = - k{N_y} $$ (19) 其中, k为正比例增益.
4. 仿真实验
在Webots 8.4.0中建立与HEBI IGOR同尺寸3D模型, 与Visual Studio 2017、Gurobi 902优化解算库进行联合仿真. 为验证本文所提算法的有效性, 分别设置了连续跳跃实验与空中姿态调整对比实验, 其总体控制框图如图3所示. 仿真视频见
https://www.bilibili.com/video/BV1zz4y1X7jp/ .根据期望跳跃高度${H_{pt}}$的不同, 轨迹生成器会生成不同的起跳阶段躯干纵向期望轨迹. 分别针对${H_{pt}}\;{ = 0}.45\;{\rm{m}}$, ${H_{pt}}\;{ = 0}.35\;{\rm{m}}$, ${H_{pt}}\;{ = 0}.25\;{\rm{m}}$进行了弹跳实验, 机器人的躯干纵向轨迹${z_{b}}$以及足端位置轨迹${z_p}$如图4所示, 可以看出期望弹跳高度越大, 所规划的躯干纵向期望轨迹在起跳点处纵向速度越大, 从而腾空相时间越长.
图 4 不同离地高度下躯干与足端纵向位置曲线Fig. 4 Longitudinal position curves of the torso and feet at different ground clearance4.1 连续跳跃实验
本仿真实验主要验证: 1)该算法框架下的跳跃动作是否能够实现; 2)该算法框架是否能够对跳跃动作带来的强干扰进行抑制并保持有界稳定. 因此, 仿真实验设置如下: 机器人初始状态为站立静止, 在0 ~ 3 s内加速至2 m/s, 随后保持匀速运动. 当t = 3.35 s时, 通过外部遥控下达${{H}_{{pt}}}{\rm{\;= \;0}}.45\;{\rm{m}}$的跳跃命令, 机器人依次执行起跳−腾空−落地缓冲−调整; 当t = 5.85 s时, 再次下达${H_{pt}}=0.45\;{\rm{m}}$的跳跃命令, 机器人完成跳跃并最终将跳跃导致的状态偏移调整到有界稳定状态. 以首次跳跃为例, 其仿真截图如图5所示.
对于完全站立高度为1.35 m的腿轮机器人来说, 最大离地高度为0.45 m的跳跃会对其平衡状态产生较大冲击, 甚至失去平衡. 由图6和图7中曲线可看出, 每次跳跃结束后, 各状态量进行了及时调整. 0 ~ 3 s加速阶段躯干水平速度的最大跟踪误差不超过0.075 rad, 其他支撑阶段, 误差小于0.04 rad. 图7可见, 处于支撑相时, 加速度越大水平速度误差越大, 最大误差为0.06 m/s. 当机器人进入腾空相时, 与外界环境不再产生相互作用力, 此时, 机器人保持动量守恒状态, 因此腿部伸缩运动影响了躯干的水平速度, 最大误差不超过0.08 m/s. 由腾空相切换为支撑相的瞬间, 实际水平速度与期望速度(2 m/s)之间存在偏差, 控制器实时规划期望速度曲线, 并将速度调整为2 m/s. 此外, 如图6所示, 腾空相中机器人pitch与roll角波动较大, 但着陆后控制器可有效控制姿态角恢复到0 rad附近. 与之对应的, 如图8所示, 力与力矩在着陆后出现较明显波动, 用以调整状态量使其恢复临界稳定.
图8为躯干子系统所需的虚拟广义力曲线图, 可见, 前进方向虚拟作动力${F_x}$与躯干水平加速度相关, 0 ~ 3 s水平加速度始终为正, 因此, ${{F_x}> 0}$, 最大值约为46 N; 当站高保持常值时, 纵向虚拟作动力${F_z}$在388 N ~ 398 N (mb = 40 kg)区间内波动, 由于起跳瞬间躯干纵向期望轨迹的初始点处加速度不为零, 加速度跳变导致了${F_z}$的跳变.
躯干纵向位置跟踪曲线如图9所示, 最大误差为48 mm, 发生在起跳阶段, 当期望站高为常量${H_{\rm{0}}}$时, 最大误差为0.2 mm, 发生在落地缓冲阶段. 可见该控制框架具有对纵向位置跟踪的稳定性与抗扰能力. 腾空阶段, 足端位置基于躯干动基座计算得到, 从而躯干动基座的波动会影响足端轨迹跟随, 导致足端轨迹波动较大, 最大误差为50 mm.
通过最优力分配将躯干虚拟作动力分配为各腿轮末端期望的输出广义力如图10所示. 两腿轮的广义力输出基本保持一致, 在着陆后有明显的调整行为. 各关节力矩曲线如图11所示, 膝关节力矩输出较大, 髋关节与轮关节力矩均在0附近波动.
4.2 空中姿态调整对比实验
为验证轮轴力矩对俯仰姿态矫正的有效性, 设计了腾空姿态调整对比实验. 实验1中腾空相的轮轴力矩${\tau _w} = 0\;({\rm{N}}\cdot{\rm{m}})$, 实验2中腾空相的轮轴力矩${\tau _w} = - {N_y}$, 保证其他条件完全相同. 图12为对比实验的俯仰角曲线, 可见当${\tau _w} = 0\;({\rm{N}}\cdot{\rm{m}})$时, 俯仰角由腾空初始时刻到着陆瞬间, 一直处于单向递增状态, 若腾空时间过长会导致着陆姿态不稳定. 当${\tau _w} =- {N_y} $时, 以俯仰角状态量为反馈进行了有效的姿态调整, 使得腾空相俯仰角在 $(- 0.015\;{\rm {rad}} $, 0.02 rad)范围内波动. 证明了基于角动量守恒的轮的反向转动对腾空姿态的调整是有效的.
5. 结束语
为使双腿轮机器人实现高动态运动, 本文提出了基于最优力分配的全身力矩控制器, 该控制器基于动力学模型进行设计, 所生成的全身力矩可在不额外规划平衡控制器的基础上实现机器人的自平衡, 并有效控制躯干位姿. 仿真实验表明, 该控制器能够同时保证水平速度、站高等多个维度的状态量处于有界稳定. 为提高双腿轮机器人地形适应能力, 规划并实现了双腿轮机器人的跳跃运动, 使其能在不打断高速运动的同时跨越垂直障碍, 进行了连续跳跃实验, 验证了所提方法的有效性.
-
表 1 ICDAR2015测试集检测结果对比
Table 1 Qualitative comparison on ICDAR2015 dataset
方法 召回率 (R) 精确度 (P) F 值 CNN MSER[22] 0.34 0.35 0.35 Islam 等[25] 0.64 0.78 0.70 AJOU[26] 0.47 0.47 0.47 NJU[22] 0.36 0.70 0.48 StradVision2[22] 0.37 0.77 0.50 Zhang 等[23] 0.43 0.71 0.54 Tian 等[27] 0.52 0.74 0.61 Yao 等[28] 0.59 0.72 0.65 Liu 等[29] 0.682 0.732 0.706 Shi 等[24] 0.768 0.731 0.750 East PVANET[15] 0.7135 0.8086 0.7571 East PVANET2x[15] 0.735 0.836 0.782 EAST PVANET2x MS[15] 0.783 0.833 0.807 TextBoxes++[30] 0.767 0.872 0.817 RRD[8] 0.79 0.8569 0.822 TextSnake[6] 0.804 0.849 0.826 TextBoxes++ MS[30] 0.785 0.878 0.829 Lv 等[7] 0.895 0.797 0.843 本文方法 0.789 0.854 0.82 
下载: 导出CSV
表 2 MSRA-TD500测试集检测结果对比
Table 2 Qualitative comparison on MSRA-TD500 dataset
方法 召回率 (R) 精确度 (P) F 值 Epshtein 等[31] 0.25 0.25 0.25 TD-ICDAR[21] 0.52 0.53 0.50 Zhang 等[23] 0.43 0.71 0.54 TD-Mixture[21] 0.63 0.63 0.60 Yao 等[28] 0.59 0.72 0.65 Kang 等[32] 0.62 0.71 0.66 Yin 等[33] 0.62 0.81 0.71 East PVANET[15] 0.6713 0.8356 0.7445 EAST PVANET2x[15] 0.6743 0.8728 0.7608 TextSnake[6] 0.739 0.832 0.783 本文方法 0.689 0.925 0.79
下载: 导出CSV
表 3 ICDAR2013测试集检测结果对比
Table 3 Qualitative comparison on ICDAR2013 dataset
方法 召回率 (R) 精确度 (P) F 值 Fasttext[34] 0.69 0.84 0.77 MMser[35] 0.70 0.86 0.77 Lu 等[36] 0.70 0.89 0.78 TextFlow[37] 0.76 0.85 0.80 TextBoxes [38] 0.74 0.86 0.80 TextBoxes++[30] 0.74 0.86 0.80 RRD[8] 0.75 0.88 0.81 He 等[39] 0.73 0.93 0.82 FCN[23] 0.78 0.88 0.83 Qin 等[40] 0.79 0.89 0.83 Tian 等[41] 0.84 0.84 0.84 TextBoxes MS[38] 0.83 0.88 0.85 Lv 等[7] 0.933 0.794 0.858 TextBoxes++ MS[30] 0.84 0.91 0.88 EAST PVANET2x[15] 0.8267 0.9264 0.8737 Tang 等[42] 0.87 0.92 0.90 本文方法 0.858 0.931 0.893
下载: 导出CSV
表 4 多种文字检测方法在ICDAR2015上的精度和速度对比结果
Table 4 Comparison of accuracy and speed on ICDAR2015 dataset
方法 测试图片尺寸
(像素)设备 帧率
(帧/s)F 值 Zhang 等[23] MS TitanX 0.476 0.54 Tian 等[27] ss-600 GPU 7.14 0.61 Yao 等[28] 480 p K40m 1.61 0.65 Shi 等[24] 768 × 768 TitanX 8.9 0.750 EAST PVANET[15] 720 p TitanX 16.8 0.757 EAST PVANET2x[15] 720 p TitanX 13.2 0.782 TextBoxes++[30] 1024 × 1024 TitanX 11.6 0.817 RRD[8] 1024 × 1024 TitanX 6.5 0.822 TextSnake[6] 1280 × 768 TitanX 1.1 0.826 TextBoxes++ MS[30] MS TitanX 2.3 0.829 Lv 等[7] 512 × 512 TitanX 1 0.843 本文方法 720 p TitanX 12.5 0.82
下载: 导出CSV
表 5 本文方法各组件在ICDAR2015数据集上的作用效果
Table 5 Effectiveness of various designs on ICDAR2015 dataset
ResNet50 感受野增强模块 Focalloss GIoUloss 召回率 (R) 精确度 (P) F 值 × × × × 0.735 0.836 0.782 √ × × × 0.764 0.833 0.797 √ √ × × 0.766 0.845 0.802 √ √ √ × 0.776 0.853 0.813 √ √ √ √ 0.789 0.854 0.82
下载: 导出CSV
-
[1] Liu W, Anguelov D, Erhan D, Szegedy C, Reed S, Fu C Y, et al. SSD: Single shot multibox detector. In: Proceedings of the 14th European Conference on Computer Vision. Amsterdam, the Netherlands: Springer, 2016. 21−37 [2] Ren S Q, He K M, Girshick R, Sun J. Faster R-CNN: Towards real-time object detection with region proposal networks. In: Proceedings of the 2015 Advances in Neural Information Processing Systems. NIPS, 2015. 91−99 [3] He W H, Zhang X Y, Yin F, Liu C L. Deep direct regression for multi-oriented scene text detection. In: Proceedings of the 2017 IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017. 745−753 [4] Deng D, Liu H F, Li X L, Cai D. Pixellink: Detecting scene text via instance segmentation. In: Proceedings of the 32nd AAAI Conference on Artificial Intelligence. New Orleans, LA, USA: AAAI, 2018. 6773−6780 [5] Yan S, Feng W, Zhao P, Liu C L. Progressive scale expansion network with octave convolution for arbitrary shape scene text detection. In: Proceedings of the 2019 Asian Conference on Pattern Recognition. Springer, Cham, 2019. 663−676 [6] Long S B, Ruan J Q, Zhang W J, He X, Wu W H, Yao C. TextSnake: A flexible representation for detecting text of arbitrary shapes. In: Proceedings of the 15th European Conference on Computer Vision (ECCV). Munich, Germany: Springer, 2018. 19−35 [7] Lv P Y, Yao C, Wu W H, Yan S C, Bai X. Multi-oriented scene text detection via corner localization and region segmentation. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 7553−7563 [8] Liao M H, Zhu Z, Shi B G, Xia G S, Bai X. Rotation-sensitive regression for oriented scene text detection. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 5909−5918 [9] Lyu P Y, Liao M H, Yao C, Wu W H, Bai X. Mask textspotter: An end-to-end trainable neural network for spotting text with arbitrary shapes. In: Proceedings of the 15th European Conference on Computer Vision (ECCV). Munich, Germany: Springer, 2018. 71−88 [10] Lin T Y, Goyal P, Girshick R, He K M, Dollar P. Focal loss for dense object detection. In: Proceedings of the 2017 IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017. 2999−3007 [11] Rezatofighi H, Tsoi N, Gwak J, Sadeghian A, Reid I, Savarese S. Generalized intersection over union: A metric and a loss for bounding box regression. In: Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE, 2019. 658−666 [12] Lin T Y, Dollar P, Girshick R, He K M, Hariharan B, Belongie S. Feature pyramid networks for object detection. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE, 2017. 936−944 [13] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks. Communications of the ACM, 2017, 60(6): 84-90 doi: 10.1145/3065386 [14] He K M, Zhang X Y, Ren S Q, Sun J. Deep residual learning for image recognition. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 770−778 [15] Zhou X Y, Yao C, Wen H, Wang Y Z, Zhou S C, He W R, et al. EAST: An efficient and accurate scene text detector. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE, 2017. 2642−2651 [16] Liu S T, Huang D, Wang Y H. Receptive field block net for accurate and fast object detection. In: Proceedings of the 15th European Conference on Computer Vision (ECCV). Munich, Germany: Springer, 2018. 404−419 [17] Szegedy C, Ioffe S, Vanhoucke V, Alemi A A. Inception-v4, Inception-ResNet and the impact of residual connections on learning. In: Proceedings of the 31st AAAI Conference on Artificial Intelligence. San Francisco, USA: AAAI, 2017. 4278−4284 [18] Yu F, Koltun V. Multi-scale context aggregation by dilated convolutions. arXiv: 1511.07122, 2015. [19] Karatzas D, Shafait F, Uchida S, Iwamura M, Bigorda L G I, Mestre S R, et al. ICDAR 2013 robust reading competition. In: Proceedings of the 12th International Conference on Document Analysis and Recognition. Washington, USA: IEEE, 2013. 1484−1493 [20] Karatzas D, Gomez-Bigorda L, Nicolaou A, Ghosh S, Bagdanov A, Iwamura M, et al. ICDAR 2015 competition on robust reading. In: Proceedings of the 13th International Conference on Document Analysis and Recognition. Tunis, Tunisia: IEEE, 2015. 1156−1160 [21] Yao C, Bai X, Liu W Y, Ma Yi, Tu Z W. Detecting texts of arbitrary orientations in natural images. In: Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, USA: IEEE, 2012. 1083−1090 [22] Yao C, Bai X, Liu W Y. A unified framework for multioriented text detection and recognition. IEEE Transactions on Image Processing, 2014, 23(11): 4737-4749 doi: 10.1109/TIP.2014.2353813 [23] Zhang Z, Zhang C Q, Shen W, Yao C, Liu W Y, Bai X. Multi-oriented text detection with fully convolutional networks. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 4159−4167 [24] Shi B G, Bai X, Belongie S. Detecting oriented text in natural images by linking segments. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE 2017. 3482−3490 [25] Islam M R, Mondal C, Azam M K, Islam A S M. Text detection and recognition using enhanced MSER detection and a novel OCR technique. In: Proceedings of the 5th International Conference on Informatics, Electronics and Vision (ICIEV). Dhaka, Bangladesh: IEEE, 2016. 15−20 [26] Gupta A, Vedaldi A, Zisserman A. Synthetic data for text localisation in natural images. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016. 2315−2324 [27] Tian Z, Huang W L, He T, He P, Qiao Y. Detecting text in natural image with connectionist text proposal network. In: Proceedings of the 14th European Conference on Computer Vision. Amsterdam, the Netherlands: Springer, 2016. 56−72 [28] Yao C, Bai X, Sang N, Zhou X Y, Zhou S C, Cao Z M. Scene text detection via holistic, multi-channel prediction. arXiv: 1606.09002, 2016. [29] Liu Y L, Jin L W. Deep matching prior network: Toward tighter multi-oriented text detection. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: 2017. 3454−3461 [30] Liao M H, Shi B G, Bai X. TextBoxes++: A single-shot oriented scene text detector. IEEE Transactions on Image Processing, 2018, 27(8): 3676-3690 doi: 10.1109/TIP.2018.2825107 [31] Epshtein B, Ofek E, Wexler Y. Detecting text in natural scenes with stroke width transform. In: Proceedings of the 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco, USA: IEEE, 2010. 2963−2970 [32] Kang L, Li Y, Doermann D. Orientation robust text line detection in natural images. In: Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA: IEEE, 2014. 4034−4041 [33] Yin X C, Pei W Y, Zhang J, Hao H W. Multi-orientation scene text detection with adaptive clustering. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1930-1937 doi: 10.1109/TPAMI.2014.2388210 [34] Buta M, Neumann L, Matas J. FASText: Efficient unconstrained scene text detector. In: Proceedings of the 2015 IEEE International Conference on Computer Vision (ICCV). Santiago, Chile: IEEE, 2015. 1206−1214 [35] Zamberletti A, Noce L, Gallo I. Text localization based on fast feature pyramids and multi-resolution maximally stable extremal regions. In: Proceedings of the 2015 Asian Conference on Computer Vision. Singapore, Singapore: Springer, 2014. 91−105 [36] Lu S J, Chen T, Tian S X, Lim J H, Tan C L. Scene text extraction based on edges and support vector regression. International Journal on Document Analysis and Recognition (IJDAR), 2015, 18(2): 125-135 doi: 10.1007/s10032-015-0237-z [37] Tian S X, Pan Y F, Huang C, Lu S J, Yu Kai, Tan C L. Text flow: A unified text detection system in natural scene images. In: Proceedings of the 2015 IEEE International Conference on Computer Vision. Santiago, Chile: 2015. 4651−4659 [38] Liao M H, Shi B G, Bai X, Wang X G, Liu W Y. Textboxes: A fast text detector with a single deep neural network. In: Proceedings of the 31st AAAI Conference on Artificial Intelligence. San Francisco, USA: AAAI, 2017. 4161−4167 [39] He T, Huang W L, Qiao Y, Yao J. Text-attentional convolutional neural network for scene text detection. IEEE Transactions on Image Processing, 2016, 25(6): 2529-2541 doi: 10.1109/TIP.2016.2547588 [40] Qin S Y, Manduchi R. A fast and robust text spotter. In: Proceedings of the 2016 IEEE Winter Conference on Applications of Computer Vision. Lake Placid, USA: IEEE, 2016. 1−8 [41] Tian C N, Xia Y, Zhang X N, Gao X B. Natural scene text detection with MC-MR candidate extraction and coarse-to-fine filtering. Neurocomputing, 2017, 260: 112-122 doi: 10.1016/j.neucom.2017.03.078 [42] Tang Y B, Wu X Q. Scene text detection and segmentation based on cascaded convolution neural networks. IEEE Transactions on Image Processing, 2017, 26(3): 1509-1520 doi: 10.1109/TIP.2017.2656474 [43] 李文英, 曹斌, 曹春水, 黄永祯. 一种基于深度学习的青铜器铭文识别方法. 自动化学报, 2018, 44(11): 2023-2030Li Wen-Ying, Cao Bin, Cao Chun-Shui, Huang Yong-Zhen. A deep learning based method for bronze inscription recognition. Acta Automatica Sinica, 2018, 44(11): 2023-2030 [44] 王润民, 桑农, 丁丁, 陈杰, 叶齐祥, 高常鑫, 等. 自然场景图像中的文本检测综述. 自动化学报, 2018, 44(12): 2113-2141Wang Run-Min, Sang Nong, Ding Ding, Chen Jie, Ye Qi-Xiang, Gao Chang-Xin, et al. Text detection in natural scene image: A survey. Acta Automatica Sinica, 2018, 44(12): 2113-2141 [45] 金连文, 钟卓耀, 杨钊, 杨维信, 谢泽澄, 孙俊. 深度学习在手写汉字识别中的应用综述. 自动化学报, 2016, 42(8): 1125-1141Jin Lian-Wen, Zhong Zhuo-Yao, Yang Zhao, Yang Wei-Xin, Xie Ze-Cheng, Sun Jun. Applications of deep learning for handwritten Chinese character recognition: A review. Acta Automatica Sinica, 2016, 42(8): 1125-1141 [46] Wang W H, Xie E Z, Li X, Hou W B, Lu T, Yu G, Shao S. Shape robust text detection with progressive scale expansion network. In: Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, USA: IEEE, 2018. 9328−9337 期刊类型引用(7)
1. 刘彦希，吴浩，蔡源，唐丹，宋弘. 基于改进EAST算法的电气设备铭牌文字检测. 四川轻化工大学学报(自然科学版). 2024(03): 42-50 . 
百度学术2. 常荣，唐力. 基于监督和卷积循环神经网络算法的电力设备铭牌识别技术. 电子器件. 2024(04): 1027-1032 . 百度学术3. 陈桃. AI视觉赋能工业质检的研究和实践. 江苏通信. 2024(04): 91-95 . 百度学术4. 石煌雄，胡洋，蒋作，潘文林，杨凡. 基于改进CTPN网络的电气铭牌文本区域检测. 云南民族大学学报(自然科学版). 2023(01): 96-102 . 百度学术5. 李雨，闫甜甜，周东生，魏小鹏. 基于注意力机制与深度多尺度特征融合的自然场景文本检测. 图学学报. 2023(03): 473-481 . 百度学术6. 董晨，郑禄，于舒，饶白云. 基于上下文感知与多尺度注意力的遥感变化检测. 软件导刊. 2023(11): 65-70 . 百度学术7. 姬壮伟. 轻量化双通道图像语义分割模型. 山西大同大学学报(自然科学版). 2022(05): 6-8 . 百度学术其他类型引用(7)
-
下载:
计量
- 文章访问数: 671
- HTML全文浏览量: 344
- PDF下载量: 196
- 被引次数: 14
