An Improved Video Segmentation Network and Its Global Information Optimization Method
-
摘要: 提出了一种基于注意力机制的视频分割网络及其全局信息优化训练方法. 该方法包含一个改进的视频分割网络, 在对视频中的物体进行分割后, 利用初步分割的结果作为先验信息对网络优化, 再次分割得到最终结果. 该分割网络是一种双流卷积网络, 以视频图像和光流图像作为输入, 分别提取图像的表观信息和运动信息, 最终融合得到分割掩膜(Segmentation mask). 网络中嵌入了一个新的卷积注意力模块, 应用于卷积网络的高层次特征与相邻低层次特征之间, 使得高层语义特征可以定位低层特征中的重要区域, 提高网络的收敛速度和分割准确度. 在初步分割之后, 本方法提出利用初步结果作为监督信息对表观网络的权值进行微调, 使其辨识前景物体的特征, 进一步提高双流网络的分割效果. 在公开数据集DAVIS上的实验结果表明, 该方法可准确地分割出视频中时空显著的物体, 效果优于同类双流分割方法. 对注意力模块的对比分析实验表明, 该注意力模块可以极大地提高分割网络的效果, 较本方法的基准方法(Baseline)有很大的提高.Abstract: This paper presents an attention-based video segmentation network and its global information optimization training method. We propose an improved segmentation network, and use it to compute initial segmentation masks. Then the initial masks are considered as priors to finetune the network. Finally, the network with the learnt weight generates fine masks. Our two-stream segmentation network includes appearance branch and motion branch. Fed with image and optical flow image separately, the network extracts appearance features and motion features to generate segmentation mask. An attention module is embedded in the network, between the adjacent high level feature and low level feature. Thus the high level features locate the semantic region for the low level feature, speeding up the network convergence and improving segmentation quality. We propose to optimize the initial masks to finetune the original appearance network weights, making the network recognize the object and improving the network performance. Experiments on DAVIS show the effectiveness of the segmentation framework. Our method outperforms the traditional two-stream segmentation algorithms, and achieves comparable results with algorithms on the dataset＇s leaderboard. Validation experiment illustrates our attention module greatly improves the network performance than the baseline.
-
自动化将人从单调而繁重的重复性工作中解放出来, 进而使人更多地投入到创造性的工作中, 极大地拓展了人认知和改造世界的范畴.当今世界, 以自动控制和信息处理为核心的自动化技术已经成为推动生产力发展、改善人类生活以及促进社会前进的动力之一, 因而自动化科学也成为衡量一个国家科技发展水平和综合国力的重要标准之一.
自动化是一门涉及学科多且应用广泛的综合学科, 在我国的研究生培养体系中, 自动化对应的一级学科“控制科学与工程”下属有五个二级学科: “控制理论与控制工程”、“检测技术与自动装置”、“系统工程”、“模式识别与智能系统”、“导航、制导与控制”.国家自然科学基金(简称:科学基金)是国家支持自动化领域研究的主要渠道之一, 依靠科学基金的资助, 我国在自动化学科方面取得了长足的进步, 在计算智能、无人系统技术、人工智能等新兴方向上有了重要的进展[1].本文以2014-2018年科学基金对信息科学部自动化学科中的面上项目、青年科学基金项目、地区科学基金项目、重点项目和海外及港澳学者合作研究项目的资助情况为依据[2], 对近年国内自动化领域的主要研究成果和未来发展趋势进行综述.
1. 我国自动化学科研究现状
科学基金为中国在自动化领域的快速进步做出了重要贡献, 科学基金发挥的作用是中国自动化领域科技进步的关键因素之一, 它推动了中国和国际科学界建立重要联系.科学基金通过资助项目、促进学科发展, 发挥了提高中国基础研究数量和质量的先锋作用[3].
“自动化”是科学基金项目一级申请代码(F03)领域, 下分十个二级领域:控制理论与技术(F0301)、控制系统(F0302)、系统建模理论与仿真技术(F0303)、系统工程理论与技术(F0304)、生物系统分析与调控(F0305)、检测技术与装置(F0306)、导航、制导与控制(F0307)、智能制造自动化系统理论与技术(F0308)、机器人学与机器人技术(F0309)、人工智能驱动的自动化(F0310).本文借助国家自然科学基金委员会网站(http://www.nsfc.gov.cn/)的项目查询与统计功能以及资助项目统计, 搜集自动化下属十个二级领域的面上项目、青年科学基金项目、地区科学基金项目、重点项目和海外及港澳学者合作研究项目的关键词、申请代码、资助数量、资助金额等信息[4].经统计, 2014-2018年科学基金在自动化领域对上述五个项目累计资助项目4 971项, 累计资助金额23.5407亿元, 下面分别对五个项目的历年资助情况进行简要介绍.
1.1 面上项目
面上项目是科学基金的主要资助工具. 表 1为2014-2018年科学基金对自动化领域面上项目的资助情况, 图 1为面上项目资助数量和资助金额的变化曲线.由图 1可知, 面上资助数量逐年增加, 2018年增加尤为明显, 资助金额2014之后略有下降, 但2018年资助金额有大幅提高. 2014-2017年自动化领域的资助金额占学部和全委的比例基本不变, 但是2018年资助比例大幅提高.除2014年外, 自动化领域面上项目的资助率, 无论是项目数量还是项目金额, 基本保持平稳.由于2018年自动化领域面上项目申请数量大幅提高, 导致其资助率略有下降, 但是资助项目数量和金额都有大幅提高.
表 1 面上项目资助情况Table 1 General Project Funding年份 项目数量 金额(万元) 自动化领域资助金额占比 自动化领域资助率 占学部比例 占全委比例 项数 金额 2018 632 37 571.00 31.30 % 3.37 % 17.36 % 15.75 % 2017 416 24 499.00 21.51 % 2.29 % 21.36 % 18.89 % 2016 405 23 341.00 21.49 % 2.29 % 23.17 % 19.79 % 2015 387 23 311.00 21.39 % 2.28 % 21.55 % 18.49 % 2014 340 27 239.00 21.41 % 2.28 % 22.94 % 2.80 % 
图 1 自动化领域面上项目历年资助情况Fig. 1 Annual Funding of General Projects in the field of automation1.2 青年科学基金项目
人才培养是科学基金的核心人物之一, 而青年科学基金为研究人员的职业发展提供了重要支撑. 表 2为2014-2018年科学基金对自动化领域青年科学基金项目的资助情况, 图 2为青年科学基金项目资助数量和资助金额的变化曲线.由图 2可知, 青年科学基金资助数量在2014-2017有小范围波动, 在2018年大幅提高, 资助金额也是相同的趋势.自动化领域的资助金额占学部和全委的比例在2018年也大幅度提高.青年科学基金项目的资助率, 无论是项目数量还是项目金额, 基本保持平稳.
表 2 青年科学基金资助情况Table 2 Funding of the Youth Science Foundation Project年份 项目数量 金额(万元) 资助金额比例 自动化学科资助率 信息部占全委比例 自动化占学部比例 自动化占全委比例 项数 金额 2018 647 15 879.00 12.46 % 30.50 % 3.80 % 24.53 % 24.84 % 2017 447 10 799.00 12.33 % 21.87 % 2.70 % 24.36 % 24.82 % 2016 421 8 447.00 12.31 % 22.01 % 2.71 % 23.64 % 21.80 % 2015 424 8 711.00 12.41 % 21.98 % 2.73 % 24.21 % 21.94 % 2014 430 10 650.00 12.15 % 21.96 % 2.67 % 24.21 % 22.48 % 
图 2 自动化领域青年科学基金项目历年资助情况Fig. 2 Annual funding of the Youth Science Foundation Project in the field of automation1.3 地区科学基金项目
科学基金资助经费的地区分布反映了研究机构的集中程度, 因此基金委设立了地区科学基金来提升欠发达地区的科研能力. 表 3为2014-2018年科学基金对自动化领域地区科学基金项目的资助情况, 图 3为地区科学基金项目资助数量和资助金额的变化曲线.由图 3可知, 地区科学基金资助数量在2014-2017年有小幅波动, 资助金额逐年减少, 但是2018年资助数量和资助金额大大提高.由表 3可知, 自动化领域地区科学基金的资助金额占学部和全委的比例在2018年最高, 自动化领域地区科学基金项目的资助率, 无论是项目数量还是项目金额, 基本呈下降趋势.
表 3 地区科学基金资助情况Table 3 Subsidies from regional science funds年份 项目数量 金额(万元) 资助金额比例 自动化学科资助率 信息部占全委比例 自动化占学部比例 自动化占全委比例 项数 金额 2018 83 3 142.00 7.72 % 36.88 % 2.85 % 14.59 % 13.40 % 2017 49 1 870.00 7.56 % 22.58 % 1.71 % 17.63 % 16.06 % 2016 49 1 903.00 7.59 % 22.98 % 1.74 % 19.60 % 18.67 % 2015 56 2 122.00 7.93 % 24.42 % 1.94 % 21.62 % 19.24 % 2014 53 2 391.00 7.95 % 23.01 % 1.83 % 21.63 % 19.07 % 
图 3 自动化领域地区科学基金项目历年资助情况Fig. 3 Subsidies of regional science foundation projects in the field of automation in the past years1.4 重点项目
重点项目主要资助大额项目, 这些项目由基金委确定主题, 再通过竞争进行资助, 因此这类项目对自动化学科的发展非常重要. 表 4为2014-2018年科学基金对自动化领域重点项目的资助情况, 图 4为重点项目资助数量和资助金额的变化曲线.由图 4可知, 2014-2017年重点项目资助数量历年差别不大, 最多相差3个项目, 但是资助金额逐年下降. 2018年资助数量和资助金额大幅提高.由表 4可知, 自动化领域重点项目的资助金额占学部和全委的比例在2014-2016年基本不变. 2017年资助金额占学部和全委的比例有明显下降, 资助项目数量也略有减少, 但是资助率却有大幅提高, 说明项目申请数量较以前大幅较少. 2018年重点项目的资助率, 无论是项目数量还是项目金额, 都大幅提高, 但是项目资助率却大幅下降, 说明项目申请数量有大幅提高.
表 4 重点项目资助情况Table 4 Funding of key projects年份 项目数量 金额(万元) 资助金额比例 自动化学科资助率 信息部占全委比例 自动化占学部比例 自动化占全委比例 项数 金额 2018 32 9 120.00 13.63 % 32.57 % 4.44 % 25.20 % 23.66 % 2017 18 5 160.00 12.83 % 20.24 % 2.60 % 37.50 % 35.82 % 2016 21 5 480.00 13.12 % 24.36 % 3.20 % 30.43 % 25.85 % 2015 21 6 080.00 14.06 % 24.22 % 3.41 % 33.87 % 30.79 % 2014 19 6 800.00 13.68 % 24.29 % 3.32 % 24.36 % 24.57 % 1.5 海外及港澳学者合作研究项目
表 5为2014-2018年科学基金对自动化领域海外及港澳学者合作研究项目的资助情况, 图 5为海外及港澳学者合作研究项目资助数量和资助金额的变化曲线.由图 5可知, 海外及港澳学者合作研究项目资助数量波动较大.由表 5可知, 自动化领域海外及港澳学者合作研究项目的资助金额占学部和全委的比例波动较大, 没有明显的变化趋势, 海外及港澳学者合作研究项目的资助率, 无论是项目数量还是项目金额, 呈逐年递减的趋势.
表 5 海外及港澳学者合作研究项目资助情况Table 5 Overseas and Hong Kong-Macau scholar cooperation research projects funding年份 项目数量 金额(万元) 资助金额比例 自动化学科资助率 信息部占全委比例 自动化占学部比例 自动化占全委比例 项数 金额 2018 3 54.00 19.67 % 5.08 % 1.00 % 13.04 % 5.08 % 2017 3 54.00 20.00 % 4.41 % 0.88 % 17.65 % 5.66 % 2016 6 432.00 17.78 % 42.86 % 7.62 % 28.57 % 32.00 % 2015 4 72.00 16.46 % 7.69 % 1.27 % 36.36 % 11.19 % 2014 5 280.00 15.66 % 26.92 % 4.22 % 35.71 % 43.75 % 
图 5 自动化领域海外及港澳学者合作研究项目历年资助情况Fig. 5 Overseas and Hong Kong-Macau scholar cooperative research projects in automation1.6 国内自动化领域研究现状
表 6以科学基金对自动化领域重大研究计划、重大项目、国家杰出青年科学基金、重点项目四个方面的资助情况为依据, 统计了上述四类项目在自动化各二级领域项目资助情况.由表 6可以看出科学基金对自动化领域的项目资助中, 对控制理论与技术(F0301)领域资助项目最多、资助比例最大; 对系统工程理论与技术(F0304)、检测技术与装置(F0306)、机器人学与机器人技术(F0309)领域资助项目数量呈逐年增多的趋势; 其余领域的资助情况基本保持平稳.
表 6 2014-2018年自动化学科二级领域项目资助情况Table 6 Subsidies for automation subject secondary field projects in 2014-2018二级领域年份 F03 F0301 F0302 F0303 F0304 F0305 F0306 F0307 F0308 F0309 F0310 2018 0 12 0 0 5 0 2 3 4 5 7 2017 1 21 7 1 4 0 15 1 0 2 0 2016 0 13 5 2 2 2 11 4 0 0 0 2015 2 12 10 2 2 2 4 1 2 2 0 2014 7 13 3 1 2 0 3 3 0 2 0 (包括重大研究计划、重大项目、国家杰出青年科学基金、重点项目四个方面的资助情况) 自动化学科经过几十年的发展, 基础理论已经发展成熟, 广泛应用到工业、农业、军事、交通运输、商业、医疗等方面.过去的几年里, 在科学基金的大力资助下, 自动化学科在诸多方面取得了一些重要的进步.在学科或交叉学科研究中, 将自下而上的资助与基金委及专家遴选的优先发展需求相结合, 使得科学基金资助的许多领域后来成为国家优先发展领域.
《自动化学报》是国内自动化领域最具影响力学术期刊, 每年都会评选年度优秀论文, 获评论文均为创新性强, 学术水平高, 对推动自动化领域发展有较大影响的理论性论文或对解决比较重要应用问题有较大价值的应用型论文, 获奖论文也反映了我国学者对自动化领域的研究方向和研究重点.参考2014-2017年自动化学科二级领域的获资助情况, 以及《自动化学报》公布的近几年年度优秀论文, 按照二级学科分类, 将国内自动化领域研究现状归纳如下.
1) 控制理论与工程.近几年, 无论是在经典控制理论, 还是在智能控制、平行控制、机器人系统、系统仿真等方面, 我国都取得了重要进展.在经典控制理论方面, 我国学者首次对二阶非线性不确定系统具体给出了PID控制器参数设计的选取范围, 从理论上证明了相应闭环控制系统的全局稳定性及跟踪性能的渐进最优性.智能控制主要用于应对高复杂度及不确定性环境, 我国智能控制研究起步较晚, 但是经过科研人员的不懈攻关, 取得了长足进步, 并在桥梁、隧道等大型基础设施建设中得到广泛应用.平行控制与平行管理在理论框架、核心技术、应用示范等方面取得了丰硕的研究成果, 并且已成功应用于应急管理、企业生产管理、交通管理、农业生产管理等领域.机器人技术在现代社会具有广泛应用, 如:工业机器人、服务机器人及特种机器人等.目前, 我国机器人技术不断突破, 取得重大成就, 工程机械行业开始智能化升级, 工业机器人逐渐产业化, 特种机器人品种和应用场景不断增加.仿真科学与技术可以用于武器研究、作战指挥、军事训练等, 因此在国防和军工领域的具有重要应用价值.目前, 仿真科学与技术为我国飞行器设计相关领域做出了重要贡献, 并取得了令世界瞩目的成就.
2) 模式识别与智能系统.我国主要在模式分类和机器学习方面取得重要进展, 在多媒体分析领域, 如:地理、社会事件、描述生成、跨社会等领域取得大量研究成果, 脑机接口技术不断成熟, 研究成果已经开始应用于医疗、娱乐及军事等领域.
3) 系统工程.我国在系统理论与方法、流程工业自动化和智能交通系统都有重要进展.系统理论与方法方面, 我国在复杂网络、多个体系统、系统工程等方向取得诸多成果.流程工业自动化方面, 我国科研学者在石油化工、钢铁、有色冶金等多个领域获得重大突破.智能交通系统方面, 无论是轨道交通、地面公共交通, 还是城市停车、交通流理论, 抑或交通信号控制、交通规划与设计、交通大数据等方向, 我国取得了一批国际领先的研究成果, 达到了世界先进研究水平.
4) 导航、制导与控制.随着我国定位导航技术不断成熟, 复杂环境中的航空器/航天器控制逐渐成为了科研的重心.航空器/航天器系统具有强非线性、大不确定性、参数快速变化、强耦合等特点, 我国正在分析和探讨将智能控制方法应用于航空器/航天器, 进而推进我国航空航天事业进入智能自主时代.
5) 检测技术与自动化装置.检测技术与自动化装置方面, 目前在动态系统故障诊断与容错控制和分布式能源并网等方面均取得了重要进展.对于动态系统故障诊断与容错控制, 我国学者对微小故障诊断、间歇故障诊断、闭环系统的故障诊断等进行了大量研究, 并且取得了突破性成果.对于分布式能源并网, 在国家的大力支持下, 在电力公司、高校、研究机构和企业的广泛合作下, 微网体系、能源互联网及储能领域也取得一些进展.
交叉学科研究非常重要, 因为新的领域和学科往往诞生在已有学科的边界.自动化学科除了在以上传统方向上有了重要发展之外, 还在交叉学科和新兴应用方面具有旺盛的生命力, 科学基金已成功资助了大量的交叉学科研究, 有下面几点值得关注.
1) 社会计算.广义而言, 社会计算是面向社会科学的计算理论和方法, 狭义而言, 则是面向社会活动、社会过程、社会组织及其作用和效应的计算理论和方法.近年来我国对社会计算的研究成果丰硕, 在社会组织发现, 社会媒体分析, 以及社会计算等方面展开了广泛而深入的研究[5].
2) 信息物理融合系统.信息物理融合系统是一项革命性的技术, 其整合了信息系统和物理系统, 使传统的集中式生产变为分布式协同生产, 对行业之间进行了重组和融合, 已被广泛应用于制造业、智能电网、智能交通、智慧医疗等多个领域[6].
3) 无人机、无人车、无人船领域.无人机、无人车、无人船是国防及军工领域的研究重点, 对维护国家权益、提高军事、民用、国防科技水平具有重要的意义.作为全新的军事装备, 必将催生新的作战方式.目前, 我国对于无人机、无人车、无人船等领域的研究取得了阶段性成果, 并且开始逐渐应用于军事和民用领域[7].
4) 智慧农业等新兴应用方面.智慧农业包括农业信息感知, 农业大数据分析、智能农业决策体系等研究方向, 利用先进的信息技术和机器人技术, 实现智能化的完成播种、施肥、灌溉、除虫和采摘等任务, 既提高了生产效率, 又节约了自然资源.
2. 与国际先进水平比较
科学基金在我国自动化学科的国际化方面扮演着重要角色.在科学基金和其他渠道的资助下, 我国已经成为仅次于美国的第二科学论文大国, 而且科学基金资助发表的论文质量要高于中国的平均水平, 这显示科学基金在提升中国论文质量方面发挥了重要作用.
科学基金资助自由选题研究, 意味着它常常为一些新领域最早提供资助, 因此它也引领着自动化学科的发展.虽然我国在自动化学科的个别领域已经达到或者引领世界先进水平, 但是总体上和世界先进水平还有较大差距.由于2018年部分统计数据未公布, 本文总结了近2014-2017年各国家对自动化学科的研究成果贡献量, 如图 6-9所示.
图 6 2014年各国家研究成果贡献量热度图Fig. 6 Calorimetric map of national research achievements contribution in 2014
图 7 2015年各国家研究成果贡献量热度图Fig. 7 Calorimetric map of the contribution of national research achievements in 2015
图 8 2016年各国家研究成果贡献量热度图Fig. 8 Calorimetric map of contributions of national research achievements in 2016
图 9 2017年各国家研究成果贡献量热度图Fig. 9 Calorimetric map of contributions of national research achievements in 2017从图 6-9可以看出, 中国和美国是对自动化领域贡献量最多的两个国家, 并且常年保持领先.英国、德国、澳大利亚等国家一直在追赶中、美两国, 贡献量逐年上升, 尤其是英国, 在2017年的贡献量几乎与美国持平.
收集近几年的关键词热词, 根据它们的共现矩阵生成关键词图谱, 如图 10-13所示.
由近几年的热点关键词可以看出, 我国学者在自动化领域的研究既有非常复杂和细化的研究对象, 如: muti-agent systems、nonlinear systems; 同时, 也有越来越实际的应用, 如: smart grid、hyperspectral image、classification.
下面, 以控制科学与工程的二级学科作为分类依据, 分别对自动化领域国内外科研水平进行对比概述.
1) 在控制理论与工程方面, 我国的控制学者已在国际控制理论研究中占据了重要位置.不过, 在将控制理论应用于重大实际需求、多学科交叉领域研究以及科研创新等方面, 我国学者与国外同行相比仍有较大差距.智能控制领域, 我国在部分研究方向已达到国际领先, 如电力系统非线性控制和鲁棒控制, 国内研究水平无论在理论上还是工业应用上都属于国际先进水平; 但整体上看, 智能控制理论多由国外学者提出, 国内研究主要集中在其工程应用上.平行控制由我国学者率先提出, 因此一直在保持该领域的领先地位, 国外也逐渐开始对平行控制展开研究, 目前还较为初步和分散[8].我国机器人研究内容基本与国外相同, 主要在隧道、桥梁等大型基础设施的建设方面具有优势, 但无论是产业结构、产业规模、应用领域还是科研水平, 都与国外存在显著差异, 在高端应用领域, 国外机器人占据着绝对优势.系统仿真领域, 我国在某些方面已处于国际领先地位, 如飞行器设计仿真、汽车新能源动力系统建模和状态估计等; 但是在工程应用领域方面仍落后于国外, 尤其是在制造领域的应用.
2) 在模式识别与智能系统方面, 国内学者在低秩学习、分类器集成、多示例多标签学习等处于国际前沿水平, 但在深度学习应用方面仍处于跟跑阶段, 缺少开拓性工作.在脑机接口理论研究方面, 国内外旗鼓相当.但在脑机接口应用方面, 无论是神经科学家数量, 还是传感器设备、应用领域, 国外均具有较大优势.生物信息学方面, 我国已经开始在基因组学、合成生物学、中医药系统生物学与网络药理学等领域取得国际领先的成果, 但是总体水平较国际先进水平仍有滞后[9].
3) 在系统工程方面, 复杂网络的研究工作一直保持稳步上升, 但主要成果多为国外研究成果的推广、延伸与应用, 缺少创新性理论成果.流程工业自动化方面, 我国原创性成果逐渐增多, 并且已经取得部分国际领先的成果, 如工艺过程模型和先进控制、生产优化、企业生产经营决策支持等方面, 但在产学研合作方面, 仍需向国外同行学习.智能交通方面, 虽然我国对该领域的研究起步较晚, 但经过近几年的持续攻关, 理论研究和应用都取得了突破性的进展, 贡献了大量国际领先的研究成果[10].
4) 在导航、制导与控制方面, 我国已经取得了极大进展.在工程实践方面, 自抗扰控制和全系数自适应控制这两类我国科学家原创的控制方法在航天或航空任务中得到广泛应用.在高超声速飞行器领域, 虽然形成了非常丰富的理论研究成果, 但在试验次数方面, 与美国相比仍有较大差距.总之, 这些先进控制方法的应用广度和应用深度上, 还有待提高.
5) 在检测技术与自动化装置方面, 我国在动态系统的容错控制和智能电网的研究方面有了显著的进展, 已经处于国际领先水平, 但仍有许多问题需要解决, 如动态系统早期微小故障检测、动态系统的预测与维护中的多目标函数优化以及将火力发电厂的控制融入智能电网等问题.
3. 发展趋势与展望
自动化学科未来的研究重点, 一方面要在已有的研究方向持续推进, 另一方面要重点关注交叉学科的兴起, 以及不断涌现的创新性应用.
生物信息学属于典型的交叉学科, 我国在该领域已经进入国际前沿行列, 伴随着相关学科的发展, 我国在生物信息学领域的研究和应用必将取得更多国际领先的成果.
人工智能是当前的热门研究领域, 研究重点是人类认知行为的信息处理机制, 具有认知功能的新型计算架构, 自主运动体的高效感知与增强智能, 复杂任务规划与推理决策等方面的基础理论和关键技术.该领域的突破与进展将为社会带来重大变革, 推动人类社会进入智能时代, 因此该领域也是各国互相赶超的重点方向.
智能机器人能够极大地提高工作效率, 为人类生产生活带来极大的便利, 我国应抓紧制定符合智能机器人发展路线图, 指明智能机器人研究方向、发展目标, 积极推进核心技术的研发、机器人产业化体系的建立与更加广泛的行业应用.
复杂系统的研究对象往往是国家重大战略需求的相关领域, 而平行控制与平行管理方法对复杂系统行为分析和管控问题十分有效.为保持我国在平行控制与平行管理研究领域的领先优势, 应继续提炼复杂系统的科学问题, 加强基础理论研究, 解决复杂系统中的科学问题; 在此基础上, 不断扩大应用行业和应用领域, 逐渐形成全行业规模化应用.
流程工业发展趋势是在两化深度融合基础上实现制造过程智能化和绿色化.以人工智能驱动的自动化为主要内容, 借助云计算、大数据、物联网等技术, 推动全流程精准建模和分析, 打造贯穿全流程生产、全供应链运营、全生命周期管控的一体化控制决策平台, 进而提升生产效率, 提高企业经济效益和社会效益, 最终实现流程工业升级转型.
信息物理融合系统具有重要的战略地位, 正在我们生活中扮演越来越重要的角色.今后的研究重点是进一步完善信息物理融合系统理论体系, 开展相关支撑技术的深入研究, 实现信息物理融合系统技术的应用推广, 这将是我国自动化领域学者的重大机遇.
4. 结论
在过去的25年里, 科学基金在中国的基础研究和科学系统发展中一直处于中心地位, 并在中国科研体系的持续健康发展中发挥关键作用.在科学基金的资助下, 经过几代自动化领域专家学者的不懈努力, 我国在自动化领域取得了丰硕的成果, 并为经济增长做出了重要贡献.科技的进步会促进社会经济的发展, 直接影响人民生活水平和综合国力, 因此一个国家的科技发展水平也就决定了其发达程度, 而自动化技术与科技发展密切相关.在新历史时期, 我国在自动化领域的研究更多地转向基础理论的研究和新兴交叉方向的研究, 并希望以此作为突破口, 对自动化强国进行追赶与超越, 争取早日成为自动化科技强国, 广大自动化领域的学者仍需再接再厉, 为我国的科技发展作出更大的贡献.
致谢: 本文部分数据及观点引自《2016-2017控制科学与工程学科发展报告》, 谨向报告编写者及中国自动化学会致以谢意. -
图 1 基于注意力的视频物体分割方法框架图
Fig. 1 The framework of proposed video object segmentation method with attention mechanism
表 1 有效性对比实验
Table 1 Ablation experiments results
方法 ours_m ours_a Baseline FCN Mean $\cal{M} \uparrow$ 0.595 0.552 0.501 0.519 $\cal{J}$ Recall $\cal{O} \uparrow$ 0.647 0.645 0.558 0.528 Decay $\cal{D} \downarrow$ 0.010 −0.029 −0.046 0.059 Mean $\cal{M} \uparrow$ 0.568 0.493 0.458 0.482 $\cal{F}$ Recall $\cal{O} \uparrow$ 0.648 0.487 0.426 0.448 Decay $\cal{D} \downarrow$ 0.063 −0.035 −0.025 0.054 $\cal{T}$ Mean $\cal{M} \downarrow$ 0.689 0.721 0.679 0.829 
下载: 导出CSV
表 2 定量实验结果
Table 2 Quantitative experiments results
方法 ours ours_n lmp msg fseg fst tis nlc cvos Mean $\cal{M} \uparrow$ 0.713 0.710 0.700 0.533 0.707 0.558 0.626 0.551 0.482 $\cal{J}$ Recall $\cal{O} \uparrow$ 0.798 0.791 0.850 0.616 0.835 0.649 0.803 0.558 0.540 Decay $\cal{D} \downarrow$ −0.036 −0.007 0.013 0.024 0.015 −0.000 0.071 0.126 0.105 Mean $\cal{M} \uparrow$ 0.684 0.695 0.659 0.508 0.653 0.511 0.596 0.523 0.447 $\cal{F}$ Recall $\cal{O} \uparrow$ 0.772 0.809 0.792 0.600 0.738 0.516 0.745 0.519 0.526 Decay $\cal{D} \downarrow$ −0.009 0.004 0.025 0.051 0.018 0.029 0.064 0.114 0.117 $\cal{T}$ Mean $\cal{M} \downarrow$ 0.534 0.589 0.572 0.301 0.328 0.366 0.336 0.425 0.250
下载: 导出CSV
-
[1] 褚一平, 张引, 叶修梓, 张三元. 基于隐条件随机场的自适应视频分割算法. 自动化学报, 2007, 33(12): 1252-1258Chu Yi-Ping, Zhang Yin, Ye Xiu-Zi, Zhang San-Yuan. Adaptive video segmentation algorithm using hidden conditional random fields. Acta Automatica Sinica, 2007, 33(12): 1252-1258 [2] 刘龙, 韩崇昭, 刘丁, 梁盈富. 一种新的基于吉布斯随机场的视频运动对象分割算法. 自动化学报, 2007, 33(6): 608-614Liu Long, Han Chong-Zhao, Liu Ding, Liang Ying-Fu. A new video moving object segmentation algorithm based on Gibbs random field. Acta Automatica Sinica, 2007, 33(6): 608-614 [3] Rother C, Kolmogorov V, Blake A. "GrabCut": Interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics, 2004, 23(3): 309-314 doi: 10.1145/1015706.1015720 [4] 胡芝兰, 江帆, 王贵锦, 林行刚, 严洪. 基于运动方向的异常行为检测. 自动化学报, 2008, 34(11): 1348-1357Hu Zhi-Lan, Jiang Fan, Wang Gui-Jin, Lin Xing-Gang, Yan Hong. Anomaly detection based on motion direction. Acta Automatica Sinica, 2008, 34(11): 1348-1357 [5] 鲁志红, 郭丹, 汪萌. 基于加权运动估计和矢量分割的运动补偿内插算法. 自动化学报, 2015, 41(5): 1034-1041Lu Zhi-Hong, Guo Dan, Wang Meng. Motion-compensated frame interpolation based on weighted motion estimation and vector segmentation. Acta Automatica Sinica, 2015, 41(5): 1034-1041 [6] Simonyan K, Zisserman A. Two-stream convolutional networks for action recognition in videos. In: Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: MIT Press, 2014. 568−576 [7] Feichtenhofer C, Pinz A, Zisserman A. Convolutional two-stream network fusion for video action recognition. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 1933−1941 [8] Jain S D, Xiong B, Grauman K. FusionSeg: Learning to combine motion and appearance for fully automatic segmentation of generic objects in videos. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017. 2117−2126 [9] Li X X, Loy C C. Video object segmentation with joint re-identification and attention-aware mask propagation. In: Proceedings of the 15th European Conference on Computer Vision. Munich, Germany: Springer, 2018. 93−110 [10] Zhang P P, Liu W, Wang H Y, Lei Y J, Lu H C. Deep gated attention networks for large-scale street-level scene segmentation. Pattern Recognition, 2019, 88:702-714 [11] Zhao H S, Zhang Y, Liu S, Shi J P, Loy C C, Lin D H, et al. PSANet: Point-wise spatial attention network for scene parsing. In: Proceedings of the 15th European Conference on Computer Vision. Munich, Germany: Springer, 2018. 270−286 [12] Song C F, Huang Y, Ouyang W L, Wang L. Mask-guided contrastive attention model for person re-identification. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 1179−1188 [13] Jang W D, Lee C, Kim C S. Primary object segmentation in videos via alternate convex optimization of foreground and background distributions. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 696−704 [14] Tsai Y H, Yang M H, Black M J. Video segmentation via object flow. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 3899−3908 [15] Wen L Y, Du D W, Lei Z, Li S Z, Yang M H. JOTS: Joint online tracking and segmentation. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, USA: IEEE, 2015. 2226−2234 [16] Xiao F Y, Lee Y J. Track and segment: An iterative unsupervised approach for video object proposals. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 933−942 [17] Perazzi F, Wang O, Gross M, Sorkine-Hornung A. Fully connected object proposals for video segmentation. In: Proceedings of the 2015 IEEE International Conference on Computer Vision (ICCV). Santiago, Chile: IEEE, 2015. 3227−3234 [18] Zhou T F, Lu Y, Di H J, Zhang J. Video object segmentation aggregation. In: Proceedings of the 2016 IEEE International Conference on Multimedia and Expo (ICME). Seattle, USA: IEEE, 2016. 1−6 [19] Fragkiadaki K, Zhang G, Shi J B. Video segmentation by tracing discontinuities in a trajectory embedding. In: Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, USA: IEEE, 2012. 1846−1853 [20] Wang W G, Shen J B, Yang R G, Porikli F. Saliency-aware video object segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(1): 20-33 doi: 10.1109/TPAMI.2017.2662005 [21] Papazoglou A, Ferrari V. Fast object segmentation in unconstrained video. In: Proceedings of the 2013 IEEE International Conference on Computer Vision. Sydney, Australia: IEEE, 2013. 1777−1784 [22] Krahenbuhl P, Koltun V. Geodesic object proposals. In: Proceedings of the 13th European Conference on Computer Vision. Zurich, Switzerland: Springer, 2014. 725−739 [23] Perazzi F, Khoreva A, Benenson R, Schiele B, Sorkine-Hornung A. Learning video object segmentation from static images. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017. 3491−3500 [24] Tokmakov P, Alahari K, Schmid C. Learning video object segmentation with visual memory. In: Proceedings of the 2017 IEEE International Conference on Computer Vision (ICCV). Venice, Italy: IEEE, 2017. 4491−4500 [25] Cheng J C, Tsai Y H, Wang S J, Yang M H. SegFlow: Joint learning for video object segmentation and optical flow. In: Proceedings of the 2017 IEEE International Conference on Computer Vision (ICCV). Venice, Italy: IEEE, 2017. 686−695 [26] Song H M, Wang W G, Zhao S Y, Shen J B, Lam K M. Pyramid dilated deeper ConvLSTM for video salient object detection. In: Proceedings of the 15th European Conference on Computer Vision. Munich, Germany: Springer, 2018. 744−760 [27] Caelles S, Maninis K K, Pont-Tuset J, Leal-Taixe L, Cremers D, Van Gool L. One-shot video object segmentation. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017. 5320−5329 [28] Oh S W, Lee J Y, Sunkavalli K, Kim S J. Fast video object segmentation by reference-guided mask propagation. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 7376−7385 [29] Cheng J C, Tsai Y H, Hung W C, Wang S J, Yang M H. Fast and accurate online video object segmentation via tracking parts. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 7415−7424 [30] Fu J, Liu J, Tian H J, Li Y, Bao Y J, Fang Z W, Lu H Q. Dual attention network for scene segmentation. In: Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, CA, USA: IEEE, 2019. 3146−3154 [31] Sun T Z, Zhang W, Wang Z J, Ma L, Jie Z Q. Image-level to pixel-wise labeling: From theory to practice. In: Proceedings of the 27th International Joint Conference on Artificial Intelligence. Stockholm, Sweden: AAAI Press, 2018. 928−934 [32] Chen L C, Papandreou G, Kokkinos I, Murphy K, Yuille A L. DeepLab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4): 834-848 doi: 10.1109/TPAMI.2017.2699184 [33] Li K P, Wu Z Y, Peng K C, Ernst J, Fu Y. Tell me where to look: Guided attention inference network. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 9215−9223 [34] Woo S, Park J, Lee J Y, Kweon I S. CBAM: Convolutional block attention module. In: Proceedings of the 15th European Conference on Computer Vision. Munich, Germany: Springer, 2018. 3−19 [35] Corbetta M, Shulman G L. Control of goal-directed and stimulus-driven attention in the brain. Nature reviews Neuroscience, 2002, 3(3): 201-215 doi: 10.1038/nrn755 [36] Wang F, Jiang M Q, Qian C, Yang S, Li C, Zhang H G, et al. Residual attention network for image classification. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017. 6450−6458 [37] Yu C Q, Wang J B, Peng C, Gao C X, Yu G, Sang N. Learning a discriminative feature network for semantic segmentation. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 1857−1866 [38] Li H C, Xiong P F, An J, Wang L X. Pyramid attention network for semantic segmentation. In: Proceedings of the 2018 British Machine Vision Conference. Newcastle, UK: BMVA Press, 2018. Article No. 285 [39] Dosovitskiy A, Fischer P, Ilg E, Hausser P, Hazirbas C, Golkov V, et al. FlowNet: Learning optical flow with convolutional networks. In: Proceedings of the 2015 IEEE International Conference on Computer Vision (ICCV). Santiago, Chile: IEEE, 2015. 2758−2766 [40] Perazzi F, Pont-Tuset J, McWilliams B, Van Gool L, Gross M, Sorkine-Hornung A. A benchmark dataset and evaluation methodology for video object segmentation. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 724−732 [41] Ochs P, Brox T. Object segmentation in video: A hierarchical variational approach for turning point trajectories into dense regions. In: Proceedings of the 2011 International Conference on Computer Vision. Barcelona, Spain: IEEE, 2011. 1583−1590 [42] Tokmakov P, Alahari K, Schmid C. Learning motion patterns in videos. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017. 531−539 [43] Griffin B, Corso, J. Tukey-inspired video object segmentation. In: Proceedings of the 2019 IEEE Winter Conference on Applications of Computer Vision (WACV). Waikoloa, USA: IEEE, 2019. 1723−1733 [44] Faktor A, Irani M. Video segmentation by non-local consensus voting. In: Proceedings of the 2014 British Machine Vision Conference. Nottingham, UK: BMVA Press, 2014. [45] Taylor B, Karasev V, Soattoc S. Causal video object segmentation from persistence of occlusions. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, USA: IEEE, 2015. 4268−4276 -
下载:
计量
- 文章访问数: 702
- HTML全文浏览量: 335
- PDF下载量: 148
- 被引次数: 0
