-
摘要: 基于深度神经网络(Deep neutral networks, DNN)的分类方法因缺乏可解释性, 导致在金融、医疗、法律等关键领域难以获得完全信任, 极大限制了其应用. 现有多数研究主要关注单模态数据的可解释性, 多模态数据的可解释性方面仍存在挑战. 为解决这一问题, 提出一种基于视觉属性的多模态可解释图像分类方法, 该方法将可见光和深度图等不同视觉模态提取的属性融入模型的训练过程, 不仅能通过视觉属性和决策树对已有的神经网络黑盒模型进行解释, 而且能在训练过程中进一步提升模型解释信息的能力. 引入可解释性通常会造成模型精度的降低, 该方法在保持模型具有良好可解释性的同时, 仍具有较高的分类精度, 在NYUDv2、SUN RGB-D和RGB-NIR三个数据集上, 相比于单模态可解释方法, 该模型准确率明显提升, 并达到与多模态不可解释模型相媲美的性能.Abstract: The classification methods based on deep neutral networks (DNN) lack interpretability, which makes it difficult to gain complete trust in key fields such as finance, medical treatment, and law, greatly limiting their applications. Most existing research mainly focuses on the interpretability of uni-modal data, while there are still challenges in the interpretability of multimodal data. To address this issue, a multimodal interpretable image classification method based on visual attributes is proposed. This method incorporates attributes extracted from different visual modalities such as visible light and depth maps into the training process of the model. It not only interpret the existing black box model of neural networks through visual attributes and decision trees, but also further enhances the model＇s ability to interpret information during the training process. Introducing interpretability often leads to a decrease in model accuracy. This method maintains good interpretability while still maintaining high classification accuracy. Compared to uni-modal interpretable methods, the accuracy of this model is significantly improved on the NYUDv2, SUN RGB-D, and RGB-NIR datasets, and it achieves performance comparable to multi-modal uninterpretable models.
-
Key words:
- Interpretability /
- visual attributes /
- multimodal fusion /
- decision tree /
- image classification
-
自动化将人从单调而繁重的重复性工作中解放出来, 进而使人更多地投入到创造性的工作中, 极大地拓展了人认知和改造世界的范畴.当今世界, 以自动控制和信息处理为核心的自动化技术已经成为推动生产力发展、改善人类生活以及促进社会前进的动力之一, 因而自动化科学也成为衡量一个国家科技发展水平和综合国力的重要标准之一.
自动化是一门涉及学科多且应用广泛的综合学科, 在我国的研究生培养体系中, 自动化对应的一级学科“控制科学与工程”下属有五个二级学科: “控制理论与控制工程”、“检测技术与自动装置”、“系统工程”、“模式识别与智能系统”、“导航、制导与控制”.国家自然科学基金(简称:科学基金)是国家支持自动化领域研究的主要渠道之一, 依靠科学基金的资助, 我国在自动化学科方面取得了长足的进步, 在计算智能、无人系统技术、人工智能等新兴方向上有了重要的进展[1].本文以2014-2018年科学基金对信息科学部自动化学科中的面上项目、青年科学基金项目、地区科学基金项目、重点项目和海外及港澳学者合作研究项目的资助情况为依据[2], 对近年国内自动化领域的主要研究成果和未来发展趋势进行综述.
1. 我国自动化学科研究现状
科学基金为中国在自动化领域的快速进步做出了重要贡献, 科学基金发挥的作用是中国自动化领域科技进步的关键因素之一, 它推动了中国和国际科学界建立重要联系.科学基金通过资助项目、促进学科发展, 发挥了提高中国基础研究数量和质量的先锋作用[3].
“自动化”是科学基金项目一级申请代码(F03)领域, 下分十个二级领域:控制理论与技术(F0301)、控制系统(F0302)、系统建模理论与仿真技术(F0303)、系统工程理论与技术(F0304)、生物系统分析与调控(F0305)、检测技术与装置(F0306)、导航、制导与控制(F0307)、智能制造自动化系统理论与技术(F0308)、机器人学与机器人技术(F0309)、人工智能驱动的自动化(F0310).本文借助国家自然科学基金委员会网站(http://www.nsfc.gov.cn/)的项目查询与统计功能以及资助项目统计, 搜集自动化下属十个二级领域的面上项目、青年科学基金项目、地区科学基金项目、重点项目和海外及港澳学者合作研究项目的关键词、申请代码、资助数量、资助金额等信息[4].经统计, 2014-2018年科学基金在自动化领域对上述五个项目累计资助项目4 971项, 累计资助金额23.5407亿元, 下面分别对五个项目的历年资助情况进行简要介绍.
1.1 面上项目
面上项目是科学基金的主要资助工具. 表 1为2014-2018年科学基金对自动化领域面上项目的资助情况, 图 1为面上项目资助数量和资助金额的变化曲线.由图 1可知, 面上资助数量逐年增加, 2018年增加尤为明显, 资助金额2014之后略有下降, 但2018年资助金额有大幅提高. 2014-2017年自动化领域的资助金额占学部和全委的比例基本不变, 但是2018年资助比例大幅提高.除2014年外, 自动化领域面上项目的资助率, 无论是项目数量还是项目金额, 基本保持平稳.由于2018年自动化领域面上项目申请数量大幅提高, 导致其资助率略有下降, 但是资助项目数量和金额都有大幅提高.
表 1 面上项目资助情况Table 1 General Project Funding年份 项目数量 金额(万元) 自动化领域资助金额占比 自动化领域资助率 占学部比例 占全委比例 项数 金额 2018 632 37 571.00 31.30 % 3.37 % 17.36 % 15.75 % 2017 416 24 499.00 21.51 % 2.29 % 21.36 % 18.89 % 2016 405 23 341.00 21.49 % 2.29 % 23.17 % 19.79 % 2015 387 23 311.00 21.39 % 2.28 % 21.55 % 18.49 % 2014 340 27 239.00 21.41 % 2.28 % 22.94 % 2.80 % 
图 1 自动化领域面上项目历年资助情况Fig. 1 Annual Funding of General Projects in the field of automation1.2 青年科学基金项目
人才培养是科学基金的核心人物之一, 而青年科学基金为研究人员的职业发展提供了重要支撑. 表 2为2014-2018年科学基金对自动化领域青年科学基金项目的资助情况, 图 2为青年科学基金项目资助数量和资助金额的变化曲线.由图 2可知, 青年科学基金资助数量在2014-2017有小范围波动, 在2018年大幅提高, 资助金额也是相同的趋势.自动化领域的资助金额占学部和全委的比例在2018年也大幅度提高.青年科学基金项目的资助率, 无论是项目数量还是项目金额, 基本保持平稳.
表 2 青年科学基金资助情况Table 2 Funding of the Youth Science Foundation Project年份 项目数量 金额(万元) 资助金额比例 自动化学科资助率 信息部占全委比例 自动化占学部比例 自动化占全委比例 项数 金额 2018 647 15 879.00 12.46 % 30.50 % 3.80 % 24.53 % 24.84 % 2017 447 10 799.00 12.33 % 21.87 % 2.70 % 24.36 % 24.82 % 2016 421 8 447.00 12.31 % 22.01 % 2.71 % 23.64 % 21.80 % 2015 424 8 711.00 12.41 % 21.98 % 2.73 % 24.21 % 21.94 % 2014 430 10 650.00 12.15 % 21.96 % 2.67 % 24.21 % 22.48 % 
图 2 自动化领域青年科学基金项目历年资助情况Fig. 2 Annual funding of the Youth Science Foundation Project in the field of automation1.3 地区科学基金项目
科学基金资助经费的地区分布反映了研究机构的集中程度, 因此基金委设立了地区科学基金来提升欠发达地区的科研能力. 表 3为2014-2018年科学基金对自动化领域地区科学基金项目的资助情况, 图 3为地区科学基金项目资助数量和资助金额的变化曲线.由图 3可知, 地区科学基金资助数量在2014-2017年有小幅波动, 资助金额逐年减少, 但是2018年资助数量和资助金额大大提高.由表 3可知, 自动化领域地区科学基金的资助金额占学部和全委的比例在2018年最高, 自动化领域地区科学基金项目的资助率, 无论是项目数量还是项目金额, 基本呈下降趋势.
表 3 地区科学基金资助情况Table 3 Subsidies from regional science funds年份 项目数量 金额(万元) 资助金额比例 自动化学科资助率 信息部占全委比例 自动化占学部比例 自动化占全委比例 项数 金额 2018 83 3 142.00 7.72 % 36.88 % 2.85 % 14.59 % 13.40 % 2017 49 1 870.00 7.56 % 22.58 % 1.71 % 17.63 % 16.06 % 2016 49 1 903.00 7.59 % 22.98 % 1.74 % 19.60 % 18.67 % 2015 56 2 122.00 7.93 % 24.42 % 1.94 % 21.62 % 19.24 % 2014 53 2 391.00 7.95 % 23.01 % 1.83 % 21.63 % 19.07 % 
图 3 自动化领域地区科学基金项目历年资助情况Fig. 3 Subsidies of regional science foundation projects in the field of automation in the past years1.4 重点项目
重点项目主要资助大额项目, 这些项目由基金委确定主题, 再通过竞争进行资助, 因此这类项目对自动化学科的发展非常重要. 表 4为2014-2018年科学基金对自动化领域重点项目的资助情况, 图 4为重点项目资助数量和资助金额的变化曲线.由图 4可知, 2014-2017年重点项目资助数量历年差别不大, 最多相差3个项目, 但是资助金额逐年下降. 2018年资助数量和资助金额大幅提高.由表 4可知, 自动化领域重点项目的资助金额占学部和全委的比例在2014-2016年基本不变. 2017年资助金额占学部和全委的比例有明显下降, 资助项目数量也略有减少, 但是资助率却有大幅提高, 说明项目申请数量较以前大幅较少. 2018年重点项目的资助率, 无论是项目数量还是项目金额, 都大幅提高, 但是项目资助率却大幅下降, 说明项目申请数量有大幅提高.
表 4 重点项目资助情况Table 4 Funding of key projects年份 项目数量 金额(万元) 资助金额比例 自动化学科资助率 信息部占全委比例 自动化占学部比例 自动化占全委比例 项数 金额 2018 32 9 120.00 13.63 % 32.57 % 4.44 % 25.20 % 23.66 % 2017 18 5 160.00 12.83 % 20.24 % 2.60 % 37.50 % 35.82 % 2016 21 5 480.00 13.12 % 24.36 % 3.20 % 30.43 % 25.85 % 2015 21 6 080.00 14.06 % 24.22 % 3.41 % 33.87 % 30.79 % 2014 19 6 800.00 13.68 % 24.29 % 3.32 % 24.36 % 24.57 % 1.5 海外及港澳学者合作研究项目
表 5为2014-2018年科学基金对自动化领域海外及港澳学者合作研究项目的资助情况, 图 5为海外及港澳学者合作研究项目资助数量和资助金额的变化曲线.由图 5可知, 海外及港澳学者合作研究项目资助数量波动较大.由表 5可知, 自动化领域海外及港澳学者合作研究项目的资助金额占学部和全委的比例波动较大, 没有明显的变化趋势, 海外及港澳学者合作研究项目的资助率, 无论是项目数量还是项目金额, 呈逐年递减的趋势.
表 5 海外及港澳学者合作研究项目资助情况Table 5 Overseas and Hong Kong-Macau scholar cooperation research projects funding年份 项目数量 金额(万元) 资助金额比例 自动化学科资助率 信息部占全委比例 自动化占学部比例 自动化占全委比例 项数 金额 2018 3 54.00 19.67 % 5.08 % 1.00 % 13.04 % 5.08 % 2017 3 54.00 20.00 % 4.41 % 0.88 % 17.65 % 5.66 % 2016 6 432.00 17.78 % 42.86 % 7.62 % 28.57 % 32.00 % 2015 4 72.00 16.46 % 7.69 % 1.27 % 36.36 % 11.19 % 2014 5 280.00 15.66 % 26.92 % 4.22 % 35.71 % 43.75 % 
图 5 自动化领域海外及港澳学者合作研究项目历年资助情况Fig. 5 Overseas and Hong Kong-Macau scholar cooperative research projects in automation1.6 国内自动化领域研究现状
表 6以科学基金对自动化领域重大研究计划、重大项目、国家杰出青年科学基金、重点项目四个方面的资助情况为依据, 统计了上述四类项目在自动化各二级领域项目资助情况.由表 6可以看出科学基金对自动化领域的项目资助中, 对控制理论与技术(F0301)领域资助项目最多、资助比例最大; 对系统工程理论与技术(F0304)、检测技术与装置(F0306)、机器人学与机器人技术(F0309)领域资助项目数量呈逐年增多的趋势; 其余领域的资助情况基本保持平稳.
表 6 2014-2018年自动化学科二级领域项目资助情况Table 6 Subsidies for automation subject secondary field projects in 2014-2018二级领域年份 F03 F0301 F0302 F0303 F0304 F0305 F0306 F0307 F0308 F0309 F0310 2018 0 12 0 0 5 0 2 3 4 5 7 2017 1 21 7 1 4 0 15 1 0 2 0 2016 0 13 5 2 2 2 11 4 0 0 0 2015 2 12 10 2 2 2 4 1 2 2 0 2014 7 13 3 1 2 0 3 3 0 2 0 (包括重大研究计划、重大项目、国家杰出青年科学基金、重点项目四个方面的资助情况) 自动化学科经过几十年的发展, 基础理论已经发展成熟, 广泛应用到工业、农业、军事、交通运输、商业、医疗等方面.过去的几年里, 在科学基金的大力资助下, 自动化学科在诸多方面取得了一些重要的进步.在学科或交叉学科研究中, 将自下而上的资助与基金委及专家遴选的优先发展需求相结合, 使得科学基金资助的许多领域后来成为国家优先发展领域.
《自动化学报》是国内自动化领域最具影响力学术期刊, 每年都会评选年度优秀论文, 获评论文均为创新性强, 学术水平高, 对推动自动化领域发展有较大影响的理论性论文或对解决比较重要应用问题有较大价值的应用型论文, 获奖论文也反映了我国学者对自动化领域的研究方向和研究重点.参考2014-2017年自动化学科二级领域的获资助情况, 以及《自动化学报》公布的近几年年度优秀论文, 按照二级学科分类, 将国内自动化领域研究现状归纳如下.
1) 控制理论与工程.近几年, 无论是在经典控制理论, 还是在智能控制、平行控制、机器人系统、系统仿真等方面, 我国都取得了重要进展.在经典控制理论方面, 我国学者首次对二阶非线性不确定系统具体给出了PID控制器参数设计的选取范围, 从理论上证明了相应闭环控制系统的全局稳定性及跟踪性能的渐进最优性.智能控制主要用于应对高复杂度及不确定性环境, 我国智能控制研究起步较晚, 但是经过科研人员的不懈攻关, 取得了长足进步, 并在桥梁、隧道等大型基础设施建设中得到广泛应用.平行控制与平行管理在理论框架、核心技术、应用示范等方面取得了丰硕的研究成果, 并且已成功应用于应急管理、企业生产管理、交通管理、农业生产管理等领域.机器人技术在现代社会具有广泛应用, 如:工业机器人、服务机器人及特种机器人等.目前, 我国机器人技术不断突破, 取得重大成就, 工程机械行业开始智能化升级, 工业机器人逐渐产业化, 特种机器人品种和应用场景不断增加.仿真科学与技术可以用于武器研究、作战指挥、军事训练等, 因此在国防和军工领域的具有重要应用价值.目前, 仿真科学与技术为我国飞行器设计相关领域做出了重要贡献, 并取得了令世界瞩目的成就.
2) 模式识别与智能系统.我国主要在模式分类和机器学习方面取得重要进展, 在多媒体分析领域, 如:地理、社会事件、描述生成、跨社会等领域取得大量研究成果, 脑机接口技术不断成熟, 研究成果已经开始应用于医疗、娱乐及军事等领域.
3) 系统工程.我国在系统理论与方法、流程工业自动化和智能交通系统都有重要进展.系统理论与方法方面, 我国在复杂网络、多个体系统、系统工程等方向取得诸多成果.流程工业自动化方面, 我国科研学者在石油化工、钢铁、有色冶金等多个领域获得重大突破.智能交通系统方面, 无论是轨道交通、地面公共交通, 还是城市停车、交通流理论, 抑或交通信号控制、交通规划与设计、交通大数据等方向, 我国取得了一批国际领先的研究成果, 达到了世界先进研究水平.
4) 导航、制导与控制.随着我国定位导航技术不断成熟, 复杂环境中的航空器/航天器控制逐渐成为了科研的重心.航空器/航天器系统具有强非线性、大不确定性、参数快速变化、强耦合等特点, 我国正在分析和探讨将智能控制方法应用于航空器/航天器, 进而推进我国航空航天事业进入智能自主时代.
5) 检测技术与自动化装置.检测技术与自动化装置方面, 目前在动态系统故障诊断与容错控制和分布式能源并网等方面均取得了重要进展.对于动态系统故障诊断与容错控制, 我国学者对微小故障诊断、间歇故障诊断、闭环系统的故障诊断等进行了大量研究, 并且取得了突破性成果.对于分布式能源并网, 在国家的大力支持下, 在电力公司、高校、研究机构和企业的广泛合作下, 微网体系、能源互联网及储能领域也取得一些进展.
交叉学科研究非常重要, 因为新的领域和学科往往诞生在已有学科的边界.自动化学科除了在以上传统方向上有了重要发展之外, 还在交叉学科和新兴应用方面具有旺盛的生命力, 科学基金已成功资助了大量的交叉学科研究, 有下面几点值得关注.
1) 社会计算.广义而言, 社会计算是面向社会科学的计算理论和方法, 狭义而言, 则是面向社会活动、社会过程、社会组织及其作用和效应的计算理论和方法.近年来我国对社会计算的研究成果丰硕, 在社会组织发现, 社会媒体分析, 以及社会计算等方面展开了广泛而深入的研究[5].
2) 信息物理融合系统.信息物理融合系统是一项革命性的技术, 其整合了信息系统和物理系统, 使传统的集中式生产变为分布式协同生产, 对行业之间进行了重组和融合, 已被广泛应用于制造业、智能电网、智能交通、智慧医疗等多个领域[6].
3) 无人机、无人车、无人船领域.无人机、无人车、无人船是国防及军工领域的研究重点, 对维护国家权益、提高军事、民用、国防科技水平具有重要的意义.作为全新的军事装备, 必将催生新的作战方式.目前, 我国对于无人机、无人车、无人船等领域的研究取得了阶段性成果, 并且开始逐渐应用于军事和民用领域[7].
4) 智慧农业等新兴应用方面.智慧农业包括农业信息感知, 农业大数据分析、智能农业决策体系等研究方向, 利用先进的信息技术和机器人技术, 实现智能化的完成播种、施肥、灌溉、除虫和采摘等任务, 既提高了生产效率, 又节约了自然资源.
2. 与国际先进水平比较
科学基金在我国自动化学科的国际化方面扮演着重要角色.在科学基金和其他渠道的资助下, 我国已经成为仅次于美国的第二科学论文大国, 而且科学基金资助发表的论文质量要高于中国的平均水平, 这显示科学基金在提升中国论文质量方面发挥了重要作用.
科学基金资助自由选题研究, 意味着它常常为一些新领域最早提供资助, 因此它也引领着自动化学科的发展.虽然我国在自动化学科的个别领域已经达到或者引领世界先进水平, 但是总体上和世界先进水平还有较大差距.由于2018年部分统计数据未公布, 本文总结了近2014-2017年各国家对自动化学科的研究成果贡献量, 如图 6-9所示.
图 6 2014年各国家研究成果贡献量热度图Fig. 6 Calorimetric map of national research achievements contribution in 2014
图 7 2015年各国家研究成果贡献量热度图Fig. 7 Calorimetric map of the contribution of national research achievements in 2015
图 8 2016年各国家研究成果贡献量热度图Fig. 8 Calorimetric map of contributions of national research achievements in 2016
图 9 2017年各国家研究成果贡献量热度图Fig. 9 Calorimetric map of contributions of national research achievements in 2017从图 6-9可以看出, 中国和美国是对自动化领域贡献量最多的两个国家, 并且常年保持领先.英国、德国、澳大利亚等国家一直在追赶中、美两国, 贡献量逐年上升, 尤其是英国, 在2017年的贡献量几乎与美国持平.
收集近几年的关键词热词, 根据它们的共现矩阵生成关键词图谱, 如图 10-13所示.
由近几年的热点关键词可以看出, 我国学者在自动化领域的研究既有非常复杂和细化的研究对象, 如: muti-agent systems、nonlinear systems; 同时, 也有越来越实际的应用, 如: smart grid、hyperspectral image、classification.
下面, 以控制科学与工程的二级学科作为分类依据, 分别对自动化领域国内外科研水平进行对比概述.
1) 在控制理论与工程方面, 我国的控制学者已在国际控制理论研究中占据了重要位置.不过, 在将控制理论应用于重大实际需求、多学科交叉领域研究以及科研创新等方面, 我国学者与国外同行相比仍有较大差距.智能控制领域, 我国在部分研究方向已达到国际领先, 如电力系统非线性控制和鲁棒控制, 国内研究水平无论在理论上还是工业应用上都属于国际先进水平; 但整体上看, 智能控制理论多由国外学者提出, 国内研究主要集中在其工程应用上.平行控制由我国学者率先提出, 因此一直在保持该领域的领先地位, 国外也逐渐开始对平行控制展开研究, 目前还较为初步和分散[8].我国机器人研究内容基本与国外相同, 主要在隧道、桥梁等大型基础设施的建设方面具有优势, 但无论是产业结构、产业规模、应用领域还是科研水平, 都与国外存在显著差异, 在高端应用领域, 国外机器人占据着绝对优势.系统仿真领域, 我国在某些方面已处于国际领先地位, 如飞行器设计仿真、汽车新能源动力系统建模和状态估计等; 但是在工程应用领域方面仍落后于国外, 尤其是在制造领域的应用.
2) 在模式识别与智能系统方面, 国内学者在低秩学习、分类器集成、多示例多标签学习等处于国际前沿水平, 但在深度学习应用方面仍处于跟跑阶段, 缺少开拓性工作.在脑机接口理论研究方面, 国内外旗鼓相当.但在脑机接口应用方面, 无论是神经科学家数量, 还是传感器设备、应用领域, 国外均具有较大优势.生物信息学方面, 我国已经开始在基因组学、合成生物学、中医药系统生物学与网络药理学等领域取得国际领先的成果, 但是总体水平较国际先进水平仍有滞后[9].
3) 在系统工程方面, 复杂网络的研究工作一直保持稳步上升, 但主要成果多为国外研究成果的推广、延伸与应用, 缺少创新性理论成果.流程工业自动化方面, 我国原创性成果逐渐增多, 并且已经取得部分国际领先的成果, 如工艺过程模型和先进控制、生产优化、企业生产经营决策支持等方面, 但在产学研合作方面, 仍需向国外同行学习.智能交通方面, 虽然我国对该领域的研究起步较晚, 但经过近几年的持续攻关, 理论研究和应用都取得了突破性的进展, 贡献了大量国际领先的研究成果[10].
4) 在导航、制导与控制方面, 我国已经取得了极大进展.在工程实践方面, 自抗扰控制和全系数自适应控制这两类我国科学家原创的控制方法在航天或航空任务中得到广泛应用.在高超声速飞行器领域, 虽然形成了非常丰富的理论研究成果, 但在试验次数方面, 与美国相比仍有较大差距.总之, 这些先进控制方法的应用广度和应用深度上, 还有待提高.
5) 在检测技术与自动化装置方面, 我国在动态系统的容错控制和智能电网的研究方面有了显著的进展, 已经处于国际领先水平, 但仍有许多问题需要解决, 如动态系统早期微小故障检测、动态系统的预测与维护中的多目标函数优化以及将火力发电厂的控制融入智能电网等问题.
3. 发展趋势与展望
自动化学科未来的研究重点, 一方面要在已有的研究方向持续推进, 另一方面要重点关注交叉学科的兴起, 以及不断涌现的创新性应用.
生物信息学属于典型的交叉学科, 我国在该领域已经进入国际前沿行列, 伴随着相关学科的发展, 我国在生物信息学领域的研究和应用必将取得更多国际领先的成果.
人工智能是当前的热门研究领域, 研究重点是人类认知行为的信息处理机制, 具有认知功能的新型计算架构, 自主运动体的高效感知与增强智能, 复杂任务规划与推理决策等方面的基础理论和关键技术.该领域的突破与进展将为社会带来重大变革, 推动人类社会进入智能时代, 因此该领域也是各国互相赶超的重点方向.
智能机器人能够极大地提高工作效率, 为人类生产生活带来极大的便利, 我国应抓紧制定符合智能机器人发展路线图, 指明智能机器人研究方向、发展目标, 积极推进核心技术的研发、机器人产业化体系的建立与更加广泛的行业应用.
复杂系统的研究对象往往是国家重大战略需求的相关领域, 而平行控制与平行管理方法对复杂系统行为分析和管控问题十分有效.为保持我国在平行控制与平行管理研究领域的领先优势, 应继续提炼复杂系统的科学问题, 加强基础理论研究, 解决复杂系统中的科学问题; 在此基础上, 不断扩大应用行业和应用领域, 逐渐形成全行业规模化应用.
流程工业发展趋势是在两化深度融合基础上实现制造过程智能化和绿色化.以人工智能驱动的自动化为主要内容, 借助云计算、大数据、物联网等技术, 推动全流程精准建模和分析, 打造贯穿全流程生产、全供应链运营、全生命周期管控的一体化控制决策平台, 进而提升生产效率, 提高企业经济效益和社会效益, 最终实现流程工业升级转型.
信息物理融合系统具有重要的战略地位, 正在我们生活中扮演越来越重要的角色.今后的研究重点是进一步完善信息物理融合系统理论体系, 开展相关支撑技术的深入研究, 实现信息物理融合系统技术的应用推广, 这将是我国自动化领域学者的重大机遇.
4. 结论
在过去的25年里, 科学基金在中国的基础研究和科学系统发展中一直处于中心地位, 并在中国科研体系的持续健康发展中发挥关键作用.在科学基金的资助下, 经过几代自动化领域专家学者的不懈努力, 我国在自动化领域取得了丰硕的成果, 并为经济增长做出了重要贡献.科技的进步会促进社会经济的发展, 直接影响人民生活水平和综合国力, 因此一个国家的科技发展水平也就决定了其发达程度, 而自动化技术与科技发展密切相关.在新历史时期, 我国在自动化领域的研究更多地转向基础理论的研究和新兴交叉方向的研究, 并希望以此作为突破口, 对自动化强国进行追赶与超越, 争取早日成为自动化科技强国, 广大自动化领域的学者仍需再接再厉, 为我国的科技发展作出更大的贡献.
致谢: 本文部分数据及观点引自《2016-2017控制科学与工程学科发展报告》, 谨向报告编写者及中国自动化学会致以谢意. -
图 6 通道交换阈值$ \theta $、正则化损失权重$ \eta $与Top-1 准确率在SUN RGB-D数据集上的关系
Fig. 6 The relationship between channel exchange threshold$ \theta $, regularization loss parameters$ \eta $, Top-1 accuracy on SUN RGB-D
图 8 通过评估不确定度动态适应模态数据质量
Fig. 8 Dynamically adapt to modal data quality by evaluating uncertainty
图 10 保留输入数据前$ k $强的属性
Fig. 10 Preserve the first$ k $strong attributes of the input data
表 1 不同模块在NYUDv2、SUN RGB-D和RGB-NIR数据集上的Top-1准确率 (%)
Table 1 Top-1 accuracies with different components on NYUDv2, SUN RGB-D and RGB-NIR (%)
树推理 树融合 通道交换 NYUDv2 SUN RGB-D RGB-NIR RGB Deep Fusion RGB Deep Fusion RGB NIR Fusion $ \times $ $ \times $ $ \times $ 43.08 59.26 71.98 52.10 38.49 62.19 58.33 52.08 77.78 $ \times $ $ \times $ √ $ 47.74^* $ $ 59.47^* $ 72.07 $ 54.29^* $ $ 47.05^* $ 66.28 $ 62.23^* $ $ 53.76^* $ 80.43 √ $ \times $ $ \times $ 46.28 57.68 72.41 50.98 36.00 58.99 58.68 53.47 79.17 √ √ $ \times $ 61.43 61.00 74.40 59.96 51.62 66.16 71.08 66.45 84.71 √ √ √ $ 71.14^* $ $ 70.99^* $ 74.74 $ 66.76^* $ $ 66.37^* $ 68.01 $ 78.85^* $ $ 77.37^* $ 85.54 注: * 表示使用通道交换为单个模态引入其他模态数据后的准确率, 加粗表示单模态或融合后最高准确率. 
下载: 导出CSV
表 2 不同方法在NYUDv2、SUN RGB-D和RGB-NIR数据集上的Top-1准确率 (%)
Table 2 Top-1 accuracies with different methods on NYUDv2, SUN RGB-D and RGB-NIR (%)
方法 解释性 NYUDv2 SUN RGB-D RGB-NIR RGB Deep Fusion RGB Deep Fusion RGB NIR Fusion ViT-S-16[51] $ \times $ 54.95 62.56 — 59.23 49.43 — 74.44 66.32 — ResNet-18[49] $ \times $ 65.28 65.93 — 66.04 57.85 — 78.83 75.70 — CBCL[52] $ \times $ 56.87 63.20 73.85 50.74 43.59 65.78 74.23 62.91 81.72 TMC[19] $ \times $ 60.14 62.19 74.57 60.89 52.95 66.69 72.76 68.77 84.29 TMNR[53] $ \times $ 56.61 64.50 74.10 60.60 53.53 66.30 69.50 65.26 82.20 dNDF[54] √ 61.86 65.76 — 64.78 57.30 — 78.61 72.11 — NBDT[27] √ 65.28 62.85 — 66.20 57.93 — 74.24 74.22 — HCN[20] √ 62.20 63.18 — 61.91 53.03 — 72.92 68.75 — Ours √ $ 71.14^* $ $ 70.99^* $ 74.74 $ 66.76^* $ $ 66.37^* $ 68.01 $ 78.85^* $ $ 77.37^* $ 85.54 注: * 表示使用通道交换为单个模态引入其他模态数据后的准确率, 加粗表示单模态或融合后最高准确率.
下载: 导出CSV
表 3 不同预训练骨干网络在NYUDv2、SUN RGB-D和RGB-NIR数据集中的Top-1准确率 (%)
Table 3 Top-1 accuracies with different pretrained backbones on NYUDv2, SUN RGB-D and RGB-NIR (%)
骨干网络 NYUDv2 SUN RGB-D RGB-NIR ResNet-18 80.90 73.50 90.15 ResNet-34 81.58 73.87 90.15 ResNet-50 81.92 73.88 90.58 ResNet-101 81.93 74.96 90.79
下载: 导出CSV
表 4 插入或删除不同属性在NYUDv2、SUN RGB-D和RGB-NIR数据集中的AUC
Table 4 AUC of different attributes inserted or deleted in NYUDv2, SUN RGB-D and RGB-NIR datasets
数据集 最强属性 最弱属性 随机 插入 删除 插入 删除 插入 删除 NYUDv2 0.619 0.209 0.509 0.299 0.351 0.121 SUN RGB-D 0.601 0.300 0.463 0.380 0.284 0.168 RGB-NIR 0.636 0.380 0.549 0.466 0.355 0.207
下载: 导出CSV
-
[1] 赵静, 裴子楠, 姜斌, 陆宁云, 赵斐, 陈树峰. 基于深度强化学习的无人机虚拟管道视觉避障. 自动化学报, 2024, 50(11): 1−14Zhao Jing, Pei Zi-Nan, Jiang Bin, Lu Ning-Yun, Zhao Fei, Chen Shu-Feng. Virtual tube visual obstacle avoidance for UAV based on deep reinforcement learning. Acta Automatica Sinica, 2024, 50(11): 1−14 [2] Miikkulainen R, Liang J, Meyerson E, Rawal A, Fink D, Francon O, et al. Evolving deep neural networks. Artificial Intelligence in the Age of Neural Networks and Brain Computing (Second edition). Amsterdam: Academic Press, 2024. 269−287 [3] Hassija V, Chamola V, Mahapatra A, Singal A, Goel D, Huang K Z, et al. Interpreting black-box models: A review on explainable artificial intelligence. Cognitive Computation, 2024, 16(1): 45−74 doi: 10.1007/s12559-023-10179-8 [4] Jung J, Lee H, Jung H, Kim H. Essential properties and explanation effectiveness of explainable artificial intelligence in healthcare: A systematic review. Heliyon, 2023, 9(5): Article No. e16110 doi: 10.1016/j.heliyon.2023.e16110 [5] Costa V G, Pedreira C E. Recent advances in decision trees: An updated survey. Artificial Intelligence Review, 2023, 56(5): 4765−4800 doi: 10.1007/s10462-022-10275-5 [6] Aksjonov A, Kyrki V. A safety-critical decision-making and control framework combining machine-learning-based and rule-based algorithms. SAE International Journal of Vehicle Dynamics, Stability, and NVH, 2023, 7(3): 287−299 [7] Kitson N K, Constantinou A C, Guo Z G, Liu Y, Chobtham K. A survey of Bayesian Network structure learning. Artificial Intelligence Review, 2023, 56(8): 8721−8814 doi: 10.1007/s10462-022-10351-w [8] Simonyan K, Vedaldi A, Zisserman A. Deep inside convolutional networks: Visualising image classification models and saliency maps. In: Proceedings of the 2nd International Conference on Learning Representations (ICLR). Banff, Canada: ICLR, 2014. 1−8Simonyan K, Vedaldi A, Zisserman A. Deep inside convolutional networks: Visualising image classification models and saliency maps. In: Proceedings of the 2nd International Conference on Learning Representations (ICLR). Banff, Canada: ICLR, 2014. 1−8 [9] Sundararajan M, Taly A, Yan Q Q. Axiomatic attribution for deep networks. In: Proceedings of the 34th International Conference on Machine Learning (ICML). Sydney, Australia: JMLR, 2017. 3319−3328 [10] Zhou B L, Khosla A, Lapedriza A, Oliva A, Torralba A. Learning deep features for discriminative localization. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 2921−2929 [11] Chattopadhay A, Sarkar A, Howlader P, Balasubramanian V N. Grad-CAM++: Generalized gradient-based visual explanations for deep convolutional networks. In: Proceedings of the IEEE Winter Conference on Applications of Computer Vision (WACV). Lake Tahoe, USA: IEEE, 2018. 839−847 [12] Ribeiro M T, Singh S, Guestrin C. “Why should I trust you?”: Explaining the predictions of any classifier. In: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. San Francisco, USA: Association for Computing Machinery, 2016. 1135−1144 [13] Lundberg S M, Lee S I. A unified approach to interpreting model predictions. In: Proceedings of the 31st International Conference on Neural Information Processing Systems (NIPS). Long Beach, USA: Curran Associates Inc., 2017. 4768−4777 [14] Chen C F, Li O, Tao C F, Barnett A J, Su J, Rudin C. This looks like that: Deep learning for interpretable image recognition. In: Proceedings of the 33rd International Conference on Neural Information Processing Systems (NeurIPS). Vancouver, Canada: 2019. Article No. 801Chen C F, Li O, Tao C F, Barnett A J, Su J, Rudin C. This looks like that: Deep learning for interpretable image recognition. In: Proceedings of the 33rd International Conference on Neural Information Processing Systems (NeurIPS). Vancouver, Canada: 2019. Article No. 801 [15] Nauta M, van Bree R, Seifert C. Neural prototype trees for interpretable fine-grained image recognition. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville, USA: IEEE, 2021. 14928−14938 [16] Biederman I. Recognition-by-components: A theory of human image understanding. Psychological Review, 1987, 94(2): 115−147 doi: 10.1037/0033-295X.94.2.115 [17] Cohen L G, Celnik P, Pascual-Leone A, Corwell B, Faiz L, Dambrosia J, et al. Functional relevance of cross-modal plasticity in blind humans. Nature, 1997, 389(6647): 180−183 doi: 10.1038/38278 [18] Wang Y K, Huang W B, Sun F C, Xu T Y, Rong Y, Huang J Z. Deep multimodal fusion by channel exchanging. In: Proceedings of the 34th International Conference on Neural Information Processing Systems (NeurIPS). Vancouver, Canada: Curran Associates Inc., 2020. Article No. 406 [19] Han Z B, Zhang C Q, Fu H Z, Zhou J T. Trusted multi-view classification with dynamic evidential fusion. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45(2): 2551−2566 doi: 10.1109/TPAMI.2022.3171983 [20] Liu H M, Wang R P, Shan S G, Chen X L. What is a tabby? Interpretable model decisions by learning attribute-based classification criteria. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 43(5): 1791−1807 doi: 10.1109/TPAMI.2019.2954501 [21] Selvaraju R R, Cogswell M, Das A, Vedantam R, Parikh D, Batra D. Grad-CAM: Visual explanations from deep networks via gradient-based localization. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV). Venice, Italy: IEEE, 2017. 618−626 [22] Shrikumar A, Greenside P, Kundaje A. Learning important features through propagating activation differences. In: Proceedings of the 34th International Conference on Machine Learning (ICML). Sydney, Australia: JMLR.org, 2017. 3145−3153 [23] Zeiler M D, Fergus R. Visualizing and understanding convolutional networks. In: Proceedings of the 13th European Conference on Computer Vision (ECCV). Zurich, Switzerland: Springer, 2014. 818−833 [24] Roberts L G. Machine Perception of Three-Dimensional Solids [Ph.D. dissertation], Massachusetts Institute of Technology, USA, 1963. [25] Farhadi A, Endres I, Hoiem D, Forsyth D. Describing objects by their attributes. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Miami, USA: IEEE, 2009. 1778−1785 [26] Yang H M, Zhang X Y, Yin F, Liu C L. Robust classification with convolutional prototype learning. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Salt Lake City, USA: IEEE, 2018. 3474−3482 [27] Wan A, Dunlap L, Ho D, Yin J H, Lee S, Petryk S, et al. NBDT: Neural-backed decision tree. In: Proceedings of the 9th International Conference on Learning Representations (ICLR). Austria: OpenReview.net, 2021.Wan A, Dunlap L, Ho D, Yin J H, Lee S, Petryk S, et al. NBDT: Neural-backed decision tree. In: Proceedings of the 9th International Conference on Learning Representations (ICLR). Austria: OpenReview.net, 2021. [28] Han X Y, Zhu X B, Pedrycz W, Li Z W. A three-way classification with fuzzy decision trees. Applied Soft Computing, 2023, 132: Article No. 109788 doi: 10.1016/j.asoc.2022.109788 [29] Islam S, Haque M M, Karim A N M R. A rule-based machine learning model for financial fraud detection. International Journal of Electrical and Computer Engineering (IJECE), 2024, 14(1): 759−771 doi: 10.11591/ijece.v14i1.pp759-771 [30] Hotelling H. Relations between two sets of variates. Breakthroughs in Statistics: Methodology and Distribution. New York: Springer, 1992. 162−190 [31] Zhang J W, Yu Y, Tang S H, Wu J M, Li W. Variational autoencoder with CCA for audio——Visual cross-modal retrieval. ACM Transactions on Multimedia Computing, Communications and Applications, 2023, 19(3s): Article No. 130 [32] Sapkota R, Thapaliya B, Suresh P, Ray B, Calhoun V D, Liu J Y. Multimodal imaging feature extraction with reference canonical correlation analysis underlying intelligence. In: Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Seoul, Korea: IEEE, 2024. 2071−2075 [33] Tang Q, Liang J, Zhu F Q. A comparative review on multi-modal sensors fusion based on deep learning. Signal Processing, 2023, 213: Article No. 109165 doi: 10.1016/j.sigpro.2023.109165 [34] Li X J, Ma S Q, Xu J H, Tang J J, He S F, Guo F. TranSiam: Aggregating multi-modal visual features with locality for medical image segmentation. Expert Systems With Applications, 2024, 237: Article No. 121574 doi: 10.1016/j.eswa.2023.121574 [35] Zheng X, Wang M H, Huang K, Zhu E. Global and cross-modal feature aggregation for multi-omics data classification and application on drug response prediction. Information Fusion, 2024, 102: Article No. 102077 doi: 10.1016/j.inffus.2023.102077 [36] Hou M X, Zhang Z, Liu C, Lu G M. Semantic alignment network for multi-modal emotion recognition. IEEE Transactions on Circuits and Systems for Video Technology, 2023, 33(9): 5318−5329 doi: 10.1109/TCSVT.2023.3247822 [37] Song Z Y, Wei H Y, Bai L, Yang L, Jia C Y. GraphAlign: Enhancing accurate feature alignment by graph matching for multi-modal 3D object detection. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). Paris, France: IEEE, 2023. 3335−3346 [38] Xue Z H, Marculescu R. Dynamic multimodal fusion. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPR). Vancouver, Canada: IEEE, 2023. 2575−2584 [39] de Vries H, Strub F, Mary J, Larochelle H, Pietquin O, Courville A. Modulating early visual processing by language. In: Proceedings of the 31st International Conference on Neural Information Processing Systems (NIPS). Long Beach, USA: Curran Associates Inc., 2017. 6597−6607 [40] Du C Z, Teng J Y, Li T L, Liu Y C, Yuan T Y, Wang Y, et al. On uni-modal feature learning in supervised multi-modal learning. In: Proceedings of the 40th International Conference on Machine Learning (ICML). Honolulu, USA: JMLR.org, 2023. Article No. 345 [41] Dempster A P. Upper and lower probabilities induced by a multivalued mapping. The Annals of Mathematical Statistics, 1967, 38(2): 325−339 doi: 10.1214/aoms/1177698950 [42] Jϕsang A. Subjective Logic: A Formalism for Reasoning Under Uncertainty. Cham: Springer Publishing Company, 2016. 1−326 [43] Sensoy M, Kaplan L, Kandemir M. Evidential deep learning to quantify classification uncertainty. In: Proceedings of the 32nd International Conference on Neural Information Processing Systems (NIPS). Montréal, Canada: Curran Associates Inc., 2018. 3183−3193 [44] Higgins I, Matthey L, Pal A, Burgess C P, Glorot X, Botvinick M M, et al. Beta-VAE: Learning basic visual concepts with a constrained variational framework. In: Proceedings of the 5th International Conference on Learning Representations (ICLR). Toulon, France: OpenReview.net, 2017. [45] İrsoy O, Yildiz O T, Alpaydın E. Soft decision trees. In: Proceedings of the 21st International Conference on Pattern Recognition (ICPR). Tsukuba, Japan: IEEE, 2012. 1819−1822 [46] Silberman N, Hoiem D, Kohli P, Fergus R. Indoor segmentation and support inference from RGBD images. In: Proceedings of the 12th European Conference on Computer Vision (ECCV). Florence, Italy: Springer, 2012. 746−760 [47] Song S R, Lichtenberg S P, Xiao J X. SUN RGB-D: A RGB-D scene understanding benchmark suite. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, USA: IEEE, 2015. 567−576 [48] Brown M, Süsstrunk S. Multi-spectral SIFT for scene category recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Colorado Springs, USA: IEEE, 2011. 177−184 [49] He K M, Zhang X Y, Ren S Q, Sun J. Deep residual learning for image recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 770−778 [50] Maas A L, Hannun A Y, Ng A Y. Rectifier nonlinearities improve neural network acoustic models. In: Proceedings of the 30th International Conference on Machine Learning (ICML). Atlanta, USA: JMLR, 2013. 3−8 [51] Lee S, Lee S, Song B C. Improving vision transformers to learn small-size dataset from scratch. IEEE Access, 2022, 10: 123212−123224 doi: 10.1109/ACCESS.2022.3224044 [52] Ayub A, Wagner A R. Centroid based concept learning for RGB-D indoor scene classification. In: Proceedings of the 31st British Machine Vision Conference (BMVC). Virtual Event: BMVA, 2020. 1−13Ayub A, Wagner A R. Centroid based concept learning for RGB-D indoor scene classification. In: Proceedings of the 31st British Machine Vision Conference (BMVC). Virtual Event: BMVA, 2020. 1−13 [53] Xu C, Zhang Y L, Guan Z Y, Zhao W. Trusted multi-view learning with label noise. In: Proceedings of the 33rd International Joint Conference on Artificial Intelligence (IJCAI). Jeju Island, Korea: IJCAI, 2024. 5263−5271Xu C, Zhang Y L, Guan Z Y, Zhao W. Trusted multi-view learning with label noise. In: Proceedings of the 33rd International Joint Conference on Artificial Intelligence (IJCAI). Jeju Island, Korea: IJCAI, 2024. 5263−5271 [54] Kontschieder P, Fiterau M, Criminisi A, Bulò S R. Deep neural decision forests. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV). Santiago, Chile: IEEE, 2015. 1467−1475 [55] Petsiuk V, Das A, Saenko K. Rise: Randomized input sampling for explanation of black-box models. In: Proceedings of the British Machine Vision Conference (BMVC). Newcastle, UK: BMVA, 2018. 151−163 -
下载:
计量
- 文章访问数: 857
- HTML全文浏览量: 218
- PDF下载量: 294
- 被引次数: 0
