当期目录
2025年 第51卷 第3期
2025, 51(3): 489-509.
doi: 10.16383/j.aas.c240508
cstr: 32138.14.j.aas.c240508
摘要:
多智能体协同应用广泛, 并被列为新一代人工智能(Artificial intelligence, AI)基础理论亟待突破的重要内容之一, 对其开展研究具有鲜明的科学价值和工程意义. 随着人工智能技术的进步, 传统的单一控制视角下的多智能体协同已无法满足执行大规模复杂任务的需求, 融合博弈与控制的多智能体协同应运而生. 在这一框架下, 多智能体协同具有更高的灵活性、适应性和扩展性, 为多智能体系统的发展带来更多可能性. 鉴于此, 首先从协同角度入手, 回顾多智能体协同控制与估计领域的进展. 接着,...
多智能体协同应用广泛, 并被列为新一代人工智能(Artificial intelligence, AI)基础理论亟待突破的重要内容之一, 对其开展研究具有鲜明的科学价值和工程意义. 随着人工智能技术的进步, 传统的单一控制视角下的多智能体协同已无法满足执行大规模复杂任务的需求, 融合博弈与控制的多智能体协同应运而生. 在这一框架下, 多智能体协同具有更高的灵活性、适应性和扩展性, 为多智能体系统的发展带来更多可能性. 鉴于此, 首先从协同角度入手, 回顾多智能体协同控制与估计领域的进展. 接着,...
2025, 51(3): 510-539.
doi: 10.16383/j.aas.c240392
cstr: 32138.14.j.aas.c240392
摘要:
强化学习作为一类重要的人工智能方法, 广泛应用于解决复杂的控制和决策问题, 其在众多领域的应用已展示出巨大潜力. 近年来, 强化学习从单智能体决策逐渐扩展到多智能体协作与博弈, 形成多智能体强化学习这一研究热点. 多智能体系统由多个具有自主感知和决策能力的实体组成, 有望解决传统单智能体方法难以应对的大规模复杂问题. 多智能体强化学习不仅需要考虑环境的动态性, 还需要应对其他智能体策略的不确定性, 从而增加学习和决策过程的复杂度. 为此, 梳理多智能体强化学习在控制与决策领域的研究, 分析其面临...
强化学习作为一类重要的人工智能方法, 广泛应用于解决复杂的控制和决策问题, 其在众多领域的应用已展示出巨大潜力. 近年来, 强化学习从单智能体决策逐渐扩展到多智能体协作与博弈, 形成多智能体强化学习这一研究热点. 多智能体系统由多个具有自主感知和决策能力的实体组成, 有望解决传统单智能体方法难以应对的大规模复杂问题. 多智能体强化学习不仅需要考虑环境的动态性, 还需要应对其他智能体策略的不确定性, 从而增加学习和决策过程的复杂度. 为此, 梳理多智能体强化学习在控制与决策领域的研究, 分析其面临...
2025, 51(3): 540-558.
doi: 10.16383/j.aas.c240478
cstr: 32138.14.j.aas.c240478
摘要:
多智能体强化学习(Multi-agent reinforcement learning, MARL)作为博弈论、控制论和多智能体学习的交叉研究领域, 是多智能体系统(Multi-agent systems, MASs)研究中的前沿方向, 赋予智能体在动态多维的复杂环境中通过交互和决策完成多样化任务的能力. 多智能体强化学习正在向应用对象开放化、应用问题具身化、应用场景复杂化的方向发展, 并逐渐成为解决现实世界中博弈决策问题的最有效工具. 本文对基于多智能体强化学习的博弈进行系统性综述. 首先, ...
多智能体强化学习(Multi-agent reinforcement learning, MARL)作为博弈论、控制论和多智能体学习的交叉研究领域, 是多智能体系统(Multi-agent systems, MASs)研究中的前沿方向, 赋予智能体在动态多维的复杂环境中通过交互和决策完成多样化任务的能力. 多智能体强化学习正在向应用对象开放化、应用问题具身化、应用场景复杂化的方向发展, 并逐渐成为解决现实世界中博弈决策问题的最有效工具. 本文对基于多智能体强化学习的博弈进行系统性综述. 首先, ...
2025, 51(3): 559-569.
doi: 10.16383/j.aas.c240416
cstr: 32138.14.j.aas.c240416
摘要:
研究了高维线性时不变动力学系统构成的具有加权有向的多智能体网络拓扑变化可辨识性. 这些网络智能体动力学和内耦合矩阵均具有异构性. 分析异构内耦合矩阵对网络拓扑可辨识性的影响, 并发现网络拓扑结构的可辨识性与智能体之间的内耦合矩阵相关. 当内耦合矩阵由同构变为异构时, 网络拓扑的可辨识性可能发生变化, 既可能由可辨识变为不可辨识, 也可能由不可辨识变为可辨识. 针对一般网络结构, 提出充分和必要的条件以验证拓扑变化的可辨识性. 此外, 针对有向链状网络、有向星型网络以及有向环状网络等几种典型网络结...
研究了高维线性时不变动力学系统构成的具有加权有向的多智能体网络拓扑变化可辨识性. 这些网络智能体动力学和内耦合矩阵均具有异构性. 分析异构内耦合矩阵对网络拓扑可辨识性的影响, 并发现网络拓扑结构的可辨识性与智能体之间的内耦合矩阵相关. 当内耦合矩阵由同构变为异构时, 网络拓扑的可辨识性可能发生变化, 既可能由可辨识变为不可辨识, 也可能由不可辨识变为可辨识. 针对一般网络结构, 提出充分和必要的条件以验证拓扑变化的可辨识性. 此外, 针对有向链状网络、有向星型网络以及有向环状网络等几种典型网络结...
2025, 51(3): 570-576.
doi: 10.16383/j.aas.c240474
cstr: 32138.14.j.aas.c240474
摘要:
针对无领航者多智能体系统(Multi-agent systems, MASs)以及领航−跟随多智能体系统执行器故障问题, 设计基于PI结构的容错控制律. 考虑到传统的比例型控制律无法消除加性干扰影响下的稳态误差, 引入积分环节, 在一致性控制律中融入状态的积分项, 用于改善多智能体系统一致性过程的稳态性能. 针对领航者输入不为零的情况, 设计非线性的一致性控制律, 并借助黎卡提方程以及Lyapunov函数, 进行多智能体系统在故障情况下的一致性分析和控制律设计. 最后, 通过一系列对比仿真, 说...
针对无领航者多智能体系统(Multi-agent systems, MASs)以及领航−跟随多智能体系统执行器故障问题, 设计基于PI结构的容错控制律. 考虑到传统的比例型控制律无法消除加性干扰影响下的稳态误差, 引入积分环节, 在一致性控制律中融入状态的积分项, 用于改善多智能体系统一致性过程的稳态性能. 针对领航者输入不为零的情况, 设计非线性的一致性控制律, 并借助黎卡提方程以及Lyapunov函数, 进行多智能体系统在故障情况下的一致性分析和控制律设计. 最后, 通过一系列对比仿真, 说...
2025, 51(3): 577-589.
doi: 10.16383/j.aas.c240288
cstr: 32138.14.j.aas.c240288
摘要:
本文研究了严格反馈多智能体系统的最优一致性问题, 旨在局部信息交互的条件下, 使所有智能体收敛至全局代价函数的最优解. 首先, 针对权重非平衡有向图, 提出一种新的分布式比例积分(Proportional-integral, PI)变量, 将最优一致性问题转化为PI调节问题, 使得经典的控制技术能够通过调节PI变量的方式来处理更加复杂的多智能体系统. 然后, 结合所提出的分布式PI变量和预设性能控制, 设计一类基于PI调节的分布式控制算法, 使得带有死区输入非线性和有界扰动的严格反馈多智能体系统...
本文研究了严格反馈多智能体系统的最优一致性问题, 旨在局部信息交互的条件下, 使所有智能体收敛至全局代价函数的最优解. 首先, 针对权重非平衡有向图, 提出一种新的分布式比例积分(Proportional-integral, PI)变量, 将最优一致性问题转化为PI调节问题, 使得经典的控制技术能够通过调节PI变量的方式来处理更加复杂的多智能体系统. 然后, 结合所提出的分布式PI变量和预设性能控制, 设计一类基于PI调节的分布式控制算法, 使得带有死区输入非线性和有界扰动的严格反馈多智能体系统...
2025, 51(3): 590-603.
doi: 10.16383/j.aas.c240451
cstr: 32138.14.j.aas.c240451
摘要:
针对多智能体系统分布式一致性控制问题, 提出一种新的融合动态模糊神经网络(Dynamic fuzzy neural network, DFNN)和自适应动态规划(Adaptive dynamic programming, ADP)算法的无模型自适应控制方法. 类似于强化学习中执行者−评论家结构, DFNN和神经网络(Neural network, NN)分别逼近控制策略和性能指标. 每个智能体的DFNN执行者从零规则开始, 通过在线学习, 与其局部邻域的智能体交互而生成和合并规则. 最终, 每个...
针对多智能体系统分布式一致性控制问题, 提出一种新的融合动态模糊神经网络(Dynamic fuzzy neural network, DFNN)和自适应动态规划(Adaptive dynamic programming, ADP)算法的无模型自适应控制方法. 类似于强化学习中执行者−评论家结构, DFNN和神经网络(Neural network, NN)分别逼近控制策略和性能指标. 每个智能体的DFNN执行者从零规则开始, 通过在线学习, 与其局部邻域的智能体交互而生成和合并规则. 最终, 每个...
2025, 51(3): 604-616.
doi: 10.16383/j.aas.c240459
cstr: 32138.14.j.aas.c240459
摘要:
针对异构非线性多智能体系统(Multi-agent system, MAS)的输出一致性控制难题, 设计了一种基于同胚分布式控制协议的无模型方法. 通过将输出反馈线性化理论与自适应动态规划相结合, 可以在不需要精确系统模型的情况下实现非线性智能体的线性化, 简化分布式控制器的设计复杂性. 具体而言, 设计一种双层分布式控制结构, 在物理空间层通过无模型反馈线性化方法实现未知系统线性化, 在微分同构空间层利用线性控制技术进行分布式共识控制. 通过两个实验验证了所提方法在处理未知异构非线性多智能体系...
针对异构非线性多智能体系统(Multi-agent system, MAS)的输出一致性控制难题, 设计了一种基于同胚分布式控制协议的无模型方法. 通过将输出反馈线性化理论与自适应动态规划相结合, 可以在不需要精确系统模型的情况下实现非线性智能体的线性化, 简化分布式控制器的设计复杂性. 具体而言, 设计一种双层分布式控制结构, 在物理空间层通过无模型反馈线性化方法实现未知系统线性化, 在微分同构空间层利用线性控制技术进行分布式共识控制. 通过两个实验验证了所提方法在处理未知异构非线性多智能体系...
2025, 51(3): 617-630.
doi: 10.16383/j.aas.c240446
cstr: 32138.14.j.aas.c240446
摘要:
针对执行器饱和的离散时间线性多智能体系统(Multi-agent systems, MASs)有限时域一致性控制问题, 将低增益反馈(Low gain feedback, LGF)方法与Q学习相结合, 提出采用后向时间迭代的模型无关控制方法. 首先, 将执行器饱和的有限时域一致性控制问题的求解转化为执行器饱和的单智能体有限时域最优控制问题的求解, 并证明可以通过求解修正的时变黎卡提方程 (Modified time-varying Riccati equation, MTVRE)实现有限时域最优...
针对执行器饱和的离散时间线性多智能体系统(Multi-agent systems, MASs)有限时域一致性控制问题, 将低增益反馈(Low gain feedback, LGF)方法与Q学习相结合, 提出采用后向时间迭代的模型无关控制方法. 首先, 将执行器饱和的有限时域一致性控制问题的求解转化为执行器饱和的单智能体有限时域最优控制问题的求解, 并证明可以通过求解修正的时变黎卡提方程 (Modified time-varying Riccati equation, MTVRE)实现有限时域最优...
2025, 51(3): 631-642.
doi: 10.16383/j.aas.c240426
cstr: 32138.14.j.aas.c240426
摘要:
现有基于偏微分方程(Partial differential equation, PDE)的多智能体系统(Multi-agent system, MAS)编队控制方法要求智能体必须是密集分布的, 为打破这一限制, 提出一种新的基于常微分−偏微分方程(Ordinary differential equation-partial differential equation, ODE-PDE)的分析方法, 以解决稀疏−密集混合分布的大规模异构MAS编队问题. 首先, 通过设计特定的通信协议, 并基于空...
现有基于偏微分方程(Partial differential equation, PDE)的多智能体系统(Multi-agent system, MAS)编队控制方法要求智能体必须是密集分布的, 为打破这一限制, 提出一种新的基于常微分−偏微分方程(Ordinary differential equation-partial differential equation, ODE-PDE)的分析方法, 以解决稀疏−密集混合分布的大规模异构MAS编队问题. 首先, 通过设计特定的通信协议, 并基于空...
2025, 51(3): 643-657.
doi: 10.16383/j.aas.c240445
cstr: 32138.14.j.aas.c240445
摘要:
针对多智能体系统中邻居间通信存在通信路径损耗的情况, 研究距离−变权重通信拓扑下非线性多智能体系统固定时间防碰防离编队控制问题, 充分考虑通信路径损耗所引起的拓扑变化的不确定性和距离相关性、系统中未知非线性动力学特性以及固定时间收敛的控制性能要求等. 为解决以上问题, 首先结合通信理论中的通信损耗模型和数学图论知识, 对通信路径损耗下的拓扑结构进行量化建模. 其次, 基于人工势场原理, 设计一套新的预设时间防碰防离策略, 以确保每个智能体在预设时间内离开碰撞与离群预警区, 避免碰撞与离群现象. ...
针对多智能体系统中邻居间通信存在通信路径损耗的情况, 研究距离−变权重通信拓扑下非线性多智能体系统固定时间防碰防离编队控制问题, 充分考虑通信路径损耗所引起的拓扑变化的不确定性和距离相关性、系统中未知非线性动力学特性以及固定时间收敛的控制性能要求等. 为解决以上问题, 首先结合通信理论中的通信损耗模型和数学图论知识, 对通信路径损耗下的拓扑结构进行量化建模. 其次, 基于人工势场原理, 设计一套新的预设时间防碰防离策略, 以确保每个智能体在预设时间内离开碰撞与离群预警区, 避免碰撞与离群现象. ...
2025, 51(3): 658-668.
doi: 10.16383/j.aas.c240444
cstr: 32138.14.j.aas.c240444
摘要:
运动受速度和加速度嵌套饱和约束, 而反应式躲避安全机制下分布式编队互联的移动机器人更易触发该嵌套饱和, 从而引起编队的剧烈振荡, 所以需要研究该情况下多移动机器人平滑安全协同及其自适应振荡抑制方法. 故以分布式网络中的移动机器人为研究对象, 首先构建基于视线和速度的低触发势能函数, 实现邻近编队机器人近距排斥作用下的避碰保持; 引入驱动机器人绕过障碍物的安全加速度包络, 并复合近距排斥的弱能量、低触发势能, 避免与非合作障碍物的碰撞. 其次, 嵌入复合自适应辅助动态系统, 平滑躲避过程中触发的嵌...
运动受速度和加速度嵌套饱和约束, 而反应式躲避安全机制下分布式编队互联的移动机器人更易触发该嵌套饱和, 从而引起编队的剧烈振荡, 所以需要研究该情况下多移动机器人平滑安全协同及其自适应振荡抑制方法. 故以分布式网络中的移动机器人为研究对象, 首先构建基于视线和速度的低触发势能函数, 实现邻近编队机器人近距排斥作用下的避碰保持; 引入驱动机器人绕过障碍物的安全加速度包络, 并复合近距排斥的弱能量、低触发势能, 避免与非合作障碍物的碰撞. 其次, 嵌入复合自适应辅助动态系统, 平滑躲避过程中触发的嵌...
2025, 51(3): 669-677.
doi: 10.16383/j.aas.c240473
cstr: 32138.14.j.aas.c240473
摘要:
针对模型参数不确定下多无人艇(Multiple unmanned surface vehicle, Multi-USV)系统的固定时间二分编队跟踪控制问题, 通过将命令滤波与复合学习技术融合到反推控制方法中, 提出一种新型分布式固定时间二分编队跟踪控制协议. 首先, 将命令滤波引入到反推控制中, 进而分别设计虚拟控制协议与真实控制协议. 在此基础上, 为估计未知参数设计了参数复合学习律, 利用在线记录的数据和即时数据来产生预测误差, 并利用跟踪误差和预测误差来更新参数估计. 结果表明, 在严格弱...
针对模型参数不确定下多无人艇(Multiple unmanned surface vehicle, Multi-USV)系统的固定时间二分编队跟踪控制问题, 通过将命令滤波与复合学习技术融合到反推控制方法中, 提出一种新型分布式固定时间二分编队跟踪控制协议. 首先, 将命令滤波引入到反推控制中, 进而分别设计虚拟控制协议与真实控制协议. 在此基础上, 为估计未知参数设计了参数复合学习律, 利用在线记录的数据和即时数据来产生预测误差, 并利用跟踪误差和预测误差来更新参数估计. 结果表明, 在严格弱...
2025, 51(3): 678-691.
doi: 10.16383/j.aas.c240371
cstr: 32138.14.j.aas.c240371
摘要:
针对离散时间多智能体系统的协同最优输出调节问题, 在不依赖多智能体系统矩阵精确信息的条件下提出分布式数据驱动自适应控制策略. 基于自适应动态规划和分布式自适应内模, 通过引入值迭代和策略迭代两种强化学习算法, 利用在线数据学习最优控制器, 实现多智能体系统的协同输出调节. 考虑到跟随者只能访问领导者的估计值进行在线学习, 对闭环系统的稳定性和学习算法的收敛性进行严格的理论分析, 证明所学习的控制增益可以收敛到最优控制增益. 仿真结果验证了所提控制方法的有效性.
针对离散时间多智能体系统的协同最优输出调节问题, 在不依赖多智能体系统矩阵精确信息的条件下提出分布式数据驱动自适应控制策略. 基于自适应动态规划和分布式自适应内模, 通过引入值迭代和策略迭代两种强化学习算法, 利用在线数据学习最优控制器, 实现多智能体系统的协同输出调节. 考虑到跟随者只能访问领导者的估计值进行在线学习, 对闭环系统的稳定性和学习算法的收敛性进行严格的理论分析, 证明所学习的控制增益可以收敛到最优控制增益. 仿真结果验证了所提控制方法的有效性.
2025, 51(3): 692-704.
doi: 10.16383/j.aas.c240295
cstr: 32138.14.j.aas.c240295
摘要:
针对持续扰动下的分布式状态耦合非线性系统, 提出一种新的多耦合分布式经济模型预测控制(Economic model predictive control, EMPC)策略. 由于耦合非线性系统的经济性能函数的非凸性和非正定性, 首先引入关于经济最优平衡点的正定辅助函数和相应的辅助优化问题. 接着, 利用辅助函数的最优值函数构造原始分布式EMPC的一类隐式收缩约束. 然后, 建立状态耦合分布式EMPC的递推可行性和闭环系统关于最优经济平衡点的输入到状态稳定性(Input-to-state stab...
针对持续扰动下的分布式状态耦合非线性系统, 提出一种新的多耦合分布式经济模型预测控制(Economic model predictive control, EMPC)策略. 由于耦合非线性系统的经济性能函数的非凸性和非正定性, 首先引入关于经济最优平衡点的正定辅助函数和相应的辅助优化问题. 接着, 利用辅助函数的最优值函数构造原始分布式EMPC的一类隐式收缩约束. 然后, 建立状态耦合分布式EMPC的递推可行性和闭环系统关于最优经济平衡点的输入到状态稳定性(Input-to-state stab...
