-
摘要: 作为多智能体对抗博弈问题的重要分支, 追逃博弈(Pursuit-evasion, PE)问题在控制和机器人领域得到了广泛的应用, 受到众多研究者的密切关注. 追逃博弈问题主要聚焦于追逐者和逃跑者双方为实现各自目标而展开的动态博弈: 追逐者试图在最短时间内抓到逃跑者, 逃跑者的目标则是避免被捕获. 本文概述追逃博弈问题的相关研究进展, 从空间环境、信息获取等五个方面介绍追逃博弈问题的各类设定; 简述理论求解、数值求解等四种当下主流的追逃博弈问题求解方法. 通过对现有研究的总结和分析, 给出几点研究建议, 对未来追逃博弈问题的发展具有一定指导意义.Abstract: As an important branch of multi-agent adversarial games, pursuit-evasion (PE) games have found widespread applications in the fields of control and robotics, attracting considerable attention from researchers. PE games primarily focus on the dynamic games between pursuer and evader, each striving to achieve their respective objectives: The pursuer aims to capture the evader as quickly as possible, while the evader＇s goal is to avoid capture. This article provides an overview of the research progress in PE games, and introduces various settings of PE games across five key dimensions, including spatial environment, information acquisition, and so on. It briefly describes four mainstream methods for solving PE games, including theoretical approaches, numerical approaches, and so on. By summarizing and analyzing existing researches, this article offers several research suggestions, which are expected to provide significant guidance for future developments in PE games.
-
Key words:
- Pursuit-evasion (PE) games /
- multi-agent /
- adversarial games /
- differential games
-
十四五期间以绿色低碳为目标, 力争在2030年前碳排放达峰, 2060年实现碳中和. “碳中和” 即碳排放量等于碳汇量与碳信用量的总和. 为实现该目标, 电力的低碳化是先决条件. 我国火电煤炭消费占一次能源总量的一半以上, 2021年为56%. 随着可再生能源技术越来越成熟, 风力、光伏、光热等分布式、环境友好的可再生能源在整体电源中所占的比例势必会增加. 完成新的能源结构的调整对传统电源 —— 火电提出新的挑战. 火电机组作为一个执行机构, 根据电网调度方的需要可作为基荷电源(电网调度手动模式)、峰荷电源和腰荷电源(电网调度自动模式)如图1所示. 可见, 火电机组向电网提供电量的同时还提供供需平衡调节服务, 以保证供电量和供电品质. 由于分布式电源具有随机性和间歇性, 如果充分吸纳这些可再生能源, 电网不但要为其提供电量容量, 还要调节其带来的扰动. 由于我国富煤、贫油、少气的一次能源禀赋和火电机组为发电主体的现实(2021年火力发电占比71%)电网平衡调节能力有限, 造成可再生能源在电力能源结构中的比例不能大幅提高(2021年风光发电量占比11.7%), 迫使大规模弃风、弃光. 2017年全国的弃风量高达41.9 TWh, 局部区域弃风率达33%和29%[1]. 不像美国有丰富的页岩气, 在提高风光可再生能源占比的同时, 增加燃气发电规模(燃气轮机负荷变动速率快, 可以短时间启停), 以提高电网的负荷平衡能力. 而我国负荷调节性能优良的水电机组容量占比有限, 且与风光能源存在时空不匹配的矛盾(风光资源丰富的地区为西部和北部, 而水电资源丰富的地区为南部夏秋季节). 建设大规模抽蓄储能电站只能因地制宜, 其他形式的大规模储能技术尚不成熟, 需要大规模投资. 立足于我国当前电力能源结构和一次能源的现实, 充分利用好煤炭消费转型升级的机遇(我国煤炭的储采比为30 ~40年), 发挥其电力保供兜底作用, 先立后破, 实现有序替代, 推进我国构建以新能源为主体的新型电力系统稳步发展是基本方略. 这就决定了火电机组由基荷电源向调节性电源角色的转变. 为此, 我国目前有序开放辅助电力服务市场[38], 将负荷调节能力作为市场化的资源, 由市场引导供电企业竞购. 这意味着传统火电机组收益模式由纯电量收益, 转变为电量加辅助服务收益. 对火电机组来说这实质上是综合性能的竞争. 度电煤耗越低, 电量电价就越有市场竞争力. 负荷变动速率越快, 变化范围越宽, 辅助服务市场竞得的电量越多, 得到的回报也就越高. 这对火电机组的能耗、排放、控制性能提出了新的更高的要求.
本文围绕火电机组配合消纳可再生能源问题, 通过对其控制结构进行综合与分析, 剖析影响其灵活性及调峰深度的原因. 为寻求加速系统灵活性和深化调峰深度的控制方案以及优化系统节能降耗指标提供参考. 指出了当前控制方案下配合消纳可再生能源所面临的问题. 分析了火电在电力系统中供需平衡的调节作用. 指出我国火电机组控制性能的提升是配合可再生能源消纳减少储能和电力调节基础设施投资有效手段.
本文从内容上围绕题目按照火电控制系统是什么(第1节)、为什么是这样(第2节)、这种控制方案在当代电力系统发展中的问题是什么(第3和4节)展开, 最后总结提出愿景和展望(第5节).
1. 火电机组控制结构
控制结构综合与分析是通过控制信息的构建对复杂过程控制系统的实现进行设计、分析、评价、优化的过程, 它是过程生产工艺的抽象.
1.1 递阶结构综合描述
火电机组的控制实现是平衡协调策略下局部反馈基础上的递阶结构[2-3], 如图2所示. 递阶控制就是系统中各个子系统的控制作用按照一定的优先级和从属关系安排的决策单元实现[4]. 火电机组控制包括协调级、局部决策级和过程回路控制. 协调级包括锅炉主控与汽机主控两个子系统. 锅炉主控又分为燃料主控、风量控制和给水控制三个子系统. 这些子系统下又由并行运行的多台设备构成更低阶的子系统. 例如燃料主控的下一级是多台并行的磨煤机组成的制粉系统. 这种递阶形式是解决复杂关联大系统的信息结构. 从下向上看, 多台给水泵的给水流量形成总的给水量, 多台风机送风流量形成总的送风量, 多个磨煤机的容量风量形成制粉系统总的燃料量. 总给水量、风量和燃料量形成锅炉主控的操作变量用于调节压力. 同样, 汽机侧多个调阀的进汽量形成电液调节系统调(Digital electro-hydraulic control system, DEH)的综合参考流量, 作为汽机主控的操作变量用于调节功率. 锅炉主控的被控变量 —— 压力和汽机主控的被控变量 —— 功率, 作为协调级的操作变量调节机组功率输出并维持合格的汽水参数. 这样通过对控制信息进行抽象, 递阶传递实现了信息的集中, 具有经典信息模式下集中控制的特点. 从上往下看, 这种结构通过任务的分解实现了大规模复杂任务的分布式解决方案, 又具有分散控制解决规模化任务的特点. 递阶结构将决策信息纵向分解, 通过变换决策变量和它的维度实现决策信息的分解传递, 直到可实现的物理过程; 将整体任务按照关联关系分为几个子系统, 实现横向分解. 通过以上对决策信息的纵向分解和横向分解形成多层次多梯队的任务组织形式(Multilayer-multiechelon)[5-8]. 它的每一个子任务都是由前馈、反馈、串级、单回路、动静态补偿等基本结构组成. 通过合理处理多个子任务之间的关联变量, 使得多个子任务构成一个更高阶的任务, 任务逐层堆叠形成一个整体结构. 按照这种结构形式, 火电机组被抽象成电网调度的一个执行机构.
1.2 协调级实现
具体的来说, 我国的大部分机组都是以炉跟随为基础的递阶结构, 如图2所示. 来自调度自动分配系统(Automatic dispatch system, ADS)的负荷需求信号的范围和变化率, 由于受到当前机组设备运行状态的约束, 经过荷限制回路形成机组的负荷需求. 该需求信号经滑压曲线$F_1(x) $形成炉主控的压力设定值, 并以动态前馈的形式补偿到锅炉主控的输出, 如图2所示. 同时, 压力设定通过热负荷估计, 见图2和图3形成动静态补偿直接作为锅炉主控前馈, 这两种补偿形式增加了锅炉的响应速度. 炉跟随结构下, 锅炉通过燃烧控制压力, 由图2可知压力偏差经过额定功率/额定压力修正, 形成热负荷偏差, 构造了控制器的输入偏差. 锅炉主控在调节压力偏差的情况下, 其积分项还配合燃煤热值校正, 减少了燃煤特性变化对锅炉主控的影响. 构造的热负荷偏差是机炉协调程度的重要标志, 其偏差越大说明机炉能量供需失衡程度越大, 汽水参数偏离设计值就越严重. 偏差经带有死区的非线性环节, 修正单元负荷需求形成汽机负荷需求. 这是间接能量平衡协调策略[3] (Indirect energy balance, IEB)的体现, 具体见图2和图3. 虽然汽机主控调节的是机组实际的电功率, 但这里采用压力设定与主汽压力的比值, 乘以实际电功率作为反馈变量是很有意义的. 此反馈变量实际上是对调门开度的预估计. 给出了调门开度的提前量, 防止其误动作, 使得功率调节更准确, 机炉协调性能更好. 当主汽压力与压力设定分别稳定且相同时, 说明机炉能量供需平衡, 汽机主控的反馈恰好等于电功率, 即汽机负荷需求和单元负荷需求. 同样, 对于锅炉控制压力, 控制器偏差构造时的放大系数为额定功率/额定压力转化为能量的偏差. 以上这些体现了直接能量平衡协调策略[3] (Direct energy balance, DEB). 锅炉侧的燃料输送、煤粉燃烧和传热都是大惯性环节. 为了保证汽机侧同步响应负荷指令, 采用三个惯性环节对锅炉侧大惯性环节进行重构. 从以上分析看, 机炉主控不但分别起到功率调节与压力调节的作用, 还对其动作的一致性起到协调的作用.
1.3 局部决策级实现
将锅炉主控的输出指令转化为给水、给煤和送风子系统的主指令; 将汽机主控的输出通过配汽函数分配给各个进汽调门, 进而形成各调门的阀位指令是系统第二层次的实现.
由于给煤、送风和燃烧传热过程是大延迟、大惯性环节. 所以风、粉的动态协调意义并不大. 但是在负荷变动过程中, 为了保证足够的过量空气系数, 使燃烧稳定、连续. 在逻辑上通过风、粉交叉限制回路, 实现了升负荷时先增加风量, 后增加煤粉; 降负荷时先减少煤粉, 后减少风量. 处理煤水关系时, 锅炉主控输出经过煤水比曲线形成静态前馈, 作为给水量的基本指令. 通过调节中间点焓值, 修正给水量, 作为汽泵回路的设定值. 直流炉给水指令的构造, 还有其他多种形式, 这也一直是研究的热点[9-15]. 送入炉膛的燃料量是由燃料主控调节的, 见图2. 炉主控的输出与给煤率(给煤量经热值修正)的差值形成燃料调节器的偏差. 燃料主控通过操作一次风压和容量风量来改变喷入炉膛的燃料量. 在燃料调节过程中, 容量风的风量, 对磨煤机的煤位形成了扰动. 给煤调节器操作给煤速度, 维持磨煤机煤位. 来自汽机主控的输出指令通过电调的阀门管理功能实现各个进汽调门进汽量的分配. 调门进汽的分配策略是根据汽机的运行状态, 对调门的组合方式和节流特性优化得到的.
2. 控制方案分析
图2结构是整个机组运行在自动状态下去掉冗杂的逻辑控制, 保留调节回路的情况下, 抽象成电网调度的一个执行机构而得到的控制信息简图, 其经简化可表示成图5所示, 其与图6结构相同. 所以单元机组是局部反馈递阶结构. 这种结构是大系统理论中的一种基本结构[4]. 其控制方案的核心思想“分解−协调”方法, 是在解决大规模生产控制问题时产生的. 递阶结构按照反馈形式和协调方法的不同分为全局反馈关联预测结构、全局反馈关联平衡结构、局部反馈关联预测结构、局部反馈关联平衡结构[2]. 其结构分别如图6和图7所示.
在系统设计时通过自由度分析确定被控变量, 当被控变量的个数比方程的个数多时, 系统的稳态方程为超定方程, 稳态工作点无法确定, 通过增加关联约束变量使得方程的个数与被控变量的个数相同. 那么可以唯一确定稳态工作点. 单元机组系统的稳态模型可简化为:
$$ \begin{equation} {{\boldsymbol{f}}}_1\left( {\Delta {{\boldsymbol{H}}},{{\boldsymbol{F}}}_l} \right) = {{\boldsymbol{W}}} \end{equation} $$ (1) 其中, $ \Delta $$ {{\boldsymbol{H}}} $为理想焓降; $ {{\boldsymbol{F}}}_l $为主蒸汽流量; $ {{\boldsymbol{W}}} $为电功率. 对于一给定负荷$ {{\boldsymbol{W}}} $与两个变量关联, 其解不定. 通过汽水热力学性质引入关联变量$ {{\boldsymbol{P}}} $.
$$ \begin{equation} {{\boldsymbol{f}}}_2\left( {{{\boldsymbol{P}}},\Delta {{\boldsymbol{H}}}} \right) = {{\boldsymbol{T}}} \end{equation} $$ (2) 其中, $ {{\boldsymbol{P}}} $为主蒸汽的静压力; $ {{\boldsymbol{T}}} $为对应主蒸汽压力下的饱和蒸汽温度. 锅炉设计时已保证了热负荷在各受热面的分布, 因此温度主要考虑材料的约束, 在这里可视为已知量. 联立式(1)和(2)得到方程:
$$ \begin{equation} {{\boldsymbol{f}}}_3\left( {{{\boldsymbol{P}}},{{\boldsymbol{F}}}_l} \right) = {{\boldsymbol{W}}} \end{equation} $$ (3) 仍然具有不定解, 因此引入关联约束方程:
$$ \begin{equation} {{\boldsymbol{f}}}_4\left( {{\boldsymbol{P}}} \right) = {{\boldsymbol{W}}} \end{equation} $$ (4) 方程(4)又称滑压曲线, 为负荷的函数, 具体表达形式可通过机组热耗率优化实验获得. 这样通过规划负荷与压力的关系获得汽水参数的稳态工作点. 在当前方案下, 机组根据具体条件的不同, 运行方式可分为多种模式, 包括基本(图8)、炉跟随(图9)、机跟随(图10)、协调模式(图11和图12). 其中基本模式需要汽机和锅炉操作员紧密协作. 满足负荷要求的同时保证安全的汽水参数. 一般在机组启动, 汽机主控锅炉主控都不能正常运行时采用; 炉跟随实际就是以锅炉控制压力为副调节器, 汽机控制负荷为主调节器的一个串级结构, 手动操作DEH的综合阀位指令. 这种方式机组负荷变化快, 压力参数波动大. 常在协调投入前或协调投入下, 机侧辅机设备因故障退出自动时采用; 机跟随本质上就是以汽机控制压力为幅调节器, 锅炉控制负荷为主调节器的串级结构, 只不过主控制器没有投自动. 这种方式机组响应负荷速度较慢, 但主汽压力稳定, 能够很好的跟踪滑压曲线. 常在协调投入前或协调投入下炉侧辅机设备因故障退出自动时采用. 协调模式分为两种, 以炉跟随(如图11所示)为基础的协调模式和以机跟随(如图12所示)为基础的协调模式, 工作在协调模式的控制系统又叫做Coordinated control system (CCS). 自动化水平最高, 属于全自动模式. 他们分别具有相应跟随模式的特点, 我国的大部分机组采用的是以炉跟随为基础的协调模式[9]. 任意一种协调模式都是负荷设定值, 通过滑压曲线产生压力设定值. 由于汽机的响应速度快(液压伺服阀调整蒸汽流量), 锅炉的响应速度慢(燃烧传热过程延迟大, 惯性大). 机、炉响应特性差别较大, 在变负荷过程中从一个稳态到另一个稳态的过渡时间不同. 一个处于稳态另一个处于动态, 这样会导致关联变量 —— 主汽压力, 偏离工作点(稳态优化值). 例如在炉跟随为基础的协调系统中, 锅炉控制压力, 汽机跟踪负荷. 升负荷过程中由于汽机响应速度快, 负荷很快由于蒸汽流量的增加达到设定值; 锅炉响应速度慢, 燃料的化学能, 来不及转化为蒸汽的内能, 负荷的增加靠的是机组的蓄热, 这将导致蒸汽参数快速下降, 如果蒸汽的过热度不够, 将导致汽轮机水冲击. 降负荷过程中由于汽机调门关小, 蒸汽流量减少, 而锅炉燃料虽然也减少, 但由于传热过程惯性系数大, 蒸汽参数不能及时减小, 反而导致其急剧上升, 以至于达到安全阀的整定值. 所以, 协调好机炉关系, 是整个机组响应调度的基础.
机炉的协调功能由图2、图3和图4可知, 它是在功率和压力回路的基础上, 增加动静态补偿实现的. 这实际是一个两输入两输出系统如图11和图12所示. 通过补偿网络解耦, 在非协调模式下压力回路和负荷回路相对独立; 协调模式下, 两者在维持安全汽水参数的同时, 满足了一定范围内负荷变动率的要求. 目前结合具体的物理参数, 产生了间接能量平衡(Indirect energy balance, IEB)和直接能量平衡(Direct energy balance, DEB)的补偿方式实现上述功能[3]. 最直观的方式就是间接能量平衡, 根据主汽压力偏差, 利用非线性环节从设定值上进行补偿. 当压力回路产生较大偏差时, 通过带死区的非线性环节补偿汽机回路设定值, 减小设定值的变化幅度从而减缓汽机侧的响应速度以匹配锅炉控制回路, 即让汽机 “等一等” 锅炉. 在以汽机跟随为基础的协调模式中亦是如此. 当因辅机设备故障退出协调模式时, 滑压设定值由负荷经滑压曲线产生切换到由发电机出口电功率经滑压曲线产生, 压力设定值跟踪实际电负荷. 操作模式也自动切换为对应的跟随模式.
3. 当前控制方案下可再生能源消纳面临的问题
3.1 基于补偿网络的协调方法限制了机组的灵活性
1)响应调度的快速性
机组在协调工作模式下, 调度侧投入自动, 如图1中机组投入自动发电控制(Automatic generation control, AGC)模式. 如果是区域功率偏差控制(Area control error, ACE)模式, 负荷指令每4至8秒更新一次. 否则调度每15分钟规划一次未来时刻的发电计划, 发电计划每15分钟刷新一次. 也就是说, 最早可以提前15分钟知道调度指令. 与当前时刻越近调度指令的预测性越准确. 这种负荷响应的过程为“电网供需失衡−检测计算−调度”. 在局部区域内, 由于光伏或风电负荷的波动导致供需失衡, 调度通过调节火电机组的出力, 对其作出补偿. 火电机组的灵活性(负荷变动率)决定了其能制衡分布式能源波动的能力. 目前, 我国火电机组负荷变动的速率约为2%额定负荷/分钟. 影响其响应速度的主要原因为锅炉的燃烧和传热具有较大的惯性, 当前的协调级, 通过动态补偿的方式[16-17]减缓汽机调门的动作来保障安全的汽水参数. 火电机组可看作以汽机调门开度和锅炉燃烧率为输入, 以电负荷和主汽压力为输出的双入双出系统. 对于直流炉由于给水是通过煤水比值进行控制, 因此分析时也简化为双入双出系统, 如图13所示. 由上文对控制和运行方案分析可知, 当前的处理方法是将多输入多输出通过补偿网络进行一定程度的解耦, 近似转变为单输入单输出系统进行处理的. 理论上如果知道系统的数学模型例如系统:
$$ \begin{equation} \begin{bmatrix} {{\boldsymbol{W}}}\\ {{\boldsymbol{P}}} \end{bmatrix} = \begin{bmatrix} {{\boldsymbol{G}}}_{11} &{{\boldsymbol{G}}}_{12}\\ {{\boldsymbol{G}}}_{21} &{{\boldsymbol{G}}}_{22} \end{bmatrix}\begin{bmatrix} {{\boldsymbol{U}}}\\ {{\boldsymbol{B}}} \end{bmatrix} \end{equation} $$ (5) 可通过串联前、反馈前、串联后补偿实现完全解耦[3], 如图14、图15、图16所示. 对该两入两出系统, 转化为两个单回路, 进行控制实现. 但是系统的模型并不能精确的获得. 因此, 无法按照上述解耦方法计算出解耦网络, 实现完全补偿. 为了解决两个回路的耦合, 根据物理过程, 寻找解决方案. 例如在负荷变动过程中, 引入响应趋势相似的物理量进行双向补偿, 典型的例子有日本Chita电站的协调系统、Bailey-820系统、HITACS-1000协调系统等[3]. 或采用主汽压力偏差(炉跟随)和负荷偏差(机跟随)作为机炉协调程度的特征参数, 进行补偿. 例如引入的关联变量, 在机组动态补偿解耦控制中是一个表征汽机和锅炉协调工作的特征参数[3], 这种协调机制又被称为间接能量平衡(IEB)机制. 从回路设定值上, 对机炉的响应速度进行匹配. 更有甚者从能量需求平衡的角度, 寻求动态补偿的方法. 以上方法就像在控制理论中对一个高阶系统进行实现, 实现的方式可以有多种, 例如可控标准型和可观标准型等. 但寻找恰当的状态变量使其具有与生产参数有关的物理意义. 甚至能够有直接、间接测量的物理量可用于反馈是很具有现实意义的. 因此, 结合具体物理过程, 合理处理关联变量, 在复杂控制系统实现中是一项创造性的工作. 这是在不能准确获得数学模型的情况下, 退而求其次的办法. 由于无法精确获得数学模型, 只是为了满足当下在较小频率下动态协调的需要而进行网络补偿. 单纯靠这种方法或补偿强度的增加无法实现完全解耦, 从而在更高频率范围内保持理想的协调效果. 因此, 在协调级实现上, 需要寻找合理的控制方法满足更高水平的机炉动态, 以增加其配合可再生能源的消纳能力.
2)突发式负荷响应的鲁棒性
对于电网秒时间尺度的负荷变化, 由于时间短, 电网检测系统来不及反应, 无法通过调度“电网供需失衡−检测计算−调度”过程实现供需平衡, 而是依靠一次调频的作用(机组转动惯量)缓解扰动. 机组协调性能越好, 电网局部扰动在整个电网传播的速度越快. 由整个电网机组分摊负荷扰动的速度就越快, 电网响应负荷变化越及时. 其过程为: 用电负荷短时间, 大幅度变化, 导致局部机组转速变化, 依靠转动惯量来缓解外部扰动, 汽机侧调门会根据转速差调整开度, 机组出力发生变化, 依靠机组蓄热对扰动进一步缓解. 此时, 打破机组能量供需平衡, 最终协调系统的功率恢复到一次调频动作之前. 即一次调频的出力被协调功率闭环抵消, 扰动没有被消除, 只是被缓解. 当电网功率供需不平衡时间足够长(能量差额随时间越来越大)以至于靠整个电网内所有同步机组的转动惯量来缓解时. 电网的频率就会发生变化. 电网再通过AGC调整各机组的出力, 扰动被抵消. 图17是炉跟随为基础的协调系统, 汽机主控参与一次调频的结构. 一次调频负荷设定值, 直接叠加到汽机主控闭环的设定值上. 和单元负荷需求一起, 构成汽机负荷需求的设定值. 这样调频负荷部分, 不会由于汽机功率闭环抵消, 这关系到长时段或最终一次调频的幅度, 即稳定后一次调频负荷最终由频差确定. 只要转速偏差超过一次调频死区设定值, 调频负荷就一直存在. 然而, 为了增加一次调频的响应速度, 在电调(DEH)中, 转速差通过转速不等率曲线与调频系数相乘, 形成前馈累加到汽机主控的输出中, 直接影响调门的开度. 此时, 锅炉跟踪压力, 压力设定值, 由单元机组负荷需求经滑压曲线产生, 没有因为一次调频动作而改变. 可见, 一次调频响应的快速性主要是靠机组的蓄热. 汽机侧依靠蓄热及时响应了外部负荷的需求. 然而, 锅炉侧则因热负荷补充不及时, 导致汽水参数偏离正常值. 这相当于在汽机侧增加了一个扰动, 如图18所示. 在相同频差下, 机组一次调频响应的能力(当前电网要求参与一次调频机组的出力不小于6%额定出力)是由补偿网络抵抗该种扰动的能力所决定的. 因为, 一次调频发生是随机的, 它可能发生在机组的任何负荷处. 所以, 相同的一次调频负荷量引起机组参数偏离程度不同. 发生在低负荷时机组参数的偏离, 较发生在高负荷时大. 致使补偿网络或者控制器的鲁棒性, 决定了机组参与一次调频的幅度. 鲁棒性越强, 在一次调频动作时汽水参数偏离正常值越小, 参与一次调频的能力就强; 相反, 抗扰动能力越弱, 参与一次调频的能力就越小. 具有随机性和间歇性的分布式能源使电网的不稳定性增加, 这也增加了一次调频, 这种突发式负荷响应的概率. 因此, 处于协调级的机炉控制无论是对于ADS的响应速度还是对一次调频的响应幅度都启到至关重要的作用. 还有一些补偿方案, 通过调节供热蝶阀实现弹性抽汽回热或对凝结水流量进行节流来影响汽机侧抽汽量[18-19]. 这相当于在汽机侧施加前馈补偿, 增加了控制器的鲁棒性, 加快了负荷响应速度, 使汽水参数在外部扰动下不易偏离, 如图19所示. 但这不是根本的解决办法. 未来需要从控制的角度研究机炉高性能的动态控制方法, 提高负荷变动速率.
3.2 锅炉局部反馈策略影响调峰深度和变负荷时的燃烧性能
1)等效热效应反馈原理
图2递阶结构中, 在稳态下以炉主控的输出 —— 燃烧率为参考规划了配风和给水. 包括总风量、容量风量、二次风量、燃尽风量、给水量, 这样就将上层控制器的输出指令, 分解为下层回路的设定值, 实现了决策变量的分解转换. 然而, 燃烧率是以设计煤种为参考, 将其与负荷的对应关系归一化得到. 在校核煤种下经试验, 偏差在可接受范围内. 实际燃煤并不一定与设计煤种完全一致. 为了消除燃煤变化造成风量, 给水量与给煤量的失配, 从煤燃烧的热效应上, 将当前燃煤转化为设计煤种 —— 热值校正. 其校正方案具体如图20所示. 炉主控输出的燃烧率与当前实际的锅炉热负荷进行比较形成偏差. 偏差一方面通过积分修正后形成相对热值系数, 用于将当前的给煤量转化为设计煤种的当量. 另一方面转化为锅炉的主控偏差的修正值(在直接能量平衡策略下, 炉主控的输入将压力偏差转化为热负荷偏差见图3, 这里热负荷偏差的构造消除了对燃料控制器的扰动), 修正炉主控的输出使其转为燃烧率. 随着偏差的累积, 风量和给水量也向设计煤种下规划方向修正, 使其失配程度减小. 为了减小修正过程中对燃料控制器偏差的影响造成给煤量的变化, 热值校正中积分时间常数与炉主控中积分时间常数相同. 由以上的分析可知, 当前锅炉燃烧控制, 并未实现真正的闭环控制[20-27], 它只是在热效应上, 通过热值校正进行等效处理来实现燃烧率的反馈. 随着负荷的降低, 炉膛温度也降低, 煤粉着火环境变得恶劣, 燃烧变得不稳定甚至灭火或爆燃. 由于锅炉这样的燃烧特性, 导致稳燃负荷存在下限. 由协调级形成的决策信息指令无法被局部决策级执行, 从而无法完成反馈. 这也导致锅炉最低负荷运行能力, 是影响调峰深度的重要因素. 锅炉最低负荷运行能力与其燃烧方式和煤种相关, 一般对冲燃烧锅炉的最低负荷范围为20% ~ 30%; 切圆燃烧最低为30%; W火焰燃烧方式最低只能达到30% ~ 50%. 锅炉低负下的稳燃能力是影响调峰深度的重要原因. 机组运行负荷越低, 新能源上网的空间就大, 弃风弃光量就会减少.
不仅如此, 热值校正还关系到锅炉配风. 从控制结构图2来看, 燃烧率/总风量、煤流率/一次风母管压力、二次风量/炉膛风箱差压、煤流率/容量风量、燃烧率/燃尽风门开度都是规划的静态工作点, 通过这种简单的方式, 建立燃烧率(炉主控的输出)与底层物理回路设定之间的模型, 实现决策信息的转换, 控制指令的分解, 只是在设计煤种情况下最佳, 在校核煤种情况下经试验, 偏差在合理范围内的经验模型. 配风关系在设计煤种以外并非最佳. 而且, 由图20可知, 热值校正是有条件的 —— 单元负荷需求变化速度足够小, 以致于机组参数接近稳定. 可见, 燃煤的热值在快速负荷变动过程中是不能被更新的. 热值的偏差导致风煤关系失配. 例如在ACE模式下, 机组参数可能时刻变化. 为了应对此缺陷, 只能对燃煤掺烧, 以确保燃煤特性的稳定.
综上可知, 从锅炉燃烧控制的反馈策略上来看, 它只是通过热值校正, 对燃烧产生的热效应进行了等效反馈, 实际上煤粉的燃烧包含着复杂的物理和化学过程. 对于其它燃烧参数, 例如燃烧效率、氮氧化物含量、排烟温度、炉膛火焰充满程度、各个受热面热负荷分布等信息没有反馈校正, 从而无法实现控制的最优化. 因此, 寻找新的方案解决锅炉燃烧闭环控制问题, 是当前研究的热点.
2)锅炉燃烧闭环控制的发展现状
在清洁低碳、安全高效的基础上, 合理的组织燃烧, 使热负荷在各个受热面的分布, 满足汽水参数的要求, 是锅炉燃烧闭环控制的最终目标. 然而, 影响锅炉燃烧的因素众多包括配风方式(均匀、缩腰、正三角、倒三角)、燃烧器负荷分配方式、一次风速、一次风温、炉膛风箱差压、燃烧器摆角、煤粉细度、煤粉温度等. 煤粉燃烧过程复杂, 影响因素众多, 机理不清, 难以建立数学模型. 再者, 滑压运行机组工况变化过程中, 汽水回路在各个受热面的热负荷变化较大, 需操作员手动调节火焰中心的高度与其进行匹配. 例如, 随着压力的增加, 过热段吸热量占比增加. 因此, 升负荷过程中需要适当调高火焰中心, 增加过热受热面的热负荷比例. 降负荷过程中需严密监视过热蒸汽温度防止超温, 同时降低火焰中心以减少减温水用量保证机组效率. 因此, 无论是燃烧控制还是热负荷调节, 都是根据设计人员提前规划的配风和操作人员的经验进行的. 为了充分挖掘影响燃烧性能的决策信息以及合理的调整这些变量, 以达到最佳燃烧状态. 当前的研究方向包括[20-28]: 燃烧调整试验, 通过实验修正图2中给煤、送风有关的曲线; 基于燃烧机理的建模, 用于燃烧模拟解决燃烧器的设计优化; 基于检测和人工智能技术的燃烧优化. 国外结合先进的控制技术, 实现了对锅炉的优化控制. 这些控制方法大都是基于人工智能技术与控制技术的结合. 将操作员的经验转化为知识信息. 通过信息挖掘的方法获得最优操作参数, 我国也在追赶. 国外形成的商用优化软件包括: 艾默生的Smart Process、美国Ultramax、Pegasus公司的Power Perfecter、Neuco公司的Combustionopt燃烧优化技术、英国Powergen公司的GNOCIS PLUS等. 国内东南大学的BCOS-2000/2.0系统和清华大学OCP3系统、北京埃普瑞电力科技有限公司引进美国技术开发的“SOAP”系统. 反应燃烧效率的特征参数 —— 辐射能信息, 可通过图像处理技术获取是基于检测技术的燃烧优化取得的一项关键突破. 锅炉负荷一定时辐射能最大的操作参数即最优. 依靠燃烧机理确定特征参数, 通过检测技术获得特征参数, 以及利用智能控制算法最大化特征参数是这一突破的主要研究思路.
3)锅炉缺少全负荷段自动给水方案
超临界直流锅炉在40% ~ 45%范围内要进行运行模式的转换, 目前还没有全负荷范围内的给水自动控制方案. 分离器干态运行时给水流量跟踪中间点焓值(此时汽水分离器已没有水位或汽水分界面不明显)如图2所示. 分离器湿态运行时, 给水流量跟踪分离器水位(由于蒸汽静压力波动, 中间点蒸汽的湿度不容易判断, 所以焓值不能确定). 造成跟踪模式切换的最根本的原因是, 从亚临界到超临界蒸汽的湿度不容易确定. 升降负荷时, 靠运行人员手动进行运行模式的切换. 该过程蒸汽参数变化剧烈, 蒸汽过热度不够或锅炉局部受热面干烧(小于锅炉最小给水流量)的风险变大. 现有经过改造升级的自动转换方案, 也是人为判断, 启动转态, 通过顺控替代手动切换过程. 转态过程需要一段时间(十几分钟或几十分钟), 负荷不能连续变化. 机组投自动参与调峰, 一天之内需要多次、长时段运行在低负荷阶段, 经历多次转态. 如果调度负荷指令在干湿态负荷转换中间, 汽水状态不易判断, 机组运行状态无法监控, 安全运行风险增加.
如果单纯从控制方案入手, 保留原有运行模式则需要严格控制煤水比例. 这需要准确的测量或评估出燃煤的热值(燃煤热值偏差在20%以内). 当前的热值校正方案反应较慢(热值校正中积分时间常数过长, 积分周期为8000秒), 需要在稳态下经过数小时, 这显然不行. 纵然是实时评估, 燃料输送、燃烧、传热等惯性延时也在分钟级. 如果非要根据前几分钟的燃烧来作为当前燃煤热值预报的话. 当前热值方案需将稳态下热负荷与炉主控输出偏差, 更改为一个评估周期内热量(热负荷积分)与炉主控能量输出(炉主控输出积分)的偏差(无论处于稳态与否). 这样通过准确控制燃烧热负荷与给水流量实现转态过程中变煤水比控制.
如果在超临界状态, 锅炉给水跟踪中间点焓值, 负荷降到45%后仍不转入亚临界状态则会因为给水流量过低导致小于最小锅炉给水流量, 容易造成锅炉局部干烧. 从热力学系统工艺出发可通过蒸汽注入式换热技术减少省煤器出口给水欠焓, 提高平均吸热温度, 增加水冷壁内汽水循环倍率, 使得机组在低负荷下仍然运行在超临界状态. 方案如图21所示. 省煤器出口处增加射流换热器将主蒸汽注入给水中进行回热, 提高锅炉入口给水焓值. 在负荷降至50%左右启动增压泵和换热器再循环泵, 射流器出口焓值控制器投自动. 射流器出口焓值在此参数附近变化剧烈. 控制器投运后保证给水焓值在临界焓值以上. 水冷壁下集箱处为密度均匀的超临界流体, 水冷壁各管的流量分配均匀, 保证了水循环的安全.
3.3 非额定工况下稳态工作点的偏离增加了可再生能源消纳的能耗和排放成本
随着越来越多高参数、大容量机组成为电网的骨干电源和分布式可再生能源的增加, 电网负荷的峰谷差会越来越大. 新能源的消纳致使机组承担部分负荷和调峰运行的时间增多. 对其运行的经济性和负荷适应性提出了更高的要求. 电网普遍要求燃煤机组负荷调整范围不低于50%额定出力, 这就大大偏离了其额定工况(火电机组最佳经济运行工况一般在85% ~ 95% 负荷区间). 工作点的重置或一次调频动作造成的扰动, 都是在工作点附近的波动或多个工作点之间的切换. 因此, 非额定且大尺度工况变化情况下, 需要对整个系统的稳态工作点进行合理的规划以满足更好的经济性. 系统控制结构图2中的函数$F (x) $都是需要在稳态下进行标定或优化的曲线. 包括: 燃烧率/总风量、燃烧率/给水量、煤流率/一次风母管压力、二次风量/炉膛风箱差压、煤流率/容量风风量、燃烧率/燃尽风门开度、发电机功率/中间点焓值、负荷/压力、配汽函数. 除了上文提到的燃烧配风外, 最主要的就是这里的负荷/压力曲线. 它是对机组汽水参数的规划, 影响热工转换效率.
额定压力下, 机组带部分负荷是通过调节阀, 节流实现进汽面积的改变. 这里阀芯的节流, 可看做等焓节流过程. 蒸汽温度、压力下降, 熵增加, 高压缸相对内效率降低. 这里由于节流造成温度的降低无冷源损失, 熵增加, 导致再热过程中吸热量增加, 这也就是为什么参数越高工质平均吸热温度越高, 机组热力循环效率越高的原因. 但是汽机的绝对热效率是相对热效率与热力循环效率的乘积. 相对内效率降低、热力循环效率升高, 所以要获得最高的汽机效率需要一个合适的压力参数. 使得热力循环效率的增加, 对绝对效率的影响, 恰好等于内效率降低对其的影响, 在两者之间获得一个平衡. 这里内效率的降低是由于调阀的节流造成的. 即使相同的负荷/压力曲线, 配汽方式不同, 调阀节流损失也不同. 所以滑压优化, 并不单纯是规划压力与负荷的关系, 还和阀门管理有关. 按照进汽面积改变方式的不同, 汽轮机配汽方式, 可分为节流调节和喷嘴调节. 多个调阀动作一致, 始终处于相同的阀位开度处, 称为单阀模式, 处于节流调节方式. 汽机全周进汽, 本体受力平衡, 叶片受热均匀, 转子热应力小, 负荷变动灵活, 但节流损失大. 汽机部分调阀处于全开, 部分调阀处于全关位置, 变负荷过程中, 全靠定温下锅炉蒸发量的改变影响汽压, 从而改变负荷, 称为纯滑压方式. 在低负荷或高负荷处机组的经济性不好. 多个调阀按照一定的重叠度, 形成具有线性阀位升程 —— 流量特性的联合阀门开度称为顺阀模式, 汽机不能全周进汽. 是喷嘴调节与节流调节的复合调节模式. 通过规划阀序和重叠度可在大范围内兼顾经济性和灵活性. 然而滑压参数的确定不能只考虑汽轮机的效率和热力循环效率, 还要综合考虑给水泵的功耗、背压、炉水动力的安全性、机组参与一次调频和AGC的能力(通过调阀的节流特性保证汽水蓄热能量以提高机组响应负荷的快速性). 目前滑压优化采用热耗分析法, 只把能耗作为单一优化目标, 然后通过实验兼顾其他性能指标. 实际上这是一个相互冲突的目标优化问题. 负荷的响应速度和机组的能耗指标是相互冲突的. 从机理上建立整个系统的优化模型不容易. 然而实际运行中可以获得大量稳态数据. 基于数据挖掘的方法是可能的探索路径. 这种脱离机理模型, 基于数据挖掘的优化方法在其他行业早有应用案例, 如选矿[29-30]. 在新能源消纳需求下, 合理规划机组非额定运行状态下汽水稳态工作点, 降低消纳的能耗成本是有必要的.
新能源的消纳, 导致机组出力大幅度变动, 排烟温度低于对应额定负荷时的温度, 氨易与烟气中的硫反应生成氨的硫化物 —— 硫酸铵或硫酸氢氨. 这些氨的硫化物容易附着在催化剂表面, 甚至堵塞催化剂活性物的微孔, 使催化剂失活, 导致烟气中的氮氧化物排放高[31-37]. 为了加强脱硝效果, 常增加喷氨量以提升氨气在烟气中的比例来强化其与氮氧化物发生反应. 这一方面增加了脱硝的成本同时生成的硫化物附着在空预器的表面, 加速设备的腐蚀. 另一方面中低负荷时由图2中的容量风/煤流率曲线可知一次风煤比, 比额定负荷时高, 甚至高出30%. 这将导致煤粉氧量充足, 燃烧反应剧烈, 增加了热力型氮氧化为的产生. 低负荷时, 一次风量增加意味着托底风和燃尽风量减少, 这将大大减弱空气分级程度, 破坏了低氮燃烧的条件, 增加了氮氧化物的生成. 在低负荷下燃烧增加了氮氧化物生成的同时, 也减少了氮氧化物的还原, 导致其排放增加. 当前的解决方案都是从工艺设备的角度出发, 例如对省煤器进行分级布置、增加省煤器旁路、增加烟气旁路等. 若从控制方案出发可在低负荷下将脱硝入口烟气温度作为一个控制变量, 在尽量减小与受热面汽温控制耦合的情况下, 将火焰中心高度作为操作变量始终保持排烟温度在催化剂适宜的范围内. 那么图2控制结构中锅炉的燃烧控制需要重新设计.
综上可知, 火电机组对风电和光伏电源进行补偿时, 出力会大幅度波动. 导致机组长时间工作在偏离额定参数的工况下. 那么对于图2控制方案中的稳态工作点需要重新规划以满足更好的经济和排放指标.
4. 火电在电力系统中供需平衡调节作用
电能是一种不可大规模存储的二次能源. 在电力系统中, 供电与用电是同时进行的而且供需是平衡的. 其中, 频率是有功功率(出力)平衡的表征参数. 可通过自动发电控制AGC维持恒定, 我国交流电频率为50 Hz. 电压是无功功率输出平衡的表征参数. 可通过自动电压控制(Automatic voltage control, AVC)调节励磁来维持.
如图22是电网负荷供需平衡调节类比图. 对于基荷电源调度的时间尺度为小时级或几十分钟. 投入AGC模式的电源, 调度的尺度为分钟级. ACE模式的电源为秒级. 一次调频对负荷的响应为亚秒级. 负荷响应过程为: 电网中的大负荷设备启停或风光电源大幅度(小的负荷变化对于电网来说不足以引起频率变化即频率仪表测不到)快速变化, 打破电网供需平衡, 引起局部频率偏离. 机组检测到就地频率偏差超过一次调频动作死区, 一次调频动作. 按照频差的大小, 机侧和炉侧分别增减燃料和阀门开度. 但是此时机组功率与调度指令出现偏差, 最终一次调频负荷会由CCS协调的功率闭环调节抵消. 因此, 一次调频是有差调节, 他不能补偿电网供需不平衡. 它只能缓解扰动(把功率的瞬时变化转变为机组转速缓慢的变化, 而且一直变化下去). 随着时间的积累这种功率不平衡, 转化为网内所有旋转机组转动动能的变化. 由于电网内所有机组是同步的, 电网检测到频率的变化就会通过二次调频AGC (自动发电控制)进行功率反馈调节. 此时才发挥了火电机组功率调节作用.
由此可见, 一次调频只是缓解电网瞬时功率的不平衡, 即将电功率的冲击式扰动转化为电网参数舒缓的变化. 这正是电网中转动惯量存在的意义. AGC即二次调频发挥闭环调节作用.
电网的这种自动调节机制一方面要补偿用户电功率的变化, 例如设备的启停. 还要克服由风光等不稳定的一次能源带来的扰动. 随着越来越多的风光电源上网, 电网的调节资源越来越不足, 以至于这种调节资源成了商品. 近年来我国加快飞轮、压缩空气、电化学储能、抽水蓄能电站、蒸汽燃气联合循环机组等基础设施的投资以增加电网的灵活性调节资源. 并有序开放电力辅助服务市场, 引导社会资本为风光等可再生能源保驾护航. 截至到目前我国已有33个省区、6大区形成了统一的辅助服务规则体系. 电力企业和电量用户通过协商、集中竞价、挂牌方式, 在实时交易前确定交易量和价格作为调度的基准计划. 实时交易时, 根据交易量和辅助服务费确定各自的电量和电价. 面对这种局面, 我国火电机组的性能包括最小出力、负荷变动速率(爬坡率)、冷热态启动时间相对于欧洲大比例吸收可再生能源的火电机组综合性能尚有提高空间. 如表1所示.
表 1 性能参数对比Table 1 Comparision of performance parameters参数 我国 欧洲 单位 负荷变动速率 2/1.5 6/4 %/min 硬煤/褐煤 最小出力 35/50 20/40 % 硬煤/褐煤 冷态启动时间 8/12 4/6 h 硬煤/褐煤 热态启动时间 4 2 h 5. 总结与展望
本文根据火电机组控制方案, 分析了辅助消纳可再生能源面临的问题. 一方面为机炉的高水平动态协调, 即机组的灵活性. 从被控对象来看, 燃烧、传热是具有大惯性的慢过程, 而当前控制方案在不考虑机炉响应动态响应差别较大的情况下将整个被控系统解耦成两个响应速度差别较大的单回路系统, 满足了有限频率范围内的动态需求(当前火电机组的负荷变动速率不大于2%额定负荷/分钟). 从协调方案来看, 它是靠减缓汽机的响应来与慢过程相匹配, 而不是通过提高锅炉的响应速度, 增加其动态性能从而实现机炉协调, 维持稳定的汽水参数, 这种协调方案减缓了整个机组的负荷响应速度.
再者, 基于此协调方案的控制系统没有充分利用调度的负荷预测信息. 调度每15分钟规划一次未来时刻的发电计划, 发电计划每15分钟刷新一次. 即控制系统最早可以提前15分钟确定负荷指令.
另一方面, 局部反馈结构在锅炉控制中采用的是等效热效应的反馈, 并未实现闭环控制更谈不上优化控制. 能够在低负荷下, 满足燃烧稳定、效率高、排放指标低的闭环控制方案以及锅炉控制全程给水控制方案. 是局部反馈结构下, 深度调峰的基础. 由于调峰机组大部分时间运行在非额定工况下, 对系统稳态工作点的优化, 包括汽水参数和燃烧参数是降低新能源消纳的能耗和排放成本的需要.
随着电力辅助服务市场的逐渐放开. 我国煤电机组正面临着技术提升的压力, 充分利用火电保驾护航的关键时期. 稳步推进电力系统中可再生能源的占比, 向碳中和目标靠近. 降低单位GDP的碳消费量, 使我国制造强国的地位早日被认可.
-
A1 代表性追逃博弈文献分类
A1 Classification of representative literature on PE games
求解方法 文献 动态模型 追逃双方数量 维度 信息完整程度 状态空间 一阶积分器 二阶积分器 独轮车 其他 一对一 多对一 多对多 二维平面 三维空间 完全信息 不完全信息 连续 离散 理论求解法 [60] $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ [57] $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ [169] $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ [96] $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ 数值求解法 [73] $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ [6] $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ [86] $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ [49] $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ [44] $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ 积分强化学习法 [147] $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ [141] $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ [46] $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ [15] $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ [40] $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ [146] $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ 几何法 [157] $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ [95] $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ [155] $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ [161] $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ [105] $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ [23] $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ [31] $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ [39] $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ $\checkmark $ 
下载: 导出CSV
-
[1] Domenici P, Blagburn J M, Bacon J P. Animal escapology Ⅱ: Escape trajectory case studies. Journal of Experimental Biology, 2011, 214(15): 2474−2494 doi: 10.1242/jeb.053801 [2] Tay N E, Warburton N M, Moseby K E, Fleming P A. Predator escape behaviour in threatened marsupials. Animal Conservation, 2023, 26(4): 587−601 doi: 10.1111/acv.12847 [3] FitzGibbon C D. The costs and benefits of predator inspection behaviour in Thomson's gazelles. Behavioral Ecology and Sociobiology, 1994, 34(2): 139−148 doi: 10.1007/BF00164184 [4] Scheel D, Packer C. Group hunting behaviour of lions: A search for cooperation. Animal Behaviour, 1991, 41(4): 697−709 doi: 10.1016/S0003-3472(05)80907-8 [5] Wang J N, Li G L, Liang L, Wang C Y, Deng F. Pursuit-evasion games of multiple cooperative pursuers and an evader: A biological-inspired perspective. Communications in Nonlinear Science and Numerical Simulation, 2022, 110: Article No. 106386 doi: 10.1016/j.cnsns.2022.106386 [6] Li W. A dynamics perspective of pursuit-evasion: Capturing and escaping when the pursuer runs faster than the agile evader. IEEE Transactions on Automatic Control, 2017, 62(1): 451−457 doi: 10.1109/TAC.2016.2575008 [7] Li W. The confinement-escape problem of a defender against an evader escaping from a circular region. IEEE Transactions on Cybernetics, 2016, 46(4): 1028−1039 doi: 10.1109/TCYB.2015.2503285 [8] Weintraub I E, Pachter M, Garcia E. An introduction to pursuit-evasion differential games. In: Proceedings of the American Control Conference (ACC). Denver, USA: IEEE, 2020. 1049−1066 [9] Mu Z X, Pan J, Zhou Z Y, Yu J Z, Cao L. A survey of the pursuit-evasion problem in swarm intelligence. Frontiers of Information Technology & Electronic Engineering, 2023, 24(8): 1093−1116 [10] Isaacs R. Differential Games: A Mathematical Theory With Applications to Warfare and Pursuit, Control and Optimization. New York: John Wiley & Sons, Inc., 1965. [11] Starr A W, Ho Y C. Further properties of nonzero-sum differential games. Journal of Optimization Theory and Applications, 1969, 3(4): 207−219 doi: 10.1007/BF00926523 [12] Ho Y C. Differential games, dynamic optimization, and generalized control theory. Journal of Optimization Theory and Applications, 1970, 6(3): 179−209 doi: 10.1007/BF00926600 [13] 张嗣瀛. 微分对策. 北京: 科学出版社, 1987.Zhang Si-Ying. Differential Games. Beijing: Science Press, 1987. [14] 刘坤, 郑晓帅, 林业茗, 韩乐, 夏元清. 基于微分博弈的追逃问题最优策略设计. 自动化学报, 2021, 47(8): 1840−1854Liu Kun, Zheng Xiao-Shuai, Lin Ye-Ming, Han Le, Xia Yuan-Qing. Design of optimal strategies for the pursuit-evasion problem based on differential game. Acta Automatica Sinica, 2021, 47(8): 1840−1854 [15] 耿远卓, 袁利, 黄煌, 汤亮. 基于终端诱导强化学习的航天器轨道追逃博弈. 自动化学报, 2023, 49(5): 974−984Geng Yuan-Zhuo, Yuan Li, Huang Huang, Tang Liang. Terminal-guidance based reinforcement-learning for orbital pursuit-evasion game of the spacecraft. Acta Automatica Sinica, 2023, 49(5): 974−984 [16] Pontryagin L S. On the theory of differential games. Russian Mathematical Surveys, 1966, 21(4): 193−246 doi: 10.1070/RM1966v021n04ABEH004171 [17] Dobbie J M. Solution of some surveillance-evasion problems by the methods of differential games. In: Proceedings of the International Conference on Operational Research. New York, USA: John Wiley & Sons, 1966. [18] Tan M. Multi-agent reinforcement learning: Independent versus cooperative agents. In: Proceedings of the 10th International Conference on Machine Learning. Amherst, USA: Morgan Kaufmann Publishers Inc., 1993. 330−337 [19] Guy R K. Unsolved problems in combinatorial games. Combinatorics Advances. Boston: Springer, 1995. 161−179 [20] Vamvoudakis K G, Lewis F L. Multi-player non-zero-sum games: Online adaptive learning solution of coupled Hamilton-Jacobi equations. Automatica, 2011, 47(8): 1556−1569 doi: 10.1016/j.automatica.2011.03.005 [21] Flynn J. Lion and man: The general case. SIAM Journal on Control, 1974, 12(4): 581−597 doi: 10.1137/0312043 [22] Oyler D W, Kabamba P T, Girard A R. Pursuit-evasion games in the presence of a line segment obstacle. In: Proceedings of the 53rd IEEE Conference on Decision and Control (CDC). Los Angeles, USA: IEEE, 2014. 1149−1154 [23] Garcia E, Casbeer D W, Pachter M. Optimal strategies for a class of multi-player reach-avoid differential games in 3D space. IEEE Robotics and Automation Letters, 2020, 5(3): 4257−4264 doi: 10.1109/LRA.2020.2994023 [24] Nath S, Ghose D. A two-phase evasive strategy for a pursuit-evasion problem involving two non-holonomic agents with incomplete information. European Journal of Control, 2022, 68: Article No. 100677 doi: 10.1016/j.ejcon.2022.100677 [25] Oyler D W, Girard A R. Dominance regions in the homicidal chauffeur problem. In: Proceedings of the American Control Conference (ACC). Boston, USA: IEEE, 2016. 2494−2499 [26] Pachter M, Moll A V, Garcia E, Casbeer D, Milutinović D. Cooperative pursuit by multiple pursuers of a single evader. Journal of Aerospace Information Systems, 2020, 17(8): 371−389 doi: 10.2514/1.I010739 [27] Bakolas E, Tsiotras P. Optimal pursuit of moving targets using dynamic Voronoi diagrams. In: Proceedings of the 49th IEEE Conference on Decision and Control (CDC). Atlanta, USA: IEEE, 2010. 7431−7436 [28] Ramana M V, Kothari M. Pursuit-evasion games of high speed evader. Journal of Intelligent & Robotic Systems, 2017, 85: 293−306 [29] Shishika D, Kumar V. Local-game decomposition for multiplayer perimeter-defense problem. In: Proceedings of the IEEE Conference on Decision and Control (CDC). Miami, USA: IEEE, 2018. 2093−2100 [30] Liang L, Deng F, Lu M B, Chen J. Analysis of role switch for cooperative target defense differential game. IEEE Transactions on Automatic Control, 2021, 66(2): 902−909 doi: 10.1109/TAC.2020.2987701 [31] Yan R, Shi Z Y, Zhong Y S. Task assignment for multiplayer reach-avoid games in convex domains via analytical barriers. IEEE Transactions on Robotics, 2020, 36(1): 107−124 doi: 10.1109/TRO.2019.2935345 [32] Zhao Y, Tao Q L, Xian C X, Li Z K, Duan Z S. Prescribed-time distributed Nash equilibrium seeking for noncooperation games. Automatica, 2023, 151: Article No. 110933 doi: 10.1016/j.automatica.2023.110933 [33] Xue L, Ye J F, Wu Y B, Liu J, Wunsch D C. Prescribed-time Nash equilibrium seeking for pursuit-evasion game. IEEE/CAA Journal of Automatica Sinica, 2024, 11(6): 1518−1520 doi: 10.1109/JAS.2023.124077 [34] Bakolas E. Evasion from a group of pursuers with double integrator kinematics. In: Proceedings of the 52nd IEEE Conference on Decision and Control. Firenze, Italy: IEEE, 2013. 1472−1477 [35] Selvakumar J, Bakolas E. Evasion from a group of pursuers with a prescribed target set for the evader. In: Proceedings of the American Control Conference (ACC). Boston, USA: IEEE, 2016. 155−160 [36] Coon M, Panagou D. Control strategies for multiplayer target-attacker-defender differential games with double integrator dynamics. In: Proceedings of the 56th IEEE Annual Conference on Decision and Control (CDC). Melbourne, Australia: IEEE, 2017. 1496−1502 [37] Chipade V S, Panagou D. IDCAIS: Inter-defender collision-aware interception strategy against multiple attackers. arXiv preprint arXiv: 2112.12098, 2021. [38] Chipade V S, Panagou D. Multiagent planning and control for swarm herding in 2-D obstacle environments under bounded inputs. IEEE Transactions on Robotics, 2021, 37(6): 1956−1972 doi: 10.1109/TRO.2021.3072026 [39] Li S, Wang C, Xie G M. Optimal strategies for pursuit-evasion differential games of players with damped double integrator dynamics. IEEE Transactions on Automatic Control, 2024, 69(8): 5278−5293 doi: 10.1109/TAC.2023.3346815 [40] Kokolakis N M T, Vamvoudakis K G. Bounded rational Dubins vehicle coordination for target tracking using reinforcement learning. Automatica, 2023, 149: Article No. 110732 doi: 10.1016/j.automatica.2022.110732 [41] Patsko V S, Turova V L. Homicidal chauffeur game: History and modern studies. Advances in Dynamic Games: Theory, Applications, and Numerical Methods for Differential and Stochastic Games. Boston: Birkhäuser, 2011. 227−251 [42] Pachter M, Coates S. The classical homicidal chauffeur game. Dynamic Games and Applications, 2019, 9(3): 800−850 doi: 10.1007/s13235-018-0264-8 [43] Exarchos I, Tsiotras P, Pachter M. On the suicidal pedestrian differential game. Dynamic Games and Applications, 2015, 5(3): 297−317 doi: 10.1007/s13235-014-0130-2 [44] Nath S, Ghose D. Worst-case scenario evasive strategies in a two-on-one engagement between Dubins' vehicles with partial information. IEEE Control Systems Letters, 2023, 7: 25−30 doi: 10.1109/LCSYS.2022.3186179 [45] Sani M, Robu B, Hably A. Pursuit-evasion game for nonholonomic mobile robots with obstacle avoidance using NMPC. In: Proceedings of the 28th Mediterranean Conference on Control and Automation (MED). Saint-Rapha, France: IEEE, 2020. 978−983 [46] Manoharan A, Thakur P, Singh A K. Multi-agent target defense game with learned defender to attacker assignment. In: Proceedings of the International Conference on Unmanned Aircraft Systems (ICUAS). Warsaw, Poland: IEEE, 2023. 297−304 [47] 祝海. 基于微分对策的航天器轨道追逃最优控制策略[硕士学位论文], 国防科技大学, 中国, 2017.Zhu Hai. Optimal Control of Spacecraft Orbital Pursuit-evasion Based on Differential Game, [Master thesis], National University of Defense Technology, China, 2017. [48] Clohessy W H, Wiltshire R S. Terminal guidance system for satellite rendezvous. Journal of the Aerospace Sciences, 1960, 27(9): 653−658 doi: 10.2514/8.8704 [49] Zhang C M, Zhu Y W, Yang L P, Zeng X. An optimal guidance method for free-time orbital pursuit-evasion game. Journal of Systems Engineering and Electronics, 2022, 33(6): 1294−1308 [50] Venigalla C, Scheeres D. Spacecraft rendezvous and pursuit/evasion analysis using reachable sets. In: Proceedings of the Space Flight Mechanics Meeting. Kissimmee, USA: American Institute of Aeronautics and Astronautics, Inc., 2018. [51] Li Z Y, Zhu H, Yang Z, Luo Y Z. A dimension-reduction solution of free-time differential games for spacecraft pursuit-evasion. Acta Astronautica, 2019, 163: 201−210 doi: 10.1016/j.actaastro.2019.01.011 [52] Lin B, Qiao L, Jia Z H, Sun Z J, Sun M, Zhang W D. Control strategies for target-attacker-defender games of USVs. In: Proceedings of the 6th International Conference on Automation, Control and Robotics Engineering (CACRE). Dalian, China: IEEE, 2021. 191−198 [53] Ho Y, Bryson A, Baron S. Differential games and optimal pursuit-evasion strategies. IEEE Transactions on Automatic Control, 1965, 10(4): 385−389 doi: 10.1109/TAC.1965.1098197 [54] Kothari M, Manathara J G, Postlethwaite I. Cooperative multiple pursuers against a single evader. Journal of Intelligent & Robotic Systems, 2017, 86(3): 551−567 [55] Yufereva O. Lion and man game in compact spaces. Dynamic Games and Applications, 2019, 9(1): 281−292 doi: 10.1007/s13235-018-0239-9 [56] Oyler D W, Kabamba P T, Girard A R. Pursuit-evasion games in the presence of obstacles. Automatica, 2016, 65: 1−11 doi: 10.1016/j.automatica.2015.11.018 [57] Exarchos I, Tsiotras P. An asymmetric version of the two car pursuit-evasion game. In: Proceedings of the 53rd IEEE Conference on Decision and Control (CDC). Los Angeles, USA: IEEE, 2014. 4272−4277 [58] Das G, Dorothy M, Bell Z I, Shishika D. Guarding a non-maneuverable translating line with an attached defender. arXiv preprint arXiv: 2209.09318, 2022. [59] Liang L, Deng F, Wang J N, Lu M B, Chen J. A reconnaissance penetration game with territorial-constrained defender. IEEE Transactions on Automatic Control, 2022, 67(11): 6295−6302 doi: 10.1109/TAC.2022.3183034 [60] Levchenkov A Y, Pashkov A G. Differential game of optimal approach of two inertial pursuers to a noninertial evader. Journal of Optimization Theory and Applications, 1990, 65(3): 501−518 doi: 10.1007/BF00939563 [61] Chen J, Zha W, Peng Z H, Gu D B. Multi-player pursuit-evasion games with one superior evader. Automatica, 2016, 71: 24−32 doi: 10.1016/j.automatica.2016.04.012 [62] Yan R, Shi Z Y, Zhong Y S. Cooperative strategies for two-evader-one-pursuer reach-avoid differential games. International Journal of Systems Science, 2021, 52(9): 1894−1912 doi: 10.1080/00207721.2021.1872116 [63] Liu S Y, Zhou Z Y, Tomlin C, Hedrick K. Evasion as a team against a faster pursuer. In: Proceedings of the American Control Conference (ACC). Washington, USA: IEEE, 2013. 5368−5373 [64] Wang D, Peng Z H. Pursuit-evasion games of multi-players with a single faster player. In: Proceedings of the 35th Chinese Control Conference (CCC). Chengdu, China: IEEE, 2016. 2583−2588 [65] Scott W L, Leonard N E. Optimal evasive strategies for multiple interacting agents with motion constraints. Automatica, 2018, 94: 26−34 doi: 10.1016/j.automatica.2018.04.008 [66] Garcia E, Casbeer D W, Von Moll A, Pachter M. Multiple pursuer multiple evader differential games. IEEE Transactions on Automatic Control, 2021, 66(5): 2345−2350 doi: 10.1109/TAC.2020.3003840 [67] Wei M, Chen G S, Cruz J B, Haynes L S, Pham K, Blasch E. Multi-pursuer multi-evader pursuit-evasion games with jamming confrontation. Journal of Aerospace Computing, Information, and Communication, 2007, 4(3): 693−706 doi: 10.2514/1.25329 [68] Wei M, Chen G S, Cruz J B, Haynes L S, Chang M H, Blasch E. A decentralized approach to pursuer-evader games with multiple superior evaders in noisy environments. In: Proceedings of the IEEE Aerospace Conference. Big Sky, USA: IEEE, 2007. 1−10 [69] Xu L, Hu B, Guan Z H, Cheng X M, Li T, Xiao J W. Multi-agent deep reinforcement learning for pursuit-evasion game scalability. In: Proceedings of the Chinese Intelligent Systems Conference. Haikou, China: Springer, 2019. 658−669 [70] Li D X, Cruz J B, Chen G S, Kwan C, Chang M H. A hierarchical approach to multi-player pursuit-evasion differential games. In: Proceedings of the 44th IEEE Conference on Decision and Control (CDC). Seville, Spain: IEEE, 2005. 5674−5679 [71] Li D X, Cruz Jr J B, Schumacher C J. Stochastic multi-player pursuit-evasion differential games. International Journal of Robust and Nonlinear Control, 2008, 18(2): 218−247 doi: 10.1002/rnc.1193 [72] Yan R, Deng R L, Lai H W, Zhang W X, Shi Z Y, Zhong Y S. Multiplayer homicidal chauffeur reach-avoid games via guaranteed winning strategies. arXiv preprint arXiv: 2107.04709, 2021. [73] LaValle S M, Lin D, Guibas L J, Latombe J C, Motwani R. Finding an unpredictable target in a workspace with obstacles. In: Proceedings of the International Conference on Robotics and Automation. Albuquerque, USA: IEEE, 1997. 737−742 [74] Razali S, Meng Q G, Yang S H. A refined immune systems inspired model for multi-robot shepherding. In: Proceedings of the Second World Congress on Nature and Biologically Inspired Computing (NaBIC). Kitakyushu, Japan: IEEE, 2010. 473−478 [75] Bhadauria D, Gosse S, Pipp J. Capturing an evader in a polygonal environment with obstacles [Online], available: https://www.conservancy.umn.edu/items/256a22f6-ba8c-4b12-a80d-300b7cba947c, June 15, 2024.Bhadauria D, Gosse S, Pipp J. Capturing an evader in a polygonal environment with obstacles [Online], available: https://www.conservancy.umn.edu/items/256a22f6-ba8c-4b12-a80d-300b7cba947c, June 15, 2024. [76] De Souza C, Newbury R, Cosgun A, Castillo P, Vidolov B, Kulić D. Decentralized multi-agent pursuit using deep reinforcement learning. IEEE Robotics and Automation Letters, 2021, 6(3): 4552−4559 doi: 10.1109/LRA.2021.3068952 [77] Zhang R L, Zong Q, Zhang X Y, Dou L Q, Tian B L. Game of drones: Multi-UAV pursuit-evasion game with online motion planning by deep reinforcement learning. IEEE Transactions on Neural Networks and Learning Systems, 2023, 34(10): 7900−7909 doi: 10.1109/TNNLS.2022.3146976 [78] Liang X, Zhou B R, Jiang L P, Meng G L, Xiu Y. Collaborative pursuit-evasion game of multi-UAVs based on Apollonius circle in the environment with obstacle. Connection Science, 2023, 35(1): Article No. 2168253 doi: 10.1080/09540091.2023.2168253 [79] Garcia E, Casbeer D W, Pachter M. Optimal strategies of the differential game in a circular region. IEEE Control Systems Letters, 2020, 4(2): 492−497 doi: 10.1109/LCSYS.2019.2963173 [80] Casini M, Garulli A. A novel family of pursuit strategies for the lion and man problem. In: Proceedings of the 56th IEEE Annual Conference on Decision and Control (CDC). Melbourne, Australia: IEEE, 2017. 6436−6441 [81] Yan R, Mi S, Duan X M, Chen J T, Ji X Y. Pursuit winning strategies for Reach-Avoid games with polygonal obstacles. IEEE Transactions on Automatic Control, DOI: 10.1109/TAC.2024.3438806 [82] Flynn J O. Lion and man: The boundary constraint. SIAM Journal on Control, 1973, 11(3): 397−411 doi: 10.1137/0311032 [83] Yan R, Shi Z Y, Zhong Y S. Defense game in a circular region. In: Proceedings of the 56th IEEE Annual Conference on Decision and Control (CDC). Melbourne, Australia: IEEE, 2017. 5590−5595 [84] Ruiz U, Isler V. Capturing an omnidirectional evader in convex environments using a differential drive robot. IEEE Robotics and Automation Letters, 2016, 1(2): 1007−1013 doi: 10.1109/LRA.2016.2530854 [85] Okabe A, Boots B, Sugihara K. Spatial Tessellations: Concepts and Applications of Voronoi Diagrams. New York: John Wiley, 1992. [86] Pierson A, Wang Z J, Schwager M. Intercepting rogue robots: An algorithm for capturing multiple evaders with multiple pursuers. IEEE Robotics and Automation Letters, 2017, 2(2): 530−537 doi: 10.1109/LRA.2016.2645516 [87] Li S, Wang C, Xie G M. Pursuit-evasion differential games of players with different speeds in spaces of different dimensions. In: Proceedings of the American Control Conference (ACC). Atlanta, USA: IEEE, 2022. 1299−1304 [88] Zhang R Q, Li S, Wang C, Xie G M. Optimal strategies for the game with two faster 3D pursuers and one slower 2D evader. In: Proceedings of the 41st Chinese Control Conference (CCC). Hefei, China: IEEE, 2022. 1767−1772 [89] Zhi J X, Hao Y, Vo C, Morales M, Lien J M. Computing 3-D from-region visibility using visibility integrity. IEEE Robotics and Automation Letters, 2019, 4(4): 4286−4291 doi: 10.1109/LRA.2019.2931280 [90] Chen N, Li L J, Mao W J. Equilibrium strategy of the pursuit-evasion game in three-dimensional space. IEEE/CAA Journal of Automatica Sinica, 2024, 11(2): 446−458 doi: 10.1109/JAS.2023.123996 [91] Shen H X, Casalino L. Revisit of the three-dimensional orbital pursuit-evasion game. Journal of Guidance, Control, and Dynamics, 2018, 41(8): 1823−1831 doi: 10.2514/1.G003127 [92] Yan R, Duan X M, Shi Z Y, Zhong Y S, Bullo F. Matching-based capture strategies for 3D heterogeneous multiplayer reach-avoid differential games. Automatica, 2022, 140: Article No. 110207 doi: 10.1016/j.automatica.2022.110207 [93] Lewin J, Breakwell J V. The surveillance-evasion game of degree. Journal of Optimization Theory and Applications, 1975, 16(3): 339−353 [94] Greenfeld I. A differential game of surveillance evasion of two identical cars. Journal of Optimization Theory and Applications, 1987, 52(1): 53−79 doi: 10.1007/BF00938464 [95] Bopardikar S D, Bullo F, Hespanha J P. Sensing limitations in the lion and man problem. In: Proceedings of the American Control Conference (ACC). New York, USA: IEEE, 2007. 5958−5963 [96] Lopez V G, Lewis F L, Wan Y, Sanchez E N, Fan L L. Solutions for multiagent pursuit-evasion games on communication graphs: Finite-time capture and asymptotic behaviors. IEEE Transactions on Automatic Control, 2020, 65(5): 1911−1923 doi: 10.1109/TAC.2019.2926554 [97] Zemskov K A, Pashkow A G. Construction of optimal position strategies in a differential pursuit-evasion game with one pursuer and two evaders. Journal of Applied Mathematics and Mechanics, 1997, 61(3): 391−399 doi: 10.1016/S0021-8928(97)00050-6 [98] Liu S Y, Zhou Z Y, Tomlin C, Hedrick J K. Evasion of a team of dubins vehicles from a hidden pursuer. In: Proceedings of the IEEE International Conference on Robotics and Automation (ICRA). Hong Kong, China: IEEE, 2014. 6771−6776 [99] Von Moll A, Garcia E, Casbeer D, Suresh M, Swar S C. Multiple-pursuer, single-evader border defense differential game. Journal of Aerospace Information Systems, 2020, 17(8): 407−416 doi: 10.2514/1.I010740 [100] Kartal Y, Subbarao K, Dogan A, Lewis F. Optimal game theoretic solution of the pursuit-evasion intercept problem using on-policy reinforcement learning. International Journal of Robust and Nonlinear Control, 2021, 31(16): 7886−7903 doi: 10.1002/rnc.5719 [101] Littlewood J E. A Mathematician's Miscellany. Cambridge: Cambridge University Press, 1953. [102] Kohlenbach U, López-Acedo G, Nicolae A. A uniform betweenness property in metric spaces and its role in the quantitative analysis of the “Lion-Man” game. Pacific Journal of Mathematics, 2021, 310(1): 181−212 doi: 10.2140/pjm.2021.310.181 [103] Sgall J. Solution of David Gale's lion and man problem. Theoretical Computer Science, 2001, 259(1−2): 663−670 doi: 10.1016/S0304-3975(00)00411-4 [104] Casini M, Garulli A. An improved lion strategy for the lion and man problem. IEEE Control Systems Letters, 2017, 1(1): 38−43 doi: 10.1109/LCSYS.2017.2702652 [105] Casini M, Garulli A. A new class of pursuer strategies for the discrete-time lion and man problem. Automatica, 2019, 100: 162−170 doi: 10.1016/j.automatica.2018.11.015 [106] Casini M, Criscuoli M, Garulli A. A discrete-time pursuit-evasion game in convex polygonal environments. Systems & Control Letters, 2019, 125: 22−28 [107] Bopardikar S D, Bullo F, Hespanha J P. Cooperative pursuit with sensing limitations. In: Proceedings of the American Control Conference (ACC). New York, USA: IEEE, 2007. 5394−5399 [108] Li D X, Cruz J B. Graph-based strategies for multi-player pursuit evasion games. In: Proceedings of the 46th IEEE Conference on Decision and Control. New Orleans, USA: IEEE, 2007. 4063−4068 [109] Chen H, Kalyanam K, Zhang W, Casbeer D. Intruder isolation on a general road network under partial information. IEEE Transactions on Control Systems Technology, 2017, 25(1): 222−234 doi: 10.1109/TCST.2016.2550423 [110] Kalyanam K, Casbeer D, Pachter M. Graph search of a moving ground target by a UAV aided by ground sensors with local information. Autonomous Robots, 2020, 44(5): 831−843 doi: 10.1007/s10514-019-09900-0 [111] Sundaram S, Kalyanam K, Casbeer D W. Pursuit on a graph under partial information from sensors. In: Proceedings of the American Control Conference (ACC). Seattle, USA: IEEE, 2017. 4279−4284 [112] Dong X, Zhang H G, Ming Z Y. Adaptive optimal control via Q-learning for multi-agent pursuit-evasion games. IEEE Transactions on Circuits and Systems Ⅱ: Express Briefs, 2024, 71(6): 3056−3060 doi: 10.1109/TCSII.2024.3354120 [113] Sugihara K, Suzuki I. Optimal algorithms for a pursuit-evasion problem in grids. SIAM Journal on Discrete Mathematics, 1989, 2(1): 126−143 doi: 10.1137/0402013 [114] Dawes R W. Some pursuit-evasion problems on grids. Information Processing Letters, 1992, 43(5): 241−247 doi: 10.1016/0020-0190(92)90218-K [115] Bhattacharya S, Banerjee A, Bandyopadhyay S. CORBA-based analysis of multi agent behavior. Journal of Computer Science and Technology, 2005, 20(1): 118−124 doi: 10.1007/s11390-005-0013-5 [116] Bhattacharya S, Paul G, Sanyal S. A cops and robber game in multidimensional grids. Discrete Applied Mathematics, 2010, 158(16): 1745−1751 doi: 10.1016/j.dam.2010.06.014 [117] Das S, Gahlawat H. Variations of cops and robbers game on grids. Discrete Applied Mathematics, 2021, 305: 340−349 doi: 10.1016/j.dam.2020.02.004 [118] Lewin J, Olsder G J. The isotropic rocket——A surveillance evasion game. Computers & Mathematics With Applications, 1989, 18(1−3): 15−34 [119] Altaher M, Elmougy S, Nomir O. Intercepting a superior missile: A reachability analysis of an Apollonius circle-based multiplayer differential game. International Journal of Innovative Computing, Information and Control, 2019, 15(1): 369−381 [120] Jang J S, Tomlin C. Control strategies in multi-player pursuit and evasion game. In: Proceedings of the AIAA Guidance, Navigation, and Control Conference and Exhibit. San Francisco, USA: AIAA, 2005. Article No. 6239 [121] Osborne M J, Rubinstein A. A Course in Game Theory. Cambridge: MIT Press, 1994. [122] Başar T, Olsder G J. Dynamic Noncooperative Game Theory (Second edition). New York: Academic Press Inc. 1998. [123] Krasovskii N N, Subbotin A I, Kotz S. Game-theoretical Control Problems. New York: Springer, 1988. [124] Mizukami K, Eguchi K. A geometrical approach to problems of pursuit-evasion games. Journal of the Franklin Institute, 1977, 303(4): 371−384 doi: 10.1016/0016-0032(77)90118-1 [125] Samatov B T, Soyibboev U B. Differential game with a lifeline for the inertial movements of players. Ural Mathematical Journal, 2021, 7(2): 94−109 doi: 10.15826/umj.2021.2.007 [126] Petrov N N. “Soft” capture in pontryagin's example with many participants. Journal of Applied Mathematics and Mechanics, 2003, 67(5): 671−680 doi: 10.1016/S0021-8928(03)90040-2 [127] Blagodatskikh A I. On group pursuit problem in Pontryagin's nonstationary example. Vestn. Udmurt. Gos. Univ. Ser. Mat, 2007, 1: 17−24 [128] Petrov N N, Solov'eva N A. Multiple capture in Pontryagin's recurrent example. Automation and Remote Control, 2016, 77(5): 855−861 doi: 10.1134/S0005117916050088 [129] Lewin J. Differential Games: Theory and Methods for Solving Game Problems With Singular Surfaces. London: Springer, 2012. [130] Wise K A, Sedwick J L. Successive approximation solution of the HJI equation. In: Proceedings of the 33rd IEEE Conference on Decision and Control. Lake Buena Vista, USA: IEEE, 1994. 1387−1391 [131] Yang X, Liu D R, Ma H W, Xu Y C. Online approximate solution of HJI equation for unknown constrained-input nonlinear continuous-time systems. Information Sciences, 2016, 328: 435−454 doi: 10.1016/j.ins.2015.09.001 [132] Earl M G, D'Andrea R. Modeling and control of a multi-agent system using mixed integer linear programming. In: Proceedings of the 41st IEEE Conference on Decision and Control. Las Vegas, USA: IEEE, 2002. 107−111 [133] Ni Y J, Gao S H, Huang S N, Xiang C, Ren Q Y, Lee T H. Multi-agent cooperative pursuit-evasion control using gene expression programming. In: Proceedings of the 47th Annual Conference of the IEEE Industrial Electronics Society. Toronto, Canada: IEEE, 2021. 1−6 [134] Asgharnia A, Schwartz H M, Atia M. Multi-invader multi-defender differential game using reinforcement learning. In: Proceedings of the IEEE International Conference on Fuzzy Systems (FUZZ-IEEE). Padua, Italy: IEEE, 2022. 1−8 [135] Kachroo P, Shedied S A, Bay J S, Vanlandingham H. Dynamic programming solution for a class of pursuit evasion problems: The herding problem. IEEE Transactions on Systems, Man and Cybernetics, Part C (Applications and Reviews), 2001, 31(1): 35−41 doi: 10.1109/5326.923266 [136] Hespanha J P, Pappas G J, Prandini M. Greedy control for hybrid pursuit-evasion games. In: Proceedings of the European Control Conference (ECC). Los Angeles, USA: 2001. 2621−2626Hespanha J P, Pappas G J, Prandini M. Greedy control for hybrid pursuit-evasion games. In: Proceedings of the European Control Conference (ECC). Los Angeles, USA: 2001. 2621−2626 [137] Cristiani E, Falcone M. Fully-discrete schemes for the value function of pursuit-evasion games with state constraints. Advances in Dynamic Games and Their Applications: Analytical and Numerical Developments. Boston: Birkhäuser, 2009. 1−30 [138] Anderson G. Feedback control for pursuit-evasion problems between two spacecraftbased on differential dynamic programming. In: Proceedings of the 15th Aerospace Sciences Meeting. Los Angeles, USA: AIAA, 1977. Article No. 34 [139] Alexopoulos A, Schmidt T, Badreddin E. A pursuit-evasion game between unmanned aerial vehicles. In: Proceedings of the 11th International Conference on Informatics in Control, Automation and Robotics (ICINCO). Vienna, Austria: IEEE, 2014. 74−81 [140] Xing J B, Zeng X L. A deep reinforcement learning method for lion and man problem. In: Proceedings of the 40th Chinese Control Conference (CCC). Shanghai, China: IEEE, 2021. 8366−8371 [141] Qu X Q, Gan W H, Song D L, Zhou L Q. Pursuit-evasion game strategy of USV based on deep reinforcement learning in complex multi-obstacle environment. Ocean Engineering, 2023, 273: Article No. 114016 doi: 10.1016/j.oceaneng.2023.114016 [142] Wan K F, Wu D W, Zhai Y W, Li B, Gao X G, Hu Z J. An improved approach towards multi-agent pursuit-evasion game decision-making using deep reinforcement learning. Entropy, 2021, 23(11): Article No. 1433 doi: 10.3390/e23111433 [143] Li B, Wang J M, Song C, Yang Z P, Wan K F, Zhang Q F. Multi-UAV roundup strategy method based on deep reinforcement learning CEL-MADDPG algorithm. Expert Systems With Applications, 2024, 245: Article No. 123018 doi: 10.1016/j.eswa.2023.123018 [144] Li X L, Li Z, Zheng X L, Yang X B, Yu X H. The study of crash-tolerant, multi-agent offensive and defensive games using deep reinforcement learning. Electronics, 2023, 12(2): Article No. 327 doi: 10.3390/electronics12020327 [145] Kokolakis N M T, Kanellopoulos A, Vamvoudakis K G. Bounded rational unmanned aerial vehicle coordination for adversarial target tracking. In: Proceedings of the American Control Conference (ACC). Denver, USA: IEEE, 2020. 2508−2513 [146] Xiong H, Zhang Y. Reinforcement learning-based formation-surrounding control for multiple quadrotor UAVs pursuit-evasion games. ISA Transactions, 2024, 145: 205−224 doi: 10.1016/j.isatra.2023.12.006 [147] Zhou Z J, Xu H. Decentralized optimal large scale multi-player pursuit-evasion strategies: A mean field game approach with reinforcement learning. Neurocomputing, 2022, 484: 46−58 doi: 10.1016/j.neucom.2021.01.141 [148] Vrabie D. Online Adaptive Optimal Control for Continuous-time Systems [Ph.D. dissertation], The University of Texas at Arlington, USA, 2010. [149] Gong Z F, He B, Liu G, Zhang X B. Solution for pursuit-evasion game of agents by adaptive dynamic programming. Electronics, 2023, 12(12): Article No. 2595 doi: 10.3390/electronics12122595 [150] Gong Z F, He B, Hu C, Zhang X B, Kang W J. Online adaptive dynamic programming-based solution of networked multiple-pursuer and single-evader game. Electronics, 2022, 11(21): Article No. 3583 doi: 10.3390/electronics11213583 [151] Sun J L, Liu C S. Finite-horizon differential games for missile-target interception system using adaptive dynamic programming with input constraints. International Journal of Systems Science, 2018, 49(2): 264−283 doi: 10.1080/00207721.2017.1401153 [152] Zhang Z X, Zhang K, Xie X P, Sun J Y. Fixed-time zero-sum pursuit-evasion game control of multisatellite via adaptive dynamic programming. IEEE Transactions on Aerospace and Electronic Systems, 2024, 60(2): 2224−2235 doi: 10.1109/TAES.2024.3351810 [153] Vamvoudakis K G, Lewis F L, Hudas G R. Multi-agent differential graphical games: Online adaptive learning solution for synchronization with optimality. Automatica, 2012, 48(8): 1598−1611 doi: 10.1016/j.automatica.2012.05.074 [154] Peng C, Liu X M, Ma J J. Design of safe optimal guidance with obstacle avoidance using control barrier function-based actor-critic reinforcement learning. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2023, 53(11): 6861−6873 doi: 10.1109/TSMC.2023.3288826 [155] Oyler D W, Kabamba P T, Girard A R. Dominance in pursuit-evasion games with uncertainty. In: Proceedings of the 54th IEEE Conference on Decision and Control (CDC). Osaka, Japan: IEEE, 2015. 5859−5864 [156] Agasti A, Reddy P V, Bhikkaji B. Optimal role assignment for multiplayer reach-avoid differential games in 3D space. arXiv preprint arXiv: 2303.07885, 2023. [157] Meier L. A new technique for solving pursuit-evasion differential games. IEEE Transactions on Automatic Control, 1969, 14(4): 352−359 doi: 10.1109/TAC.1969.1099226 [158] Getz W M, Pachter M. Capturability in a two-target “game of two cars”. Journal of Guidance and Control, 1981, 4(1): 15−21 doi: 10.2514/3.19715 [159] Scott W, Leonard N E. Dynamics of pursuit and evasion in a heterogeneous herd. In: Proceedings of the 53rd IEEE Conference on Decision and Control (CDC). Los Angeles, USA: IEEE, 2014. 2920−2925 [160] Garcia E, Fuchs Z E, Milutinovic D, Casbeer D W, Pachter M. A geometric approach for the cooperative two-pursuer one-evader differential game. IFAC-PapersOnLine, 2017, 50(1): 15209−15214 doi: 10.1016/j.ifacol.2017.08.2366 [161] Zhou Z Y, Zhang W, Ding J, Huang H M, Stipanović D M, Tomlin C J. Cooperative pursuit with Voronoi partitions. Automatica, 2016, 72: 64−72 doi: 10.1016/j.automatica.2016.05.007 [162] Zhou S B, Li H P, Chen Z Y. Optimal containment strategies on high-speed evader using multiple pursuers with point-capture. In: Proceedings of the 42nd Chinese Control Conference (CCC). Tianjin, China: IEEE, 2023. 1−6 [163] Zhang Z, Zhang D Y, Zhang Q R, Pan W, Hu T J. DACOOP-A: Decentralized adaptive cooperative pursuit via attention. IEEE Robotics and Automation Letters, 2024, 9(6): 5504−5511 doi: 10.1109/LRA.2023.3331886 [164] Sun Z Y, Sun H B, Li P, Zou J. Cooperative strategy for pursuit-evasion problem with collision avoidance. Ocean Engineering, 2022, 266: Article No. 112742 doi: 10.1016/j.oceaneng.2022.112742 [165] Isler V, Sun D F, Sastry S. Roadmap based pursuit-evasion and collision avoidance. Robotics: Science and Systems. Cambridge, USA: MIT Press, 2005. 257−264 [166] Selvakumar J, Bakolas E. Feedback strategies for a reach-avoid game with a single evader and multiple pursuers. IEEE Transactions on Cybernetics, 2021, 51(2): 696−707 doi: 10.1109/TCYB.2019.2914869 [167] Shishika D, Paulos J, Kumar V. Cooperative team strategies for multi-player perimeter-defense games. IEEE Robotics and Automation Letters, 2020, 5(2): 2738−2745 doi: 10.1109/LRA.2020.2972818 [168] Garcia E, Casbeer D W, Pachter M. Active target defense using first order missile models. Automatica, 2017, 78: 139−143 doi: 10.1016/j.automatica.2016.12.032 [169] Bera R, Makkapati V R, Kothari M. A comprehensive differential game theoretic solution to a game of two cars. Journal of Optimization Theory and Applications, 2017, 174(3): 818−836 doi: 10.1007/s10957-017-1134-z -
下载:
计量
- 文章访问数: 590
- HTML全文浏览量: 322
- 被引次数: 0
