Bone Ultrasound Segmentation Network Based on Sequential Attention and Local Phase Guidance
-
摘要: 在超声辅助的骨科手术导航中, 需要从采集的超声图像序列中精确分割出骨结构, 并展示给医生, 来辅助医生进行术中决策. 但是, 图像噪声、成像伪影以及模糊的骨边界导致从超声图像序列中精确分割提取骨结构十分困难. 为解决该问题, 提出一种新的基于序列注意力与局部相位引导的骨超声图像分割网络. 该网络一方面自适应地利用超声序列帧之间的关系即序列注意力来辅助骨结构的语义分割. 另一方面, 该网络通过引入局部相位引导模块, 突出骨边缘信息, 进一步提高分割精度. 利用包含19 050幅图像的骨超声数据集, 进行交叉实验、消融实验并与最新的超声骨分割方法进行比较. 实验结果表明所提方法对骨结构分割精度高, 优于现有的超声骨分割方法.Abstract: In the ultrasound assisted navigation of orthopaedics, the bone structure needs to be segmented accurately from the collected ultrasound images and displayed to the doctor to assist the intraoperative decision-making. However, it is difficult to segment bone structures from ultrasound images because of imaging noises, shadow artifacts and blurred bone boundaries. For solving this problem, this paper proposes a bone ultrasound image segmentation network based on sequential attention and local phase guidance. On the one hand, the network adaptively uses the relationship between frames of ultrasound sequence, that is, sequence attention, to assist the semantic segmentation of bone structures. On the other hand, the local phase guidance module is introduced to highlight the bone edge information and further improve the segmentation accuracy. We performed the cross validation, ablation experiments and the comparison experiments with the state-of-arts by using a dataset that contained 19 050 bone ultrasound images. The experimental results show that the proposed method has high accuracy and is superior to the existing bone segmentation methods.
-
仿真技术伴随计算机技术的诞生而产生, 至今已经发展了六十多年, 并在国防经济生活中扮演着越发重要的角色. 美国国会在2007年通过的487号决议中, 明确将建模与仿真列为“国家核心技术”. 2018年12月修订生效的美国新版高等教育法中, 建模与仿真作为唯一一项具体技术被列入其中, 并使用大量篇幅说明如何推动建模与仿真技术在大学教育中的普及[1].
然而, 随着建模与仿真技术应用的不断深入, 也面临着很多新的问题[2-4]: 1)仿真系统的规模日益扩大, 模型的粒度与功能也越发精细与复杂, 需要更多的计算资源; 2)用户购买、操作和维护高性能计算机需要较大成本, 容易造成浪费; 3)不同单位或机构开发的海量异构仿真资源难以高效共享与重用, 降低系统开发效率; 4)仿真需求动态变化时, 开发人员难以快速构建所需仿真应用; 5)仿真的领域性、专业性不断增加, 用户难以简单方便地使用和访问.
云计算和面向服务架构(Service oriented architecture, SOA)技术的发展为上述问题的解决提供了一种新的思路[5]. 借助于虚拟化技术和“X即服务”的计算模型, 云计算能够为仿真用户提供近乎无限的计算资源和随时随地的便捷访问. 同时, 能够避免硬件上的巨大投入, 降低仿真的应用门槛. 基于SOA的仿真服务开发使得服务的实现与使用相分离, 且服务自包含、松耦合、可重用的特性有助于仿真资源的高效共享与重用, 进而提高开发效率, 降低开发成本.
自Gustavsson等[6]在2004年的秋季仿真互操作会议上首次提出面向服务仿真的概念以来, 建模与仿真服务化便受到大量学者和从业人员的广泛关注. 李伯虎等[2]在网格仿真工作的基础上提出云仿真的概念[7]. Fujimoto等[3]则强调云计算、边缘计算对于解决仿真所面临瓶颈问题的巨大潜力. 民用领域, 建模与仿真服务化被应用在教育[8]、交通[9]、能源[10]等多个行业并产生显著经济效益. 特别地, 建模与仿真服务化能够为国防及工业部门的仿真能力建设带来巨大推动作用, 并受到世界军事强国或组织的广泛关注.
为改善信息、资源、能力的共享, 促进互操作与联合作战, 美国国防部在2007年以SOA为支撑架构提出了网络中心服务战略, 全球信息网格(Global information grid, GIG)则是该战略转型的重要标志[11]. 2012年, 美军提出了云使能模块化服务框架(Cloud-enabled modular services, CEMS)[12]以实现高效、模块化、可组合的仿真训练环境的快速构建. 北约科技组织下的建模与仿真研究组(NATO modeling and simulation group, NMSG)则组建了多个专业的研究小组对建模仿真即服务(Modeling and simulation as a service, MSaaS)的概念、架构、技术、实现、应用等方面进行研究. 其中MSG-136小组活动时间为2014年9月至2017年12月, 并于2017年底发布了MSaaS参考架构[13]; MSG-164小组活动时间为2018年2月至2021年2月, 负责对MSaaS功能进行完善, 实现并验证原型系统[14]; MSG-195小组的目标则是使MSaaS架构成熟可用, 预期活动时间为2021年至2024年. 同期, 美国国防部建模仿真协调办公室在2020年2月推出了国防建模与仿真参考架构来促进国防部建模与仿真工作[15], 同时指出, “对于很多建模与仿真应用而言, 向云计算和SOA的迁移可以改善可访问性和敏捷性, 同时降低运营和其他生命周期成本.”
考虑到建模与仿真服务化对国防和经济建设的巨大推动作用, 很多学者基于特定的应用需求对其进行深入研究, 并取得丰硕成果. 然而, 现有工作大多只针对建模与仿真服务化的某一侧面, 如参考架构、实现方式、关键支撑技术等进行研究, 没有形成对建模与仿真服务化完整的研究体系. 另一方面, 从仿真系统全生命周期考虑, 一般涉及仿真用户、系统开发人员和系统运维人员. 每类人员对建模与仿真服务化具有不同的需求, 但现有研究缺乏对这些多样化需求的全面考量. 尽管也存在一些文献[16-20]尝试对建模与仿真服务化的研究进行梳理, 但通常是针对特定问题场景或只从某个侧面对建模与仿真服务化进行阐述, 研究的体系性仍存在欠缺. 在表1中我们详细给出了本文研究与现有相关综述的异同点.
表 1 与现有相关综述的异同Table 1 Differences and similarities with existing reviews文献名称 发表时间 主要内容 与本文异同点 Modeling and simulation as a cloud service: A survey[16] 2013 首次给出MSaaS的服务模型, 探讨MSaaS架构和部署模式, 分析MSaaS可能面临的安全威胁, 简要介绍服务组合技术 1)本文同样对MSaaS的服务模型、架构、部署模式进行探讨; 2)该文缺乏对MSaaS发展历程的梳理, 且对实现MSaaS所需的关键技术讨论较少 面向服务的建模与仿真技术综述[17] 2013 对SOA与HLA、DEVS、MDA和云计算等规范或技术的结合进行研究, 探讨基于SOA实现建模与仿真的服务化 1)本文同样对SOA在仿真领域的应用进行深入探讨; 2)受限于当时的技术发展, 该文缺乏对微服务、纳米服务等SOA新形态的介绍 Architectural design space for modeling and simulation as a service: A review[18] 2020 针对MSaaS的架构设计空间进行深入研究, 给出MSaaS架构的分类标准, 指出MSaaS架构需要具备的核心能力 1)本文同样对MSaaS的架构进行探讨, 并给出通用架构; 2)该文只综述了与MSaaS架构相关的工作, 缺乏对MSaaS的相关概念、发展历程、支撑技术的讨论 Towards cloud-native simulations —— Lessons learned from the front-line of cloud computing[19] 2021 阐述云计算范式的发展对仿真领域的影响, 提出云原生仿真参考模型, 分析微服务、纳米服务对云原生仿真的影响 1)本文同样讨论了单体服务、微服务、纳米服务等技术对云原生仿真的影响; 2)该文缺乏对实现建模与仿真服务化所需技术的整体性阐述 网络化仿真及其发展趋势[20] 2021 给出网络化仿真的含义与特征, 阐述网络化仿真发展历程, 探讨未来网络化仿真发展趋势 1)本文同样对建模与仿真服务化的发展历程和未来趋势进行深入讨论; 2)该文对建模与仿真服务化发展历程的介绍不够全面, 也没有给出关键的支撑技术 本文首先对建模与仿真服务化的背景知识进行介绍, 给出其基本概念和主要特征; 然后从访问、开发以及运行与管理三个角度对基于云的建模与仿真服务化的研究工作进行全面的梳理, 给出其演化逻辑; 之后从构建原则、基本架构和应用模式三个层面阐述建模与仿真服务化的内涵; 在此基础上, 从访问、开发以及运行与管理的角度给出建模与仿真服务化的关键支撑技术, 为仿真用户、开发人员、运维人员等不同类型人员提供参考; 最后, 对如何进一步提升建模与仿真服务化水平给出一些建议.
1. 建模与仿真服务化背景知识
本节首先介绍建模与仿真服务化相关的概念, 给出服务的定义, 对服务与组件的关系进行辨析, 并从三个层面阐述建模与仿真服务化的含义. 然后对建模与仿真服务的特征进行分析, 探讨了仿真服务的分类、抽象层级、组成元素和状态.
1.1 建模与仿真服务化基本概念
1)服务定义. 服务并不是一个新的概念, 很多学者和组织都给出了服务的定义. 结构化信息标准推进组织将服务定义为[21] “按照服务描述约定的接口、约束和策略访问一种或多种能力的机制”. 开放团体(The open group)认为服务是“一种自包含的、具有特定输出的可重复黑盒逻辑表示”[22]. 也有学者从功能的角度考虑, 认为“服务”这一概念, 体现了常用软件组件的松耦合、可重用、可组合与可发现[23-24].
总的来说, 服务是一种可通过标准化的接口进行访问的、具有特定能力的逻辑表示, 具有独立、自包含、松耦合的特征, 可通过服务描述实现服务的发现、组合、集成与重用.
2)服务与组件概念辨析. 服务与组件是两个容易令人混淆的概念, 它们之间具有很多的相似之处, 如都可通过组合与集成实现系统的快速开发与资源重用. 但它们之间也存在一些显著的差异.
对象管理组织的“建模语言规范”中, 将组件定义为“系统中一种物理的、可代替的部件, 封装并实现了一系列可用接口”. 计算机百科全书的描述中, 组件是“系统中与语境有明显依赖关系的、独立、可组装软件实体”. Szyperski[25]认为, 组件“是一个彼此独立, 且只基于定义好的方式进行通信的部署单元, 能够通过重部署支持动态场景”. 文献[26]则认为, 组件是仿真环境的结构分解, 服务则是仿真环境的功能分解, 一个服务所执行的功能可通过组件的方式实现.
综合上述对于组件的定义, 我们认为组件与服务主要在三个方面存在差异: a)上下文依赖性. 服务不依赖于上下文, 可进行独立的更新与替换, 组件则与上下文环境高度相关. b)平台依赖性. 服务是对功能更高级的抽象, 可使用任意编程语言实现, 而典型的组件技术则与具体的编程语言或平台相关(如DCOM只支持Windows). c)可发现能力. 服务是服务描述和多个服务实现的组合[24], 可基于标准化的服务描述实现服务的发现. 组件更多强调系统在结构层面的拆分, 难以实现组件的快速发现.
3)建模与仿真服务化. 建模与仿真服务化是指以服务为中心构建模型与仿真系统, 其具有三个层面的含义: a)面向服务的访问. 主要强调用户可以基于浏览器或客户端在任何时间、任何地点方便快捷地访问所需的仿真服务, 允许用户基于标准化的仿真服务描述实现服务的发现与组合, 支持用户实现快速的定制化仿真. b)面向服务的开发. 基于面向服务架构(SOA)的软件思想开发仿真模型和仿真支撑环境, 通过对通用功能组件的服务化封装以及标准化的服务描述, 实现仿真服务的自包含、松耦合、可发现与可组合. c)面向服务的运行与管理. 建模与仿真服务往往以分布的方式在云数据中心等远端部署和执行, 这给仿真的运行与管理带来了很多挑战. 具体而言, 面向服务的运行与管理可以从三个角度去考虑, 包括仿真应用的正确运行、仿真资源的高效管理、仿真过程的安全可靠.
1.2 建模与仿真服务特征
1)服务的分类. 对于建模与仿真服务的表现形式, 存在多种不同的理解. 从应用模式的角度看, Cayirci等[16]借鉴云计算服务的思想, 将其分为建模即服务、模型即服务和仿真即服务. Liu等[27]则将服务模式扩充为四种, 增加了VV&A (Verification, validation & accreditation)即服务.
从仿真资源的角度看, 任何资源都可被封装为服务. 根据美军建模与仿真资源库(Modeling and simulation resource repository, MSRR)对仿真资源的定义, 与仿真相关的数据、元数据、算法、模型、仿真应用和工具集等不同类型的资源均属于仿真资源[28]. 事实上, 利用虚拟化等手段, 实装、模拟器等资源也可被封装为服务.
同时, 服务可能拥有不同层级的分辨率[29], 可能是软件组件、已部署的应用, 或是整个的系统.
2)服务的抽象层级. 根据服务与仿真架构、仿真平台及编程语言的关系, 可将服务划分为四种抽象层级[24]: a)实现无关层级, 是对服务最高级的抽象. 服务包含与仿真架构和实现相独立的服务描述, 可用于设计时的服务发现和组合. 在该层级, 本体语言(如基本对象模型)可用于描述仿真服务的需求规范, 以辅助后续的软件开发. b)仿真架构相关层级, 服务包含架构依赖的服务描述. 基于本体的服务描述可以被细化为仿真架构相关的描述, 如高级体系架构(High level architecture, HLA)、分布式交互仿真(Distributed interactive simulation, DIS)、试验与训练使能体系结构(Test and training enableing architecture, TENA), 或其他新型仿真架构. c)服务平台相关层级. 服务描述可被细化为与平台相关的格式, 如网页服务描述语言(Web services description language, WSDL)及其变种等. d)实现相关层级. 在该层级, 服务基于特定编程语言或代码框架实现.
3)服务的基本元素. 基于北约对服务的描述, 服务的基本元素包括属性、策略、功能以及接口[24]. 服务具有服务属性(如可用性), 受服务策略约束(如服务必须在X天内提供), 执行服务功能, 并提供访问接口.
4)服务的状态. 服务可以是有状态或无状态的. 无状态服务是无记忆的, 不同的服务调用间彼此独立, 输出只与输入有关, 如路径规划服务. 有状态服务则是有记忆的, 输出不仅与输入有关, 也与服务实例当前的状态有关, 如模型服务. 在仿真应用中, 很多服务可能是有状态的[30-31], 这给服务调度、时间同步、数据管理等都引入了新的挑战.
2. 建模与仿真服务化的发展与演化
建模与仿真服务化具有丰富的内涵. 本节分别从基于网页的仿真、基于SOA的仿真系统开发和服务化计算基础设施三个角度对建模与仿真服务化在访问、开发以及运行与管理三个层面的发展脉络进行梳理.
2.1 基于网页的仿真
随着90年代初WWW的出现与发展, 考虑到应用网页化的趋势, 冬仿会议在1996年第一次开始了关于基于网页仿真(Web based simulation, WBS)的讨论[32]. Wang和Wainer[33-34]认为“在WBS中, 仿真器及仿真环境位于远端服务器, 用户通过浏览器和网页提供的资源与技术提交请求并获取所需的仿真资源.”
WBS本质是Web技术与分布式仿真技术的融合[35-36], 浏览器在建模与仿真的过程中扮演着重要的角色, 或者只作为一个图形化接口, 或者作为仿真引擎的容器[37]. 理论上, 用户可在任何支持浏览器的设备上获取所需的建模与仿真服务.
相比于传统的仿真模式, WBS的优势包括[33, 37]: 1)易于使用; 2)便于部署; 3)跨平台; 4)广泛可用; 5)集成与互操作等. 但也存在一些缺点, 如: 1)访问延迟; 2)图形化能力受限; 3)易受攻击; 4)稳定性差等.
鉴于WBS是分布式仿真基于Web技术的一种应用模式, Web技术的发展会对其设计、开发、运行以及用户的访问模式产生重大的影响. 到目前为止, Web技术的发展与演化主要经历了三个阶段[37-38], 即Web 1.0, Web 2.0和Web 3.0. 这三个阶段不是基于某种技术而划分, 而是基于应用理念而划分. 表2总结了网页技术的发展对WBS的影响.
表 2 网页技术的发展对WBS的影响Table 2 Impact of the development of web technology on WBS类别 时间跨度 主要特征 仿真应用情况 优点 缺点 Web 1.0 1996 ~ 2004 用户只能“读”取网站上的内容, “写”的能力受限 应用较少, 更多的是证明可以基于网页实现仿真, 而不是需要使用网页进行仿真 简化访问; 降低对用户端设备的依赖 稳定性易受影响; 图形化能力有限; 用户对仿真的控制手段也相对匮乏 Web 2.0 2004 ~ 至今 用户间可以自由地交互, 用户既可以“读”也可以“写” 应用领域大大扩展, 并被吸纳到多种仿真标准, 如HLA Evolved 广泛访问; 支持用户通过浏览器实现仿真服务的组合与集成 难以有效管理大量服务资源; 无状态的网页服务难以保存模型状态 Web 3.0 未成熟 主要强调对用户数字资产的尊重与保护, 核心技术是区块链 还处于探索阶段 促进仿真资源的共享; 增强用户数据的隐私保护 核心的区块链技术仍面临伸缩性和吞吐率的问题; 与仿真结合的研究较少 2.1.1 Web 1.0
Web 1.0的时间跨度大约为1996年至2004年, 主要特征是网页内容由少数人发布, 用户只能通过浏览器读取或使用服务供应商提供的有限内容及服务, 典型的例子是搜狐、雅虎等门户网站. 相应的, 该时期WBS所提供的功能也相对受限, 比较典型的应用模式是将仿真应用整体地不做实质改变地迁移到远端的服务器上, 仿真用户通过浏览器提交简单的服务请求, 后端服务器在执行完相应计算任务后将结果返回给用户.
尽管该时期也有一些基于网页的仿真应用, 很多是被创造出来以证明可以使用网页进行仿真, 而不是因为需要使用网页进行仿真[39]. 同时, 仿真应用开发、部署与执行的架构或模式并没有发生本质变化, 仍然基于DIS或HLA实现分布式仿真的互联互操作, 没有为模型的组合、重用提供新的能力[40]. Wiedemann[41]指出, WBS当前不能简化仿真的建模过程, 仍需要使用传统的仿真工具开发模型. 事实上, 该时期对于WBS的研究从1996年至2000年快速增长, 从2002年之后便开始迅速下降[34, 37]. 很多学者将此归因于网页特征与基于网页的仿真的方法间存在失配.
总体而言, Web 1.0阶段WBS的特征包括[37, 39]: 1)为用户提供丰富的应用访问能力, 可在任何支持浏览器的设备上获取仿真服务; 2)主要强调前端用户访问模式的变化, 后端仿真应用的设计与部署与传统的分布式仿真相比没有本质区别; 3)仿真模型常基于组件化技术开发, 能提升建模人员在模型开发和部署时的效率, 但用户不能基于网页实现模型的自由组合与集成.
2.1.2 Web 2.0
Web 2.0的时间跨度约为2004年至今, 相比于Web 1.0, Web 2.0更加注重用户间的交互. 从使用模式上看, 用户可以自由地发布内容, 在显著丰富互联网内涵的同时, 也提升了前后端之间交互的能力及水平. 更为重要的是, 同时期出现的网页服务技术以及软件工程领域提出的面向服务架构(SOA)给WBS带来了新的活力.
该阶段对WBS的应用与研究也相对较多. 部分学者[42-44]将现有的仿真系统转化为网页服务, 使得用户可以通过浏览器实现仿真的定义、提交、可视化以及结果分析. 网页服务包含两个主要框架: 基于简单对象访问协议(Simple object access protocol, SOAP)和基于RESTful[45]. 其中, SOAP是WBS的主流协议, 有着大量的研究成果[46-48]. 然而, Arroqui等[49]的实验表明, RESTful能够将网页服务所需带宽减少24%. 为此, Al-Zoubi等[50]提出了RESTful互操作仿真环境(RISE), 并将该中间件应用于基于DEVS的地理信息系统仿真[33]以及云上仿真资源的管理[34].
同时, 研究人员也对基于网页的仿真框架和协议进行了深度的探索. 美国海军研究生院等单位在2004年提出了扩展建模与仿真框架(Extensible modeling and simulation framework, XMSF)[51], 利用一系列网页使能技术促进HLA在更大范围的互操作与重用. 为进一步提升HLA对网页服务的支持, IEEE在2010年发布了HLA Evolved, 通过在接口描述中增加对WSDL的支持, 以及提供WSPRC组件, 使得HLA从本质上具备了向Web跨平台扩展的能力[52-53].
总体来说, WBS的内涵在该阶段得到了很大的拓展并取得丰硕的研究成果, 但也面临一些问题. Web 2.0阶段WBS的特征包括[30, 54]: 1)在强调用户基于浏览器的广泛可用性的同时, 对后端仿真应用的设计与开发也提出了新的要求, 如组件化设计, 服务化封装; 2)用户不仅可以访问远端的仿真服务, 借助于标准化的服务描述, 也可以利用相关工具实现仿真服务的按需组合与集成, 获得定制化仿真的能力; 3)难以进行有效的资源管理, 尤其是当具有大量服务资源的时候; 4)网页服务的无状态特性使得其难以保存模型的状态.
2.1.3 Web 3.0
与Web 2.0相比, Web 3.0更难被定义, 这在很大程度上是因为其仍处于发展的初级阶段. 尽管Web 3.0在2006年即在Zeldman的一篇博客中被首次提及[55], 它的内涵以及所使用的关键技术仍存在较大争议.
在Web 3.0概念初期, 主要强调网页的个性化、定制化和智能化, 有时也称之为语义网络[37]. 部分学者[56-58]尝试使用本体实现对仿真资源的描述, 以促进资源的重用. 随着互联网内容的增加以及区块链技术的发展, Web 3.0也被赋予了新的含义, 该阶段更加强调对用户数字资产的尊重与保护. 对于建模与仿真领域而言, 以区块链为底层支撑的Web 3.0也会带来很多机会与挑战: 1)能够促进不同单位间仿真资源的共享; 2)增强对用户数据隐私的保护; 3)实现安全可靠的仿真资源管理.
2.2 面向SOA的仿真系统开发
建模仿真的服务化同样对仿真应用的开发提出了要求, 软件工程领域的面向服务架构(SOA)则可以作为应用开发的指导思想.
SOA并不是一种新思想, 最早在1996年由GartnerGroup提出. 很多学者和组织都曾给出对SOA的定义. Liu等[29]认为“SOA概念将服务的创建与使用相分离, 并以简单的方式实现独立服务的灵活组合.” 美国国防部建模仿真参考架构(Defense modeling and simulation reference architecture, DMSRA)[15]则将SOA定义为“支持具有指定结果的可重复业务活动的逻辑表示的体系结构样式”.
总的来说, SOA是一种与具体实现无关, 用于构建大规模分布式软件系统的开发范式. 它将应用的不同功能单元定义为服务, 并通过标准的接口和描述实现服务间的松耦合、互操作和可重用.
SOA包括服务提供者、服务请求者和服务代理三个角色, 彼此之间通过发布、发现和绑定调用三种操作实现交互[59]. 将SOA应用于仿真系统开发的好处包括[30, 54]: 1)资源重用; 2)易于集成与管理; 3)更高的灵活性; 4)降低成本.
本节以SOA在不同阶段的主流实现技术为线索, 对面向服务的仿真应用开发的发展过程进行梳理. 表3比较了面向服务架构的不同实现技术.
表 3 面向服务架构的不同实现技术的对比Table 3 Comparison of different implementation technologies for service oriented architecture类别 技术/标准/架构 粒度 部署策略 可移植性 自动化部署 仿真应用情况 服务状态 组件技术 CORBA、BOM、DCOM等 单体服务 虚拟机 一般 不支持 应用广泛 支持 网页服务 WSDL + SOAP + UDDI 单体服务 虚拟机 较好 支持 应用广泛 不支持 微服务 微服务架构 微服务 容器 较好 支持 发展阶段 支持 纳米服务 无服务器架构 函数 FaaS平台 一般 支持 探索阶段 不支持 2.2.1 组件技术
Davis和Tolk[60]从语法、语义、语用、假设和有效性等五个方面, 对基于组件的多分辨率建模和模型组合问题进行研究. Hofmann[61]以军事仿真系统为例, 从三个层面对如何将系统分解为组件进行了探讨. 同时其指出, 在分解过程中, 最重要的是降低系统的复杂度, 而不是组件重用.
在传统的分布式组件技术中, 服务是一个可以通过编程接口访问的软件组件, 用户使用分布式组件协议(如CORBA)、分布式计算对象模型(DCOM、RMI、BOM、EJB等)访问服务. 史扬等[4]基于Java EE/EJB组件规范构建了一个面向服务的作战仿真平台验证系统. Gustavson等[62]在HLA Evolved基础上提出了一个基于SOA的建模与仿真组合框架, 以支持仿真运行前和运行过程中模型实例的动态聚合与解聚. 然而, 已有的技术大都与具体编程语言或平台相关(如DCOM只支持Windows), 程序与服务是紧耦合关系, 这导致系统变得脆弱[30, 54].
为改进组件的重用性, 一些学者尝试将SOA与基于组件的建模仿真范式离散事件系统规范(Discrete event system specification, DEVS)相结合. Mittal等[63]对DEVS统一过程(DEVS unifies process, DUNIP)进行了讨论, 并使用DEVSML[64]框架提供不同语言实现的DEVS模型在SOA中间件上的组合能力. 文献[65-66]提出了一个服从SOA的DEVS仿真框架, 并对服务组合问题进行了研究.
2.2.2 网页服务
网页服务是网页技术与分布式组件技术融合的产物[30]. 在网页服务的技术标准中, WSDL用于服务的发布, SOAP用于服务间的交互, 统一描述、发现与集成规范(Universal description discovery and integration, UDDI)用于服务的查找与定位. 网页服务具有自包含、松耦合、相互独立且具有标准化描述的特征, 通过将仿真系统以网页服务的形式进行开发、部署和执行, 能够为用户提供更加强大的仿真应用与管理能力.
在很多文献中, SOA常与网页服务一起使用, 这是因为网页服务技术的成熟大大促进了SOA在企业中的应用. SOA定义了服务如何相互理解以及如何交互, 是一种模型架构; 网页服务则是具体的实现方法, 是SOA众多实现手段的一种. 相比其他分布式技术, 网页服务的优点包括[54]: 1)松耦合; 2)自描述与自适应; 3)实现无关; 4)易于集成与移植.
何强等[54]以网页服务作为实现技术, 对基于SOA的仿真服务系统进行了研究. 其中系统分为仿真服务层、仿真应用层以及仿真平台层, 每一层以网页服务的形式对外提供接口, 彼此之间通过SOAP协议进行通信. 宋莉莉[30]对仿真的互操作和模型的组合性进行了研究, 以网页服务为基础提出了一种基于SOA的建模与仿真框架, 并重点讨论了仿真服务的描述、匹配和选择技术. Park[67]在其博士论文中对如何在松耦合资源(如志愿计算网络)中执行并行离散事件仿真(Parallel discrete event simulation, PDES)进行了研究, 并提出了一个基于网页服务的主/从仿真架构, 该架构能为错误容忍、负载均衡、时间同步等功能提供支持.
然而, 考虑到分布式仿真的特殊性, 仿真服务与商业领域的网页服务还存在一些差别[30], 包括: 1)仿真服务经常是有状态的, 而网页服务一般是无状态的; 2)仿真服务需要进行频繁的时间同步, 网页服务没有这种需求; 3)仿真服务通过底层运行支撑环境进行交互, 网页服务通常直接利用SOAP等协议进行通信.
2.2.3 微服务
在基于组件和网页服务的SOA应用中, 服务往往采用的是单体架构, 处理请求的所有逻辑运行在唯一的进程中[68]. 这种体系结构下的系统缺乏独立性和灵活性, 服务必须同时扩展和启停, 不能满足系统快速迭代的要求. 为克服上述挑战, 微服务(Micro-service)架构已成为构建超大规模信息系统的新架构风格[69].
通过综合Lewis等[68]和Namiot等[70]对微服务的定义, 可将其特点总结为: 1)轻量级, 只实现单一功能; 2)独立开发; 3)自动化部署; 4)接口定义良好. 总的来说, 微服务是SOA的一种实现, 但它要更加轻便、敏捷和简单. 与传统SOA服务间的区别主要在于服务的粒度[26]. 在云计算环境下, 微服务常采用容器这一轻量级虚拟化方式进行部署.
文献[26] 研究了仿真的容器化开发与部署以实现高效的海军训练, 并对容器化改造时的经验教训进行了总结. 其中, 模型及仿真支撑服务(如RTI组件)以容器的方式部署于德国和爱尔兰的两个数据中心, 地理分布的真实、虚拟和构造的仿真成员基于HLA实现互联. 最终的测试结果表明, 容器化能够促进HLA联邦的开发与管理, 但在网络化环境下, Docker使用的网络技术如Weave网络会延长数据的传输链路, 进而增大时延. Zhou等[10]介绍了一种基于微服务的电网仿真训练平台的开发方法, 基于云计算技术实现仿真任务的高效协作. 文献[71-72]开发了一个基于微服务的动态编排器MiCADO, 为云上的仿真应用提供自动伸缩的计算资源. 刘永奎等[73]针对云制造场景提出了一种基于微服务架构的云制造调度仿真系统, 支持对不同调度算法的性能进行测试与评估. Kecskemeti等[74]则提出了一种方法学, 以指导如何将单一的大服务分解为多个微服务, 以实现更好的弹性.
基于微服务和容器的开发与部署能够为仿真应用的管理带来诸多好处, 但不能盲目选用. 微服务上云的最佳方式是全新开发, 对现有系统的微服务改造工作量很大. 考虑到现有的大量基于单体服务架构的SOA应用, 应谨慎地使用微服务.
2.2.4 纳米服务
微服务架构下, 微服务以容器的方式部署于云中心. 尽管微服务能带来很多灵活性, 但也存在一些效率方面的问题. 比如, 必须保持至少一个容器在运行状态, 以随时响应用户的请求, 而这被认为是云计算范式下很重要的一类资源消耗[75].
基于该考虑, 一种被称为无服务器计算(Serverless computing)的新型计算范式被提出. 其使用函数即服务(Function as a service, FaaS)的概念和第三方支撑服务来替代服务器的管理与运维功能, 同时基于时间复用的原则增加资源效率[19]. 在文献中, 一般不对无服务器计算和函数即服务这两个概念做特殊区分. 其中, “函数”也被称为纳米服务(Nanoservice), 是更细粒度的服务, 也可被归为微服务的一部分[19, 24].
相应的, 对纳米服务实行统一管理的中间件也被称为FaaS平台. FaaS平台本质上是一个事件处理系统, 基于事件实现函数的调用[76]. 这一特性使之很适合基于事件的应用, 如部分离散事件仿真系统. 在FaaS平台中, 函数只提供与服务、安全或计算高度相关的功能, 而传统上集中式服务器提供的功能都交由第三方服务, 如身份认证、数据管理等[19].
由于无服务器计算还处于发展的初期, 基于纳米服务实现仿真应用开发的工作也相对较少. Kritikos等[77]提出了一种基于无服务器计算范式的新型仿真服务架构SimaaS, 其通过无限制、并行化的函数调用实现仿真的加速, 同时依赖多云平台实现仿真应用的跨云部署和自适应执行. Kratzke等[78]借鉴商业领域云原生应用的概念, 提出了云原生仿真的架构并探讨了云原生仿真服务的发展趋势, 重点讨论了微服务和纳米服务对仿真应用在开发与部署上的影响. Villamizar等[79]对单体、微服务和纳米服务的对比实验表明, 纳米服务最多可减少75%成本.
总体而言, 无服务器计算架构更加的分布与去中心化, 更细粒度的服务也提升了服务的弹性、伸缩性和动态迁移能力. 然而其也存在一些弊端[15, 80]: 1)与数据的高度分离导致难以应对有状态服务; 2)安全层面面临更多的威胁; 3)把部分任务交给了客户端, 增加了客户端复杂度.
2.3 服务化计算基础设施
仿真技术伴随计算机技术的发展而发展. 要实现建模与仿真的服务化, 还需要底层的计算基础设施提供高效的运行支撑和资源管理. 本节主要以网格计算和云计算技术的发展为牵引, 探究计算基础设施的变化对仿真的影响. 表4总结了不同计算基础设施对仿真的影响.
表 4 不同计算基础设施的对比Table 4 Comparison of different computing infrastructures类别 统一运维管理 远端访问 服务化 虚拟化 弹性扩展 使用成本 安全性 本地集群 不支持 不支持 不支持 不支持 较差 高 好 网格计算 支持 支持 支持 不支持 一般 低 一般 云计算 支持 支持 支持 支持 良好 低 一般 2.3.1 网格计算
传统的仿真模式下, 用户只能基于已有的软硬件资源进行仿真, 限制了仿真的规模. 网格计算的出现则为大规模复杂系统的仿真提供了可能. 网格计算利用虚拟组织(Virtual organization)的概念, 将地理分散的资源集成为统一的计算基础设施. 这种方式, 能够显著改进仿真资源的管理、数据的访问、系统的安全和容错能力, 进而受到了很多学者的关注[30].
Rycerz等[81]研究了如何基于开放网格服务架构(Open grid service architecture, OGSA)高效、容错地执行HLA仿真应用. 在文献[82-84]关于HLA-Grid的工作中, 提出了“成员−代理−RTI”的体系结构以将HLA应用迁移到网格中, 实现按需使用的RTI服务和仿真联邦的动态组合与集成. 其中, 成员代码在本地客户端执行, 网格端则部署成员的代理及RTI服务. 在执行时, 成员通过服务化的HLA API调用RTI服务, 成员代理则代表成员经由真实的RTI在网格端实现通信.
国内, Li等[85]在2005年提出了面向服务的仿真网格系统Cosim-Grid, 实现仿真的协作式开发以及高效的运行与管理. 张卫[86]对如何基于网格实现并行分布式仿真进行讨论, 提出了一种分层的仿真网格架构, 同时对RTI功能的服务化改造、服务描述和仿真资源管理等问题进行了重点研究. 蔡楹[87]则研究了如何将网格计算与云计算的理念相结合以对仿真提供支撑.
仿真网格能够为建模与仿真提供很多优势[31], 如动态资源共享与自动化管理. 然而, 它也存在一些缺点, 如资源由不同机构提供、主要针对大型科学应用等, 这也是网格计算逐渐被云计算替代的部分原因.
2.3.2 云计算
云计算被认为是网格计算、SOA和虚拟化等技术融合的产物. 与网格计算跨组织共享资源不同, 云服务商通常是资源的唯一拥有者. 对云计算最广泛接受的定义由美国国家标准技术研究院(NIST)给出. 其中云计算具有五个基本特性(按需服务、广泛访问、资源池化、弹性可扩展、服务可计量), 三种服务模型(基础设施即服务(IaaS)、平台即服务(PaaS)、软件即服务(SaaS))以及四个部署模型(公有云、私有云、社区云、混合云)[15].
基于云的仿真(以下简称云仿真)集成了基于网页的仿真和云计算技术以管理多种仿真资源并构建不同的仿真环境[16]. Fujimoto等[3]认为, 云计算为仿真带来的好处包括: 1)降低用户成本; 2)简化仿真的使用; 3)便于仿真资源的管理与维护; 4)云平台所具有的错误容忍和负载均衡能力. 事实上, 云计算被认为是解决当前和未来大规模仿真可能面临问题的关键技术[3], 并且在学界和国防工业部门都受到了广泛关注.
并行仿真关注的是充分利用高性能计算资源对仿真加速, 分布式仿真则更多关注的是地理分布仿真应用间的互联互通. 为弱化并行仿真与分布式仿真间的差异, 基于DEVS规范, Risco-Martín等[88]提出了一种云环境下统一的并行与分布式仿真架构模型, 基于XML配置文件, 无需修改应用代码即可实现仿真应用在物理机、虚拟机、容器上的灵活弹性部署. 为更好地实现监察无人机的任务分配、轨迹设计, 部分学者基于微服务和容器技术实现无人机仿真系统的云端高效部署. 其中, Bordón-Ruiz等[89]采用了DEVS规范实现仿真模型的标准化开发, Matlekovic等[90]则利用Kubernetes容器部署平台实现服务的快速开发、更新和替换. 美军联合参谋部下属的联合训练委员会开发了一个基于云的、网页使能的联合训练环境(Joint training tools, JTT)[91]. 英国陆军在其联合训练转型计划(CTPP)[92]中, 则重点对VR、机器学习、云计算技术进行了研究.
然而, 云平台也会为仿真的运行带来一些挑战[93], 如: 1)安全性挑战; 2)云平台擅长提供不频繁、高带宽的数据传输, 但仿真应用往往是高频、低带宽的通信; 3)难以保证实时性.
3. 基于云的建模与仿真服务化
实现建模与仿真的服务化是一个复杂的系统工程. 从参与方的角度看, 包括仿真用户、仿真开发人员、仿真运维人员以及计算资源提供方; 从仿真生命周期的角度看, 包括设计、开发、校验、部署、运行、管理、结果分析等; 从仿真的类型看, 又包括分析仿真、装备仿真和训练仿真. 本节将从建模与仿真服务化的构建原则、基本架构和应用模式三个角度对其内涵进行阐述, 为后续建模与仿真服务化的进一步发展提供一定的参考.
3.1 建模与仿真服务化原则
建模与仿真产品对于工业和国防部门具有很高的价值, 因此, 一个新的建模与仿真范式应该能够解决现有应用模式所面临的各种痛点问题[15, 18].
从仿真用户的角度看, 应能支持大量用户使用浏览器等瘦客户端, 基于各自的目的, 同时且自发地访问各类建模与仿真相关的产品、数据和知识. 从仿真开发的角度看, 应提供标准化的开发工具和各类模板(如基于MDA的平台无关模型), 同时支持通过服务的描述、发现和组合实现仿真资源的高效重用和仿真系统的快速集成. 从仿真运行与管理的角度看, 应提供自动化管理工具, 实现仿真应用的正确运行、仿真资源的高效管理、仿真过程的安全可靠.
为实现上述能力, 需要以恰当的方式将仿真应用部署于云端并通过网络实现远程的访问. 然而, 将仿真迁移到云端是一个缓慢的过程[26], 需要充分考虑仿真应用和云数据中心的特点.
从仿真的角度看, 不同类型的应用可能具有完全不同的需求. 对于分析仿真而言, 往往涉及复杂的模型解算任务, 需要尽可能快地返回仿真结果. 对于装备仿真而言, 由于实装的接入, 具有非常高的实时性要求, 可能需要使用裸金属服务器甚至将仿真任务下放到边缘侧执行[94]. 对于训练仿真而言, 往往涉及大量地理分布的人员、装备, 需要充分考虑网络传输时延对仿真性能的影响.
从云数据中心的角度看, 建模与仿真服务化并不仅仅是将仿真应用的执行环境由指定的硬件换成云端的虚拟机. Kratzke和Siegfried[19]借鉴云原生应用[95]的概念, 提出了四层的云仿真成熟度模型: 云可用(Cloud ready)、云友好(Cloud friendly)、云弹性(Cloud resilient)和云原生(Cloud native). 对于云原生仿真应用而言, 其应由小的、可独立部署和替换的仿真服务组成, 且支持横向扩展[19]. 这意味着仿真应用需要分解成微服务或纳米服务以充分利用云平台弹性扩展和自动编排的能力. 对于仿真应用而言, 考虑到其紧耦合的特性, 在分解时需要对应用内部的工作机理进行细致的研究.
另一方面, 云服务并不总是标准化的产品. Kratzke等[78]对云计算标准的研究表明, 只有一些核心组件, 如虚拟化资源实例, 是以标准化的方式提供. 但对于负载均衡、消息队列、弹性扩展等用于构建云原生应用的“胶水”服务, 不同的运营商往往采用不同的方案, 为应用在云间的迁移带来困难. 例如, Instagram被Facebook收购后, 花费了超过一年时间将部署于AWS云上的所有服务迁移到Facebook数据中心, 期间还出现了服务的中断[19]. 这一特点给部分仿真应用, 尤其是需要跨云的大型应用的设计、开发和部署带来了困难.
3.2 建模与仿真服务化架构
借鉴云计算的三种服务模型(IaaS、PaaS和SaaS), Cayirci[16]在2013年给出了建模仿真即服务(MSaaS)最为广泛接受的三种服务模型: 建模即服务、模型即服务、仿真即服务, 具体如图1所示. 其中, MSaaS层位于传统的云服务层之上, 为用户提供建模与仿真相关服务.
为对建模与仿真的服务化建设提供更加具体的指导, 很多基于云的建模与仿真架构相继被提出, 包括通用的[2, 19, 96-97], 面向教育的[8], 面向交通的[9], 以及面向作战的[98-100]. 在当前公开存在的各种云仿真架构中, 大多采用了分层的设计, 且与Cayirci提出的MSaaS服务模型总体上保持着一致[18]. 事实上, 建模与仿真的服务化不单单是利用现有的云服务模型, 还需要对云服务模型本身进行适应性改造. 通过对现有架构的综合分析, 我们给出了一个通用的云仿真架构, 如图2所示. 该架构共有五层, 包括基础设施层、平台层、服务层、应用层和门户层. 其中服务层与应用层一起, 对应着MSaaS服务. 安全隐私和技术标准则贯穿所有层级.
1) 基础设施层. 用于提供仿真运行所需的基础硬件及相应虚拟化资源, 包括计算资源、存储资源与网络资源. 现有的云仿真架构都包含这一层. 该层资源可由一个或多个云服务供应商提供.
2) 平台层. 该层集成了传统云服务PaaS层的功能以及用于支撑仿真运行的功能. 其包含两个子层以及数据存储服务. 其中, 基础平台子层的功能包括资源监视、资源管理、服务编排、任务调度等, 可由商业的云平台中间件提供. 同时, 我们添加了仿真平台子层, 其功能包括仿真交互、时间同步、实体迁移等与仿真运行密切相关的基础服务. 也有一些学者将这些功能都归入了服务层(李伯虎等[2], Liu等[96], 齐和平等[100]), 但我们认为这些服务是所有仿真应用都需要的共性支撑服务, 应该作为平台层的一部分.
3)服务层. 该层的主要功能是对各类仿真资源和服务进行高效的管理与维护[98], 是所有云仿真架构的核心层. 与王会霞等[99]和齐和平等[100]所提架构不同的是, 我们把服务的组合与集成放在了应用层, 服务层只用于对各类服务的管理. 服务可基于有无状态[19]、部署形态[8, 19, 97] (虚拟机, 容器或FaaS平台)、粒度[19] (单体服务、微服务、纳米服务)等进行划分. 我们基于功能类型将服务层分为了两个子层: 功能服务子层和支撑服务子层.
其中功能服务子层包含所有与建模和仿真相关的服务, 具体又可分为建模服务、资源服务、仿真服务和分析服务. 建模服务包括模型开发、模型测试、MDA模板服务等与建模相关的服务. 资源服务则是将现有的各类仿真资源以服务化的方式封装而得到, 包括(元)数据、知识、算法、模型、模拟器等. 仿真服务用于支撑用户正确、高效地执行仿真, 包括仿真设计、参数配置、数据收集等. 分析服务则用于对仿真结果进行分析与评估, 包括结果分析、仿真VV&A、仿真回放等.
支撑服务子层则用于提供对服务的高效管理, 基于服务总线实现服务的注册、管理、检索、组合与容灾.
4) 应用层. 主要为不同类型用户提供所需的建模仿真应用, 满足多种应用场景, 包括军事训练、方案推演、辅助决策、娱乐教育等.
5) 门户层. 为用户访问建模仿真服务提供相应的工具与手段, 同时对用户进行管理. 具体功能包括通用门户、人机交互、身份认证、权限管理以及资源开设等.
3.3 建模与仿真服务化应用模式
在建模与仿真服务化场景中, 用户能够在任何时间、任何地点, 在任何能够运行浏览器的设备上, 通过网页访问所需的仿真服务并获取仿真结果. 其中, 浏览器也称为前端, 提供建模与仿真服务的云仿真平台也被称为后端, 如图3所示.
从应用的角度看, 建模与仿真即服务(MSaaS)模式下的典型应用流程可概括为[2, 9, 13, 26]: 1)用户在前端提交仿真需求; 2)基于用户需求, 在后端执行仿真服务的搜索、发现、组合、集成以及自动化编排, 形成所需仿真应用; 3)执行仿真, 并进行动态监视与管理; 4)收集数据, 向用户反馈仿真结果.
根据建模与仿真服务的粒度和组合方式, MSaaS也具有四种不同的部署形态[16]: 1)独立仿真应用, 通常以网页服务的方式提供, 一些军事组织选择使用私有云提供独立的作战模型, 如JCATS (Joint conflict and tactical simulation)和JTLS (Joint theater level simulation)[101]; 2)仿真应用联邦, 多个独立的应用通过分布式云建立联邦; 3)可组合仿真应用, 云不提供完整的应用, 而是提供软件(功能)模块, 如气象、光照等; 4)自动组合仿真应用, 软件模块之间可实现自动的发现与组合. 图4给出了第二和第三种云仿真部署形态的示例.
从运行的角度看, 仿真应用基于所涉及的实体规模被部署于单个VM或虚拟集群之上, 各个仿真成员之间通过可靠的有线网络进行交互. 当仿真规模很大, 或某些资源只存在于特定的云数据中心时, 也需要考虑应用跨数据中心的运行与管理问题.
然而, 这种模式存在一个问题, 即用户与后端的距离很远, 导致数据的传输时延增大. 特别地, 对于一些有较高实时性要求, 或者需要将仿真结果以可视化的形式反馈给用户的仿真应用而言, 在带宽和时延上面临着巨大挑战. 对于实时性问题, 一种可行的解决方案是利用边缘计算的思想[94], 将与用户交互频繁的任务从仿真应用中解耦, 并部署在靠近用户的一侧[98]. 对于大量视频流的实时传输, 可借鉴云游戏中的解决方案[102], 即在后端将逻辑计算与图形渲染的指令解耦, 传输时只传输图形渲染的相关指令, 而将具体的渲染工作放在边缘端或者用户端.
4. 关键支撑技术
尽管基于云的建模与仿真服务化能够带来很多好处, 但将仿真应用迁移到云端仍是一个很缓慢的过程[26], 也面临着很多挑战. 本节将从访问、开发和运行与管理三个角度对基于云的建模与仿真服务化的关键支撑技术进行探讨, 总体结构如图5所示.
4.1 用户访问相关技术
4.1.1 通用门户
通用门户技术是为用户提供各类建模与仿真服务的关键使能技术. 它应具有四种能力: 1)支持用户在任何时间、任何地点以最小化的软硬件需求访问远端的建模与仿真服务, 一种典型的解决方案是采用浏览器和网页技术; 2)支持多样化的输入设备[2, 9], 如浏览器、触摸屏、物理传感器、逻辑传感器等; 3)能够提供丰富的工具, 帮助用户实现仿真需求的确定, 服务的检索、发现、组合与集成以及仿真的运行与分析; 4)支持不同的可视化组件部署方案, 既能接收控制流实现本地的可视化渲染, 也能直接接收视频流在本地进行解码和播放[102-103].
4.1.2 智能人机交互
良好的沉浸感是提升仿真应用效果的关键, 而现有的键盘+鼠标的方式与真实世界中用户的交互模式间存在着巨大鸿沟, 降低了用户的体验. 智能人机交互技术则利用最新的语音交互、手势识别、动作捕捉等人工智能技术, 通过多模态的交互手段实现人机之间的自然交互. 这种交互模式对于军事训练等需要用户实时参与的仿真应用而言具有非常重要的意义. 其中, 美军在2012年推出了陆军步兵训练系统(DSTS)[104], 它是全球范围内首款完全沉浸式的班组虚拟训练系统. 通过捕捉士兵的动作并实时地在虚拟环境中构建士兵的数字替身, DSTS能够实现虚实融合的高效训练.
4.1.3 高效网络通信
随着仿真模型变得更加复杂以及仿真规模的不断扩大, 需要更大的带宽来传输仿真数据. 同时, 真实和虚拟仿真成员的加入也对数据传输时延提出了非常高的要求. 以5G为代表的新一代网络通信技术则是解决该问题的一个可行方案[105]. 从网络基础设施的角度看, 边缘节点分布广泛, 因成本原因边缘到中心、边缘到边缘之间无法构建专线连接, 而传统的Internet路由协议则容易导致丢包、网络拥堵等问题. 为满足LVC (Live, virtual and constructive)仿真所需的高质量通信需求, 可通过实时测量网络服务质量(Quality of service, QoS), 动态选择最优路由策略[106].
4.1.4 仿真可视化
仿真的结果应该能够以可视化的方式实时向用户反馈, 为用户提供良好、逼真的仿真体验. 仿真可视化应该具有三个层面的特征: 1)丰富的表现形式, 支持以2D/3D、VR、AR等多种方式将仿真结果投射到用户视野前, 提供各种类型的感官体验; 2)多样的内容, 利用统计学方法和工具提供各类图、表等可视化分析结果, 为用户的下一步决策提供更好的支撑; 3)逼真的画面, 利用高效的渲染引擎生成高质量的多分辨率仿真场景, 同时支持与用户的实时互动.
4.2 服务化开发相关技术
4.2.1 服务开发
服务的开发涉及两个层面的内容: 旧有系统的服务化封装与改造以及新服务的构建. 旧有系统的服务化改造并不是一个简单的问题, 一般而言, 有三种方法可供选择[44]: 1)适配器; 2)重构; 3)结合两种方法. 对于从头开始开发仿真服务, 则需要充分考虑云计算环境的特点. NASA在2018年的研究表明[107], “在所有情况下, 基于NASA计算设施运行仿真的成本要比在AWS公有云上的成本少2~12倍”. Kratzke等[19]将此结果归因于基于云的仿真应用需要遵循一种云原生的架构风格, 如微服务或纳米服务等. 考虑到传统的基于HLA的仿真应用大多采用单体部署的模式, 需要对其进行更细粒度的改造.
4.2.2 服务描述
Hannay等[24]指出, 服务描述的内容包含三个部分: 1)服务接口, 描述服务的功能和操作, 用于实现语法互操作; 2)服务契约, 其既在语义层面上对接口的功能和操作进行详细说明, 也对服务的非功能需求进行规范; 3)服务模型, 用于描述服务所支持的使用环境和上下文, 用于实现语用互操作. 服务可能具有不同的抽象层级、不同的表现形式以及不同的分辨率, 需要在不同的层级对服务进行规范化的描述, 为服务的发现与组合提供支撑. 事实上, 可采用常用的资源描述方法对服务进行描述, 包括[108]: WSDL、网页服务资源框架(Web services resource framework, WSRF)、本体语言、对象元模型等. 例如, 杜楠等[108]采用对象元模型实现对各类LVC仿真资源的形式化描述和标准化封装, 以服务的方式为用户提供LVC仿真资源.
4.2.3 服务发现
在设计、开发和执行仿真应用的过程中, 需要搜索仿真和数据资产, 实现仿真资源(服务)的高效重用. 随着仿真资源的持续发展与建设, 云仿真平台中存储的仿真服务的数量也不断增加, 其所表现出的复杂性、异构性和动态性也为仿真服务的发现带来了巨大挑战. 本质上, 服务发现是以恰当的服务描述为基础, 基于用户的功能和非功能需求寻找相匹配服务的过程[109]. 当服务被准确描述时, 服务发现任务常被转换为文本匹配任务. 现有服务发现方法可以粗略地划分为语法级服务发现和语义级服务发现[110]. 语法级服务发现主要关注语法层面的关键词匹配, 通常结合多种信息检索信息. 然而, 当关键词数量不足或具有多种含义时, 匹配的精准度会显著下降. 语义级服务发现则同时结合了本体技术, 通过提供形式化的服务描述克服上述问题.
现有的服务发现相关研究中, 大多采用了语义级服务发现技术. 为实现网页服务的快速发现与精准匹配, Huang等[110]提出了一种基于卷积神经网络的语义级服务匹配算法. 为更好地捕捉用户需求的特征, 论文使用三种不同的方法从不同侧面对用户输入的关键词进行处理, 生成多维特征. 在构建神经网络时采用了多维相似度矩阵作为输入, 实现更加精准的服务匹配. Al-Sayed等[111]则提出了一种标准化的智能云服务发现框架, 基于本体技术实现对云服务的功能和非功能特征的标准化语义描述.
基于服务的方法依赖于高度的标准化和自动化来充分发挥其优势, 服务的发现则是其中的重要一环. 事实上, 北约MSG-136小组在其关于MSaaS架构的研究中, 重点关注了服务发现技术和服务组合技术, 同时强调了有意义、可共享的服务元数据描述对服务发现的重要性[112]. 其中元数据被理解为描述服务能力的数据, 能够实现对仿真服务的分类、发现、检索和评估, 属于语义层级. MSG-136小组主要基于元数据实现对建模与仿真服务的发现, 包括三种类型: 1)发现元数据, 包含描述服务的上下文和内容类型所需的最小信息; 2)使用元数据, 描述在应用中访问、传输、理解和使用仿真服务所需的信息; 3)管理元数据, 用于支持管理者对仿真服务进行管理, 包括服务的标识符、版本数据等. 在北约进行的关于容器化仿真服务的实验中[113], 也验证了基于元数据实现仿真服务信息跨国共享的可行性.
4.2.4 服务组合
为促进建模与仿真资源的高效共享与重用, 大量学者对模型互操作和仿真可组合问题进行了深入研究[24, 27, 114]. 理论层面, Page等[115]从可集成性、互操作性和可组合性三个维度对仿真互联问题进行了讨论, Tolk等[116]则定义了五个级别的仿真模型互操作, 也被称为概念互操作模型等级(LCIM). 该概念随后被扩展为七个等级[117]: 无互操作性、技术互操作、语义互操作、语法互操作、语用互操作、动态互操作和概念互操作. 工程实践层面, Wang等[118]基于HLA对LCIM的工程实现方法进行研究, 并指出HLA关注网络连通性及仿真模型间的语法和语义互操作性, 对于可组合性的研究相对匮乏.
通过将建模与仿真资源封装为服务, 服务组合技术能够有效缓解模型互操作和仿真可组合所面临的挑战. 其中, 服务组合是指基于某种目的对建模与仿真服务的编排, 可以在不同抽象层级对组合进行描述. 服务组合不仅可以大大降低仿真开发在人力、物力、时间等方面的成本, 也能促进仿真的标准化建设, 提升管理水平. 在进行仿真服务的组合时, 需要考虑功能和非功能两个角度. 从功能角度看, 主要强调组合的正确性(包含语法、语义、语用等层面). 非功能角度则主要涉及QoS, 强调在多种选择下如何实现最优的组合. Zhao等[119]基于计算树逻辑(Computation tree logic, CTL)规范提出了一种自适应服务组合机制, 以保证边缘计算场景下IoT服务的QoS动态变化时, 组合服务间的兼容性. 通过对功能需求和组合结构的抽象, 论文将组合问题形式化为CTL规范. 同时, 论文构建了QoS依赖图来捕捉服务QoS的变化, 实现动态QoS下的自适应服务组合. 考虑到当前的服务组合算法往往只在组合质量、资源效率等特定方面优于其他算法, Deshpande等[120]则提出了一种组合算法选择框架, 针对不同的应用需求选择最优组合算法.
北约MSaaS架构的核心问题便是仿真服务的组合. 为实现仿真的互操作, 不同仿真服务间必须遵循一致的仿真环境协议和仿真数据交换模型. 考虑到仿真服务的异构性, MSaaS使用了仿真飞地的概念. 不同的仿真飞地可以遵循不同的仿真协议, 如DIS、HLA、TENA, 同时支持面向服务的多种工业化标准, 包括基于SOAP或RESTful的网页服务. 每个飞地中的仿真成员可采用不同的数据交互模型, 如DIS的PDU、HLA的FOM、TENA的LROM等. 通过保证不同飞地所使用的数据交换模型的独立性、语义规范性和可组合性, MSaaS可基于协议转换模块实现不同服务的高效组合[121]. 为验证服务机制的有效性, MSG-136小组通过集成综合环境服务、路径规划服务和仿真引擎实现了一个简单的坦克机动案例, 结果表明达到了预期目的[113].
4.2.5 模型可信性
只有在模型足够可信的情况下, 我们才可以相信从模型和仿真中所获取的知识. 对于模型可信性的评价, 一般有两个指标: 逼真度(Fidelity)和置信度(Credibility). 其中逼真度用于反映模型与真实对象的相像程度; 置信度则是根据仿真的具体目的和需求, 评估一个模型可信程度的指标[122]. 对于不同的仿真需求, 同一模型可能表现出不同的置信度. 尽管当前也有很多关于模型/服务可信性的研究[114, 123], 但对于组合模型/服务的可信性研究还相对匮乏. 李伟等[124]从云仿真系统全生命周期角度出发, 针对仿真资源可信度、仿真子系统可信度和仿真运行环境可靠性评估问题, 建立了云仿真系统的可信度评估过程模型和云仿真系统可信度评估指标体系. 其中的子系统即可认为是一种组合模型/服务. 考虑到仿真服务的异构性和多样性以及服务组合的复杂性, 仍需对模型的可信性进行更深入的研究.
4.3 运行与管理相关技术
4.3.1 数据分发
一方面, 云数据中心通常为高带宽通信做出了很多优化, 但对于需要频繁交换大量小消息的仿真应用而言, 仍面临较高的网络延迟[3, 125-126]. 消息捆绑(Message bundling)[93]是解决该问题的可行方案, 通过将多个小消息打包成大的消息块再统一发送, 以部分消息的延迟增加为代价降低总的通信开销. 然而这种方法往往是应用相关的, 技术的有效性受捆绑周期、捆绑消息数量等参数的影响[127]. 另一方面, 大规模分布式仿真涉及大量实体的交互, 需要设计高效的兴趣管理机制以减少冗余消息的传输, 提高网络效率.
4.3.2 时间同步
时间同步是保证并行与分布仿真结果正确性的重要手段, 典型的方法包括乐观同步和保守同步. 文献[26]认为, 有状态服务需要采用恰当的同步机制以最小化服务间状态的不一致性, 而无状态服务则没有这种需求. D＇Angelo等[128]和Malik等[129]对云计算环境下基于乐观算法执行并行离散事件仿真进行了研究. 鉴于计算资源比通信资源更加廉价以及云计算所固有的弹性, 他们认为乐观同步算法相比保守同步是一个更好的选择. 一种可行的提升乐观同步算法性能的方案是通过预测事件到达的时间[130]或仿真成员推进的速度[131]来控制仿真应用“乐观的程度”, 进而减少事件回滚的数量. 另一方面, Vanmechelen等[132]也对云环境下保守时间同步算法的性能进行了分析. 具体应该采用何种同步策略, 应该根据应用的需求具体分析.
4.3.3 服务部署与调度
不同于常规计算应用, 云环境下仿真服务的调度需要同时考虑节点的计算性能和节点间的网络传输带宽和延迟[2]. 不同的仿真服务间存在着动态的依赖关系, 不同的节点间也有着相应的网络拓扑. 部分学者将该问题建模为图划分问题, 通过将耦合最为紧密的仿真任务划分到同一子图实现总体通信成本的最小化[133-135]. 然而, 这类方法常常需要用户提供子图的个数. 有些学者则将该问题建模为整数线性规划问题[136], 并利用现有的求解器求解, 但常常面临耗时过大的问题. 尽管启发式方法能够提升时效性, 但难以获取最优解[137]. 还有部分学者采用集成学习等方法对PDES仿真应用的资源需求进行预测[138-139], 并基于预测结果实现云计算环境下更加精准高效的资源调度. 然而, 现有的预测模型大多只能在特定应用上取得较好效果, 难以应对复杂多样的用户需求. 事实上, 该问题是一个NP完全的动态装箱问题, 仍然需要进一步的探索.
4.3.4 负载均衡
并行与分布式仿真的时间推进速度不会超过最慢的仿真成员/逻辑进程(Logical process, LP)的推进速度, 需要设计恰当的负载均衡机制实现仿真成员以相似的速度推进. 特别的, 对于采用乐观时间同步算法的仿真应用而言, 不均衡的负载分布会产生大量的事件回滚[140]. 现有研究中, 有学者基于对负载的预测提前执行负载的动态迁移[141-142], 也有学者采用工作密取的方法实现LP负载的自适应重分布[143]. 另一方面, 考虑到事件的回滚可能产生无用的工作, CPU周期数并不能准确衡量采用乐观同步算法的LP的负载. Lindén等[144]对LP的负载衡量指标进行研究, 指出可行的指标包括: LP推进的虚拟时间、墙钟推进时间、已处理或已确认的事件数、回滚事件数等.
4.3.5 数据存储与分析
对于大规模LVC仿真而言, 安装在实兵或实装上的传感器会动态生成大量时序数据(设备状态、元数据和传感器读数等), 需要设计轻量级、分布式的边缘数据库实现对这类数据的高效与灵活管理. 另一方面, 人工智能技术已经成为军事训练效能的倍增器, 如用于构建可敬的虚拟对手、可信的虚拟队友. 边缘侧存储的数据则可以用于实现智能模型的训练与推理. 考虑到边缘侧存在的资源受限、数据样本少、数据异构、数据隐私等问题, 可采用云边协同人工智能技术, 包括增量学习、联邦学习、联合推理等[106].
4.3.6 安全与隐私
云计算在带来诸多好处的同时, 其传输链路长、资源共享的特征也使得基于云的应用面临着巨大的安全与隐私风险. 为保证云环境下仿真应用的安全与隐私, 很重要的一个侧面即是对仿真数据的管理. Che等[145]对云环境下仿真数据的管理问题进行了研究, 将云仿真的衍生数据分为五种类型, 同时提出了一个三层的云仿真平台数据管理框架. 然而, 这种集中式的管理策略很容易遇到攻击. 一种有前景的方法则是采用基于区块链的去中心化的数据管理范式, 其中, 数据以服务的形式发布, 区块链则作为数据存储的基础设施[146]. 通过这种方式, 数据拥有者具有对数据的完全控制权, 可以对数据的创建、收集、存储、分析、追踪等全生命周期进行管理.
4.3.7 可用性与可靠性
云仿真在运行时可能面临多种异常情况: 1)用户与云中心漫长的网络链路可能存在不稳定或断联, 要求云中心能够正确执行相应仿真状态的保存与回退. 2)某个计算节点宕机, 需要提供高效的仿真成员或服务的迁移机制, 涉及仿真状态的保存、发送、接收与恢复[2]. 对于无状态服务, 可通过创建多个副本提升可用性[106]. 3)某个仿真成员或服务本身出现异常, 需要管理中心能够迅速执行故障定位, 生成并保存相应出错信息.
5. 总结与展望
为更好地实现建模与仿真的服务化, 支撑随时随地、按需访问的建模仿真能力, 本文对建模与仿真服务化问题进行了概述, 给出了建模与仿真服务化的相关概念与内涵, 从访问、开发和运行与管理三个角度对其发展与演化的过程进行了梳理, 对基于云的建模与仿真服务化的构建原则、基本架构和应用模式进行了分析, 最后探讨了实现建模与仿真服务化的关键支撑技术. 通过对现有建模与仿真服务化研究的梳理与总结, 我们得到以下启示:
1)加强建模与仿真服务化理论体系建设. 建模与仿真服务化具有丰富的内涵, 涉及使用、开发、运维等不同类型人员, 实装、模拟器、模型、数据、算法、工具等不同类型仿真资源, 网页技术、软件工程、计算机体系结构等不同技术体系, 具有复杂性、多样性、多领域性等特征, 需要构建从顶层架构到底层实现的完整理论体系, 为后续建模与仿真的服务化建设提供支撑和指导.
2)强化关键技术攻关. 建模与仿真服务化的实现需要突破大量关键技术, 包括智能人机交互、服务发现、服务组合以及安全与隐私保障等. 一方面, 通过对上述关键技术问题进行抽象和形式化描述, 可以充分利用其他领域的研究成果, 加快研发进度. 例如, 智能人机交互涉及大量语音动作识别等技术. 另一方面, 要充分挖掘在建模仿真服务化语境下, 不同技术体现出的独特需求.
3)关注新兴技术的影响. 过去十年, 云计算、大数据、人工智能等技术的发展与应用为建模与仿真领域注入了新的活力. 随着新兴技术的不断涌现, 智慧物联网[147]、数字孪生[147]、云边协同[148]等技术也越来越多地被应用到仿真领域. 在研究与实现建模与仿真服务化时, 需要充分挖掘这些新技术的潜力.
-
图 1 基于序列注意力与局部相位引导的骨超声图像分割网络系统框图; 图中ConvA表示卷积核为1×1 、步长为1的卷积操作; ConvB表示卷积核为3×3、 步长为1的卷积操作
Fig. 1 Bone ultrasound segmentation network based on sequential attention and local phase guidance; ConvA denotes the convolution operation with kernel size of 1×1 and a stride of 1; ConvB denotes the convolution operation with kernel size of 3×3 and a stride of 1
图 3 10折交叉实验中训练和测试超声图像帧数的分布
Fig. 3 The distributions of training and testing frames in 10-fold validation experiments
图 4 10次交叉实验的交并比IoU值的箱线图
Fig. 4 Boxplots for IoU values in 10-fold validation experiments
图 5 利用所提出的分割网络对骨结构进行分割的实际结果(第1行: 待分割的骨超声图像;第2行: 专家手动标注的骨结构; 第3行: 利用所提出的方法自动分割的骨结构)
Fig. 5 Bone segmentation results by using the proposed segmentation network (The first line: Ultrasound bone images to be segmented; The second line: Bone structures manually delineated by experts; The third line: Segmented bone structures using the proposed method)
图 6 消融实验结果(本文所提出的分割网络与两个变体模型的骨分割实验结果比较)
Fig. 6 Ablation results (Comparison between our proposed network and two variants)
图 7 局部相位模块消融实验结果示例. 第1帧: 超声图像帧; 第2帧: 手动标注的骨结构;第3帧: 带有局部相位模块的模型分割结果; 第4帧: 去除局部相位模块的模型分割结果
Fig. 7 Ablation results of local phase guidance (The first graph: Ultrasound image frame; The second graph: Manually delineated bone structures; The third graph: Results of the model with local phase guidance; The fourth graph: Results of the model without local phase guidance)
表 1 本研究采集的超声图像序列数据集的信息
Table 1 Information of the ultrasound image sequence dataset collected in this study
志愿者ID 图像帧数量 图像分辨率(mm/像素) 1 1 900 0.19 ~ 0.21 2 2 010 0.17 ~ 0.21 3 1 740 0.19 ~ 0.21 4 1 870 0.21 ~ 0.23 5 2 010 0.19 ~ 0.23 6 1 980 0.17 ~ 0.21 7 1 560 0.18 ~ 0.23 8 1 980 0.19 ~ 0.21 9 1 900 0.21 ~ 0.23 10 2 100 0.17 ~ 0.23 
下载: 导出CSV
表 2 所提出的分割网络对10名志愿者采集的超声序列图像的分割结果
Table 2 Results of our proposed model obtained on the ultrasound images from ten volunteers
Exp_K 交并比 IoU 平均欧氏距离 AED Exp_1 0.91 ± 0.08 0.41 ± 0.06 Exp_2 0.90 ± 0.08 0.39 ± 0.07 Exp_3 0.91 ± 0.07 0.39 ± 0.06 Exp_4 0.92 ± 0.07 0.37 ± 0.05 Exp_5 0.90 ± 0.07 0.41 ± 0.08 Exp_6 0.89 ± 0.08 0.43 ± 0.08 Exp_7 0.91 ± 0.06 0.42 ± 0.07 Exp_8 0.90 ± 0.07 0.41 ± 0.09 Exp_9 0.92 ± 0.06 0.40 ± 0.07 Exp_10 0.91 ± 0.08 0.39 ± 0.09
下载: 导出CSV
表 3 针对主干网络的比较实验结果
Table 3 Comparison experiments by using different backbones
主干网络 ResNet18 ResNet34 ResNet50 ResNet101 VGGNet 超声图像骨分割平均交并比IoU值 0.89 ± 0.10 0.90 ± 0.08 0.91 ± 0.07 0.89 ± 0.09 0.89 ± 0.09
下载: 导出CSV
表 4 本文所提出的超声图像分割网络与其他最新的分割方法的实验结果(IoU值)比较
Table 4 Comparison of the experimental results (IoU values) of the ultrasound image segmentation network proposed in this study with other state-of-the-art segmentation methods
实验结果/
方法局部相位引导
CNNBoneNet模型 滤波层引导
CNN时空CNN 注意引导网络
AGNet三重注意力网络
TriANet本文方法 Exp_1 0.88 0.88 0.87 0.85 0.85 0.86 0.91 Exp_2 0.87 0.88 0.86 0.84 0.85 0.85 0.90 Exp_3 0.87 0.89 0.87 0.86 0.86 0.88 0.91 Exp_4 0.89 0.89 0.87 0.85 0.86 0.87 0.92 Exp_5 0.87 0.89 0.85 0.86 0.87 0.87 0.90 Exp_6 0.86 0.88 0.85 0.84 0.85 0.85 0.89 Exp_7 0.86 0.90 0.86 0.84 0.86 0.87 0.91 Exp_8 0.87 0.88 0.84 0.85 0.86 0.86 0.90 Exp_9 0.89 0.91 0.89 0.86 0.87 0.88 0.92 Exp_10 0.87 0.89 0.87 0.87 0.87 0.89 0.91 平均值 0.87 ± 0.13 0.88 ± 0.08 0.86 ± 0.14 0.87 ± 0.12 0.86 ± 0.09 0.88 ± 0.10 0.91 ± 0.07
下载: 导出CSV
-
[1] Zhe Z, Zhu J J, Song F, He D W, Deng J Z, Chen F, et al. Intraoperative ultrasound-guided reduction of femoral shaft fractures using intramedullary nailing: A technical note. Archives of Orthopaedic and Trauma Surgery, 2019, 139(5): 589−596 doi: 10.1007/s00402-018-3085-8 [2] Zhou H, Zhang G, Li M, Qu X Y, Cao Y J, Liu X, et al. Ultrasonography-guided closed reduction in the treatment of displaced transphyseal fracture of the distal humerus. Journal of Orthopaedic Surgery and Research, 2020, 15(1): Article No. 575 doi: 10.1186/s13018-020-02118-2 [3] Wein W, Karamalis A, Baumgartner A, Navab N. Automatic bone detection and soft tissue aware ultrasound-CT registration for computer-aided orthopedic surgery. International Journal of Computer Assisted Radiology and Surgery, 2015, 10(6): 971−979 doi: 10.1007/s11548-015-1208-z [4] Hacihaliloglu I. Ultrasound imaging and segmentation of bone surfaces: A review. Technology, 2017, 5(2): 74−80 doi: 10.1142/S2339547817300049 [5] Pandey P U, Quader N, Guy P, Garbi R, Hodgson A J. Ultrasound bone segmentation: A scoping review of techniques and validation practices. Ultrasound in Medicine and Biology, 2020, 46(4): 921−935 doi: 10.1016/j.ultrasmedbio.2019.12.014 [6] Masson-Sibut A, Nakib A, Petit E, Leitner F. Computer-assisted intramedullary nailing using real-time bone detection in 2D ultrasound images. In: Proceedings of the 2nd International Workshop on Machine Learning in Medical Imaging. Toronto, Canada: Springer, 2011. 18−25 [7] Wang P Y, Patel V M, Hacihaliloglu I. Simultaneous segmentation and classification of bone surfaces from ultrasound using a multi-feature guided CNN. In: Proceedings of the 21st International Conference on Medical Image Computing and Computer-Assisted Intervention. Granada, Spain: Springer, 2018. 134−142 [8] Huang Z X, Wang L W, Leung F H F, Banerjee S, Yang D, Lee T, et al. Bone feature segmentation in ultrasound spine image with robustness to speckle and regular occlusion noise. In: Proceedings of IEEE International Conference on Systems, Man, and Cybernetics (SMC). Toronto, Canada: IEEE, 2020. 1566−1571 [9] Hacihaliloglu I, Abugharbieh R, Hodgson A, Rohling R. Bone segmentation and fracture detection in ultrasound using 3D local phase features. In: Proceedings of the 11th International Conference on Medical Image Computing and Computer-Assisted Intervention. New York, USA: Springer, 2008. 287−295 [10] 范家伟, 张如如, 陆萌, 何佳雯, 康霄阳, 柴文俊, 等. 深度学习方法在糖尿病视网膜病变诊断中的应用. 自动化学报, 2021, 47(5): 985−1004Fan Jia-Wei, Zhang Ru-Ru, Lu Meng, He Jia-Wen, Kang Xiao-Yang, Chai Wen-Jun, et al. Applications of deep learning techniques for diabetic retinal diagnosis. Acta Automatica Sinica, 2021, 47(5): 985−1004 [11] 蒋芸, 谭宁. 基于条件深度卷积生成对抗网络的视网膜血管分割. 自动化学报, 2021, 47(1): 136−147Jiang Yun, Tan Ning. Retinal vessel segmentation based on conditional deep convolutional generative adversarial networks. Acta Automatica Sinica, 2021, 47(1): 136−147 [12] 夏平, 施宇, 雷帮军, 龚国强, 胡蓉, 师冬霞. 复小波域混合概率图模型的超声医学图像分割. 自动化学报, 2021, 47(1): 185−196Xia Ping, Shi Yu, Lei Bang-Jun, Gong Guo-Qiang, Hu Rong, Shi Dong-Xia. Ultrasound medical image segmentation based on hybrid probabilistic graphical model in complex-wavelet domain. Acta Automatica Sinica, 2021, 47(1): 185−196 [13] Ouahabi A, Taleb-Ahmed A. RETRACTED: Deep learning for real-time semantic segmentation: Application in ultrasound imaging. Pattern Recognition Letters, 2021, 144: 27−34 doi: 10.1016/j.patrec.2021.01.010 [14] Baka N, Leenstra S, van Walsum T. Ultrasound aided vertebral level localization for lumbar surgery. IEEE Transactions on Medical Imaging, 2017, 36(10): 2138−2147 doi: 10.1109/TMI.2017.2738612 [15] Ciganovic M, Özdemir F, Farshad M, Göksel O. Deep learning techniques for bone surface delineation in ultrasound. In: Proceedings of the SPIE 10955, Medical Imaging 2019: Ultrasonic Imaging and Tomography. San Diego, USA: SPIE, 2019. Article No. 109550Y [16] Wang P Y, Vives M, Patel V M, Hacihaliloglu I. Robust real-time bone surfaces segmentation from ultrasound using a local phase tensor-guided CNN. International Journal of Computer Assisted Radiology and Surgery, 2020, 15(7): 1127−1135 doi: 10.1007/s11548-020-02184-1 [17] Alsinan A Z, Patel V M, Hacihaliloglu I. Automatic segmentation of bone surfaces from ultrasound using a filter-layer-guided CNN. International Journal of Computer Assisted Radiology and Surgery, 2019, 14(5): 775−783 doi: 10.1007/s11548-019-01934-0 [18] Luan K, Li Z Y, Li J. An efficient end-to-end CNN for segmentation of bone surfaces from ultrasound. Computerized Medical Imaging and Graphics, 2020, 84: Article No. 101766 doi: 10.1016/j.compmedimag.2020.101766 [19] Hu P, Caba F, Wang O, Lin Z, Sclaroff S, Perazzi F. Temporally distributed networks for fast video semantic segmentation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE, 2020. 8815−8824 [20] Yao R, Xu X, Zhou Y, Zhao J Q, Fang L. Joint attention mechanism for unsupervised video object segmentation. In: Proceedings of the 4th Chinese Conference on Pattern Recognition and Computer Vision (PRCV). Beijing, China: Springer, 2021. 154−165 [21] Alcázar J L, Bravo M A, Jeanneret G, Thabet A K, Brox T, Arbeláez P, et al. MAIN: Multi-attention instance network for video segmentation. Computer Vision and Image Understanding, 2021, 210: Article No. 103240 doi: 10.1016/j.cviu.2021.103240 [22] He K M, Zhang X Y, Ren S Q, Sun J. Deep residual learning for image recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 770−778 [23] He K M, Zhang X Y, Ren S Q, Sun J. Identity mappings in deep residual networks. In: Proceedings of the 14th European Conference on Computer Vision. Amsterdam, The Netherlands: Springer, 2016. 630−645 [24] Cox J, Rubin S, Adams J, Pereira C, Dighe M, Alessio A. Hyperparameter selection for ResNet classification of malignancy from thyroid ultrasound images. In: Proceedings of the SPIE 11314, Medical Imaging 2020: Computer-Aided Diagnosis. Houston, USA: SPIE, 2020. Article No. 1131447 [25] Zhang Q, Cui Z P, Niu X G, Geng S J, Qiao Y. Image segmentation with pyramid dilated convolution based on ResNet and U-Net. In: Proceedings of the 24th International Conference on Neural Information Processing. Guangzhou, China: Springer, 2017. 364−372 [26] Hacihaliloglu I, Rasoulian A, Rohling R N, Abolmaesumi P. Local phase tensor features for 3-D ultrasound to statistical shape+pose spine model registration. IEEE Transactions on Medical Imaging, 2014, 33(11): 2167−2179 doi: 10.1109/TMI.2014.2332571 [27] Hacihaliloglu I. Localization of bone surfaces from ultrasound data using local phase information and signal transmission maps. In: Proceedings of the 5th International Workshop on Computational Methods and Clinical Applications in Musculoskeletal Imaging. Quebec City, Canada: Springer, 2017. 1−11 [28] Xu K, Wen L Y, Li G R, Bo L F, Huang Q M. Spatiotemporal CNN for video object segmentation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE, 2019. 1379−1388 [29] Li J Y, Zhao Y K, Fu J, Wu J J, Liu J. Attention-guided network for semantic video segmentation. IEEE Access, 2019, 7: 140680−140689 doi: 10.1109/ACCESS.2019.2943365 [30] Tian Y, Zhang Y J, Zhou D, Cheng G H, Chen W G, Wang R L. Triple attention network for video segmentation. Neurocomputing, 2020, 417: 202−211 doi: 10.1016/j.neucom.2020.07.078 期刊类型引用(7)
1. 张战. 以作战仿真推动军事训练实战化. 国防科技. 2024(01): 1-6 . 
百度学术2. 杨定中，胡燕，魏本昌. 面向服务计算跨组织工作流互操作建模研究. 中南民族大学学报(自然科学版). 2024(04): 494-503 . 百度学术3. 刘思源，李胜忠，鲍家乐，赵峰. CAE软件云化应用研究——典型船舶CFD软件初探. 新型工业化理论与实践. 2024(04): 226-241 . 百度学术4. 杜焕超，周越，陈志宇，侯坤，周灿. 多模型联合仿真方法综述. 航空电子技术. 2024(03): 1-10 . 百度学术5. 邹星，胡宁，顾钊铨，贾焰. 网络靶场研究现状与展望. 网络与信息安全学报. 2024(05): 1-22 . 百度学术6. 王超，张连勇，赵飞. 基于RPA的电力调度指令自动生成平台设计与实现. 电力大数据. 2024(09): 86-96 . 百度学术7. 罗俊仁，张万鹏，项凤涛，蒋超远，陈璟. 智能推演综述：博弈论视角下的战术战役兵棋与战略博弈. 系统仿真学报. 2023(09): 1871-1894 . 百度学术其他类型引用(1)
-
下载:
计量
- 文章访问数: 748
- HTML全文浏览量: 588
- PDF下载量: 182
- 被引次数: 8
