分布式实时仿真中网络系统扩展的研究与实现

维普资讯 http://www.cqvip.com 洪都科技　ＨＯＮＧＤＵ　ＳＣＩＥＮＣＥ　ＡＮＤ　ＴＥＣＨＮＯＬＯＧＹ　分布式实时仿真中网络系统　扩展的研究与实现　袁　丹　（洪都航空工业集团）　摘要基于实时网络建立的半实物仿真系统能满足强实时性及高精度的要求，随着仿真应用技术　的发展，需要参与半实物仿真的实物越来越多，由于共享内存光纤网络产品的飞速发展，如何用最新　的实时网产品来扩展原有的实时网络系统是一个必须解决的关键问题。本文阐述了如何扩展的研究　结果和实现方法。　关键词半实物仿真网络反射内存实时性　Ｓｔｕｄｙ　ａｎｄ　Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｏｎ　Ｎｅｔｗｏｒｋ　Ｓｙｓｔｅｍ　Ｅｘｐａｎｓｉｏｎ　ｉｎ　Ｄｉｓｔｒｉｂｕｔｅｄ　Ｒｅａｌ—．ｔｉｍｅ　Ｓｉｍｕｌａｔｉｏｎ　Ｙｕａｎ　Ｄａｎ　（Ｈｏｎｇｄｕ　Ａｖｉａｔｉｏｎ　Ｉｎｄｕｓｔｒｙ　Ｇｒｏｕｐ）　Ａｂｓｔｒａｃｔ　Ｔｈｅ　ｓｅｍｉ—ｐｈｙｓｉｃａｌ　ｓｉｍｕｌａｔｉｏｎ　ｓｙｓｔｅｍ　ｂａｓｅｄ　ｏｎ　ｔｈｅ　ｒｅａｌ—ｔｉｍｅ　ｎｅｔｗｏｒｋ　ｃａｌｌ　ｓａｒｉｓ—　ｆｙ　ｓｔｒｏｎｇ　ｒｅａｌ—ｔｉｍｅ　ｃｏｌｌｌｌｌｌａｌｌｄ　ａｎｄ　ｈｉ　ｇｈ　ｐｒｅｃｉｓｉｏｎ　ｒｅｑｕｉｅｒｍｅｎｔｓ．Ｗｉｔｈ　ｔｈｅ　ｄｅｖｅｌｏｐｍｅｎｔ　ｏｆ・　ｓｉｍｕｌａｔｉｏｎ　ａｐｐｌｉｃａｔｉｏｎ　ｔｅｃｈｎｏｌｏｇｙ，ｍｏｒｅ　ａｎｄ　ｍｏｒｅ　ｐｒａｃｔｉｃａｌｉｔｉｅｓ　ｎｅｅｄ　ｔｏ　ｐａｒｔｉｃｉｐａｔｅ　ｉｎ　ｓｅｍｉ—　ｐｈｙｓｉｃａｌ　ｓｉｍｕｌａｔｉｏｎ，ＳＯ　ｈｏｗ　ｔｏ　ｅｘｐａｎｄ　ｔｈｅ　ｅｘｉｓｔｉｎｇ　ｒｅａｌ—ｔｉｍｅ　ｎｅｔｗｏｒｋ　ｂｙ　ｕｓｉｎｇ　ｎｅｗ　ｒｅａｌ—　ｔｉｍｅ　ｎｅｔｗｏｒｋ　ｐｒｏｄｕｃｔ　ｂｅｃｏｍｅｓ　ａ　ｐｉｖｏｔａｌ　ｐｒｏｂｌｅｍ　ｄｕｅ　ｔｏ　ｔｈｅ　ｒａｐｉｄ　ｄｅｖｅｌｏｐｍｅｎｔ　ｏｆ　ｈｔｅ　ｓｈａｒｅｄ　ｍｅｍｏｒｙ　ｏｐｔｉｃａｌ　ｆｉｂｅｒ　ｎｅｔｗｏｒｋ　ｐｒｏｄｕｃｔ．　ｎｌｉｓ　ｐａｐｅｒ　ｓｔａｔｅｓ　ｓｔｕｄｙ　ａｎｄ　ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｏｎ　ｎｅｔｗｏｒｋ　ｓｙｓｔｅｍ　ｅｘｐａｎｓｉｏｎ　ｏｎ　ｄｉｓｔｒｉｂｕｔｅｄ　ｓｅｍｉ—ｐｈｙｓｉｃａｌ　ｓｉｍｕｌａｔｉｏｎ．　Ｋｅｙ　ｗｏｒｄｓ　Ｓｅｍｉ—ｐｈｙｓｉｃａｌ　ｓｉｍｕｌａｔｉｏｎ　Ｎｅｔｗｏｒｋ　Ｒｅｆｌｅｃｔｉｖｅ　ｍｅｍｏｒｙ　Ｒｅａｌ—ｔｉｍｅ　１　概　况　人在回路与硬件在回路的飞行仿真和训练系统都属于典型的实时系统。实时系统是指能　够在指定的或者确定的时间间隔内（往往是毫秒甚至微秒级）完成特定功能并对外部或内部做　出同步或异步响应的系统，系统的正确性不仅依赖于计算的逻辑结果，而且依赖于结果产生的　时间顺序。随着飞行仿真技术的发展，仿真系统的功能日益复杂。尤其对于实时系统仿真来　维普资讯 http://www.cqvip.com

第４期　袁丹：分布式实时仿真中网络系统扩展的研究与实现　说，单机仿真平台已经很难满足系统高负荷计算量的要求，大多数的实时飞行仿真应用都需要　采用分步式仿真技术，以充分利用各功能模块可以并行处理的好处。　．　分步式仿真采用一致的结构、标准和算法，通过网络将分散在不同地理位置的不同类型的　仿真应用和真实世界互联，支持异地分布的真实的、虚拟的和异构的平台级仿真应用之间的数　据交换和互操作，建立一种人可以参与交互的综合仿真环境。然而，异地分布的特点也给分布　式系统自身带来了挑战性的难题，怎样来互相联接这些分布的各仿真子系统，使得子系统之间　的通讯不影响或者尽可能少地影响系统整体的性能，成为系统制约实时性能的一个瓶颈。业界　已经尝试了多种互联的方式，这些方式各有其优缺点，但是直到出现复制共享内存网络技术之　后，才使一般基于ＰＣ平台的分布式实时仿真应用从根本上成为可能。　分布式实时仿真系统的子系统间要通过实时通信设备联接在一起，子系统间的数据传输要　满足以下要求：（１）传输时间延迟要求，即低数据等待时间，使应用到应用（Ａｐｐｌｉｃａｔｉｏｎ—ｔｏ—Ａｐ—　ｐｌｉｃａｔｉｏｎ）的时间最短；（２）数据传输高可预见性要求，一个应用程序所需的数据必须在指定的或　可预见的时间内准时获得，并且在系统运行的整个期间都必须做到这一点；（３）Ｉ／Ｏ处理透明性　要求，实时系统是ＣＰＵ敏感的，要求ＣＰＵ尽量用于执行应用模块而不要过度分担Ｉ／Ｏ处理的任　务，这意味着与Ｉ／Ｏ相关的处理需要放在主机ＣＰＵ以外进行。　基于ＳＢＳ实时网络产品的实时网络系统，该系统各计算机、设备上位机及模拟器通过ＳＢＳ　的节点卡和光缆与ＳＢＳ的ＨＵＢ相连，以实现各节点之间实时通信，来完成分布式半实物实时仿　真。随着仿真应用技术的发展，需要参与半实物仿真的实物越来越多，因此有必要对该系统进　行进一步的扩展。其最简单的方法是增加一些ＳＢＳ节点，但目前ＳＢＳ实时网产品已停产。现在　ＶＭＩＣ实时网产品是实时网的主流产品，其性能指标比较高，选用ＶＭＩＣ实时网产品来扩展将有　利于今后的发展。但是，两个实时网在一起时，又存在如何实现互连互通、保证资源不冲突，并　解决该分布式半实物仿真系统的实时性问题。　２　ＶＭＩＣ实时网产品特点　ＶＭＩＣ实时网产品具有以下特点：　高速易用的光纤网络（２．１２　Ｇ串行波特率）；　被写人一个节点的内存的数据也被写人网络上所有节点的内存；　最多２５６个节点；　多模光纤的连接距离可达３００ｍ，单模光纤的连接距离可达１０　ｋｍ；　动态包的大小，从４到６４字节数据；　传输率达４７．１Ｍ字节／ｓ（４个字节的包）到１７４Ｍ字节／ｓ（６４字节的包）；　：ｌＥ　６４　Ｍ字节或１２８　Ｍ字节ＳＤＲＡＭ映像内存；　：ｌＥ两个ＤＭＡ通道；　通过简单的命令，网上任何节点可以对其它或所有网上节点产生中断；　４５　维普资讯 http://www.cqvip.com

拱都科技　ｊ－错误检测；　冗余传输模式，用于抑制额外错误；　ｊ－处理器无系统开销；　网络操作不涉及处理器；　，｜ＰＣＩ６４位６６ＭＨｚ传输；　符合ＰＣＩ版本２．２；　操作系统：Ｗｉｎｄｏｗｓ　２０００、ＶｘＷｏｒｋｓ、Ｌｉｎｕｘ。　３　桥接方案　为了实现ＳＢＳ实时网与ＶＭＩＣ实时网的互连互通，采用桥接方案，即采用桥接器分别连接　ＳＢＳ实时网与ＶＭＩＣ实时网，如附图所示。　附图桥接方案　在桥接方案中，桥接器具有十分重要的作用，它用于实现ＳＢＳ实时网与ＶＭＩＣ实时网的互　连互通。要使仿真试验实时网络系统数据传输正确，满足半实物仿真的要求，该桥接器必须精　心设计，要避免资源冲突，进行数据格式转换，提高数据传输速度，保证数据的实时传输。　桥接器采用一台高档微型计算机，安装Ｗｉｎｄｏｗｓ　２０００操作系统和Ｖｉｓｕａｌ　Ｃ＋＋，在该计算机　的两个ＰＣＩ插槽上分别插上ＳＢＳ实时网卡和ＶＭＩＣ实时网卡。为了实现ＳＢＳ实时网和ＶＭＩＣ实　时网的互连互通，并且实时地在两个实时网之间传输数据，在该计算机上开发一套ＳＢＳ和ＶＭＩＣ　实时网实时通信软件。该软件包括初始化、ＳＢＳ和ＶＭＩＣ实时网实时通信、ＳＢＳ和ＶＭＩＣ实时网　数据转换、中断处理等模块，初始化模块用于设立用于ＳＢＳ和ＶＭＩＣ实时网通信的一系列实时　网地址，设置中断；ＳＢＳ和ＶＭＩＣ实时网实时通信模块用于两个实时网之间的数据通信；ＳＢＳ和　ＶＭＩＣ实时网数据转换模块用于转换两个实时网之间的数据格式；中断处理模块用于收到实时　网的中断信号后进行中断处理，包括调用ＳＢＳ和ＶＭＩＣ实时网实时通信模块和数据转换模块进　行实时网实时数据通信和数据格式转换。　４可行性分析　对该系统的可行性分析可分为下面三个部分：资源冲突分析、性能分析、实时性分析。　４６　维普资讯 http://www.cqvip.com 第４期　袁丹：分布式实时仿真中网络系统扩展的研究与实现　４．１资源冲突分析　作为桥接器的计算机上要插人ＳＢＳ和ＶＭＩＣ两块实时网卡，资源是否冲突是必须考虑的问　题。由于ＳＢＳ和ＶＭＩＣ两块实时网卡都是ＰＣＩ卡，ＰＣＩ卡插人计算机后，Ｗｉｎｄｏｗｓ　２０００操作系统　对ＰＣＩ资源进行了统一分配，已经采取措施避免了资源冲突的问题。另外，我进行了一个试验，　将ＳＢＳ和ＶＭＩＣ两块实时网卡插人同一台计算机，并且分别运行ＳＢＳ和ＶＭＩＣ的测试程序，结果　是两个测试程序运行正确，这表明ＳＢＳ和ＶＭＩＣ两块实时网卡之间不会产生资源冲突。　４．２性能分析　在桥接器上既要实现ＳＢＳ实时网的数据传输，又要实现ＶＭＩＣ实时网的数据传输，还要实　现两个实时网的数据转换，必须考虑性能问题。　４．２．１　ＶＭＩＣ性能测试　测试方法：为每一个节点在ＶＭＩＣ实时网卡上分配２块内存区，一块是读区域，另一块是写　区域。节点间通信是通过共享内存的方法来实现的，当节点向ＶＭＩＣ网卡内存写数据时，该数据　能快速映射到实时网上其它节点的ＶＭＩＣ网卡内存的同一区域，其它节点就可以从本地ＶＭＩＣ　网卡内存上读取这些数据，测试读写延迟时采用Ｐｅｅｋ和ＤＭＡ两种方式，总共测试１００００次，求　平均时间（单位为微秒），测试数据如表１所示。　表１　ＶＭＩＣ性能测试结果　字节数　读写延迟时间　Ｐｅｅｋ方式　ＤＭＡ方式　ｔ　１．４６　１１．１４　１０　１３．９５　１４．２７　１０ｏ　１３６．７１　３７．９２　２０ｏ　２７２．１２　６５．４２　４ｏ０　５４５．８９　１２１．２３　６０ｏ　８１８．０５　１７６．５０　８０ｏ　１０８７．０５　２３２．５１　１０ｏ０　ｌ３６ｏ．７２　２８８．７４　ｌ５０ｏ　２０４１．５ｌ　４３５．４５　２０００　２７２１．６５　５７１．８８　加０ｏ　５４４５．４１　ｌ１５２．３５　４．２．２　ＳＢＳ性能测试　测试方法：与ＶＭＩＣ测试类似，为每一个节点在ＳＢＳ实时网卡上分配２块内存区，一块是读　区域，另一块是写区域，节点间通信是通过共享内存的方法来实现的，当节点向ＳＢＳ网卡内存写　数据时，该数据能快速映射到实时网上其它节点的ＳＢＳ网卡内存的同一区域，其它节点就可以　从本地ＳＢＳ网卡内存上读取这些数据，测试读写延迟时采用Ｍａｐ和ＤＭＡ两种方式，总共测试　４７　维普资讯 http://www.cqvip.com 洪都科技　１００００次，求平均时间（单位为微秒），测试数据如表２所示。　表２　ＳＢＳ性能测试结果　字节数　Ｍ印方式　ｌ　１．２３　读写延迟时间　ＤＭＡ方式　ｌ３．３ｌ　１０　ｌｏｏ　ｌ３．１０　１３１．３２　１６．０９　３６．６３　２０ｏ　４００　６ｏｏ　８ｏｏ　ｌ０ｏｏ　ｌ５ｏｏ　２Ｏｏｏ　绷　２６１．９６　５２４．５８　７８６．２０　ｌ０４９．０７　１３１０．３２　ｌ９６５．９３　２６２１．２６　５２４１．９２　６１．ｏ５　ｌｏ９．５３　１５７．８３　２０７．１８　２５６．９６　３８２．９０　５０８．４８　ｌｏｏ５．７４　４．２．３桥接器性能分析　分析ＶＭＩＣ和ＳＢＳ实时网性能测试，除了字节数很小的情况，ＤＭＡ方式的读写延迟时间比　较小，故在桥接器中采用ＤＭＡ方式传输ＶＭＩＣ和ＳＢＳ实时网的数据。由于ＶＭＩＣ和ＳＢＳ实时网　的数据转换和其它程序运行的时问相对两个实时网上数据传输的时间要小得多，故不考虑该数　据延迟，桥接器的读写延迟时间大约等于ＶＭＩＣ和ＳＢＳ实时网的数据读写延迟时间之和，桥接　器的读写延迟时间如表３所示。　表３桥接器性能测试结果　字节数　ｌ　读写延迟时间　ｌ３．３ｌ＋ｌ１．１４＝２４．４５　１０　ｌｏｏ　２ｏｏ　４００　１６．０９＋１４．２７＝３Ｏ．３６　３６．６３＋３７．９２＝７４．５５　６１．０５＋６５．４２＝１２６．４７　ｌｏ９．５３＋１２１．２３＝２３０．７６　６００　８ｏｏ　ｌ０ｏｏ　ｌ５ｏｏ　１５７．８３＋１７６．５０＝３３４．３３　２０７．１８＋２３２．５１＝４３９，６９　２５６．９６＋２８８．７４＝５４５．７０　３８２．９０＋４３５．４５＝８１８．３５　２Ｏｏｏ　柏００　５０８．４８＋５７１．８８＝１０舳．３６　１００５．７４　＋１１５２．３５＝２１５８．０９　维普资讯 http://www.cqvip.com 第４期　袁丹：分布式实时仿真中网络系统扩展的研究与实现　从表３可以看出，传输４００个字节数据（即１００个浮点数），桥接器需２３０．７６微秒的读写延　迟时间，在一般的分布式半实物仿真中不会导致超帧现象；传输６００个字节数据（即１５０个浮点　数），桥接器需３３４．３３微秒的读写延迟时间，相对来说比较大，对于有些分布式半实物仿真不会　导致超帧现象，但另一些可能会出现超帧现象。因而，通过桥接器每帧传输１００个以下浮点数，　或１００个多一点的浮点数，桥接器性能能满足帧时间为１毫秒的分布式半实物仿真的要求。　４．３实时性分析　ＳＢＳ实时网和ＶＭＩＣ实时网都有中断方式，故桥接器可采用中断方式，数据写人ＳＢＳ实时网　后，触发桥接器的中断，在桥接器的中断处理程序中采用ＤＭＡ方式进行数据传输，从表３可知，　通过桥接器传输１００个浮点数需２３０．７６微秒的读写延迟时间，考虑中断进人及其它一些格外开　销，传输１００个浮点数需要的时间小于３００微秒，小于帧时间１毫秒的三分之一，对于整个分布　式半实物仿真系统来说是可以容忍的。采用数据写人ＳＢＳ实时网后触发桥接器的中断的方式，　可以保证每一帧都触发桥接器中断，保证两个实时网的帧同步，保证帧时间的确定性。因而，在　保证两个实时网传输的浮点数在一定的数量以下，整个系统的实时性能满足帧时间为１毫秒的　分布式半实物仿真的实时性要求。　５　结束语　映像内存通过分布式计算机系统提供了对共享数据快速有效的访问，扩展后的分布式半实　物仿真系统最多可以允许２５６个系统（节点）之间的数据共享，速率最高可达１７４Ｍ字节／ｓ，　写人的数据存储在本地ＳＤＲＡＭ中，通过一个高速光纤数据通道广播到其它映像内存节点，数据　传输是软件透明地，所以不需Ｉ／Ｏ开销，在峰值速率下通过传送和接收ＦＩＦＯ缓冲数据来优化处　理器和总线性能，以此来维持较高的数据吞吐量。通过写人一个字节寄存器来中断一个或多个　节点，这些中断信号可被用于同步系统进程，或用于跟随任何数据，中断会跟随在数据之后以确　保在中断响应之前数据被接收。系统中的每个节点都有唯一的识别数，从０到２５５，该节点号有　助于确定节点的功能。　参考文献　１李洪敏．实时仿真系统研究（Ｊ）．兵工自动化，２００２，２１（３）：５６－５７　２康凤举．现代仿真技术与应用（Ｍ）．北京：国防工业出版社，２００１：２７９～２８３　（收稿日期：２００７一ｏ７一ｏ３）　作者简介袁丹，男，１９７８年出生，工程师，现从事仿真工作。　４９