曙光FASTRAN航空航天流体力学分析系统
2.1.2.IO节点
IO节点由存储设备、NFS文件系统等组成。IO节点作为NFS文件系统主节点,外挂磁盘阵列或者连接其它存储设备,负责文件的I/O操作。其它节点包括计算节点和管理登入节点访问存储设备的请求都要通过I/O节点完成。
由于IO节点和存储系统密切相关,所以IO节点将在后面存储系统中详细讨论。
2.1.3.管理/登陆节点
管理/登入节点是外部设备和集群系统之间连接的桥梁,任何用户和系统的管理员都只能通过管理/登入节点才可能登陆到节点机子系统上,事实上,管理/登入节点是一个多种身份于一身的节点,它具有登入、管理和作业提交等功能。但总的来说,系统对管理/登入节点要求不高,只要采用相对经济的配置就可以了,但必需保持和计算节点、IO节点同构。
2.2.网络
网络的设计是系统中很重要的一部分,网络系统特别是计算网络的性能很大程度上影响着整个系统的性能。由于并行计算时的数据通讯和NFS文件系统的数据传递对网络的要求较高,为了管理、监控等操作不对计算通讯和文件IO操作产生任何干扰,本方案设计了两套网络系统,实现双网分离、专网专用,保证了系统的高效性。同时,两套网络又起着相互备份的功能,当其中一套网络由于某种故障瘫痪时,另一套网络就会担负起其功能,提高了系统的可靠性。
两套网络包括计算网络和管理网络。计算网络宜采用高速的互连网络,目前的高性能网络包括千兆网、Myrinet和Infiniband等。目前Myrinet和Infiniband价格非常昂贵,并且FASTRAN软件尚未支持这两种网络,因此本方案中的计算网络选用千兆以太网;管理网络对性能的要求不高,选择价格便宜的百兆以太网。
对于较大规模的集群系统,还可以考虑单独设置数据传输网络,将计算过程中的数据传输与个节点之间的通讯分离开,避免相互干扰。这对于非稳态、有大量中间数据需要保存的CFD应用而言尤其重要。数据传输网络一般采用千兆以太网,根据需要还可以在IO节点上进行双网卡绑定以提高数据传输带宽。
2.3.存储
目前根据应用规模的不同,存储的解决方案有三种选择:直连式存储DAS、网络接入存储NAS和存储区域网络SAN。DAS主要适合于构建小型存储系统,NAS适合于投资规模不大的部门级存储,而SAN造价昂贵,性能突出,适合于企业级、要求扩展能力强的存储。
针对高性能计算的特点,本解决方案的存储系统采用简单易维护的DAS方式,系统由I/O节点、磁盘阵列和NFS文件系统等组成。为了保证性能,可单独设置I/O节点(也可与管理/登入节点合并以节省投资),所有计算节点通过NFS文件系统和I/O节点,即可象访问本地文件一样访问保存在存储设备上的数据。
磁盘阵列采用曙光DS-2120SA或DS-2120。其中DS-2120SA盘阵支持Serial ATA磁盘技术,外部主机通道支持SCSI接口技术,内部可以容纳12颗SATA硬盘,最大提供3TB的存储空间; DS-2120包括2个SCSI内部通道和2个SCSI外部主机通道,最大支持12块146GB的高速SCSI硬盘。两种磁盘阵列在设计上都采用了CableLess(无线缆连接)结构,避免了诸如线缆脱落、信号串扰、线缆受热老化等问题,从根本上提高了磁盘阵列系统的可靠性,同时也带来了更高的性价比、更方便的管理。
3. 曙光集群FASTRAN性能测试与分析
曙光公司和ATE中国有限公司合作,在曙光集群系统上部署了FASTRAN程序,同时对其并行性能进行了测试。结果表明,FASTRAN空气动力学模拟软件在曙光集群上可以取得较高的并行效率。
3.1.测试环境
本测试环境为曙光公司的内部测试平台,由4个R4280A组成,采用千兆以太网连接。具体配置如下:
3.2.测试模型:DLR-F4翼身组合体
DLR-F4翼身组合体算例是NASA的一个标准算例,用于测试商业CFD软件计算阻力的准确性。采用CFD-FASTRAN软件进行了结构化网格的计算。DLR-F4外形如图所示:
给定的计算状态为:
采用多块结构化网格进行翼身组合体计算,计算网格如图所示,图中给出了对称面和物体表面的网格。
计算网格共80块,网格单元数目为:3,780,480。
数值计算空间格式采用Roe格式,通过MUSCL限制器扩展到高阶,时间格式采用全隐格式进行时间积分。采用层流模型,迭代30步后记录结果。
3.3.测试结果
从以上测试结果可以看出,CFD-FASTRAN软件可以非常好的运行在曙光集群系统上,并可以获得非常优良的近乎线性的加速比。正是基于这种特性,曙光集群系统非常适合CFD-FASTRAN等计算流体力学软件的并行计算。由于其良好的可扩展性和加速比,用户可以通过扩展系统的节点数来达到提高系统性能的目的。
4. 方案选择