图形工作站、集群应用方案
  • 网站首页
  • 商城
  • 产品
  • 行业计算
  • 科学工程计算
  • 化学&生物
  • 图形设计
  • 图像处理
  • 视景仿真
  • 人工智能
  • 影视后期
全球领先的高端图形工作站供应商

免费测试 热线 : 400-7056-800 【 为任何应用提供 最快计算设备 如不符,退货】【最新报价】【选购指南】【京东商城】



企业通用模版网站

  • 科研团队全能超算平台25v1
  • 超高分拼接 数字孪生
  • 科学计算MatLAB工作站24
  • 地质建模 油藏模拟工作站
  • 工业CT扫描 机器视觉计算
  • 电力系统关键应用配置24
  • 网站首页
  • 商城
  • 产品
  • 行业计算
  • 科学工程计算
  • 化学&生物
  • 图形设计
  • 图像处理
  • 视景仿真
  • 人工智能
  • 影视后期
  • 送无人机啦 8核6.4GHz  96核4.8GHz 加速改装 

  • 高性能集群 虚拟并行计算 芯片设计 光学仿真 

  • 蛋白质预测 生物信息 冷冻电镜 材料模拟

  • RSS订阅
  • 理科计算推荐
  • 仿真计算最快最完美25v1
  • 电磁仿真单机与集群25v1
  • 航拍实景建模单机集群
  • 遥感图像处理工作站集群
  • 4K/8K剪辑特效调色24v1
  • AI大模型工作站集群25v1
  • Abaqus硬件配置大全24v3
  • CST电磁仿真工作站25v1
  • 多物理场仿真单机与集群
  • 流体/空气动力学仿真25v1
  • 量子化学 分子动力模拟
  • 三维设计24v2  3D打印

 

您的位置:UltraLAB图形工作站方案网站 > 科学工程计算 > 科学计算 > 基于MATLAB的局域网集群的构建

基于MATLAB的局域网集群的构建

时间:2011-12-07 02:24:00   来源:UltraLAB图形工作站方案网站   人气:12790 作者:admin

目前的常用科学计算大多基于Matlab 环境,因此,开发基于Matlab 的并行计算平台也有很大的必要性。在本文的设计中,并行优化平台的运行是在Matlab 环境中进行的,由于Matlab 是一种跨平台软件,因此整个并行计算环境也间接地实现了跨平台,满足了在Windows 平台下并行计算的需要。在平台实现中,如果能有效地利用大粒度分解计算,可以降低程序实现的复杂性。从机群系统的应用要求上来看,也需要大粒度的并行,以减少通讯开销,从而获得更高效率。因此,并行优化计算环境的设计是大粒度的。Parallel Computing Toolbox并行计算功能现已整合到Optimization Toolbox和Genetic Algorithm and Direct Search Toolbox等优化求解器之中,让用户能够在不会对其现有应用造成过多影响的情况下,在多核计算机和计算机集群上更好地解决密集型计算优化问题,以进一步简化并行应用的开发。

3.2.1搭建平台软硬件环境
由于没有资金购置昂贵的并行机,利用实验室局域网连接的4台机器组建松散耦合的局域网机群,充分利用多处理器资源。平台构架如图3.6所示,其中(a)所示为硬件环境,(b)为并行编程软件环境。客户机可以是任一台安装了Parallel Computing Toolbox的机器,由于还要用到优化工具箱,所以还须安装Optimization Toolbox,在这台机器上可进行并行程序设计、任务划分,并将作业提交给作业调度器(Scheduler or Job Manager),调度器可以是MathWorks公司提供的Job Manager或支持的第三方调度程序(Scheduler)如Platform LSF、CCS、Altair PBS Pro,可运行在局域网任一主机上,负责作业对列排序等待、分发给各节点worker,并将结果归约返回给客户端。如采用Job Manager作为调度程序其他节点机上必须安装MATLAB Distributed Computing Server (MDCS),并开启MDCE服务,这也是本文的做法,不采用第三方调度器。为了不同版本之间的兼容性,各机器统一采用相同MATLAB版本R2008b(Release 7.7)。在其中一台机器上运行License Manager统一管理授权许可文件而无须额外的License
m1.jpg 
m2.jpg 
实验室内局域网所用机器均采用操作系统为WINDOWS XP SP2,快速以太网网卡10/100Mbps,通过路由器连接,并安装MATLABR2008b及相关工具箱,表3.1和表3.2分别给出了集群相关硬件配置和安装软件

 

3.2.2软件安装和MDCE配置

 

根据上节介绍的软硬件平台构架,在32位Windows 操作系统上采用网络安装方式(Network Installation),先主节点机(Head Node)后从节点机(Worker Node),在主节点机上安装License Manager,如图3.7所示。因为本文主要运用MathWorks提供的Job Manager作业调度器,因此每台机子上都安装MATLAB® Distributed Computing Server™ (MDCS) software,其中作为客户机上安装并行计算工具箱。另外在Windows平台上MATLAB R2008b安装应满足相应的操作系统版本、处理器、磁盘空间和内存大小等要求[55]。
m3.jpg
 安装之前确保有安装许可文件(License File),按提示一步一步安装,主节点安装时选择自定义安装,选择必要的产品和工具箱(MDCS,License Manager,Parallel Computing Toolbox等),如下图所示
m4.jpg 
MATLAB产品及工具箱

 

安装完毕后在双击主节点机的matlabrootflexlm文件夹下的lmtool.exe(matlabroot表示matlab软件的安装目录,下面不再作说明),开启Matlab License Server。
m5.jpg 
FLEXnet license manager

其他节点机除了无须再安装License Manager外,其他步骤大致与主节点机相同,整个详细安装步骤不再赘述,可参考MATLAB® & Simulink® Release 2008b Installation Guide for Windows®和Installing MATLAB® Distributed Computing Server™ 4.0 on a Windows® Operating System Cluster,如果出现错误,仔细排查并认真查看文档和在线支持。成功在不同机器上安装好 #p#page_title#e#MATLAB相关产品和工具箱并配置分布计算环境是重要的一步也是必不可少的一步,网络机群本身无法进行分布并行计算,并行程序开发和应用很大程度上依赖软件和算法的支持。

MDCE配置 如果存在旧的mdce服务,则要先停止,打开DOS命令窗口,输入cd oldmatlabroot oolboxdistcompinwin32,输入命令mdce uninstall,并删除相应日志和检查文件C:TEMPMDCE,其它机器上如果存在旧的安装同样方法移除。安装并开启新的mdce服务,同样在DOS命令窗口输入cd matlabroot oolboxdistcompinwin32,切换到新的mdce目录,输入命令mdce uninstall即安装mdce服务,mdce start启动服务,其他机子上重复这个过程这样所有机器上都启动了mdce服务,以后每次重启开机都会随系统自动运行。

     首先在任一台机器上开启调度管理器(Job Manager),进入DOS命令窗口,用cd 命令切换到matlabroot oolboxdistcompinwin32,启动JobManager语句格式为:startjobmanager –flags ,flags为操作标记,如表3.3所示

如startjobmanager -name MyJobManager 即在本地机器上开启一个名为MyJobManager的作业管理器,startjobmanager -name myjm -remotehost SQY 则是在主机SQY上开启一个名为myjm的作业管理器。这个过程要保证网络畅通互连,并各机器运行mdce服务。在集群上可开启多个Job Manager,但名称要唯一,不能重复。如果要停止一个作业管理器,则用stopjobmanager –flags 格式与上基本相同,不同重述。查看其运行状态可用语句nodestatus -remotehost <job manager hostname>,然后再开启worker,语句格式为start worker –flags ,flags为操作标记,如表3.4所示
m7.jpg 

如startworker -name worker1 -remotehost bug -jobmanager myjm -jobmanagerhost SQY 即在节点机bug上开启一个名为worker1由主节点机SQY上名为的myjm调度器进行管理,一台机器上可开启多少worker,一个较好的原则是其个数不应超过这台机器处理器内核个数,多了无益,性能也不会有多大提升。如果要停止某一台机子上的worker,则用语句stopworker –flags,flags标记同表3.4。

    只要保持各台机器网络互连、解除防火墙相应程序和端口的阻止及mdce服务的正常运行,这些命令可在任一台机器上执行,完成整个的集群配置工作。用nodestatus -flags命令可查看各机器上Job Manager和worker的运行状态。下图3.8所示,在主节点(服务器节点)SQY的主机上有一个名为myjm的作业管理器,管理局域网8个worker,且在主节点机上运行有2个worker。


m8.jpg 
 

MATLAB还提供了图形用户界面Admin Center 来管理集群机器,点击MATLAB主菜单“parallel”下的“Admin Center”,即可进入管理中心图形用户界面,可以载入建立好的局域网集群,查看、编辑和添加节点机,如图3.9所示,进行客户端机器、节点机之间的连接、端口及主机名一致性等测试,最后给出测试结果,如图3.10所示。在测试前注意先关闭防火或设置相应的例外程序和端口,不然可能会出现各节点机连接测试失败的情况。


 
 

  上节已经介绍了软件安装配置的一个过程,总的来说如下图所示:


m10.jpg 
 

计算环境搭建好了,下面对各个计算节点作一个简单的测试:

       计算平台性能测试是一个重要的环节,通过MATLAB提供类似Linpack的标准测试程序[56](MATLAB Benchmark),包括大型稠密矩陈LU分解、快速傅立叶变换(Fast Fourier transform,FFT)、解范德波尔方程(van der Pol equation)、解对称稀疏线性系统及2D,3D图形显示,表3.6所示。测试程序主要针对特定的MATLAB版本在不同机器的浮点运算性能(Floating-point)、规则和不规则存储、数据结构、整点和浮点混合运算性能等出对比。 #p#page_title#e#后两项图形测试不是本节主要测试内容,为附带测试,对前四项作简要介绍
m11.jpg 
 

  
m12.jpg 
 

 

 

对上面测试程序在节点机上连续4次运行,在MATLAB命令窗口输入>>t=bench(4),得到如下结果,各程序运行计算以秒(second)记,图3.11 (a),(b)给出了本台机器测试结果与其他不同操作系统和处理器主频下相同MATLAB版本的对比情况,测试结果与操作系统类型,处理器主频,开启的线程数,内存大小等有关,从中可以看出本机的浮点计算,规则及不规则存储等方面的性能,各次测试结果在5%到10%之间浮动是正常的,因为不同时刻的内在和CPU使用率是有所变化的,这里不再给出细致的比较分析

 

(a)测试程序运行时间对比
m13.jpg 
 

  (b)测试程序运行相对速度柱状图

                          图3.11 测试程序运行时间及对比

 

由于其他两台机器与主节点机配置一样,不再单独测试,下面是前四个测试程序对集群分布式计算进行测试,测试结果如图3.12所示,由于集群各计算中各个时刻CPU、内在使用率和网络通信延迟等因素存在差异,因此在集群计算过程中,要考虑的因素主要有通信技术、负载均衡(指分配到各个处理结点上并行执行的子任务即负载的均衡程度)、并行粒度、安全等
m14.jpg 
 

 

计算节点测试

     这了更好了体现并行计算的特点,最后运用并行遗传算法对一个计算耗时较长的耗时问题进行了计算结果如下图表所示,这里不作具体分析:


m15.jpg 
 

 

 

关闭此页
上一篇:Matlab控制系统应用计算特点与计算设备硬件配置推荐
下一篇:Matlab的可视化和图像处理

相关文章

  • 05/09Xeon6代+4块GPU--图灵超算工作站GT450M介绍
  • 05/09汽车风阻测试模拟分析、算法,及服务器/工作站计算设备硬件配置推荐
  • 04/26高频交易(HFT)应用分析、算法,服务器/工作站硬件配置推荐
  • 04/25衍生品定价与风险对冲应用分析、算法,及服务器工作站硬件配置
  • 04/25量化交易策略应用算法分析、服务器工作站硬件配置
  • 04/24金融风险管理应用算法分析、服务器/工作站硬件配置推荐
  • 04/19油藏模拟软件的算法分析以及图形工作站/服务器硬件配置推荐25v2
  • 04/17大型3D设计软件CATIA-算法分析与图形工作站硬件配置
  • 04/17Cadence EDA主要软件计算特点分析,服务器/工作站硬件配置推荐
  • 04/16Synopsys EDA主要软件计算特点分析,服务器/工作站硬件配置推荐

工程技术(工科)专业工作站/服务器硬件配置选型

    左侧广告图2

新闻排行榜

  • 1MatLAB科学计算工作站精准应用硬件配置推荐2020v2
  • 2读取速度提升50倍 Intel推广固态硬盘应用
  • 3全国首创---XASUN12核便携图形工作站解决方案
  • 4MATLAB科学计算工作站及集群配置方案
  • 5深度学习台式、便携式、机架式、集群硬件配置选型2022v2
  • 62024年MATLAB科学计算工作站及集群配置方案
  • 7基于Infiniband高性能集群硬件配置方案
  • 8显卡进入高速时代 PCI-E 2.0带宽翻倍
  • 9颠覆集群计算-饭山16核个人超算工作站
  • 10Matlab在半导体行业应用计算特点与计算设备硬件配置推荐

最新信息

  • Matlab神经科学应用工具箱计算特点与计算设备硬件配置推荐
  • Matlab生物科学专业应用计算特点与计算设备硬件配置推荐
  • Matlab地球、海洋和大气科学专业应用计算特点与计算设备硬件配置推荐
  • Matlab化学专业应用计算特点与计算设备硬件配置推荐
  • Matlab物理学专业应用计算特点与计算设备硬件配置推荐
  • Matlab数学和优化专业工具箱计算特点与计算设备硬件配置推荐
  • Matlab在半导体行业应用计算特点与计算设备硬件配置推荐
  • Matlab在铁路系统行业应用计算特点与计算设备硬件配置推荐

应用导航:

工作站产品中心 京东商城 中关村商城 淘宝商城 超高分可视化商城 便携工作站商城 ANSYS CATIA Microsoft INTEL NVIDIA 网站统计

公司简介-业务咨询-招聘英才-资料下载-UM-

本网站所有原创文字和图片内容归西安坤隆计算机科技有限公司版权所有,未经许可不得转载
陕ICP备16019335号 陕公网安备61010302001314号
Copyright © 2008-2023 , All Rights Reserved

首页
热线
商城
分类
联系
顶部