傻大方


首页 > 知识库 > >

XX|XX大学高性能计算集群系统方案( 四 )


按关键词阅读: 大学 XX 方案 系统 集群 计算 性能


资源管理器根据这个优先级列表调度作业 。
l 作业调度策略管理器:策略管理器根据资源管理器得到各个结点上的资源状况和系统的信息生成一个优先级列表 。
这个列表告诉资源管理器何时在哪些结点上运行哪个作业 。
OpenPBS在OSCAR中扮演着资源管理器的角色 。
OpenPBS自身包括了一个叫做FIFO的作业调度策略管理器 , 但是OSCAR在安装OpenPBS的时候缺省地关掉了FIFO , 因为OSCAR使用了一个更加充满活力的 。

21、开放源代码作业调度策略管理器:Maui , Maui Scheduler是一个用于Linux和BSD集群计算机的高级的HPC并行批处理调度器 , 它提供了一个完整的科学调度方案 , 支持并行运行客户和通过Myrinet 或Ethernet的MPI工作 。
当作业被PBS提交以后 , 就由Maui进行日程管理 , 可以简单了解一下Maui的工作细节:Maui首先确定哪个作业是可以执行的 , 进而去除那些不可执行的(挂起的 , 状态不符的 , 或者预处理不够的);接着对作业划分次序 , 它定义各个作业的相对优先权 , 作业的次序依据作业的一些属性进行计算(比如作业拥有者 , 作业大小 , 提交到队列的时间长度等等);系统运用某种已经配置好的强制性措 。

22、施约定可以运行多少作业 , 多少节点和进程 , 那些违反这些规则的作业将不会被考虑进行作业安排;对于每个作业 , 系统会寻找一些匹配的资源(CPU资源等)并按照某种算法找到最合适的资源进而向各个资源分发作业 。
3.3.4. 使用pfilter确保安全性pfilter为集群提供安全屏障 。
当pfilter开启的时候 , 系统内部各个节点间允许任何的网络连接 , 而和系统外部的接口之间只允许ssh和http访问 。
这大大提高了系统的安全性 。
外部网络和cluster之间的通信只被限制在从内到外的通信(Cluster to Outside)中 , 从外到内的通信被pfilter阻塞掉了 。
如果我们想开启外到内通信 , 就必须修改pfil 。

23、ter的配置文件 。
3.3.5. 使用NTP(Network Time Protocol)来同步系统时钟NTP是用来和外部资源同步计算时钟的工具 。
Ntpd守护进程可以在client和server节点上分别运行 , 作用分别为在远程节点上获得当前时间和向远程节点提供当前时间 。
OSCAR利用NTP去实现两种时钟同步:l Server节点和外部资源的时钟同步l client节点和server节点的时钟同步 。
对于OSCAR server来说 , 他会努力地去与外部时钟同步 , 当然 , 如果无法与外部实现同步(甚至根本就没连外部网络) , OSCAR也保证server和client是同步的 。
3.3.6. 使用MPICH或者 。

24、LamMPI编写高性能程序MPI(Message Passing Interface)是消息传递并行程序设计的标准之一 , 是由全球工业、政府和科研部门联合推出的一大类并行机的标准消息传递并行程序设计平台 。
它包含三层结构 , 最上层是MPI的API , 基本是点到点通信和在点到点通信基础上构造的集群通信(Collective Communication);中间层是ADI层(Abstract Device Interface) , 其中device可以简单地理解为某一种底层通信库 , ADI就是对各种不同的底层通信库的不同接口的统一标准;底层是具体的底层通信库MPICH和lam-MPI都是MPI的具体实现 , 它们都遵 。

25、从MPI标准 , 我们可以选择使用任何一个接口进行程序设计 。
这些实现都提供了用来编译MPI程序的工具(mpicc , mpiCC , .mpif77等)和MPI程序的运行工具mpirun 。
在OSCAR中 , MPICH和lam-MPI被缺省地安装到系统中 , 用户可以根据个人的习惯去改变系统环境变量(参见switcher部分)来选择使用哪种MPI实现来完成高性能程序开发 。
3.3.7. 使用环境切换器(Switcher)切换环境OSCAR提供了环境切换器(Switcher)包 。
利用它 , 用户可以更加安全地管理环境如PATH、MANPATH等 。
用户不用进行系统环境变量的配置就可以轻松地在MPICH和lam-MPI中切换 。

26、 , 完全不用去编辑dot文件 。
用户甚至不用知道这些东西是用来做什么的 。
使用switcher可以有以下几个好处:1. 用户不必手工更改dot文件(如.bashrc文件)就可以更改系统的环境变量 , 取而代之的是一个简洁安全的命令行界面(CLI) 。
2. 使用命令行界面使得远程调用shell如rsh , ssh等可以调用此命令 , 起到了在远程更改dot文件内容的作用 。
3. 这样做是安全的 , 因为Switcher定义了安全的用户命令 , 减少因为用户的错误操作使得环境变得一团糟的可能性 。
4. 用户可以选择在当前shell下改变环境还是改变将来shell的环境 。


来源:(未知)

【学习资料】网址:/a/2021/0419/0021967585.html

标题:XX|XX大学高性能计算集群系统方案( 四 )


上一篇:全校|全校家长会校长讲话稿:当好教育孩子的第一责任人

下一篇:摆花投标施工组织设计