高性能/并行/网格计算知识介绍

时间:2010-04-10   来源:   网友评论:0   人气: 549 作者:

简单的说,高性能计算(High Performance Computing)是计算机科学的一个分支,主要是指从体系结构、并行算法和软件开发等方面研究开发高性能计算机的技术。随着计算机技术的飞速发展,高性能计算机的计算速度不断提高,其标准也处在不断变化之中。

目前,高性能计算机的衡量标准主要以计算速度(尤其是浮点运算速度)作为标准。高性能计算机是信息领域的前沿高技术,在保障国家安全、推动国防科技进步、促进尖端武器发展方面具有直接推动作用,是衡量一个国家综合实力的重要标志之一。随着信息化社会的飞速发展,人类对信息处理能力的要求越来越高,不仅石油勘探、气象预报、航天国防、科学研究等需求高性能计算机,而金融、政府信息化、教育、企业、网络游戏等更广泛的领域对高性能计算的需求迅猛增长。 并行计算(Parallel Computing)是指同时使用多台计算机协同合作解决计算问题的过程,其主要目的是快速解决大型且复杂的计算问题。


 
   图1:计算原理

    并行计算是相对于串行计算——即在单个计算机(具有单个中央处理单元)上执行的操作,所提出的。具体的说,并行计算是在多台(并行)计算机上将一个应用任务分解成多个子任务,分配给不同的处理器,各个处理器之间相互协同,同时执行子任务的过程。并行计算可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术,而空间上的并行则是指用多个处理器并发的执行计算。为执行并行计算,计算资源应包括一台配有多处理(或并行处理)机的计算机和一个与网络相连的计算机专有编号。


 
   图2:(a)SIMD类型 (b)MIMD类型


 
  目前,对于并行计算的研究主要集中在空间上的并行问题上。空间上的并行导致了两类并行机的产生,即单指令流多数据流(SIMD)和多指令流多数据流(MIMD)。类似地,我们常用的串行机有时也被称为单指令流单数据流(SISD)。在1972年诞生的第一台并行计算机ILLIAC IV就属于SIMD类型机器。而自上个世纪八十年代以来,都是以MIMD并行计算机的研制为主。常见的MIMD类的机器可分:并行向量处理机(PVP)、对称多处理机(SMP)、大规模并行处理机(MPP)、工作站机群(COW)、分布式共享存储处理机(DSM)等五类。并行计算机主要有以下四种访存模型:
 
   均匀访存模型(UMA)
 
   非均匀访存模型(NUMA)
 
   全高速缓存访存模型(COMA)
 
   
一致性高速缓存非均匀存储访问模型(CC-NUMA)和非远程存储访问模型(NORMA)。


 
   

    常见的基本并行算法有:划分法(partitioning)、分治法(divide-and-conquer)、流水线方法(pipelining)、随机法(randomization)、平衡树法(balanced-tree)、倍增发(doubling)、迭代法(iteration)等。

    在当前并行计算机上,比较流行的并行编成环境可以分为三类:消息传递、共享存储和数据并行。消息传递的典型代表是MPI,它是基于大粒度的进程级并行,具有最好的可移植性,几乎被当前流行的各类并行计算机所支持,且具有很好的可扩展性;共享存储的典型代表是OpenMP,它主要应用于SMP、DSM类的并行计算机上,可扩展性不如消息传递并行编程,不过这种方法并行编程难度较小;数据并行的典型代表是HPF,主要被SMP、DSM和 MPP类型的并行计算机支持,它的数据存储模式是共享存储,对数据分配方式属于半隐式,可扩展性介于前两种之间。 

网格是一种新兴的技术,是继Internet和Web之后的第三次信息技术浪潮。学术界针对网格开展了很多研究,商业界也开始提供面向网格的服务。
 
      网格利用互联网把地理上广泛分布的各种资源(包括计算资源、存储资源、软件资源、数据资源、信息资源、知识资源等)连成一个逻辑整体,为用户提供一体化信息服务。在这个虚拟环境下,各个虚拟组织进行资源共享和协同工作,最充分的实现资源共享。


 

文章评论