云计算学习笔记1——并行计算

目录

一、并行计算概念

基本思想：用多个处理器来协同求解同一问题。

并行计算系统形式：含有多个处理器的超级计算机or以某种方式互连的若干台独立计算构成的集群。

二、Flynn分类法

概念：Michael.J.Flynn提出的根据指令流/数据流的多倍性特性对计算机系统进行分类的方法。

4类：SISD，SIMD，MISD并行计算云计算，MIMD

SISD 单指令流单数据流

传统的顺序执行的单处理器计算机

SIMD 单指令流多数据流

同时用相同的指令 对不同的数据进行操作。以并行处理机（阵列处理机）为代表，包括多个重复的处理单元。

对于数据并行类问题能达到很高的处理速度。

MISD

n个处理单元，按n条不同指令的要求对同一数据流进行不同的处理。

理论模型，没有投入实际应用。

MIMD

同时有多条指令对不同的数据进行操作。

每个处理机在各自唯一的数据流上执行各自的指令流。

MIMD分类

指令：计算机能实现的基本操作

程序：为实现特定目标或解决特定问题而用计算机语言编写的命令序列的集合；一系列按一定顺序排列的指令。

三、并行算法 1. 定义和概念 并行算法：

一些可同时执行的进程的集合，这些进程互相作用协调动作从而达到给定问题的求解。

进程间通信： 同步：

时间上强制各执行进程在某一点必须互相等待。

可用软件、硬件、固件的办法来实现。

通讯：

2. 并行计算模型 PRAM模型（Parallel Random Access Machine，随机存取并行机器）

异步APRAM模型

BSP模型

logP模型 3. 设计方法 （1）串行算法并行化 （2）针对问题直接设计并行算法

挖掘问题的固有特性与并行的关系。

（3）借用已有算法求解新问题 4. 设计过程 PCAM设计方法学

设计并行算法的四个阶段：

四、并行算法性能测评 加速比性能定律

并行系统加速比：并行算法的执行速度相对于串行算法的执行速度加快了多少倍。

参数定义：

Amdahl 阿姆达尔定律

应用于实时性要求较高的科学计算。

考虑额外开销W0时：

Gustafson 古斯塔夫森定律

考虑额外并行开销时：

Sun Ni 孙-倪定律

（编辑：温州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!