第一篇从并行计算到云计算
第1章并行计算与云计算 (2)
1.1 并行计算到云计算的演变 (2)
1.2 云计算需要定义吗？ (4)
1.3 云计算是否是新瓶装旧酒 (5)
1.4 MPI与Hadoop，不同学科
学者的选择 (6)
1.5 云计算与浏览器 (8)
第2章MPI并行计算环境的建立 (10)
2.1 配置前的准备工作 (10)
2.2 挂载NFS文件系统 (11)
2.3 配置ssh实现MPI节点间
用户的无密码访问 (12)
2.4 安装MPICH2 (12)
2.5 建立并行计算环境时的
注意事项 (14)
第3章并行计算时代的程序设计方法 (15)
3.1 最简单的并行程序 (15)
3.2 获取进程标志和机器名 (18)
3.3 有消息传递功能的并行程序 (20)
3.4 Monte Carlo法在并行程序设计
中的应用 (23)
3.5 并行计算中节点间的
Reduce操作. 25
3.6 用MPI的6个基本函数实现
Reduce函数功能 (28)
3.7 计算与通信的并行 (30)
3.8 节点间自定义复杂数据
结构的传输.. 34
3.9 MPI与MySQL数据库的
结合应用 (37)
3.10 设计MPI并行程序时的
注意事项 (41)
第4章从MPI走向云计算 (43)
4.1 MPI没有分布式文件系统支持 (43)
4.2 MPI无法应对节点的失效 (44)
4.3 假如用MPI来构建云计算系统 (44)
第二篇云计算的关键技术
第5章Map/Reduce是云计算的选择吗 (48)
5.1 Map/Reduce跨越50年的
历史 (48)
5.2 实现Map/Reduce的C语言实例. 49
5.3 采用MPI实现并行化的
Map/Reduce功能 (51)
第6章Hadoop技术.. 58
6.1 Hadoop与MPI在数据处理上的
对比 (58)
6.2 Hadoop的主从式结构. 59
6.2.1 主从式文件系统HDFS (59)
6.2.2 主从式计算系统
Map/Reduce (60)
6.2.3 文件分块策略分析 (61)
6.3 Hadoop文件系统HDFS的
前辈GFS (64)
6.4 构建云文件系统需要解决的
关键问题 (66)
6.5 云计算不相信节点服务器 (67)
6.6 揭密云计算架构下的典型
服务器——Google服务器 (68)
6.6.1 Google服务器概述 (68)
6.6.2 揭开Google服务器的
神秘面纱 (69)
6.6.3 Google服务器的配置
情况. 69
6.6.4 Google服务器的性能
评测. 73
第7章Hadoop环境的建立 (75)
7.1 Hadoop配置环境 (75)
7.2 配置ssh实现Hadoop结点间
用户的无密码访问 (76)
7.3 JDK的安装配置 (76)
7.4 Hadoop的安装配置 (77)
7.5 Hadoop中的Hello World (81)
7.6 C语言程序在Hadoop
上运行 (82)
第8章动手做自己的云计算
V0.01系统 (86)
8.1 系统总体分析 (86)
8.1.1 系统架构 (86)
8.1.2 文件分布式存储流程 (88)
8.1.3 计算与存储的整合流程 (88)
8.2 管理节点程序设计与分析 (89)
8.2.1 管理节点服务器程序
主函数 (90)
8.2.2 管理节点各线程函数的
设计.. 93
8.2.3 主服务器中其他函数的
设计.. 95
8.3 子节点程序分析 (98)
8.3.1 子节点主函数 (99)
8.3.2 子节点各线程函数设计.. 102
8.4 客户端API设计 (107)
8.4.1 客户端文件的存储 (108)
8.4.2 客户端启动子节点计算 (113)
8.4.3 客户端应用的简单实例 (114)
8.5 客户端应用开发实例115
第三篇云计算应用实例
第9章基于不可信服务器节点的云计算
基础架构 (118)
9.1 云计算基础架构的应用场景 (118)
9.2 云计算基础架构 (120)
9.3 基于单向指针目录映射的分层
用户隔离 (121)
9.4 云文件系统的物理存储管理 (123)
9.5 云存储的安全级别划分 (124)
9.6 计算和存储的整合 (125)
9.7 计算和存储的迁移 (126)
9.8 任务的可并行性和分类分析 (127)
9.9 简化的服务器级粗粒度计算和
存储资源分配方案 (130)
9.10 数据的云计算系统之旅 (133)
第10章云计算与智能 (135)
10.1 云计算的智能与人类
智能的比较 (135)
10.2 云计算提升终端智能 (136)
10.3 云计算智能与Monte Carlo
方法 (138)
10.4 云计算时代不确定性智能算法
示例——模拟谐振子算法 (138)
10.4.1 简谐振动的描述 (139)
10.4.2 模拟谐振子算法描述 (141)
10.4.3 模拟谐振子算法流程 (144)
10.4.4 模拟谐振子算法分析 (146)
10.4.5 模拟谐振子算法应用于
旅行商问题 (149)
10.4.6 模拟谐振子算法在连续
和非线性优化问题中的
应用 (161)
10.4.7 模拟谐振子算法的隐含
并行性 (162)
10.5 云计算中的人工智能 (162)
第11章云计算企业之间的竞争性
分析 (164)
11.1 云计算技术流派分析 (164)
11.1.1 存储型—数据密集云
计算平台 (164)
11.1.2 计算型—计算密集云
计算平台 (165)
11.1.3 综合云计算平台 (165)
11.2 国际云计算公司分析 (165)
11.2.1 云计算技术的提出者Google (166)
11.2.2 “端”的霸主微软 (166)
11.2.3 蓝色巨人IBM的蓝云 (167)
11.2.4 云计算的市场先行者
Amazon公司. 168
11.2.5 Salesforce从SaaS走入
云中 (168)
11.2.6 热爱白皮书的Sun (169)
11.2.7 EMC云计算的核心是
虚拟化 (170)
11.2.8 渔翁得利的思科 (170)
11.3 国内云计算公司分析 (171)
11.3.1 拥有基础设施的
世纪互联 (171)
11.3.2 阿里巴巴下决心
入云 (172)
11.3.3 中国移动的BigCloud (172)
11.3.4 国产旗帜友友云计算
平台 (173)
11.3.5 曙光高性能与云计算 (173)
11.3.6 展览也要云 (173)
11.4 开源云计算平台分析 (174)
11.5 国际国内云计算平台提供商
对比研究.. 175
11.6 产业综合分析 (179)
11.6.1 云计算与网络设备商的
关系 (179)
11.6.2 云计算与移动通讯运
营商的关系 (180)
11.6.3 云计算与服务器提
供商的关系 (180)
11.6.4 云计算与应用程序开
发商的关系 (181)
后记：未来的计算机—不确定性和
隐含并行计算 (182)
附录：计算力的标准Linpack测试详细
指南 (186)
参考文献196
面对云计算，有的人越来越糊涂，经常听到有人用云里雾里来形容现在的云计算。云计算系统
确实是一个庞大和综合的系统，即使是国际大公司也不敢贸然进军云计算领域，大量的企业不
是将自己的传统技术优势称为云计算，就是雷声大雨点小的观望。一般开发者更是不适应在机
群的环境下工作，所以本章将用一个简单的例子来展现云计算的基本特点和技术开发方式，我
们并不保证这个系统是一个完善的系统，但它具备了云计算的一些基本特点如计算和存储的整
合、计算向存储的迁移、文件的分布式存储、计算的并行化等，我们对这些功能采用了最简单
的实现方法以使大多数读者能从中体会到云计算技术的核心理念，所以我们命名这个系统为云
计算V0.01，运行环境为Windows。
8.1
系统总体分析
我们进行系统总体结构设计时主要着眼于云计算基本特征的实现，不考虑系统中很多细节性的
要求和高级要求，并采用中等水平的读者能完成的难度设计。
设计需要实现的基本功能如下。
（1）向开发云应用的客户提供可以调用的API函数，利用API函数实现对云计算系统的访问。
（2）实现分布式的文件存储。
（3）实现计算向存储的迁移，使计算和存储在同一个节点完成，避免数据在网络中的传送。（4）向用户隔离计算的并行性和存储的分布性，用户无需关心系统具体的操作过程。（5）初步实现对数据求和及求最大值的处理，演示云计算的基本特点。读者可以通过增加处理
函数实现更多的计算功能。
8.1.1
系统架构
云计算V0.01系统是一个完全模型化的实验用系统，开发和运行环境为Windows系统，通过对该
系统的学习使读者对云计算技术的基本要点有一定的了解，云计算V0.01将云计算设备分为3个
角色：管理节点、子节点和客户端。管理节点和子节点构成了云计算的服务器端，客户端通过
对API的调用实现对云计算系统的访问，并通过API整合为不同的应用程序。为了简化系统的设
计难度，我们在做云计算V0.01时限定所做的计算任务包括对大数据量数组求和、求最大值等操
作，读者可通过实际的系统体会存储的分布化与计算的并行化的关系，并理解计算向存储迁移
的作用。云计算V0.01没有实现存储的副本策略，因此暂时不能处理节点失效的问题，这也是为
了降低系统难度的需要。以下的系统架构方法仅供参考和学习，并且不代表我们赞成这一架构，
不同的读者可以设计不同的系统架构。
系统的整个架构如图8.1所示，这种架构方式是一个以客户端为核心的架构方法，系统中的所有
操作指令均由客户端发出，管理节点不和任一子节点作数据和指令的通信，管理节点的作用主
要是维护root.dat和node.dat两个系统文件。root.dat文件存储着现在系统中已注册的用户名及该用
户所对应的文件分块描述文件所在节点的IP地址，系统利用这一文件可实现用户的注册、认证
及用户登录后获得文件分块描述文件所在节点的IP地址。node.dat文件则维护着整个云计算系统
所有子节点的IP地址、端口、最大空间、剩余空间等信息，客户端通过该文件能够获得整个机
群的信息，从而实现向各子节点的直接连接。客户端从管理节点获得了相关的系统信息后将根
据这一信息直接向各个子节点发起连接，完成文件存储及计算的功能，这大大提高了数据传输
的速率，减轻了管理节点的负荷。各用户文件的具体分块和存储方式被系统用该用户的用户名
（username）作为文件名的文件分块描述文件存储于其中的一个子节点，这一子节点的IP 可在
root.dat文件中找到。
图8.1 云计算V0.01的系统结构
在云计算V0.01系统中不同角色间存在两类数据的传送：一类是命令数据CMD，管理节点和子
节点通过命令数据判断自己下一步所要完成的任务；一类是信息数据，这类数据是系统要完成
相关任务所需要数据，如系统描述信息、文件信息等，这类数据的数据量相对较大。由于采用
了计算向存储的迁移策略，系统中出现用户文件数据传输的情况很少，这大大提高了系统的运
行效率。
8.1.2
文件分布式存储流程
系统在进行文件存储时先通过客户端连接管理节点，读取root.dat文件数据，检验是否有该用户
存在，并获取用户数据块文件所在节点的IP地址。通过读取node.dat文件从管理节点读取子节点
的IP地址的列表，根据以上信息完成对数据的分割，启动多线程函数同时连接各子节点将数据
分别保存在各个节点上，最后更新username表以备访问时重新找到文件的分布情况。uesername
文件将被存储于某一节点上，管理节点会根据现有username文件的分布情况向用户分配一个节
点的IP地址存放username文件，文件名就是该用户的用户名，由于用户名在系统中是惟一的，
所以每个用户的username也是惟一的，不会造成混乱，如图8.2所示。
图8.2 文件的分布式存储流程
8.1.3
计算与存储的整合流程
如图8.3所示，在云计算V0.01系统中，我们利用获得的用户名、文件名、数据块号以及数据分
块信息文件的IP地址信息，可以惟一地确定任一数据块的位置和文件名，客户端同时向各个子
节点发送启动计算的命令，各节点就地读取数据块本地文件，并对其进行计算，计算完成后发
送回客户端汇总得到最后的结果。
图8.3 计算与存储的整合流程
这一计算过程不用移动任何数据，对于数据的处理就在存储数据块的节点完成，系统根据客户
端的指令，将计算迁移到节点上分布式的完成，大大提高了计算效率，避免了数据在网络中的
大量流动所造成的效率下降，对于海量数据来说，这一做法的效果是相当明显的。对于不同的
数据，我们可以定义不同的数据处理方法，从而扩展系统的应用领域。
8.2
管理节点程序设计与分析
管理节点在云计算V0.01系统中只与客户端进行通信，存储系统中的节点信息和用户注册信息，
并不负责任务的调度工作。
在管理节点我们将保存root.dat和node.dat两个系统信息文件。root.dat文件保存用户名及该用户文
件系统所在的子节点的IP地址，采用userInfo数据结构来描述。客户端程序只有获得了子节点IP
地址才能和该子节点直接建立连接获取子节点上的用户存储情况文件，该文件的文件名就是用
户的用户名，通过这一个文件可以知道数据的具体存储情况，从而由客户端直接与数据块存储
节点建立连接。node.dat文件保存了云计算系统的所有子节点的IP地址、总空间和可用空间等信
息，由nodeInfo数据结构来描述。
管理节点各函数调用关系如图8.4所示。
图8.4 管理节点函数调用结构
8.2.1
管理节点服务器程序主函数
管理节点主程序为整个管理程序的主入口，通过4个线程函数来监听并完成客户端所提交的任
务。
程序8.1
/*文件名mainsever.cpp*/
// 定义管理节点服务器程序的入口点
void test();
int _tmain(int argc, _TCHAR* argv[])
{
openfile(); //获得root.dat、node.dat的文件指针
test(); //该函数完成对主服务器的配置工作
WSADATA wsa;
int ret = 0;
int PORT = 5100;
SOCKET s_socket;
SOCKET c_socket;
struct sockaddr_in s_sockaddr;
struct sockaddr_in c_sockaddr;
int c_sockaddr_len = sizeof(c_sockaddr);
ret = WSAStartup(MAKEWORD(2, 2), &wsa);
if(ret != 0)
{
cout << "Init WinSock failed:" << ret << endl;
return 0;
}
if((s_socket = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP)) == SOCKET_ERROR)
{
cout << "Create Socket Failed:" << WSAGetLastError() << endl;
WSACleanup();
return 0;
}
s_sockaddr.sin_family = AF_INET;
s_sockaddr.sin_port = htons(PORT);
s_sockaddr.sin_addr.s_addr = htonl(INADDR_ANY);
if(bind(s_socket, (SOCKADDR *)&s_sockaddr, sizeof(s_sockaddr)) == SOCKET_ERROR)
{
cout << "bind failed:" << WSAGetLastError() << endl;
closesocket(s_socket);
WSACleanup();
return 0;
}
if(listen(s_socket, 5) == SOCKET_ERROR)
{
cout << "Listen Failed:" << WSAGetLastError() << endl;
closesocket(s_socket);
WSACleanup();
return 0;
}
CMD cmd;
//进入循环接收来自客户端的操作命令cmd
while(1)
{
c_socket = accept(s_socket, (SOCKADDR *)&c_sockaddr, &c_sockaddr_len);
recv(c_socket, (char *)&cmd, sizeof(CMD), 0);//从客户端获取操作命令
SOCKET *tsock = (SOCKET *)malloc(sizeof(SOCKET));
*tsock = c_socket;
switch(cmd)
{
case USERADD:
_beginthreadex(NULL, 0, &useraddthread, tsock, 0, NULL);//进入增加用户线程
break;
case USERGET:
_beginthreadex(NULL, 0, &usergetthread, tsock, 0, NULL);//进入获取用户信息
线程
case USERDEL:
_beginthreadex(NULL, 0, &userdelthread, tsock, 0, NULL);//删除用户，暂未定
义
case GETNODE:
_beginthreadex(NULL, 0, &getnodeaddrthread, tsock, 0, NULL);//进入获取节点
信息线程
default:
break;
}
}
cin.get();
cin.get();
return 0;
}
//test()函数用于配置各子节点的IP、端口等信息，并将信息存储到管理节点的node.dat文件
void test()
{
cout << "输入地址信息" << endl;
char ip[16];
int port = 5101;
while(1)
{
cout << "输入IP" << endl;
scanf("%s",ip);
if(strcmp(ip,"0") == 0)
break;
if(nodeadd(ip, port, 1024*10) == 0)
cout << "该记录已经存在" << endl;
}
cout << "主服务器配置完成" << endl;
}
上面的管理服务器主程序在5100端口监听来自客户端的连接及操作命令，其命令由cmd定义，
根据从客户端接收到的命令进入不同的处理线程，在本系统已实现的功能有添加用户功能、获
取用户信息功能和获取节点信息功能。管理节点服务器在启动时就调用test()函数完成对子节点
信息的添加及配置。节点信息被存到node.dat文件，用户信息被存到root.dat。在用户需要进行数
据访问时将读取这两个文件获得当前云计算系统所有已接入系统的子节点，并判断当前用户是
否存在，如存在则返回其文件分配信信息存储位置。
我们要注意的是在现在这个系统中管理节点并不和任何的子节点进行通信，也不直接协调子节
点的工作。用户在获取相关信息后将直接与子节点联系进行操作和数据访问，这样可以大大减
轻主节点的负载。
在管理节点程序中我们定义了一些常用的数据结构主要有userInfo，该数据结构与root.dat 文件有
关，包括用户名、用户数据配置文件所在节点的IP地址等信息，因为用户数据文件的信息没有
存放在管理节点而是放在某一个子节点上的，客户端要访问文件数据首先要从管理节点的root.dat文件中获取该用户数据配置文件所在节点的IP地址，再通过该IP地址获取数据的存储信
息。另一个数据结构是nodeInfo，该数据结构与node.dat文件有关，包括节点IP、端口、节点总
容量、可用空间等，系统中所有节点的相关内容都采用这一数据结构存入node.dat文件。主节点服务器程序部分参数及数据结构的定义如程序8.2所示。
程序8.2
/*文件名melem.h*/
#define USERADD 1 //添加用户
#define USERGET 2 //获取用户信息
#define USERDEL 3
#define GETNODE 4 //获取节点信息
#define BLOCKSIZE 1024//定义文件块大小
typedef int CMD; //CMD为命令标识
/*此结构体写入root.dat文件*/
typedef struct
{
char user[20]; //用户名
char ip[16]; //用户数据配置文件所在节点的IP地址
int port;
}userInfo;
/*此结构体写入node.dat文件*/
typedef struct
{
char ip[16]; //存储节点的IP地址
int port; //端口号
int userNum; //用户数目
_off_t totalsize; //节点的总容量
_off_t freesize; //节点的可用空间
}nodeInfo;
typedef struct
{
char ip[16];
int port;
}nodeaddr;
8.2.2
管理节点各线程函数的设计
管理节点程序的功能基本是由其定义的4个线程函数（其中删除用户未定义）提供的，这些函数
的功能主要是完成用户信息的注册、服务器节点信息的管理和用户数据配置信息的管理。管理
节点可以看作是一个信息的中转站，其自身并不完成任何的数据操作和处理工作。
各线程的函数定义如下。
1
．增加新用户线程函数
程序8.3
/*文件名mthread.cpp*/
/*增加新的用户，用于新用户注册功能*/
unsigned _stdcall useraddthread(LPVOID p)
{
SOCKET* tsock = (SOCKET *)p;
struct sockaddr_in taddr;
int len = 20;
char* username = (char *) malloc (len * sizeof(char));
recv(*tsock, username, len, 0);//从客户端接收用户名
int result = useradd(username);
send(*tsock, (char *)&result, sizeof(int), 0);
closesocket(*tsock);
free(username);
free(tsock);
return 1;
}
函数useraddthread()接收来自于客户端的新注册用户名，调用useradd()函数将用户名及存储该用
户文件信息的节点IP地址写入主节点的root.dat文件，客户端访问该文件可以获得某一用户的文
件存储信息文件所在的子节点IP地址，该文件的文件名就是用户名。
2
．获取用户信息线程函数
程序8.4
/*文件名mthread.cpp*/
/*客户端获取用户信息文件*/
unsigned _stdcall usergetthread(LPVOID p)
{
SOCKET* tsock = (SOCKET *)p;
struct sockaddr_in taddr;
int len = 20;
char* username = (char *) malloc (len);
userInfo *user = (userInfo *) malloc (sizeof(userInfo));
recv(*tsock, username, len, 0);
cout << "接收到的用户名:" << username << endl;
/*根据用户名读取root.dat中的用户及对应存储文件描述信息的子节点IP*/
if(userget(username, user) == 0)
{
cout << "get false" << endl;
strcpy(user->user, "0");
strcpy(user->ip,"0.0.0.0");
user->port = 0;
}
cout << "int_thread:" << user->user << " " << user->ip << ":" << user->port << endl;
send(*tsock, (char *)user, sizeof(userInfo), 0);
closesocket(*tsock);
free(username);
free(user);
return 1;
}
函数usergetthread()接收来自客户端的用户名，并在root.dat文件中查找该用户名对应的userInfo
数据结构，并传回给客户端。其中调用userget()函数从root.dat读取与username对应的userInfo信
息。通过调用这一函数客户端可以知道对应用户的文件描述文件存储在哪个子节点上，通过连
接该子节点获取文件的具体存储方式。客户端在调用一这函数后将通过返回的IP地址与存储了
数据分块描述情况文件的子节点进行连接。
3
．文件分块线程函数
程序8.5
/*文件名mthread.cpp*/
/*根据node.dat文件中的节点信息，将数据块分配到各节点*/
unsigned _stdcall getnodeaddrthread(LPVOID p)
{
SOCKET* tsock = (SOCKET *)p;
int blocknum = 0;
nodeInfo *node = (nodeInfo *) malloc (sizeof(nodeInfo));
nodeaddr *naddr = (nodeaddr *) malloc (sizeof(nodeaddr));
recv(*tsock, (char *)&blocknum, sizeof(int), 0); //获取数据块个数
for(int i = 0; i < blocknum; i++)
{
memset(node, 0, sizeof(nodeInfo));
memset(naddr,0, sizeof(nodeaddr));
datagetnode(node);//获取该数据块的存储位置
naddr->port = node->port;
strcpy(naddr->ip, node->ip);
send(*tsock, (char *)naddr, sizeof(nodeaddr), 0); //该数据块的存储位置发送回客户端
}
closesocket(*tsock);
free(node);
free(naddr);
free(tsock);
return 1;
}
函数getnodeaddrthread()接收来自客户端的数据块个数，并为每个数据块分配一个存储节点，数
据块的分配通过调用datagetnode()函数来完成，该函数按剩余空间最大的策略向各数据块分配存
储节点，并将分配结果发送回客户端，由客户端根据接收到的子节点IP直接连接子节点来完成
文件的存储工作，并将存储结果写入子节点中的数据分块描述文件中，以便系统在下次读取时
获得数据的存储情况。
8.2.3
主服务器中其他函数的设计
主服务器其他函数定义。
/*文件名mfile.cpp*/
/*向node.dat文件添加节点信息*/
int nodeadd(char* ip, int port, _off_t totalsize)
{
nodeInfo *temp = (nodeInfo *) malloc (sizeof(nodeInfo)); fseek(fp_node, 0, 0);
/*判断该节点是否已存在*/
while( fread(temp, sizeof(nodeInfo), 1, fp_node) == 1) {
if(strcmp(temp->ip, ip) == 0 && temp->port == port) {
free(temp);
return 0;
}
}
strcpy(temp->ip, ip);
temp->port = port;
temp->userNum = 0;
temp->totalsize = totalsize;
temp->freesize = totalsize;
/*写入node.dat文件*/
fwrite(temp, sizeof(nodeInfo), 1, fp_node);
fseek(fp_node, 0, 0);
fflush(fp_node);
free(temp);
return 1;
}
/*分配用户数据描述文件存储节点的IP*/
int usergetnode(nodeInfo *node)
{
nodeInfo *temp = (nodeInfo *) malloc (sizeof(nodeInfo)); fseek(fp_node, 0, 0);
int num = 0;
int no = 0;
/*寻找已分配uesername文件最少的节点IP*/
if(fread(node, sizeof(nodeInfo), 1, fp_node) != 1)
return 0;
while( fread(temp, sizeof(nodeInfo), 1, fp_node) == 1) {
++num;
if(temp->userNum < node->userNum)
{
*node = *temp;
}
}
memset(temp, 0, sizeof(nodeInfo));
*temp = *node;
temp->userNum += 1;
fseek(fp_node, no*sizeof(nodeInfo), 0);
fwrite(temp, sizeof(nodeInfo), 1, fp_node);
fseek(fp_node, 0, 0);
fflush(fp_node);
free(temp);
return 1;
}
/*将username及对应存储数据描述文件的节点IP写入root.dat文件*/
int useradd(char* username)
{
userInfo *temp = (userInfo *) malloc (sizeof(userInfo));
nodeInfo *node = (nodeInfo *) malloc (sizeof(nodeInfo));
fseek(fp_user, 0, 0);
while( fread(temp, sizeof(userInfo), 1, fp_user) == 1)
/*检测该用户名是否存在*/
if(strcmp(temp->user, username) == 0)
{
free(temp);
free(node);
return 0; //该用户名已经存在
}
if(usergetnode(node) == 0)//获取该用户数据描述文件存储节点的IP，通过node参数传出return -1; //获取节点失败
memset(temp, 0, sizeof(userInfo));
strcpy(temp->user, username);
strcpy(temp->ip, node->ip);
temp->port = node->port;
/*将userInfo信息写入root.dat文件，确认数据块描述文件的存储位置*/
fwrite(temp, sizeof(userInfo), 1, fp_user) ;
fseek(fp_user, 0, 0);
fflush(fp_user);
free(temp);
free(node);
return 1;
}
/*根据用户名，读取root.dat文件中的userInfo数据*/
int userget(char* username, userInfo *user)
{
userInfo *temp = (userInfo *) malloc (sizeof(userInfo));
fseek(fp_user, 0, 0);
while( fread(temp, sizeof(userInfo), 1, fp_user) == 1)
if(strcmp(temp->user, username) == 0)
{
*user = *temp;
return 1;
}
return 0;
}
/*根据node.dat文件获取系统中的节点信息nodeInfo，并按最大剩余空间优先策略分配给数据块
*/
/*分配完成后更新node.dat文件的内容*/
int datagetnode(nodeInfo *node)
{
nodeInfo *temp = (nodeInfo *) malloc (sizeof(nodeInfo));
fseek(fp_node, 0, 0);
int num = 0;
int no = 0;
if(fread(node, sizeof(nodeInfo), 1, fp_node) != 1)
return 0;
/*首先向剩余空间最大的节点分配数据块*/
while( fread(temp, sizeof(nodeInfo), 1, fp_node) == 1)
{
++num;
if(temp->freesize > node->freesize)
{
*node = *temp;
no = num;
}
}
memset(temp, 0, sizeof(nodeInfo));
*temp = *node;
temp->freesize -= BLOCKSIZE;
fseek(fp_node, no*sizeof(nodeInfo), 0);
/*将分配后的信息写回node.dat文件，更新文件信息*/
fwrite(temp, sizeof(nodeInfo), 1, fp_node);
fseek(fp_node, 0, 0);
fflush(fp_node);
free(temp);
return 1;
}
/*获得rood.dat和node.dat的文件指针*/
/*fp_user指向root.dat文件*/
/*fp_node指向node.dat文件*/
void openfile()
{
if( (fp_user = fopen("root.dat", "rb+")) == NULL)
fp_user = fopen("root.dat", "wb+");
if( (fp_node = fopen("node.dat", "rb+")) == NULL)
fp_node = fopen("node.dat", "wb+");
}
8.3
子节点程序分析
云计算V0.01中子节点主要完成数据的存储及用户文件存储信息的保存，各用户文件存储信息的
文件名为该用户的用户名，子节点程序需要在所有的节点上同时运行。文件的存储和访问由客
户端与子节点直接连接来完成，子节点和管理节点不进行任何的数据通信工作。
各数据块存储的文件名为username_filename_blockNo，即用户名加文件名加数据块号，之间用
下划线连接。
子节点函数调用结构如图8.5所示。
图8.5 子节点函数调用结构
8.3.1
子节点主函数
子节点的主程序启动后监听来自于客户端发过来的命令cmd，根据不同的命令进入不同的线程
进行处理。
程序8.7
/*文件名blocksever.cpp*/
// blocksever.cpp : 定义控制台应用程序的入口点
int _tmain(int argc, _TCHAR* argv[])
{
WSADATA wsa;
int ret = 0;
int PORT = 5101;
SOCKET s_socket;
SOCKET c_socket;
struct sockaddr_in s_sockaddr;
struct sockaddr_in c_sockaddr;
int c_sockaddr_len = sizeof(c_sockaddr);
ret = WSAStartup(MAKEWORD(2, 2), &wsa);
if(ret != 0)
{
cout << "Init WinSock failed:" << ret << endl;
return 0;
if((s_socket = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP)) == SOCKET_ERROR) {
cout << "Create Socket Failed:" << WSAGetLastError() << endl;
WSACleanup();
return 0;
}
s_sockaddr.sin_family = AF_INET;
s_sockaddr.sin_port = htons(PORT);
s_sockaddr.sin_addr.s_addr = htonl(INADDR_ANY);
if(bind(s_socket, (SOCKADDR *)&s_sockaddr, sizeof(s_sockaddr)) == SOCKET_ERROR) {
cout << "bind failed:" << WSAGetLastError() << endl;
closesocket(s_socket);
WSACleanup();
return 0;
}
if(listen(s_socket, 5) == SOCKET_ERROR)
{
cout << "Listen Failed:" << WSAGetLastError() << endl;
closesocket(s_socket);
WSACleanup();
return 0;
}
CMD cmd;
while(1)
{
c_socket = accept(s_socket, (SOCKADDR *)&c_sockaddr, &c_sockaddr_len);
recv(c_socket, (char *)&cmd, sizeof(CMD), 0);
SOCKET *tsock = (SOCKET *)malloc(sizeof(SOCKET));
*tsock = c_socket;
/*获取用户文件存储信息，该文件存储于其中一个子节点*/
/*用户根据管理节点提供的IP，直接连接该子节点获取*/
if(cmd == USERINFOGET)
_beginthreadex(NULL, 0, &userinfogetthread, tsock, 0, NULL);
else if(cmd == FILEINFOADD)
_beginthreadex(NULL, 0, &fileinfoaddthread, tsock, 0, NULL);//添加文件存储
信息
else if(cmd == STOREBLOCK)
_beginthreadex(NULL, 0, &storedatathread, tsock, 0, NULL); //存储数据块
else if(cmd == GETDATA)
_beginthreadex(NULL, 0, &getdatathread, tsock, 0, NULL); //完成计算工作
else
continue;
return 0;
}
子节点的主函数的功能是启动对客户端发出命令的监听和执行，主要是完成4项工作，分别由4
个不同的线程函数来完成。一是获取文件存储信息；二是在文件分块描述文件中添加信息；三
是实现数据块的存储工作；四是在各节点启动计算，完成存储与计算的整合工作。
子节点程序要用到的一些常用数据结构定义如下。
程序8.8
/*文件名belem.h*/
#ifndef BELEM_H
#define BELEM_H
#include "stdafx.h"
#define USERNAME_LEN 20
#define FILENAME_LEN 64
#define BLOCKNAME_LEN 128
#define LISTLEN 5
#define MAINIP "127.0.0.1"
#define USERADD 1
#define USERGET 2
#define USERDEL 3
#define USERINFOGET 5
#define FILEINFOADD 6
#define STOREBLOCK 7
#define GETDATA 8
typedef int CMD;
/*fileInfo数据结构为子节点上用户数据文件描述的内容*/
typedef struct
{
char filename[FILENAME_LEN]; //文件名
int blockNO; //数据块号
char ip[16]; //数据块存放节点的IP地址
int port;
}fileInfo;
/*数据块描述数据结构*/
typedef struct
{
int blockNO;
char ip[16];
int port;
}blockInfo;
typedef struct
{
fileInfo *e;
int length;
int size;
}fileInfoList;
#endif
8.3.2
子节点各线程函数设计
1
．获取文件存储信息线程函数
程序8.9
/*文件名bthread.cpp*/
unsigned _stdcall userinfogetthread(LPVOID p) //获取用户信息文件线程
{
SOCKET* tsock = (SOCKET *)p;
char username[USERNAME_LEN];
recv(*tsock, username, USERNAME_LEN, 0);
FILE *fp;
if((fp = fopen(username, "rb")) == NULL)
fp = fopen(username, "wb+"); //打开用户存储信息描述表
struct _stat info;
_stat(username, &info);//获取文件信息
_off_t filelen = info.st_size;
send(*tsock, (char *)& filelen, sizeof(_off_t), 0);
if(filelen > 0)
{
char *buf = (char *) malloc (filelen);
fread(buf, 1, filelen, fp);
send(*tsock, buf, filelen, 0);
free(buf);
}
closesocket(*tsock);
fclose(fp);
return 1;
}
用户从管理节点获取到数据块描述文件所在的节点IP地址后，即可连接该节点并调用此函数获
取文件内容，由于该文件的文件名就是用户名，所以子节点只要知道了用户名即可知道需要打
开的文件名，该节点通过socket接收用户名就是这个原因。
2
．添加数据块描述信息线程函数
程序8.10
/*文件名bthread.cpp*/
unsigned _stdcall fileinfoaddthread(LPVOID p)//添加文件信息线程
西安科技大学 计算机科学与技术学院 实习报告 课程：大数据和并行计算 班级：网络工程 姓名： 学号：
前言 大数据技术(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。 特点具体有： 大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。《计算机学报》刊登的“架构大数据：挑战、现状与展望”一文列举了大数据分析平台需要具备的几个重要特性，对当前的主流实现平台——并行数据库、MapReduce及基于两者的混合架构进行了分析归纳，指出了各自的优势及不足，同时也对各个方向的研究现状及作者在大数据分析方面的努力进行了介绍，对未来研究做了展望。 大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，处理速度快，1秒定律，可从各种类型的数据中快速获得高价值的信息，这一点也是和传统的数据挖掘技术有着本质的不同。第四，只要合理利用数据并对其进行正确、准确的分析，将会带来很高的价值回报。业界将其归纳为4个“V”——Volume（数据体量大）、Variety（数据类型繁多）、Velocity（处理速度快）、Value（价值密度低）。 从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。 1.大数据概念及分析 毫无疑问，世界上所有关注开发技术的人都意识到“大数据”对企业商务所蕴含的潜在价值，其目的都在于解决在企业发展过程中各种业务数据增长所带来的痛苦。 现实是，许多问题阻碍了大数据技术的发展和实际应用。 因为一种成功的技术，需要一些衡量的标准。现在我们可以通过几个基本要素来衡量一下大数据技术，这就是——流处理、并行性、摘要索引和可视化。 大数据技术涵盖哪些内容? 1.1流处理 伴随着业务发展的步调，以及业务流程的复杂化，我们的注意力越来越集中在“数据流”而非“数据集”上面。 决策者感兴趣的是紧扣其组织机构的命脉，并获取实时的结果。他们需要的是能够处理随时发生的数据流的架构，当前的数据库技术并不适合数据流处理。 1.2并行化 大数据的定义有许多种，以下这种相对有用。“小数据”的情形类似于桌面环境，磁盘存储能力在1GB到10GB之间，“中数据”的数据量在100GB到1TB之间，“大数据”分布式的存储在多台机器上，包含1TB到多个PB的数据。 如果你在分布式数据环境中工作，并且想在很短的时间内处理数据，这就需要分布式处理。 1.3摘要索引 摘要索引是一个对数据创建预计算摘要，以加速查询运行的过程。摘要索引的问题是，你必须为要执行的查询做好计划，因此它有所限制。 数据增长飞速，对摘要索引的要求远不会停止，不论是长期考虑还是短期，供应商必须对摘要索引的制定有一个确定的策略。 1.4数据可视化 可视化工具有两大类。
并行计算综述 姓名：尹航学号：S131020012 专业：计算机科学与技术摘要：本文对并行计算的基本概念和基本理论进行了分析和研究。主要内容有：并行计算提出的背景，目前国内外的研究现状，并行计算概念和并行计算机类型，并行计算的性能评价，并行计算模型，并行编程环境与并行编程语言。 关键词：并行计算；性能评价；并行计算模型；并行编程 1. 前言 网络并行计算是近几年国际上并行计算新出现的一个重要研究方向，也是热门课题。网络并行计算就是利用互联网上的计算机资源实现其它问题的计算，这种并行计算环境的显著优点是投资少、见效快、灵活性强等。由于科学计算的要求，越来越多的用户希望能具有并行计算的环境，但除了少数计算机大户（石油、天气预报等）外，很多用户由于工业资金的不足而不能使用并行计算机。一旦实现并行计算，就可以通过网络实现超级计算。这样，就不必要购买昂贵的并行计算机。 目前，国内一般的应用单位都具有局域网或广域网的结点，基本上具备网络计算的硬件环境。其次，网络并行计算的系统软件PVM是当前国际上公认的一种消息传递标准软件系统。有了该软件系统，可以在不具备并行机的情况下进行并行计算。该软件是美国国家基金资助的开放软件，没有版权问题。可以从国际互联网上获得其源代码及其相应的辅助工具程序。这无疑给人们对计算大问题带来了良好的机遇。这种计算环境特别适合我国国情。 近几年国内一些高校和科研院所投入了一些力量来进行并行计算软件的应用理论和方法的研究，并取得了可喜的成绩。到目前为止，网络并行计算已经在勘探地球物理、机械制造、计算数学、石油资源、数字模拟等许多应用领域开展研究。这将在计算机的应用的各应用领域科学开创一个崭新的环境。 2. 并行计算简介[1] 2.1并行计算与科学计算 并行计算（Parallel Computing），简单地讲，就是在并行计算机上所作的计算，它和常说的高性能计算（High Performance Computing）、超级计算（Super Computing）是同义词，因为任何高性能计算和超级计算都离不开并行技术。
2014年《并行计算系统》复习题 （15分）给出五种并行计算机体系结构的名称，并分别画出其典型结构。 ①并行向量处理机（PVP） ②对称多机系统（SMP） ③大规模并行处理机（MPP） ④分布式共享存储器多机系统（DSM） ⑤工作站机群（COW） （10分）给出五种典型的访存模型，并分别简要描述其特点。 ①均匀访存模型（UMA）： 物理存储器被所有处理机均匀共享 所有处理机访存时间相同 适于通用的或分时的应用程序类型 ②非均匀访存模型（NUMA）： 是所有处理机的本地存储器的集合 访问本地LM的访存时间较短 访问远程LM的访存时间较长 ③Cache一致性非均匀访存模型（CC-NUMA）： DSM结构 ④全局Cache访存模型（COMA）： 是NUMA的一种特例，是采用各处理机的Cache组成的全局地址空间 远程Cache的访问是由Cache目录支持的 ⑤非远程访存模型（NORMA）： 在分布式存储器多机系统中，如果所有存储器都是专用的，而且只能被本地存储机访问，则这种访问模型称为NORAM 绝大多数的NUMA支持NORAM 在DSM中，NORAM的特性被隐匿的 3. （15分）对于如下的静态互连网络，给出其网络直径、节点的度数、对剖宽度，说明该网络是否是一个对称网络。 网络直径：8 节点的度数：2 对剖宽度：2 该网络是一个对称网络 4. （15分）设一个计算任务，在一个处理机上执行需10个小时完成，其中可并行化的部分为9个小时，不可并行化的部分为1个小时。问： （1）该程序的串行比例因子是多少，并行比例因子是多少？ 串行比例因子：1/10
并行比例因子:9/10 如果有10个处理机并行执行该程序，可达到的加速比是多少？ 10/(9/10 + 1) = 5.263 （3）如果有20个处理机并行执行该程序，可达到的加速比是多少？ 10/(9/20 + 1)= 6.897 （15分）什么是并行计算系统的可扩放性？可放性包括哪些方面？可扩放性研究的目的是什么？ 一个计算机系统（硬件、软件、算法、程序等）被称为可扩放的，是指其性能随处理机数目的增加而按比例提高。例如，工作负载能力和加速比都可随处理机的数目的增加而增加。可扩放性包括: 1.机器规模的可扩放性 系统性能是如何随着处理机数目的增加而改善的 2.问题规模的可扩放性 系统的性能是如何随着数据规模和负载规模的增加而改善 3.技术的可扩放性 系统的性能上如何随着技术的改变而改善 可扩放性研究的目的: 确定解决某类问题时何种并行算法与何种并行体系结构的组合，可以有效的利用大量的处理器； 对于运用于某种并行机上的某种算法，根据在小规模处理机的运行性能预测移植到大规模处理机上的运行性能; 对固定问题规模，确定最优处理机数和可获得的最大的加速比 （15分）给出五个基本的并行计算模型，并说明其各自的优缺点。 ①PRAM：SIMD-SM 优点： 适于表示和分析并行计算的复杂性； 隐匿了并行计算机的大部底层细节（如通信、同步），从而易于使用。 缺点： 不适于MIMD计算机，存在存储器竞争和通信延迟问题。 ②APRAM:MIMD-SM 优点： 保存了PRAM的简单性； 可编程性和可调试性（correctness）好； 易于进行程序复杂性分析。 缺点： 不适于具有分布式存储器的MIMD计算机。 ③BSP：MIMD-DM 优点: 把计算和通信分割开来； 使用hashing自动进行存储器和通信管理； 提供了一个编程环境。 缺点： 显式的同步机制限制并行计算机数据的增加； 在一个Superstep中最多只能传递h各报文。
第一章：大数据与云计算 1.何为大数据？ 海量数据或巨量数据，其规模巨大到无法通过目前主流的计算机系统在合理时间内获取、存储、管理、处理并提炼以帮助使用者决策。 2.大数据具有4V+1C的特征 （1）数据量大：存储的数据量巨大，PB级是常态 （2）多样：数据的来源及格式多样 （3）快速：数据增长速度快 （4）价值密度低：需要对大量的数据进行处理，挖掘其潜在的价值。 （5）复杂度：对数据的处理和分析的难度大 3.什么是云计算？ 长定义：云计算是一种商业模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能根据需要获取计算力、存储空间和信息服务。 短定义：云计算是通过网络按需提供可动态伸缩的廉价计算服务。 4.云计算是并行计算、分布式计算和网络计算的发展。 5.云计算特点： （1）超大规模（2）虚拟化（3）高可靠性（4）通用性 （5）高可伸缩性（6）按需服务（7）极其廉价 6.云计算按照服务类型大致可分为三类 （1）将基础设施作为服务。（IaaS）（2）将平台作为服务。（PaaS）（3）将软件作为服务（SaaS） 7.云计算实现机制
云计算技术体系结构分为四层：物理资源层、资源池层、管理中间件层和SOA构建层 8.云计算优势 （1）更低的硬件和网络成本（2）更低的管理成本和电力成本（3）更高的资源利用率 第二章：Google云计算原理与应用 1.Google文件系统是一个大型的分布式文件系统。它为Google云计算提供海量存储，处于所有核心技术的底层。 2.GFS将整个系统的节点分为三类角色：客户端、主服务器、数据块服务器 3.GFS特点 （1）采用中心服务器模式（2）不缓存数据（3）在用户状态下实现（4）只提供专用接口4.在服务器失效经常发生的情况下,云计算数据存储技术需要采用容错机制和冗余机制来保证数据的可用性。 5.Master容错：Master上保存了GFS文件系统的三种元数据。 （1）命名空间，也就是整个文件系统的目录结构 （2）Chunk与文件名的映射表 （3）Chunk副本的位置信息，每一个Chunk默认有三个副本 6.Chunk Server容错：Chunk的默认大小是64MB。 7.系统管理技术 （1）大规模集群安装技术（2）故障检测技术（3）节点动态加入技术（4）节能技术 8. MapReduce：在编程时，开发者必须实现两个主要的函数Map和Reduce （1）一个Map函数就是对一部分原始数据进行指定的操作 （2）一个Reduce操作就是对每个Map所产生的中间结果进行合并操作 9.实现机制
基于FPGA的并行计算技术 更新于2012-03-13 17:15:57 文章出处:互联网 1 微处理器与FPGA 微处理器普遍采用冯·诺依曼结构，即存储程序型计算机结构，主要包括存储器和运算器2个子系统。其从存储器读取数据和指令到运算器，运算结果储存到存储器，然后进行下一次读取-运算-储存的操作过程。通过开发专门的数据和指令组合，即控制程序，微处理器就可以完成各种计算任务。冯·诺依曼型计算机成功地把信息处理系统分成了硬件设备和软件程序两部分，使得众多信息处理问题都可以在通用的硬件平台上处理，只需要开发具体的应用软件，从而极大地降低了开发信息处理系统的复杂性。然而，冯·诺依曼型计算机也有不足之处，由于数据和指令必须在存储器和运算器之间传输才能完成运算，使得计算速度受到存储器和运算器之间信息传输速度的限制，形成所谓的冯·诺依曼瓶颈[1]；同时，由于运算任务被分解成一系列依次执行的读取-运算-储存过程，所以运算过程在本质上是串行的，使并行计算模式在冯·诺依曼型计算机上的应用受到限制。 受到半导体物理过程的限制，微处理器运算速度的提高已经趋于缓慢，基于多核处理器或者集群计算机的并行计算技术已经逐渐成为提高计算机运算性能的主要手段。并行计算设备中包含多个微处理器，可以同时对多组数据进行处理，从而提高系统的数据处理能力。基于集群计算机的超级计算机已经成为解决大型科学和工程问题的有利工具。然而，由于并行计算设备中的微处理器同样受冯·诺依曼瓶颈的制约，所以在处理一些数据密集型，如图像分析等问题时，计算速度和性价比不理想。 现场可编程门阵列（FPGA）是一种新型的数字电路。传统的数字电路芯片都具有固定的电路和功能，而FPGA可以直接下载用户现场设计的数字电路。FPGA技术颠覆了数字电路传统的设计-流片-封装的工艺过程，直接在成品PFGA芯片上开发新的数字电路，极大地扩大了专用数字电路的用户范围和应用领域。自从20世纪80年代出现以来，FPGA技术迅速发展，FPGA芯片的晶体管数量从最初的数万个迅速发展到现在的数十亿个晶体管[2]，FPGA 的应用范围也从简单的逻辑控制电路发展成为重要的高性能计算平台。 FPGA芯片中的每个逻辑门在每个时钟周期都同时进行着某种逻辑运算，因此FPGA本质上是一个超大规模的并行计算设备，非常适合用于开发并行计算应用。目前，FPGA已被成功地应用到分子动力学、基因组测序、神经网路、人工大脑、图像处理、机器博弈等领域，取得了数十到数千倍的速度提高和优异的性价比[3-18]。
1.云计算是对（ D ）技术的发展与运用 A. 并行计算 B网格计算 C分布式计算 D三个选项都是 2. IBM在2007年11月退出了“改进游戏规则”的（ A ）计算平台，为客户带来即买即用的云计算平台。 A. 蓝云 B. 蓝天 C. ARUZE D. EC2 3.微软于2008年10月推出云计算操作系统是（ C ） A. Google App Engine B. 蓝云 C. Azure D. EC2 4. 2008年，（ A ）先后在无锡和北京建立了两个云计算中心 A. IBM B. Google C. Amazon D. 微软 5.将平台作为服务的云计算服务类型是（ B ） A. IaaS B.PaaS C.SaaS D.三个选项都不是 6.将基础设施作为服务的云计算服务类型是（ A ） A. IaaS B.PaaS C.SaaS D.三个选项都不是 7. IaaS计算实现机制中，系统管理模块的核心功能是（ A ） A. 负载均衡 B 监视节点的运行状态 C应用API D. 节点环境配置 8.云计算体系结构的（ C ）负责资源管理、任务管理用户管理和安全管理等工作 A.物理资源层 B. 资源池层 C. 管理中间件层 D. SOA构建层 9. 云计算按照服务类型大致可分为以下类（ A、B、C ） A.IaaS B. PaaS C. SaaS D.效用计算 10. 下列不属于Google云计算平台技术架构的是（ D ） A. 并行数据处理MapReduce B.分布式锁Chubby C. 结构化数据表BigTable D.弹性云计算EC2 11. 在目前GFS集群中，每个集群包含（ B ）个存储节点 A.几百个 B. 几千个 C.几十个 D.几十万个 12. 下列选项中，哪条不是GFS选择在用户态下实现的原因（ D ） A.调试简单 B.不影响数据块服务器的稳定性 C. 降低实现难度，提高通用性 D. 容易扩展 13. GFS中主服务器节点存储的元数据包含这些信息（ BCD ） A.文件副本的位置信息 B.命名空间 C. Chunk与文件名的映射 D. Chunk副本的位置信息 14. 单一主服务器（Master）解决性能瓶颈的方法是（ ABCD ） A.减少其在数据存储中的参与程度 B. 不适用Master读取数据 C.客户端缓存元数据 D. 采用大尺寸的数据块 15. （ B ）是Google提出的用于处理海量数据的并行编程模式和大规模数据集的并行运算的软件架构。 A. GFS B.MapReduce C.Chubby D.BitTable 16. Mapreduce适用于（ D ） A. 任意应用程序 B. 任意可在windows servet2008上运行的程序 C.可以串行处理的应用程序 D. 可以并行处理的应用程序 17. MapReduce通常把输入文件按照（ C ）MB来划分 A. 16 B32 C64 D128 18. 与传统的分布式程序设计相比，Mapreduce封装了（ ABCD ）等细节，还提供了一个简单而强大的接口。 A. 并行处理 B. 容错处理 C. 本地化计算 D. 负载均衡 19.（ D ）是Google的分布式数据存储于管理系统 A. GFS B. MapReduce C. Chubby D.Bigtable 20.在Bigtable中，（ A ）主要用来存储子表数据以及一些日志文件 A. GFS B. Chubby C.SSTable D.MapReduce 21. Google APP Engine使用的数据库是（ C ） A. 改进的SQLServer B. Orack C. Date store D. 亚马逊的SimpleDB
《云平台与存储技术》2016-2017-2 复习题目 一选择题 1.云计算是对（）技术的发展与运用； A.并行计算B网格计算C分布式计算D三个选项都是； 答案：D 2.从研究现状上看，下面不属于云计算特点的是（）； A.超大规模 B.虚拟化 C.私有化 D.高可靠性； 答案：C 3. https://www.doczj.com/doc/c06205179.html,公司通过（）计算云，可以让客户通过WEB Service方式租用计算机来运行自己的应用程序。 A. S3 B. HDFS C. EC2 D. GFS 答案：C 5. IBM在2007年11月退出了“改进游戏规则”的（）计算平台，为客户带来即买即用的云计算平台。 A. 蓝云 B. 蓝天 C. ARUZE D. EC2 答案：A 6. 亚马逊AWS提供的云计算服务类型是（） A. IaaS B.PaaS C.SaaS D.三个选项都是 答案：D 7. 将平台作为服务的云计算服务类型是（） A. IaaS B.PaaS C.SaaS D.三个选项都不是 答案：B 8 将基础设施作为服务的云计算服务类型是IaaS，其中的基础设施包括 （） A.CPU资源 B.内存资源 C 应用程序 D.存储资源 E.网络资源 答案：C 9 关于虚拟化的描述，不正确的是（） A 虚拟化是指计算机元件在虚拟的基础上而不是真实的基础上运行。 B 虚拟化技术可以扩展硬件的容量，简化软件的重新配置过程。 C 虚拟化技术不能将多个物理服务器虚拟成一个服务器 D CPU的虚拟化技术可以单CPU模拟多CPU运行，允许一个平台同时运行多个操作系统。
10 windows azure 属于云服务的哪一类（） A SaaS B PaaS C IaaS D 以上三项都不是 答案：B 11云计算作为中国移动蓝海战略的一个重要部分，于2007年由移动研究院组织力量，联合中科院计算所，着手起步了一个叫做（）的项目。 A. “国家云” B. “大云” C. “蓝云” D. “蓝天” 答案：B 12 Google Docs 属于云服务的哪一类（） A SaaS B PaaS C IaaS D 以上三项都不是 答案：A 13 下列关于公有云和私有云描述不正确的是（） A 公有云是云服务提供商通过自己的基础设施直接向外部用户提供服务 B 公有云能够以低廉的价格，提供有吸引力的服务给最终用户，创造新的业务价值 C 私有云是为企业内部使用而构建的计算架构 D 构建私有云比使用公有云更便宜 答案：D 14 （多选）云计算的特性包括：（） A. 简便的访问 B. 高可信度 C. 经济型 D. 按需计算与服务 答案：A B C D 15 关于云管理平台描述正确的是（） A 云管理平台为业务系统提供灵活的部署、运行与管理环境 B 屏蔽底层硬件，操作系统的差异 C 为应用提供安全、高性能、可扩展、可管理、可靠和可伸缩的全面保障 D 云管理不涉及到虚拟资源的管理
并行计算环境搭建 一．搭建并调试并行计算环境MPI的详细过程。 1．首先，我们选择在Windows XP平台下安装MPICH。第一步确保Windows平台下安装上了.net框架。 2．在并行环境的每台机子上创建相同的用户名和密码，并使该平台下的各台主机在相同的工作组中。 3．登陆到新创建的帐号下，安装MPICH软件，在选择安装路径时，每台机子的安装路径要确保一致。安装过程中，需要输入一致的passphrase，也即本机的用户名。 4．安装好软件后，要对并行环境进行配置（分为两步）： 第一步：注册。在每台机器上运行wmpiregister，按照提示输入帐号和密码，即 本机的登录用户名和密码。 第二步：配置主机。在并行环境下，我们只有一台主机，其他机子作为端结点。 运行主机上的wmpiconfig，在界面左侧栏目中选择TNP工作组，点击“select”按 钮，此时主机会在网络中搜索配置好并行环境的其他机子。配置好并行环境的其他 机子会出现绿色状态，点击“apply”按钮，最后点击“OK”按钮。 5．在并行环境下运行的必须是.exe文件，所以我们必须要对并行程序进行编译并生成.exe文件。为此我们选择Visual C++6.0编译器对我们的C语言程序进行编译， 在编译过程中，主要要配置编译器环境： （1）在编译器环境下选择“工程”，在“link”选项卡的“object/library modules” 中输入mpi.lib，然后点击“OK”按钮。 （2）选择“选项”，点击“路径”选项卡，在“show directories for”下选择“Include files”，在“Directories”中输入MPICH软件中“Include”文件夹的路径； 在“show directories for”下选择“Library files”，在“Directories”中输入 MPICH软件中Library文件夹的路径，点击“OK”。 （3）对并行程序进行编译、链接，并生成.exe文件。 6．将生成的.exe文件拷贝到并行环境下的各台机子上，并确保每台机子的存放路径要相同。 7．在主机上运行“wmpiexec”，在Application中选择生成的.exe文件；输入要执行此程序的进程数，选中“more options”选项卡，在“host”栏中输入主机和各个端结 点的计算机名，点击“execute”执行程序。 二．搭建并调试并行计算环境MPI的详细过程。 1．以管理员身份登录每台计算机，在所有连接的计算机上建立一个同样的工作组，命名为Mshome，并在该工作组下建立相同的帐户，名为GM，密码为GM。 2．安装文件Microsoft NET Framwork1.1，将.NET框架安装到每台计算机上，再安装MPI到每台主机。在安装MPI的过程中，必须输入相同的passphrase，在此输 入之前已建好的帐户名GM。 3．安装好MPI后，再对每台计算机进行注册和配置，其中注册必须每台计算机都要进行，配置只在主控计算机进行： （1）注册：将先前在每台计算机上申请的帐号和密码注册到MPI中去，这样
计算机学院 课程设计 课程名称高性能计算设计 题目名称大规模并行计算 专业__ 软件工程 _ __ _ 年级班别 2012级 学号 学生姓名 指导教师 联系方式 2015年12月18日
结构化数据访问注释对于大规模并 行计算 马可aldinucci1索尼亚营，2，基尔帕特里克3，和马西莫torquati2p.kilpatrick@https://www.doczj.com/doc/c06205179.html, 1计算机科学系，大学都灵，意大利 aldinuc@di.unito.it 2比萨大学计算机科学系，意大利 {营，torquati}@di.unipi。它 3女王大学计算机科学系，贝尔法斯特 p.kilpatrick@https://www.doczj.com/doc/c06205179.html, 摘要。我们描述了一种方法，旨在解决的问题控制联合开发（流）和一个数据并行骨架吨并行编程环境，基于注释重构。注解驱动一个并行计算的高效实现。重构是用来改造相关联的骨架树到一个更高效，功能上相当于骨架树。在大多数情况下成本模型是用来驱动的重构过程。我们展示了如何示例用例应用程序/内核可以被优化，讨论初步的实验评估结果归属理论。 克-词：算法的骨架，并行设计模式，重构，数据并行性，成本模型。 1我新台币 结构化并行程序设计方法已抽象出概念控制和数据并行通过骨骼上的[ 10 ]，这是众所周知的PA T控制[ 8 ]燕鸥。控制并行的设想，设计和实施作为一个图的节点（骨架），每个节点代表一个函数。一股流独立的任务流经图：当每个节点的输入是有效的，它可以计算产生的输出被发送到它的连接节点。在另一方面，数据并行的kelet的描述一个计算模式定义如何在并行数据中访问数据，并将其应用于数据的功能分区以获得最终结果。传统上，控制之间的正交性并行和数据并行解决了采用双层模型控制流驱动的方法进行数据的并行能力增强，可能与并行数据结构暴露出集体行动[ 13 ]反之亦然。然而，控制并行和数据并行的方法。 这项工作已经由欧盟框架7批 ist-2011-288570”释义：自适应异构多核系统的并行模式” 我caragiannis 冯湛华。（E DS。）：E尿PAR 2012个车间，LNCS 7640，pp. 381–390，2013。他是cspringe r-ve rlag用IDE L B E RG 2013382米aldinucci等人。 往往缺乏有效的应用程序，在这两个问题的能力被利用，因为本质上不同的手段，通过并行表示，有时，优化。一种高效的任务分配控制驱动的环境，可我nvalidated由糟糕的数据访问策略，反之亦然[ 14 ]。 在本文中，我们勾勒出一个新的方法来面对的控制与基于数据并行二分法的思想，即：数据与控制并行关注需要独立表达因为他们描述正交方面的并行性，和II）的数据访问和控制的并行模式的需要becoordin ED为了有效地支持并行应用的实现。虽然利用并行模式是不是一个新的方法[ 11 ]和协调工作在过去的语言方面作出了努力[ 17,12 ]或框架，本文提出的想法是，这样的协调可以通过对控制定义的图形表示关于数据访问的骨架。此外，我们将展示如何这样的注释可以用来驱动优化的实施图的执行。 2他骨骼框架 考虑骨骼系统包括控制（即流）和数据并行骨架，造型更一般的并行开发模式。我们的骨架是由下面的语法定义的 这些骷髅代表著名的并行开发模式[ 4 ]：序列把现有的序列码，管/农场流并行骨架处理流项
云计算与虚拟化考试 一、单项选择题(每题2分,共45题) 1、云计算就是把计算资源都放到上（B ） A、对等网 B、因特网 C、广域网 D、无线网 2、我们常提到的"Window装个VMware装个Linux虚拟机"属于（C） A、存储虚拟化 B、内存虚拟化 C、系统虚拟化 D、网络虚拟化 3、简单的理解为云计算等于资源的闲置而产生的。（A） A、正确 B、错误 4、一个有10个硬盘组成的Raid5阵列最多可以允许（D）个硬盘出现故障不影响其数据的完整性。 A、1个 B、2个 C、4个 D、5个 5、相比各种网路存储的设置技术来讲，本地硬盘还是最快的（A ）。 A、正确 B、错误 6、SaaS是（A ）的简称。
A、软件即服务 B、平台即服务 C、基础设施即服务 D、硬件即服务 7、微软于2008年10月推出云计算操作系统是（C） A、GoogleAppEngine B、蓝云 C、Azure D、EC2 8、虚拟化资源指一些可以实现一定操作具有一定功能，但其本身是（A ）的资源，如计算池，存储池和网络池、数据库资源等，通过软件技术来实现相关的虚拟化功能包括虚拟环境、虚拟系统、虚拟平台。 A、虚拟 B、真实 C、物理 D、实体 9、云计算是对（D）技术的发展与运用 A、并行计算 B、网格计算 C、分布式计算 D、三个选项都是 10、虚拟交换机可以连多块物理网卡，所以同一块物理网卡可以连多个虚拟交换机。(B ) A、正确 B、错误 11、（D ）在许多情况下，能够达到99.999%的可用性。
A、虚拟化 B、分布式 C、并行计算 D、集群 12、下列哪个特性不是虚拟化的主要特征（D） A、高扩展性 B、高可用性 C、高安全性 D、实现技术简单 13、与开源云计算系统HadoopHDFS相对应的商用云计算软件系统是（A） A、GoogleGFS B、GoogleMapReduce C、GoogleBigtable D、GoogleChubby 14、IaaS是（C ）的简称。 A、软件即服务 B、平台即服务 C、基础设施即服务 D、硬件即服务 15、云计算可以把普通的服务器或者PC连接起来以获得超级计算机计算机的计算和存储等功能，但是成本更低。(A) A、正确 B、错误 16、Raid1是备份量极高的Raid策略，相应的他的保护能力也很强（B）。 A、正确
龙源期刊网 https://www.doczj.com/doc/c06205179.html, 联想网御的多核并行计算网络安全平台 作者：李江力王智民 来源：《中国计算机报》2008年第44期 随着网络带宽的不断发展，网络如何安全、高效地运行逐渐成为人们关注的焦点。上期文章《多核技术开创万兆时代》指出，经过多年不断的努力探索，在历经了高主频CPU、FPGA、ASIC、NP后，我们迎来了多核时代。是不是有了多核，就能够满足当前人们对网络安全处理能力的需求呢？答案也许并非那么简单。 本文将从多核处理器带来的机遇与挑战、多核编程的困境、联想网御的解决方案三个方面来详细阐述多核并行计算相关的技术问题。 多核处理器带来机遇与挑战 通常我们所说的多核处理器是指CMP（ChipMulti-processors）的芯片结构。CMP是由美国斯坦福大学提出的，其思想是将大规模并行处理器中的SMP（Symmetric Multi-processors，对称多处理器）集成到同一芯片内，各个处理器并行执行，在同一个时刻同时有多条指令在执行。 多核处理器的出现使得人们从以前的单纯靠提高CPU主频的“死胡同”走了出来，同时又使得软件开发人员能够采用高级语言进行编程，看似是一个比较完美的技术方案，但同时我们也应该看到多核处理器也给业界带来了一系列的挑战。 同构与异构 CMP的构成分成同构和异构两类，同构是指内部核的结构是相同的，而异构是指内部的核结构是不同的。核内是同构还是异构，对不同的应用，带来的性能影响是不同的。 核间通信 多核处理器各个核之间通信是必然的事情，高效的核间通信机制将是多核处理器性能的重要保障。目前主流的芯片内部高效通信机制有两种，一种是基于总线共享的Cache结构，一种是基于片上的互连结构。采用第一种还是第二种，也是设计多核处理器的时候必须考虑的问题。 并行编程
一、单选题 1、大数据的起源是（B）。 A：金融B：互联网C：电信D：公共管理 2、大数据的最明显特点是（B）。 A：数据类型多样 B：数据规模大C：数据价值密度高D：数据处理速度快 3、大数据时代，数据使用的最关键是（D）。 A：数据收集B：数据存储C：数据分析D：数据再利用 4、云计算分层架构不包括（D）。 A: Iaas B: Paas C: Saas D: Yaas 5、大数据技术是由（C）公司首先提出来的。 A：阿里巴巴B：百度C：谷歌D：微软 6、数据的精细化程度是指（C），越细化的数据，价值越高。 A：规模B：活性 C：颗粒度D：关联性 7、数据清洗的方法不包括（C） A：噪声数据清除B：一致性检查C：重复数据记录处理D：缺失值处理 智能手环的应用开发，体现了（C）的数据采集技术的应用。A：网络爬虫B：API接口C：传感器D：统计报表 9、下列关于数掲重组的说法中，错误的是（A）。 A：数据的重新生产和采集B：能使数据焕发新的光芒C：关键在于多源数据的融合和集成 D：有利于新的数据模式创新
10、美国海军军官莫里通过对前人航海日志的分析，绘制考了新的航海路线图，标明了大风与洋流可能发生的地点。这体现了大数据分析理念中的（B）。 A：在数据基础上倾向于全体数据而不是抽样数据 B：在分析方法上更注重相关分析而不是因果分析 C：在分析效果上更追究效率而不是绝对精确 D：在数据规模上强调相对数据而不是绝对数据 11、下列关于含思伯格对大数据特点的说法中，错误的是(D) A：数据规模大B：数据类型多 C：处理速度快D：价值密度高 12、当前社会中，最为突出的大数据环境是（A）A：互联网B：自然环境C：综合国力D：物联网 13、在数据生命周期管理实践中，（B）是执行方法。 A：数据存储和各份规范B：数据管理和维护C：数据价值发觉和利用D：数据应用开发和管理 14、下列关于网络用户行为的说法中，错误的是（C）。 A：网络公司能够捕捉到用户在其网站上的所有行为 B：用户离散的交互痕迹能够为企业提升服务质量提供参 C：数字轨迹用完即自动删除 D：用户的隐私安全很难得以规范保护 15、下列关于聚类挖报技术的说法中，错误的是（B）。 A：不预先设定数据归类类目，完全根据数据本身性质将数据聚合成不同类别 B：要求同类数据的内容相似度尽可能小 C：要求不同类数据的内容相仪度尽可能小
附件二： 成都信息工程学院 硕士研究生课程教学大纲 课程名称(中)：并行计算 课程名称(英)：Parallel Computing 课程编号： 开课单位：软件工程系 预修课程：C语言，Linux操作系统 适用专业：计算机，电子类，大气类1年级研究生 课程性质：学位课 学时：32学时 学分：2学分 考核方式：考试 一、教学目的与要求（说明本课程同专业培养目标、研究方向、培养要求的关 系，及与前后相关课程的联系） 通过本课程的学习，使学生可以对并行程序设计有一个具体的基本的概念，对MPI有比较全面的了解，掌握MPI的基本功能，并且可以编写基本的MPI程序，可以用MPI来解决实际的比较基本的并行计算问题。具体如下： 从内容上，使学生了解并行计算的基本发展过程及现在的发展水平，掌握并行系统的组织结构，并行机群系统的构建方法。掌握MPI并行编程知识，了解并行技术的遗传算法迭代算法中的应用，了解并行监控系统的构成。 从能力方面，要求学生掌握并行机群系统的实际配置方法，能用MPI编制一般难度的并行算法程序并在机群系统上实现。 从教学方法上，采用启发、引导的教学方法，结合多媒体教学方式，提高学生学习兴趣。 二、课程内容简介 本课程以并行计算为主题，对并行计算技术的发展，应用以及并行计算机模型进行概述，与此同时系统介绍了MPI并行编程环境的使用与搭建，旨在帮助学生完成简单的并行程序设计，掌握并行计算平台的搭建，为深入学习并行计算技术打下坚实的基础。
三、主要章节和学时分（含相应章节内容的教学方式，如理论教学、实验教学、 上机、自学、综述文献等） 主要章节章节主要内容简述教学方式学时备注 第1章并行计算的发展及应用1.并行计算技术的发展过 程 2.并行系统在现代技术中 的应用 理论教学2学时 第2章并行计算机系统与结构1、典型并行计算机系统简 介 2、当代并行计算机体系结 构 理论教学2学时 第3章 PC机群系统的搭建1、机群系统概述 2、机群系统的搭建方法 3、机群系统的性能测试方 法 理论教学4学时 第4章机群系统的MPI编程1、MPI语言概述 2、MPI的六个基本函数 3、MPI的消息 4、点对点通讯 5、群集通讯 6、MPI的扩展 理论教学8学时 第5章实践环节上机完成并行机群系统的 配置。 实现简单并行计算程序的 编写。上机16学 时 (此页可附页) 四、采用教材（正式出版教材要求注明教材名称、作者姓名、出版社、出版时间；自编教材要求注明是否成册、编写者姓名、编写者职称、字数等） 《并行计算应用及实战》机械工业出版社王鹏主编 2008
第一章 1.硬件驱动力网络驱动力 2. 西摩·克雷( ) 3.约翰·麦卡锡 4.蒂姆·博纳斯·李 5.吉姆·格雷 6 7.基础设施即服务平台即服务软件即服务 8. (1) 超大规模 “云”具有相当的规模，云计算已经拥有100多万台服务器，、、微软、等的“云”均拥有几十万台服务器。企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。 (2) 虚拟化 云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”，而不是固定的有形的实体。应用在“云”中某处运行，但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。 (3) 高可靠性 “云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠。
(4) 通用性 云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一个“云”可以同时支撑不同的应用运行。 (5) 高可扩展性 “云”的规模可以动态伸缩，满足应用和用户规模增长的需要。 (6) 按需服务 “云”是一个庞大的资源池，你按需购买；云可以像自来水，电，煤气那样计费。 (7) 极其廉价 由于“云”的特殊容错措施可以采用极其廉价的节点来构成云，“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本，“云”的通用性使资源的利用率较之传统系统大幅提升，因此用户可以充分享受“云”的低成本优势，经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。 云计算可以彻底改变人们未来的生活，但同时也要重视环境问题，这样才能真正为人类进步做贡献,而不是简单的技术提升。 (8) 潜在的危险性 云计算服务除了提供计算服务外，还必然提供了存储服务。但是云计算服务当前垄断在私人机构（企业）手中，而他们仅仅能够提供商业信用。对于政府机构、商业机构（特别像银行这样
第31卷第5期 2011年10月地震工程与工程振动JOURNAL OF EARTHQUAKE ENGINEERING AND ENGINEERING VIBRATION Vol．31No．5Oct．2011收稿日期：2011－05－27；修订日期：2011－07－25 基金项目：国家公益性行业（地震）科研专项（200808022）；江苏省自然科学基金项目（BK2008368） 作者简介：毛昆明（1985－），男，博士研究生，主要从事轨道交通引起的环境振动方面研究.E- mail ：kun -ming@yeah．net 通讯作者：陈国兴（1963－），男，教授，博士，主要从事土动力学与岩土地震工程研究.E- mail ：gxchen@njut．edu．cn 文章编号：1000－1301（2011）05－0184－06 基于Abaqus 软件的并行计算异构集群平台的搭建 毛昆明，陈国兴 （南京工业大学岩土工程研究所，江苏南京210009） 摘要：在异构集群上充分利用新、旧硬件资源调度计算任务是实现集群高性能并行计算的难点。 通过测试已搭建集群服务器的CPU 和内存对Abaqus 软件计算速度的影响，发现CPU 的主频对 Abaqus /Explicit 模块计算速度的影响大，CPU 的缓存对Abaqus /Standard 模块速度影响大；当内存满 足计算任务的最小需求时， 增加内存对计算速度无任何影响；当内存不足时，计算速度会大幅减慢。据此测试结果，新增4台服务器作为计算节点和一台Infiniband QDR 交换机作为交换节点，搭建了新 的异构集群， 性能测试结果表明：相对于千兆以太网络交换机，Infiniband QDR 交换机的并行计算效率更好，且集群的计算节点越多越显著；Abaqus /Standard 模块并行计算效率的提高幅度要比Abaqus / Explicit 模块的稍高一些。针对异构集群硬件构架相差较大的2批新、旧硬件，设置了2个管理节点、 2个网络节点、2个存储节点，充分利用了新、旧硬件资源，高效地实现了在一个异构集群平台上提交 与下载任务。 关键词：异构集群；Abaqus 软件；并行计算；Infiniband QDR 交换机 中图分类号：P315．69文献标志码：A Construction of parallel computing heterogeneous cluster platform based on Abaqus software MAO Kunming ，CHEN Guoxing （Institute of Geotechnical Engineering ，Nanjing University of Technology ，Nanjing 210009，China ） Abstract ：Taking full advantage of new and old hardware resources on the heterogeneous cluster to schedule compu-ting jobs is a difficult point in the realization of high performance parallel computing．The influence of servers ’CPU and memory on computing speed of Abaqus software on the cluster which has been constructed is tested．The conclusions are drawn ：CPU clock speed has a great effect on the computing speed of Abaqus /Explicit module and CPU internal cache has a great effect on computing speed of Abaqus /Standard module．When memory satisfies the minimum requirement of a computing job ，increasing memory has no effect on the computing speed．When memory is insufficient ，computing speed will slow down sharply．According to the testing results ，four servers as the compu- ting nodes and an Infiniband QDR switch as the network node are added ， and then the heterogeneous cluster is con-structed．Parallel computing speed of the Infiniband QDR switch is tested ，and the result shows that the parallel effect of the Infiniband QDR switch is superior to the gigabit ethernet switch．The more the number of computing nodes is ，the better the parallel effect is．Abaqus /Standard module ’ s elevated range of parallel computing efficien-cy is slightly better than Abaqus /Explicit module ’s．Specific to two groups of new and old equipment whose archi-