集群机器搭建多节点MPI运行环境「建议收藏」

集群机器搭建多节点MPI运行环境「建议收藏」1、各个节点安装MPI:https://blog.csdn.net/liu_feng_zi_/article/details/942864382、软硬件环境:1、节点:3个节点:node1,node2,node32、系统操作系统:Centos73、多节点配置1、host配置:通过下面命令打开host文件vim/etc/hosts在每个节点的host文件内添加ip地址和主机名,例如:10.10.1.12node110.10.1.56node210.

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

1、各个节点安装MPI:

https://blog.csdn.net/liu_feng_zi_/article/details/94286438

2、软硬件环境:

1、节点:

3个节点:node1,node2,node3

2、系统

操作系统:Centos 7

3、多节点配置

1、host配置:

通过下面命令打开host文件
vim /etc/hosts

在每个节点的host文件内添加ip地址和主机名,例如:
10.10.1.12  node1
10.10.1.56  node2
10.10.1.23  node3

执行一下host文件
source /etc/hosts

配置成功后,可以使用ping来测试是否修改成功

2、配置节点间ssh免密登录

以node1和node2为例

1、ssh登录到node1,生成公钥,并发送给node2节点

cd ~/.ssh/                     
ssh-keygen -t rsa              # 直接回车
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

2、ssh登录到node2,执行相同的操作,并将产生的公钥发送给node1

cd ~/.ssh/                     
ssh-keygen -t rsa              
scp ./id_rsa.pub node1:~/.ssh/node2_id_rsa.pub#避免名字重复加上对应节点的前缀

3、在node1节点,将发送过来的公钥追加到authorized_keys

cat ~/.ssh/node2_id_rsa.pub >> ~/.ssh/authorized_keys

4、修改文件权限并将authorized_keys文件发送给node2节点

chmod 600 ~/.ssh/authorized_keys       #可能有时不修改也不影响无密登录但还是建议修改
scp ./authorized_keys node2:~/.ssh/authorized_keys

5、把”~/.ssh/”目录下的”node1_id_rsa.pub”等文件删除掉

rm ~/.ssh/node2_id_rsa.pub

6、验证ssh无密登录

集群机器搭建多节点MPI运行环境「建议收藏」

3、MPI多节点执行

mpi可以多节点执行,但是需要保证在每个节点上的相同路径下都有可执行文件,所以每次都要把可执行文件进行远程拷贝

1、新建一个执行文件host,文件内容如下,表示每个节点执行3个进程

node1:3
node2:3
node3:3

 2、执行mpi文件

mpic++  test.cpp -o mpi        #编译
scp ./mpi node2:/home/mpi      #拷贝可执行程序到node2同路径下
scp ./mpi node3:/home/mpi      #拷贝可执行程序到node3同路径下
mpirun -f host -n 9 ./mpi

4、配置NFS共享目录安装配置

服务端:node1

服务端:node2、node3

4.1 服务端配置

1、查看是否已经安装nfs

rpm -qa |grep nfs

集群机器搭建多节点MPI运行环境「建议收藏」

2、没有安装则进行安装

yum -y install nfs-utils rpcbind

3、创建共享目录,一般在根目录下进行创建

mkdir /mpi

4、配置/etc/exports

vim /etc/exports

/mpi 10.10.1.56(rw,sync,root_squash)
/mpi 10.10.1.23(rw,sync,root_squash)

5、启动服务并设置开机启动

service rpcbind start
service nfs start
chkconfig --level 2345 rpcbind on
chkconfig --level 2345 nfs on

4.2 客户端配置

1、查看是否安装nfs,没有则进行安装

2、查看服务端共享目录

showmount -e 10.10.1.12

集群机器搭建多节点MPI运行环境「建议收藏」

若出现错误,可参考 这篇文章:

https://blog.csdn.net/liu_feng_zi_/article/details/108405064

3、挂载共享目录到本地,并测试

mount -t nfs 10.10.1.12:/mpi /mpi

cd /mpi && touch test

4、设置开机自动挂载

vim /etc/fstab
10.10.1.12:/mpi /mpi nfs defaults 0 0

 

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/184663.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 机器学习:回归问题

    机器学习:回归问题回归,我第一次看到回归的时候,想的就是回归是什么意思?后来看了一个答案解释很有意思,回归这个词来自于生物学,在调查父母与子代身高问题的时候,发现父母如果过高的话,子女就会比父母矮一点,如果父母矮的话,

    2022年8月6日
    5
  • 大数据挖掘有哪些技术

    大数据挖掘有哪些技术  数据挖掘技术虽是一项新兴的数据处理技术,但其发展速度十分迅猛,至今已经形成了决策树、神经网络、统计学习、聚类分析、关联规则等多项数据挖掘技术,极大的满足了用户的需求。  1、决策树算法  决策树算法是分类和预测的常用技术之一,可用于深入分析分类问题,使用时,决策树能够利用预测理论对多个变量中进行分析,从而预测处任一变量的发展趋势和变化关系;除此以外,还能对变量发展趋势进行双向预测,既能进行正向预测,也能进行反向预测,因此具有方便灵活的优势。  2、神经网络算法  神经网络是将计算机技术与

    2022年6月29日
    23
  • 本我、自我与超我_自我本我超我论文

    本我、自我与超我_自我本我超我论文本我、自我与超我

    2025年6月14日
    0
  • linux下U盘文件系统类型的识别以及挂载

    手上有装好文件系统的CF一只,插上卡套,类比于U盘。1.先进入/mnt/目录新建一个usb目录cd/mnt/mkidrusb2.fdisk-l,然后插上U盘,fdisk-l查看是否有新的硬盘添加上来了?这时候我若是挂载是不知道sdb的文件类型的,也不清楚该挂载sdbx几。不需挂载就能查看的命令:

    2022年4月14日
    45
  • csdn自动签到python脚本

    csdn自动签到python脚本

    2021年10月3日
    47
  • 二叉树性质总结

    二叉树性质总结性质1:二叉树第i(i>=1)层上的节点数最多为2^(i-1)证明:归纳基础:第一层有一个节点,第二层最多有两个节点,第三层最多有四个节点,以此类推,数学归纳法证明如下:i=1时,2^(i-1)=2^0=1,因为第一层上为根节点,所以命题成立。归纳假设:假设对所有的j(1归纳步骤:根据归纳假设,第i-1层上至多有2(i-2)个节点,由于二叉树每个节点至多有两个孩子节点,所以第i

    2022年5月6日
    39

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号