並列プログラミングのための、 linux クラスタ環境の構築

慣れた人なら1時間ほどで作れるだろうと思われる、
表題環境の構築法について記載する。

NFS、SSH、OpenMPI、については特に詳細は述べません。
自分自身、他の方の優れたサイトで得た知識ですので、
グーグル先生に尋ねて勉強してください。

はっきり言って、初めてクラスタ環境を構築する人がこのサイトを見ても
意味がわからないと、憤るだろうなと思います。
この記事の意図としては、
たった60行程度のコマンドライン作業でクラスタ環境を作れることが分かれば敷居が下がるだろうな
と思ったからです。

その点を加味し、流し読みし概略を掴むこと、
または構築の一助になれば幸いです。

準備

HW：NEC Express5800（鼻毛サーバ）×2　*1
OS：ubuntu10.04desktop*2, ubuntu10.04server

構築概略

鼻毛サーバは2コアのため、今回は物理4コアの並列環境を作れることになります。
今回の環境の利点は以下です。

コストパフォーマンスが良いこと
スケールアウトが簡単

方法

master-ubuntu

必要なライブラリをインストール。
master-ubuntu のディレクトリを共有。
名前解決のためにhostsを編集。
OpenMPI のためのホストファイルの作成。

#nfs server operation
mkdir /home/beowulf
sudo apt-get -y install openmpi-bin
sudo apt-get -y install openmpi-dev
sudo apt-get -y install nfs-kernel-server
{
sudo echo ""
sudo echo "## for beowulf"
sudo echo "/home/beowulf 172.16.0.0/255.255.255.0(rw,async,no_root_squash)"
} >> /etc/exports
sudo /etc/init.d/nfs-kernel-server restart

{
echo "172.16.0.2 master-ubuntu"
echo "172.16.0.5 slave-ubuntu"
} >> /etc/hosts

touch /home/beowulf/.mpi_hostfile
{
echo "# The Hostfile for Open MPI"
echo "master-ubuntu slots=2"
echo "slave-ubuntu slots=2"
} >> /home/beowulf/.mpi_hostfile

slave-ubuntu

必要なライブラリをインストール。
master-ubuntu のディレクトリを自動でマウントするように設定。
名前解決のためにhostsを編集。

# install
sudo apt-get update
sudo apt-get -y install ssh
sudo apt-get -y install nfs-common
sudo apt-get -y install openmpi-bin
sudo apt-get -y install openmpi-dev

{
echo "172.16.0.2 master-ubuntu"
echo "172.16.0.5 slave-ubuntu"
} >> /etc/hosts

#nfs
mkdir -p /home/beowulf
sudo echo "172.16.0.2:/home/beowulf /home/beowulf nfs rw,soft 0 0" >> /etc/fstab
sudo mount -a

パス無しsshの設定

最低限しか書いていませんので、悪しからず。

slave-ubuntu

#no pass login for ssh
ssh-keygen -t rsa
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
chmod 600 /root/.ssh/authorized_keys
cp /root/.ssh/id_rsa /home/beowulf/