[いつか書く] たくさんの計算をたくさんの計算機で行う
NGSデータ解析のためのコンピュータ入門シリーズ第2段。
プロセスとスレッドの違い。ジョブスケジューラの使いかた。CPU core数とスロットの指定。ジョブは小さくたくさん。たくさんジョブを投げるときはプライオリティを下げておく。ディスクIOの節約。パイプを駆使してなるべくオンメモリ計算、出力は圧縮しながら書き込む。NFSとIO。iostat, nfsstat など。
この記事が気に入ったらサポートをしてみませんか?
NGSデータ解析のためのコンピュータ入門シリーズ第2段。
プロセスとスレッドの違い。ジョブスケジューラの使いかた。CPU core数とスロットの指定。ジョブは小さくたくさん。たくさんジョブを投げるときはプライオリティを下げておく。ディスクIOの節約。パイプを駆使してなるべくオンメモリ計算、出力は圧縮しながら書き込む。NFSとIO。iostat, nfsstat など。
この記事が気に入ったらサポートをしてみませんか?