15分鐘并行神器gnu parallel入門(mén)指南

服務(wù)器

GNU Parallel是一個(gè)shell工具，為了在一臺或多臺計算機上并行的執行計算任務(wù)。本文簡(jiǎn)要介紹GNU Parallel的使用。

這個(gè)cpu是多核的。

一般兩核是這樣工作的的：

四核是這樣工作的：

16核是這樣工作的：

好了不黑了。再黑intel要打我了。

在某個(gè)周末的早上百無(wú)聊賴(lài)之際，花了半天時(shí)間過(guò)了一遍gnu parallel的man page和tutorial。哈哈，我得說(shuō)這半天時(shí)間花的應該挺值，因為感覺(jué)以后它能為我節省的時(shí)間不止半天吧。

本文并不會(huì )嘗試去翻譯gnu parallel的man page或者tutorial。因為現成的翻譯已經(jīng)有了，可以看這里，或者這里。

但是我前幾次看到 parallel詭異的幾個(gè):::以及奇奇怪怪的 {}{#}{.}{\\}占位符之后就打起了退堂鼓，如此丑陋的語(yǔ)法令人無(wú)愛(ài)啊。還好直接看了一下幾個(gè)example壓壓驚，動(dòng)手試一把，才發(fā)現實(shí)乃神器也。

本文主要的目的是安利（lure）你使用這個(gè)工具，并且告訴你為啥（why）使用和如何（how）使用。

why

使用gnu parallel的目的只要一個(gè)，就是為了快！

安裝快

(wget -O - pi.dk/3 || curl pi.dk/3/) | bash

作者說(shuō)10秒裝好。在國內實(shí)際情況可能不夠。但是也不用太久。其實(shí)就是一個(gè)1萬(wàn)多行perl單文件腳本（是的，你沒(méi)看錯，所有模塊都在這個(gè)文件里，這是一個(gè)特色~）。我之后都是寫(xiě)fabric腳本直接拷貝到各個(gè)節點(diǎn)機。再chmod一下執行權限。
然后是執行快，它將你的程序并行利用系統的多核執行：
上圖：

grep 一個(gè)  1G 大小的log。

使用parallel  ，和不使用parallel直接grep。結果顯而易見(jiàn)，相差 20 倍。這比用啥 ack，ag優(yōu)化效果明顯多了。

備注：這是在一個(gè)48 核服務(wù)器上執行的結果。

how

最簡(jiǎn)單的方法就是類(lèi)比xargs。在xargs里面有一個(gè)參數 -P，可以利用多核。

舉個(gè)例子：

$ time echo {1..5} |xargs -n 1 sleep

real 0m15.005s
user 0m0.000s
sys 0m0.000s

這一條xargs把每個(gè)echo的數作為參數傳給sleep ，所以一共sleep了 1 2 3 4 5=15秒。

如果使用 -P 參數分給5個(gè)核，每個(gè)核各sleep 1,2,3,4,5秒，所以執行完之后總共sleep的5秒。

$ time echo {1..5} |xargs -n 1 -P 5 sleep

real 0m5.003s
user 0m0.000s
sys 0m0.000s

鋪墊結束。一般情況下，parallel的第一種模式，就是替換掉 xargs -P.

比如壓縮一下所有的html文件。

find . -name \'*.html\' | parallel gzip --best

傳參數模式

第一種模式是利用 parallel傳參數。管道前面進(jìn)來(lái)的作為參數傳給后面的命令，并行執行

比如

huang$ seq 5 | parallel echo pre_placehoder_{}
pre_placehoder_1
pre_placehoder_2
pre_placehoder_3
pre_placehoder_4
pre_placehoder_5

其中{}是占位符，用來(lái)占位傳入參數的位置。

在云計算操作中，經(jīng)常有批量操作，比如建立10個(gè)云硬盤(pán)

seq 10 | parallel cinder create 10 --display-name test_{}

建立50個(gè)云主機

復制代碼 代碼如下:seq 50 | parallel nova boot –image    image_id  –flavor 1 –availability-zone  az_id   –nic vnetwork=private   –vnc-password 000000  vm-test_{}

批量刪除云主機

nova list | grep some_pattern| awk \'{print $2}\' | parallel nova delete

改寫(xiě) for loop

可以看到，我其實(shí)是把很多需要寫(xiě)循環(huán)的地方用parallel替換了，順帶享受了并行帶來(lái)的快捷。
這個(gè)道理是這樣的，在進(jìn)行for循環(huán)的時(shí)候，是最有可能并行化的，因為被放在循環(huán)中的各個(gè)對象是上下文無(wú)關(guān)的。

普世抽象，shell的循環(huán)：

 (for x in `cat list` ; do
 do_something $x
 done) | process_output

可以直接寫(xiě)成

 cat list | parallel do_something | process_output

如果loop 里面內容太多了

 (for x in `cat list` ; do
 do_something $x
 [... 100 lines that do something with $x ...]
 done) | process_output

那么最好寫(xiě)成一個(gè)腳本

 doit() {
 x=$1
 do_something $x
 [... 100 lines that do something with $x ...]
 }
 export -f doit
 cat list | parallel doit

而且還能避免掉很多麻煩的轉義。

–pipe模式

另一種模式就是 parallel –pipe

這時(shí)管道前面的不是作為參數，而是標準輸入傳給后面的命令

例如：

cat my_large_log |parallel --pipe grep pattern 

如果不加 –pipe ，相當于 mylog中的每一行都變成 grep pattern line的命令展開(kāi)了。而加入了–pipe，則和 cat mylog | grep pattern  沒(méi)有區別，只是分配到各個(gè)核上去執行了。

好了，基本概念就講完了！其他的都只是各個(gè)參數具體使用，比如到底用幾個(gè)核啊，place_holder的替換啊，各種花樣傳參數啊，并行執行但是保證結果順序輸出(-k)，以及神奇的跨節點(diǎn)并行計算啊，看看man page就知道了。

bonus

手邊有了一個(gè)轉換成并行的小工具，除了讓你日常執行快一點(diǎn)之外，還有一個(gè)好處，就是測并發(fā)。

很多接口在并發(fā)操作下會(huì )出現一些bug，比如有一些判斷數據庫里面沒(méi)有加鎖，是在代碼層面判斷的，結果并發(fā)請求下去，每個(gè)請求在到達服務(wù)器的時(shí)候是判斷通過(guò)，一起寫(xiě)了之后就超出限制了。之前寫(xiě)for循環(huán)因為是串行執行的，并不會(huì )觸發(fā)這些問(wèn)題。但是你要真正測并發(fā)的話(huà)，又要寫(xiě)腳本，或者利用python的mulitiprocessing封裝一下。但我手邊有了parallel，又在bashrc里面就加了以下兩個(gè)alias

alias p=\'parallel\'
alias pp=\'parallel --pipe -k\' 

這樣制造并發(fā)太方便了，只需要管道后面加個(gè)p , 我就時(shí)時(shí)刻刻可以制造并發(fā)來(lái)觀(guān)察響應。

舉個(gè)例子

seq 50 | p -n0 -q curl \'example.com\'

以你核的個(gè)數并發(fā)請求。-n0的意思是seq輸出不作為參數傳給后面的命令。

八卦時(shí)間：gnu界的祥林嫂

作為一個(gè)自由軟件八卦愛(ài)好者，每次我發(fā)現一個(gè)新奇的軟件總會(huì )去 google一下 關(guān)鍵詞 site:http://wap.friendlycc.com.cn/host/ site:http://wap.friendlycc.com.cn/host/