python是支持多線程的，主要是通過thread和threading這兩個模塊來實現(xiàn)的。thread模塊是比較底層的模塊，threading模塊是對thread做了一些包裝的，可以更加方便的使用。

雖然python的多線程受GIL限制，并不是真正的多線程，但是對于I/O密集型計算還是能明顯提高效率，比如說爬蟲。

下面用一個實例來驗證多線程的效率。代碼只涉及頁面獲取，并沒有解析出來。

#?-*-coding:utf-8?-*- import?urllib2,?time import?threading class?MyThread(threading.Thread): ??def?__init__(self,?func,?args): ????threading.Thread.__init__(self) ????self.args?=?args ????self.func?=?func ??def?run(self): ????apply(self.func,?self.args) def?open_url(url): ??request?=?urllib2.Request(url) ??html?=?urllib2.urlopen(request).read() ??print?len(html) ??return?html if?__name__?==?'__main__': ??#?構(gòu)造url列表 ??urlList?=?[] ??for?p?in?range(1,?10): ????urlList.append('http://s.wanfangdata.com.cn/Paper.aspx?q=%E5%8C%BB%E5%AD%A6&p='?+?str(p)) ??#?一般方式 ??n_start?=?time.time() ??for?each?in?urlList: ????open_url(each) ??n_end?=?time.time() ??print?'the?normal?way?take?%s?s'?%?(n_end-n_start) ??#?多線程 ??t_start?=?time.time() ??threadList?=?[MyThread(open_url,?(url,))?for?url?in?urlList] ??for?t?in?threadList: ????t.setDaemon(True) ????t.start() ??for?i?in?threadList: ????i.join() ??t_end?=?time.time() ??print?'the?thread?way?take?%s?s'?%?(t_end-t_start)

分別用兩種方式獲取10個訪問速度比較慢的網(wǎng)頁，一般方式耗時50s，多線程耗時10s。

多線程代碼解讀:

#?創(chuàng)建線程類，繼承Thread類 class?MyThread(threading.Thread): ??def?__init__(self,?func,?args): ????threading.Thread.__init__(self)?#?調(diào)用父類的構(gòu)造函數(shù) ????self.args?=?args ????self.func?=?func ??def?run(self):?#?線程活動方法 ????apply(self.func,?self.args) threadList?=?[MyThread(open_url,?(url,))?for?url?in?urlList]?#?調(diào)用線程類創(chuàng)建新線程，返回線程列表 ??for?t?in?threadList: ????t.setDaemon(True)?#?設(shè)置守護線程，父線程會等待子線程執(zhí)行完后再退出 ????t.start()?#?線程開啟 ??for?i?in?threadList: ????i.join()?#?等待線程終止，等子線程執(zhí)行完后再執(zhí)行父線程

---

USA-IDC海外服務(wù)器支持Python爬蟲，歡迎廣大用戶聯(lián)系24小時在線客服租用