第1章 網(wǎng)絡(luò)爬蟲簡介 1 1.1 網(wǎng)絡(luò)爬蟲何時有用 1 1.2 網(wǎng)絡(luò)爬蟲是否合法 2 1.3 背景調(diào)研 3 1.3.1 檢查robots.txt 3 1.3.2 檢查網(wǎng)站地圖 4 1.3.3 估算網(wǎng)站大小 5 1.3.4 識別網(wǎng)站所用技術(shù) 7 1.3.5 尋找網(wǎng)站所有者 7 1.4 編寫第 一個網(wǎng)絡(luò)爬蟲 8 1.4.1 下載網(wǎng)頁 9 1.4.2 網(wǎng)站地圖爬蟲 12 1.4.3 ID遍歷爬蟲 13 1.4.4 鏈接爬蟲 15 1.5 本章小結(jié) 22 第2章 數(shù)據(jù)抓取 23 2.1 分析網(wǎng)頁 23 2.2 三種網(wǎng)頁抓取方法 26 2.2.1 正則表達(dá)式 26 2.2.2 Beautiful Soup 28 2.2.3 Lxml 30 2.2.4 性能對比 32 2.2.5 結(jié)論 35 2.2.6 為鏈接爬蟲添加抓取回調(diào) 35 2.3 本章小結(jié) 38 第3章 下載緩存 39 3.1 為鏈接爬蟲添加緩存支持 39 3.2 磁盤緩存 42 3.2.1 實現(xiàn) 44 3.2.2 緩存測試 46 3.2.3 節(jié)省磁盤空間 46 3.2.4 清理過期數(shù)據(jù) 47 3.2.5 缺點 48 3.3 數(shù)據(jù)庫緩存 49 3.3.1 NoSQL是什么 50 3.3.2 安裝MongoDB 50 3.3.3 MongoDB概述 50 3.3.4 MongoDB緩存實現(xiàn) 52 3.3.5 壓縮 54 3.3.6 緩存測試 54 3.4 本章小結(jié) 55 第4章 并發(fā)下載 57 4.1 100萬個網(wǎng)頁 57 4.2 串行爬蟲 60 4.3 多線程爬蟲 60 4.3.1 線程和進(jìn)程如何工作 61 4.3.2 實現(xiàn) 61 4.3.3 多進(jìn)程爬蟲 63 4.4 性能 67 4.5 本章小結(jié) 68 第5章 動態(tài)內(nèi)容 69 5.1 動態(tài)網(wǎng)頁示例 69 5.2 對動態(tài)網(wǎng)頁進(jìn)行逆向工程 72 5.3 渲染動態(tài)網(wǎng)頁 77 5.3.1 PyQt還是PySide 78 5.3.2 執(zhí)行 78 5.3.3 使用WebKit與網(wǎng)站交互 80 5.3.4 Selenium 85 5.4 本章小結(jié) 88 第6章 表單交互 89 6.1 登錄表單 90 6.2 支持內(nèi)容更新的登錄腳本擴(kuò)展 97 6.3 使用Mechanize模塊實現(xiàn)自動化表單處理 100 6.4 本章小結(jié) 102 第7章 驗證碼處理 103 7.1 注冊賬號 103 7.2 光學(xué)字符識別 106 7.3 處理復(fù)雜驗證碼 111 7.3.1 使用驗證碼處理服務(wù) 112 7.3.2 9kw入門 112 7.3.3 與注冊功能集成 119 7.4 本章小結(jié) 120 第8章 Scrapy 121 8.1 安裝 121 8.2 啟動項目 122 8.2.1 定義模型 123 8.2.2 創(chuàng)建爬蟲 124 8.2.3 使用shell命令抓取 128 8.2.4 檢查結(jié)果 129 8.2.5 中斷與恢復(fù)爬蟲 132 8.3 使用Portia編寫可視化爬蟲 133 8.3.1 安裝 133 8.3.2 標(biāo)注 136 8.3.3 優(yōu)化爬蟲 138 8.3.4 檢查結(jié)果 140 8.4 使用Scrapely實現(xiàn)自動化抓取 141 8.5 本章小結(jié) 142 第9章 總結(jié) 143 9.1 Google搜索引擎 143 9.2 Facebook 148 9.2.1 網(wǎng)站 148 9.2.2 API 150 9.3 Gap 151 9.4 寶馬 153 9.5 本章小結(jié) 157