#!/usr/bin/python
#?-*-?coding:?UTF-8?-*-


from?bs4?import?BeautifulSoup
import?requests.exceptions
from?urllib.parse?import?urlsplit
from?collections?import?deque
import?re

#?一個需要爬行的url隊(duì)列
new_urls?=?deque（[‘https://www.baidu.com/‘]）

#?一組我們已經(jīng)爬過的url
processed_urls?=?set（）

emails?=?set（）

#?一個一個地處理url，直到我們耗盡隊(duì)列
while?len（new_urls）:

????#?將下一個url從隊(duì)列移動到處理的url集合
????url?=?new_urls.popleft（）
????processed_urls.add（url）

????#?提取基本url以解析相對鏈接
????parts?=?urlsplit（url）
????base_url?=?“{0.scheme}://{0.netloc}“.format（parts）
????path?=?url[:url.rfind（‘/‘）+1]?if?‘/‘?in?parts.path?else?url

????#?獲取url的內(nèi)容
????print（“Processing?%s“?%?url）
????try:
????????response?=?requests.get（url）
????except?（requests.exceptions.MissingSc