‘‘‘March?222018?Author:?Zhiying?Zhou‘‘‘
from?requests.exceptions?import?RequestException
from?urllib.request?import?urlretrieve
from?bs4?import?BeautifulSoup
from?multiprocessing?import?Pool
import?time
from?selenium?import?webdriver


#?獲取網(wǎng)頁(yè)源代碼
def?get_html_page（url）:
????try:
????????driver?=?webdriver.Firefox（）
????????driver.get（url）
????????time.sleep（5）
????????#?執(zhí)行頁(yè)面向下滑至底部的動(dòng)作
????????driver.execute_script（“window.scrollTo（0document.body.scrollHeight）;“）
????????#?停頓5秒等待頁(yè)面加載完畢！！！（必須留有頁(yè)面加載的時(shí)間，否則獲得的源代碼會(huì)不完整。）
????????time.sleep（5）
????????html_sourcode?=?driver.page_source
????????driver.close（）
????????return?html_sourcode
????except?RequestException:
????????print（RequestException）


#?提取網(wǎng)頁(yè)的圖片的網(wǎng)址
def?parse_html_page（html）:

????#?對(duì)有效圖片網(wǎng)址進(jìn)行提取
????soup?=?BeautifulSoup（html?‘html5lib‘）
????#?定義一個(gè)列表來(lái)獲取分析得到的圖片的網(wǎng)址

????url_items?=?[]
????li_tags?=?soup.find_all（‘li‘?‘gl-item‘）
????for?li_tag?in?li_tags:
????????try:
????????????if?len（li_tag.img[“src“]）?>=?10:
????????????????url_items.append（li_tag.img[‘src‘]）
????????????else:
????????????????pass
????????except:
????????????if?len（li_tag.img[“data-lazy-img“]）?>=?10:
????????????????url_items.append（li_tag.img[‘data-lazy-img‘]）
????????????else:
????????????????url_items.append（li_tag.img[“src“]）

????return?url_items


#?以頁(yè)為單位下載圖片并保存到本地
def?download（items?index）:
????for?i?in?range（len（items））:
????????uri?=?“https:“?+?str（items[i]）
????????path?=?“/home/zhiying/圖片/jd/“?+?“第“?+?str（index?+?1）?+?“頁(yè)“?+?str（i?+?1）?+?“.jpg“
????????#?異常處理
????????try:
????????????urlretrieve（uri?filename=path）
????????except:
????????????pass


def?main（index）:
????#?構(gòu)造網(wǎng)址

????url?=?“https://search.jd.com/Search?keyword=男裝&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=男裝&cid2=1342&page=“?+?\
???????????str（index?*?2?+?1）
????print（“正在獲取第%s頁(yè)》》》“?%?（index?+?1））
????html?=?get_html_page（url）
????download（parse_html_page（html）?index）
????print（“第%s頁(yè)獲取成功！“?%?（index?+?1））


if?__name__?==?‘__main__‘:
????#?計(jì)算程序運(yùn)行時(shí)間
????time.clock（）
????pool?=?Pool（）
????pool.map（main?（index?for?index?in?range（100）））
????print（“獲取圖片成功！\n“）
????print（“程序運(yùn)行時(shí)間為{}“.format（time.clock（）））

?屬性????????????大小?????日期????時(shí)間???名稱
-----------?---------??----------?-----??----
?????目錄???????????0??2018-03-23?01:36??Spider-of-jingdong-products-images-master\
?????文件?????????138??2018-03-23?01:36??Spider-of-jingdong-products-images-master\README.md
?????文件????????2479??2018-03-23?01:36??Spider-of-jingdong-products-images-master\jingdongspider（beta2）.py