資源簡介
Python 爬蟲爬取視頻等大體積文件時，使用requests.get(url) 方法需要等該文件緩存進內(nèi)存完之后才開始保存進硬盤，這樣會導致測試代碼的時候很長時間沒有反應。本模塊可以實現(xiàn)緩存多少便保存至硬盤多少的功能，不會出現(xiàn)運行很久而代碼區(qū)沒有反應的問題。
代碼片段和文件信息
import?requests
def?down?（urlpathspeed）:
????????r?=?requests.get（urlstream?=?True）
????????volume?=?int（r.headers[‘content-length‘]）
????????with?open（path‘wb‘）?as?f:
????????????????volume_down?=?0
????????????????for?chunk?in?r.iter_content（chunk_size=1048576*speed）:
????????????????????????f.write（chunk）
????????????????????????volume_down?=?（volume_down?+?len（chunk））
?????????評論
共有 條評論
川公網(wǎng)安備 51152502000135號