#?-*-?coding:?utf-8?-*-??
#---------------------------------------??
#???程序：360新聞標(biāo)題獲取器??
#???版本：0.5??
#???作者：閑云??
#???日期：2013-11-03??
#???語言：Python?2.7????
#???功能：將360新聞標(biāo)題的內(nèi)容打包txt存儲到本地。??
#---------------------------------------??
???
import?string??
import?urllib2??
import?re??
??
#-----------?處理頁面上的各種標(biāo)簽?-----------??
class?HTML_Tool:??
????#?用非?貪婪模式?匹配?\t?或者?\n?或者?空格?或者?超鏈接?或者?圖片??
????BgnCharToNoneRex?=?re.compile（“（\t|\n|?||）“）??
??????
????#?用非?貪婪模式?匹配?任意<>標(biāo)簽??
????EndCharToNoneRex?=?re.compile（“<.*?>“）??
??
????#?用非?貪婪模式?匹配?任意
標(biāo)簽??
????BgnPartRex?=?re.compile（““）??
????CharToNewLineRex?=?re.compile（“（
|
||
|
）“）??
????CharToNextTabRex?=?re.compile（““）??
??
????#?將一些html的符號實(shí)體轉(zhuǎn)變?yōu)樵挤??
????replaceTab?=?[（“<““<“）（“>““>“）（“&““&“）（“&““\““）（“?““?“）]??
??????
????def?Replace_Char（selfx）:??
????????x?=?self.BgnCharToNoneRex.sub（““x）??
????????x?=?self.BgnPartRex.sub（“\n????“x）??
????????x?=?self.CharToNewLineRex.sub（“\n“x）??
????????x?=?self.CharToNextTabRex.sub（“\t“x）??
????????x?=?self.EndCharToNoneRex.sub（““x）??
??
????????for?t?in?self.replaceTab:????
????????????x?=?x.replace（t[0]t[1]）????
????????return?x????
??????
class?xw_News:??
????#?申明相關(guān)的屬性??
????def?__init__（selfurl）:????
????????self.myUrl?=?url??
????????self.datas?=?[]??
????????self.myTool?=?HTML_Tool（）??
????????print?u‘已經(jīng)啟動360新聞爬蟲，咔嚓咔嚓‘??
????
????#?初始化加載頁面并將其轉(zhuǎn)碼儲存??
????def?News（self）:??
????????#?讀取頁面的原始信息并將其從gbk轉(zhuǎn)碼??
????????myPage?=?urllib2.urlopen（self.myUrl）.read（）.decode（“utf-8“）???
????????#?獲取最終的數(shù)據(jù)??
????????self.save_data（self.myUrl）???
????#?用來存儲樓主發(fā)布的內(nèi)容??
????def?save_data（selfurl）:??
????????#?加載頁面數(shù)據(jù)到數(shù)組中??
????????self.get_data（url）??
????????#?打開本地文件??
????????f?=?open（（‘今日新聞頭條.doc‘）.decode（‘utf-8‘）‘w+‘）??
????????f.writelines（self.datas）??
????????f.close（）??
????????print?u‘爬蟲報告：文件已下載到本地并打包成doc文件‘??
????????print?u‘請按任意鍵退出...‘??
????????raw_input（）;??
??
????#?獲取頁面源碼并將其存儲到數(shù)組中??
????def?get_data（selfurl）:??
????????????myPage?=?urllib2.urlopen（url）.read（）??
????????????#?將myPage中的html代碼處理并存儲到datas里面??
????????????self.deal_data（myPage.decode（‘utf-8‘））??
??????????????
??
????#?將內(nèi)容從頁面代碼中摳出來??
????def?deal_data（selfmyPage）:??
????????myItems?=?re.findall（‘（.*?）‘myPagere.S）
????????for?item?in?myItems:
????????????data?=?self.myTool.Replace_Char（item[1].replace（“\n“““）.encode（‘utf-8‘））
????????????self.datas.append（data+‘\n‘）
????????????data?=?self.myTool.Replace_Char（item[0].replace（“\n“““）.encode（‘utf-8‘））
????????????self.datas.append（data+‘\n‘）
??????????????
??
??
??
#--------?程序入口處?------------------??
print?u“““#---------------------------------------?
#???程序：360新聞標(biāo)題獲取?
#???版本：0.5?
#???作者：閑云?
#???日期：2013-11-03?
#???語言：Python?2.7?
#???操作：獲取360當(dāng)日的新聞標(biāo)題?
#???功能：將360新聞的內(nèi)容打包doc存儲到本地。?
#---------------------------------------?
“““??
??

??
print?u‘360新聞獲取‘??
bdurl?=

?屬性????????????大小?????日期????時間???名稱
-----------?---------??----------?-----??----

?????文件???????3760??2013-11-03?19:11??python爬蟲樣例\360新聞爬蟲.py

?????文件???????5531??2013-11-02?22:53??python爬蟲樣例\百度貼吧看小說爬蟲.py

?????文件???????4932??2013-11-02?22:21??python爬蟲樣例\糗事百科爬蟲.py

?????目錄??????????0??2013-11-16?12:20??python爬蟲樣例

-----------?---------??----------?-----??----

????????????????14223????????????????????4