python爬取138看書(shū)網(wǎng)小說(shuō)源碼 v2.16

python爬取138看書(shū)網(wǎng)小說(shuō)源碼由論壇用戶(hù)制作并分享，適用于138小說(shuō)網(wǎng)，能夠幫助用戶(hù)爬取網(wǎng)站獲取小說(shuō)資源，軟件提供分類(lèi)搜索查找的功能，支持目錄爬取，還附帶書(shū)簽功能，用戶(hù)使用這款軟件能夠更加輕松地看小說(shuō)，非常實(shí)用。

軟件說(shuō)明

記錄一下今天爬的第二個(gè)小說(shuō)網(wǎng)，第二次弄起來(lái)比較熟練了，不像第一次弄一半就得找教程邊看邊搞。

但實(shí)際上爬小說(shuō)應(yīng)該是最簡(jiǎn)單的事情了吧，涉及的技術(shù)也沒(méi)有那么深。

把代碼發(fā)出來(lái)讓想剛?cè)腴T(mén)卻不知道從何下手的同萌新們看看吧，看教程總是云里霧里的，還是還得上手多練練才能加深印象。

這個(gè)小說(shuō)爬蟲(chóng)還是有點(diǎn)垃圾，多線程沒(méi)有，而且有些函數(shù)也是用的跟*一樣，這玩意該怎么改進(jìn)也沒(méi)有頭緒。

演示一覽

import requests

import lxml

import re

headers = {

'user-agent': 'User-AgentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'

}

print ('本腳本僅適用于138看書(shū)網(wǎng)：https://www.13800100.com/')

#url_list = 'https://www.13800100.com/list/72262/'

url_list = (input('粘貼小說(shuō)目錄url，必須是小說(shuō)目錄，小說(shuō)首頁(yè)不支持 '))

downurl = 'https://www.13800100.com/article/'

url_list = requests.get(url_list)