為什麼這篇python爬蟲超連結鄉民發文收入到精華區：因為在python爬蟲超連結這個討論話題中，有許多相關的文章在討論，這篇最有參考價值！作者idleryan (QQ)看板Python標題[問題]初學者爬蟲截取超連結問題時間Mon Jul...
板上各位強者好
最近因為故宮開放所有收藏品的圖片下載
因此拿來當作第一次自學python程式寫一個簡易的爬蟲
目前想到比較不自動的方式 -
從第一頁爬到最後一頁或取所有下載的連結
再用其他下載軟體慢慢下載,但使用迴圈時,一直連不去下一頁
新手程式碼如下,還請大家指點迷津
import requests
from bs4 import BeautifulSoup
for _page in range(1,2,1):
res = requests.get("http://theme.npm.edu.tw/opendata/DigitImageSets.aspx?pageNo=%d"
% _page)
soup = BeautifulSoup(res.text, 'lxml')
a_target = soup.find_all('a','fancybo_xxxx fancybox.iframe')
for a in a_target:
print(a['href'],a.text)
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.222.221.39
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1500279733.A.C6C.html
※ 編輯: idleryan (61.222.221.39), 07/17/2017 16:22:55
推 Yshuan: range(1,2,1) 只有 list: [1] ... 07/17 16:40
→ idleryan: range(1,2,1)不是指start at 1, end at 2, step = 1還是 07/17 16:43
→ idleryan: 我打錯了?? 07/17 16:44
→ Nieto: range(1,3,1)才是從1開始, 到2結束 07/17 16:49
→ idleryan: 我了解了...2結束,所以不會進loop .... 07/17 16:49
→ coeric: 用while 然後照staus去決定迴圈的跳出即可 不必管幾頁 07/18 01:29