[爆卦]PTT 爬蟲 翻 頁是什麼?優點缺點精華區懶人包

為什麼這篇PTT 爬蟲 翻 頁鄉民發文收入到精華區:因為在PTT 爬蟲 翻 頁這個討論話題中,有許多相關的文章在討論,這篇最有參考價值!作者jimmy5104 (吉米兒)看板Python標題[問題] aspx爬蟲翻頁問題時間Thu De...


https://www.mittw.org.tw/products/manufacturer.aspx
想要將這個網頁的公司名稱爬蟲下來,但發現有翻頁問題
已經在stackoverflow等等網站找尋資訊,還是無法解決,
想請問各位py神有沒有方法可以解決這個問題。
以下是程式碼
from bs4 import BeautifulSoup
import requests

url = 'https://www.mittw.org.tw/products/manufacturer.aspx'
url_get = requests.get(url)
soup = BeautifulSoup(url_get.content, 'lxml')
col = soup.find_all('div',{'class': "name"})

for ix in col:
print(ix.get_text())

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.117.248.4
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1544670049.A.FB6.html
CodingMan: Selenium 12/13 11:17
cody880528: 大概像這樣吧 https://pastebin.com/mpB8RNir 12/13 12:18
cody880528: ASP都比較麻煩一點 12/13 12:18
jimmy5104: 謝謝cody880528你的code可以順利爬下來但是我有的看不 12/13 13:13
jimmy5104: 懂其中的含意可以幫我解釋一下嗎? 另一個問題就是假如 12/13 13:13
jimmy5104: 說main()爬取下來後怎麼將他也順利寫入csv擋 12/13 13:13
jason860421: 開開發者工具看網頁做了什麼就知道了 12/13 15:30
jimmy5104: aspx背後程式碼有點看不懂cody打在def裡面有幾個網頁 12/13 16:53
jimmy5104: 原始檔的code不知道為什麼是這樣打我比較想知道原因為 12/13 16:53
jimmy5104: 什麼是挑選那幾個下去原始碼後就可以翻頁爬蟲 12/13 16:53

你可能也想看看

搜尋相關網站