[爆卦]網址 不 變 爬蟲是什麼?優點缺點精華區懶人包

為什麼這篇網址 不 變 爬蟲鄉民發文收入到精華區:因為在網址 不 變 爬蟲這個討論話題中,有許多相關的文章在討論,這篇最有參考價值!作者relievezaoc (Nine9)看板Python標題[問題] 新手問爬蟲 換分頁但網址不變...


連假來學爬蟲~XD"

問題超級新手...麻煩餵我關鍵字+鞭小力一點~謝謝!

====

我有6個地區 每個區域有不同的地點

從html裡可以看到不同區域內,裡頭的地點有不同的value

目前我想做的事是「把不同地區的每個地點都爬出來」

爬了一些文章

像這種類似「下一頁」的概念,大概知道關鍵點是「找到網址規律」



遇到的問題是 不同的6個地區 該網站是用下拉選單做的

切換選單內的地區 並不會讓網址改變 囧

研究了他的html 切換不同的區域只會讓 <option select>改變而已

這樣我就不知道如何去取區域內 不同地點的value了@_@|||


請問在網址不變的情況下 我應該怎麼去爬蟲呢?

謝謝!

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.166.214.220
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1465556140.A.584.html
MOONY135: 切換地區之後 過幾秒值改變的意思嗎? 06/10 19:02
MOONY135: 那就先研究看看怎樣抓到下拉選單的值 然後每切換完 06/10 19:03
MOONY135: 選單之後過幾秒再爬一次該網址應該就可以了吧 06/10 19:03
把問題補充一下

下拉選單1(地區) 下拉選單2(不同地區內的地點)

改了下拉選單1 選點2的應的地點就會改變

M大說的取下拉選單1的值是可以做到的

試一下M大後面說的再爬一次該網址怎麼做+_+~

感謝回覆

※ 編輯: relievezaoc (118.166.214.220), 06/10/2016 19:13:09
ssdoz2sk: 這種下拉式選單我碰過的有兩種,一種是藏在html或JS中 06/10 19:29
ssdoz2sk: 一種是利用AJAX的方式跟Server要取資料,所以可以看看 06/10 19:30
ssdoz2sk: 開發人員選項網路監控,看看有沒有跟Server交換資訊 06/10 19:31
blc: js抓onclick去改form選項 06/10 21:06
ripple0129: 看網頁原始碼有無array已預藏資料,沒有的話就是ajax 06/10 21:28
ripple0129: 跟server要的,那就是直接send http request拿json或x 06/10 21:28
ripple0129: ml回來。 06/10 21:28
MOONY135: 改下拉選單之後 TIMESLEEP(20) 等刷新 06/10 22:38
MOONY135: 然後再跑一次這個網址不就是再抓一次了嗎? 06/10 22:38

感謝M大、S大、B大以及R大的回覆及幫忙!!

成功解決~\A口A>
※ 編輯: relievezaoc (118.166.214.220), 06/11/2016 00:10:17

你可能也想看看

搜尋相關網站