為什麼這篇python爬蟲動態網頁鄉民發文收入到精華區：因為在python爬蟲動態網頁這個討論話題中，有許多相關的文章在討論，這篇最有參考價值！作者granly (granly)看板Python標題[問題] 新手請教爬蟲爬動態網頁時間Sat ...
各位好，本身沒學過什麼程式，
前陣子對爬蟲起了興趣，利用下班之餘學習如何用PYTHON寫爬蟲，
但遇到爬取動態網頁遇到了瓶頸，爬文之後發現有兩種解法
1.用Selenium模擬瀏覽器後，
操作一些動作後對網頁最後的樣子抓源碼，
在對需要的數據用BeautifulSoup操作抓取
2.分析網頁是如何對JAVASCRIPT等等請求數據(此部分不太確定，如有錯誤再請指導)
，然後再對放數據的js做get、post等等操作，後續如1
秉求著學習就要每種都要學會的態度，
想請版上的神人們給點指導...!
目前
1.是比較有頭緒的，這樣的流程是否理解正確呢?
2.的部分則是完成看不懂監測到的那一堆東西...
像是此網頁:goo.gl/P3
可貸額度試算最後試算出來數字該如何抓取呢?
以上的部分再請各位指出錯誤與指導了謝謝!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.166.47.155
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1488566376.A.FF7.html
推 vi000246: 可以用fiddler觀察封包 模擬一樣的表頭送出03/04 11:49
→ granly: 不太懂v大的意思...是否可以站內line請教呢？03/04 13:41
→ s860134: 你理解沒錯，但最後的例子是你的瀏覽器算出來的 沒傳輸03/04 18:22
→ s860134: 自然你甚麼東西都抓不到03/04 18:23
→ vi000246: 他說的應該是可貸額度試算那個頁籤03/04 18:30
→ s860134: 原來如此，表頭的話不是用瀏覽器就看的到了？ 03/04 18:55
→ granly: 對，會輸入兩次個人資料後會有額度資料03/04 19:05
→ granly: 目前是用requests,創一個session()，post兩次，但抓到的03/04 19:23
→ granly: 源碼還是沒有數字03/04 19:23
→ zerof: r"\.monitor_counter\d?'\)\.html\('(.+)'\);"03/04 22:20
※ 編輯: granly (27.246.167.199), 03/06/2017 09:44:06