為什麼這篇Python爬蟲 下載檔案鄉民發文收入到精華區：因為在Python爬蟲 下載檔案這個討論話題中，有許多相關的文章在討論，這篇最有參考價值！作者MAGICXX (逢甲阿法)看板Python標題[問題] 檔案下載完畢後 才繼續時間Sat No...
我現在用爬蟲去抓資料
可是有時候在下載還沒完成之前 他就又去重新找新的資料 然後就會少抓一筆資料
然後就會跳過一筆資料 害我的資料常常會有缺少
請問一下 selenium 有沒有 "檔案下載完成之後 再做接著的動作" 這種機制
謝謝
--
◢███◣ 真是太令我興奮了，教授BOY~~
█████
█▉◥█◤ 覆蓋一張空白考卷在桌上 結束這學期
██ ◤ \
◤◤╲╰┤ ㊣ ｊｕｓｔｌａｓａｉ
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.134.51.64 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1604736948.A.C96.html
推 pig98520: 加一個檢查檔案是否存在的機制？ 11/07 17:41
→ MAGICXX: 可是 我下載的檔案都是隨機的亂碼 有辦法判別嗎？ 11/07 18:00
→ MAGICXX: 而且其實都很小 他們下載很快 點了下載之後 因為他伺服器 11/07 18:02
→ MAGICXX: 端處理下載會有延遲 才會發生下載錯誤的問題... 11/07 18:02
推 lambo: 已經知道延遲 不然就sleep一下？ 11/07 18:06
→ MAGICXX: 設太短會沒用 設太長等很久... 11/07 18:27
→ MAGICXX: 我剛剛試了一下 大概200~300個檔案會跳一次 很討厭.... 11/07 18:30
推 andy19960407: 直接先判定好要下載哪些資料 在for 起來載勒？ 11/07 22:49
→ Pieteacher: time.sleep() 11/07 22:52
推 ripple0129: 土炮一下，搜索下載資料夾檔案有沒有.tmp之類，下載 11/08 00:23
→ ripple0129: 中檔案印象chrome會有不同副檔名 11/08 00:23
→ MAGICXX: 因為資料名稱是亂碼 沒辦法先放在for裡面給他跑 11/08 03:10
→ MAGICXX: 最後我還是給他sleep...雖然我覺得應該有方法才對... 11/08 03:10
推 TitanEric: 感覺可以用以上chrome內建機制解 11/08 09:14
推 LP9527: 用 「檔案數量 」作判斷啊.. 11/08 11:08
推 annheilong: 你有辦法下載檔案就會知道檔名吧？ 11/09 10:22
推 s860134: 檔案數量和 .temp 應該是合理解 11/10 09:14
→ MAGICXX: 我最後是去比對 如果沒有crdownload 就繼續抓這樣 11/11 11:53
推 mychiux413: 下載時有辦法換成requests去做嗎？ 12/21 19:20