[爆卦]網路爬蟲合法是什麼?優點缺點精華區懶人包

為什麼這篇網路爬蟲合法鄉民發文收入到精華區:因為在網路爬蟲合法這個討論話題中,有許多相關的文章在討論,這篇最有參考價值!作者bajifa (銀河)看板Soft_Job標題[請益] 爬蟲是容易觸法的行為嗎?時間Sat Ju...

網路爬蟲合法 在 BusinessFocus | 商業、投資、創科平台 Instagram 的最佳解答

2020-05-11 10:24:18

立即Follow @businessfocus.presslogic 港股熱點:51信用卡【巨鯨專欄】⠀ .⠀ 大陸理財產品不多,窮人有借貸需求,富人有財富增值的需求,但因合法產品不足,導致依然存在大量高利貸和走資的現象。而近年興起的Fin-Tech剛好滿足大眾對金融服務的需求,所以Fin-Tech...


不好意思 打擾大家
最近在學習爬蟲
小弟想請教
假設做書籍資訊相關的爬蟲
而資料來源打算用網路書店的資料(內容包含 書名 價格 出版社......等 公開資訊)
在遵守Robot.txt的情況下,會有任何可能會觸法嗎? 會不會被認定同一秒發太多請求對
他們伺服器是攻擊的行為?

會問這個原因是因為之前爬一些國外網站有被Ban ip,雖然可以用代理解決,但會不會這隱
含被告的風險呢?

網路上找了很多資料,但沒有一個詳細的解答,有人說會,也有人說不會,也有真的起訴成功
和失敗的案例,但資料來源都是在中國,不知道在台灣能不能這樣做

(btw 假設一秒請求16次的情況下)

先謝謝大家了 最近被這個問題困擾很久

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.200.202.47
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1529162696.A.2E5.html
※ 編輯: bajifa (1.200.202.47), 06/16/2018 23:25:52
ripple0129: 《刑法》第360條規定:「無故以『電腦程式』或其他電 06/16 23:48
ripple0129: 磁方式干擾他人電腦或其相關設備,致生損害於公眾或他 06/16 23:48
ripple0129: 人者,處三年以下有期徒刑、拘役或科或併科十萬元以下 06/16 23:48
ripple0129: 罰金。」。 06/16 23:48
ripple0129: 有辦法舉證你損害公眾或他人才有辦法告吧。也就是你沒 06/16 23:49
ripple0129: 把他搞到服務失常應該是告不成。 06/16 23:49
vi000246: 既然會ban IP 就代表別人不想你爬資料了 06/16 23:53
readonly: 一秒16次還好…你要考慮的不是這方向…找暫時性重製 06/16 23:54
THEWORLDS: 走到法律這一個第部不太可能會發生你放心 除非你是用學 06/17 00:49
THEWORLDS: 網去爬某些網站導致人家當機那真的要賠錢沒錯 06/17 00:50
kappakappa: 假如1秒請求16次網站就會掛點,網站要告的應該是開發 06/17 01:00
kappakappa: 那網站的工程師吧... 06/17 01:01
jimmy689: 前年美國有判例,有廠商爬linked被吉,法院判無罪,理 06/17 01:01
jimmy689: 由是linked數據以公開方式供大家取用,後來linked就改 06/17 01:01
jimmy689: 成只有登入後才看得到完整數據了。 06/17 01:01
kappakappa: 爬蟲比較多的問題是copyright issue吧 06/17 01:02
ChungLi5566: 大公司的對外網站防火牆都有ddos防護設備 06/17 01:14
ChungLi5566: 然後你這個可能普通防火牆就自動ban ip了 06/17 01:16
king4647: 看你爬的程度 之前聽說 有人爬掛新聞網站 結果人家找上 06/17 01:24
king4647: 門 最後和解把資料買下來 06/17 01:24
Rocker5566: 那那些比價網站是如何做的呢? 06/17 10:00
TitanEric: 我五分鐘固定爬一次就被ban了QQ 06/17 10:21
ap954212: 模擬成瀏覽器也會被ban? 06/17 11:06
alog: 要有刑責或民事侵權都要看狀況認定包括舉證內容有沒有到位, 06/17 11:09
alog: 但基本上一個原則是人家設下了一個門檻比如說驗證碼或是特定 06/17 11:09
alog: 的驗證防護方式就不要太白目硬要去解,包括不要把別人的服 06/17 11:09
alog: 務搞掛 06/17 11:09
alog: 向樓上的新聞網站搞掛 有可能得賠上一筆費用,雖然說一篇新 06/17 11:10
alog: 聞稿授權轉載的授權費用沒多少但是量多起來還是挺客觀的 06/17 11:10
alog: 另外有些內容跟資訊是屬於該公司特有,著作權還是要顧一下, 06/17 11:14
alog: 免得服務上線,該公司的法務找上你和解都是100~200k起跳( 06/17 11:14
alog: 律師費+實際侵權程度跟奇摩子) 06/17 11:14
alog: 不過另外說的是爬蟲其實也沒說好爬,因為通常正常來說內容 06/17 11:18
alog: 類的平台網站會有類似 limit request 的 module 掛在伺服器 06/17 11:18
alog: 設定上,有些是因為上cdn省waf或是上好cache不怕你爬,你只 06/17 11:18
alog: 是其中的使用者而已,沒有持續一直同步 mis/it 根本不會處理 06/17 11:18
alog: 你 06/17 11:18
alog: 只是後續就是剛講的,資料怎麼來的,拿了不該拿了會不會有 06/17 11:19
alog: 問題很難說,包括你圖片內剛好有別人的商標又另一件事情了 06/17 11:19
alog: 最後總結是 06/17 11:20
alog: 做資料研究 -> 低調、不要礙到人為主 06/17 11:21
alog: 做服務平台、或轉售資訊 -> 找律師事務所付費諮詢 06/17 11:21
alog: 再補充下,這方面其實不只是爬蟲而已,像你如果平台給員工 06/17 11:32
alog: 維護,然後你沒有盡好責任監督上架內容有問題,雇主也是有連 06/17 11:32
alog: 帶責任的 06/17 11:32
alog: 所以說你會顧慮到爬蟲的法律問題 我覺得是非常好的 06/17 11:33
alog: 但因為網友不可能知道你究竟真正的目的要用在哪裡 06/17 11:33
alog: 若你有已知的風險但無法評估究竟影響到程度或責任有多大 你 06/17 11:36
alog: 就必須要找相關專業的人幫你看 例如你的是法律問題若有必要 06/17 11:36
alog: 就是找專攻或是相關問題有實務經驗的律師事務所去詢問(但這 06/17 11:36
alog: 是經驗跟專業正常情況不是免費幫你的,所以會有一定的收費) 06/17 11:36
bajifa: 非常謝謝大家的意見,這樣我以後爬蟲到時候會更謹慎並且注 06/17 12:01
bajifa: 意是否遵守他們網站的規則還有網路禮儀 06/17 12:01
crossdunk: alog你要不要回一篇 06/17 14:37
wildli0422: 樓主拜託不要刪文阿 06/17 18:27
davidtnfsh: alog大大專業 06/17 20:26
aszx4510: alog大大自己回應一篇吧 若原PO自刪這些心血就沒了 06/17 20:59
eva19452002: google搜索引擎也是爬蟲而來,會有alog提到的問題嗎? 06/17 23:16
vi000246: google的引擎有遵守robots.txt啊 只爬公開資料 06/17 23:33
y3k: 換句話說只要遵守robots.txt(X 06/17 23:38
chocopie: 推 06/17 23:42
VIGUTA: 4縮 ptt給人爬爽的 是不是該吉一波當作一輪募資啦? 06/18 07:34
fantasywater: 結論其實就是違法,只是你怎麼做到人家不會告你而已 06/18 12:17
alihue: 比價都結合導購返利,你告了營收反而會變低… 06/18 12:22
leicheong: 記得也有違反網站的TOS被民事提供的樣子. 他們也不是 06/20 10:00
leicheong: 要索償, 只是要求法院頒令在相關資料移除前關站而已 06/20 10:02
leicheong: 提告 06/20 10:04
fbifxxkma: 很久以前台北市政府怎麼告 某公車app作者的? 06/20 15:06
fbifxxkma: 有點忘了 還把人家搞到下架 06/20 15:06

你可能也想看看

搜尋相關網站