作者l8PeakNeymar (十八尖山內馬爾)
看板C_Sharp
標題[問題] 網路爬蟲 八卦版
時間Wed Apr 25 15:57:08 2018
這個問題困擾我一段時間
因為網路上都是python或java的教學
想請問用C# console專案來爬蟲的問題
目前只要爬到八卦板或是西斯板之類的
像是我要求看這個網頁:
https://www.ptt.cc/bbs/Gossiping/M.1234567890.A.D55.html 回傳卻是這個:
https://www.ptt.cc/ask/over18 在思考要怎麼把自己已滿18歲認證的˙Cookies一起送給伺服器
亂試很多class:
System.Net.Cookie、HttpWebRequest、WebRequest...
結果都不行 因為其實我也不懂原理
請問有板友可以教學嗎?非常感激!
-----
Sent from JPTT on my Xiaomi Redmi Note 4.
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.217.131.73
※ 文章網址: https://www.ptt.cc/bbs/C_Sharp/M.1524643031.A.ED6.html
※ 編輯: l8PeakNeymar (180.217.131.73), 04/25/2018 15:58:43
推 YahooTaiwan: over18 設成 1 呢? 04/25 16:09
→ l8PeakNeymar: 有在Python教學看到這行 可是我是很基礎的不懂QQ 04/25 16:10
→ vi000246: 不要用C#寫爬蟲 cookie跟session會搞到煩死 04/25 18:08
→ vi000246: 有個叫RestSharp的lib 不知道有沒有支援cookie了 04/25 18:08
→ vi000246: 你可以研究看看 04/25 18:08
推 free112136: 用c#寫爬蟲不會有問題啊?cookie與seesion對client來 04/25 19:07
→ free112136: 說都是cookie,會有問題表示cookie的處理不熟悉吧? 04/25 19:07
→ free112136: 我猜樓主是domain問題 04/25 19:08
→ l8PeakNeymar: 我寫C#但是沒碰過網頁 如果有範例願意5000P酬謝 04/25 20:01
→ MOONY135: 500P請直接轉給我XDDD 04/25 22:48
→ vi000246: C#遇到cookie麻煩的點在要把cookie用變數存起來 04/26 01:20
→ vi000246: 每次的request都要取需要的cookie 04/26 01:20
→ vi000246: 現在可能有比較方便的套件 或是我當時的寫法比較不成熟 04/26 01:21
→ vi000246: 不知道有沒有更好的處理方式 04/26 01:21
推 vi000246: 現在才看到有P幣XD 那我講解一下好了 32行宣告一個 04/26 01:29
→ vi000246: HttpWebRequest 39行將CookieContainer初始化 04/26 01:29
→ vi000246: 42~44行 將同意瀏覽18禁的cookie加到CookieContainer 04/26 01:30
→ vi000246: 48~61行 組出一個post請求 64行取得回傳結果 04/26 01:30
推 free112136: 我從你給的原始碼來看,因為你每次都是new新的request 04/26 07:58
→ free112136: 物件,當然要用cookie要重設定 04/26 07:58
→ vi000246: 原來如此 找時間來測一下 04/26 08:26
推 vi000246: 已收到原po紅包 謝謝 04/26 08:28
→ vi000246: f大 我有個問題 如果要向不同url發請求 要怎麼用同一個 04/26 08:41
→ vi000246: HttpWebRequest物件呢 04/26 08:42