你即將離開本站

並前往https://docs.fuyeor.com/answer/topic/robots-txt?sort=votes

问答话题： robots.txt (爬虫协议文件) - 教程与解决方案

robots.txt 是一种放于网站根目录下的ASCII 编码的文本，告诉爬虫此网站中的哪些内容是不应被爬取、哪些可以被爬取。 robots 协议并不是规范，只是约定俗成的。

確定！ 回上一頁

查詢 「爬蟲 協議」的人也找了：

  1. 爬蟲違法
    2.
  2. 爬蟲違法ptt
    3.
  3. 爬蟲被抓
    4.
  4. robots协议怎么看
    5.
  5. robots协议爬虫
    6.
  6. robots協議
    7.
  7. 網路爬蟲
    8.
  8. Robots.txt 作用
    9.