網路爬蟲( spider 或web crawler ),是一種可以「自動」瀏覽全球資訊網的網路 ... 訪問間隔時間,如果Crawl-delay 設定1,表示這個網站期望每次訪問的時間間隔一秒鐘。
確定! 回上一頁