[如何回報 Bingbot 的問題?]
Bingbot 是 Bing 用於抓取或「蜘蛛」網路的爬蟲程式的名稱。 Bingbot 的工作是在網路上的網站上尋找新的和更新的頁面,以便對它們進行索引處理。 在抓取網站時,Bingbot 會查看 robots.txt 檔案以取得網站所有者/網站管理員的特殊說明。 Bingbot 尊重 robots.txt 指令,包括crawl-delay: 設置,並且在沒有爬行延遲的情況下,尊重網站管理員在爬行控制功能中的輸入。
Bingbot 在確定造訪網站頁面的頻率方面做得很好,考慮了 robots.txt 和抓取控制規則和提示。 我們稱之為「爬行禮貌」。 在某些情況下,您可能仍然覺得 Bingbot 不夠禮貌,而且造訪您的頁面的次數超出了對您的工作範圍(過度爬行的情況)。
報告過度抓取 Report overcrawling
如果您認為 Bingbot 過度抓取您的網站或不遵守 robots.txt 規則,可以執行以下步驟:
驗證您看到的機器人流量是否確實來自有效的 Bingbot 伺服器。 您可以透過查看用戶代理字串(任何人都可以輕鬆欺騙)以及 IP 位址來做到這一點。 使用驗證 Bingbot 工具進行驗證。
驗證其是否為真正的 Bingbot 流量後,您可以使用以下方法之一來減少爬網程式流量(3、4 或 5,如果您尚未這樣做)。
使用爬行控制功能在繁忙時段降低爬行速度。
將「crawl-delay:」指令加入您的 robots.txt 檔案中。 例如:
使用者代理:Bingbot
爬行延遲:5 Crawl-delay
抓取延遲限制了 Bingbot 可以抓取的頁面數量。 它定義了一段小視窗(1 到 20 秒)的時間段,在此期間 Bingbot 只能從您的網站抓取一個 URL。 例如,如果您將爬行延遲設定為 5(即,您指定在 5 秒內爬行 1 個 URL),則 Bingbot 每天將能夠爬行 17280 個 URL。 如果將爬網延遲增加到 10,則只會爬網 8640 個 URL。 抓取延遲越高(最高為 20),抓取的頁面數就越少。
如果您已執行步驟 1 和 2,但問題仍然存在,您可以聯絡 Bing 網站管理員支援。 填寫必填字段,並在「您遇到什麼類型的問題?」中填寫。 在下拉清單中,選擇「抓取問題」。 在「您需要什麼幫助?」下 在下拉清單中選擇“Bing 爬行太多”,這可以立即解決您的問題。 如果您仍有疑問,請將按鈕切換為“是”,描述問題,然後按一下“取得協助”。 您預計會在 24-48 小時內得到回應。 當您回報過度爬網問題時,支援團隊將要求您在下一步中提供伺服器日誌範例,以顯示 Bingbot 在特定時間段內的活動,因此請確保將這些範例放在手邊。