這個爬蟲類似于?Googlebot，但它將被 Google 團隊內部使用，用于爬取公共網絡上的信息。

Google 推出了 GoogleOther，這是一個全新的網絡爬蟲。

GoogleOther 將被 Google 的各個團隊內部使用，用于爬取公共網絡上的信息，Gary Illyes 在 LinkedIn 上表示。

它遵循與主要的 Googlebot 爬蟲相同的指令和協議，并將為主要的 Googlebot 爬蟲釋放一些資源。

GoogleOther 已經被 Google 添加到其爬蟲文檔中：?

“通用爬蟲可能會被各種產品團隊用于從網站中獲取公開可訪問的內容。例如，它可以用于內部研究和開發(fā)的一次性爬取。GoogleOther 爬蟲始終遵守其用戶代理令牌和全局用戶代理（*）的 robots.txt 規(guī)則，并使用與 Googlebot 相同的 IP 范圍?！?/p>

Google 爬蟲（用戶代理）概述

用戶代理 (User Agent)：用戶代理標記和完整的用戶代理字符串非常簡單，只是“GoogleOther”。

但是經過爬蟲識別網站監(jiān)控，還有其它的 User-Agent，例如這樣：Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.6099.224 Mobile Safari/537.36 (compatible; GoogleOther)

為什么有了新的爬蟲？

這個新的爬蟲最終將減輕 Googlebot 的一些負擔，Illyes 解釋道：

“隨著我們優(yōu)化 Googlebot 的爬取方式和內容，我們想要確保的一件事是，Googlebot 的爬取工作僅在內部用于構建搜索使用的索引。為此，我們添加了一個新的爬蟲——GoogleOther，將替代 Googlebot 的其他工作，如研發(fā)爬取，以釋放一些爬取能力供 Googlebot 使用?！?/p>

Google 將其用于內部目的。 這是否意味著它正在用于 Bard（一種未知的用途）？目前尚不清楚。

是否應該阻止 GoogleOther？ 如果嘗試阻止這個新的爬蟲會發(fā)生什么尚不清楚。但我懷疑你應該密切關注它，如果它對你的服務器造成了太大的壓力，你可以決定是否允許或拒絕該新 Googlebot 訪問你的站點。

為什么我們關心。 許多人在他們的網站和日志文件中檢查爬取活動和爬蟲活動。當你看到這個新的 GoogleOther 爬蟲時，不要感到驚慌。它是一個真正的 Googlebot。

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關注數據與安全，洞悉企業(yè)級服務市場：https://www.ijiandao.com/