聲明：該文章由作者（林思妤）發(fā)表，轉(zhuǎn)載此文章須經(jīng)作者同意并請(qǐng)附上出處(0XUCN)及本頁(yè)鏈接。。

這個(gè)爬蟲類似于?Googlebot，但它將被 Google 團(tuán)隊(duì)內(nèi)部使用，用于爬取公共網(wǎng)絡(luò)上的信息。

Google 推出了 GoogleOther，這是一個(gè)全新的網(wǎng)絡(luò)爬蟲。

GoogleOther 將被 Google 的各個(gè)團(tuán)隊(duì)內(nèi)部使用，用于爬取公共網(wǎng)絡(luò)上的信息，Gary Illyes 在 LinkedIn 上表示。

它遵循與主要的 Googlebot 爬蟲相同的指令和協(xié)議，并將為主要的 Googlebot 爬蟲釋放一些資源。

GoogleOther 已經(jīng)被 Google 添加到其爬蟲文檔中：?

“通用爬蟲可能會(huì)被各種產(chǎn)品團(tuán)隊(duì)用于從網(wǎng)站中獲取公開可訪問(wèn)的內(nèi)容。例如，它可以用于內(nèi)部研究和開發(fā)的一次性爬取。GoogleOther 爬蟲始終遵守其用戶代理令牌和全局用戶代理（*）的 robots.txt 規(guī)則，并使用與 Googlebot 相同的 IP 范圍。”

Google 爬蟲（用戶代理）概述

用戶代理 (User Agent)：用戶代理標(biāo)記和完整的用戶代理字符串非常簡(jiǎn)單，只是“GoogleOther”。

但是經(jīng)過(guò)爬蟲識(shí)別網(wǎng)站監(jiān)控，還有其它的 User-Agent，例如這樣：Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.6099.224 Mobile Safari/537.36 (compatible; GoogleOther)

為什么有了新的爬蟲？

這個(gè)新的爬蟲最終將減輕 Googlebot 的一些負(fù)擔(dān)，Illyes 解釋道：

“隨著我們優(yōu)化 Googlebot 的爬取方式和內(nèi)容，我們想要確保的一件事是，Googlebot 的爬取工作僅在內(nèi)部用于構(gòu)建搜索使用的索引。為此，我們添加了一個(gè)新的爬蟲——GoogleOther，將替代 Googlebot 的其他工作，如研發(fā)爬取，以釋放一些爬取能力供 Googlebot 使用?！?/p>

Google 將其用于內(nèi)部目的。 這是否意味著它正在用于 Bard（一種未知的用途）？目前尚不清楚。

是否應(yīng)該阻止 GoogleOther？ 如果嘗試阻止這個(gè)新的爬蟲會(huì)發(fā)生什么尚不清楚。但我懷疑你應(yīng)該密切關(guān)注它，如果它對(duì)你的服務(wù)器造成了太大的壓力，你可以決定是否允許或拒絕該新 Googlebot 訪問(wèn)你的站點(diǎn)。

為什么我們關(guān)心。 許多人在他們的網(wǎng)站和日志文件中檢查爬取活動(dòng)和爬蟲活動(dòng)。當(dāng)你看到這個(gè)新的 GoogleOther 爬蟲時(shí)，不要感到驚慌。它是一個(gè)真正的 Googlebot。

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級(jí)服務(wù)市場(chǎng)：https://www.ijiandao.com/